Adaptive Wireless Video Delivery for Mobile Health (mhealth) Systems and Services

Adaptive Wireless Video Delivery for Mobile Health (mhealth) Systems and Services Προσαρμοστική Ασύρματη Μετάδοση Βίντεο για Συστήματα και Υπηρεσίες Κινητής Υγείας Α. Παναγίδης 24 Σεπτεμβρίου 2015 ΕΠΛ 202: ΕΞΕΡΕΥΝΗΣΕΙΣ ΣΤΗΝ ΠΛΗΡΟΦΟΡΙΚΗ

Θέματα Ομιλίας 1 Εισαγωγή Κίνητρο ανάπτυξης τηλειατρικών συστημάτων Τεχνολογικές Προκλήσεις Τεχνολογιές Συμπίεσης Ασύρματη Διάδοση Σήματος Αξιολόγηση Ποιότητας Βίντεο Μεθοδολογία Προτεινόμενου Συστήματος Δυναμικά προσαρμοζόμενο τηλειατρικό σύστημα ασύρματης μετάδοσης βίντεο σε πραγματικό χρόνο Σύνοψη

Εισαγωγή - Κίνητρο 3 Εκτίμηση κατάστασης σε περιπτώσεις μαζικών καταστροφών και επειγόντων περιστατικών Βίντεο τραύματος και περιστατικού Τηλε-διάγνωση και καθοδήγηση για την παροχή φροντίδας/θεραπείας Σε επείγοντα περιστατικά Αναπτυσσόμενες χώρες Εξέταση από απόσταση με τηλεχειριζόμενα ρομποτ Καρδία, ανεύρυσμα κοιλιακής αορτής (AAA) Μαζικού ελέγχου του πληθυσμού Κατ οίκον παρακολούθηση και εξέταση ηλικιωμένων, ατόμων με κινητικά προβλήματα, αποκατάσταση Ιατρική εκπαίδευση Ταυτόχρονη μετάδοση υπερηχογραφική εξέτασης σε κινητές συσκευές σε πραγματικό χρόνο Intro 1/3

Εισαγωγή Τεχνικοί Στόχοι 3 Πρωτεύων στόχος των τηλειατρικών συστημάτων ασύρματης μετάδοσης βίντεο είναι Η σταθερή παροχή κατάλληλης (διαγνωστικής) ποιότητας βίντεο από το σημείο του περιστατικού στο κέντρο διαχείρισης κρίσεων ή/και νοσοκομείο Βάση ιατρικών πρωτοκόλλων και εξειδικευμένου προσωπικού Επιμέρους στόχοι (σε πραγματικό χρόνο): Συμπίεση βίντεο (μέχρι ποιο επίπεδο;) Ασύρματη μετάδοση βίντεο (ετερογενή δίκτυα, μεταβαλλόμενες συνθήκες, εισάγουν λάθη) Αξιολόγηση ποιότητας ( ανοικτό ζήτημα στην βιβλιογραφία) Με χαμηλό κόστος

4 Αρχιτεκτονική Συστήματος

Θέματα Ομιλίας 5 Εισαγωγή Κίνητρο ανάπτυξης τηλειατρικών συστημάτων Απαιτούμενες Τεχνολογίες Τεχνολογές Συμπίεσης Ασύρματη Διάδοση Σήματος Αξιολόγηση Ποιότητας Βίντεο Μεθοδολογία Προτεινόμενου Συστήματος Δυναμικά προσαρμοζόμενο τηλειατρικό σύστημα ασύρματης μετάδοσης βίντεο σε πραγματικό χρόνο Σύνοψη και Μελλοντική Εργασία

Συμπίεση Βίντεο: Γιατί; 7 Απαιτήσεις σε εύρος ζώνης υψηλής ευκρίνειας βίντεο (HDTV): 1080i: interlaced encoding, 1920x1080 pixels, 25 frames per second Raw BW (24 bits/pixel): 1.2 Gbps 1080p: progressive, 1920x1080 pixels, 59.94 frames per second Raw BW (24 bits/pixel): 2.98 Gbps Πλέον υψηλής ευκρίνειας (Ultra High Definition) : 4K UHD: 3840x2160 (2160p 16:9): 24 bits/pixel@30 fps: 5.56 Gbps 8K UHD: 7680x4320 (4320p): 24 bits/pixel@30 fps: 22.24 Gbps Παρατήρηση: Απευθείας αντιστοίχηση μεταξύ ποιότητας Λόγου συμπίεσης, διαστάσεων βίντεο και ρυθμού πλαισίων ανα δευτερόλεπτο Προσέγγιση: Ανάπτυξη κατάλληλων αλγορίθμων συμπίεσης που θα δεν θα επηρεάζουν την κλινική ποιότητα

Πρότυπα Συμπίεσης Βίντεο 1 6 Μέσος Όρος Εξοικονόμησης Εύρους Ζώνης για Ισοδύναμη Ποιότητα 1 Bit rate savings relative to Encoding H.264/MPEG-4 MPEG-2/H.262 H.263 CHC MPEG-4 ASP AVC HP MP HEVC MP 33.2% 54.6% 58.3% 71% H.264/MPEG-4 AVC HP 33.2% 37.7% 56.8% H.263 CHC 7.5% 32.4% MPEG-4 ASP 27.4% Χαρακτηριστικά Βίντεο 10 υπερηχογραφικά βίντεο της Καροτιδικής αρτηρίας Διαστάσεις: 560x416 Διάρκεια: 8-10 sec Πλαίσια ανα δευτερόλεπτο: 50 Hz 1 A. S. Panayides, M. S. Pattichis, C. P. Loizou, M. Pantziaris, A. G. Constantinides, C. S. Pattichis, An Effective Ultrasound Video Communication System Using Despeckle Filtering and HEVC, IEEE Journal of Biomedical and Health Informatics, vol.19, no.2, pp.668-676, Mar. 2015.

Εξέλιξη Κινητών Τηλεφωνικών Δικτύων 3GPP Long Term Evolution Country Map

Ρυθμοί Μετάδοσης Δεδομένων Κινητών Τηλεφωνικών Δικτύων Type Theoretical Transfer Rates Typical Transfer Rates 2G- GSM (early 1990s) 9.6 115 kbps About 10 kbps 9 2.5G-GPRS (2001) 9.6-171.2 kbps Between 30-50 kbps 2.5G- EDGE (2003) 9.6-384 kbps Between 75-135 kbps 3G- UMTS (Release 99, 2001) 144 kbps - 2 Mbps Between 220-384 kbps 3.5G-HSPA (Rel. 7) (HSDPA, Rel. 5, 2005) (HSUPA, Rel. 6, 2008) 3.5G- Mobile WiMAX (IEEE 802.16e, 2005) 3.9G LTE (Rel. 8-9, 2008-9) 4G-LTE-Advanced (Rel. 10, Oct. 2010) 4G- WirelessMAN-Advanced (IEEE 802.16m, Oct. 2010) DL: 14Mbps UL: 5.8 Mbps DL: 46 Mbps UL: 5.6 Mbps DL: 326 Mbps (20MHz) UL: 86.4 (20MHz) DL: 1Gbps UL: 100 Mbps DL: 1Gbps UL: 100 Mbps DL : 1-4 Mbps (~2 - ~9 HSPA+ x2) UL : 500Kbps -2Mbps (1-4 HSPA+) as above DL : 6.5-26 Mbps (10MHz) (~15Mbps) UL : 6.0 13.0 (10MHz) (~5 Mbps) 5G by 2020? TBD TBD Refer to slide 21 from Supporting Mobile Video Growth and Trends, 2013, available: http://www.4gamericas.org/ TBD TBD

Αξιολόγηση Ποιότητας Βίντεο 10 Αυτοματοποιημένες μεθόδοι Υπολογίζουν την αλλοίωση μεταξύ του αρχικού και του συμπιεσμένου βίντεο Υπολογίζονται αυτόματα από τον υπολογιστή Δεν μπορούν να αξιολογήσουν την κλινική ποιότητα Κλινική αξιολόγηση από ιατρούς Αξιολόγηση κλινικής ποιότητας βάση κλινικών πρωτοκόλλων Δεν υπολογίζονται αυτόματα Συνδυασμός των δυο μεθόδων Αντιστοίχιση αυτοματοποιημένων μετρήσεων με κλινική αξιολόγηση Εύρεση τιμών κατωφλίου (threshold values) αυτοματοποιημένων τεχνικών για τις οποίες διατηρείται η κλινική ποιότητα του βίντεο

Θέματα Ομιλίας 11 Εισαγωγή Κίνητρο ανάπτυξης τηλειατρικών συστημάτων Απαιτούμενες Τεχνολογίες Τεχνολογές Συμπίεσης Ασύρματη Διάδοση Σήματος Αξιολόγηση Ποιότητας Βίντεο Μεθοδολογία Προτεινόμενου Συστήματος Δυναμικά προσαρμοζόμενο τηλειατρικό σύστημα ασύρματης μετάδοσης βίντεο σε πραγματικό χρόνο Σύνοψη και Μελλοντική Εργασία

12 Στένωση της Καροτιδικής Αρτηρίας

Διαγνωστικά Σχετική Κωδικοποίηση 38 38 38 38 38 38 38 38 38 38 38 30 30 30 30 30 30 30 30 30 30 30 30 30 30 30 30 30 30 30 30 30 30 30 30 30 28 28 28 28 28 28 30 30 30 30 30 28 28 28 28 28 28 30 30 38 38 38 38 38 38 38 38 38 38 38 38 38 38 38 38 38 38 38 38 38 38 38 38 38 38 38 38 38 38 38 38 38 38 38 38 38 38 38 30 30 30 30 30 Κατάτμηση segmentation Playout buffer Source encoding (variable quality FMO and RS) channel encoding & packetization RTP/UDP/IP A. Panayides, M. Pattichis, C. Pattichis, C. Loizou, M. Pantziaris, A. Pitsillides, Atherosclerotic Plaque Ultrasound Video Encoding, Wireless Transmission, and Quality Assessment Using H.264, IEEE Transactions on Information Technology in Biomedicine, vol.15, no.3, pp. 387-397, May 2011.

Αποτελέσματα Εξοικονόμηση σε Απαιτήσεις Εύρους Ζώνης και Διαγνωστικά Ανθεκτική Κωδικοποίηση 14 Bit Rate Gain (%) QCIF CIF 4CIF 34.7 39.8 42.3 Average Bit Rate Gains of Diagnostically Relevant Encoding while maintaining the same diagnostic quality for FMO ROI RS vs FMO 1 PSNR vs Packet Loss Rate curve for plaque ROI QP of 28 (CIF resolution). FMO_ROI_RS achieves graceful degradation of video quality in the presence of severe loss rates, qualifying for clinical practice even at 15% loss rate (PSNR 35db). 1 FMO ROI RS stands for variable quality slice encoding with redundant slices. FMO stands for standard H.264/AVC FMO type 2 encoding.

15 Ασύρματη Μετάδοση Ιατρικού Βίντεο σε Κινητά Δίκτυα 3.5G WiMAX 1 A typical topology for simulating medical video transmission over mobile WiMAX. The ambulance travels with speeds ranging from 60-100 km/h following the course delineated by the black line. Vertices 1-4 depict the locations close to the BSs effective coverage zone 1 Panayides, A.; Antoniou, Z.C.; Mylonas, Y.; Pattichis, M.S.; Pitsillides, A.; Pattichis, C.S., "High-Resolution, Low-Delay, and Error-Resilient Medical Ultrasound Video Communication Using H.264/AVC Over Mobile WiMAX Networks," Biomedical and Health Informatics, IEEE Journal of, vol.17, no.3, pp.619,628, May 2013

Αποτελέσματα Channel Modulation and Coding 16 Boxplots depicting the average PSNR ratings for the whole data set and for each channel modulation and coding scheme, as a function of the distance from the BS. ->4CIF Video Resolution, 15fps, Bitrate: 768 kbps- 1.5 Mbps, mobility: 60-100km/h

Αποτελέσματα Κλινική Αξιολόγηση 17 Resolution: 4CIF, Frame Rate: 15fps, QP: 38/30/28 a, BitRate: 1.5 Mbps QPSK ½ 16-QAM ¾ 64-QAM ¾ Location b 1/ 2/ 3/ 4 1/ 2/ 3/ 4 1/ 2/ 3/ 4 Plaque Detection 5/ 5/ 5/ 5 5/4.3/4.5/3.4 5/ 4.2/ 4.4/3.6 Artery Stenosis 5/ 5/ 5/ 5 5/4.1/4.2/3.4 5/ 4/ 4.3/3.6 Plaque Type 5/ 5/ 5/ 5 5/4.1/4.2/3.3 5/ 4/ 4.3/3.5 Plaque Morphology 5/ 5/ 5/ 5 5/4.1/4.2/3.3 5/ 4/ 4.3/3.5 1: Lowest Score, 5: Highest Score a QP are given in the order of background/wall ROI/plaque ROI, i.e. 38:background/ 30:wall ROI/ 28:plaque ROI. b Distance from the BS: 1: 0.6 km, 2: 1.1 km, 3: 1 km, 4: 1.3 km.

18 Διατύπωση Προβήματος: Επιθυμητό Αποτέλεσμα και Περιορισμοί Πρόβλημα: Οι επιμέρους στόχοι έχουν αντικρουόμενους περιορισμούς Ιδανικό σενάριο: Υψηλή ποιότητα Χαμηλο Εύρος Ζώνης Χαμηλός χρόνος συμπίεσης Τι συμβαίνει στην πραγματικότητα: Αυξάνωντας την Ποιότητα» Αυξάνεται το Εύρος Ζώνης (και το ανάποδο) Αυξάνοντας το ρυθμό κωδικοποίησης» Μειώνεται η ποιότητα Προσέγγιση: Αντιμετώπιση σαν πρόβλημα πολυ-κριτηριακής βελτιστοποίησης (multi-objective optimization). Bελτιστοποίηση ατομικών στόχων παράλληλα με την ικανοποίηση Ποιότητα Βίντεο: Η ποιότητα του μεταδιδόμενου βίντεο πρέπει να είναι επαρκούς ποιότητας για ειδικών τη σωστή αξιολόγηση περιορισμών του περιστατικού της κάθε έκτακτης περίπτωσης ανάγκης (ιατρικό βίντεο) Εύρου Ζώνης: Το εύρος ζώνης του βίντεο πρέπει να υποστηρίζεται από τους τυπικούς ρυθμούς μετάδοσης δεδομένων του ασύρματου δικτύου Χρόνος Κωδικοποίησης: Για ασύρματη μετάδοση βίντεο σε πραγματικό χρόνο πρέπει να υπάρχει η δυνατότητα κωδικοποίησης του βίντεο σε πραγματικό χρόνο

Διατύπωση Προβλήματος: Περιπτώσεις Βελτιστοποίησης 19

Emergency Scenery and Response Videos 20 (a) Emergency Scenery (b) Emergency Response First responders evacuating the injured after an earthquake (720x576, 25fps) First responders provide on-site first aid to victims (1440x1080, 25 fps) Videos Acquired during Real Training Events of the Cyprus Fire and Rescue Team and the Cyprus Association of Emergency and Prehospital Care in 2014

Πειραματικές Ρυθμίσεις Συμπίεση 21 New HEVC Configurations for Ultrafast Preset Parameter Value Parameter Value Preset Ultrafast Frame Threads 1/2/3/4 GOP B6,B4, ZL SAO On/Off GOP structure Open/Close DBF On/Off QP 20,22,24,26,28,30, 32,34,36,38,40,42 Tuning psnr, fastdecode, zerolatency Total configurations per video 1776 Investigating a large configuration space allows generating a dense pareto-front Encoding configurations satisfying the generated constraints are then selected out of the pareto optimal configurations GOP configurations: B4: IBBBBP, B6: IBBBBBBP, ZL: IPPP (no B-frames) used with zerolatency (no lookahead, no cutree) and fastdecode (no loop filters no weighted prediction, no intra in B) to allow for fast, real-time codec SAO: Sample Adaptive Offset (new in HEVC): increases subjective quality, ~2.5% bitrate increase when OFF, ~4% dec. time DBF: Deblocking Filter (present in H.264/AVC) ~ 17% dec. time PSNR: tune for PSNR benchmarking Res. 2/4

Προκαταρτικά Αποτελέσματα 22 Mode Optimization examples: Max Video Quality, Min Bitrate, and Max FPS (Min Encoding Time) Modes Mode QP GOP Max. Video Quality Min. Bitrate Max. FPS Frame Threads FPS Bitrate (kbps) PSNR (db) 32 B4 4 25.42 602.8 33.78 Constraints 25 910 36 ZL 1 28.04 382.6 31.34 constraints 25 384 34 B4 4 30.69 440.1 32.43 constraints 25 32 30 B4 3 23.46 889.9 34.61 constraints 910 34 Constraint 1: Real-time encoding (that translates to frame-rate 25 fps) Pareto optimal encoding configuration that satisfies both constraints PROVISIONAL U.S. PATENT: SYSTEM AND METHODS FOR ADAPTIVE OPTIMIZATION FOR VIDEO CODING AND VIDEO DELIVERY Constraint 2: min. UDP throughput (bandwidth) supported by 802.11b see paper for details Res. 3/4

Video images from mode optimization examples 23 1 Max. Video Quality 2 PSNR: 33.78 db Bitrate: 603 kbps FPS: 25.42 PSNR: 31.34 db Bitrate: 383 kbps FPS: 28.04 Min. Bitrate Max. FPS PSNR: 32.43 db Bitrate: 440 kbps FPS: 30.69 PSNR: 34.61 db Bitrate: 890 kbps FPS: 23.46

720x576@25fps, PSNR: 41.07, Bitrate: 1264.44 kb/s 24 176x144@25fps,PSNR:39.7 Bitrate: 140.62 kb/s 352x288@25fps, PSNR: 39.89 Bitrate: 399.90 kb/s

352x288@25fps,PSNR:38.29 Bitrate: 593.26 kb/s 25 720x576@25fps,PSNR:39.21, Bitrate: 1834.36 kb/s 176x144@25fps,PSNR:37.36 Bitrate: 207.90 kb/s

Θέματα Ομιλίας 26 Εισαγωγή Κίνητρο ανάπτυξης τηλειατρικών συστημάτων Απαιτούμενες Τεχνολογίες Τεχνολογές Συμπίεσης Ασύρματη Διάδοση Σήματος Αξιολόγηση Ποιότητας Βίντεο Μεθοδολογία Προτεινόμενου Συστήματος Δυναμικά προσαρμοζόμενο τηλειατρικό σύστημα ασύρματης μετάδοσης βίντεο σε πραγματικό χρόνο Σύνοψη και Μελλοντική Εργασία

Σύνοψη 27 Η υιοθέτηση τηλειατρικών συστημάτων ασύρματης μετάδοσης βίντεο στην καθημερινή κλινική πρακτική μπορεί να βελτιώσει σημαντικά την ποιότητα ζωής των ασθενών παρέχει καταλυτικές λύσεις για επείγοντα περιστατικά Σε περιπτώσεις μαζικών καταστροφών επιτρέπει την αντικειμενική αξιολόγηση του περιστατικού αποτελεί σημαντικό όπλο στην διαχείριση του Απαραίτητη προυπόθεση: Η κλινική ποιότητα του μεταδιδόμενου βίντεο να είναι ισοδύναμη της ποιότητας του αρχικού βίντεο Πειραματικές μετρήσεις και πιλοτικές εφαρμογές έχουν αποδείξει ότι αυτό είναι εφικτό με χαμηλό κόστος (τεχνολογίες ανοικτού κώδικα)

28 Ευχαριστώ για την προσοχή σας! http://www.ehealthlab.cs.ucy.ac.cy/ http://www3.imperial.ac.uk/commssigproc