Κεφάλαιο 6 ικτυακές εφαρµογές πολυµέσων Πηγή των ακόλουθων διαφανειών είναι οι διαφάνειες που συνοδεύουν ως διδακτικό υλικό το βιβλίο των J.F. Kurose and K.W. Ross: Computer Networking: A Top-Down Approach Featuring the Internet, 2η έκδοση Computer Networking: A Top Down Approach Featuring the Internet, 2 nd edition. Jim Kurose, Keith Ross Addison-Wesley, July 2002. 6-1 Εφαρµογές Πολυµέσων και Ποιότητα Υπηρεσίας Εφαρµογές πολυµέσων (multimedia applications): ήχος και βίντεο µέσω δικτύου (εφαρµογές συνεχών µέσων ) Ποιότητα Υπηρεσίας (Quality of Service) QoS το δίκτυο παρέχει στην εφαρµογή το επίπεδο απόδοσης που απαιτείται για να λειτουργεί η εφαρµογή 6-2 1
Κεφάλαιο 6: Στόχοι Αρχές Ταξινόµηση εφαρµογών πολυµέσων Προσδιορισµός υπηρεσιών δικτύου που χρειάζονται οι εφαρµογές Βέλτιστη δυνατή αξιοποίηση της υπηρεσίας βέλτιστης προσπάθειας Μηχανισµοί παροχής Ποιότητας Υπηρεσίας (Quality of Service, QoS) Πρωτόκολλα και Αρχιτεκτονικές Πρωτόκολλα για την υπηρεσία βέλτιστης προσπάθειας RTP, SIP, H.323 Αρχιτεκτονικές που παρέχουν εγγυήσεις QoS Ενοποιηµένες υπηρεσίες, ιαφοροποιηµένες υπηρεσίες 6-3 Κεφάλαιο 6 6.1 ικτυακές εφαρµογές πολυµέσων 6.2 Εφαρµογές µετάδοσης αποθηκευµένου ήχου και βίντεο µε συνεχή ροή RTSP 6.3 Αξιοποιώντας την υπηρεσία βέλτιστης προσπάθειας: ένα παράδειγµα ιαδικτυακού τηλεφώνου 6.4 Πρωτόκολλα για διαδραστικές εφαρµογές πραγµατικού χρόνου RTP, RTCP SIP 6.5 Πέρα από τα όρια της βέλτιστης προσπάθειας 6.6 Μηχανισµοί χρονοπρογραµµατισµού και αστυνόµευσης 6.7 Ενοποιηµένες Υπηρεσίες 6.8 Πρωτόκολλο RSVP 6.9 ιαφοροποιηµένες Υπηρεσίες 6-4 2
Κατηγορίες εφαρµογών πολυµέσων: 1) Εφαρµογές µετάδοσης αποθηκευµένου ήχου και βίντεο µε συνεχή ροή (Streaming stored audio/video) 2) Εφαρµογές ζωντανής µετάδοσης ήχου και βίντεο µε συνεχή ροή (Streaming live audio/video) 3) ιαδραστικές εφαρµογές µετάδοσης ήχου και βίντεο σε πραγµατικό χρόνο (Real-time interactive audio/video) Jitter: η µεταβλητότητα της καθυστέρησης των πακέτων που ανήκουν στην ίδια ροή Βασικά χαρακτηριστικά: ευαισθησία ως προς τις καθυστερήσεις καθυστέρηση από άκρο σε άκρο (ολική) µεταβλητότητα καθυστέρησης ανοχή ως προς τις απώλειες: περιστασιακές απώλειες προκαλούν µικρές ανωµαλίες Σε αντίθεση µε τα δεδοµένα που παρουσιάζουν ανοχή στις καθυστερήσεις όχι όµως στις απώλειες 6-5 Εφαρµογές µετάδοσης αποθηκευµένων πολυµέσων µε συνεχή ροή Συνεχής ροή (Streaming): τα µέσα είναι αποθηκευµένα στην πηγή µεταδίδονται στον client συνεχής ροή: ο client αρχίζει την αναπαραγωγή πριν ολοκληρωθεί η παραλαβή των δεδοµένων χρονικός περιορισµός για τα δεδοµένα που δεν έχουν µεταδοθεί ακόµη από τον server: πρέπει να φθάσουν στον client έγκαιρα για την αναπαραγωγή τους 6-6 3
Εφαρµογές µετάδοσης αποθηκευµένων πολυµέσων µε συνεχή ροή Συνεχής ροή: Άθροισµα δεδοµένων 1. εγγραφή βίντεο 2. αποστολή βίντεο καθυστέρηση δικτύου 3. παραλαβή βίντεο, αναπαραγωγή στον client χρόνος συνεχής ροή: τη χρονική αυτή στιγµή, ο client αναπαράγει ένα µέρος του βίντεο που έλαβε προηγουµένως, ενώ ο server εξακολουθεί να στέλνει µέρη του βίντεο που έπονται 6-7 Εφαρµογές µετάδοσης αποθηκευµένων πολυµέσων µε συνεχή ροή ιαδραστικότητα (Interactivity): ο client µπορεί να ελέγξει τη λειτουργία µε εντολές όπως pause, rewind, fast forward κλπ (όπως σε ένα VCR, για παράδειγµα) συχνά χρησιµοποιείται το RTSP 6-8 4
Εφαρµογές ζωντανής µετάδοσης πολυµέσων µε συνεχή ροή Παραδείγµατα Ζωντανή µετάδοση ραδιοφωνικής εκποµπής στο ιαδίκτυο Ζωντανή µετάδοση αθλητικού γεγονότος στο ιαδίκτυο Συνεχής ροή χρονικοί περιορισµοί ως προς την αναπαραγωγή αντίστοιχοι µε αυτούς σε εφαρµογές µετάδοσης αποθηκευµένων πολυµέσων µε συνεχή ροή η αναπαραγωγή µπορεί να αρχίσει µε καθυστέρηση µερικών δεκάδων δευτερολέπτων από τη στιγµή που ο χρήστης θα ζητήσει τη µετάδοση ιαδραστικότητα αδύνατη η λειτουργία fast forward δυνατές οι λειτουργίες rewind, pause 6-9 ιαδραστικές εφαρµογές µετάδοσης πολυµέσων σε πραγµατικό χρόνο Παραδείγµατα ιαδικτυακή τηλεφωνία (IP telephony) Βιντεοδιάσκεψη (video conference) Απαιτήσεις καθυστέρησης από άκρο σε άκρο: αυστηρότερες από ότι για εφαρµογές streaming stored multimedia ή streaming live multimedia ήχος: καθυστερήσεις < 150 msec δεν γίνονται αντιληπτές 150 msec < καθυστερήσεις < 400 msec αποδεκτές καθυστερήσεις > 400 msec επηρεάζουν τη δυνατότητα επικοινωνίας Σηµείωση: η καθυστέρηση από άκρο σε άκρο περιλαµβάνει εκτός από τις καθυστερήσεις στο δίκτυο και καθυστερήσεις στο επίπεδο εφαρµογής (καθυστέρηση πακετοποίησης) 6-10 5
Εφαρµογές πολυµέσων στο ιαδίκτυο IP: υπηρεσία βέλτιστης προσπάθειας καµία εγγύηση ως προς καθυστερήσεις, απώλειες Οι εφαρµογές πολυµέσων απαιτούν Ποιότητα Υπηρεσίας και επίπεδο απόδοσης ώστε να είναι αποτελεσµατικές Οι εφαρµογές πολυµέσων στο ιαδίκτυο χρησιµοποιούν τεχνικές στο επίπεδο εφαρµογής για να µετριάσουν (όσο καλύτερα γίνεται) την επίδραση των καθυστερήσεων και απωλειών 6-11 Με ποιο τρόπο θα πρέπει να εξελιχθεί το ιαδίκτυο ώστε να παρέχει καλύτερη υποστήριξη πολυµέσων; Φιλοσοφία ενοποιηµένων υπηρεσιών: Ριζικές αλλαγές στο ιαδίκτυο ώστε οι εφαρµογές να είναι σε θέση να δεσµεύουν bandwidth από άκρο σε άκρο Απαιτεί νέο, πολύπλοκο λογισµικό σε hosts και δροµολογητές Laissez-faire: καµία σηµαντική αλλαγή περισσότερο bandwidth όπου απαιτείται διανοµή περιεχοµένου, multicast στο επίπεδο εφαρµογής επίπεδο εφαρµογής Φιλοσοφία διαφοροποιηµένων υπηρεσιών: Λιγότερες αλλαγές στην υποδοµή του ιαδικτύου ύο κλάσεις υπηρεσιών 6-12 6
Συµπίεση ηχητικού σήµατος Το αναλογικό σήµα δειγµατοληπτείται µε σταθερό ρυθµό τηλέφωνο: 8000 δείγµατα/s µουσική CD: 44100 δείγµατα/s Κάθε δείγµα κβαντίζεται π.χ. 2 8 = 256 δυνατές τιµές κβάντισης Κάθε τιµή κβάντισης παριστάνεται µε bits 8 bits για 256 τιµές Παραδείγµατα PCM: 8000 δείγµατα/s 8 bits/δείγµα = 64000 bps (τηλεφωνία) 44100 δείγµατα/s 16 bits/ δείγµα 2 κανάλια = 1,411 Mbps (µουσική CD) Ο δέκτης µετατρέπει το ψηφιακό σήµα σε αναλογικό: υποβάθµιση ποιότητας σήµατος Παραδείγµατα ρυθµών Τηλεφωνία IP: 5,3-13 kbps MP3: 96, 128, 160 kbps 6-13 Συµπίεση σήµατος βίντεο Βίντεο: ακολουθία εικόνων που προβάλλονται µε σταθερό ρυθµό π.χ. 24 εικόνες/sec Η ψηφιακή εικόνα είναι ένας πίνακας από pixels Κάθε pixel παριστάνεται µε bits Πλεονασµός χωρικός χρονικός Παραδείγµατα: MPEG 1 (CD-ROM) 1,5 Mbps MPEG 2 (DVD) 3-6 Mbps MPEG 4 (χρησιµοποιείται συχνά στο ιαδίκτυο) < 1 Mbps Έρευνα: κωδικοποίηση πολλαπλών επιπέδων (multi-layer) προσαρµογή των επιπέδων στο διαθέσιµο bandwidth 6-14 7
Κεφάλαιο 6 6.1 ικτυακές εφαρµογές πολυµέσων 6.2 Εφαρµογές µετάδοσης αποθηκευµένου ήχου και βίντεο µε συνεχή ροή RTSP 6.3 Αξιοποιώντας την υπηρεσία βέλτιστης προσπάθειας: ένα παράδειγµα ιαδικτυακού τηλεφώνου 6.4 Πρωτόκολλα για διαδραστικές εφαρµογές πραγµατικού χρόνου RTP, RTCP SIP 6.5 Πέρα από τα όρια της βέλτιστης προσπάθειας 6.6 Μηχανισµοί χρονοπρογραµµατισµού και αστυνόµευσης 6.7 Ενοποιηµένες Υπηρεσίες 6.8 Πρωτόκολλο RSVP 6.9 ιαφοροποιηµένες Υπηρεσίες 6-15 Εφαρµογές µετάδοσης αποθηκευµένων πολυµέσων µε συνεχή ροή Streaming stored multimedia: Το αρχείο ήχου/βίντεο είναι αποθηκευµένο στον server Ο χρήστης (client) ζητά το αρχείο ήχου/βίντεο Μερικές δεκάδες δευτερόλεπτα µετά την αίτηση ο client αρχίζει να λαµβάνει το αρχείο Παρέχεται συνήθως η δυνατότητα διαδραστικότητας Media Player αποσυµπίεση αποµάκρυνση jitter διόρθωση/συγκάλυψη σφαλµάτων γραφική διεπαφή χρήστη (GUI) περιλαµβάνει κουµπιά ελέγχου (ένταση ήχου, pause/resume, rewind, κλπ) για διαδραστικότητα 6-16 8
Πολυµέσα στο ιαδίκτυο: απλούστερη προσέγγιση Web Browser (1) αίτηση/απόκριση HTTP για αρχείο ήχου/βίντεο Web Server (2) αρχείο ήχου/βίντεο Media Player ήχος ή βίντεο αποθηκευµένα σε αρχείο το αρχείο µεταφέρεται ως αντικείµενο HTTP λαµβάνεται εξ ολοκλήρου από τον client µετά µεταβιβάζεται στον media player Μειονέκτηµα: ο Web browser λειτουργεί ως ενδιάµεσος µεταξύ media player και server µεγάλες καθυστερήσεις έως την αναπαραγωγή του ήχου/βίντεο 6-17 Πολυµέσα στο ιαδίκτυο: συνεχής ροή από web server Web Browser (2) µετά-αρχείο Media Player (1) αίτηση/απόκριση HTTP για µετά-αρχείο (meta file) Web Server (3) το αρχείο ήχου/βίντεο ζητείται και αποστέλλεται µέσω HTTP ο browser ζητεί και λαµβάνει το αρχείο µετά-αρχείο (meta file) (αρχείο περιγραφής παρουσίασης του αντικειµένου) ο browser εκκινεί τον media player στον οποίο µεταβιβάζει το µετά-αρχείο ο media player επικοινωνεί µε τον server ο server στέλνει τον ήχο/βίντεο στον media player µε streaming 6-18 9
Πολυµέσα στο ιαδίκτυο: συνεχής ροή από streaming server Web Browser (2) αρχείο περιγραφής παρουσίασης Media Player (1) αίτηση/απόκριση HTTP για αρχείο περιγραφής παρουσίασης (3) το αρχείο ήχου/βίντεο ζητείται και αποστέλλεται Web Server Streaming Server Ηαρχιτεκτονική αυτή επιτρέπει τη χρήση µεταξύ streaming server και media player πρωτοκόλλων διαφορετικών από το HTTP Μπορεί επίσης να χρησιµοποιηθεί UDP αντί για TCP 6-19 Streaming Server: επιλογές Υπάρχουν διάφορες επιλογές όσον αφορά την παράδοση ενός αρχείου ήχου/βίντεο από τον streaming server στον media player: προσωρινή αποθήκευση (buffering) στον client καθυστέρηση έναρξης αναπαραγωγής για την αποµάκρυνση του jitter χρήση UDP έναντι χρήσης TCP 6-20 10
Πολυµέσα συνεχούς ροής: προσωρινή αποθήκευση στον client µετάδοση βίντεο µε σταθερό ρυθµό µεταβλητή καθυστέρηση δικτύου παραλαβή βίντεο από τον client αποθηκευµένο βίντεο αναπαραγωγή βίντεο µε σταθερό ρυθµό στον client Άθροισµα δεδοµένων καθυστέρηση αναπαραγωγής στον client χρόνος Η προσωρινή αποθήκευση στην πλευρά του client και η καθυστέρηση αναπαραγωγής αντισταθµίζουν τη µεταβλητότητα της καθυστέρησης (jitter) 6-21 Πολυµέσα συνεχούς ροής: προσωρινή αποθήκευση στον client από το δίκτυο µεταβλητός ρυθµός πλήρωσης x(t) buffer στον client σταθερός ρυθµός απορροής d προς αποσυµπίεση και αναπαραγωγή προσωρινά αποθηκευµένο βίντεο Ο buffer του client γεµίζει µε µεταβλητό ρυθµό x(t) (fill rate) και αδειάζει µε σταθερό ρυθµό d (drain rate) 6-22 11
Πολυµέσα συνεχούς ροής: UDP ή TCP; UDP ο server στέλνει µε ρυθµό κατάλληλο για τον client (αδιαφορώντας για τη συµφόρηση στο δίκτυο) συχνά, ρυθµός αποστολής = ρυθµός κωδικοποίησης = σταθ. = d οπότε, x(t) = d ρυθµός απωλειών πακέτων µικρή καθυστέρηση αναπαραγωγής (2-5 δευτερόλεπτα) για την αντιστάθµιση του jitter ανάκαµψη από σφάλµατα εφόσον το επιτρέπουν οι χρονικοί περιορισµοί TCP ο server στέλνει µε το µέγιστο δυνατό ρυθµό που επιτρέπει το TCP ο ρυθµός πλήρωσης εµφανίζει διακυµάνσεις λόγω ελέγχου συµφόρησης και ροής στο TCP µεγαλύτερη καθυστέρηση αναπαραγωγής για την εξοµάλυνση του ρυθµού παράδοσης του TCP HTTP/TCP διέρχεται ευκολότερα από firewalls 6-23 Πολυµέσα συνεχούς ροής: ρυθµός του client ρυθµός κωδικοποίησης 1,5 Mbps ρυθµός κωδικοποίησης 28,8 kbps Ορυθµός µε τον οποίο µπορεί να λαµβάνει ο client εξαρτάται από το είδος πρόσβασης στο δίκτυο π.χ. 28,8 kbps dialup 100 Mbps Ethernet Ο server διαθέτει πολλαπλά αντίγραφα ενός βίντεο µε διαφορετικούς ρυθµούς κωδικοποίησης 6-24 12
Έλεγχος µέσων συνεχούς ροής από τον χρήστη: RTSP HTTP εν σχεδιάσθηκε για συνεχή µέσα εν υποστηρίζει την αλληλεπίδραση του χρήστη µε τον server δεν παρέχει εντολές για fast forward, pause κλπ. RTSP [RFC 2326]: Πρωτόκολλο client-server στο επίπεδο εφαρµογής Επιτρέπει τον έλεγχο παρουσίασης από το χρήστη: rewind, fast forward, pause, resume κλπ. Το RTSP: δεν ορίζει µεθόδους συµπίεσης για ήχο/βίντεο δεν ορίζει τον τρόπο ενθυλάκωσης του ήχου/βίντεο σε πακέτα για µετάδοση στο δίκτυο δεν επιβάλλει περιορισµούς στον τρόπο µεταφοράς των µέσων: µπορεί να χρησιµοποιηθεί UDP ή TCP δεν καθορίζει τον τρόπο µε τον οποίο ο media player αποθηκεύει τον ήχο/βίντεο 6-25 RTSP: έλεγχος out of band Το FTP χρησιµοποιεί ένα κανάλι ελέγχου out-of-band : Ένα αρχείο µεταφέρεται µέσω µίας σύνδεσης TCP (κανάλι δεδοµένων) Πληροφορία ελέγχου (αλλαγή καταλόγου, διαγραφή αρχείου κλπ.) µεταφέρεται µέσω µίας ξεχωριστής σύνδεσης TCP (κανάλι ελέγχου) Τα κανάλια ελέγχου ( out-ofband ) και δεδοµένων ( inband ) χρησιµοποιούν διαφορετικούς αριθµούς θύρας Τα µηνύµατα του RTSP στέλνονται επίσης out-ofband : Τα µηνύµατα ελέγχου του RTSP χρησιµοποιούν διαφορετικό αριθµό θύρας από το media stream αριθµός θύρας 554 Το media stream θεωρείται in-band 6-26 13
Παράδειγµα RTSP Σενάριο: ο web browser ζητά και λαµβάνει το αρχείο περιγραφής παρουσίασης (meta file) ο browser εκκινεί τον media player εγκαθιδρύεται RTSP session µεταξύ media player και streaming server µεταφορά δεδοµένων από τον streaming server στον media player 6-27 Παράδειγµα Meta file <title>twister</title> <session> <group language=en lipsync> <switch> <track type=audio e="pcmu/8000/1" src = "rtsp://audio.example.com/twister/audio.en/lofi"> <track type=audio e="dvi4/16000/2" pt="90 DVI4/8000/1" src="rtsp://audio.example.com/twister/audio.en/hifi"> </switch> <track type="video/jpeg" src="rtsp://video.example.com/twister/video"> </group> </session> 6-28 14
Λειτουργία του RTSP 6-29 Παράδειγµα ανταλλαγών µηνυµάτων στο RTSP C: SETUP rtsp://audio.example.com/twister/audio.en RTSP/1.0 Transport: rtp/udp; compression; port=3056; mode=play S: RTSP/1.0 200 OK Session: 4231 C: PLAY rtsp://audio.example.com/twister/audio.en/lofi RTSP/1.0 Session: 4231 Range: npt=0- C: PAUSE rtsp://audio.example.com/twister/audio.en/lofi RTSP/1.0 Session: 4231 Range: npt=37 C: TEARDOWN rtsp://audio.example.com/twister/audio.en/lofi RTSP/1.0 Session: 4231 S: RTSP/1.0 200 OK 6-30 15
Κεφάλαιο 6 6.1 ικτυακές εφαρµογές πολυµέσων 6.2 Εφαρµογές µετάδοσης αποθηκευµένου ήχου και βίντεο µε συνεχή ροή RTSP 6.3 Αξιοποιώντας την υπηρεσία βέλτιστης προσπάθειας: ένα παράδειγµα ιαδικτυακού τηλεφώνου 6.4 Πρωτόκολλα για διαδραστικές εφαρµογές πραγµατικού χρόνου RTP, RTCP SIP 6.5 Πέρα από τα όρια της βέλτιστης προσπάθειας 6.6 Μηχανισµοί χρονοπρογραµµατισµού και αστυνόµευσης 6.7 Ενοποιηµένες Υπηρεσίες 6.8 Πρωτόκολλο RSVP 6.9 ιαφοροποιηµένες Υπηρεσίες 6-31 ιαδραστικές εφαρµογές µετάδοσης πολυµέσων σε πραγµατικό χρόνο ιαδικτυακή τηλεφωνία από PC σε PC από PC σε τηλέφωνο Dialpad Net2phone Βιντεοδιάσκεψη µε Webcams Θα εξετάσουµε ένα παράδειγµα ιαδικτυακής τηλεφωνίας από PC σε PC 6-32 16
ιαδικτυακή τηλεφωνία ένα σήµα φωνής αποτελείται από εναλλασσόµενες περιόδους οµιλίας (talk spurts) και περιόδους σιωπής (silent periods) πακέτα παράγονται µόνο κατά τη διάρκεια των talk spurts ρυθµός γένεσης πληροφορίας: 64 kbps (8 kbytes/sec) κατά τη διάρκεια ενός talk spurt η εφαρµογή παράγει 160 bytes δεδοµένων κάθε 20 msec σε κάθε 160 bytes δεδοµένων προστίθεται µία επικεφαλίδα επιπέδου εφαρµογής δεδοµένα και επικεφαλίδα ενθυλακώνονται σε ένα UDP segment η εφαρµογή στέλνει ένα UDP segment κάθε 20 msec κατά τη διάρκεια ενός talkspurt 6-33 ιαδικτυακή τηλεφωνία: απώλειες και καθυστέρηση πακέτων απώλειες δικτύου: ένα πακέτο (datagram) χάνεται λόγω συµφόρησης στο δίκτυο (υπερχείλιση στους buffers των δροµολογητές) απώλειες καθυστέρησης: ένα πακέτο που φθάνει στον παραλήπτη καθυστερηµένα (µετά τον προγραµµατισµένο χρόνο αναπαραγωγής) θεωρείται ότι έχει χαθεί κάθε πακέτο υφίσταται καθυστερήσεις στους δροµολογητές και τις ζεύξεις του δικτύου (επεξεργασία, αναµονή στην ουρά, µετάδοση, διάδοση) και στα τερµατικά συστήµατα (αποστολέα, παραλήπτη) τυπική τιµή µέγιστης ανεκτής καθυστέρησης: 400 ms ανοχή στις απώλειες: ανάλογα µε τη µέθοδο κωδικοποίησης της φωνής και τη µέθοδο συγκάλυψης των απωλειών, οι εφαρµογές αυτές µπορούν να ανεχθούν ρυθµό απωλειών πακέτων µεταξύ 1% και 10% 6-34 17
ιαδικτυακή τηλεφωνία: µεταβλητότητα καθυστέρησης (jitter) άθροισµα δεδοµένων µετάδοση µε σταθερό ρυθµό µεταβλητή καθυστέρηση δικτύου (jitter) παραλαβή από τον client αποθηκευµένα δεδοµένα αναπαραγωγή µε σταθερό ρυθµό στον client καθυστέρηση αναπαραγωγής χρόνος Θεωρείστε τις καθυστερήσεις από άκρο σε άκρο (end-to-end) δύο διαδοχικών πακέτων: η διαφορά µπορεί να είναι µικρότερη ή µεγαλύτερη από 20 msec Για την αποµάκρυνση του jitter χρησιµοποιούνται σε συνδυασµό αριθµοί ακολουθίας, χρονοσφραγίδες (timestamps) και καθυστέρηση αναπαραγωγής 6-35 ιαδικτυακή Τηλεφωνία: σταθερή καθυστέρηση αναπαραγωγής ο παραλήπτης επιχειρεί να αναπαράγει κάθε κοµµάτι των 160 bytes ακριβώς q msecs µετά από τη στιγµή που παρήχθη το κοµµάτι εάν ένα κοµµάτι έχει χρονοσφραγίδα t, τότε ο χρόνος για την αναπαραγωγή του είναι t+q εάν το κοµµάτι φθάσει µετά το χρόνο t+q, δηλαδή καθυστερηµένα για την αναπαραγωγή, ο παραλήπτης το απορρίπτει Επιλογή της τιµής του q: µεγάλη τιµή q: λιγότερες απώλειες πακέτων µικρή τιµή q: καλύτερη διαδραστική επικοινωνία 6-36 18
Σταθερή καθυστέρηση αναπαραγωγής Ο αποστολέας παράγει ένα πακέτο κάθε 20 msec κατά τη διάρκεια του talk spurt Το πρώτο πακέτο λαµβάνεται τη χρονική στιγµή r Περίπτωση 1: η αναπαραγωγή αρχίζει τη χρονική στιγµή p Περίπτωση packets 2: η αναπαραγωγή αρχίζει τη χρονική στιγµή p πακέτα παραγόµενα packets generated πακέτα απώλεια loss λαµβανόµενα packets received πακέτα καθυστέρηση playout schedule αναπαραγωγής p' - r p r playout καθυστέρηση schedule αναπαραγωγής p - r p r time χρόνος r p p' 6-37 Προσαρµοστική καθυστέρηση αναπαραγωγής (1) Στόχος: ελαχιστοποίηση της καθυστέρησης αναπαραγωγής υπό τη συνθήκη χαµηλού ρυθµού απωλειών λόγω καθυστέρησης Προσέγγιση: προσαρµοστική ρύθµιση της καθυστέρησης αναπαραγωγής: εκτίµηση της καθυστέρησης δικτύου, ρύθµιση της καθυστέρησης αναπαραγωγής στην αρχή κάθε talk spurt οι περίοδοι σιωπής συµπιέζονται και επιµηκύνονται τα πακέτα αναπαράγονται κάθε 20 msec κατά τη διάρκεια του talk spurt t = χρονοσφραγίδα πακέτου i r = χρονική στιγµή λήψης πακέτου i από τον παραλήπτη p = χρονική στιγµή αναπαραγωγής πακέτου i στον παραλήπτη r t = καθυστέρηση δικτύου για το πακέτο i i d i i i i i = εκτίµηση της µέσης καθυστέρησης δικτύου µετά τη λήψη του πακέτου υναµική εκτίµηση της µέσης καθυστέρησης στον παραλήπτη: d i = όπου u σταθερά (π.χ. u = 0.01) ( 1 u) di 1 + u( ri ti ) i 6-38 19
Προσαρµοστική καθυστέρηση αναπαραγωγής (2) Εκτίµηση της µέσης απόκλισης της καθυστέρησης, v i : v i = ( 1 u) vi 1 + u ri ti di Οι εκτιµήσεις d i and v i υπολογίζονται για κάθε λαµβανόµενο πακέτο, χρησιµοποιούνται όµως µόνο στην αρχή κάθε talk spurt Η χρονική στιγµή αναπαραγωγής για το πρώτο πακέτο ενός talk spurt (έστω πακέτο i) είναι: p = t + d + Kv όπου K θετική σταθερά i i Τα υπόλοιπα πακέτα στο talkspurt αναπαράγονται περιοδικά i i 6-39 Προσαρµοστική καθυστέρηση αναπαραγωγής (3) Για την εφαρµογή της µεθόδου απαιτείται ο προσδιορισµός του πρώτου πακέτου σε κάθε talkspurt Στην περίπτωση χωρίς απώλειες, ο παραλήπτης εξετάζει τις διαδοχικές χρονοσφραγίδες διαφορά διαδοχικών χρονοσφραγίδων > 20 msec έναρξη talk spurt Στην περίπτωση µε απώλειες, ο παραλήπτης πρέπει να εξετάσει και τις χρονοσφραγίδες και τους αριθµούς ακολουθίας διαφορά διαδοχικών χρονοσφραγίδων > 20 msec και συνεχόµενοι αριθµοί ακολουθίας έναρξη talk spurt 6-40 20
Ανάκαµψη από απώλειες πακέτων (1) forward error correction (FEC): απλή µέθοδος για κάθε οµάδα από n κοµµάτια δηµιουργείται ένα πλεονάζον κοµµάτι, εφαρµόζοντας xor στα n αρχικά κοµµάτια µεταδίδονται n+1 κοµµάτια, µε αποτέλεσµα την αύξηση του απαιτούµενου bandwidth κατά ένα παράγοντα 1/n εάν χαθεί το πολύ ένα κοµµάτι, τότε τα n αρχικά κοµµάτια µπορούν να ανακατασκευασθούν από τα n+1 λαµβανόµενα κοµµάτια Η καθυστέρηση αναπαραγωγής πρέπει να είναι τουλάχιστον ίση µε το χρόνο που απαιτείται για να ληφθούν και τα n+1 κοµµάτια Επιλογή της τιµής του n: Για µεγάλες τιµές του n, µικρότερη σπατάλη bandwidth µεγαλύτερη καθυστέρηση αναπαραγωγής µεγαλύτερη πιθανότητα να χαθούν 2 ή περισσότερα κοµµάτια 6-41 Ανάκαµψη από απώλειες πακέτων (2) εύτερη µέθοδος FEC παράλληλη αποστολή δεύτερου audio stream χαµηλότερης ποιότητας (πλεονασµός) π.χ. κύριο audio stream κωδικοποιηµένο µε PCM στα 64 kbps και πλεονάζον audio stream κωδικοποιηµένο µε GSM στα 13 kbps Αρχική ροή πακέτων Πλεονασµός Απώλεια πακέτου Ανακατασκευασµένη ροή πακέτων Εάν δεν έχουµε απώλειες γειτονικών πακέτων, ο παραλήπτης µπορεί να συγκαλύψει τις απώλειες 6-42 21
Ανάκαµψη από απώλειες πακέτων (3) Αρχική ροή πακέτων ιαπλεγµένη ροή Απώλεια πακέτου Ανακατασκευασµένη ροή πακέτων Interleaving (διάπλεξη) τα κοµµάτια τεµαχίζονται σε µικρότερες µονάδες για παράδειγµα 4 µονάδες των 5 msec ανά κοµµάτι ένα πακέτο περιέχει µικρές µονάδες από διαφορετικά κοµµάτια εάν χαθεί ένα πακέτο, εξακολουθούµε να έχουµε το µεγαλύτερο µέρος κάθε κοµµατιού δεν απαιτείται πλεονασµός αυξάνεται η καθυστέρηση αναπαραγωγής 6-43 Εφαρµογές πολυµέσων στο ιαδίκτυο: Σύνοψη χρησιµοποιούν UDP ώστε να αποφεύγουν τον έλεγχο συµφόρησης του TCP (καθυστερήσεις) για κίνηση µε ευαισθησία στις καθυστερήσεις (time-sensitive) προσαρµοστική καθυστέρηση αναπαραγωγής στην πλευρά του client ώστε να αντισταθµίζονται οι καθυστερήσεις η πλευρά του server επιδιώκει να ταιριάξει το bandwidth του audio/video stream µε το διαθέσιµο bandwidth στη διαδροµή µεταξύ client και server επιλογή µεταξύ streams µε διαφορετικούς ρυθµούς δυναµικός ρυθµός κωδικοποίησης από τον server ανάκαµψη από σφάλµατα (επάνω από UDP) FEC, interleaving επαναµεταδόσεις εφόσον το επιτρέπει ο χρόνος συγκάλυψη σφαλµάτων µε επανάληψη γειτονικών δεδοµένων 6-44 22
Κεφάλαιο 6 6.1 ικτυακές εφαρµογές πολυµέσων 6.2 Εφαρµογές µετάδοσης αποθηκευµένου ήχου και βίντεο µε συνεχή ροή RTSP 6.3 Αξιοποιώντας την υπηρεσία βέλτιστης προσπάθειας: ένα παράδειγµα ιαδικτυακού τηλεφώνου 6.4 Πρωτόκολλα για διαδραστικές εφαρµογές πραγµατικού χρόνου RTP, RTCP SIP 6.5 Πέρα από τα όρια της βέλτιστης προσπάθειας 6.6 Μηχανισµοί χρονοπρογραµµατισµού και αστυνόµευσης 6.7 Ενοποιηµένες Υπηρεσίες 6.8 Πρωτόκολλο RSVP 6.9 ιαφοροποιηµένες Υπηρεσίες 6-45 Real-Time Protocol (RTP) [RFC 3550] το πρωτόκολλο RTP καθορίζει µία δοµή για πακέτα που µεταφέρουν δεδοµένα ήχου και βίντεο ένα πακέτο RTP παρέχει αναγνώριση του είδους του ωφέλιµου φορτίου (payload type) του πακέτου αρίθµηση σειράς των πακέτων πληροφορία χρονισµού (χρονοσφραγίδων) το RTP τρέχει στα τερµατικά συστήµατα τα πακέτα RTP ενθυλακώνονται µέσα σε UDP segments διαλειτουργικότητα (interoperability): εάν δύο εφαρµογές ιαδικτυακής τηλεφωνίας τρέχουν RTP, τότε ενδεχοµένως να είναι σε θέση να συνεργασθούν 6-46 23
Το RTP τρέχει επάνω από το UDP Οι βιβλιοθήκες του RTP παρέχουν µία διεπαφή επιπέδου µεταφοράς που επεκτείνει το UDP: αριθµός θύρας, διεύθυνση IP είδος ωφέλιµου φορτίου αριθµός ακολουθίας πακέτου χρονοσφραγίδα identifier πηγής (SSRC) 6-47 Παράδειγµα RTP Θεωρείστε την αποστολή φωνής κωδικοποιηµένης µε PCM (64 kbps) µε RTP Η εφαρµογή συλλέγει τα κωδικοποιηµένα δεδοµένα σε κοµµάτια, π.χ. κάθε 20 msec παράγεται ένα κοµµάτι µε 160 bytes Το κοµµάτι αυτό µαζί µε την επικεφαλίδα RTP αποτελούν το πακέτο RTP, το οποίο ενθυλακώνεται µέσα σε ένα UDP segment Ηεπικεφαλίδα RTP υποδεικνύει τη µέθοδο κωδικοποίησης της φωνής σε κάθε πακέτο ο αποστολέας µπορεί να αλλάξει µέθοδο κωδικοποίησης κατά τη διάρκεια µίας διάσκεψης Η επικεφαλίδα RTP περιέχει επίσης αριθµούς ακολουθίας και χρονοσφραγίδες 6-48 24
RTP και QoS Το RTP δεν παρέχει κανένα µηχανισµό που να διασφαλίζει την έγκαιρη παράδοση των δεδοµένων ούτε παρέχει άλλες εγγυήσεις QoS Η ενθυλάκωση σε πακέτα RTP γίνεται αντιληπτή στα τερµατικά συστήµατα µόνο: οι ενδιάµεσοι δροµολογητές αγνοούν εάν ένα datagram µεταφέρει ένα πακέτο RTP ή όχι Οι δροµολογητές που παρέχουν υπηρεσία βέλτιστης προσπάθειας δεν καταβάλλουν καµία ιδιαίτερη προσπάθεια για να διασφαλίσουν την έγκαιρη άφιξη των πακέτων RTP στον προορισµό 6-49 RTP Streams Το RTP επιτρέπει να ανατίθεται ένα ανεξάρτητο RTP stream από πακέτα σε κάθε πηγή (π.χ. µία κάµερα ή ένα µικρόφωνο) Για παράδειγµα, σε µία βιντεοδιάσκεψη µε δύο συµµετέχοντες µπορούν να ανοιχθούν τέσσερα RTP streams: δύο streams για τη µετάδοση του ήχου (ένα σε κάθε κατεύθυνση) και δύο streams για το βίντεο Ορισµένες τεχνικές κωδικοποίησης (π.χ. MPEG 1 και MPEG 2) πολυπλέκουν τον ήχο και το βίντεο σε µία µόνο ροή κατά τη διαδικασία της κωδικοποίησης Στην περίπτωση αυτή έχουµε ένα µόνο RTP stream προς καθεµία από τις δύο κατευθύνσεις Στην περίπτωση ενός multicast session µε περισσότερους από έναν αποστολείς και παραλήπτες, όλοι οι αποστολείς και πηγές συνήθως στέλνουν τα RTP streams στο ίδιο δένδρο multicast µε την ίδια διεύθυνση multicast 6-50 25
Επικεφαλίδα RTP Payload Type Sequence Number Timestamp Synchronization Source identifier ιάφορα Πεδία Επικεφαλίδα RTP Payload Type (7 bits): Υποδεικνύει τη χρησιµοποιούµενη µέθοδο κωδικοποίησης. Με το πεδίο αυτό ο αποστολέας πληροφορεί τον παραλήπτη για την αλλαγή της µεθόδου κωδικοποίησης κατά τη διάρκεια µίας διάσκεψης. Payload type 0: PCM µ-law, 64 kbps Payload type 3: GSM, 13 kbps Payload type 7: LPC, 2.4 kbps Payload type 26: Motion JPEG Payload type 31: H.261 Payload type 33: MPEG2 video Sequence Number (16 bits): Αυξάνεται κατά ένα µε κάθε αποστελλόµενο πακέτο RTP. Μπορεί να χρησιµοποιηθεί για την ανίχνευση απωλειών πακέτων και για την επαναδιάταξη των πακέτων στη σειρά. 6-51 Επικεφαλίδα RTP (συνέχεια) Timestamp (32 bits): Αναφέρεται στη στιγµή δειγµατοληψίας του πρώτου byte των δεδοµένων που περιέχονται σε ένα πακέτο RTP στην περίπτωση του ήχου, το ρολόι των χρονοσφραγίδων συνήθως αυξάνεται κατά ένα για κάθε περίοδο δειγµατοληψίας (π.χ. κάθε 125 µsecs για ρολόι δειγµατοληψίας µε συχνότητα 8 KHz) εάν η εφαρµογή χρησιµοποιεί 160 κωδικοποιηµένα δείγµατα στο ωφέλιµο φορτίο του πακέτου RTP, τότε η τιµή του πεδίου timestamp αυξάνεται κατά 160 για κάθε πακέτο RTP όσο η πηγή είναι ενεργή. Το ρολόι των χρονοσφραγίδων εξακολουθεί να αυξάνεται µε σταθερό ρυθµό όσο η πηγή είναι αδρανής SSRC (32 bits): Προσδιορίζει την πηγή του RTP stream. Κάθε stream σε ένα RTP session πρέπει να έχει ξεχωριστό SSRC. 6-52 26
Real-Time Control Protocol (RTCP) Συνοδεύει το πρωτόκολλο RTP Κάθε συµµετέχων σε ένα RTP session µεταδίδει περιοδικά πακέτα ελέγχου RTCP προς όλους τους άλλους συµµετέχοντες Κάθε πακέτο RTCP περιέχει αναφορές (reports) αποστολέα και/ή αναφορές παραλήπτη αναφορά στατιστικών που είναι χρήσιµες στην εφαρµογή Οι στατιστικές περιλαµβάνουν τον αριθµό των απεσταλµένων πακέτων, τον αριθµό των απολεσθέντων πακέτων, µεταβλητότητα χρόνου µεταξύ αφίξεων (interarrival jitter) κλπ. Η πληροφορία αυτή ανάδρασης µπορεί να χρησιµοποιηθεί για τον έλεγχο της απόδοσης και για διαγνωστικούς σκοπούς Ο αποστολέας µπορεί να τροποποιήσει τις µεταδόσεις του µε βάση την πληροφορία ανάδρασης 6-53 RTCP (συνέχεια) αποστολέας RTP RTCP ιαδίκτυο RTCP παραλήπτης RTCP παραλήπτης -Ένα RTP session έχει συνήθως µία µοναδική διεύθυνση multicast Όλα τα πακέτα RTP και RTCP που ανήκουν στο session χρησιµοποιούν την διεύθυνση multicast - Τα πακέτα RTP και RTCP διακρίνονται µεταξύ τους µε τη χρήση ξεχωριστών αριθµών θύρας - Για τον περιορισµό της κίνησης, κάθε συµµετέχων µειώνει την κίνηση RTCP που παράγει µε την αύξηση του αριθµού των συµµετεχόντων 6-54 27
Πακέτα RTCP Πακέτα αναφοράς παραλήπτη (receiver report): SSRC του RTP stream, ποσοστό απολεσθέντων πακέτων RTP, αριθµός ακολουθίας µε µέγιστη τιµή, µέσο jitter ενδοαφίξεων Πακέτα αναφοράς αποστολέα (sender report): SSRC του RTP stream, χρονοσφραγίδα NTP (απόλυτος χρόνος), χρονοσφραγίδα RTP, αριθµός απεσταλµένων πακέτων RTP, αριθµός απεσταλµένων bytes ωφέλιµου φορτίου Πακέτα περιγραφής πηγής (source description): SSRC του σχετιζόµενου RTP stream, διεύθυνση e-mail του αποστολέα, όνοµα αποστολέα, κλπ. Παρέχει απεικόνιση µεταξύ SSRC και του ονόµατος του χρήστη/host 6-55 Συγχρονισµός των RTP streams Το RTCP µπορεί να συγχρονίσει διαφορετικά RTP streams σε ένα RTP session Θεωρείστε µία εφαρµογή βιντεοδιάσκεψης όπου κάθε αποστολέας παράγει ένα RTP stream για βίντεο και ένα για ήχο Οι χρονοσφραγίδες των πακέτων RTP αναφέρονται στα ρολόγια δειγµατοληψίας του βίντεο και του ήχου δεν αναφέρονται στον απόλυτο χρόνο (wallclock time) Κάθε πακέτο RTCP sender report περιέχει: χρονοσφραγίδα ΝTP (απόλυτος χρόνος δηµιουργίας του πακέτου RTCP) χρονοσφραγίδα RTP (χρόνος δηµιουργίας του πακέτου RTCP σε µονάδες χρόνου RTP) Οι παραλήπτες µπορούν να χρησιµοποιήσουν αυτή τη σχέση για να συγχρονίσουν την αναπαραγωγή του ήχου και του βίντεο 6-56 28
Κλιµάκωση αναγκών σε εύρος ζώνης στο RTCP Το RTCP επιχειρεί να περιορίσει την κίνησή του στο 5% του session bandwidth Παράδειγµα Έστω ότι υπάρχει ένας αποστολέας ο οποίος στέλνει βίντεο µε ρυθµό 2 Mbps Το RTCP επιχειρεί να περιορίσει την κίνησή του σε 100 kbps Το RTCP δίνει 75% του ρυθµού αυτού στους παραλήπτες και το υπόλοιπο 25% στον αποστολέα Τα 75 kbps µοιράζονται εξίσου µεταξύ των παραληπτών: Με R παραλήπτες, κάθε παραλήπτης στέλνει κίνηση RTCP µε ρυθµό 75/R kbps Ο αποστολέας στέλνει κίνηση RTCP µε ρυθµό 25 kbps Κάθε συµµετέχων προσδιορίζει την περίοδο µετάδοσης πακέτων RTCP υπολογίζοντας το µέσο µέγεθος πακέτου RTCP (σε ολόκληρο το session) και διαιρώντας µε τον παραχωρηµένο ρυθµό 6-57 Session Initiation Protocol (SIP) [RFC 3261] Αναπτύχθηκε από το IETF Μακροπρόθεσµο όραµα του SIP Όλες οι τηλεφωνικές κλήσεις και οι βιντεοδιασκέψεις πραγµατοποιούνται µέσω του ιαδικτύου Για την αναγνώριση ενός χρήστη χρησιµοποιείται ένα όνοµα ή µία διεύθυνση e-mail παρά ένας αριθµός τηλεφώνου Η κλήση µπορεί να προωθηθεί στον καλούµενο ανεξάρτητα από το που βρίσκεται και από την συσκευή IP που χρησιµοποιεί (personal mobility) 6-58 29
Υπηρεσίες που παρέχει το SIP Εγκαθίδρυση κλήσης Παρέχει µηχανισµούς ώστε ο καλών να µπορεί να γνωστοποιήσει στον καλούµενο ότι θέλει να εγκαθιδρύσει µία κλήση Παρέχει µηχανισµούς ώστε ο καλών και ο καλούµενος να διαπραγµατευθούν το είδος του µέσου και της κωδικοποίησης Παρέχει µηχανισµούς για τον τερµατισµό κλήσης Προσδιορισµός τρέχουσας διεύθυνσης IP του καλούµενου Απεικονίζει έναν µνηµονικό identifier στην τρέχουσα διεύθυνση IP ιαχείριση κλήσης Προσθήκη νέων µέσων κατά τη διάρκεια µίας κλήσης Αλλαγή κωδικοποίησης κατά τη διάρκεια της κλήσης Πρόσκληση νέων συµµετεχόντων σε µία διάσκεψη Μεταφορά κλήσης (call transfer) και κλήση σε αναµονή (on hold) 6-59 Εγκαθίδρυση κλήσης σε γνωστή διεύθυνση IP Alice 167.180.112.24 time 193.64.210.89 INVITE bob@193.64.210.89 c=in IP4 167.180.112.24 m=audio 38060 RTP/AVP 0 port 5060 port 5060 port 38060 200 OK c=in IP4 193.64.210.89 m=audio 48753 RTP/AVP 3 ACK port 5060 GSM µ Law audio port 48753 time Bob Bob's terminal rings Το µήνυµα SIP INVITE της Alice υποδεικνύει τον δικό της αριθµό θύρας & διεύθυνση IP. Υποδεικνύει τη µέθοδο κωδικοποίησης που προτιµά να λάβει η Alice (PCM µ-law) Το µήνυµα 200 OK του Bob υποδεικνύει τον δικό του αριθµό θύρας, διεύθυνση IP & προτιµώµενη µέθοδο κωδικοποίησης (GSM) Τα µηνύµατα SIP µπορούν να σταλούν επάνω από TCP ή UDP Προεπιλεγµένος αριθµός θύρας SIP: 5060 6-60 30