Βίντεο και Animation Οπτικά μέσα αποθήκευσης Ανάλυση περιεχομένου

Transcript

1 ΔΗΜΟΚΡΙΤΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΡΑΚΗΣ ΤΜΗΜΑ ΗΛΕΚΤΡΟΛΟΓΩΝ ΜΗΧΑΝΙΚΩΝ ΚΑΙ ΜΗΧΑΝΙΚΩΝ ΥΠΟΛΟΓΙΣΤΩΝ Π λ έ Πολυμέσα Βίντεο και Animation Οπτικά μέσα αποθήκευσης Ανάλυση περιεχομένου Δρ. Γεώργιος Π. Παυλίδης

2 Βίντεο/animation, Οπτική αποθήκευση, Ανάλυση περιεχομένου Χρησιμοποίηση Εφαρμογές Εκμάθηση Σχεδίαση Διασύνδεση χρήστη Υπηρεσίες Ανάλυση περιεχομένου Έγγραφα Ασφάλεια... Συγχρονισμός Επικοινωνία ομάδας Βάσεις δεδομένων Προγραμματισμός Συστήματα Server Μέσων Λειτουργικά Συστήματα Επικοινωνία Οπτική αποθήκευση Ποιότητα υπηρεσιών Δίκτυα Βασικά Αρχιτεκτονική υπολογιστών Κείμενο Ήχος Συμπίεση Γραφικά & Εικόνες Βίντεο Κίνηση 2/88

3 Περιεχόμενα Βίντεο και animation Εισαγωγή Οπτική και όραση Βίντεο και animation Ψηφιοποίηση / Ψηφιακή δημιουργία Χαρακτηριστικά και μεγέθη Παραγωγή Μετάδοση Παρουσίαση Οπτική αποθήκευση Εισαγωγή-Ιστορικά Κατηγορίες CD, DVD, Blu-ray, HD-DVD Ανάλυση περιεχομένου Εισαγωγικά-Στόχοι Αάλ Ανάλυση και δεικτοδότηση δό σε εικόνες, ήχο και βίντεο 3/88

4 Μέρος 2 ο ΜΕΣΑ ΟΠΤΙΚΗΣ ΑΠΟΘΗΚΕΥΣΗΣ 4/88

5 Μέσα οπτικής αποθήκευσης Τα δεδομένα βίντεο και ήχου έχουν υψηλές απαιτήσεις (ακόμη ό και συμπιεσμένα) ) σε διαθέσιμη χωρητικότητα αποθήκευσης γρήγορους χρόνους προσπέλασης μέσων αποθήκευσης (υψηλοί ρυθμοί δεδομένων) Οπτικά μέσα αποθήκευσης Υψηλή πυκνότητα αποθήκευσης Χαμηλό κόστος Υψηλοί ρυθμοί δεδομένων 5/88

6 ΔΗΜΟΚΡΙΤΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΡΑΚΗΣ ΤΜΗΜΑ ΗΛΕΚΤΡΟΛΟΓΩΝ ΜΗΧΑΝΙΚΩΝ ΚΑΙ ΜΗΧΑΝΙΚΩΝ ΥΠΟΛΟΓΙΣΤΩΝ Ιστορική Αναδρομή ΠΟΛΥΜΕΣΑ Γεώργιος Π. Παυλίδης 6/88

7 Βασική Τεχνολογία Η πληροφορία αποθηκεύεται σε ίχνη (tracks) σπιράλ μορφής Σε μια αλληλουχία από λάκκους (pits) και ύβους (lands) Μεταβολές από λάκκους σε ύβους και αντίστροφα: 1 Ανάμεσα στις μεταβολές: αλληλουχίες από 0 Η ακτίνα laser εστιάζεται στο ανακλαστικό στρώμα και το υπόστρωμα 7/88

8 Πλεονεκτήματα των μέσων οπτικής αποθήκευσης Υψηλή πυκνότητα δεδομένων 166bits 1.66 δεδομένων / μm ίχνους tpi <-> 96 tpi σε floppy disk Μακροχρόνια αποθήκευση (5-100 χρόνια) Προστασία των δεδομένων Μη ευαισθησία σε σκόνη, γρατσουνιές Επαρκής διόρθωση σφαλμάτων Επιτρέπει την αντιμετώπιση ορισμένων ατελειών Ποιότητα αντίληψης Π.χ. Κάθε ψηφιακός μουσικός δίσκος είναι ισοδύναμος με το πρωτότυπο. 8/88

9 Κατηγορίες μέσων Οπτικοί δίσκοι 1 ης γενιάς Compact Disc (CD) (650 MB) Laserdisc (30cm διάμετρος, λεπτά/πλευρά composite video) Magneto-optical disc (MiniDisc) (650 MB) Οπτικοί δίσκοι 2 ης γενιάς Hi-MD (1 GB MiniDisc) DVD (DVD-Audio, DualDisc, Digital Video Express) (4.7-85GB) 8.5 Super Audio CD ( GB) Enhanced Versatile Disc (DVD - Κίνα) GD-ROM (Sega Dreamcast GB) Digital Multilayer Disc (22-32 GB) DataPlay (250 MB 32mm διάμετρος) Fluorescent Multilayer Disc (1 TB) Phase-change Dual (650 MB) Universal Media Disc (Sony PSP GB) /88

10 Κατηγορίες μέσων Οπτικοί δίσκοι 3 ης γενιάς Blu-ray Disc (25/50 GB) HD DVD (15/30/51 GB) Υπό ανάπτυξη Forward Versatile Disc (15 GB) Total HD Disc (Blu-ray + HD DVD) Versatile Multilayer Disc (30GB) Ultra Density Optical ( GB) Layer-Selection-Type yp Recordable Optical Disc (LS-R)(1 TB) Οπτικοί δίσκοι επόμενης γενιάς Tapestry Media (300 GB TB) Holographic Versatile Disc (3.9 TB) Protein-coated Disc (50 TB theor GB DVD-sized) TeraDisc (3D optical storage disc) (~5 TB?) 10/88

11 Βιντεοδίσκοι, WORM (write once, read many) Χαρακτηριστικά Αποθήκευση βίντεο και ήχου Αναλογική κωδικοποίηση Υψηλή ποιότητα των αναπαραγόμενων δεδομένων ιάμετρος: ~ 30 cm Χωρητικότητα αποθήκευσης: ~ 2.6 GB Αρχές λειτουργίας Ανάμειξη ήχου και βίντεο ιαμόρφωση συχνότητας εν κβαντίζεται το μήκος του λάκκου Άρα συνεχής ως προς το χρόνο και επομένως αναλογική 11/88

12 Compact Disc Digital Audio (CD-DA) DA) Στόχος Αποθήκευση δεδομένων ήχου Φυσικά χαρακτηριστικά ιάμετρος: 120 mm Αναπαραγωγή με σταθερή γωνιακή ταχύτητα Ίχνος σε μορφή σπιράλ με στροφές Τεχνικά χαρακτηριστικά Ρυθμός δεδομένων ήχου Συχνότητα δειγματοληψίας: Hz 16 bit κβάντιση Παλμοκωδική διαμόρφωση (Pulse code modulation, PCM) Ρυθμός δεδομένων: bit/s = 176,4 Kbyte/s Ποιότητα Σηματοθορυβική σχέση: ~6dB/bit με 16 bit κβάντιση S/N = 98dB Χωρητικότητα Χρόνος αναπαραγωγής: μέγιστο 74 min Χωρητικότητα: 74 min * bit/s = bit ~ 747 MB 12/88

13 Compact Disc Digital Audio (CD-DA) DA) Λάκκοι και ύβοι Μεταβολή από λάκκο σε ύβο: 1 Ανάμεσα στις μεταβολές: 0 Ετικέτα Στρώμα προστασίας Στρώμα ανάκλασης Λάκκος Ύβος Υπόστρωμα Πλαίσια: αποτελούνται από δ εδομένα ήχου ύο ομάδες των 12 bytes η καθεμία Πληροφορία ανίχνευσης και διόρθωσης σφαλμάτων 2 ομάδες των 4 bytes byte ελέγχου και προβολής Πολλαπλάσια των 0,3 μm Μαζί με τα bytes των άλλων πλαισίων σχηματίζουν τα ρεύματα των δευτερευόντων καναλιών Πρότυπο συγχρονισμού Καθορίζει την αρχή κάθε πλαισίου 13/88

14 Compact Disc Read Only Memory (CD-ROM) To CD-DA παρέχει Κατάλληλες μεθόδους για διόρθωση σφαλμάτων από σκόνη ή ζημιές Τη βάση για την οικογένεια των οπτικών μέσων αποθήκευσης Αλλά, δεν ορίστηκε για Βίντεο δεδομένα Παράλληλη αναπαραγωγή διαφόρων μέσων Άρα Ανάγκη για αποθήκευση δεδομένων, ήχου, βίντεο (και συμπιεσμένων) CD-ROM πρότυπο (κίτρινο βιβλίο) CD-ROM Mode 1: για οποιαδήποτε δεδομένα CD-ROM Mode 2: για συμπιεσμένα δεδομένα ήχου και βίντεο εν μπορούν να συνδυαστούν σε ένα μεμονωμένο ίχνος Σε ένα τέτοιο υπάρχουν είτε μόνο CD-DA DA ήχος είτε μόνο ειδικά CD-ROM δεδομένα Mixed mode disc Στην αρχή, ίχνη δεδομένων μόνο Στη συνέχεια ίχνη με ψηφιακό ήχο 14/88

15 ομή CD-ROM Υψηλότερη ανάλυση τυχαίας προσπέλασης σε μονάδες δεδομένων και καλύτερη διόρθωση σφαλμάτων Για αποθήκευση δεδομένων υπολογιστή Μονάδα δεδομένων: μπλοκ Σταθερός αριθμός πλαισίων (32) 75 blocks/s για CD-ROM μονής ταχύτητας 2352 byte/block 15/88

16 CD-ROM Mode 1 1 μπλοκ = 2352 byte Τα bytes επικεφαλίδας περιλαμβάνουν λεπτά, δευτερόλεπτα, αριθμό μπλοκ και τρόπο (Mode) Ρυθμός σφάλματος Χωρητικότητα Μέγιστο 74 λεπτά * 60 sec/λεπτό * 75 block/sec = blocks blocks/cd ~ 650 MB δεδομένων χρήστη Ρυθμός δεδομένων 2048 byte/block * 75 block/sec ~ 150 KB/s (μονής ταχύτητας) Χρησιμοποιείται από τις περισσότερες εφαρμογές CD-ROM Ωστόσο το ταυτόχρονο διάβασμα ήχου και άλλων δεδομένων σε CD- ROM mode 1 δεν είναι δυνατό 16/88

17 CD-ROM Mode 2 Χωρητικότητα blocks * 2336 byte/block ~ MB δεδομένων χρήστη Ρυθμός δεδομένων 2336 byte/block * 75 block/sec = 171 KB/sec (απλής ταχύτητας) εν υπάρχει διόρθωση σφαλμάτων 17/88

18 CD-ROM ROM: Σύστημα αρχείων CD-ROM - εν ορίζει λογική διαμόρφωση αρχείων και προδιαγραφές καταλόγων Πρόταση High Sierra Από ομάδα αντιπροσώπων βιομηχανίας Ορισμός αρχικού συστήματος αρχείων που οδήγησε στο πρότυπο ISO 9660 Πρότυπο ISO 9660 έντρο καταλόγων: πληροφορία για αρχεία Πίνακας διαδρομών: λίστα όλων των καταλόγων και άμεση πρόσβαση σε αρχεία σε οποιοδήποτε επίπεδο Παρεμβολή αρχείων Πρώτο ίχνος 16 μπλοκς (τομείς 0-15): περιοχή συστήματος Στα επόμενα μπλοκς: περιγραφείς τόμων με π.χ. μήκος του συστήματος αρχείων Μέγεθος λογικού μπλοκ bytes (με βήματα θετικές δυνάμεις του 2) Χρήση μεγεθών 512, 1024, 2048 byte Τα αρχεία αρχίζουν στην αρχή του λογικού μπλοκ 18/88

19 CD-ROM ROM/XA: CD-ROM Extended Architecture Σκοπός: ταυτόχρονη μεταφορά διάφορων δεδομένων μέσων Βασισμένο στο CD-ROM mode 2, ISO 9660, CD-I Παρεμβολή μπλοκς διαφορετικών μέσων μέσα στο ίδιο ίχνος Ορισμός νέου τύπου ίχνους που χρησιμοποιείται για Συμπιεσμένο ήχο (ADPCM) και βίντεο Εικόνες, κείμενο, προγράμματα ιάκριση μεταξύ δύο μορφών μπλοκ: Μορφή 1 και Μορφή 2 Μειονεκτήματα Έλλειψη συμβατότητας σε συμπίεση ήχου και βίντεο Για κάποια μέσα μόνο αναφορά σε πρότυπα Μη συμβατότητα με MPEG ήχο (δεν χρησιμοποιεί ADPCM) Η παρεμβολή διαφορετικών μέσων στο ίδιο ίχνος Απαιτεί ειδικό layout του δίσκου Απαιτεί αποτελεσματική παρεμβολή με επιλογή του κατάλληλου επιπέδου ήχου Απαιτεί ανάπτυξη πολύπλοκων λο εφαρμογών 19/88

20 CD-ROM ROM/XA (Mode 2) Form 1 & 2 Form 1 Βελτιωμένη διαχείριση σφαλμάτων για κείμενο και δεδομένα προγραμμάτων Form 2 Αποθήκευση συμπιεσμένων δεδομένων ήχου και βίντεο Μόνο 4 bytes για ανίχνευση σφαλμάτων 13% περισσότερα bytes δεδομένων 20/88

21 ΔΗΜΟΚΡΙΤΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΡΑΚΗΣ ΤΜΗΜΑ ΗΛΕΚΤΡΟΛΟΓΩΝ ΜΗΧΑΝΙΚΩΝ ΚΑΙ ΜΗΧΑΝΙΚΩΝ ΥΠΟΛΟΓΙΣΤΩΝ Περαιτέρω εξελίξεις βασισμένες σε CD CD--ROM ΠΟΛΥΜΕΣΑ Γεώργιος Π. Παυλίδης 21/88

22 Περαιτέρω εξελίξεις βασισμένες σε CD-ROM Περαιτέρω πρότυπα Βασίζονται άμεσα στο CD-ROM Mode 2 πρότυπο CDROM/XA Επιτρέπει μπλοκς τύπου 1 και 2 στο ίδιο ίχνος CD-I Ολοκληρωμένο πολυμεσικό σύστημα Formats συμβατότητας Μπορούν να αναπαραχθούν σε πολλούς players CD-I Bridge Disc: σε players CD-ROM/XA και CD-I Mixed Mode Disc: σε players CD-ROM και CD-DA CD-I Ready Format: σε players CD-I και CD-DA DA 22/88

23 Photo Compact Disc: Παράδειγμα CD-Bridge Disc Αποθήκευση φωτογραφιών υψηλής ποιότητας Χαρακτηριστικά Βασίζεται στο CD-Write Once (CD-WO) ιαβάζεται από Photo CD players CD-I players CD-ROM/XA players Γράφεται από Ειδικούς Photo CD writers και CD-WO writers υνατότητες Νέες επαγγελματικές και προσωπικές περιοχές εφαρμογών Ταυτόχρονη προβολή πολλών εικόνων Επεξεργασία εικόνων Ενσωμάτωση σε έγγραφα 23/88

24 Photo Compact Disc: Παράδειγμα CD-Bridge Disc Παραγωγή Οι εικόνες λαμβάνονται από συμβατικές φωτογραφικές μηχανές Ψηφιοποιούνται με 8 bit φωτεινότητας και 8 bit για κάθε χρωματική συνιστώσα Γράφονται στο CD Ανάλυση εικόνας ενός Photo CD Κάθε εικόνα Κωδικοποιείται σε μέχρι 6 αναλύσεις ως μια ImagePac (ιεραρχική κωδικοποίηση) Περίπου 3-6 MB χώρος αποθήκευσης της ImagePac 24/88

25 CD-Write Once (CD-WO) Η εγγραφή είναι μη αντιστρέψιμη Μία φορά μόνο εγγραφή Αναπαράγεται σε CD-DA players Sessions-Σύνοδοι δ Το layout του δίσκου αποτελείται από πολλές συνόδους Μπορούν να προστεθούν και νέες σύνοδοι Μέγιστο 99 σύνοδοι 25/88

26 ΔΗΜΟΚΡΙΤΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΡΑΚΗΣ ΤΜΗΜΑ ΗΛΕΚΤΡΟΛΟΓΩΝ ΜΗΧΑΝΙΚΩΝ ΚΑΙ ΜΗΧΑΝΙΚΩΝ ΥΠΟΛΟΓΙΣΤΩΝ CD--Magneto Optical (CDCD (CD-MO) ΠΟΛΥΜΕΣΑ Γεώργιος Π. Παυλίδης 26/88

27 CD-Magneto Optical (CD-MO) Υψηλή χωρητικότητα (διπλής όψης): γύρω στα 650 MB Ρυθμός δεδομένων: περίπου Mbit/s Χαρακτηριστικά Εγγραφή δεδομένων ιάβασμα δεδομένων Σβήσιμο δεδομένων Επανεγγραφή δεδομένων Aρχές λειτουργίας Εγγραφή Θέρμανση των μπλοκς Εφαρμογή μαγνητικού πεδίου 10x αυτού της γης Πόλωση μεμονωμένων στοιχείων Σβήσιμο Χρήση σταθερού μαγνητικού πεδίου Ταυτόχρονη θέρμανση των μπλοκς 27/88

28 Video CD (VCD) και Super Video CD (SVCD) Ειδική υλοποίηση του CD-ROM/XA Σχεδιασμένο για την αποθήκευση βίντεο κωδικοποιημένων κατά MPEG-1 σε μορφή CD-ROM Mode-2 Ποιότητα MPEG-1 video VCD: 352x288 (PAL), 352x240 (NTSC) Ποιότητα ανάλογη με VHS MPEG-2 video/mpeg-1 hi-bitrate t SVCD: 480x576 (PAL), 480x480 (NTSC) υνατότητα για υπότιτλους μέχρι 4 γλωσσών λεπτά βίντεο και 2 track ήχου Χρήση Αναπαραγωγή ταινιών σε Η/Υ Αναπαραγωγή ταινιών σε VideoCD/DVD Players 28/88

29 Digital Versatile/Video Disc (DVD) Στόχος ημιουργία νέου οπτικού μέσου για την αποθήκευση ολόκληρης ταινίας υψηλής ποιότητας σε ένα μόνο δίσκο Formats Μιας όψης (πλευράς) και ενός στρώματος Μιας όψης και 2 στρωμάτων: το laser πρέπει να αλλάζει εστίαση για να διαβάζει και τα 2 στρώματα ιπλής όψης: ο δίσκος πρέπει να αναποδογυριστεί για να διαβαστεί και η δεύτερη πλευρά Τεχνικά χαρακτηριστικά Οπτική αποθήκευση μέσων παρόμοια με CD Για συμβατότητα προς τα πίσω των συσκευών ανάγνωσης οπτικών δίσκων Μεγαλύτερη χωρητικότητα από τα CD Μικρότεροι λάκκοι και ύβοι Πιο σφιχτά ίχνη Πιο ανθεκτικό σχήμα διόρθωσης σφαλμάτων 29/88

30 Digital Versatile/Video Disc (DVD) Κωδικοποίηση βίντεο MPEG-2, πολλαπλές δυνατότητες bitrate 720x576 (PAL), 720x480 (NTSC) Audio: MPEG-1, MPEG-2, PCM υνατότητα υποτίτλων υνατότητα μενού και αλληλεπίδρασης 30/88

31 Digital Versatile/Video Disc (DVD) - Παραλλαγές DVD-R (G) Γενική μορφή, μήκος κύματος 635 nm, 1 ή 2 πλευρές, καμία προστασία περιεχομένου DVD-R (A) Έκδοση authoring, μήκος κύματος 650 nm, 1 πλευρά, προστασία περιεχομένου DVD-RW Σταθερή γραμμική ταχύτητα, εγγραφές DVD-RAM Σταθερή γωνιακή ταχύτητα, εγγραφές DVD+RW Σταθερής γωνιακής ή γραμμικής ταχύτητας, εγγραφές DVD PROM Μίας εγγραφής μόνο 31/88

32 Blu-Ray Disc (BD) Laser μπλε-ιώδες με μήκος κύματος 405 nm 25 GB στις διαστάσεις ενός DVD Χαρακτηριστικά 9 ώρες high-definition (HD) βίντεο σε διπλής επίστρωσης (dual layer) BD 50 GB 23 ώρες βίντεο «τυπικής» ανάλυσης Παραλλαγές 12 cm, single layer (25GB), dual layer (50GB) 8 cm, single layer (7.8GB), dual layer (15.6GB) Kωδικοποίηση βίντεο MPEG-2, H.264/AVC (MPEG-4), and SMPTE VC-1 (MPEG-4 παραλλαγή από τη Microsoft) Κωδικοποίηση η ήχου Dolby Digital AC-3, DTS, PCM (έως 7.1 κανάλια) 24-bit/192 khz μέχρι έξι κανάλια, ή ως οκτώ κανάλια με έως 24-bit/96 khz δειγματοληψία Εγγραφή βίντεο HDTV 54 Mbps Ταινίες 48 Mbps (40 Mbps βίντεο) Προβλέπονται αρκετά επίπεδα ασφάλειας δεδομένων 32/88

33 High Definition DVD (HD-DVD) DVD) Laser μπλε-ιώδες με μήκος κύματος 405 nm 15 GB στις διαστάσεις ενός DVD Παραλλαγές 12 cm, single layer (15GB), dual layer (30GB) 12 cm, double sided, single layer (30GB), dual layer (60GB) 8 cm, single layer (4.7GB), dual layer (9.4GB) 8 cm, double sided, single layer (9.4GB), dual layer (18.8GB) Kωδικοποίηση βίντεο MPEG-2, H.264/AVC (MPEG-4), and SMPTE VC-1 (MPEG-4 παραλλαγή από τη Microsoft) Κωδικοποίηση ήχου PCM, Dolby Digital it AC-3, Dolby Digital it EX, DTS, Dolby Digital it Plus, Dolby TrueHD (έως 7.1 κανάλια) 24-bit/192 khz μέχρι δύο κανάλια, ή ως οκτώ κανάλια με έως 24-bit/96 khz δειγματοληψία Προβλέπεται ασφάλεια δεδομένων Advanced Access Content System (AACS) 33/88

34 Blu-ray Disc ΤΜΗΜΑ ΗΛΕΚΤΡΟΛΟΓΩΝ HD DVDΜΗΧΑΝΙΚΩΝ ΚΑΙ ΜΗΧΑΝΙΚΩΝ DVD ΥΠΟΛΟΓΙΣΤΩΝ Laser wavelength 405 nm (blue-violet laser) 650 nm (red laser) Numerical aperture Storage single layer 25 GB 15 GB 4.7 GB capacity dual layer 50 GB 30 GB 8.5 GB Playback SD with MPEG-2 at 5Mbit/s 22.2 hours 13.3 hours 3.8 hours time in AVC or VC-1 at 13Mbit/s 8.5 hours 5.1 hours N/A (note 1) HD with MPEG-2 at 20Mbit/s 5.6 hours 3.3 hours N/A Video codecs MPEG-4 AVC (H.264) / VC-1 / MPEG-2 MPEG-1 / MPEG-2 Audio Dolby Digital 640 Kbit/s 504 Kbit/s 448 Kbit/s codecs DTS 1.5 Mbit/s 1.5 Mbit/s 768 Kbit/s Dolby Digital Plus 1.7 Mbit/s 3.0 Mbit/s N/A lossy DTS-HD High Resolution 6.0 Mbit/s 3.0 Mbit/s N/A Linear PCM Mandatory Mandatory Mandatory Dolby TrueHD Optional Mandatory (note 2) N/A lossless DTS-HD Master Audio Optional Optional N/A Maximum Raw data transfer Mbit/s Mbit/s Mbit/s bitrate Audio+Video 48.0 Mbit/s Mbit/s Mbit/s Video 40.0 Mbit/s 29.4 Mbit/s 9.8 Mbit/s Secondary video decoder (PiP) Optional (Profile 1.1, note3) Mandatory N/A Secondary audio decoder Optional (Profile 1.1) Mandatory N/A Internet support Optional (Profile 2.0) Mandatory N/A Video resolution (maximum) p or 50/60i HDTV i and i SDTV Content protection system AACS-128bit / BD+ AACS-128bit CSS 40-bit Region code 3 Regions Region free 6 Regions Hardcoating ΠΟΛΥΜΕΣΑof disk Required Γεώργιος Π. Παυλίδης Optional 34/88

35 35/88

36 36/88

37 Μέρος 3ο ΑΝΑΛΥΣΗ ΠΕΡΙΕΧΟΜΕΝΟΥ 37/88

38 Ανάλυση περιεχομένου Πολυμεσική εφαρμογή υπηρεσία, μία από πολλές Αναγκαιότητα Για να λύσει πρόβλημα πληθώρας πληροφοριών σε πολυμεσικά δεδομένα και εύκολης αναζήτησης σε αυτά Εργαλεία έξυπνου φιλτραρίσματος με συγκεκριμένα ερωτήματα Εργαλεία γρήγορου ξεφυλλίσματος Οδηγεί στην εξαγωγή γή χαρακτηριστικών και τη δημιουργία μεταδεδομένων Αυτά δεικτοδοτούν τα αρχικά πολυμεσικά δεδομένα Χαρακτηριστικά Απλά, χαμηλού επιπέδου ανάλυση Προκύπτουν από απευθείας εφαρμογή αλγορίθμων και υπολογισμό, π.χ. μέση φωτεινότητα εικόνας Σύνθετα, υψηλού επιπέδου ανάλυση Απαιτούν πρόσθετη γνώση για το πεδίο εφαρμογής και τα δεδομένα Βασίζονται σε υποθέσεις για απλά χαρακτηριστικά 38/88

39 Τεχνικές ανάλυσης Ανάλυση και ανάκτηση εικόνων από βάσεις εικόνων Ανάλυση δεδομένων βίντεο Ανίχνευση ορίων κινηματογραφικών πλάνων σε ταινίες Αυτόματη ανίχνευση ειδήσεων Ευρετήρια βίντεο δεδομένων Εξαγωγή γή σκηνών σε ταινίες 39/88

40 Ανάλυση εικόνων Αποσκοπεί στην εξαγωγή χαρακτηριστικών όπως Χρώμα Υφή Αντικείμενα στην εικόνα ή στην εκτίμηση ομοιότητας εικόνων Τεχνικές αναγνώρισης κειμένου Οπτική αναγνώριση χαρακτήρων (OCR) εικτοδότηση εικόνας/βίντεο βάσει υποτιτλισμού Αναζήτηση εικόνων βάσει ομοιότητας σε βάσεις δεδομένων Όχι πλέον χρήση χειρωνακτικά εισαγόμενου κειμένου περιγραφής εικόνων υποκειμενικοί χαρακτηρισμοί Αλλά χρήση αυτόματα εξαγόμενων χαρακτηριστικών υνατότητα ερωτήσεων βάσει παραδειγμάτων: Βρες εικόνες που έχουν όμοια χρώματα με αυτή 40/88

41 Ανάλυση βίντεο δεδομένων Εξαγωγή χαρακτηριστικών όπως ιανύσματα κίνησης Με χρήση μεθόδων εκτίμησης κίνησης, π.χ. μέθοδος ταιριάσματος μπλοκς (H.261/263, MPEG-1/2), μέθοδοι οπτικής ροής Ανίχνευση ορίων κινηματογραφικών πλάνων Με χρωματικές διαφορές frames ανά pixel Με σύγκριση περιοχών διαδοχικών frames Με σύγκριση ιστογραμμάτων frames Με χρήση πληροφορίας ακμών υσκολία σε ύπαρξη κινηματογραφικών εφφέ: σβησίματα, διαλύσεις, ζουμς μέσα ή έξω, κλπ. 41/88

42 Ανάλυση βίντεο δεδομένων Ανάλυση πλάνων Εύρεση πλαισίων-κλειδιών πλάνων ημιουργία περιλήψεων για γρήγορο ξεφύλλισμα Εξαγωγή σκηνών (βάσει και άλλων πληροφοριών) Αναζήτηση βάσει ομοιοτήτων σε επίπεδο πλάνων ή σκηνών 42/88

43 Ανάλυση ήχου Εξαγωγή σημασιολογικών χαρακτηριστικών βάσει απλών χαρακτηριστικών (ένταση, κατανομή συχνοτήτων, κλπ.) Θεμελιώδης συχνότητα ομιλίας Εναλλαγές εκκίνησης ομιλίας, διακοπής ομιλίας Εναλλαγές σε συχνότητες Ανίχνευση σιωπής 43/88

44 Εφαρμογή - ανάλυση δδ δεδομένων βίντεο βάσει περιεχομένου Πρόβλημα Ανάγκη για δομημένη οργάνωση πολυμεσικών δεδομένων Σκοπός: αποτελεσματική διαχείριση βάσει περιεχομένου και γρήγορη ανάκτηση υλικού ενδιαφέροντος Συνήθως, αγνόηση διπλής φύσης δεδομένων βίντεο, ακουστικής και οπτικής Προτεινόμενη λύση Χρήση και των δυο πηγών πληροφορίας και των συσχετίσεών τους για εξαγωγή πληροφορίας περιεχομένου υψηλού επιπέδου: Πρόσωπα, ομιλητές 44/88

45 Βασικοί ορισμοί Πλαίσιο ήχου Μικρότερης διάρκειας ακουστικό κομμάτι Τμήμα ήχου Ομάδα μεταβλητού αριθμού διαδοχικών πλαισίων ήχου, που χαρακτηρίζονται από κοινή ιδιότητα (π.χ. πλαίσια σιωπής) Κινηματογραφικό πλάνο Μεμονωμένη διαδικασία κινηματογραφικής λήψης Σκηνή Ένα ή περισσότερα πλάνα ομαδοποιημένα λόγω χαρακτηρισμού τους από την ίδια σημασιολογική έννοια 45/88

46 Ανάλυση- εικτοδότηση βίντεο Ανάλυση ήχου χαμηλού επιπέδου ιαχωρισμός Ομιλίας-Σιωπής Μέθοδος ανίχνευσης σημείων αρχής/τέλους τμημάτων ομιλίας Χρονική δεικτοδότηση δό ήχου σε ομιλία Ανίχνευση Ηχηρής Ομιλίας Κατανομή ενέργειας σε χαμηλές/υψηλές συχνότητες Εξαγωγή χαρακτηριστικών διανυσμάτων Ανάλυση γραμμικής πρόβλεψης Υπολογισμός διανύσματος cepstral συντελεστών 46/88

47 Ανάλυση- εικτοδότηση βίντεο Χρονική δεικτοδότηση ήχου σε ομιλητές Μοντελοποίηση ομιλητών Χρήση LVQ3 ταξινομητή με εκμάθηση Αναγνώριση ομιλητών Υπολογισμός ελάχιστων CV αποστάσεων, νεο-οριζόμενης μέσης απόστασης ανά τμήμα ομιλίας Αναγνώριση-χρονική αντιστοίχιση: 47/88

48 Ανάλυση- εικτοδότηση βίντεο Αί Ανίχνευση ορίων πλάνων Προσαρμοστική κατωφλίωση χρωματικών διαφορών ανά ζεύγος διαδοχικών frames: αν => όριο Καθορισμός πλάνου προσώπου Χρωματική κατάτμηση στον HSV χώρο Εντοπισμός περιοχών με χρώμα αντίστοιχο του δέρματος Ανίχνευση διαφορετικών αντικειμένων Χρήση επαναληπτικού αλγορίθμου συγχώνευσης βασισμένου σε αρχές συνδετικότητας σε γειτονιές των 4 pixels 48/88

49 Ανάλυση- εικτοδότηση βίντεο Ανίχνευση περιοχής προσώπου Βάσει μεγέθους, βιομετρικών αναλογιών προσώπου Εξαγωγή χαρακτηριστικών προσώπου Εντοπισμός θέσεως ματιών, εκτίμηση γωνίας περιστροφής προσώπου μέσω μεθόδου ταιριάσματος μπλοκς με βάρη. Χρήση καθρεπτικής συμμετρίας. Αντιστάθμιση περιστροφής προσώπου Εξαγωγή λοιπών χαρακτηριστικών με ανάλυση ελαχίστων/μεγίστων σε οριζόντιες/κάθετες κατατομές. Σκοπός: ακριβής εντοπισμός στόματος Ανίχνευση θέσεων πρότυπης περιοχής στόματος Χρονική δεικτοδότηση βίντεο σε ομιλούντα ή μη πρόσωπα 49/88

50 Αλληλεπίδραση ήχου-εικόνας Σκοπός: Βελτίωση αποτελεσμάτων από μεμονωμένες πηγές πληροφορίας Λεπτομερέστερη περιγραφή ίδιας μορφής περιεχομένου ιαδικασία βελτίωσης Υπολογισμός πιθανότητας παρουσίας ομιλητή σε πλάνο προσώπου Τρέχον ρχ πλάνο δεικτοδοτείται με ετικέτα ομιλητή με μγ μέγιστη πιθανότητα παρουσίας Μείωση λαθών 50/88

51 Αξιολόγηση απόδοσης ύο εικονοσειρές ειδήσεων Ανάλυση ήχου ιαχωρισμός ομιλίας-σιωπής Σπάνια, μη ηχηρή ομιλία αναγνωρίζεται ως σιωπή Αναγνώριση ομιλητών: 0.19% % Ανάλυση εικόνας Ανίχνευση περιοχής προσώπου Αποτυχία μόνο σε συνθήκες κακού φωτισμού Εξαγωγή χαρακτηριστικών προσώπου Έλεγχος απόδοσης και σε M2VTS βάση 37 προσώπων Ανίχνευση ορίων πλάνων Απότομες αλλαγές άμεσα αναγνωρίσιμες εν παρατηρείται χρονική υπερ-κατάτμηση, ακόμη και σε περιπτώσεις κίνησης της κάμερας ή απλών ενεργειών μοντάζ 51/88

52 52 Αποτελέσματα Αποτελέσματα ανίχνευσης κινηματογραφικών πλάνων Χρωματικές Διαφορές Frames Όρια Πλάνων Πλάνα με Ομιλούντα Πρόσωπα 52/88

53 ΔΗΜΟΚΡΙΤΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΡΑΚΗΣ ΤΜΗΜΑ ΗΛΕΚΤΡΟΛΟΓΩΝ ΜΗΧΑΝΙΚΩΝ ΚΑΙ ΜΗΧΑΝΙΚΩΝ ΥΠΟΛΟΓΙΣΤΩΝ Παράδειγμα Ανίχνευσης Προσώπου, Περιοχής Στόματος Παραδείγματα Εκτίμησης Θέσεων Περιοχής Στόματος ΠΟΛΥΜΕΣΑ Γεώργιος Π. Παυλίδης 53/ 88

54 Χρωματικές Διαφορές Frames Αναγνώριση Ομιλητών-Ήχος Όρια Πλάνων Αναγνώριση Ομιλητών-Συν. Πλάνα με Ομιλούντα Πρόσωπα Πραγματική Αντιστοίχιση 54/ 88