Τεχνολογία Πολυμέσων Εισαγωγή Εαρινό Εξάμηνο 2009-2010
Εισαγωγή Διδάσκων: Δρ. email: cpanag@csd.uoc.gr webpage: www.csd.uoc.gr/~cpanag Επισκέπτης Καθηγητής Τμήματος Επιστήμης Υπολογιστών, Πανεπιστήμιο Κρήτης Βιβλιογραφία ΔΗΜΗΤΡΙΑΔΗΣ, ΠΟΜΠΟΡΤΣΗΣ, «Τεχνολογία πολυμέσων», Εκδόσεις ΤΖΙΟΛΑΣ, 2003 ADOBE CREATIVE TEAM, Adobe Flash CS4 Professional - Βήμα προς Βήμα, ΓΚΙΟΥΡΔΑΣ Μ., 2009 Adobe Creative Team, Adobe Flash CS4 Professional Classroom in a Book, Adobe Press http://www.medialab.ntua.gr/medialab/education/education.html http://www.mp3.org http://www.jpeg.org/ http://www.mpeg.org/ http://www.medialab.ntua.gr/main.html http://www.adobe.com/products/flash/ http://webdevfoundations.net/flashcs3/page2.htm (FLASH CS3 tutorial) http://webdevfoundations.net/flashcs4/page2.htm (FLASH CS4 tutorial) 2
Εισαγωγή: Βαθμολόγηση και Οργάνωση Το μάθημα θα έχει: Ασκήσεις (Α) Project (P) Τύπος υπολογισμού τελικού βαθμού Τελικός Βαθμός = 0.6 Α + 0.4 P Πρέπει να πάρετε τουλάχιστον πάνω από 5.0 στις ασκήσεις και πάνω από 4.0 στο project γιαναπεράσετε 3
Εισαγωγή: Πρόγραμμα Πρόγραμμα Δευτέρα 1-3 (Λ202) Τρίτη 3-5 (ΡA201) Ώρες Γραφείου Δευτέρα 3-5 (Δ215 Προκάτ Κτίρια) Web site μαθήματος: www.csd.uoc.gr/~hy474 4
Εισαγωγή: Project Μεγάλη εργασία σε ομάδες των 2 ατόμων (είτε ατομικά) με θέμα τη παρουσίαση-υλοποίηση ενός άρθρου ή τη δημιουργία animation σε flash Μικρή αναφορά περιγραφής εργασίας Παράδοση/Εξέταση τελευταία 2 μαθήματα του εξαμήνου 5
Εισαγωγή: Περί Αντιγραφής Τι είναι: Αντιγραφή «κώδικα» ή μέρους αυτού από άλλη πηγή (συμφοιτητή, διαδίκτυο, κάποιον τρίτο, κτλ) Αντιγραφή της ιδέας Αντιγραφή κειμένου ή μέρους αυτού κατά την διάρκεια εξέτασης Εύκολη ανίχνευση Τιμωρία: Μηδενισμός του project, διαγωνίσματος κτλ. σεόλαταμέρηπου εμπλέκονται στην αντιγραφή Μηδενισμός στο μάθημα Ενημέρωση του τμήματος σχετικά Μην αφήνετε τους άλλους να αντιγράψουν από εσάς 6
Εισαγωγή: Σκοπός Τι είναι τα πολυμέσα Κείμενο Ήχος Εικόνα Video Γραφικά Σημασία και χρήσεις των πολυμέσων Ανάπτυξη εφαρμογών πολυμέσων 7
Εισαγωγή: Σκοπός Γνωριμία με τα πολυμέσα (πρότυπα) Μέσα αποθήκευσης - μετάδοσης πολυμέσων Εκμάθηση χρήσης των πολυμέσων σε Εφαρμογές Εκμάθηση εργαλείων δημιουργίας/αναπαραγωγής πολυμέσων Στην έρευνα Σύντομη παρουσίαση θεμάτων ανοικτών προς έρευνα Ανάλυση/Αναζήτηση πολυμέσων Σύνθεση πολυμέσων Βάσεις για επαγγελματικές δεξιότητες 8
Εισαγωγή: Περιεχόμενο 1 η Διάλεξη: Εισαγωγή 2 η Διάλεξη: Κείμενο 1 η σειρά ασκήσεων 3 η -4 η Διάλεξη: Ήχος 5 η Διάλεξη: Λογισμικά ήχου 2 η σειρά ασκήσεων 6 η -8 η Διάλεξη: Εικόνα 9 η Διάλεξη: Λογισμικά Εικόνας 3 η σειρά ασκήσεων 10 η -14 η Διάλεξη: 2D Animation adobe flash 3D animation 4 η σειρά ασκήσεων 15 η -17 η Διάλεξη: Video 18 η Διάλεξη: Λογισμικά Video 5 η σειρά ασκήσεων 19 η Οθόνες κάρτες γραφικών 20 η -21 η Ειδικά Θέματα Πολυμέσων 22 η - Παρουσιάσεις Εργασιών 9
Ορισμός Πολυμέσων:Ιστορική Αναδρομή Τα πολυμέσα είναι μία από τις πιο πολυσυζητημένες τεχνολογίες των αρχών της δεκαετίας του 90. Τα πολυμέσα αποτελούν το σημείο συνάντησης μεγάλων βιομηχανιών: της πληροφορικής, των τηλεπικοινωνιών, της βιομηχανίας audio, video και graphics καθώς και της βιομηχανίας της τηλεόρασης και του κινηματογράφου. 10
Ορισμός Πολυμέσων: Ετυμολογία Ο αγγλικός όρος, που εδώ έχει αποδοθεί ως πολυμέσα, είναι multimedia. Ό όρος αυτός αποτελείται από δύο μέρη: το πρόθεμα multi και τη ρίζα media. Multi: προέρχεται από τη λατινική λέξη multus και σημαίνει "πολυάριθμος", "πολλαπλός". Media: είναι ο πληθυντικός αριθμός της επίσης λατινικής λέξης medium που σημαίνει "μέσο", "κέντρο". Πιο πρόσφατα η λέξη medium άρχισε να χρησιμοποιείται και ως "ενδιάμεσος", "μεσολαβητής". Multimedia σημαίνει "πολλαπλοί μεσολαβητές" ή "πολλαπλά μέσα" και χρησιμοποιείται είτε ως ουσιαστικό είτε ως επίθετο. 11
Ορισμός Πολυμέσων Συστήματα πολυμέσων θα είναι η εφημερίδα, που συνδυάζει κείμενο και εικόνα, και η τηλεόραση/κινηματογράφος, που συνδυάζει ήχο και κινούμενη εικόνα. Τα παιχνίδια στον υπολογιστή που συνδυάζουν ήχο και κινούμενη εικόνα. Ψηφιακά πολυμέσα είναι ο τομέας που ασχολείται με την ελεγχόμενη από υπολογιστή αναπαραγωγή και δημιουργία κειμένου, γραφικών, εικόνας, video, animation, ήχου. 12
Διαχωρισμός Πολυμέσων Περιεχόμενο Ήχος Εικόνα Video Διαδραστικά ή μη διαστραστικά Animation Κινούμενα Ήχος Video Σχεδιασμένα Πραγματικά Ακίνητα (Αμετάβλητα στο χρόνο) Κινούμενα (Μεταβαλλόμενα στο χρόνο) Κείμενο Γραφικά Ακίνητα Εικόνα Σχεδιασμένα στον Η/Υ ή Πραγματικά 13
ΠΕΡΙΕΧΟΜΕΝΑ Κείμενο Το κείμενο είναι το θεμελιώδες συστατικό των εφαρμογών πολυμέσων. Διαφορετικά μέρη του κειμένου μπορεί να έχουν διαφορετικά χρώματα, γραμματοσειρές ή μεγέθη χαρακτήρων. Ορισμένες λέξεις ή φράσεις μπορεί να είναι γραμμένες με έντονους, πλάγιους ή υπογραμμισμένους χαρακτήρες. Tο κείμενο γίνεται όχι μόνο πιο ελκυστικό, αλλά και βοηθά τον αναγνώστη να προσέξει ιδιαίτερα τα βασικότερα σημεία του. Τύποι Κειμένου: TEXT, LATEX, PDF, PS, DOC, HTML, 14
ΠΕΡΙΕΧΟΜΕΝΑ Ήχος Ο ψηφιακός ήχος είναι ήχος ο οποίος έχει μετατραπεί σε ψηφιακή μορφή και μπορεί να παίζεται από υπολογιστή. Ο ήχος συμπληρώνει τα κείμενα και σπάνια τις εικόνες αλλά κυρίως τα video και τα animation. Προγράμματα σύνθεσης/επεξεργασίας ήχου: adobe audition, soundforge Τύποι Ήχου: WAV, MP3, WMA, AU, AIFF, PCM, MID, RA, 15
ΠΕΡΙΕΧΟΜΕΝΑ Εικόνα Είδη: Φωτογραφίες - Γραφικές παραστάσεις - Διαγράμματα Διανυσματικές εικόνες (vector graphics) Ψηφιογραφικές εικόνες (bitmap graphics) Πληροφορία : "Μιαεικόναείναικαλύτερηαπό χίλιες λέξεις". Προγράμματα επεξεργασίας εικόνας: photoshop, coreldraw Τύποι Εικόνας: BMP, JPEG, GIF, TIFF, PPM, PGM, PNG, RAS, 16
ΠΕΡΙΕΧΟΜΕΝΑ Video Οι πιο προχωρημένες εφαρμογές πολυμέσων, χρησιμοποιούν (εκτός από κείμενο, εικόνες και ήχο) ταινίες video. Οι ταινίες αυτές, προβάλλουν συνήθως 25 εικόνες το δευτερόλεπτο και μπορούν να περιλαμβάνουν και ήχο. Προγράμματα επεξεργασίας Video: Adobe Premiere, Pinnacle Studio, MovieFactory, Virtualdub Τύποι Video: AVI, MPEG, DIVX, XVID, WMV, 17
ΠΕΡΙΕΧΟΜΕΝΑ Animation Video σχεδιασμένο στον υπολογιστή, 2Δ ή3δ. Μπορεί εύκολα να μετατραπεί σε Video. Πρόσφατα, το animation αρχίσει να κερδίζει έδαφος σε σχέση με το Video. Γιατί; Οι ταινίες αυτές, προβάλλουν 15-30 εικόνες το δευτερόλεπτο και μπορούν να περιλαμβάνουν και ήχο. Προγράμματα επεξεργασίας Video: Adobe Flash, Director, Poser, 3D studio Max, Maya 18
Τεχνολογία Πολυμέσων Κείμενο
Κείμενο: Εισαγωγή Κείμενο Το κείμενο είναι το θεμελιώδες συστατικό των εφαρμογών πολυμέσων. Διαφορετικά μέρη του κειμένου μπορεί να έχουν διαφορετικά χρώματα, γραμματοσειρές ή μεγέθη χαρακτήρων. Ορισμένες λέξεις ή φράσεις μπορεί να είναι γραμμένες με έντονους, πλάγιους ή υπογραμμισμένους χαρακτήρες. Tο κείμενο γίνεται όχι μόνο πιο ελκυστικό, αλλά και βοηθά τον αναγνώστη να προσέξει ιδιαίτερα τα βασικότερα σημεία του. Τύποι Κειμένου: TEXT, LATEX, PDF, PS, DOC, HTML, 2
Κείμενο : Ιστορική Αναδρομή Το κείμενο (text) ήταν ο πρώτος τρόπος απεικόνισης της πληροφορίας σε υπολογιστή και παραμένει μέχρι σήμερα ο κυρίαρχος. Αρχικά η επικοινωνία ανθρώπου υπολογιστή γινόταν μόνο με κείμενο λόγω της αδυναμίας των αρχικών υπολογιστών να χειριστούν αποτελεσματικά ήχο, εικόνες και video. Το κείμενο αποτελεί βασικό φορέα πληροφορίας που δεν πρέπει να παραμελείται σε μια εφαρμογή πολυμέσων. Το ζητούμενο δεν είναι η εξάλειψη του κειμένου, αλλά η αποτελεσματική ολοκλήρωση του με τα άλλα είδη πληροφορίας. 3
Κείμενο Δομημένο κείμενο Το κείμενο μπορεί να θεωρηθεί ότι χωρίζεται σε κεφάλαια, τα κεφάλαια σε υποκεφάλαια, τα υποκεφάλαια σε παραγράφους κ.ο.κ. και να χρησιμοποιηθεί μια δενδρική δομή αναπαράστασης. Καλύτερη οργάνωση Αναζήτηση Διάβασμα 4
Κείμενο : Πλεονεκτήματα/Μειονεκτήματα Πλεονεκτήματα χρήσης κειμένου. Κυριολεξία Απλότητα Πληροφορίες Μειονεκτήματα χρήσης κειμένου. Κουράζει Με κατάλληλο συνδυασμό με εικόνα, video και ήχο κρατάμε όλα τα πλεονεκτήματα χωρίς να έχουμε μειονεκτήματα 5
Κείμενο : Τύποι Κειμένου TEXT (*.txt): Μόνο κείμενο προγράμματα επεξεργασίας Notepad/Σημειωματάριο HTML (*.htm) : Ιστοσελίδες Μόνο κείμενο (συμβολική γλώσσα κειμένου) Εικόνες/Video/Ήχος με τη μορφή link προγράμματα επεξεργασίας Notepad/Σημειωματάριο Frontpage Dreamweaver PS/PDF (*.tex): Κείμενο Άρθρα (Papers) - Βιβλία Κείμενο με Εικόνα Μη επεξεργάσιμη μορφή Video/Ήχος με τη μορφή link προγράμματα αναπαραγωγής (viewers) Acrobat Reader Ghostview 6
Κείμενο : Τύποι Κειμένου doc : Κείμενο Άρθρα (Papers) - Βιβλία Κείμενο με εικόνες Video/Ήχος με τη μορφή link Χρήση καταλλήλου editor Microsoft Word Openoffice Writer LATEX (*.tex): Κείμενο Άρθρα (Papers) - Βιβλία Μόνο κείμενο (συμβολική γλώσσα κειμένου) Εικόνες/Video/Ήχος με τη μορφή link προγράμματα επεξεργασίας Μετατροπή σε PS/PDF για ανάγνωση Notepad vi/gvim WinEdit 7
Κείμενο Προγράμματα Επεξεργασίας Κειμένου Δυνατότητες Εισαγωγή διαφορετικών τύπων γραμματοσειρών Εισαγωγή εικόνων Εισαγωγή πινάκων Σχεδίαση σχημάτων «Οτιδήποτεβλέπουμεσεέναβιβλίο» Microsoft Word OpenOffice Writer 8
Κείμενο: Microsoft Word Εύχρηστο πρόγραμμα παρέχοντας όλες τις δυνατότητες ενός σύγχρονου κειμενογράφου. Πλέον διαδεδομένος κειμενογράφος Format: doc. Διαφορετικές εκδόσεις 95/98/2000/ΧP/2003/2007 Καλή συμβατότητα μεταξύ τους 9
Κείμενο: OpenΟffice Writer Εύχρηστο πρόγραμμα παρέχοντας όλες τις δυνατότητες ενός σύγχρονου κειμενογράφου. Παρόμοιο μενού με το Word Διανέμετε δωρεάν (http://www.openoffice.org/) Είναι συμβατό με το Microsoft Word Εύκολη εγκατάσταση από διαφορετικά λειτουργικά συστήματα (Windows/Linux/Mac) 10
Κείμενο: OpenOffice Writer 11
Κωδικοποίηση χαρακτήρων (*) US-ASCII : 95 εκτυπώσιμοι χαρακτήρες Τυπογραφία 33 χαρακτήρες ελέγχου ISO-8859-n : Επέκταση του US-ASCII 256 χαρακτήρες, με κάλυψη και των μη λατινικών αλφαβήτων Ανταλλαγή πληροφοριών ISO-8859-7 : Συμπεριλαμβάνει το λατινικό και ελληνικό αλφάβητο σε μονοτονικό σύστημα 12 12
Κωδικοποίηση χαρακτήρων -Unicode(*) Αντιμετώπιση των περιορισμών του ISO-8859 Πολυγλωσσική επεξεργασία κειμένου Ένας κωδικός αριθμός για κάθε ξεχωριστό χαρακτήρα Κωδικοποίηση ανεξάρτητη από εμφάνιση Συμπεριλαμβάνει πάνω από 30 συστήματα γραφής UTF-8 (Unicode Transformation Format ) Ένα byte για τους US-ASCII χαρακτήρες Δύο bytes για τους λοιπούς λατινικούς, ελληνικούς κ.α. χαρακτήρες Τρία bytes για τους άλλους βασικούς πολυγλωσσικούς χαρακτήρες Τέσσερα bytes για οποιουσδήποτε άλλους χαρακτήρες 13 13
Υπερκείμενο (Nelson 1965) Το υπερκείμενο (υπερ-κείμενο, αγγλ. hypertext) είναι τρόπος οργάνωσης πληροφοριών (που βρίσκονται σε μορφή κειμένου) ο οποίος υπερβαίνει έναν βασικό περιορισμό των υπαρχόντων μέσων οργάνωσης: της γραμμικότητάς τους. Το υπερκείμενο επιτρέπει την ελεύθερη πλοήγηση του αναγνώστη μέσω υπερσυνδέσμων (hyperlinks) σε αντίθεση με το κείμενο που θεωρείται γραμμικό λόγω της δόμησης του σε περιεχόμενα, αρίθμηση σε σελίδες. Κείμενο Υπέρ-Κείμενο Ο Παγκόσμιος Ιστός (World Wide Web) χτίστηκε πάνω στις ιδέες του υπερκειμένου και αποτελεί μία ενσάρκωση (υλοποίηση) τέτοιου τρόπου διασύνδεσης και οργάνωσης πληροφοριών. 14
Μηχανισμοί Υπερμέσων Κόμβοι ανεξάρτητη μονάδα πληροφορίας Σύνδεσμοι διασύνδεση και συσχέτιση πληροφοριών Οργανωτική δομή μη δομημένη, δομημένη, ιεραρχική Αναλογία με τα σημασιολογικά δίκτυα 15
Υπερμέσο/Συστήματα Υπερμέσων Αποτελεί φυσική επέκταση του υπερκειμένου Μη-γραμμικότητα Προσαρμοστικότητα Νοηματοδοσία Διαδραστικότητα Η οργάνωση τους είναι Μη δομημένη (www) Σημασιολογικά δομημένη (γράφος/περιορισμοί) Ιεραρχική (βιβλίο) 16 16
Πλεονεκτήματα Υπερμέσων Διαδραστηκότητα Δημιουργία νέων αναφορών Δόμηση πληροφορίας Προσαρμόσιμα έγγραφα Υποστηρίζει όλες τις δομές πληροφορίας 17
Προβλήματα Υπερμέσων Αποπροσανατολισμός Τοπολογία του πληροφοριακού χώρου Γνωσιακή επιβάρυνση 18 18
Τεχνολογία Πολυμέσων Ήχος
Ήχος: Εισαγωγή Ήχος Είναι οτιδήποτε ακούμε Παράγεται από μια πηγή (δόνηση) καιλαμβάνεταιαπό κάποιο δέκτη (αυτί μας) Μεταξύ πηγής και δέκτη υπάρχει υποχρεωτικά «το μέσο διάδοσης», αέρας, νερό, στερεό. Το μέσο διάδοσης και η πηγή καθορίζουν τις ιδιότητες του ήχου 2
Ήχος: Εισαγωγή Ήχος Ο ψηφιακός ήχος είναι ήχος ο οποίος έχει μετατραπεί σε ψηφιακή μορφή και μπορεί να παίζεται από υπολογιστή. Μπορεί να είναι συνθετικός είτε πραγματικός Ο ήχος συμπληρώνει τα κείμενα και σπάνια τις εικόνες αλλά κυρίως τα video και τα animation. Προγράμματα σύνθεσης/επεξεργασίας ήχου: adobe audition, soundforge Τύποι Ήχου: WAV, MP3, WMA, AU, AIFF, PCM, MID, RA, 3
Ήχος Ήχος Ο ήχος κατάλληλα συνδυασμένος με τα άλλα είδη πληροφορίας κυρίως με video ή animation μπορεί να κάνει μια εφαρμογή πολυμέσων πιο αποτελεσματική. Σε όλες τις εφαρμογές πολυμέσων ο σχολιασμός των όσων παρουσιάζονται στην οθόνη, διάλογοι αλλά και η κατάλληλη μουσική υπόκρουση βοηθά στην μετάδοση του μηνύματος και καθιστά την παρακολούθηση της εφαρμογής πιο ευχάριστη. Υπάρχει video χωρίς ήχο; 4
Ήχος Ήχος Το μοναδικό χαρακτηριστικό του ήχου να γίνεται αντιληπτός χωρίς να έχουμε την προσοχή μας εστιασμένη, καθιστά τα ηχητικά σήματα αναντικατάστατα στην απόσπαση της προσοχής του χρήστη. Υπάρχουν ορισμένες κατηγορίες εφαρμογών όπου ο ήχος αποτελεί την καρδιά του συστήματος (λ.χ. ραδιόφωνο). Εφαρμογές που προορίζονται για ανθρώπους με προβλήματα όρασης κάνουν εκτενή και αποτελεσματική χρήση του ήχου. 5
Ήχος : Πλεονεκτήματα/Μειονεκτήματα Πλεονεκτήματα χρήσης ήχου. Κυριολεξία Πληροφορίες Ευχάριστος Αποσπά την προσοχή κάποιου Προσθέτει αληθοφάνεια ρεαλιστικότατα Μειονεκτήματα χρήσης ήχου. Υπερβολή μπορεί να κουράσει 6
Ήχος : Ηχογράφηση Κατάλληλα προγράμματα μπορούν να μετατρέψουν σε αρχεία mp3 ή wav δίσκους CD. Adobe Audition Musicmatch Κατάλληλη συσκευή (sound digitiser) χρησιμοποιείται για τη σύλληψη σε ψηφιακή μορφή αναλογικού σήματος ήχου από κασέτες. Εναλλακτικά, η μουσική μπορεί να ηχογραφηθεί μέσω μικροφώνου συνδεδεμένου στον υπολογιστή ή να συνδεθεί μέσω μουσικών οργάνων που επικοινωνούν με τον υπολογιστή διαμέσου ενός MIDI interface. 7
Ήχος : Σύνθεση Ήχου Κατάλληλα προγράμματα μπορούν να επεξεργαστούν και να τροποποιήσουν αρχεία ήχου. Adobe Audition Soundforge Κατάλληλα προγράμματα μπορούν να συνθέσουν νέα αρχεία ήχου. Συνήθως απαιτούν από το χρήστη να γνωρίζει μουσική. Adobe Audition Band-in-a-Box Piano FX Studio Power Tab Editor 8
Ήχος : Χαρακτηριστικά Ήχου Στερεοφωνία Από τις μεγαλύτερες ψευδαισθήσεις στην αντίληψη του ήχου είναι η στερεοφωνία. Το μυαλό αντιλαμβάνεται την πηγή ενός ήχου βάσει των διαφορών ανάμεσα στα σήματα που λαμβάνει το αριστερό και δεξί αυτί Αν είναι διαφορετικά τα 2 σήματα έχουμε τη ψευδαίσθηση του χώρου. Διαφορά φάσης (καθυστέρηση) Διαφορά στην ένταση Αν πανομοιότυπα σήματα φτάσουν και στα 2 αυτιά τότε ο εγκέφαλος το μεταφράζει σαν η πηγή να βρίσκεται ακριβώς μπροστά. 9
Ήχος : Χαρακτηριστικά Ήχου Ένταση Πόσο δυνατά ακούγεται; Μπορεί να ρυθμιστεί εκ των υστέρων Ένταση ήχου=10 log(p/po) db O ήχος έντασης 0 db αντιστοιχεί στο κατώφλι ακουστικότητας ενώ ο ήχος έντασης 140 db αντιστοιχεί στο όριο πόνου. 10
Ήχος : Χαρακτηριστικά Ήχου Μονοφωνικός Στερεοφωνικός Πολυκαναλικός Προσομοίωση πραγματικού γεγονότος Ο ήχος έχει 3Δ πληροφορία η οποία μπορεί να προσομοιωθεί με τα περισσότερα κανάλια (πηγές) Ταχύτητα πηγής Σχετική θέση πηγής Πολυκαναλικός χρησιμοποιείται στο σινεμά Home cinema 5.1 11
Ήχος : Χαρακτηριστικά Ήχου Συχνότητα Πόσο ψηλά ή χαμηλά ακούγεται; Εξαρτάται από το περιεχόμενο και το περιγράφει Συνήθως τη μελετάμε σε κάποιο μικρό χρονικό παράθυρο (20 msec μέχρι 200 msec) Ποιότητα του ήχου Οι γυναικείες φωνής είναι υψηλότερης συχνότητας από τις ανδρικές Figure 1: RMS in music Figure 2: RMS in speech Figure 3: ZC in music Figure 4: ZC in speech 12
Ήχος : Υποκειμενικά Χαρακτηριστικά Ήχου Ακουστικότητα (loudness) Η ακουστικότητα να έχει σχέση με την ένταση του ήχου. Σε σχέση με την ακουστικότητα οι ήχοι διακρίνονται σε ασθενείς με ισχυρούς, ενώ μονάδα μέτρησης της είναι το Phon, δηλαδή ήχος μόλις ακούγεται έχει ακουστικότητα 1 Phon ενώ με ακουστικότητα 130 Phon προκαλεί πόνο στο αυτί. Ύψος (pitch) Το ύψος το οποίο συνδέεται άμεσα με τη συχνότητα το ήχου. Η σχέσηαυτή διακρίνει τους ήχους σε δύο μορφές, πρώτον σε οξείς με μεγάλη συχνότητα, όπως τους ήχους ενός βιολιού και κατά δεύτερον σε βαρείς με μικρή συχνότητα, όπως τους ήχους που παράγει το μπάσο τύμπανο. Χροιά (timbre) Η χροιά αναφέρεται στους σύνθετους ήχους και εξαρτάται από τους απλούς ήχους που αποτελούν το σύνθετο. Κάθε περιοδικός ήχος μπορεί να αναλυθεί σε ένα άθροισμα συνημιτονικών συναρτήσεων με διάφορα πλάτη και φάσεις και με συχνότητες ακέραια πολλαπλάσιες μιας θεμελιώδους συχνότητας (fundamental frequency). Οι συχνότητες αυτές αποκαλούνται αρμονικές (harmonic frequency) και το πλήθος και το σχετικό τους πλάτος είναι σε μεγάλο βαθμό υπεύθυνες για το υποκειμενικό αίσθημα της χροιάς ενός ήχου. 13
Τεχνολογία Πολυμέσων Ψηφιακός Ήχος
Ήχος : Χαρακτηριστικά Ψηφιακού Ήχου Πηγή Ηλεκτρικό σήμα Αναλογικό σήμα ειγματοληψία 11011010 00011101 01010101 11101010 Κβάντισμός Κωδικοποίηση/Συμπίεση 15
Ήχος : Χαρακτηριστικά Ψηφιακού Ήχου Ο ήχος γίνεται μια σειρά από αριθμούς (ακολουθία) στον υπολογιστή: ψηφιακό σήμα, κυματομορφή. Τη συχνότητα δειγματοληψίας (sampling rate) Δείγματα ανά δευτερόλεπτο Όσο περισσότερα δείγματα έχουμε τόσο πιο υψηλές συχνότητες μπορούμε να αναπαράγουμε Σχετίζεταιμετηνποιότητατουήχου Δειγματοληψία Hz Τηλέφωνο 8000 Μουσική χαμηλής ποιότητας 22050 minidv, NICAM 32000 Audio CD, VCD, MP3 44100 Digital TV, DVD, DAT 48000 DVD-Audio, Blu-Ray Disk 96000 Θεώρημα ειγματοληψίας: Η συχνότητα δειγματοληψίας f s πρέπει να είναι τουλάχιστον δύο φορές μεγαλύτερη από τη μέγιστη συχνότητα που περιέχει το υπό επεξεργασία σήμα. Η ελάχιστη τιμή της συχνότητας δειγματοληψίας που συμφωνεί με το θεώρημα δειγματοληψίας είναι f s =2f max. Η f s /2 λέγεται συχνότητα Nyquist (Nyquist frequency). 16
Κβαντισμός ριθμός bits ανά δείγμα (sampling size) Σχετίζεται την ποιότητα του ήχου Τυπικές τιμές 8 bits /sample (256 τιμές) 16 bits /sample (65536 τιμές) Το σφάλμα κβαντισμού αποτελείται από τη διαφορά μεταξύ των σημάτων εισόδου και εξόδου του κβαντιστή. H μέγιστη στιγμιαίατιμήαυτούτουσφάλματοςείναιτομισόενός κβάντου και το συνολικό εύρος της μεταβολής είναι από - μισό έως +μισό βήμα. 17
Ψηφιακός Ήχος: Συχνότητα Δειγματοληψίας Ποιότητα Mono/Stereo Συχνότητα δειγματοληψίας Κβαντισμός Μέγεθος για κάθε δευτερόλεπτο CD Stereo 44100Hz 44.1KHz 16 172.26KΒ Radio Mono 22050Hz 8 21.53KΒ Τηλέφωνο Mono 11025Hz 8 10.7KΒ Για στερεοφωνικό ήχο πολλαπλασιάζω X 2 Διάρκεια = 1sec, 1byte=8bit & 1Kb=1024bytes Χωρητικότητα (bits) = K*fs * B * Τ, K = Κανάλια ήχου Β = bits κβαντισμού, fs = Συχνότητα δειγματοληψίας, Τ = Διάρκεια σε sec Παράδειγμα: 5λεπτά stereo ήχου ποιότητας (ένα τραγούδι) CD είναι: 2*44100 x 16 x 5 x 60 bits= = 51678 KBytes = 50.46 MB Υπάρχει τρόπος να μειώσουμε το μέγεθός του; 18
Ψηφιακός Ήχος: Format Ήχου wav Ήχος χωρίς συμπίεση mp3 Συμπιεσμένη μορφή (απωλεστική συμπίεση) Στηρίζεται στο γεγονός πως σε ένα συγκεκριμένο φάσμα συχνοτήτων το ανθρώπινο αυτί έχει την ικανότητα να συλλαμβάνει ορισμένες κυρίαρχες συχνότητες. Άλλοι ήχοι που επίσης υπάρχουν αλλά η συχνότητά τους πλησιάζει αυτές των κυρίαρχων συχνοτήτων δεν γίνονται αντιληπτοί (ΗχητικήΗχητική σκίαση). Έτσι το σήμα χωρίζεται σε ζώνες συχνοτήτων όπου ανιχνεύονται και κωδικοποιούνται μόνο οι κυρίαρχες συχνότητες. Το μέγεθος του mp3 (128kbps) φτάνει στο 1/10 του αντίστοιχου wav 44.1 KHz. Μπορούμε να αυξήσουμε κι άλλο τη συμπίεση (1/20 με 64 Kbps) αλλά θα αρχίσουμε να έχουμε αντιληπτές απώλειες Προγράμματα μετατροπής ήχου από wav σε mp3 Audition/musicmatch 19
Ηχητική σκίαση Στηρίζονται οι μέθοδοι συμπίεσης. Απορρίπτονται οι ήχοι που είναι κάτω από το κατώφλι επειδή δε γίνονται αντιληπτοί Στηρίζονται σε ψυχο-ακουστικά μοντέλα Όταν υπάρχει ένας ήχος συγκεκριμένης συχνότητας και έντασης, άλλοι ήχοι σε γειτονικές συχνότητες δεν διακρίνονται από το ανθρώπινο αυτί, αν δεν ξεπερνούν ένα ελάχιστο όριο, το οποίο είναι μεγαλύτερο από το όριο ακουστικότητας για τις συχνότητες αυτές και συναρτώμενο από τις υπόλοιπες ηχητικές συνιστώσες 20
Ψηφιακός Ήχος: Format Ήχου MIDI (Musical Instrument Digital Interface) δεν καταγράφουν ηχητικό σήμα αλλά κάθε ενέργεια που γίνεται για να παραχθεί αυτό Έτσι αντί να αποθηκεύσουμε τους ήχους μετατρέποντας το ηχητικό σήμα σε ψηφιακό, αποθηκεύονται 4 αριθμοί: ποια νότα είναι ποιο όργανο πόσο δυνατά παίζει το όργανο για πόσο χρόνο παίζει ~1000 φορές μικρότερο από wav 21
Ψηφιακός Ήχος Προγράμματα Επεξεργασίας Ήχου Καθορισμός επιπέδου έντασης για ψηφιακή ηχογράφηση Συνδυασμός πολλών ηχογραφήσεων σε μία (μίξη) Αποκοπή (trimming): Αντιγραφή/Επικόλληση: Πολυκαναλικός ήχος Αφαίρεση κενών ανάμεσα σε ηχογραφήσεις ή στο τέλος τους Ρύθμιση έντασης: Καθορισμός ενιαίας μέγιστης ή μέσης έντασης για όλες τις ηχογραφήσεις Μετατροπή τύπου (format conversion) Επαναδειγματοληψία ή υποδειγματοληψία Παρεμβολή (interpolation) για αύξηση των δειγμάτων με τεχνικό τρόπο Αφαίρεση δειγμάτων ανά τακτά χρονικά διαστήμα 22
Ψηφιακός Ήχος Προγράμματα Επεξεργασίας Ήχου Ψηφιακά εφέ : Fade in / Fade out: Ψηφιακά Φίλτρα Βαθμιαία εισαγωγή / ολοκλήρωση ηχογράφησης Ομαλή εναλλαγή ανάμεσα σε ηχογραφήσεις Εξισορρόπηση (equalization): Ρύθμιση της ισχύος για διάφορες συχνότητες 23
Ψηφιακός Ήχος Προγράμματα Επεξεργασίας Ήχου Adobe audition 24
Κάρτες ήχου Digital signal processor (DSP) Αποδεσμεύει την cpu, από την αναπαραγωγή/ηχογράφηση/επεξεργασία ADC, DAC μετατροπείς Μνήμη RAM (256 ΜΒ maximum) /ROΜ Έξοδοι/Είσοδοι Στερεοφωνικό/πολυκαναλικό ήχο Dolby Digital 5.1 (6 κανάλια) Υπάρχουν 3 βασικά κανάλια (αριστερό, κεντρικό και δεξί), τα οποία "φέρουν" τη βασική ηχητική πληροφορία, 2 συνοδευτικά κανάλια περιβάλλοντος ήχου (αριστερό και δεξί) και 1 κανάλι για τις υπόλοιπες συχνότητες(σύστημα 3/2/.1). Τα 5 πρώτα κανάλια χειρίζονται συχνότητες ήχου στο διάστημα 3-20000 Hz, ενώ το έκτο κανάλι συχνότητες 3-120 Hz Midi interface, σύνδεση keyboards synthesizers 25
Κάρτες ήχου/κωδικοποίηση 26
Τεχνολογία Πολυμέσων Προγράμματα Επεξεργασίας Ήχου
Ψηφιακός Ήχος Προγράμματα Επεξεργασίας Ήχου Adobe audition 28
Ήχος Audition Άξονες - Μενού Άσκηση 1 Edit Mode Μετατροπή formats αλλαγές σε ποιότητα Ακούμε αποτέλεσμα αλλαγή σε size mp3 wav 29
Ήχος Audition Άσκηση 2 Επιλογή (Selection) Left Right Channel Cut Copy - Paste Προσθήκη εφέ δίαφορα εφέ Pitch/Time (αλλαγή σε διάρκεια/συχνότητα όλα τα εφέ) Restoration (αφαίρεση θορύβου/κακή ηχογράφηση) Delay Echo Generate Favorites Fade In/Out Αλλαγή έντασης (ablitude - normalization) 30
Ήχος Audition Άσκηση 3 Συχνότητες (Workspace) Θεωρία για Συχνότητες - μπάντες Φίλτρα (FFT + MIXER) Filters Graphic equalizer 31
Ήχος Audition Άσκηση 4 Multitrack mode Έννοια του Pan (για κάθε κανάλι) -Master Levels Έννοια του Volume (συνολικά για το τραγούδι) Μίξη ήχου πολυκαναλικός Selection Mixer 32
Ψηφιακός Ήχος Ένας μονοκαναλικός ήχος διάρκειας 1sec δειγματοληψίας 44.1 Κhz αντιστοιχεί σε ένα πίνακα 44100 θέσεων Ανάπτυξη λογισμικού επεξεργασίας ήχου Java Matlab C/C++ 33
Ψηφιακός Ήχος Java - Java Sound API Ανάπτυξη λογισμικού/γραφικού περιβάλλοντος 34
Speech / Music Discriminator in Java 35
Επεξεργασία Ήχου στο Matlab Ανάπτυξη λογισμικού για ερευνητικούς σκοπούς Χρήση πακέτων για επεξεργασία σημάτων SPECTAL ANALYSIS/FFT/IFFT LPC/COV/CORRELATIONS/PREDICTORS FILTERS Resampling/Convolution Γραφική αναπαράσταση σημάτων Υποστηρίζει αρχεία wav/au/midi/ (mp3) read/write/play 36
Τεχνολογία Πολυμέσων Εικόνα
Εικόνα Εικόνα Είδη: Φωτογραφίες - Γραφικές παραστάσεις - Διαγράμματα Διανυσματικές εικόνες (vector graphics) Ψηφιογραφικές εικόνες (bitmap graphics) Πληροφορία : "Μιαεικόναείναικαλύτερηαπό χίλιες λέξεις". Προγράμματα επεξεργασίας εικόνας: photoshop, coreldraw, irfanview Τύποι Εικόνας: BMP, JPEG, GIF, TIFF, PPM, PGM, PNG, RAS, 2
Εικόνα Η εικόνα είναι απαραίτητο στοιχείο κάθε σύγχρονης εφαρμογής. Υπάρχουν διάφορα είδη εικόνας, κάθε ένα εκ των οποίων είναι κατάλληλο για ορισμένα είδη εφαρμογών. Σε συνδυασμό όμως και με άλλες τεχνολογίες, όπως η αναγνώριση προτύπων και τα έμπειρα συστήματα, ανοίγουν το δρόμο για εντελώς νέες εφαρμογές. Ένα παράδειγμα είναι η αυτόματη ταυτοποίηση ατόμων με βάση τα δακτυλικά αποτυπώματα ή κάποια φωτογραφία, εφαρμογή που είναι χρήσιμη σε συστήματα ασφαλείας. Επίσης, μπορούν να χρησιμοποιηθούν και στην ιατρική. 300 250 200 150 100 50 0 50 100 150 200 250 300 350 3
Εικόνα: Ψηφιογραφικές εικόνες Το πιο απλό, σε σχέση με την πολυπλοκότητα της απεικόνισης του στον υπολογιστή, είναι οι διτονικές (bitonal) εικόνες. Χαρακτηριστικό αυτής της κατηγορίας είναι η ύπαρξη μόνο δύο χρωμάτων (μαύρο και άσπρο συνήθως). Προέρχονται από scanning των εγγραφών και αποθηκεύονται σε ειδικού σκοπού συστήματα διαχείρισης βάσεων δεδομένων. Άλλες περιπτώσεις όπου παρουσιάζονται συχνά διτονικές εικόνες είναι τα τεχνικά σχέδια, τα διαγράμματα, οι χάρτες κ.λ.π. 4
Εικόνα: Ψηφιογραφικές εικόνες Στο επόμενο επίπεδο έχουμε τις εικόνες συνεχούς τόνου (continuous tone images). Αυτές ορίζονται, σε αντίθεση με της διτονικές, ως οι εικόνες στις οποίες τα γειτονικά σημεία δεν διαφέρουν σημαντικά μεταξύ τους δηλαδή χαρακτηρίζονται από ομαλές τονικές διαβαθμίσεις. Υπάρχουν δύο είδη εικόνων συνεχούς τόνου: κλίμακας του γκρίζου (gray scale) και έγχρωμες (colour). Το πρώτο είδος βρίσκει παρόμοιες εφαρμογές με τις διτονικές. Η διαφορά είναι ότι τα έγγραφα μπορούν τώρα να έχουν και εικόνες οι οποίες αποδίδονται με διαβαθμίσεις του γκρίζου. Οι έγχρωμες εικόνες, όπως είναι φυσικό, βρίσκουν τη μεγαλύτερη χρήση και έχουν το μεγαλύτερο ενδιαφέρον. Χρησιμοποιούνται τόσο σε επαγγελματικές όσο και σε εκπαιδευτικές και ψυχαγωγικές εφαρμογές. 5
Εικόνα Φύση αναλογική Υπολογιστής ψηφιακός Input Imaging System Observe Digitize Sample & quantize Store Process Refresh / Store Digital Computer Digital Storage (disk) On-line Buffer Display Record Output 6
Αναπαράσταση εικόνας και μοντελοποίηση (1/2) Αναπαράσταση εικόνας : χαρακτηρισμός της ποσότητας που αναπαριστά κάθε στοιχείο εικόνας ( picture-element ή pixel ή cell ) Γενικά, κάθε 2Δσυνάρτηση(που κρύβει πληροφορία) θεωρηθεί εικόνα μπορεί να Μοντελοποίηση εικόνας : λογική ή ποσοτική περιγραφή των ιδιοτήτων της συνάρτησης F : A B A = [0, lines-1] X [0, cols-1] B = [0, 255] 7
Αναπαράσταση εικόνας και μοντελοποίηση (2/2) Θεμελιώδη απαίτηση ψηφιακής επεξεργασίας : εικόνες δειγματοληπτούνται και κβαντίζονται Συχνότητα δειγματοληψίας : αριθμός pixel ανά μονάδα εμβαδού πρέπει να είναι αρκετά μεγάλη για να διατηρεί τη χρήσιμη πληροφορία σε μία εικόνα καθορίζεται από το εύρος ζώνης Κβαντισμός εικόνας : μετατροπή δειγματοληφθείσας από αναλογική σε ψηφιακή εικόνας σε ένα πεπερασμένο αριθμό τιμών του γκρι/χρωμάτων 8
Ψηφιοποίηση εικόνων Δειγματοληψία Ανάλυση εικόνας περιοδική, ορθογώνια (pixel = picture element) πυκνότητα ανάλογα με τη λεπτομέρεια (ppi) Η μέγιστη ανάλυση εξαρτάται από την αρχική εικόνα : όσο πιο πολλές λεπτομέρειες περιέχει, τόσο πιο πυκνά πρέπει να λαμβάνονται τα δείγματα. Αλλιώς η δειγματοληψία εισάγει παραμόρφωση. Κβαντισμός ~ πλήθος χρωμάτων διακριτές τιμές, ομοιόμορφα κατανεμημένες πλήθος ψηφίων στο δυαδικό σύστημα (256 τιμές ή 8 δυαδικά ψηφία ή 1 byte) - 1 bit/8 bit/16 bit / 24 bit/32 bit 9
Εικόνα: Ψηφιογραφικές εικόνες Αναπαράσταση grayscale στον υπολογιστή γραμμές..... lin es.... στήλες cols Δυσδιάστατοι (2Δ) πίνακες (γραμμές στήλες) στοιχείο του πίνακα (κελί) = = pixel [ 0, 255 ] Οι τιμή του δείχνει τη διαβάθμιση του γκρίζου Άσπρο -> 255 Μαύρο -> 0 10
Εικόνα: Ψηφιογραφικές εικόνες Αναπαράσταση color στον υπολογιστή γραμμές color system components..... lin es.... στήλες cols 3Δ array (γραμμές στήλες 3) στοιχείο του πίνακα (κελί) = = pixel [ 0, 255 ] H τιμή του δείχνει τη διαβάθμιση του χρώματος ανάλογα με το χρωματικό σύστημα 11
Εικόνα: Ψηφιογραφικές εικόνες Αναπαράσταση color image στον υπολογιστή RGB γραμμές χρωματικό σύστημα στήλες Red Green Blue........................... Color systems : RGB, HSV, YCbCr, Lab, Luv 12
Ορατό Φως Ορατό Φως: Μέρος του φάσματος της ηλεκτρομαγνητικής ακτινοβολίας 13
Σχηματισμός εικόνων L(x,y;t) = ſ Φ(x,y;t;λ) Ε(λ) dλ Ανθρώπινο σύστημα όρασης Σκοτοπική όραση ραβδία Μονοχρωματικός δέκτης - μονοχρωμία Φωτοπική όραση κωνία Τριχρωματικός δέκτης - τριχρωμία Μήκος Κύματος 14
Ορισμός χρωμάτων (C.I.E.) Γραμμική μίξη τριών χρωμάτων μπορεί να δώσει οποιαδήποτε φασματική κατανομή Τρεις χρωματικές διεγέρσεις αναφοράς Κόκκινο R 700 nm Πράσινο G 546 nm Μπλε B 436 nm Λευκή φασματική κατανομή (ομοιόμορφη) - R = ſ r(λ) dλ - - G = ſ g(λ) dλ B = ſ b(λ) dλ 15 15
Συνιστώσες χρωμάτων RGB Red Blue Green 16
Εικόνα: Ψηφιογραφικές εικόνες Χρωματικά συστήματα RGB Η ονομασία προέρχεται από τα αρχικά Red Green Blue (Κόκκινο Πράσινο Μπλέ). Με τα βασικά αυτά χρώματα κωδικοποιεί όλα τα χρώματα που μπορεί να εμφανιστούν σε μία οθόνη υπολογιστή. Στην 8bit μορφή του χρωματικού αυτού μοντέλου κάθε χρώμα μπορεί να παρασταθεί με μία τριάδα αριθμών από 0 έως 255. HSV Αναλύει το χρώμα σε τρεις παραμέτρους: Χροιά (Ηue), δηλαδή θέση στον χρωματικό κύκλο (τιμες απο 0-360) Κορεσμός (Saturation), δηλαδή ένταση του χρώματος, με τιμές απο 0-100%. Αξια (Value), δηλαδή ένταση της λαμπρότητας του χρώματος, με τιμές απο 0-100% 17
Σύστημα χρωμάτων Lab λευκό χρώμα κορεσμός χρώματος Ευκλείδια απόσταση Όμοιαχρώματακοντά 18
Σύστημα χρωμάτων YCbCr Y = 0,299 R + 0,587 G + 0,114 B Cb = 0,169 R 0,331 G + 0,500 B Cr = 0,500 R 0,419 G 0,081 B Υ Χρησιμοποιείται στο ψηφιακό βίντεο και στα πρότυπα JPEG και MPEG Cb Cr 19
Εικόνα: Ψηφιογραφικές εικόνες Pixels - Δομικό στοιχείο της εικόνας Κάθε pixel στις grayscale εικόνες χαρακτηρίζεται από μία τιμή στο διάστημα [0,255] που μας δίνει την φωτεινότητα της εικόνας Κάθε pixel στις έγχρωμες εικόνες χαρακτηρίζεται από 3 τιμές στο διάστημα [0,255] που μας δίνουν την συνιστώσα στο κόκκινο, πράσινο και μπλε χρώμα αντίστοιχα 20
Εικόνα: Ψηφιογραφικές εικόνες Δημιουργούνται από: Την ψηφιοποίηση εικόνων μέσω σαρωτή Τις ψηφιακές φωτογραφικές Την σύλληψη εικόνων από τη οθόνη του υπολογιστή Την ψηφιοποίηση εικόνων βίντεο ή τηλεόρασης μέσω ειδικής κάρτας Τα προγράμματα δημιουργίας και επεξεργασίας χαρτογραφικής εικόνας όπως το Photo Paint, το Paint Shop Pro, το Photoshop κ.α.. Τη μετατροπή από διανυσματική σε ψηφιογραφική εικόνα (με CorelDraw, powerpoint, photoshop) Χαρακτηρίζονται από: Την ανάλυση (resolution) (2000 Χ 1000 = 2 MegaPixels) Το χρωματικό βάθος (color depth) (1 bit/8 bit/16 bit / 24 bit / 32 bit) Το μέγεθος αρχείου size (KBytes, MBytes) Για ασυμπίεστες εικόνες χωρητικότητα σε bits = resolution x color depth 21
Τεχνολογία Πολυμέσων Αλγόριθμοι και πρότυπα Ψηφιογραφικών Εικόνων