( ) log 2 = E. Σεραφείµ Καραµπογιάς
|
|
- Σοφοκλής Λόντος
- 7 χρόνια πριν
- Προβολές:
Transcript
1 Παρατηρούµε ότι ο ορισµός της Η βασίζεται στη χρονική µέση τιµή. Για να ισχύει ο ορισµός αυτός και για µέση τιµή συνόλου πρέπει η πηγή να είναι εργοδική, δηλαδή H ( X) ( ) = E log 2 p k Η εντροπία µιας πηγής πληροφορίας είναι ένα µέτρο της αβεβαιότητας ή ισοδύναµα του πληρο- φοριακού περιεχοµένου της πηγής. Επίσης η εντροπία αποτελεί ένα µέτρο του αριθµού των bits πληροφορίας που χρειάζονται κατά µέσο όρο για να µεταδώσουµε την πληροφορία που περιέχεται στην µεταβλητή X, υπό την προϋπόθεση ότι έχει χρησιµοποιηθεί ένα βέλτιστος αλγόριθµος κωδικοποίησης. Με άλλα λόγια κάθε έξοδος της πηγής απαιτεί H( X ) bits για ουσιαστικά χωρίς σφάλµατα αναπαράσταση. Πηγές Πληροφορίας και Κωδικοποίηση Πηγής 6.2-
2 Για µία πηγή µε ένα αλφάβητο από Ν σύµβολα, η µέγιστη εντροπία επιτυγχάνεται όταν οι πιθανότητες των συµβόλων είναι ίσες οπότε p = p2 = = p N = H max = log 2 ( N) N bits symbol Σεραφείµ Καραµπογιάς Αν symbols r S sec είναιο σταθερός ρυθµός µετον οποίο εκπέµπονταιτασύµβολααπότηνπηγή, ορίσουµε το µέσο ρυθµό (παροχής) της πληροφορίας από της πηγής ως R = r S H bits sec Πηγές Πληροφορίας και Κωδικοποίηση Πηγής 6.2-2
3 Παράδειγµα: Να βρεθεί η εντροπία µιας πηγής που εκπέµπει ένα από τα τρία σύµβολα Α, Β και C σε στατιστικά ανεξάρτητηακολουθίαµεπιθανότητααντίστοιχα /2, /4 και /4. Απάντηση: H =,5 bits symbol Παράδειγµα: Μιαδιακριτήπηγήεκπέµπειένααπόπέντεσύµβολακάθε msec. Οιπιθανότητεςτωνσυµβόλωνείναι /2, /4, /8, /6, και /6 αντίστοιχα. Να βρεθεί η εντροπία της πηγής και ο µέσος ρυθµός πληροφορίας. Απάντηση: H=,875 bits symbol R=875 bits sec Πηγές Πληροφορίας και Κωδικοποίηση Πηγής 6.2-3
4 Στη δυαδική πηγή χωρίς µνήµη µε πιθανότητες p και p, αντίστοιχα έχουµε H = p log 2 ( p) ( p) log2( p) Η συνάρτηση αυτή, που συµβολίζεται µε H b (p), είναι γνωστήως ησυνάρτησηδυαδικής εντροπίας. Η συνάρτηση δυαδικής εντροπίας µεγιστοποιείται όταν p = 0,5. H b (0,5) =, δηλαδήτοαποτέλεσµαµπορείναµεταφερθείµε bit. Η µέγιστη τιµής της είναι H b ( p) 0, , 5 p Η συνάρτηση δυαδικής εντροπίας Πηγές Πληροφορίας και Κωδικοποίηση Πηγής 6.2-4
5 Για δύο ή περισσότερες τυχαίες µεταβλητές εισάγουµε τη συνδυασµένη και την υποσυνθήκη εντροπία. Έννοιες ιδιαίτερα σηµαντικές για πηγές µε µνήµη. Η συνδυασµένη εντροπία δύο διακριτών τυχαίων µεταβλητών (X,Υ ) ορίζεται από τη σχέση H ( X, Y) = p( x, y) x, y log ( p( x, y) ) Η σχέση γενικεύεται για περισσότερες τυχαίες µεταβλητές Η συνδυασµένη εντροπία είναι απλά η εντροπία µιας τυχαίας διανυσµατικής µεταβλητής Παράδειγµα: ύο δυαδικές τυχαίες µεταβλητές X και Y κατανέµονται σύµφωνα µε τη συνδυασµένη κατανοµή p (X = Y = 0) = p(x = 0, Y = ) = p(x = Y = ) = /3. Υπολογίστετις H(X ), H(Y ) και H( X,Y ). Απάντηση: H(X ) = 0,983, H(Y ) = 0,983 και H(X,Y ) =,5850. Πηγές Πληροφορίας και Κωδικοποίηση Πηγής 6.2-5
6 Υποσυνθήκη εντροπία Η PMF της τυχαίας µεταβλητής X δεδοµένης της τιµής y της τυχαίας µεταβλητής Y είναι p (x y) Η υποσυνθήκη εντροπία της τυχαίας µεταβλητής X δεδοµένης της τιµής y της τυχαίας µεταβλητής Y ορίζεται από τη σχέση H ( X Y = y) = x p( x y) log ( p( x y) ) η οποία διαισθητικά είναι η ποσότητα αβεβαιότητας στη Χ όταν γνωρίζουµε ότι Υ = y. Η υποσυνθήκη εντροπία είναι η σταθµισµένη µέση τιµή των παραπάνω ποσοτήτων για όλα τα y και υποδηλώνει την εντροπία (ή την αβεβαιότητα) της τυχαίας µεταβλητής X όταν είναι γνωστή η τυχαία µεταβλητή Y. Πηγές Πληροφορίας και Κωδικοποίηση Πηγής 6.2-6
7 Η υποσυνθήκη εντροπία µιας διακριτής τυχαίας µεταβλητής X δεδοµένης της τυχαίας µεταβλητής Y ορίζεται από τη σχέση ( X Y) H = = x, y x, y p( x p( x, p( y) ( p( x y) ) Σεραφείµ Καραµπογιάς ΕπειδήηYµπορείναπαρέχεικάποιαπληροφορίαγιατη Xείναι H( X Y ) H( X ). y) y) log log ( p( x y) ) Γενικά έχουµε H ( X X ) n X n,..., = x,... x n p( x,... x n ) log ( p( x x,..., x )) n n Αποδεικνύεταιότι H( X, Y ) = H(Y ) + H( X Y ). Το περιεχόµενο της πληροφορίας του ζεύγους ( X, Y ) είναι ίσο προς το πληροφοριακό περιεχόµενο της Y συν το πληροφοριακό περιεχόµενο της X όταν είναι γνωστή η Y. Η σχέση αυτή επίσης δηλώνει ότι η ίδια πληροφορία µεταφέρεται είτε εµφανίζοντας το ζεύγος ( X, Y ), ή αποκαλύπτοντας πρώτα το Y και στη συνέχεια την αποµένουσα πληροφορία στο Χ. Πηγές Πληροφορίας και Κωδικοποίηση Πηγής 6.2-7
8 Αν X n δηλώνειτηνέξοδοµιαςδιακριτήςπηγήςτηχρονικήστιγµή n, τότε ΗΗ(Χ 2 Χ ) υποδηλώνειτηνκαινούργια πληροφορίαπουπαρέχειηέξοδος X 2 τηςπηγήςσε κάποιονπουγνωρίζειτηνέξοδο X. Γενικά Η (Χ n Χ, Χ 2,, Χ n- ) δηλώνειτηνκαινούργιαπληροφορίαπουπαρέχειηέξοδος X n τηςπηγήςσεκάποιονπουέχειπαρατηρήσειτηνακολουθία (Χ, Χ 2,, Χ n- ). Ο ρυθµός εντροπίας µιας στατικής τυχαίας διαδικασίας διακριτού χρόνου ορίζεται από την H ( X X, X X ) = lim H n 2,, n n Αποδεικνύεται ότι ένας εναλλακτικός ορισµός του ρυθµού εντροπίας για πηγές µε µνήµη είναι H = lim H 2,, n n ( X, X X ) Ορυθµόςτηςεντροπίαςπαίζειτορόλοτηςεντροπίαςγιαπηγέςµεµνήµη. n Πηγές Πληροφορίας και Κωδικοποίηση Πηγής 6.2-8
9 ΘΕΩΡΗΜΑ ΚΩ ΙΚΟΠΟΙΗΣΗΣ ΠΗΓΗΣ Σεραφείµ Καραµπογιάς Τοθεώρηµααυτόκαθορίζειέναθεµελιώδεςόριοστορυθµό, µετονοποίοηέξοδοςµιαςπηγής πληροφορίας µπορεί να συµπιεστεί χωρίς να προκληθεί µεγάλη πιθανότητα σφάλµατος. Σε ακολουθίες από εξόδους µιας DMS µήκους n κάθε γράµµα α ι i =, 2,,N επαναλαµβάνεταιµευψηλήπιθανότητα (πουφτάνειτο καθώςτο n ) περίπου np i φορές. Με άλλα λόγια ασυµπτωτικά σχεδόν όλες οι ακολουθίες είναι περίπου ισοπίθανες. Οι ακολουθίες x που έχουν την παραπάνω δοµή ονοµάζονται τυπικές ακολουθίες. Η πιθανότητα µιας τυπικής ακολουθίας είναι P( X = x) N i = n p N i p i = i = 2 n p i log p i N n i= = 2 p i log p i n H = 2 ( X) Πηγές Πληροφορίας και Κωδικοποίηση Πηγής 6.2-9
10 Οι ακολουθίες x που έχουν την παραπάνω δοµή ονοµάζονται τυπικές ακολουθίες. Η πιθανότητα µιας τυπικής ακολουθίας είναι P n p log p i= i 2 i= N n p N n p p i i i i i i n H ( X ) ( = ) p = 2 log X x = 2 = = N Σεραφείµ Καραµπογιάς Παρατηρούµε ότι για µεγάλο n σχεδόν όλες οι ακολουθίες εξόδου µήκους n της πηγής (τυπικές ( X 2 n H ) ακολουθίες) είναιισοπίθανεςµεπιθανότηταπερίπου. Η πιθανότητα του συνόλου των µη τυπικών ακολουθιών είναι αµελητέα.. 2 n H ( X) Ο συνολικός αριθµός των τυπικών ακολουθιών είναι σχεδόν. Πηγές Πληροφορίας και Κωδικοποίηση Πηγής 6.2-0
11 Παρατηρούµε ότι παρόλο που µία πηγή µε µέγεθος αλφαβήτου N µπορεί να παράγει N n ακολουθίες µήκους n, µπορούµε να λάβουµε υπόψιν το σύνολο των τυπικών ακολουθιών και να αµελήσουµε τις άλλες εξόδους και η πιθανότητα να έχουµε χάσει κάτι πλησιάζει στο µηδέν καθώςτο nτείνειστοάπειρο. Το σύνολο των τυπικών ακολουθιώνµε 2 n H (X ) Τοσύνολοτωντυπικώνκαιτωνµητυπικών ακολουθιών. Αυτή είναι η ουσία της συµπίεσης δεδοµένων, δηλαδή της πρακτικής της αναπαράστασης της εξόδου της πηγής µε ένα αριθµό ακολουθιών µικρότερο από εκείνο που η πηγή παράγει στην πραγµατικότητα. Επειδή ο συνολικός αριθµός των τυπικών ακολουθιών (µε µήκος n) είναι περίπου 2 nh( X ) χρειαζόµαστε n H( X ) bits γιανατιςαναπαραστήσουµε. Παρατηρούµεότικατάµέσοόρο, κάθεέξοδοςτηςπηγήςαπαιτεί H(X ) bits γιαµίαουσιαστικά χωρίς σφάλµατα αναπαράσταση. Πηγές Πληροφορίας και Κωδικοποίηση Πηγής 6.2-
12 Για µία πηγή της οποίας η PMF είναι οµοιόµορφα κατανεµηµένη έχουµε έτσι το πλήθος των τυπικών ακολουθιών είναι 2 n H H ( X) = log N ( X ) n log N n = 2 Αυτόσηµαίνειότιοαριθµόςτωντυπικώνακολουθίωντηςπηγήςµήκους nείναιίσοςπροςτο συνολικό αριθµό των εξόδων της πηγής και καµία συµπίεση δεν είναι δυνατή. = N Σεραφείµ Καραµπογιάς Εάν η πηγή έχει µνήµη τότε οι έξοδοι δεν είναι ανεξάρτητες και για αυτό φανερώνουν πληροφορία για τις επόµενες εξόδους. Σε µία πηγή µε µνήµη ο ρυθµός µε τον οποίο παράγεται η καινούργια πληροφορία ελαττώνεται καθώςόλοκαιπερισσότερεςέξοδοιτηςπηγήςεµφανίζονται. Γενικά γιαπηγέςµεµνήµηµαςενδιαφέρειορυθµόςεντροπίαςη(χ n Χ, Χ 2,, Χ n- ) Πηγές Πληροφορίας και Κωδικοποίηση Πηγής 6.2-2
13 Θεώρηµα κωδικοποίησης πηγής Σεραφείµ Καραµπογιάς Θεώρηµα Κωδικοποίησης Πηγής. Μία πηγή εντροπίας (ή ρυθµού εντροπίας) H µπορεί να κωδικοποιηθεί µε αυθαίρετα µικρή πιθανότητα σφάλµατος σε οποιοδήποτε ρυθµό R (bits / έξοδοπηγής) εφόσον R > H. Αντίστροφα, αν R < H, η πιθανότητα σφάλµατος θα παραµένει µακριά από το µηδέν, ανεξάρτητα από την πολυπλοκότητα του κωδικοποιητή και του αποκωδικοποιητή που χρησιµοποιούνται. Ο κωδικοποιητής πηγής αντιστοιχεί δυαδικές κωδικές λέξεις στα πακέτα συµβόλων της πηγής και παράγει στην έξοδο του µια δυαδική ακολουθία. Το θεώρηµα κωδικοποίησης πηγής δίνει µόνο αναγκαίες και ικανές συνθήκες για την ύπαρξη κωδίκωνπηγής. ίνει επίσης ένα φράγµα στο ρυθµό µε τον οποίο η πηγή µπορεί να συµπιεσθεί (κωδικοποιηθεί) γιααξιόπιστηανακατασκευή. εν προσφέρει συγκεκριµένους αλγορίθµους για να σχεδιασθούν κώδικες που να προσεγγίζουν αυτό το φράγµα. Υπάρχουν δύο γνωστοί αλγόριθµοι που οι επίδοσείς τους είναι πολύ κοντά στο φράγµα της εντροπίας. Ο αλγόριθµος κωδικοποίησης πηγής του Huffman Ο αλγόριθµος κωδικοποίησης πηγής του Lempel-Ziv. Πηγές Πληροφορίας και Κωδικοποίηση Πηγής 6.2-3
14 Ο Αλγόριθµος Huffman Κωδικοποίησης Πηγής Στην κωδικοποίηση Huffman µπλοκ συµβόλων σταθερού µήκους από τη έξοδο της πηγής απεικονίζονται σε µεταβλητού µήκους µπλοκ δυαδικών συµβόλων. Αυτό καλείται κωδικοποίηση από σταθερό σε µεταβλητό µπλοκ. Οι συχνότερα εµφανιζόµενες ακολουθίες εξόδου σε βραχύτερες δυαδικές ακολουθίες Στην κωδικοποίηση µεταβλητού µήκους πρέπει να υπάρχει ένας και µοναδικός τρόπος για να διαχωρίζουµε τη λαµβανόµενη δυαδική ακολουθία σε κωδικές λέξεις Πηγές Πληροφορίας και Κωδικοποίηση Πηγής 6.2-4
15 Κωδικές Λέξεις Σύµβολο a a 2 a 3 a 4 a 5 Πιθανότητα p = 2 p 2 = p 4 3 = p 8 4 = p 6 5 = 6 Κώδικας Κώδικας Κώδικας Κώδικας αυτό-συγχρονιζόµενοι κώδικες άµεσος µονοσήµαντα αποκωδικοποιήσιµοι µη µονοσήµαντα αποκωδικοποιήσιµος Στους κώδικες και 3 καµία κωδική λέξη δεν είναι πρόθεµα µιας άλλης Λέµε ότι ικανοποιούν τη συνθήκη προθέµατος. Γιατοκώδικα τοµέσοµήκοςλέξηςείναι E(L) = 3/6. Ενώγιατοκώδικα 3 τοµέσο µήκος λέξης είναι E(L) = 30/6. Ο ποιο ενδιαφέρων είναι ο κώδικας 3 και είναι ένα παράδειγµα κώδικα Huffman. Πηγές Πληροφορίας και Κωδικοποίηση Πηγής 6.2-5
16 ιατάξτε τις εξόδους της πηγής κατά φθίνουσα σειρά των πιθανοτήτων τους Σεραφείµ Καραµπογιάς Συγχωνεύστε τις δύο λιγότερο πιθανές εξόδους σε µία µοναδική έξοδο, και θέστε ως πιθανότητα της το άθροισµα των δύο πιθανοτήτων Αν ο αριθµός των εξόδων που αποµένουν είναι 2, τότε προχωρήστε στο επόµενο βήµα. ιαφορετικά, επανέλθετε στο βήµα. Αυθαίρετα αντιστοιχίστε το 0 και το ως κωδικές λέξεις για τις δύο εξόδους που αποµένουν Αν µια έξοδος είναι το αποτέλεσµα της συγχώνευσης δύο εξόδων σε προηγούµενο βήµα, προσαρτήστε στηντρέχουσακωδικήλέξη 0 καιτο γιανααποκτήσετετηνκωδικήλέξηγιατιςπροηγούµενεςεξόδους το βήµα 5. Αν καµία έξοδος δεν προηγείται άλλης σταµατήστε. 0 p = p 2 = p 3 = p 4 = p 5 = Πηγές Πληροφορίας και Κωδικοποίηση Πηγής 6.2-6
17 Έχουµεήδηδειότιοικώδικες Huffmanείναιβέλτιστοιµετηνέννοιαότιγια µια δεδοµένη πηγήπαρέχουνκώδικα µεελάχιστοµέσοµήκοςκωδικήςλέξης. Οι κώδικες Huffman παρουσιάζουν ισχυρή εξάρτηση από τις πιθανότητες (τη στατιστική) της πηγής. Η στατιστική της πηγής πρέπει να είναι γνωστή από πριν για να σχεδιάσουµε έναν κώδικα Huffman. Το άλλο πρόβληµα µε τους κώδικες Huffman είναι ότι αν ο κώδικας είναι σχεδιασµένος για µπλοκ µήκους ενός συµβόλου αξιοποιεί µόνο τη συχνότητα εµφάνισης των συµβόλων της πηγήςκαιόχιτηµνήµητης. Πηγές Πληροφορίας και Κωδικοποίηση Πηγής 6.2-7
Πηγές Πληροφορίας και Κωδικοποίηση Πηγής
Πηγές Πληροφορίας και Κωδικοποίηση Πηγής Τηλεπικοινωνιακά συστήµατα Τα τηλεπικοινωνιακά συστήµατα είναι σχεδιασµένα για να διαβιβάζουν πληροφορία. Σε κάθε τηλεπικοινωνιακό σύστηµα υπάρχει µια πηγή που
Διαβάστε περισσότεραΣεραφείµ Καραµπογιάς. Πηγές Πληροφορίας και Κωδικοποίηση Πηγής 6.3-1
Ο αλγόριθµος Lempel-iv Ο αλγόριθµος Lempel-iv ανήκει στην κατηγορία των καθολικών universal αλγορίθµων κωδικοποίησης πηγής δηλαδή αλγορίθµων που είναι ανεξάρτητοι από τη στατιστική της πηγής. Ο αλγόριθµος
Διαβάστε περισσότεραΘεώρημα κωδικοποίησης πηγής
Κωδικοποίηση Kωδικοποίηση πηγής Θεώρημα κωδικοποίησης πηγής Καθορίζει ένα θεμελιώδες όριο στον ρυθμό με τον οποίο η έξοδος μιας πηγής πληροφορίας μπορεί να συμπιεσθεί χωρίς να προκληθεί μεγάλη πιθανότητα
Διαβάστε περισσότεραΤηλεπικοινωνιακά Συστήματα ΙΙ
Τηλεπικοινωνιακά Συστήματα ΙΙ Διάλεξη 11: Κωδικοποίηση Πηγής Δρ. Μιχάλης Παρασκευάς Επίκουρος Καθηγητής 1 Ατζέντα 1. Αλγόριθμοι κωδικοποίησης πηγής Αλγόριθμος Fano Αλγόριθμος Shannon Αλγόριθμος Huffman
Διαβάστε περισσότεραιαφορική εντροπία Σεραφείµ Καραµπογιάς
ιαφορική εντροπία Σεραφείµ Καραµπογιάς Για πηγές διακριτού χρόνου µε συνεχές αλφάβητο, των οποίων οι έξοδοι είναι πραγµατικοί αριθµοί, ορίζεται µια άλλη ποσότητα που µοιάζει µε την εντροπία και καλείται
Διαβάστε περισσότεραΣυμπίεση Δεδομένων
Συμπίεση Δεδομένων 2014-2015 Ρυθμός κωδικοποίησης Ένας κώδικας που απαιτεί L bits για την κωδικοποίηση μίας συμβολοσειράς N συμβόλων που εκπέμπει μία πηγή έχει ρυθμό κωδικοποίησης (μέσο μήκος λέξης) L
Διαβάστε περισσότεραΘεωρία Πληροφορίας. Διάλεξη 4: Διακριτή πηγή πληροφορίας χωρίς μνήμη. Δρ. Μιχάλης Παρασκευάς Επίκουρος Καθηγητής
Θεωρία Πληροφορίας Διάλεξη 4: Διακριτή πηγή πληροφορίας χωρίς μνήμη Δρ. Μιχάλης Παρασκευάς Επίκουρος Καθηγητής 1 Ατζέντα Διακριτή πηγή πληροφορίας χωρίς μνήμη Ποσότητα πληροφορίας της πηγής Κωδικοποίηση
Διαβάστε περισσότεραΨηφιακές Τηλεπικοινωνίες
Ψηφιακές Τηλεπικοινωνίες Θεωρία Πληροφορίας: Κωδικοποίηση Πηγής Ψηφιακή Μετάδοση Υπάρχουν ιδιαίτερα εξελιγμένες τεχνικές αναλογικής μετάδοσης (που ακόμη χρησιμοποιούνται σε ορισμένες εφαρμογές) Επίσης,
Διαβάστε περισσότεραΘεωρία πληροφοριών. Τεχνολογία Πολυµέσων 07-1
Θεωρία πληροφοριών Εισαγωγή Αµοιβαία πληροφορία Εσωτερική πληροφορία Υπό συνθήκη πληροφορία Παραδείγµατα πληροφορίας Μέση πληροφορία και εντροπία Παραδείγµατα εντροπίας Εφαρµογές Τεχνολογία Πολυµέσων 07-
Διαβάστε περισσότεραΘΕΩΡΙΑ ΠΛΗΡΟΦΟΡΙΑΣ. Κεφάλαιο 3 : Πηγές Πληροφορίας Χρήστος Ξενάκης. Πανεπιστήμιο Πειραιώς, Τμήμα Ψηφιακών Συστημάτων
ΘΕΩΡΙΑ ΠΛΗΡΟΦΟΡΙΑΣ Κεφάλαιο 3 : Πηγές Πληροφορίας Χρήστος Ξενάκης Πανεπιστήμιο Πειραιώς, Τμήμα Ψηφιακών Συστημάτων Περιεχόμενα Διακριτές Πηγές Πληροφορίας χωρίς μνήμη Ποσότητα πληροφορίας της πηγής Κωδικοποίηση
Διαβάστε περισσότεραΕΕ728 Προχωρηµένα Θέµατα Θεωρίας Πληροφορίας 4η διάλεξη (4η έκδοση, 11/3/2013)
ΕΕ728 Προχωρηµένα Θέµατα Θεωρίας Πληροφορίας 4η διάλεξη (4η έκδοση, 11/3/2013) ηµήτρης-αλέξανδρος Τουµπακάρης Τµήµα ΗΜ&ΤΥ, Πανεπιστήµιο Πατρών 5 Μαρτίου 2013 ηµήτρης-αλέξανδρος Τουµπακάρης Προχωρηµένα
Διαβάστε περισσότεραΧρήστος Ξενάκης. Πανεπιστήμιο Πειραιώς, Τμήμα Ψηφιακών Συστημάτων
ΘΕΩΡΙΑ ΠΛΗΡΟΦΟΡΙΑΣ Κεφάλαιο 3 : Πηγές Πληροφορίας Χρήστος Ξενάκης Πανεπιστήμιο Πειραιώς, Τμήμα Ψηφιακών Συστημάτων Περιεχόμενα Διακριτές Πηγές Πληροφορίας χωρίς μνήμη Ποσότητα πληροφορίας της πηγής Κωδικοποίηση
Διαβάστε περισσότεραΘΕΩΡΙΑ ΠΛΗΡΟΦΟΡΙΑΣ. Κεφάλαιο 2 : Πληροφορία και Εντροπία Διάλεξη: Κώστας Μαλιάτσος Χρήστος Ξενάκης, Κώστας Μαλιάτσος
ΘΕΩΡΙΑ ΠΛΗΡΟΦΟΡΙΑΣ Κεφάλαιο 2 : Πληροφορία και Εντροπία Διάλεξη: Κώστας Μαλιάτσος Χρήστος Ξενάκης, Κώστας Μαλιάτσος Πανεπιστήμιο Πειραιώς, Τμήμα Ψηφιακών Συστημάτων Περιεχόμενα Πιθανότητες Πληροφορία Μέτρο
Διαβάστε περισσότεραΨηφιακές Τηλεπικοινωνίες. Θεωρία Ρυθμού Παραμόρφωσης
Ψηφιακές Τηλεπικοινωνίες Θεωρία Ρυθμού Παραμόρφωσης Θεωρία Ρυθμού-Παραμόρφωσης Θεώρημα Κωδικοποίησης Πηγής: αν έχω αρκετά μεγάλο μπλοκ δεδομένων, μπορώ να φτάσω κοντά στην εντροπία Πιθανά Προβλήματα: >
Διαβάστε περισσότεραΨηφιακές Τηλεπικοινωνίες
Ψηφιακές Τηλεπικοινωνίες Θεωρία Πληροφορίας: Χωρητικότητα Καναλιού Χωρητικότητα Καναλιού Η θεωρία πληροφορίας περιλαμβάνει μεταξύ άλλων: κωδικοποίηση πηγής κωδικοποίηση καναλιού Κωδικοποίηση πηγής: πόση
Διαβάστε περισσότεραΧρήστος Ξενάκης. Πανεπιστήμιο Πειραιώς, Τμήμα Ψηφιακών Συστημάτων
ΘΕΩΡΙΑ ΠΛΗΡΟΦΟΡΙΑΣ Κεφάλαιο 9 : Κανάλι-Σύστημα Χρήστος Ξενάκης Πανεπιστήμιο Πειραιώς, Τμήμα Ψηφιακών Συστημάτων Περιεχόμενα Ομιλίας Χωρητικότητα Χ ό καναλιού Το Gaussian κανάλι επικοινωνίας Τα διακριτά
Διαβάστε περισσότεραΧρήστος Ξενάκης. Πανεπιστήμιο Πειραιώς, Τμήμα Ψηφιακών Συστημάτων
ΘΕΩΡΙΑ ΠΛΗΡΟΦΟΡΙΑΣ Κεφάλαιο 2 : Πληροφορία και Εντροπία Χρήστος Ξενάκης Πανεπιστήμιο Πειραιώς, Τμήμα Ψηφιακών Συστημάτων Περιεχόμενα Πληροφορία Μέτρο πληροφορίας Μέση πληροφορία ή Εντροπία Από κοινού εντροπία
Διαβάστε περισσότεραΘεωρία Πληροφορίας. Διάλεξη 5: Διακριτή πηγή πληροφορίας με μνήμη. Δρ. Μιχάλης Παρασκευάς Επίκουρος Καθηγητής
Θεωρία Πληροφορίας Διάλεξη 5: Διακριτή πηγή πληροφορίας με μνήμη Δρ. Μιχάλης Παρασκευάς Επίκουρος Καθηγητής 1 Ατζέντα 1. Διακριτές πηγές πληροφορίας με μνήμη Μαρκοβιανές αλυσίδες Τάξη μακροβιανών αλυσίδων
Διαβάστε περισσότεραΕΛΛΗΝΙΚΟ ΑΝΟΙΚΤΟ ΠΑΝΕΠΙΣΤΗΜΙΟ
Θ.Ε. ΠΛΗ22 (2012-13) ΓΡΑΠΤΗ ΕΡΓΑΣΙΑ #4. Έκδοση v2 με διόρθωση τυπογραφικού λάθους στο ερώτημα 6.3 Στόχος: Βασικό στόχο της 4 ης εργασίας αποτελεί η εξοικείωση με τα μέτρα ποσότητας πληροφορίας τυχαίων
Διαβάστε περισσότεραΘέματα Συστημάτων Πολυμέσων
Θέματα Συστημάτων Πολυμέσων Ενότητα # 6: Στοιχεία Θεωρίας Πληροφορίας Διδάσκων: Γεώργιος K. Πολύζος Τμήμα: Μεταπτυχιακό Πρόγραμμα Σπουδών Επιστήμη των Υπολογιστών Άδειες Χρήσης Το παρόν εκπαιδευτικό υλικό
Διαβάστε περισσότεραΕΕ728 Προχωρηµένα Θέµατα Θεωρίας Πληροφορίας 2η διάλεξη (3η έκδοση, 11/3)
ΕΕ728 Προχωρηµένα Θέµατα Θεωρίας Πληροφορίας 2η διάλεξη (3η έκδοση, 11/3) ηµήτρης-αλέξανδρος Τουµπακάρης Τµήµα ΗΜ&ΤΥ, Πανεπιστήµιο Πατρών 19 Φεβρουαρίου 2013 ηµήτρης-αλέξανδρος Τουµπακάρης Προχωρηµένα
Διαβάστε περισσότερα0, αλλιώς. Σεραφείµ Καραµπογιάς. Παράδειγµα 1 Η πηγή X(t) είναι στατική Gaussian µε µέση τιµή µηδέν και φασµατική πυκνότητα ισχύος.
Παράδειγµα Η πηγή X(t) είναι στατική Gussin µε µέση τιµή µηδέν και φασµατική πυκνότητα ισχύος S X ( f ) 70, f < 00Hz 0, αλλιώς S X ( f ) 00 00 f 50 Λύση: 60 40 0 30 0 0 30 0 40 60 Ο ρυθµός που απαιτείται
Διαβάστε περισσότεραΘέματα Συστημάτων Πολυμέσων
Θέματα Συστημάτων Πολυμέσων Ενότητα # 5: Βασική Θεωρία Πληροφορίας Διδάσκων: Γεώργιος Πολύζος Τμήμα: Μεταπτυχιακό Πρόγραμμα Σπουδών Επιστήμη των Υπολογιστών Άδειες χρήσης Το παρόν εκπαιδευτικό υλικό υπόκειται
Διαβάστε περισσότεραΚεφάλαιο 2 Πληροφορία και εντροπία
Κεφάλαιο 2 Πληροφορία και εντροπία Άσκηση. Έστω αλφάβητο Α={0,} και δύο πηγές p και q. Έστω οτι p(0)=-r, p()=r, q(0)=-s και q()=s. Να υπολογιστούν οι σχετικές εντροπίες Η(Α,p/q) και Η(Α,q/p). Να γίνει
Διαβάστε περισσότεραΕισαγωγή στη θεωρία πληροφορίας
Θεωρία πληροφορίας Εισαγωγή στη θεωρία πληροφορίας Τηλεπικοινωνιακά συστήματα Όλα τα τηλεπικοινωνιακά συστήματα σχεδιάζονται για να μεταφέρουν πληροφορία Σε κάθε τηλεπικοινωνιακό σύστημα υπάρχει μια πηγή
Διαβάστε περισσότεραΜάθημα Εισαγωγή στις Τηλεπικοινωνίες Κωδικοποίηση πηγής- καναλιού Μάθημα 9o
Μάθημα Εισαγωγή στις Τηλεπικοινωνίες Κωδικοποίηση πηγής- καναλιού Μάθημα 9o ΕΘΝΙΚΟ & ΚΑΠΟΔΙΣΤΡΙΑΚΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΑΘΗΝΩΝ Τομέας Επικοινωνιών και Επεξεργασίας Σήματος Τμήμα Πληροφορικής & Τηλεπικοινωνιών
Διαβάστε περισσότεραΤεχνολογία Πολυμέσων. Ενότητα # 7: Θεωρία πληροφορίας Διδάσκων: Γεώργιος Ξυλωμένος Τμήμα: Πληροφορικής
Τεχνολογία Πολυμέσων Ενότητα # 7: Θεωρία πληροφορίας Διδάσκων: Γεώργιος Ξυλωμένος Τμήμα: Πληροφορικής Χρηματοδότηση Το παρόν εκπαιδευτικό υλικό έχει αναπτυχθεί στα πλαίσια του εκπαιδευτικού έργου του διδάσκοντα.
Διαβάστε περισσότεραΔομές Δεδομένων και Αλγόριθμοι
Δομές Δεδομένων και Αλγόριθμοι Χρήστος Γκόγκος ΤΕΙ Ηπείρου Χειμερινό Εξάμηνο 2014-2015 Παρουσίαση 20 Huffman codes 1 / 12 Κωδικοποίηση σταθερού μήκους Αν χρησιμοποιηθεί κωδικοποίηση σταθερού μήκους δηλαδή
Διαβάστε περισσότεραKΕΦΑΛΑΙΟ 1 ΧΡΗΣΙΜΕΣ ΜΑΘΗΜΑΤΙΚΕΣ ΕΝΝΟΙΕΣ. { 1,2,3,..., n,...
KΕΦΑΛΑΙΟ ΧΡΗΣΙΜΕΣ ΜΑΘΗΜΑΤΙΚΕΣ ΕΝΝΟΙΕΣ Βασικές έννοιες διαιρετότητας Θα συµβολίζουµε µε, τα σύνολα των φυσικών αριθµών και των ακεραίων αντιστοίχως: {,,3,,, } { 0,,,,, } = = ± ± ± Ορισµός Ένας φυσικός αριθµός
Διαβάστε περισσότεραΣυμπίεση χωρίς Απώλειες
Συμπίεση χωρίς Απώλειες Στόχοι της συμπίεσης δεδομένων: Μείωση του απαιτούμενου χώρου αποθήκευσης των δεδομένων. Περιορισμός της απαιτούμενης χωρητικότητας διαύλου επικοινωνίας για την μετάδοση. μείωση
Διαβάστε περισσότεραΑσκήσεις στο µάθηµα «Επισκόπηση των Τηλεπικοινωνιών»
Ασκήσεις στο µάθηµα «Επισκόπηση των Τηλεπικοινωνιών» Άσκηση 1 Πρόκειται να µεταδώσουµε δυαδικά δεδοµένα σε RF κανάλι µε. Αν ο θόρυβος του καναλιού είναι Gaussian - λευκός µε φασµατική πυκνότητα W, να βρεθεί
Διαβάστε περισσότεραEE728 (22Α004) - Προχωρημένα Θέματα Θεωρίας Πληροφορίας 3η σειρά ασκήσεων Διακριτά και Συνεχή Κανάλια. Παράδοση: Έως 22/6/2015
EE728 (22Α004) - Προχωρημένα Θέματα Θεωρίας Πληροφορίας Φυλλάδιο 13 Δ. Τουμπακάρης 30 Μαΐου 2015 EE728 (22Α004) - Προχωρημένα Θέματα Θεωρίας Πληροφορίας 3η σειρά ασκήσεων Διακριτά και Συνεχή Κανάλια Παράδοση:
Διαβάστε περισσότεραΣυμπίεση Δεδομένων
Συμπίεση Δεδομένων 014-015 Μοναδικά Αποκωδικοποιήσιμοι Κώδικες Δρ. Ν. Π. Σγούρος Έλεγος μοναδικής Αποκωδικοποίησης Γενικοί ορισμοί Έστω δύο κωδικές λέξεις α,β με μήκη,m και
Διαβάστε περισσότεραΠΑΝΕΠΙΣΤΗΜΙΟ ΚΥΠΡΟΥ, ΤΜΗΜΑ ΠΛΗΡΟΦΟΡΙΚΗΣ
ΠΑΝΕΠΙΣΤΗΜΙΟ ΚΥΠΡΟΥ, ΤΜΗΜΑ ΠΛΗΡΟΦΟΡΙΚΗΣ ΕΠΛ 422: ΣΥΣΤΗΜΑΤΑ ΠΟΛΥΜΕΣΩΝ Ακαδηµαϊκό Έτος 2004 2005, Χειµερινό Εξάµηνο Φροντιστηριακή Άσκηση 3: Εντροπία, κωδικοποίηση Quadtree 1. Εντροπία 22 Σεπτεµβρίου 2004
Διαβάστε περισσότεραΔίαυλος Πληροφορίας. Η λειτουργία του περιγράφεται από:
Δίαυλος Πληροφορίας Η λειτουργία του περιγράφεται από: Πίνακας Διαύλου (μαθηματική περιγραφή) Διάγραμμα Διαύλου (παραστατικός τρόπος περιγραφής της λειτουργίας) Πίνακας Διαύλου Χρησιμοποιούμε τις υπό συνθήκη
Διαβάστε περισσότεραΠΑΝΕΠΙΣΤΗΜΙΟ ΠΕΛΟΠΟΝΝΗΣΟΥ, ΤΜΗΜΑ ΤΕΧΝΟΛΟΓΙΑΣ ΤΗΛΕΠΙΚΟΙΝΩΝΙΩΝ
ΠΑΝΕΠΙΣΤΗΜΙΟ ΠΕΛΟΠΟΝΝΗΣΟΥ, ΤΜΗΜΑ ΤΕΧΝΟΛΟΓΙΑΣ ΤΗΛΕΠΙΚΟΙΝΩΝΙΩΝ ΒΕΣ 04: ΣΥΜΠΙΕΣΗ ΚΑΙ ΜΕΤΑ ΟΣΗ ΠΟΛΥΜΕΣΩΝ Ακαδηµαϊκό Έτος 2007 2008, Χειµερινό Εξάµηνο 6 Νοεµβρίου 2007 Φροντιστηριακή Άσκηση 2: (I) Εντροπία,
Διαβάστε περισσότεραΜέρος ΙΙ. Τυχαίες Μεταβλητές
Μέρος ΙΙ. Τυχαίες Μεταβλητές Ορισμοί Συναρτήσεις κατανομής πιθανότητας και πυκνότητας πιθανότητας Διακριτές τυχαίες μεταβλητές Ειδικές κατανομές διακριτών τυχαίων μεταβλητών Συνεχείς τυχαίες μεταβλητές
Διαβάστε περισσότεραΟικονομικό Πανεπιστήμιο Αθηνών Τμήμα Πληροφορικής ΠΜΣ Κρυπτογραφία και Εφαρμογές
Οικονομικό Πανεπιστήμιο Αθηνών Τμήμα Πληροφορικής ΠΜΣ Κρυπτογραφία και Εφαρμογές Μαριάς Ιωάννης Μαρκάκης Ευάγγελος marias@aueb.gr markakis@gmail.com Περίληψη Shannon theory Εντροπία Μελέτη κρυπτοσυστηµάτων
Διαβάστε περισσότεραΨηφιακές Τηλεπικοινωνίες
Ψηφιακές Τηλεπικοινωνίες Κωδικοποίηση Αναλογικής Πηγής: Κβάντιση Εισαγωγή Αναλογική πηγή: μετά από δειγματοληψία γίνεται διακριτού χρόνου άπειρος αριθμός bits/έξοδο για τέλεια αναπαράσταση Θεωρία Ρυθμού-Παραμόρφωσης
Διαβάστε περισσότεραΠίνακες Διασποράς. Χρησιμοποιούμε ένα πίνακα διασποράς T και μια συνάρτηση διασποράς h. Ένα στοιχείο με κλειδί k αποθηκεύεται στη θέση
Πίνακες Διασποράς Χρησιμοποιούμε ένα πίνακα διασποράς T και μια συνάρτηση διασποράς h Ένα στοιχείο με κλειδί k αποθηκεύεται στη θέση κλειδί k T 0 1 2 3 4 5 6 7 U : χώρος πιθανών κλειδιών Τ : πίνακας μεγέθους
Διαβάστε περισσότερα1 Βασικές Έννοιες Θεωρίας Πληροφορίας
1 Βασικές Έννοιες Θεωρίας Πληροφορίας Εντροπία τυχαίων μεταβλητών X, Y : H(X) = E [log Pr(x)] (1) H(X, Y ) = E [log Pr(x, y)] (2) H(X Y ) = E [log Pr(x y)] (3) Ιδιότητες Εντροπίας: Νόμος Bayes: Pr(y x)
Διαβάστε περισσότεραΣυμπίεση Πολυμεσικών Δεδομένων
Συμπίεση Πολυμεσικών Δεδομένων Εισαγωγή στο πρόβλημα και επιλεγμένες εφαρμογές Κώστας Μπερμπερίδης Εργαστήριο Σημάτων & Τηλεπικοινωνιών Τμήμα Μηχανικών Η/Υ & Πληροφορικής Ψηφιακή Αναπαράσταση Συμπίεση
Διαβάστε περισσότεραΠρόλογος 1. 1 Μαθηµατικό υπόβαθρο 9
Πρόλογος 1 Μαθηµατικό υπόβαθρο 7 1 Μαθηµατικό υπόβαθρο 9 1.1 Η αριθµητική υπολοίπων.............. 10 1.2 Η πολυωνυµική αριθµητική............ 14 1.3 Θεωρία πεπερασµένων οµάδων και σωµάτων.... 17 1.4 Πράξεις
Διαβάστε περισσότεραΗ Έννοια της τυχαίας ιαδικασίας
Η Έννοια της τυχαίας ιαδικασίας Η έννοια της τυχαίας διαδικασίας, βασίζεται στην επέκταση της έννοιας της τυχαίας µεταβλητής, ώστε να συµπεριλάβει το χρόνο. Σεκάθεαποτέλεσµα s k ενόςπειράµατοςτύχης αντιστοιχούµε,
Διαβάστε περισσότεραΣημείωμα Αδειοδότησης
Μελέτη Περιπτώσεων στη Λήψη Αποφάσεων Σημείωμα Αδειοδότησης Το παρόν εκπαιδευτικό υλικό υπόκειται σε άδειες χρήσης Creative Commons. Για εκπαιδευτικό υλικό, όπως εικόνες, που υπόκειται σε άλλου τύπου άδειας
Διαβάστε περισσότερα( x) Η ΕΝΝΟΙΑ ΤΗΣ ΤΥΧΑΙΑΣ ΜΕΤΑΒΛΗΤΗΣ - ΠΙΘΑΝΟΤΗΤΑΣ. Βασικά αξιώµατα και ιδιότητες της πιθανότητας. Σεραφείµ Καραµπογιάς
Η ΕΝΝΟΙΑ ΤΗΣ ΤΥΧΑΙΑΣ ΜΕΤΑΒΛΗΤΗΣ - ΠΙΘΑΝΟΤΗΤΑΣ Βασικά αξιώµατα και ιδιότητες της πιθανότητας Σεραφείµ Καραµπογιάς Η αθροιστική συνάρτηση κατανοµής cumulaive diribuio ucio CDF µίας τυχαίας µεταβλητής X ορίζεται
Διαβάστε περισσότεραΨηφιακή Επεξεργασία Εικόνας
ΕΛΛΗΝΙΚΗ ΔΗΜΟΚΡΑΤΙΑ Ανώτατο Εκπαιδευτικό Ίδρυμα Πειραιά Τεχνολογικού Τομέα Ψηφιακή Επεξεργασία Εικόνας Ενότητα 6 : Κωδικοποίηση & Συμπίεση εικόνας Ιωάννης Έλληνας Τμήμα Η/ΥΣ Άδειες Χρήσης Το παρόν εκπαιδευτικό
Διαβάστε περισσότεραΟ Βέλτιστος Φωρατής. Σεραφείµ Καραµπογιάς
Ο Βέλτιστος Φωρατής Ο φωρατής σήµατος, µε τη βοήθεια ενός κανόνα απόφασης, βασιζόµενος στην παρατήρηση του διανύσµατος, λαµβάνει µία απόφαση ως προς το µεταδιδόµενο σύµβολο, έτσι ώστε να µεγιστοποιείται
Διαβάστε περισσότεραΑπαντήσεις σε απορίες
Ερώτηση Η µέση ποσότητα πληροφορίας κατά Shannon είναι Η(Χ)=-Σp(xi)logp(xi)...σελ 28 Στο παραδειγµα.3 στη σελιδα 29 στο τέλος δεν καταλαβαίνω πως γίνεται η εφαρµογή του παραπάνω τύπου ηλαδη δεν βλεπω συντελεστη
Διαβάστε περισσότεραΑθανάσιος Χρ. Τζέμος Τομέας Θεωρητικής Φυσικής. Εντροπία Shannon
Αθανάσιος Χρ. Τζέμος Τομέας Θεωρητικής Φυσικής Εντροπία Shannon Ένα από τα βασικά ερωτήματα της θεωρίας της πληροφορίας ήταν ανέκαθεν το πώς θα μπορούσε να ποσοτικοποιηθεί η πληροφορία, ώστε να μπορούμε
Διαβάστε περισσότεραΧρήστος Ξενάκης. Πανεπιστήμιο Πειραιώς, Τμήμα Ψηφιακών Συστημάτων
ΘΕΩΡΙΑ ΠΛΗΡΟΦΟΡΙΑΣ Κεφάλαιο 10 : Κωδικοποίηση καναλιού Χρήστος Ξενάκης Πανεπιστήμιο Πειραιώς, Τμήμα Ψηφιακών Συστημάτων Περιεχόμενα Ομιλίας Απόσταση και βάρος Hamming Τεχνικές και κώδικες ανίχνευσης &
Διαβάστε περισσότεραΕΕ728 Προχωρηµένα Θέµατα Θεωρίας Πληροφορίας 11η διάλεξη
ΕΕ728 Προχωρηµένα Θέµατα Θεωρίας Πληροφορίας 11η διάλεξη ηµήτρης-αλέξανδρος Τουµπακάρης Τµήµα ΗΜ&ΤΥ, Πανεπιστήµιο Πατρών 17 Μαΐου 2011 (2η έκδοση, 21/5/2011) ηµήτρης-αλέξανδρος Τουµπακάρης Προχωρηµένα
Διαβάστε περισσότεραΑναλογικές και Ψηφιακές Επικοινωνίες
Αναλογικές και Ψηφιακές Επικοινωνίες Ενότητα : Βέλτιστος δέκτης για ψηφιακά διαμορφωμένα σήματα Σεραφείμ Καραμπογιάς Σχολή Θετικών Επιστημών Τμήμα Πληροφορικής και Επικοινωνιών Η ΕΝΝΟΙΑ ΤΗΣ ΤΥΧΑΙΑΣ ΜΕΤΑΒΛΗΤΗΣ
Διαβάστε περισσότεραΕΕ728 Προχωρηµένα Θέµατα Θεωρίας Πληροφορίας 11η διάλεξη
ΕΕ728 Προχωρηµένα Θέµατα Θεωρίας Πληροφορίας 11η διάλεξη ηµήτρης-αλέξανδρος Τουµπακάρης Τµήµα ΗΜ&ΤΥ, Πανεπιστήµιο Πατρών 25 Απριλίου 2013 ηµήτρης-αλέξανδρος Τουµπακάρης Προχωρηµένα Θέµατα Θεωρίας Πληροφορίας
Διαβάστε περισσότεραΚεφάλαιο 2 ΣΥΝΑΡΤΗΣΕΙΣ ΜΙΑΣ ΜΕΤΑΒΛΗΤΗΣ. 2.1 Συνάρτηση
Κεφάλαιο 2 ΣΥΝΑΡΤΗΣΕΙΣ ΜΙΑΣ ΜΕΤΑΒΛΗΤΗΣ 2.1 Συνάρτηση Η έννοια της συνάρτησης είναι ϐασική σ όλους τους κλάδους των µαθη- µατικών, αλλά και πολλών άλλων επιστηµών. Ο λόγος είναι, ότι µορφοποιεί τη σχέση
Διαβάστε περισσότεραΣυμπίεση Δεδομένων
Συμπίεση Δεδομένων 2014-2015 Κβάντιση Δρ. Ν. Π. Σγούρος 2 Αναλογικά Ψηφιακά Σήματα Αναλογικό Σήμα x t, t [t min, t max ], x [x min, x max ] Δειγματοληψία t n, x t x n, n = 1,, N Κβάντιση x n x(n) 3 Αλφάβητο
Διαβάστε περισσότεραΒασικά στοιχεία της θεωρίας πιθανοτήτων
Η έννοια του Πειράµατος Τύχης. 9 3 Το σύνολο των πιθανών εκβάσεων ενός πειράµατος τύχης καλείται δειγµατοχώρος ήδειγµατικόςχώρος (sample space)καισυµβολίζεταιµεωήµε S.Έναστοιχείοω ή s του δειγµατικού χώρου
Διαβάστε περισσότεραΕιδικά θέματα Αλγορίθμων και Δομών Δεδομένων (ΠΛΕ073) Απαντήσεις 1 ου Σετ Ασκήσεων
Ειδικά θέματα Αλγορίθμων και Δομών Δεδομένων (ΠΛΕ073) Απαντήσεις 1 ου Σετ Ασκήσεων Άσκηση 1 α) Η δομή σταθμισμένης ένωσης με συμπίεση διαδρομής μπορεί να τροποποιηθεί πολύ εύκολα ώστε να υποστηρίζει τις
Διαβάστε περισσότεραΑνάκτηση Πληροφορίας
Ιόνιο Πανεπιστήμιο Τμήμα Πληροφορικής Ανάκτηση Πληροφορίας Διδάσκων: Φοίβος Μυλωνάς fmylonas@ionio.gr Διάλεξη #08 Συµπίεση Κειµένων Φοίβος Μυλωνάς fmylonas@ionio.gr Ανάκτηση Πληροφορίας 1 Άδεια χρήσης
Διαβάστε περισσότεραΠΑΝΕΠΙΣΤΗΜΙΟ ΚΥΠΡΟΥ, ΤΜΗΜΑ ΠΛΗΡΟΦΟΡΙΚΗΣ
ΠΑΝΕΠΙΣΤΗΜΙΟ ΚΥΠΡΟΥ, ΤΜΗΜΑ ΠΛΗΡΟΦΟΡΙΚΗΣ ΕΠΛ 4: ΣΥΣΤΗΜΑΤΑ ΠΟΛΥΜΕΣΩΝ Θεωρητικές Ασκήσεις (# ): ειγµατοληψία, κβαντοποίηση και συµπίεση σηµάτων. Στην τηλεφωνία θεωρείται ότι το ουσιαστικό περιεχόµενο της
Διαβάστε περισσότεραΛυμένες Ασκήσεις σε Εντροπία, Αμοιβαία Πληροφορία, Κωδικοποίηση Πηγής και AEP
22Α004 (eclass EE728) - Προχωρημένα Θέματα Θεωρίας Πληροφορίας Φυλλάδιο 2 Δ. Τουμπακάρης 7 Μαΐου 205 Λυμένες Ασκήσεις σε Εντροπία, Αμοιβαία Πληροφορία, Κωδικοποίηση Πηγής και AEP. Συναρτήσεις τυχαίων μεταβλητών
Διαβάστε περισσότεραΕπεξεργασία Στοχαστικών Σημάτων
Επεξεργασία Στοχαστικών Σημάτων Τυχαίες μεταβλητές Σεραφείμ Καραμπογιάς Σχολή Θετικών Επιστημών Τμήμα Πληροφορικής και Τηλεπικοινωνιών Η ΕΝΝΟΙΑ ΤΗΣ ΤΥΧΑΙΑΣ ΜΕΤΑΒΛΗΤΗΣ Η απεικόνιση των εκβάσεων ενός πειράματος
Διαβάστε περισσότεραΠοιές οι θεµελιώδεις δυνατότητες και ποιοί οι εγγενείς περιορισµοί των υπολογιστών ; Τί µπορούµε και τί δε µπορούµε να υπολογίσουµε (και γιατί);
Μοντελοποίηση του Υπολογισµού Στοιχεία Θεωρίας Υπολογισµού (): Τυπικές Γλώσσες, Γραµµατικές Ορέστης Τελέλης telelis@unipi.gr Τµήµα Ψηφιακών Συστηµάτων, Πανεπιστήµιο Πειραιώς Ποιές οι θεµελιώδεις δυνατότητες
Διαβάστε περισσότεραΣτοιχεία Θεωρίας Υπολογισµού (1): Τυπικές Γλώσσες, Γραµµατικές
Στοιχεία Θεωρίας Υπολογισµού (1): Τυπικές Γλώσσες, Γραµµατικές Ορέστης Τελέλης telelis@unipi.gr Τµήµα Ψηφιακών Συστηµάτων, Πανεπιστήµιο Πειραιώς Ο. Τελέλης Πανεπιστήµιο Πειραιώς Θεωρία Υπολογισµού 1 /
Διαβάστε περισσότεραΤεράστιες ανάγκες σε αποθηκευτικό χώρο
ΣΥΜΠΙΕΣΗ Τεράστιες ανάγκες σε αποθηκευτικό χώρο Παράδειγμα: CD-ROM έχει χωρητικότητα 650MB, χωρά 75 λεπτά ασυμπίεστου στερεοφωνικού ήχου, αλλά 30 sec ασυμπίεστου βίντεο. Μαγνητικοί δίσκοι χωρητικότητας
Διαβάστε περισσότεραΜάθημα Επισκόπηση των Τηλεπικοινωνιών
Μάθημα Επισκόπηση των Τηλεπικοινωνιών Κωδικοποίηση Πηγής & Καναλιού Μάθημα 8 ο 9 ο ΕΘΝΙΚΟ & ΚΑΠΟΔΙΣΤΡΙΑΚΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΑΘΗΝΩΝ Τομέας Επικοινωνιών και Επεξεργασίας Σήματος Τμήμα Πληροφορικής & Τηλεπικοινωνιών
Διαβάστε περισσότεραΚώδικες µεταβλητού µήκους
6 Κώδικες µεταβλητού µήκους Στο κεφάλαιο αυτό µελετώνται οι κώδικες µεταβλητού µήκους, στους οποίους όλες οι λέξεις δεν έχουν το ίδιο µήκος και δίνονται οι µέ- ϑοδοι Fano-Shannon και Huffman για την κατασκευή
Διαβάστε περισσότεραΑναγνώριση Προτύπων Ι
Αναγνώριση Προτύπων Ι Ενότητα 3: Στοχαστικά Συστήματα Αν. Καθηγητής Δερματάς Ευάγγελος Τμήμα Ηλεκτρολόγων Μηχανικών και Τεχνολογίας Υπολογιστών Άδειες Χρήσης Το παρόν εκπαιδευτικό υλικό υπόκειται σε άδειες
Διαβάστε περισσότεραΜάθημα 7 ο. Συμπίεση Εικόνας ΤΜΗΥΠ / ΕΕΣΤ 1
Μάθημα 7 ο Συμπίεση Εικόνας ΤΜΗΥΠ / ΕΕΣΤ 1 Εισαγωγή (1) Οι τεχνικές συμπίεσης βασίζονται στην απόρριψη της πλεονάζουσας πληροφορίας Ανάγκες που καλύπτονται Εξοικονόμηση μνήμης Ελάττωση χρόνου και εύρους
Διαβάστε περισσότεραΒασικά στοιχεία της θεωρίας πιθανοτήτων
Η έννοια του Πειράµατος Τύχης. 9 3 6 Το σύνολο των πιθανών εκβάσεων ενός πειράµατος τύχης καλείται δειγµατοχώρος ή δειγµατικόςχώρος (sample space)καισυµβολίζεταιµεωήµε S.Έναστοιχείοωήsτου δειγµατικού χώρου
Διαβάστε περισσότεραΘεωρία της Πληροφορίας 3 ο Εξάμηνο
Σμήμα Πληροφορικής & Επικοινωνιών Θεωρία της Πληροφορίας 3 ο Εξάμηνο Τομέας Τηλεπικοινωνιών και Δικτύων Δρ. Αναστάσιος Πολίτης Καθηγητής Εφαρμογών 1 Διεξαγωγή και Εξέταση του Μαθήματος Μάθημα Πώς? 13 Διαλέξεις.
Διαβάστε περισσότεραΕΕ728 Προχωρηµένα Θέµατα Θεωρίας Πληροφορίας 10η διάλεξη
ΕΕ728 Προχωρηµένα Θέµατα Θεωρίας Πληροφορίας 10η διάλεξη ηµήτρης-αλέξανδρος Τουµπακάρης Τµήµα ΗΜ&ΤΥ, Πανεπιστήµιο Πατρών 21 Μαΐου 2015 ηµήτρης-αλέξανδρος Τουµπακάρης Προχωρηµένα Θέµατα Θεωρίας Πληροφορίας
Διαβάστε περισσότεραχωρίςναδηµιουργείταιαίσθησηαπώλειαςτηςποιότηταςτηςανακατασκευασµένηςεικόνας.
Το πρότυπο JPEG για κωδικοποίησηση εικόνας Το JPEG, που υιοθετήθηκε από την Joint Photographic Experts Group, είναι ένα πρότυπο που χρησιµοποιείταιευρέωςγιατησυµπίεσηακίνητωνεικόνων, µε µέσο λόγο συµπίεσης
Διαβάστε περισσότεραΑρχές κωδικοποίησης. Τεχνολογία Πολυµέσων 08-1
Αρχές κωδικοποίησης Απαιτήσεις κωδικοποίησης Είδη κωδικοποίησης Βασικές τεχνικές κωδικοποίησης Κωδικοποίηση Huffman Κωδικοποίηση µετασχηµατισµών Κβαντοποίηση διανυσµάτων ιαφορική κωδικοποίηση Τεχνολογία
Διαβάστε περισσότεραΕΑΠ/ΠΛΗ22/ΑΘΗ-4. 3 η ΟΣΣ
ΕΑΠ/ΠΛΗ22/ΑΘΗ-4 3 η ΟΣΣ 08.02.205 Ν.Δημητρίου Σημείωση: Η παρουσίαση αυτή είναι συμπληρωματική της ύλης των βιβλίων (τόμος Β / μέρη Α,Β και τόμος Α ) καθώς και των 2 παρουσιάσεων στο study.eap.gr (oss3_plh22_digicomms_205,
Διαβάστε περισσότερα4. ΚΩ ΙΚΟΠΟΙΗΣΗ ΣΕ ΠΕΡΙΒΑΛΛΟΝ ΧΩΡΙΣ
4. ΚΩ ΙΚΟΠΟΙΗΣΗ ΣΕ ΠΕΡΙΒΑΛΛΟΝ ΧΩΡΙΣ ΘΟΡΥΒΟ Στο κεφάλαιο αυτό θα θεωρήσουµε ότι το κανάλι επικοινωνίας είναι ιδανικό, χωρίς θόρυβο, ότι δηλαδή δεν συµβαίνουν σφάλµατα κατά τη µετάδοση της πληροφορίας. Εδώ
Διαβάστε περισσότερα5.1 Θεωρητική εισαγωγή
ΨΗΦΙΑΚΑ ΚΥΚΛΩΜΑΤΑ - ΕΡΓΑΣΤΗΡΙΑΚΗ ΑΣΚΗΣΗ 5 ΚΩ ΙΚΟΠΟΙΗΣΗ BCD Σκοπός: Η κατανόηση της µετατροπής ενός τύπου δυαδικής πληροφορίας σε άλλον (κωδικοποίηση/αποκωδικοποίηση) µε τη µελέτη της κωδικοποίησης BCD
Διαβάστε περισσότεραΕισαγωγή Ορισμός Frequency moments
The space complexity of approximating the frequency moments Κωστόπουλος Δημήτριος Μπλα Advanced Data Structures June 2007 Εισαγωγή Ορισμός Frequency moments Έστω ακολουθία Α = {a 1,a 2,...,a m ) με κάθε
Διαβάστε περισσότεραΚωδικοποίηση Πηγής. Η λειτουργία ενός συστήματος επικοινωνίας (γενικό διάγραμμα):
Κωδικοποίηση Πηγής Η λειτουργία ενός συστήματος επικοινωνίας (γενικό διάγραμμα): Coder Decoder Μεταξύ πομπού-καναλιού παρεμβάλλεται ο κωδικοποιητής (coder). Έργο του: η αντικατάσταση των συμβόλων πληροφορίας
Διαβάστε περισσότεραΨηφιακή Επεξεργασία και Ανάλυση Εικόνας Ενότητα 6 η : Συμπίεση Εικόνας. Καθ. Κωνσταντίνος Μπερμπερίδης Πολυτεχνική Σχολή Μηχανικών Η/Υ & Πληροφορικής
Ψηφιακή Επεξεργασία και Ανάλυση Εικόνας Ενότητα 6 η : Συμπίεση Εικόνας Καθ. Κωνσταντίνος Μπερμπερίδης Πολυτεχνική Σχολή Μηχανικών Η/Υ & Πληροφορικής Σκοποί ενότητας Εισαγωγή στη συμπίεση εικόνας Μη απωλεστικες
Διαβάστε περισσότεραΚΑΤΑΝΟΜΕΣ ΠΙΘΑΝΟΤΗΤΑΣ ΤΥΧΑΙΩΝ ΜΕΤΑΒΛΗΤΩΝ (Συνέχεια)
ΚΑΤΑΝΟΜΕΣ ΠΙΘΑΝΟΤΗΤΑΣ ΤΥΧΑΙΩΝ ΜΕΤΑΒΛΗΤΩΝ (Συνέχεια) Χαράλαµπος Α. Χαραλαµπίδης 9 Νοεµβρίου 2009 ΣΥΝΑΡΤΗΣΗ ΠΥΚΝΟΤΗΤΑΣ ΠΙΘΑΝΟΤΗΤΑΣ Ορισµός Μία τυχαία µεταβλητή X καλείται διακριτή ή απαριθµητή αν παίρνει
Διαβάστε περισσότεραII. Τυχαίες Μεταβλητές
II. Τυχαίες Μεταβλητές τυχαία μεταβλητή (τ.μ.) Χ : Αναφέρεται πάνω σε μία μετρούμενη ποσότητα του τυχαίου πειράματος Εκφράζει μία συνάρτηση (απεικόνιση) από τον δειγματικό χώρο (Ω) σε έναν αριθμητικό χώρο
Διαβάστε περισσότεραΕπεξεργασία Πολυµέσων. Δρ. Μαρία Κοζύρη Π.Μ.Σ. «Εφαρµοσµένη Πληροφορική» Τµήµα Ηλεκτρολόγων Μηχανικών & Μηχανικών Υπολογιστών Πανεπιστήµιο Θεσσαλίας
Π.Μ.Σ. «Εφαρµοσµένη Πληροφορική» Τµήµα Ηλεκτρολόγων Μηχανικών & Μηχανικών Υπολογιστών Πανεπιστήµιο Θεσσαλίας Ενότητα 3: Επισκόπηση Συµπίεσης 2 Θεωρία Πληροφορίας Κωδικοποίηση Θεµελιώθηκε απο τον Claude
Διαβάστε περισσότερα3. Κατανομές πιθανότητας
3. Κατανομές πιθανότητας Τυχαία Μεταβλητή Τυχαία μεταβλητή (τ.μ.) (X) είναι μια συνάρτηση που σε κάθε σημείο (ω) ενός δειγματικού χώρου (Ω) αντιστοιχεί έναν πραγματικό αριθμό. Ω ω X (ω ) R Διακριτή τ.μ.
Διαβάστε περισσότερα22Α004 - Προχωρημένα Θέματα Θεωρίας Πληροφορίας Τελική Εξέταση
22A004 (eclass EE278) Προχωρημένα Θέματα Θεωρίας Πληροφορίας Φυλλάδιο 11 Δ. Τουμπακάρης 6 Ιουνίου 2013 22Α004 - Προχωρημένα Θέματα Θεωρίας Πληροφορίας Τελική Εξέταση Διάρκεια Εξέτασης: 3 ώρες. 4 ασκήσεις
Διαβάστε περισσότεραΘεωρία της Πληροφορίας 3 ο Εξάμηνο
Τμήμα Πληροφορικής & Επικοινωνιών Θεωρία της Πληροφορίας 3 ο Εξάμηνο Τομέας Τηλεπικοινωνιών και Δικτύων Δρ. Αναστάσιος Πολίτης Καθηγητής Εφαρμογών 1 Διεξαγωγή και Εξέταση του Μαθήματος Μάθημα Κάθε πότε?
Διαβάστε περισσότεραcov(x, Y ) = E[(X E[X]) (Y E[Y ])] cov(x, Y ) = E[X Y ] E[X] E[Y ]
Πανεπιστήµιο Κρήτης - Τµήµα Επιστήµης Υπολογιστών ΗΥ-317: Εφαρµοσµένες Στοχαστικές ιαδικασίες-εαρινό Εξάµηνο 2016 ιδάσκων : Π. Τσακαλίδης Συνδιασπορά - Συσχέτιση Τυχαίων Μεταβλητών Επιµέλεια : Κωνσταντίνα
Διαβάστε περισσότεραΠεριεχόμενα 1 Κωδικοποίησ η Πηγής 2 Χωρητικότητα Διακριτών Καναλιών 2 / 21
Θεωρία Πληροφορίας και Στοιχεία Κωδίκων Κωδικοποίησ η Πηγής και Χωρητικότητα Διακριτών Καναλιών Διδάσ κων: Καλουπτσ ίδης Νικόλαος Επιμέλεια: Κατσ άνος Κωνσ ταντίνος Τμήμα Πληροφορικής και Τηλεπικοινωνιών
Διαβάστε περισσότεραΚωδικοποίηση εικόνων κατά JPEG
Κωδικοποίηση εικόνων κατά JPEG Εισαγωγή Προετοιµασία της εικόνας ρυθµός Ακολουθιακός απωλεστικός ρυθµός Εκτεταµένος απωλεστικός ρυθµός Μη απωλεστικός ρυθµός Ιεραρχικός ρυθµός Τεχνολογία Πολυµέσων 09-1
Διαβάστε περισσότεραΠερίληψη Προηγούμενου Μαθήματος Κανάλια επικοινωνίας με θόρυβο και η χωρητικότητά τους
ΘΕΩΡΙΑ ΠΛΗΡΟΦΟΡΙΑΣ Γ Κοντογιάννης Πέμπτη Μαΐου 7 Φυλλάδιο #3 Πρίληψη Προηγούμνου Μαθήματος Κανάλια πικοινωνίας μ θόρυβο και η χωρητικότητά τους Πώς πριγράφουμ ένα κανάλι πικοινωνίας; Τι θα πι «θόρυβος»;
Διαβάστε περισσότεραΤυχαία μεταβλητή (τ.μ.)
Τυχαία μεταβλητή (τ.μ.) Τυχαία μεταβλητή (τ.μ.) είναι μια συνάρτηση X ( ) με πεδίο ορισμού το δειγματικό χώρο Ω του πειράματος και πεδίο τιμών ένα υποσύνολο πραγματικών αριθμών που συμβολίζουμε συνήθως
Διαβάστε περισσότεραΕισαγωγή στον Προγραµµατισµό. Ανάλυση (ή Επιστηµονικοί8 Υπολογισµοί)
Εισαγωγή στον Προγραµµατισµό Αριθµητική Ανάλυση (ή Επιστηµονικοί Υπολογισµοί) ιδάσκοντες: Καθηγητής Ν. Μισυρλής, Επίκ. Καθηγητής Φ.Τζαφέρης ΕΚΠΑ 8 εκεµβρίου 04 Ανάλυση (ή Επιστηµονικοί8 Υπολογισµοί) εκεµβρίου
Διαβάστε περισσότεραΣυμπίεση Πολυμεσικών Δεδομένων
Συμπίεση Πολυμεσικών Δεδομένων Εισαγωγή στο πρόβλημα και επιλεγμένες εφαρμογές Παράδειγμα 2: Συμπίεση Εικόνας ΔΠΜΣ ΜΥΑ, Ιούνιος 2011 Εισαγωγή (1) Οι τεχνικές συμπίεσης βασίζονται στην απόρριψη της πλεονάζουσας
Διαβάστε περισσότεραΞέρουμε ότι: Συνάρτηση-απεικόνιση με πεδίο ορισμού ένα σύνολο Α και πεδίο τιμών ένα σύνολο Β είναι κάθε μονοσήμαντη απεικόνιση f του Α στο Β.
Η έννοια της ακολουθίας Ξέρουμε ότι: Συνάρτηση-απεικόνιση με πεδίο ορισμού ένα σύνολο Α και πεδίο τιμών ένα σύνολο Β είναι κάθε μονοσήμαντη απεικόνιση f του Α στο Β. Δηλαδή: f : A B Η ακολουθία είναι συνάρτηση.
Διαβάστε περισσότεραΗ κωδικοποίηση των συντελεστών DC
Η κωδικοποίηση των συντελεστών DC Γιακάθευποπίνακαηδιαφορά, d,του DC συντελεστήτουαπότοσυντελεστή DC τουπροηγούµενουυποπίνακαοδηγούνταιστονκωδικοποιητήεντροπίας (variable length coding VLC). Στονκωδικοποιητήηδιαφοράκατατάσσεταιανάλογαµετοµέγεθόςτηςστοακόλουθοπίνακα,
Διαβάστε περισσότεραΣυμπίεση Δεδομένων
Συμπίεση Δεδομένων 2014-2015 Κβάντιση Δρ. Ν. Π. Σγούρος 2 Άσκηση 5.1 Για ένα σήμα που έχει τη σ.π.π. του σχήματος να υπολογίσετε: μήκος του δυαδικού κώδικα για Ν επίπεδα κβάντισης για σταθερό μήκος λέξης;
Διαβάστε περισσότεραΠΛΗ21 Κεφάλαιο 2. ΠΛΗ21 Ψηφιακά Συστήματα: Τόμος Α Κεφάλαιο: 2 Δυαδική Κωδικοποίηση
Ψηφιακά Συστήματα: Τόμος Α Κεφάλαιο: 2 Δυαδική Κωδικοποίηση Στόχοι του κεφαλαίου είναι να γνωρίσουμε: Τι είναι Κώδικας Τι είναι αλφάβητο & λέξεις ενός κώδικα Τι είναι οι δυαδικές λέξεις Το πλήθος των λέξεων
Διαβάστε περισσότεραΣυμπίεση Δεδομένων Δοκιμής (Test Data Compression) Νικολός Δημήτριος, Τμήμα Μηχ. Ηλεκτρονικών Υπολογιστών & Πληροφορικής, Παν Πατρών
Συμπίεση Δεδομένων Δοκιμής (Test Data Compression), Παν Πατρών Test resource partitioning techniques ΑΤΕ Automatic Test Equipment (ATE) based BIST based Έλεγχος παραγωγής γής βασισμένος σε ΑΤΕ Μεγάλος
Διαβάστε περισσότεραΘεωρία τησ Πληροφορίασ (Θ) ΔΙΔΑΚΩΝ: Δρ. Αναςτάςιοσ Πολίτησ
Θεωρία τησ Πληροφορίασ (Θ) Ενότητα 4: Συμπίεςη χωρίσ Απώλειεσ ΔΙΔΑΚΩΝ: Δρ. Αναςτάςιοσ Πολίτησ ΧΟΛΗ ΣΕΧΝΟΛΟΓΙΚΩΝ ΕΦΑΡΜΟΓΩΝ ΣΜΗΜΑ ΜΗΧΑΝΙΚΩΝ ΠΛΗΡΟΦΟΡΙΚΗ ΣΕ Άδειεσ Χρήςησ Σο παρόν εκπαιδευτικό υλικό υπόκειται
Διαβάστε περισσότερα