( ) log 2 = E. Σεραφείµ Καραµπογιάς

Μέγεθος: px
Εμφάνιση ξεκινά από τη σελίδα:

Download "( ) log 2 = E. Σεραφείµ Καραµπογιάς"

Transcript

1 Παρατηρούµε ότι ο ορισµός της Η βασίζεται στη χρονική µέση τιµή. Για να ισχύει ο ορισµός αυτός και για µέση τιµή συνόλου πρέπει η πηγή να είναι εργοδική, δηλαδή H ( X) ( ) = E log 2 p k Η εντροπία µιας πηγής πληροφορίας είναι ένα µέτρο της αβεβαιότητας ή ισοδύναµα του πληρο- φοριακού περιεχοµένου της πηγής. Επίσης η εντροπία αποτελεί ένα µέτρο του αριθµού των bits πληροφορίας που χρειάζονται κατά µέσο όρο για να µεταδώσουµε την πληροφορία που περιέχεται στην µεταβλητή X, υπό την προϋπόθεση ότι έχει χρησιµοποιηθεί ένα βέλτιστος αλγόριθµος κωδικοποίησης. Με άλλα λόγια κάθε έξοδος της πηγής απαιτεί H( X ) bits για ουσιαστικά χωρίς σφάλµατα αναπαράσταση. Πηγές Πληροφορίας και Κωδικοποίηση Πηγής 6.2-

2 Για µία πηγή µε ένα αλφάβητο από Ν σύµβολα, η µέγιστη εντροπία επιτυγχάνεται όταν οι πιθανότητες των συµβόλων είναι ίσες οπότε p = p2 = = p N = H max = log 2 ( N) N bits symbol Σεραφείµ Καραµπογιάς Αν symbols r S sec είναιο σταθερός ρυθµός µετον οποίο εκπέµπονταιτασύµβολααπότηνπηγή, ορίσουµε το µέσο ρυθµό (παροχής) της πληροφορίας από της πηγής ως R = r S H bits sec Πηγές Πληροφορίας και Κωδικοποίηση Πηγής 6.2-2

3 Παράδειγµα: Να βρεθεί η εντροπία µιας πηγής που εκπέµπει ένα από τα τρία σύµβολα Α, Β και C σε στατιστικά ανεξάρτητηακολουθίαµεπιθανότητααντίστοιχα /2, /4 και /4. Απάντηση: H =,5 bits symbol Παράδειγµα: Μιαδιακριτήπηγήεκπέµπειένααπόπέντεσύµβολακάθε msec. Οιπιθανότητεςτωνσυµβόλωνείναι /2, /4, /8, /6, και /6 αντίστοιχα. Να βρεθεί η εντροπία της πηγής και ο µέσος ρυθµός πληροφορίας. Απάντηση: H=,875 bits symbol R=875 bits sec Πηγές Πληροφορίας και Κωδικοποίηση Πηγής 6.2-3

4 Στη δυαδική πηγή χωρίς µνήµη µε πιθανότητες p και p, αντίστοιχα έχουµε H = p log 2 ( p) ( p) log2( p) Η συνάρτηση αυτή, που συµβολίζεται µε H b (p), είναι γνωστήως ησυνάρτησηδυαδικής εντροπίας. Η συνάρτηση δυαδικής εντροπίας µεγιστοποιείται όταν p = 0,5. H b (0,5) =, δηλαδήτοαποτέλεσµαµπορείναµεταφερθείµε bit. Η µέγιστη τιµής της είναι H b ( p) 0, , 5 p Η συνάρτηση δυαδικής εντροπίας Πηγές Πληροφορίας και Κωδικοποίηση Πηγής 6.2-4

5 Για δύο ή περισσότερες τυχαίες µεταβλητές εισάγουµε τη συνδυασµένη και την υποσυνθήκη εντροπία. Έννοιες ιδιαίτερα σηµαντικές για πηγές µε µνήµη. Η συνδυασµένη εντροπία δύο διακριτών τυχαίων µεταβλητών (X,Υ ) ορίζεται από τη σχέση H ( X, Y) = p( x, y) x, y log ( p( x, y) ) Η σχέση γενικεύεται για περισσότερες τυχαίες µεταβλητές Η συνδυασµένη εντροπία είναι απλά η εντροπία µιας τυχαίας διανυσµατικής µεταβλητής Παράδειγµα: ύο δυαδικές τυχαίες µεταβλητές X και Y κατανέµονται σύµφωνα µε τη συνδυασµένη κατανοµή p (X = Y = 0) = p(x = 0, Y = ) = p(x = Y = ) = /3. Υπολογίστετις H(X ), H(Y ) και H( X,Y ). Απάντηση: H(X ) = 0,983, H(Y ) = 0,983 και H(X,Y ) =,5850. Πηγές Πληροφορίας και Κωδικοποίηση Πηγής 6.2-5

6 Υποσυνθήκη εντροπία Η PMF της τυχαίας µεταβλητής X δεδοµένης της τιµής y της τυχαίας µεταβλητής Y είναι p (x y) Η υποσυνθήκη εντροπία της τυχαίας µεταβλητής X δεδοµένης της τιµής y της τυχαίας µεταβλητής Y ορίζεται από τη σχέση H ( X Y = y) = x p( x y) log ( p( x y) ) η οποία διαισθητικά είναι η ποσότητα αβεβαιότητας στη Χ όταν γνωρίζουµε ότι Υ = y. Η υποσυνθήκη εντροπία είναι η σταθµισµένη µέση τιµή των παραπάνω ποσοτήτων για όλα τα y και υποδηλώνει την εντροπία (ή την αβεβαιότητα) της τυχαίας µεταβλητής X όταν είναι γνωστή η τυχαία µεταβλητή Y. Πηγές Πληροφορίας και Κωδικοποίηση Πηγής 6.2-6

7 Η υποσυνθήκη εντροπία µιας διακριτής τυχαίας µεταβλητής X δεδοµένης της τυχαίας µεταβλητής Y ορίζεται από τη σχέση ( X Y) H = = x, y x, y p( x p( x, p( y) ( p( x y) ) Σεραφείµ Καραµπογιάς ΕπειδήηYµπορείναπαρέχεικάποιαπληροφορίαγιατη Xείναι H( X Y ) H( X ). y) y) log log ( p( x y) ) Γενικά έχουµε H ( X X ) n X n,..., = x,... x n p( x,... x n ) log ( p( x x,..., x )) n n Αποδεικνύεταιότι H( X, Y ) = H(Y ) + H( X Y ). Το περιεχόµενο της πληροφορίας του ζεύγους ( X, Y ) είναι ίσο προς το πληροφοριακό περιεχόµενο της Y συν το πληροφοριακό περιεχόµενο της X όταν είναι γνωστή η Y. Η σχέση αυτή επίσης δηλώνει ότι η ίδια πληροφορία µεταφέρεται είτε εµφανίζοντας το ζεύγος ( X, Y ), ή αποκαλύπτοντας πρώτα το Y και στη συνέχεια την αποµένουσα πληροφορία στο Χ. Πηγές Πληροφορίας και Κωδικοποίηση Πηγής 6.2-7

8 Αν X n δηλώνειτηνέξοδοµιαςδιακριτήςπηγήςτηχρονικήστιγµή n, τότε ΗΗ(Χ 2 Χ ) υποδηλώνειτηνκαινούργια πληροφορίαπουπαρέχειηέξοδος X 2 τηςπηγήςσε κάποιονπουγνωρίζειτηνέξοδο X. Γενικά Η (Χ n Χ, Χ 2,, Χ n- ) δηλώνειτηνκαινούργιαπληροφορίαπουπαρέχειηέξοδος X n τηςπηγήςσεκάποιονπουέχειπαρατηρήσειτηνακολουθία (Χ, Χ 2,, Χ n- ). Ο ρυθµός εντροπίας µιας στατικής τυχαίας διαδικασίας διακριτού χρόνου ορίζεται από την H ( X X, X X ) = lim H n 2,, n n Αποδεικνύεται ότι ένας εναλλακτικός ορισµός του ρυθµού εντροπίας για πηγές µε µνήµη είναι H = lim H 2,, n n ( X, X X ) Ορυθµόςτηςεντροπίαςπαίζειτορόλοτηςεντροπίαςγιαπηγέςµεµνήµη. n Πηγές Πληροφορίας και Κωδικοποίηση Πηγής 6.2-8

9 ΘΕΩΡΗΜΑ ΚΩ ΙΚΟΠΟΙΗΣΗΣ ΠΗΓΗΣ Σεραφείµ Καραµπογιάς Τοθεώρηµααυτόκαθορίζειέναθεµελιώδεςόριοστορυθµό, µετονοποίοηέξοδοςµιαςπηγής πληροφορίας µπορεί να συµπιεστεί χωρίς να προκληθεί µεγάλη πιθανότητα σφάλµατος. Σε ακολουθίες από εξόδους µιας DMS µήκους n κάθε γράµµα α ι i =, 2,,N επαναλαµβάνεταιµευψηλήπιθανότητα (πουφτάνειτο καθώςτο n ) περίπου np i φορές. Με άλλα λόγια ασυµπτωτικά σχεδόν όλες οι ακολουθίες είναι περίπου ισοπίθανες. Οι ακολουθίες x που έχουν την παραπάνω δοµή ονοµάζονται τυπικές ακολουθίες. Η πιθανότητα µιας τυπικής ακολουθίας είναι P( X = x) N i = n p N i p i = i = 2 n p i log p i N n i= = 2 p i log p i n H = 2 ( X) Πηγές Πληροφορίας και Κωδικοποίηση Πηγής 6.2-9

10 Οι ακολουθίες x που έχουν την παραπάνω δοµή ονοµάζονται τυπικές ακολουθίες. Η πιθανότητα µιας τυπικής ακολουθίας είναι P n p log p i= i 2 i= N n p N n p p i i i i i i n H ( X ) ( = ) p = 2 log X x = 2 = = N Σεραφείµ Καραµπογιάς Παρατηρούµε ότι για µεγάλο n σχεδόν όλες οι ακολουθίες εξόδου µήκους n της πηγής (τυπικές ( X 2 n H ) ακολουθίες) είναιισοπίθανεςµεπιθανότηταπερίπου. Η πιθανότητα του συνόλου των µη τυπικών ακολουθιών είναι αµελητέα.. 2 n H ( X) Ο συνολικός αριθµός των τυπικών ακολουθιών είναι σχεδόν. Πηγές Πληροφορίας και Κωδικοποίηση Πηγής 6.2-0

11 Παρατηρούµε ότι παρόλο που µία πηγή µε µέγεθος αλφαβήτου N µπορεί να παράγει N n ακολουθίες µήκους n, µπορούµε να λάβουµε υπόψιν το σύνολο των τυπικών ακολουθιών και να αµελήσουµε τις άλλες εξόδους και η πιθανότητα να έχουµε χάσει κάτι πλησιάζει στο µηδέν καθώςτο nτείνειστοάπειρο. Το σύνολο των τυπικών ακολουθιώνµε 2 n H (X ) Τοσύνολοτωντυπικώνκαιτωνµητυπικών ακολουθιών. Αυτή είναι η ουσία της συµπίεσης δεδοµένων, δηλαδή της πρακτικής της αναπαράστασης της εξόδου της πηγής µε ένα αριθµό ακολουθιών µικρότερο από εκείνο που η πηγή παράγει στην πραγµατικότητα. Επειδή ο συνολικός αριθµός των τυπικών ακολουθιών (µε µήκος n) είναι περίπου 2 nh( X ) χρειαζόµαστε n H( X ) bits γιανατιςαναπαραστήσουµε. Παρατηρούµεότικατάµέσοόρο, κάθεέξοδοςτηςπηγήςαπαιτεί H(X ) bits γιαµίαουσιαστικά χωρίς σφάλµατα αναπαράσταση. Πηγές Πληροφορίας και Κωδικοποίηση Πηγής 6.2-

12 Για µία πηγή της οποίας η PMF είναι οµοιόµορφα κατανεµηµένη έχουµε έτσι το πλήθος των τυπικών ακολουθιών είναι 2 n H H ( X) = log N ( X ) n log N n = 2 Αυτόσηµαίνειότιοαριθµόςτωντυπικώνακολουθίωντηςπηγήςµήκους nείναιίσοςπροςτο συνολικό αριθµό των εξόδων της πηγής και καµία συµπίεση δεν είναι δυνατή. = N Σεραφείµ Καραµπογιάς Εάν η πηγή έχει µνήµη τότε οι έξοδοι δεν είναι ανεξάρτητες και για αυτό φανερώνουν πληροφορία για τις επόµενες εξόδους. Σε µία πηγή µε µνήµη ο ρυθµός µε τον οποίο παράγεται η καινούργια πληροφορία ελαττώνεται καθώςόλοκαιπερισσότερεςέξοδοιτηςπηγήςεµφανίζονται. Γενικά γιαπηγέςµεµνήµηµαςενδιαφέρειορυθµόςεντροπίαςη(χ n Χ, Χ 2,, Χ n- ) Πηγές Πληροφορίας και Κωδικοποίηση Πηγής 6.2-2

13 Θεώρηµα κωδικοποίησης πηγής Σεραφείµ Καραµπογιάς Θεώρηµα Κωδικοποίησης Πηγής. Μία πηγή εντροπίας (ή ρυθµού εντροπίας) H µπορεί να κωδικοποιηθεί µε αυθαίρετα µικρή πιθανότητα σφάλµατος σε οποιοδήποτε ρυθµό R (bits / έξοδοπηγής) εφόσον R > H. Αντίστροφα, αν R < H, η πιθανότητα σφάλµατος θα παραµένει µακριά από το µηδέν, ανεξάρτητα από την πολυπλοκότητα του κωδικοποιητή και του αποκωδικοποιητή που χρησιµοποιούνται. Ο κωδικοποιητής πηγής αντιστοιχεί δυαδικές κωδικές λέξεις στα πακέτα συµβόλων της πηγής και παράγει στην έξοδο του µια δυαδική ακολουθία. Το θεώρηµα κωδικοποίησης πηγής δίνει µόνο αναγκαίες και ικανές συνθήκες για την ύπαρξη κωδίκωνπηγής. ίνει επίσης ένα φράγµα στο ρυθµό µε τον οποίο η πηγή µπορεί να συµπιεσθεί (κωδικοποιηθεί) γιααξιόπιστηανακατασκευή. εν προσφέρει συγκεκριµένους αλγορίθµους για να σχεδιασθούν κώδικες που να προσεγγίζουν αυτό το φράγµα. Υπάρχουν δύο γνωστοί αλγόριθµοι που οι επίδοσείς τους είναι πολύ κοντά στο φράγµα της εντροπίας. Ο αλγόριθµος κωδικοποίησης πηγής του Huffman Ο αλγόριθµος κωδικοποίησης πηγής του Lempel-Ziv. Πηγές Πληροφορίας και Κωδικοποίηση Πηγής 6.2-3

14 Ο Αλγόριθµος Huffman Κωδικοποίησης Πηγής Στην κωδικοποίηση Huffman µπλοκ συµβόλων σταθερού µήκους από τη έξοδο της πηγής απεικονίζονται σε µεταβλητού µήκους µπλοκ δυαδικών συµβόλων. Αυτό καλείται κωδικοποίηση από σταθερό σε µεταβλητό µπλοκ. Οι συχνότερα εµφανιζόµενες ακολουθίες εξόδου σε βραχύτερες δυαδικές ακολουθίες Στην κωδικοποίηση µεταβλητού µήκους πρέπει να υπάρχει ένας και µοναδικός τρόπος για να διαχωρίζουµε τη λαµβανόµενη δυαδική ακολουθία σε κωδικές λέξεις Πηγές Πληροφορίας και Κωδικοποίηση Πηγής 6.2-4

15 Κωδικές Λέξεις Σύµβολο a a 2 a 3 a 4 a 5 Πιθανότητα p = 2 p 2 = p 4 3 = p 8 4 = p 6 5 = 6 Κώδικας Κώδικας Κώδικας Κώδικας αυτό-συγχρονιζόµενοι κώδικες άµεσος µονοσήµαντα αποκωδικοποιήσιµοι µη µονοσήµαντα αποκωδικοποιήσιµος Στους κώδικες και 3 καµία κωδική λέξη δεν είναι πρόθεµα µιας άλλης Λέµε ότι ικανοποιούν τη συνθήκη προθέµατος. Γιατοκώδικα τοµέσοµήκοςλέξηςείναι E(L) = 3/6. Ενώγιατοκώδικα 3 τοµέσο µήκος λέξης είναι E(L) = 30/6. Ο ποιο ενδιαφέρων είναι ο κώδικας 3 και είναι ένα παράδειγµα κώδικα Huffman. Πηγές Πληροφορίας και Κωδικοποίηση Πηγής 6.2-5

16 ιατάξτε τις εξόδους της πηγής κατά φθίνουσα σειρά των πιθανοτήτων τους Σεραφείµ Καραµπογιάς Συγχωνεύστε τις δύο λιγότερο πιθανές εξόδους σε µία µοναδική έξοδο, και θέστε ως πιθανότητα της το άθροισµα των δύο πιθανοτήτων Αν ο αριθµός των εξόδων που αποµένουν είναι 2, τότε προχωρήστε στο επόµενο βήµα. ιαφορετικά, επανέλθετε στο βήµα. Αυθαίρετα αντιστοιχίστε το 0 και το ως κωδικές λέξεις για τις δύο εξόδους που αποµένουν Αν µια έξοδος είναι το αποτέλεσµα της συγχώνευσης δύο εξόδων σε προηγούµενο βήµα, προσαρτήστε στηντρέχουσακωδικήλέξη 0 καιτο γιανααποκτήσετετηνκωδικήλέξηγιατιςπροηγούµενεςεξόδους το βήµα 5. Αν καµία έξοδος δεν προηγείται άλλης σταµατήστε. 0 p = p 2 = p 3 = p 4 = p 5 = Πηγές Πληροφορίας και Κωδικοποίηση Πηγής 6.2-6

17 Έχουµεήδηδειότιοικώδικες Huffmanείναιβέλτιστοιµετηνέννοιαότιγια µια δεδοµένη πηγήπαρέχουνκώδικα µεελάχιστοµέσοµήκοςκωδικήςλέξης. Οι κώδικες Huffman παρουσιάζουν ισχυρή εξάρτηση από τις πιθανότητες (τη στατιστική) της πηγής. Η στατιστική της πηγής πρέπει να είναι γνωστή από πριν για να σχεδιάσουµε έναν κώδικα Huffman. Το άλλο πρόβληµα µε τους κώδικες Huffman είναι ότι αν ο κώδικας είναι σχεδιασµένος για µπλοκ µήκους ενός συµβόλου αξιοποιεί µόνο τη συχνότητα εµφάνισης των συµβόλων της πηγήςκαιόχιτηµνήµητης. Πηγές Πληροφορίας και Κωδικοποίηση Πηγής 6.2-7

Πηγές Πληροφορίας και Κωδικοποίηση Πηγής

Πηγές Πληροφορίας και Κωδικοποίηση Πηγής Πηγές Πληροφορίας και Κωδικοποίηση Πηγής Τηλεπικοινωνιακά συστήµατα Τα τηλεπικοινωνιακά συστήµατα είναι σχεδιασµένα για να διαβιβάζουν πληροφορία. Σε κάθε τηλεπικοινωνιακό σύστηµα υπάρχει µια πηγή που

Διαβάστε περισσότερα

Σεραφείµ Καραµπογιάς. Πηγές Πληροφορίας και Κωδικοποίηση Πηγής 6.3-1

Σεραφείµ Καραµπογιάς. Πηγές Πληροφορίας και Κωδικοποίηση Πηγής 6.3-1 Ο αλγόριθµος Lempel-iv Ο αλγόριθµος Lempel-iv ανήκει στην κατηγορία των καθολικών universal αλγορίθµων κωδικοποίησης πηγής δηλαδή αλγορίθµων που είναι ανεξάρτητοι από τη στατιστική της πηγής. Ο αλγόριθµος

Διαβάστε περισσότερα

Θεώρημα κωδικοποίησης πηγής

Θεώρημα κωδικοποίησης πηγής Κωδικοποίηση Kωδικοποίηση πηγής Θεώρημα κωδικοποίησης πηγής Καθορίζει ένα θεμελιώδες όριο στον ρυθμό με τον οποίο η έξοδος μιας πηγής πληροφορίας μπορεί να συμπιεσθεί χωρίς να προκληθεί μεγάλη πιθανότητα

Διαβάστε περισσότερα

Τηλεπικοινωνιακά Συστήματα ΙΙ

Τηλεπικοινωνιακά Συστήματα ΙΙ Τηλεπικοινωνιακά Συστήματα ΙΙ Διάλεξη 11: Κωδικοποίηση Πηγής Δρ. Μιχάλης Παρασκευάς Επίκουρος Καθηγητής 1 Ατζέντα 1. Αλγόριθμοι κωδικοποίησης πηγής Αλγόριθμος Fano Αλγόριθμος Shannon Αλγόριθμος Huffman

Διαβάστε περισσότερα

ιαφορική εντροπία Σεραφείµ Καραµπογιάς

ιαφορική εντροπία Σεραφείµ Καραµπογιάς ιαφορική εντροπία Σεραφείµ Καραµπογιάς Για πηγές διακριτού χρόνου µε συνεχές αλφάβητο, των οποίων οι έξοδοι είναι πραγµατικοί αριθµοί, ορίζεται µια άλλη ποσότητα που µοιάζει µε την εντροπία και καλείται

Διαβάστε περισσότερα

Συμπίεση Δεδομένων

Συμπίεση Δεδομένων Συμπίεση Δεδομένων 2014-2015 Ρυθμός κωδικοποίησης Ένας κώδικας που απαιτεί L bits για την κωδικοποίηση μίας συμβολοσειράς N συμβόλων που εκπέμπει μία πηγή έχει ρυθμό κωδικοποίησης (μέσο μήκος λέξης) L

Διαβάστε περισσότερα

Θεωρία πληροφοριών. Τεχνολογία Πολυµέσων 07-1

Θεωρία πληροφοριών. Τεχνολογία Πολυµέσων 07-1 Θεωρία πληροφοριών Εισαγωγή Αµοιβαία πληροφορία Εσωτερική πληροφορία Υπό συνθήκη πληροφορία Παραδείγµατα πληροφορίας Μέση πληροφορία και εντροπία Παραδείγµατα εντροπίας Εφαρµογές Τεχνολογία Πολυµέσων 07-

Διαβάστε περισσότερα

Ψηφιακές Τηλεπικοινωνίες

Ψηφιακές Τηλεπικοινωνίες Ψηφιακές Τηλεπικοινωνίες Θεωρία Πληροφορίας: Κωδικοποίηση Πηγής Ψηφιακή Μετάδοση Υπάρχουν ιδιαίτερα εξελιγμένες τεχνικές αναλογικής μετάδοσης (που ακόμη χρησιμοποιούνται σε ορισμένες εφαρμογές) Επίσης,

Διαβάστε περισσότερα

Χρήστος Ξενάκης. Πανεπιστήμιο Πειραιώς, Τμήμα Ψηφιακών Συστημάτων

Χρήστος Ξενάκης. Πανεπιστήμιο Πειραιώς, Τμήμα Ψηφιακών Συστημάτων ΘΕΩΡΙΑ ΠΛΗΡΟΦΟΡΙΑΣ Κεφάλαιο 3 : Πηγές Πληροφορίας Χρήστος Ξενάκης Πανεπιστήμιο Πειραιώς, Τμήμα Ψηφιακών Συστημάτων Περιεχόμενα Διακριτές Πηγές Πληροφορίας χωρίς μνήμη Ποσότητα πληροφορίας της πηγής Κωδικοποίηση

Διαβάστε περισσότερα

ΕΕ728 Προχωρηµένα Θέµατα Θεωρίας Πληροφορίας 4η διάλεξη (4η έκδοση, 11/3/2013)

ΕΕ728 Προχωρηµένα Θέµατα Θεωρίας Πληροφορίας 4η διάλεξη (4η έκδοση, 11/3/2013) ΕΕ728 Προχωρηµένα Θέµατα Θεωρίας Πληροφορίας 4η διάλεξη (4η έκδοση, 11/3/2013) ηµήτρης-αλέξανδρος Τουµπακάρης Τµήµα ΗΜ&ΤΥ, Πανεπιστήµιο Πατρών 5 Μαρτίου 2013 ηµήτρης-αλέξανδρος Τουµπακάρης Προχωρηµένα

Διαβάστε περισσότερα

Ψηφιακές Τηλεπικοινωνίες. Θεωρία Ρυθμού Παραμόρφωσης

Ψηφιακές Τηλεπικοινωνίες. Θεωρία Ρυθμού Παραμόρφωσης Ψηφιακές Τηλεπικοινωνίες Θεωρία Ρυθμού Παραμόρφωσης Θεωρία Ρυθμού-Παραμόρφωσης Θεώρημα Κωδικοποίησης Πηγής: αν έχω αρκετά μεγάλο μπλοκ δεδομένων, μπορώ να φτάσω κοντά στην εντροπία Πιθανά Προβλήματα: >

Διαβάστε περισσότερα

Χρήστος Ξενάκης. Πανεπιστήμιο Πειραιώς, Τμήμα Ψηφιακών Συστημάτων

Χρήστος Ξενάκης. Πανεπιστήμιο Πειραιώς, Τμήμα Ψηφιακών Συστημάτων ΘΕΩΡΙΑ ΠΛΗΡΟΦΟΡΙΑΣ Κεφάλαιο 2 : Πληροφορία και Εντροπία Χρήστος Ξενάκης Πανεπιστήμιο Πειραιώς, Τμήμα Ψηφιακών Συστημάτων Περιεχόμενα Πληροφορία Μέτρο πληροφορίας Μέση πληροφορία ή Εντροπία Από κοινού εντροπία

Διαβάστε περισσότερα

Ψηφιακές Τηλεπικοινωνίες

Ψηφιακές Τηλεπικοινωνίες Ψηφιακές Τηλεπικοινωνίες Θεωρία Πληροφορίας: Χωρητικότητα Καναλιού Χωρητικότητα Καναλιού Η θεωρία πληροφορίας περιλαμβάνει μεταξύ άλλων: κωδικοποίηση πηγής κωδικοποίηση καναλιού Κωδικοποίηση πηγής: πόση

Διαβάστε περισσότερα

Χρήστος Ξενάκης. Πανεπιστήμιο Πειραιώς, Τμήμα Ψηφιακών Συστημάτων

Χρήστος Ξενάκης. Πανεπιστήμιο Πειραιώς, Τμήμα Ψηφιακών Συστημάτων ΘΕΩΡΙΑ ΠΛΗΡΟΦΟΡΙΑΣ Κεφάλαιο 9 : Κανάλι-Σύστημα Χρήστος Ξενάκης Πανεπιστήμιο Πειραιώς, Τμήμα Ψηφιακών Συστημάτων Περιεχόμενα Ομιλίας Χωρητικότητα Χ ό καναλιού Το Gaussian κανάλι επικοινωνίας Τα διακριτά

Διαβάστε περισσότερα

ΕΕ728 Προχωρηµένα Θέµατα Θεωρίας Πληροφορίας 2η διάλεξη (3η έκδοση, 11/3)

ΕΕ728 Προχωρηµένα Θέµατα Θεωρίας Πληροφορίας 2η διάλεξη (3η έκδοση, 11/3) ΕΕ728 Προχωρηµένα Θέµατα Θεωρίας Πληροφορίας 2η διάλεξη (3η έκδοση, 11/3) ηµήτρης-αλέξανδρος Τουµπακάρης Τµήµα ΗΜ&ΤΥ, Πανεπιστήµιο Πατρών 19 Φεβρουαρίου 2013 ηµήτρης-αλέξανδρος Τουµπακάρης Προχωρηµένα

Διαβάστε περισσότερα

Θέματα Συστημάτων Πολυμέσων

Θέματα Συστημάτων Πολυμέσων Θέματα Συστημάτων Πολυμέσων Ενότητα # 6: Στοιχεία Θεωρίας Πληροφορίας Διδάσκων: Γεώργιος K. Πολύζος Τμήμα: Μεταπτυχιακό Πρόγραμμα Σπουδών Επιστήμη των Υπολογιστών Άδειες Χρήσης Το παρόν εκπαιδευτικό υλικό

Διαβάστε περισσότερα

ΕΛΛΗΝΙΚΟ ΑΝΟΙΚΤΟ ΠΑΝΕΠΙΣΤΗΜΙΟ

ΕΛΛΗΝΙΚΟ ΑΝΟΙΚΤΟ ΠΑΝΕΠΙΣΤΗΜΙΟ Θ.Ε. ΠΛΗ22 (2012-13) ΓΡΑΠΤΗ ΕΡΓΑΣΙΑ #4. Έκδοση v2 με διόρθωση τυπογραφικού λάθους στο ερώτημα 6.3 Στόχος: Βασικό στόχο της 4 ης εργασίας αποτελεί η εξοικείωση με τα μέτρα ποσότητας πληροφορίας τυχαίων

Διαβάστε περισσότερα

Θέματα Συστημάτων Πολυμέσων

Θέματα Συστημάτων Πολυμέσων Θέματα Συστημάτων Πολυμέσων Ενότητα # 5: Βασική Θεωρία Πληροφορίας Διδάσκων: Γεώργιος Πολύζος Τμήμα: Μεταπτυχιακό Πρόγραμμα Σπουδών Επιστήμη των Υπολογιστών Άδειες χρήσης Το παρόν εκπαιδευτικό υλικό υπόκειται

Διαβάστε περισσότερα

Κεφάλαιο 2 Πληροφορία και εντροπία

Κεφάλαιο 2 Πληροφορία και εντροπία Κεφάλαιο 2 Πληροφορία και εντροπία Άσκηση. Έστω αλφάβητο Α={0,} και δύο πηγές p και q. Έστω οτι p(0)=-r, p()=r, q(0)=-s και q()=s. Να υπολογιστούν οι σχετικές εντροπίες Η(Α,p/q) και Η(Α,q/p). Να γίνει

Διαβάστε περισσότερα

Εισαγωγή στη θεωρία πληροφορίας

Εισαγωγή στη θεωρία πληροφορίας Θεωρία πληροφορίας Εισαγωγή στη θεωρία πληροφορίας Τηλεπικοινωνιακά συστήματα Όλα τα τηλεπικοινωνιακά συστήματα σχεδιάζονται για να μεταφέρουν πληροφορία Σε κάθε τηλεπικοινωνιακό σύστημα υπάρχει μια πηγή

Διαβάστε περισσότερα

Τεχνολογία Πολυμέσων. Ενότητα # 7: Θεωρία πληροφορίας Διδάσκων: Γεώργιος Ξυλωμένος Τμήμα: Πληροφορικής

Τεχνολογία Πολυμέσων. Ενότητα # 7: Θεωρία πληροφορίας Διδάσκων: Γεώργιος Ξυλωμένος Τμήμα: Πληροφορικής Τεχνολογία Πολυμέσων Ενότητα # 7: Θεωρία πληροφορίας Διδάσκων: Γεώργιος Ξυλωμένος Τμήμα: Πληροφορικής Χρηματοδότηση Το παρόν εκπαιδευτικό υλικό έχει αναπτυχθεί στα πλαίσια του εκπαιδευτικού έργου του διδάσκοντα.

Διαβάστε περισσότερα

KΕΦΑΛΑΙΟ 1 ΧΡΗΣΙΜΕΣ ΜΑΘΗΜΑΤΙΚΕΣ ΕΝΝΟΙΕΣ. { 1,2,3,..., n,...

KΕΦΑΛΑΙΟ 1 ΧΡΗΣΙΜΕΣ ΜΑΘΗΜΑΤΙΚΕΣ ΕΝΝΟΙΕΣ. { 1,2,3,..., n,... KΕΦΑΛΑΙΟ ΧΡΗΣΙΜΕΣ ΜΑΘΗΜΑΤΙΚΕΣ ΕΝΝΟΙΕΣ Βασικές έννοιες διαιρετότητας Θα συµβολίζουµε µε, τα σύνολα των φυσικών αριθµών και των ακεραίων αντιστοίχως: {,,3,,, } { 0,,,,, } = = ± ± ± Ορισµός Ένας φυσικός αριθµός

Διαβάστε περισσότερα

Δομές Δεδομένων και Αλγόριθμοι

Δομές Δεδομένων και Αλγόριθμοι Δομές Δεδομένων και Αλγόριθμοι Χρήστος Γκόγκος ΤΕΙ Ηπείρου Χειμερινό Εξάμηνο 2014-2015 Παρουσίαση 20 Huffman codes 1 / 12 Κωδικοποίηση σταθερού μήκους Αν χρησιμοποιηθεί κωδικοποίηση σταθερού μήκους δηλαδή

Διαβάστε περισσότερα

Συμπίεση χωρίς Απώλειες

Συμπίεση χωρίς Απώλειες Συμπίεση χωρίς Απώλειες Στόχοι της συμπίεσης δεδομένων: Μείωση του απαιτούμενου χώρου αποθήκευσης των δεδομένων. Περιορισμός της απαιτούμενης χωρητικότητας διαύλου επικοινωνίας για την μετάδοση. μείωση

Διαβάστε περισσότερα

Δίαυλος Πληροφορίας. Η λειτουργία του περιγράφεται από:

Δίαυλος Πληροφορίας. Η λειτουργία του περιγράφεται από: Δίαυλος Πληροφορίας Η λειτουργία του περιγράφεται από: Πίνακας Διαύλου (μαθηματική περιγραφή) Διάγραμμα Διαύλου (παραστατικός τρόπος περιγραφής της λειτουργίας) Πίνακας Διαύλου Χρησιμοποιούμε τις υπό συνθήκη

Διαβάστε περισσότερα

EE728 (22Α004) - Προχωρημένα Θέματα Θεωρίας Πληροφορίας 3η σειρά ασκήσεων Διακριτά και Συνεχή Κανάλια. Παράδοση: Έως 22/6/2015

EE728 (22Α004) - Προχωρημένα Θέματα Θεωρίας Πληροφορίας 3η σειρά ασκήσεων Διακριτά και Συνεχή Κανάλια. Παράδοση: Έως 22/6/2015 EE728 (22Α004) - Προχωρημένα Θέματα Θεωρίας Πληροφορίας Φυλλάδιο 13 Δ. Τουμπακάρης 30 Μαΐου 2015 EE728 (22Α004) - Προχωρημένα Θέματα Θεωρίας Πληροφορίας 3η σειρά ασκήσεων Διακριτά και Συνεχή Κανάλια Παράδοση:

Διαβάστε περισσότερα

Η Έννοια της τυχαίας ιαδικασίας

Η Έννοια της τυχαίας ιαδικασίας Η Έννοια της τυχαίας ιαδικασίας Η έννοια της τυχαίας διαδικασίας, βασίζεται στην επέκταση της έννοιας της τυχαίας µεταβλητής, ώστε να συµπεριλάβει το χρόνο. Σεκάθεαποτέλεσµα s k ενόςπειράµατοςτύχης αντιστοιχούµε,

Διαβάστε περισσότερα

Σημείωμα Αδειοδότησης

Σημείωμα Αδειοδότησης Μελέτη Περιπτώσεων στη Λήψη Αποφάσεων Σημείωμα Αδειοδότησης Το παρόν εκπαιδευτικό υλικό υπόκειται σε άδειες χρήσης Creative Commons. Για εκπαιδευτικό υλικό, όπως εικόνες, που υπόκειται σε άλλου τύπου άδειας

Διαβάστε περισσότερα

Πίνακες Διασποράς. Χρησιμοποιούμε ένα πίνακα διασποράς T και μια συνάρτηση διασποράς h. Ένα στοιχείο με κλειδί k αποθηκεύεται στη θέση

Πίνακες Διασποράς. Χρησιμοποιούμε ένα πίνακα διασποράς T και μια συνάρτηση διασποράς h. Ένα στοιχείο με κλειδί k αποθηκεύεται στη θέση Πίνακες Διασποράς Χρησιμοποιούμε ένα πίνακα διασποράς T και μια συνάρτηση διασποράς h Ένα στοιχείο με κλειδί k αποθηκεύεται στη θέση κλειδί k T 0 1 2 3 4 5 6 7 U : χώρος πιθανών κλειδιών Τ : πίνακας μεγέθους

Διαβάστε περισσότερα

ΠΑΝΕΠΙΣΤΗΜΙΟ ΚΥΠΡΟΥ, ΤΜΗΜΑ ΠΛΗΡΟΦΟΡΙΚΗΣ

ΠΑΝΕΠΙΣΤΗΜΙΟ ΚΥΠΡΟΥ, ΤΜΗΜΑ ΠΛΗΡΟΦΟΡΙΚΗΣ ΠΑΝΕΠΙΣΤΗΜΙΟ ΚΥΠΡΟΥ, ΤΜΗΜΑ ΠΛΗΡΟΦΟΡΙΚΗΣ ΕΠΛ 422: ΣΥΣΤΗΜΑΤΑ ΠΟΛΥΜΕΣΩΝ Ακαδηµαϊκό Έτος 2004 2005, Χειµερινό Εξάµηνο Φροντιστηριακή Άσκηση 3: Εντροπία, κωδικοποίηση Quadtree 1. Εντροπία 22 Σεπτεµβρίου 2004

Διαβάστε περισσότερα

Ψηφιακές Τηλεπικοινωνίες

Ψηφιακές Τηλεπικοινωνίες Ψηφιακές Τηλεπικοινωνίες Κωδικοποίηση Αναλογικής Πηγής: Κβάντιση Εισαγωγή Αναλογική πηγή: μετά από δειγματοληψία γίνεται διακριτού χρόνου άπειρος αριθμός bits/έξοδο για τέλεια αναπαράσταση Θεωρία Ρυθμού-Παραμόρφωσης

Διαβάστε περισσότερα

Ασκήσεις στο µάθηµα «Επισκόπηση των Τηλεπικοινωνιών»

Ασκήσεις στο µάθηµα «Επισκόπηση των Τηλεπικοινωνιών» Ασκήσεις στο µάθηµα «Επισκόπηση των Τηλεπικοινωνιών» Άσκηση 1 Πρόκειται να µεταδώσουµε δυαδικά δεδοµένα σε RF κανάλι µε. Αν ο θόρυβος του καναλιού είναι Gaussian - λευκός µε φασµατική πυκνότητα W, να βρεθεί

Διαβάστε περισσότερα

Συμπίεση Δεδομένων

Συμπίεση Δεδομένων Συμπίεση Δεδομένων 014-015 Μοναδικά Αποκωδικοποιήσιμοι Κώδικες Δρ. Ν. Π. Σγούρος Έλεγος μοναδικής Αποκωδικοποίησης Γενικοί ορισμοί Έστω δύο κωδικές λέξεις α,β με μήκη,m και

Διαβάστε περισσότερα

ΠΑΝΕΠΙΣΤΗΜΙΟ ΠΕΛΟΠΟΝΝΗΣΟΥ, ΤΜΗΜΑ ΤΕΧΝΟΛΟΓΙΑΣ ΤΗΛΕΠΙΚΟΙΝΩΝΙΩΝ

ΠΑΝΕΠΙΣΤΗΜΙΟ ΠΕΛΟΠΟΝΝΗΣΟΥ, ΤΜΗΜΑ ΤΕΧΝΟΛΟΓΙΑΣ ΤΗΛΕΠΙΚΟΙΝΩΝΙΩΝ ΠΑΝΕΠΙΣΤΗΜΙΟ ΠΕΛΟΠΟΝΝΗΣΟΥ, ΤΜΗΜΑ ΤΕΧΝΟΛΟΓΙΑΣ ΤΗΛΕΠΙΚΟΙΝΩΝΙΩΝ ΒΕΣ 04: ΣΥΜΠΙΕΣΗ ΚΑΙ ΜΕΤΑ ΟΣΗ ΠΟΛΥΜΕΣΩΝ Ακαδηµαϊκό Έτος 2007 2008, Χειµερινό Εξάµηνο 6 Νοεµβρίου 2007 Φροντιστηριακή Άσκηση 2: (I) Εντροπία,

Διαβάστε περισσότερα

( x) Η ΕΝΝΟΙΑ ΤΗΣ ΤΥΧΑΙΑΣ ΜΕΤΑΒΛΗΤΗΣ - ΠΙΘΑΝΟΤΗΤΑΣ. Βασικά αξιώµατα και ιδιότητες της πιθανότητας. Σεραφείµ Καραµπογιάς

( x) Η ΕΝΝΟΙΑ ΤΗΣ ΤΥΧΑΙΑΣ ΜΕΤΑΒΛΗΤΗΣ - ΠΙΘΑΝΟΤΗΤΑΣ. Βασικά αξιώµατα και ιδιότητες της πιθανότητας. Σεραφείµ Καραµπογιάς Η ΕΝΝΟΙΑ ΤΗΣ ΤΥΧΑΙΑΣ ΜΕΤΑΒΛΗΤΗΣ - ΠΙΘΑΝΟΤΗΤΑΣ Βασικά αξιώµατα και ιδιότητες της πιθανότητας Σεραφείµ Καραµπογιάς Η αθροιστική συνάρτηση κατανοµής cumulaive diribuio ucio CDF µίας τυχαίας µεταβλητής X ορίζεται

Διαβάστε περισσότερα

Συμπίεση Πολυμεσικών Δεδομένων

Συμπίεση Πολυμεσικών Δεδομένων Συμπίεση Πολυμεσικών Δεδομένων Εισαγωγή στο πρόβλημα και επιλεγμένες εφαρμογές Κώστας Μπερμπερίδης Εργαστήριο Σημάτων & Τηλεπικοινωνιών Τμήμα Μηχανικών Η/Υ & Πληροφορικής Ψηφιακή Αναπαράσταση Συμπίεση

Διαβάστε περισσότερα

Οικονομικό Πανεπιστήμιο Αθηνών Τμήμα Πληροφορικής ΠΜΣ Κρυπτογραφία και Εφαρμογές

Οικονομικό Πανεπιστήμιο Αθηνών Τμήμα Πληροφορικής ΠΜΣ Κρυπτογραφία και Εφαρμογές Οικονομικό Πανεπιστήμιο Αθηνών Τμήμα Πληροφορικής ΠΜΣ Κρυπτογραφία και Εφαρμογές Μαριάς Ιωάννης Μαρκάκης Ευάγγελος marias@aueb.gr markakis@gmail.com Περίληψη Shannon theory Εντροπία Μελέτη κρυπτοσυστηµάτων

Διαβάστε περισσότερα

Λυμένες Ασκήσεις σε Εντροπία, Αμοιβαία Πληροφορία, Κωδικοποίηση Πηγής και AEP

Λυμένες Ασκήσεις σε Εντροπία, Αμοιβαία Πληροφορία, Κωδικοποίηση Πηγής και AEP 22Α004 (eclass EE728) - Προχωρημένα Θέματα Θεωρίας Πληροφορίας Φυλλάδιο 2 Δ. Τουμπακάρης 7 Μαΐου 205 Λυμένες Ασκήσεις σε Εντροπία, Αμοιβαία Πληροφορία, Κωδικοποίηση Πηγής και AEP. Συναρτήσεις τυχαίων μεταβλητών

Διαβάστε περισσότερα

Αναλογικές και Ψηφιακές Επικοινωνίες

Αναλογικές και Ψηφιακές Επικοινωνίες Αναλογικές και Ψηφιακές Επικοινωνίες Ενότητα : Βέλτιστος δέκτης για ψηφιακά διαμορφωμένα σήματα Σεραφείμ Καραμπογιάς Σχολή Θετικών Επιστημών Τμήμα Πληροφορικής και Επικοινωνιών Η ΕΝΝΟΙΑ ΤΗΣ ΤΥΧΑΙΑΣ ΜΕΤΑΒΛΗΤΗΣ

Διαβάστε περισσότερα

Πρόλογος 1. 1 Μαθηµατικό υπόβαθρο 9

Πρόλογος 1. 1 Μαθηµατικό υπόβαθρο 9 Πρόλογος 1 Μαθηµατικό υπόβαθρο 7 1 Μαθηµατικό υπόβαθρο 9 1.1 Η αριθµητική υπολοίπων.............. 10 1.2 Η πολυωνυµική αριθµητική............ 14 1.3 Θεωρία πεπερασµένων οµάδων και σωµάτων.... 17 1.4 Πράξεις

Διαβάστε περισσότερα

Κεφάλαιο 2 ΣΥΝΑΡΤΗΣΕΙΣ ΜΙΑΣ ΜΕΤΑΒΛΗΤΗΣ. 2.1 Συνάρτηση

Κεφάλαιο 2 ΣΥΝΑΡΤΗΣΕΙΣ ΜΙΑΣ ΜΕΤΑΒΛΗΤΗΣ. 2.1 Συνάρτηση Κεφάλαιο 2 ΣΥΝΑΡΤΗΣΕΙΣ ΜΙΑΣ ΜΕΤΑΒΛΗΤΗΣ 2.1 Συνάρτηση Η έννοια της συνάρτησης είναι ϐασική σ όλους τους κλάδους των µαθη- µατικών, αλλά και πολλών άλλων επιστηµών. Ο λόγος είναι, ότι µορφοποιεί τη σχέση

Διαβάστε περισσότερα

Μάθημα Επισκόπηση των Τηλεπικοινωνιών

Μάθημα Επισκόπηση των Τηλεπικοινωνιών Μάθημα Επισκόπηση των Τηλεπικοινωνιών Κωδικοποίηση Πηγής & Καναλιού Μάθημα 8 ο 9 ο ΕΘΝΙΚΟ & ΚΑΠΟΔΙΣΤΡΙΑΚΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΑΘΗΝΩΝ Τομέας Επικοινωνιών και Επεξεργασίας Σήματος Τμήμα Πληροφορικής & Τηλεπικοινωνιών

Διαβάστε περισσότερα

Απαντήσεις σε απορίες

Απαντήσεις σε απορίες Ερώτηση Η µέση ποσότητα πληροφορίας κατά Shannon είναι Η(Χ)=-Σp(xi)logp(xi)...σελ 28 Στο παραδειγµα.3 στη σελιδα 29 στο τέλος δεν καταλαβαίνω πως γίνεται η εφαρµογή του παραπάνω τύπου ηλαδη δεν βλεπω συντελεστη

Διαβάστε περισσότερα

Ο Βέλτιστος Φωρατής. Σεραφείµ Καραµπογιάς

Ο Βέλτιστος Φωρατής. Σεραφείµ Καραµπογιάς Ο Βέλτιστος Φωρατής Ο φωρατής σήµατος, µε τη βοήθεια ενός κανόνα απόφασης, βασιζόµενος στην παρατήρηση του διανύσµατος, λαµβάνει µία απόφαση ως προς το µεταδιδόµενο σύµβολο, έτσι ώστε να µεγιστοποιείται

Διαβάστε περισσότερα

ΕΕ728 Προχωρηµένα Θέµατα Θεωρίας Πληροφορίας 11η διάλεξη

ΕΕ728 Προχωρηµένα Θέµατα Θεωρίας Πληροφορίας 11η διάλεξη ΕΕ728 Προχωρηµένα Θέµατα Θεωρίας Πληροφορίας 11η διάλεξη ηµήτρης-αλέξανδρος Τουµπακάρης Τµήµα ΗΜ&ΤΥ, Πανεπιστήµιο Πατρών 17 Μαΐου 2011 (2η έκδοση, 21/5/2011) ηµήτρης-αλέξανδρος Τουµπακάρης Προχωρηµένα

Διαβάστε περισσότερα

Βασικά στοιχεία της θεωρίας πιθανοτήτων

Βασικά στοιχεία της θεωρίας πιθανοτήτων Η έννοια του Πειράµατος Τύχης. 9 3 Το σύνολο των πιθανών εκβάσεων ενός πειράµατος τύχης καλείται δειγµατοχώρος ήδειγµατικόςχώρος (sample space)καισυµβολίζεταιµεωήµε S.Έναστοιχείοω ή s του δειγµατικού χώρου

Διαβάστε περισσότερα

ΕΕ728 Προχωρηµένα Θέµατα Θεωρίας Πληροφορίας 11η διάλεξη

ΕΕ728 Προχωρηµένα Θέµατα Θεωρίας Πληροφορίας 11η διάλεξη ΕΕ728 Προχωρηµένα Θέµατα Θεωρίας Πληροφορίας 11η διάλεξη ηµήτρης-αλέξανδρος Τουµπακάρης Τµήµα ΗΜ&ΤΥ, Πανεπιστήµιο Πατρών 25 Απριλίου 2013 ηµήτρης-αλέξανδρος Τουµπακάρης Προχωρηµένα Θέµατα Θεωρίας Πληροφορίας

Διαβάστε περισσότερα

1 Βασικές Έννοιες Θεωρίας Πληροφορίας

1 Βασικές Έννοιες Θεωρίας Πληροφορίας 1 Βασικές Έννοιες Θεωρίας Πληροφορίας Εντροπία τυχαίων μεταβλητών X, Y : H(X) = E [log Pr(x)] (1) H(X, Y ) = E [log Pr(x, y)] (2) H(X Y ) = E [log Pr(x y)] (3) Ιδιότητες Εντροπίας: Νόμος Bayes: Pr(y x)

Διαβάστε περισσότερα

ΕΑΠ/ΠΛΗ22/ΑΘΗ-4. 3 η ΟΣΣ

ΕΑΠ/ΠΛΗ22/ΑΘΗ-4. 3 η ΟΣΣ ΕΑΠ/ΠΛΗ22/ΑΘΗ-4 3 η ΟΣΣ 08.02.205 Ν.Δημητρίου Σημείωση: Η παρουσίαση αυτή είναι συμπληρωματική της ύλης των βιβλίων (τόμος Β / μέρη Α,Β και τόμος Α ) καθώς και των 2 παρουσιάσεων στο study.eap.gr (oss3_plh22_digicomms_205,

Διαβάστε περισσότερα

Ψηφιακή Επεξεργασία Εικόνας

Ψηφιακή Επεξεργασία Εικόνας ΕΛΛΗΝΙΚΗ ΔΗΜΟΚΡΑΤΙΑ Ανώτατο Εκπαιδευτικό Ίδρυμα Πειραιά Τεχνολογικού Τομέα Ψηφιακή Επεξεργασία Εικόνας Ενότητα 6 : Κωδικοποίηση & Συμπίεση εικόνας Ιωάννης Έλληνας Τμήμα Η/ΥΣ Άδειες Χρήσης Το παρόν εκπαιδευτικό

Διαβάστε περισσότερα

Θεωρία της Πληροφορίας 3 ο Εξάμηνο

Θεωρία της Πληροφορίας 3 ο Εξάμηνο Σμήμα Πληροφορικής & Επικοινωνιών Θεωρία της Πληροφορίας 3 ο Εξάμηνο Τομέας Τηλεπικοινωνιών και Δικτύων Δρ. Αναστάσιος Πολίτης Καθηγητής Εφαρμογών 1 Διεξαγωγή και Εξέταση του Μαθήματος Μάθημα Πώς? 13 Διαλέξεις.

Διαβάστε περισσότερα

ΚΑΤΑΝΟΜΕΣ ΠΙΘΑΝΟΤΗΤΑΣ ΤΥΧΑΙΩΝ ΜΕΤΑΒΛΗΤΩΝ (Συνέχεια)

ΚΑΤΑΝΟΜΕΣ ΠΙΘΑΝΟΤΗΤΑΣ ΤΥΧΑΙΩΝ ΜΕΤΑΒΛΗΤΩΝ (Συνέχεια) ΚΑΤΑΝΟΜΕΣ ΠΙΘΑΝΟΤΗΤΑΣ ΤΥΧΑΙΩΝ ΜΕΤΑΒΛΗΤΩΝ (Συνέχεια) Χαράλαµπος Α. Χαραλαµπίδης 9 Νοεµβρίου 2009 ΣΥΝΑΡΤΗΣΗ ΠΥΚΝΟΤΗΤΑΣ ΠΙΘΑΝΟΤΗΤΑΣ Ορισµός Μία τυχαία µεταβλητή X καλείται διακριτή ή απαριθµητή αν παίρνει

Διαβάστε περισσότερα

3. Κατανομές πιθανότητας

3. Κατανομές πιθανότητας 3. Κατανομές πιθανότητας Τυχαία Μεταβλητή Τυχαία μεταβλητή (τ.μ.) (X) είναι μια συνάρτηση που σε κάθε σημείο (ω) ενός δειγματικού χώρου (Ω) αντιστοιχεί έναν πραγματικό αριθμό. Ω ω X (ω ) R Διακριτή τ.μ.

Διαβάστε περισσότερα

Ανάκτηση Πληροφορίας

Ανάκτηση Πληροφορίας Ιόνιο Πανεπιστήμιο Τμήμα Πληροφορικής Ανάκτηση Πληροφορίας Διδάσκων: Φοίβος Μυλωνάς fmylonas@ionio.gr Διάλεξη #08 Συµπίεση Κειµένων Φοίβος Μυλωνάς fmylonas@ionio.gr Ανάκτηση Πληροφορίας 1 Άδεια χρήσης

Διαβάστε περισσότερα

ΕΕ728 Προχωρηµένα Θέµατα Θεωρίας Πληροφορίας 10η διάλεξη

ΕΕ728 Προχωρηµένα Θέµατα Θεωρίας Πληροφορίας 10η διάλεξη ΕΕ728 Προχωρηµένα Θέµατα Θεωρίας Πληροφορίας 10η διάλεξη ηµήτρης-αλέξανδρος Τουµπακάρης Τµήµα ΗΜ&ΤΥ, Πανεπιστήµιο Πατρών 21 Μαΐου 2015 ηµήτρης-αλέξανδρος Τουµπακάρης Προχωρηµένα Θέµατα Θεωρίας Πληροφορίας

Διαβάστε περισσότερα

Βασικά στοιχεία της θεωρίας πιθανοτήτων

Βασικά στοιχεία της θεωρίας πιθανοτήτων Η έννοια του Πειράµατος Τύχης. 9 3 6 Το σύνολο των πιθανών εκβάσεων ενός πειράµατος τύχης καλείται δειγµατοχώρος ή δειγµατικόςχώρος (sample space)καισυµβολίζεταιµεωήµε S.Έναστοιχείοωήsτου δειγµατικού χώρου

Διαβάστε περισσότερα

22Α004 - Προχωρημένα Θέματα Θεωρίας Πληροφορίας Τελική Εξέταση

22Α004 - Προχωρημένα Θέματα Θεωρίας Πληροφορίας Τελική Εξέταση 22A004 (eclass EE278) Προχωρημένα Θέματα Θεωρίας Πληροφορίας Φυλλάδιο 11 Δ. Τουμπακάρης 6 Ιουνίου 2013 22Α004 - Προχωρημένα Θέματα Θεωρίας Πληροφορίας Τελική Εξέταση Διάρκεια Εξέτασης: 3 ώρες. 4 ασκήσεις

Διαβάστε περισσότερα

Χρήστος Ξενάκης. Πανεπιστήμιο Πειραιώς, Τμήμα Ψηφιακών Συστημάτων

Χρήστος Ξενάκης. Πανεπιστήμιο Πειραιώς, Τμήμα Ψηφιακών Συστημάτων ΘΕΩΡΙΑ ΠΛΗΡΟΦΟΡΙΑΣ Κεφάλαιο 10 : Κωδικοποίηση καναλιού Χρήστος Ξενάκης Πανεπιστήμιο Πειραιώς, Τμήμα Ψηφιακών Συστημάτων Περιεχόμενα Ομιλίας Απόσταση και βάρος Hamming Τεχνικές και κώδικες ανίχνευσης &

Διαβάστε περισσότερα

Τεράστιες ανάγκες σε αποθηκευτικό χώρο

Τεράστιες ανάγκες σε αποθηκευτικό χώρο ΣΥΜΠΙΕΣΗ Τεράστιες ανάγκες σε αποθηκευτικό χώρο Παράδειγμα: CD-ROM έχει χωρητικότητα 650MB, χωρά 75 λεπτά ασυμπίεστου στερεοφωνικού ήχου, αλλά 30 sec ασυμπίεστου βίντεο. Μαγνητικοί δίσκοι χωρητικότητας

Διαβάστε περισσότερα

Αναγνώριση Προτύπων Ι

Αναγνώριση Προτύπων Ι Αναγνώριση Προτύπων Ι Ενότητα 3: Στοχαστικά Συστήματα Αν. Καθηγητής Δερματάς Ευάγγελος Τμήμα Ηλεκτρολόγων Μηχανικών και Τεχνολογίας Υπολογιστών Άδειες Χρήσης Το παρόν εκπαιδευτικό υλικό υπόκειται σε άδειες

Διαβάστε περισσότερα

4. ΚΩ ΙΚΟΠΟΙΗΣΗ ΣΕ ΠΕΡΙΒΑΛΛΟΝ ΧΩΡΙΣ

4. ΚΩ ΙΚΟΠΟΙΗΣΗ ΣΕ ΠΕΡΙΒΑΛΛΟΝ ΧΩΡΙΣ 4. ΚΩ ΙΚΟΠΟΙΗΣΗ ΣΕ ΠΕΡΙΒΑΛΛΟΝ ΧΩΡΙΣ ΘΟΡΥΒΟ Στο κεφάλαιο αυτό θα θεωρήσουµε ότι το κανάλι επικοινωνίας είναι ιδανικό, χωρίς θόρυβο, ότι δηλαδή δεν συµβαίνουν σφάλµατα κατά τη µετάδοση της πληροφορίας. Εδώ

Διαβάστε περισσότερα

Επεξεργασία Στοχαστικών Σημάτων

Επεξεργασία Στοχαστικών Σημάτων Επεξεργασία Στοχαστικών Σημάτων Τυχαίες μεταβλητές Σεραφείμ Καραμπογιάς Σχολή Θετικών Επιστημών Τμήμα Πληροφορικής και Τηλεπικοινωνιών Η ΕΝΝΟΙΑ ΤΗΣ ΤΥΧΑΙΑΣ ΜΕΤΑΒΛΗΤΗΣ Η απεικόνιση των εκβάσεων ενός πειράματος

Διαβάστε περισσότερα

5.1 Θεωρητική εισαγωγή

5.1 Θεωρητική εισαγωγή ΨΗΦΙΑΚΑ ΚΥΚΛΩΜΑΤΑ - ΕΡΓΑΣΤΗΡΙΑΚΗ ΑΣΚΗΣΗ 5 ΚΩ ΙΚΟΠΟΙΗΣΗ BCD Σκοπός: Η κατανόηση της µετατροπής ενός τύπου δυαδικής πληροφορίας σε άλλον (κωδικοποίηση/αποκωδικοποίηση) µε τη µελέτη της κωδικοποίησης BCD

Διαβάστε περισσότερα

Μάθημα 7 ο. Συμπίεση Εικόνας ΤΜΗΥΠ / ΕΕΣΤ 1

Μάθημα 7 ο. Συμπίεση Εικόνας ΤΜΗΥΠ / ΕΕΣΤ 1 Μάθημα 7 ο Συμπίεση Εικόνας ΤΜΗΥΠ / ΕΕΣΤ 1 Εισαγωγή (1) Οι τεχνικές συμπίεσης βασίζονται στην απόρριψη της πλεονάζουσας πληροφορίας Ανάγκες που καλύπτονται Εξοικονόμηση μνήμης Ελάττωση χρόνου και εύρους

Διαβάστε περισσότερα

Κώδικες µεταβλητού µήκους

Κώδικες µεταβλητού µήκους 6 Κώδικες µεταβλητού µήκους Στο κεφάλαιο αυτό µελετώνται οι κώδικες µεταβλητού µήκους, στους οποίους όλες οι λέξεις δεν έχουν το ίδιο µήκος και δίνονται οι µέ- ϑοδοι Fano-Shannon και Huffman για την κατασκευή

Διαβάστε περισσότερα

Ποιές οι θεµελιώδεις δυνατότητες και ποιοί οι εγγενείς περιορισµοί των υπολογιστών ; Τί µπορούµε και τί δε µπορούµε να υπολογίσουµε (και γιατί);

Ποιές οι θεµελιώδεις δυνατότητες και ποιοί οι εγγενείς περιορισµοί των υπολογιστών ; Τί µπορούµε και τί δε µπορούµε να υπολογίσουµε (και γιατί); Μοντελοποίηση του Υπολογισµού Στοιχεία Θεωρίας Υπολογισµού (): Τυπικές Γλώσσες, Γραµµατικές Ορέστης Τελέλης telelis@unipi.gr Τµήµα Ψηφιακών Συστηµάτων, Πανεπιστήµιο Πειραιώς Ποιές οι θεµελιώδεις δυνατότητες

Διαβάστε περισσότερα

Στοιχεία Θεωρίας Υπολογισµού (1): Τυπικές Γλώσσες, Γραµµατικές

Στοιχεία Θεωρίας Υπολογισµού (1): Τυπικές Γλώσσες, Γραµµατικές Στοιχεία Θεωρίας Υπολογισµού (1): Τυπικές Γλώσσες, Γραµµατικές Ορέστης Τελέλης telelis@unipi.gr Τµήµα Ψηφιακών Συστηµάτων, Πανεπιστήµιο Πειραιώς Ο. Τελέλης Πανεπιστήµιο Πειραιώς Θεωρία Υπολογισµού 1 /

Διαβάστε περισσότερα

ΠΑΝΕΠΙΣΤΗΜΙΟ ΚΥΠΡΟΥ, ΤΜΗΜΑ ΠΛΗΡΟΦΟΡΙΚΗΣ

ΠΑΝΕΠΙΣΤΗΜΙΟ ΚΥΠΡΟΥ, ΤΜΗΜΑ ΠΛΗΡΟΦΟΡΙΚΗΣ ΠΑΝΕΠΙΣΤΗΜΙΟ ΚΥΠΡΟΥ, ΤΜΗΜΑ ΠΛΗΡΟΦΟΡΙΚΗΣ ΕΠΛ 4: ΣΥΣΤΗΜΑΤΑ ΠΟΛΥΜΕΣΩΝ Θεωρητικές Ασκήσεις (# ): ειγµατοληψία, κβαντοποίηση και συµπίεση σηµάτων. Στην τηλεφωνία θεωρείται ότι το ουσιαστικό περιεχόµενο της

Διαβάστε περισσότερα

cov(x, Y ) = E[(X E[X]) (Y E[Y ])] cov(x, Y ) = E[X Y ] E[X] E[Y ]

cov(x, Y ) = E[(X E[X]) (Y E[Y ])] cov(x, Y ) = E[X Y ] E[X] E[Y ] Πανεπιστήµιο Κρήτης - Τµήµα Επιστήµης Υπολογιστών ΗΥ-317: Εφαρµοσµένες Στοχαστικές ιαδικασίες-εαρινό Εξάµηνο 2016 ιδάσκων : Π. Τσακαλίδης Συνδιασπορά - Συσχέτιση Τυχαίων Μεταβλητών Επιµέλεια : Κωνσταντίνα

Διαβάστε περισσότερα

Θεωρία της Πληροφορίας 3 ο Εξάμηνο

Θεωρία της Πληροφορίας 3 ο Εξάμηνο Τμήμα Πληροφορικής & Επικοινωνιών Θεωρία της Πληροφορίας 3 ο Εξάμηνο Τομέας Τηλεπικοινωνιών και Δικτύων Δρ. Αναστάσιος Πολίτης Καθηγητής Εφαρμογών 1 Διεξαγωγή και Εξέταση του Μαθήματος Μάθημα Κάθε πότε?

Διαβάστε περισσότερα

ΤΥΧΑΙΟΙ ΑΡΙΘΜΟΙ - ΠΡΟΣΟΜΟΙΩΣΗ

ΤΥΧΑΙΟΙ ΑΡΙΘΜΟΙ - ΠΡΟΣΟΜΟΙΩΣΗ ΚΕΦΑΛΑΙΟ 11 ΤΥΧΑΙΟΙ ΑΡΙΘΜΟΙ - ΠΡΟΣΟΜΟΙΩΣΗ ΤΥΧΑΙΟΙ ΑΡΙΘΜΟΙ Θα εισαγάγουμε την έννοια του τυχαίου αριθμού με ένα παράδειγμα. Παράδειγμα: Θεωρούμε μια τυχαία μεταβλητή με συνάρτηση πιθανότητας η οποία σε

Διαβάστε περισσότερα

χωρίςναδηµιουργείταιαίσθησηαπώλειαςτηςποιότηταςτηςανακατασκευασµένηςεικόνας.

χωρίςναδηµιουργείταιαίσθησηαπώλειαςτηςποιότηταςτηςανακατασκευασµένηςεικόνας. Το πρότυπο JPEG για κωδικοποίησηση εικόνας Το JPEG, που υιοθετήθηκε από την Joint Photographic Experts Group, είναι ένα πρότυπο που χρησιµοποιείταιευρέωςγιατησυµπίεσηακίνητωνεικόνων, µε µέσο λόγο συµπίεσης

Διαβάστε περισσότερα

Συμπίεση Δεδομένων

Συμπίεση Δεδομένων Συμπίεση Δεδομένων 2014-2015 Κβάντιση Δρ. Ν. Π. Σγούρος 2 Αναλογικά Ψηφιακά Σήματα Αναλογικό Σήμα x t, t [t min, t max ], x [x min, x max ] Δειγματοληψία t n, x t x n, n = 1,, N Κβάντιση x n x(n) 3 Αλφάβητο

Διαβάστε περισσότερα

ΕΑΠ/ΠΛΗ22/ΑΘΗ-3. 3 η ΟΣΣ

ΕΑΠ/ΠΛΗ22/ΑΘΗ-3. 3 η ΟΣΣ ΕΑΠ/ΠΛΗ22/ΑΘΗ-3 3 η ΟΣΣ 04.02.207 Ν.Δημητρίου Σημείωση: Η παρουσίαση αυτή είναι συμπληρωματική της ύλης των βιβλίων (τόμος Β / μέρη Α,Β και τόμος Α ) καθώς και των 2 παρουσιάσεων στο study.eap.gr (oss3_plh22_digicomms_207,

Διαβάστε περισσότερα

Ξέρουμε ότι: Συνάρτηση-απεικόνιση με πεδίο ορισμού ένα σύνολο Α και πεδίο τιμών ένα σύνολο Β είναι κάθε μονοσήμαντη απεικόνιση f του Α στο Β.

Ξέρουμε ότι: Συνάρτηση-απεικόνιση με πεδίο ορισμού ένα σύνολο Α και πεδίο τιμών ένα σύνολο Β είναι κάθε μονοσήμαντη απεικόνιση f του Α στο Β. Η έννοια της ακολουθίας Ξέρουμε ότι: Συνάρτηση-απεικόνιση με πεδίο ορισμού ένα σύνολο Α και πεδίο τιμών ένα σύνολο Β είναι κάθε μονοσήμαντη απεικόνιση f του Α στο Β. Δηλαδή: f : A B Η ακολουθία είναι συνάρτηση.

Διαβάστε περισσότερα

Ψηφιακή Επεξεργασία και Ανάλυση Εικόνας Ενότητα 6 η : Συμπίεση Εικόνας. Καθ. Κωνσταντίνος Μπερμπερίδης Πολυτεχνική Σχολή Μηχανικών Η/Υ & Πληροφορικής

Ψηφιακή Επεξεργασία και Ανάλυση Εικόνας Ενότητα 6 η : Συμπίεση Εικόνας. Καθ. Κωνσταντίνος Μπερμπερίδης Πολυτεχνική Σχολή Μηχανικών Η/Υ & Πληροφορικής Ψηφιακή Επεξεργασία και Ανάλυση Εικόνας Ενότητα 6 η : Συμπίεση Εικόνας Καθ. Κωνσταντίνος Μπερμπερίδης Πολυτεχνική Σχολή Μηχανικών Η/Υ & Πληροφορικής Σκοποί ενότητας Εισαγωγή στη συμπίεση εικόνας Μη απωλεστικες

Διαβάστε περισσότερα

X(t) = A cos(2πf c t + Θ) (1) 0, αλλού. 2 cos(2πf cτ) (9)

X(t) = A cos(2πf c t + Θ) (1) 0, αλλού. 2 cos(2πf cτ) (9) ΠΑΝΕΠΙΣΤΗΜΙΟ ΚΡΗΤΗΣ Τµήµα Επιστήµης Υπολογιστών HY-5: Εφαρµοσµένα Μαθηµατικά για Μηχανικούς Εαρινό Εξάµηνο 05-6 ιδάσκοντες : Γ. Στυλιανού, Γ. Καφεντζής Λυµένες Ασκήσεις - Τυχαίες ιαδικασίες Ασκηση. Εστω

Διαβάστε περισσότερα

ΕΑΠ/ΠΛΗ22/ΑΘΗ-4. 3 η ΟΣΣ

ΕΑΠ/ΠΛΗ22/ΑΘΗ-4. 3 η ΟΣΣ ΕΑΠ/ΠΛΗ22/ΑΘΗ-4 3 η ΟΣΣ 06.02.2016 Ν.Δημητρίου Σημείωση: Η παρουσίαση αυτή είναι συμπληρωματική της ύλης των βιβλίων (τόμος Β / μέρη Α,Β και τόμος Α ) καθώς και των 2 παρουσιάσεων στο study.eap.gr (PLH22_3rdOSS_2015_16,

Διαβάστε περισσότερα

Κωδικοποίηση Πηγής. Η λειτουργία ενός συστήματος επικοινωνίας (γενικό διάγραμμα):

Κωδικοποίηση Πηγής. Η λειτουργία ενός συστήματος επικοινωνίας (γενικό διάγραμμα): Κωδικοποίηση Πηγής Η λειτουργία ενός συστήματος επικοινωνίας (γενικό διάγραμμα): Coder Decoder Μεταξύ πομπού-καναλιού παρεμβάλλεται ο κωδικοποιητής (coder). Έργο του: η αντικατάσταση των συμβόλων πληροφορίας

Διαβάστε περισσότερα

Πολύγωνο αθροιστικών σχετικών συχνοτήτων και διάµεσος µιας τυχαίας µεταβλητής ρ. Παναγιώτης Λ. Θεοδωρόπουλος πρώην Σχολικός Σύµβουλος ΠΕ03 e-mail@p-theodoropoulos.gr Πρόλογος Στην εργασία αυτή αναλύονται

Διαβάστε περισσότερα

Θεωρία τησ Πληροφορίασ (Θ) ΔΙΔΑΚΩΝ: Δρ. Αναςτάςιοσ Πολίτησ

Θεωρία τησ Πληροφορίασ (Θ) ΔΙΔΑΚΩΝ: Δρ. Αναςτάςιοσ Πολίτησ Θεωρία τησ Πληροφορίασ (Θ) Ενότητα 4: Συμπίεςη χωρίσ Απώλειεσ ΔΙΔΑΚΩΝ: Δρ. Αναςτάςιοσ Πολίτησ ΧΟΛΗ ΣΕΧΝΟΛΟΓΙΚΩΝ ΕΦΑΡΜΟΓΩΝ ΣΜΗΜΑ ΜΗΧΑΝΙΚΩΝ ΠΛΗΡΟΦΟΡΙΚΗ ΣΕ Άδειεσ Χρήςησ Σο παρόν εκπαιδευτικό υλικό υπόκειται

Διαβάστε περισσότερα

Ο ΑΤΔ Λεξικό. Σύνολο στοιχείων με βασικές πράξεις: Δημιουργία Εισαγωγή Διαγραφή Μέλος. Υλοποιήσεις

Ο ΑΤΔ Λεξικό. Σύνολο στοιχείων με βασικές πράξεις: Δημιουργία Εισαγωγή Διαγραφή Μέλος. Υλοποιήσεις Ο ΑΤΔ Λεξικό Σύνολο στοιχείων με βασικές πράξεις: Δημιουργία Εισαγωγή Διαγραφή Μέλος Υλοποιήσεις Πίνακας με στοιχεία bit (0 ή 1) (bit vector) Λίστα ακολουθιακή (πίνακας) ή συνδεδεμένη Είναι γνωστό το μέγιστο

Διαβάστε περισσότερα

ΠΑΝΕΠΙΣΤΗΜΙΟ ΚΥΠΡΟΥ Τ Μ Η Μ Α Π Λ Η Ρ Ο Φ Ο Ρ Ι Κ Η Σ

ΠΑΝΕΠΙΣΤΗΜΙΟ ΚΥΠΡΟΥ Τ Μ Η Μ Α Π Λ Η Ρ Ο Φ Ο Ρ Ι Κ Η Σ ΠΑΝΕΠΙΣΤΗΜΙΟ ΚΥΠΡΟΥ Τ Μ Η Μ Α Π Λ Η Ρ Ο Φ Ο Ρ Ι Κ Η Σ ΕΠΛ 035 - ΔΟΜΕΣ ΔΕΔΟΜΕΝΩΝ ΚΑΙ ΑΛΓΟΡΙΘΜΟΙ ΓΙΑ ΗΛΕΚΤΡΟΛΟΓΟΥΣ ΜΗΧΑΝΙΚΟΥΣ ΚΑΙ ΜΗΧΑΝΙΚΟΥΣ ΥΠΟΛΟΓΙΣΤΩΝ Ακαδηµαϊκό έτος 2017-2018 Υπεύθυνος εργαστηρίου: Γεώργιος

Διαβάστε περισσότερα

Εισαγωγή Ορισμός Frequency moments

Εισαγωγή Ορισμός Frequency moments The space complexity of approximating the frequency moments Κωστόπουλος Δημήτριος Μπλα Advanced Data Structures June 2007 Εισαγωγή Ορισμός Frequency moments Έστω ακολουθία Α = {a 1,a 2,...,a m ) με κάθε

Διαβάστε περισσότερα

ΚΕΦΑΛΑΙΟ ΠΕΜΠΤΟ ΘΕΩΡΙΑ ΠΛΗΡΟΦΟΡΙΑΣ

ΚΕΦΑΛΑΙΟ ΠΕΜΠΤΟ ΘΕΩΡΙΑ ΠΛΗΡΟΦΟΡΙΑΣ ΚΕΦΑΛΑΙΟ ΠΕΜΠΤΟ ΘΕΩΡΙΑ ΠΛΗΡΟΦΟΡΙΑΣ 5. Εισαγωγή Ο σκοπός κάθε συστήματος τηλεπικοινωνιών είναι η μεταφορά πληροφορίας από ένα σημείο (πηγή) σ ένα άλλο (δέκτης). Συνεπώς, κάθε μελέτη ενός τέτοιου συστήματος

Διαβάστε περισσότερα

II. Τυχαίες Μεταβλητές

II. Τυχαίες Μεταβλητές II. Τυχαίες Μεταβλητές τυχαία μεταβλητή (τ.μ.) Χ : Αναφέρεται πάνω σε μία μετρούμενη ποσότητα του τυχαίου πειράματος Εκφράζει μία συνάρτηση (απεικόνιση) από τον δειγματικό χώρο (Ω) σε έναν αριθμητικό χώρο

Διαβάστε περισσότερα

Ανάλυση αλγορίθμων. Χρόνος εκτέλεσης: Αναμενόμενη περίπτωση. - απαιτεί γνώση της κατανομής εισόδου

Ανάλυση αλγορίθμων. Χρόνος εκτέλεσης: Αναμενόμενη περίπτωση. - απαιτεί γνώση της κατανομής εισόδου Ανάλυση αλγορίθμων Παράμετροι απόδοσης ενός αλγόριθμου: Χρόνος εκτέλεσης Απαιτούμενοι πόροι, π.χ. μνήμη, επικοινωνία (π.χ. σε κατανεμημένα συστήματα) Προσπάθεια υλοποίησης Ανάλυση της απόδοσης Θεωρητική

Διαβάστε περισσότερα

Μέθοδος μέγιστης πιθανοφάνειας

Μέθοδος μέγιστης πιθανοφάνειας Μέθοδος μέγιστης πιθανοφάνειας Αν x =,,, παρατηρήσεις των Χ =,,,, τότε έχουμε διαθέσιμο ένα δείγμα Χ={Χ, =,,,} της κατανομής F μεγέθους με από κοινού σ.κ. της Χ f x f x Ορισμός : Θεωρούμε ένα τυχαίο δείγμα

Διαβάστε περισσότερα

Πινάκες συνάφειας. Βαρύτητα συμπτωμάτων. Φύλο Χαμηλή Υψηλή. Άνδρες. Γυναίκες

Πινάκες συνάφειας. Βαρύτητα συμπτωμάτων. Φύλο Χαμηλή Υψηλή. Άνδρες. Γυναίκες Πινάκες συνάφειας εξερεύνηση σχέσεων μεταξύ τυχαίων μεταβλητών. Είναι λογικό λοιπόν, στην ανάλυση των κατηγορικών δεδομένων να μας ενδιαφέρει η σχέση μεταξύ δύο ή περισσότερων κατηγορικών μεταβλητών. Έστω

Διαβάστε περισσότερα

ΕΕ728 Προχωρηµένα Θέµατα Θεωρίας Πληροφορίας 12η διάλεξη

ΕΕ728 Προχωρηµένα Θέµατα Θεωρίας Πληροφορίας 12η διάλεξη ΕΕ728 Προχωρηµένα Θέµατα Θεωρίας Πληροφορίας 12η διάλεξη ηµήτρης-αλέξανδρος Τουµπακάρης Τµήµα ΗΜ&ΤΥ, Πανεπιστήµιο Πατρών 2 Ιουνίου 2015 ηµήτρης-αλέξανδρος Τουµπακάρης Προχ. Θέµατα Θεωρίας Πληροφορίας 12η

Διαβάστε περισσότερα

Αρχές κωδικοποίησης. Τεχνολογία Πολυµέσων 08-1

Αρχές κωδικοποίησης. Τεχνολογία Πολυµέσων 08-1 Αρχές κωδικοποίησης Απαιτήσεις κωδικοποίησης Είδη κωδικοποίησης Βασικές τεχνικές κωδικοποίησης Κωδικοποίηση Huffman Κωδικοποίηση µετασχηµατισµών Κβαντοποίηση διανυσµάτων ιαφορική κωδικοποίηση Τεχνολογία

Διαβάστε περισσότερα

Συμπίεση Πολυμεσικών Δεδομένων

Συμπίεση Πολυμεσικών Δεδομένων Συμπίεση Πολυμεσικών Δεδομένων Εισαγωγή στο πρόβλημα και επιλεγμένες εφαρμογές Παράδειγμα 2: Συμπίεση Εικόνας ΔΠΜΣ ΜΥΑ, Ιούνιος 2011 Εισαγωγή (1) Οι τεχνικές συμπίεσης βασίζονται στην απόρριψη της πλεονάζουσας

Διαβάστε περισσότερα

Επεξεργασία Στοχαστικών Σημάτων

Επεξεργασία Στοχαστικών Σημάτων Επεξεργασία Στοχαστικών Σημάτων Σεραφείμ Καραμπογιάς Σχολή Θετικών Επιστημών Τμήμα Πληροφορικής και Τηλεπικοινωνιών Η Έννοια της τυχαίας Διαδικασίας Η έννοια της τυχαίας διαδικασίας βασίζεται στην επέκταση

Διαβάστε περισσότερα

Η κωδικοποίηση των συντελεστών DC

Η κωδικοποίηση των συντελεστών DC Η κωδικοποίηση των συντελεστών DC Γιακάθευποπίνακαηδιαφορά, d,του DC συντελεστήτουαπότοσυντελεστή DC τουπροηγούµενουυποπίνακαοδηγούνταιστονκωδικοποιητήεντροπίας (variable length coding VLC). Στονκωδικοποιητήηδιαφοράκατατάσσεταιανάλογαµετοµέγεθόςτηςστοακόλουθοπίνακα,

Διαβάστε περισσότερα

2.6 ΟΡΙΑ ΑΝΟΧΗΣ. πληθυσµού µε πιθανότητα τουλάχιστον ίση µε 100(1 α)%. Το. X ονοµάζεται κάτω όριο ανοχής ενώ το πάνω όριο ανοχής.

2.6 ΟΡΙΑ ΑΝΟΧΗΣ. πληθυσµού µε πιθανότητα τουλάχιστον ίση µε 100(1 α)%. Το. X ονοµάζεται κάτω όριο ανοχής ενώ το πάνω όριο ανοχής. 2.6 ΟΡΙΑ ΑΝΟΧΗΣ Το διάστηµα εµπιστοσύνης παρέχει µία εκτίµηση µιας άγνωστης παραµέτρου µε την µορφή διαστήµατος και ένα συγκεκριµένο βαθµό εµπιστοσύνης ότι το διάστηµα αυτό, µε τον τρόπο που κατασκευάσθηκε,

Διαβάστε περισσότερα

1 Αριθμητική κινητής υποδιαστολής και σφάλματα στρογγύλευσης

1 Αριθμητική κινητής υποδιαστολής και σφάλματα στρογγύλευσης 1 Αριθμητική κινητής υποδιαστολής και σφάλματα στρογγύλευσης Στη συγκεκριμένη ενότητα εξετάζουμε θέματα σχετικά με την αριθμητική πεπερασμένης ακρίβειας που χρησιμοποιούν οι σημερινοί υπολογιστές και τα

Διαβάστε περισσότερα

Συμπίεση Δεδομένων

Συμπίεση Δεδομένων Συμπίεση Δεδομένων 2014-2015 Κβάντιση Δρ. Ν. Π. Σγούρος 2 Άσκηση 5.1 Για ένα σήμα που έχει τη σ.π.π. του σχήματος να υπολογίσετε: μήκος του δυαδικού κώδικα για Ν επίπεδα κβάντισης για σταθερό μήκος λέξης;

Διαβάστε περισσότερα

Ορισμός : Η συνάρτηση X : Ω είναι μετρήσιμη εάν 1. της τυχαίας μεταβλητής X : Ω, είναι το πεδίο τιμών της X. Δηλαδή είναι το υποσύνολο του { }

Ορισμός : Η συνάρτηση X : Ω είναι μετρήσιμη εάν 1. της τυχαίας μεταβλητής X : Ω, είναι το πεδίο τιμών της X. Δηλαδή είναι το υποσύνολο του { } Ορισμός : Η συνάρτηση : Ω είναι μετρήσιμη εάν B B B B = ω Ω : ω B = B { όπου { { Μία μετρήσιμη συνάρτηση : Ω ονομάζεται τυχαία μεταβλητή Ορισμός: Ο χώρος καταστάσεων της τυχαίας μεταβλητής : Ω είναι το

Διαβάστε περισσότερα

Επεξεργασία Πολυµέσων. Δρ. Μαρία Κοζύρη Π.Μ.Σ. «Εφαρµοσµένη Πληροφορική» Τµήµα Ηλεκτρολόγων Μηχανικών & Μηχανικών Υπολογιστών Πανεπιστήµιο Θεσσαλίας

Επεξεργασία Πολυµέσων. Δρ. Μαρία Κοζύρη Π.Μ.Σ. «Εφαρµοσµένη Πληροφορική» Τµήµα Ηλεκτρολόγων Μηχανικών & Μηχανικών Υπολογιστών Πανεπιστήµιο Θεσσαλίας Π.Μ.Σ. «Εφαρµοσµένη Πληροφορική» Τµήµα Ηλεκτρολόγων Μηχανικών & Μηχανικών Υπολογιστών Πανεπιστήµιο Θεσσαλίας Ενότητα 3: Επισκόπηση Συµπίεσης 2 Θεωρία Πληροφορίας Κωδικοποίηση Θεµελιώθηκε απο τον Claude

Διαβάστε περισσότερα

Συμπίεση Δεδομένων Δοκιμής (Test Data Compression) Νικολός Δημήτριος, Τμήμα Μηχ. Ηλεκτρονικών Υπολογιστών & Πληροφορικής, Παν Πατρών

Συμπίεση Δεδομένων Δοκιμής (Test Data Compression) Νικολός Δημήτριος, Τμήμα Μηχ. Ηλεκτρονικών Υπολογιστών & Πληροφορικής, Παν Πατρών Συμπίεση Δεδομένων Δοκιμής (Test Data Compression), Παν Πατρών Test resource partitioning techniques ΑΤΕ Automatic Test Equipment (ATE) based BIST based Έλεγχος παραγωγής γής βασισμένος σε ΑΤΕ Μεγάλος

Διαβάστε περισσότερα