Σμήμα Πληροφορικής & Επικοινωνιών Θεωρία της Πληροφορίας 3 ο Εξάμηνο Τομέας Τηλεπικοινωνιών και Δικτύων Δρ. Αναστάσιος Πολίτης Καθηγητής Εφαρμογών 1
Διεξαγωγή και Εξέταση του Μαθήματος Μάθημα Πώς? 13 Διαλέξεις. Κάθε πότε? Δευτέρα 18:00-21:00. Πού? ΑΜΦ Τμήματος Πληροφορικής & Επικοινωνιών. Εξέταση Γραπτή. το τέλος του εξαμήνου. Κλειστές σημειώσεις (μέχρι νεωτέρας). Επικοινωνία και ενημέρωση ιστοσελίδα (http://www.teiser.gr/icd/staff/politis/mathimata.htm) anpol@teiser.gr (αποστολές μηνυμάτων που είναι ανώνυμα ή που δεν προέρχονται από λογαριασμούς του ΣΕΙ δεν θα απαντώνται) Ώρες γραφείου: Πέμπτη 12:00-13:00 & Παρασκευή 12:00-14:00. 2
Βιβλιογραφία Μαθήματος Βασική βιβλιογραφία μαθήματος Εγχειρίδιο Δρ. Ι. Ρέκανου «Θεωρία της Πληροφορίας», Οκτώβριος 2003 (βρίσκεται στη σελίδα του μαθήματος και στο εκπαιδευτικό υλικό). Ότι ειπωθεί κατά την διάρκεια των διαλέξεων (παραδείγματα, ασκήσεις κλπ). Συμπληρωματική βιβλιογραφία «Εισαγωγή στη θεωρία της πληροφορίας», Αφράτη Υώτω. «Θεωρία πληροφοριών Κώδικες», Βούκαλης Δημήτρης. 3
Εισαγωγή 20 ος Αιώνας Αιώνας Πληροφορικής και Επικοινωνιών. Ανάπτυξη μέσων καταγραφής αποθήκευσης επεξεργασίας μετάδοσης (επικοινωνία) Εξέλιξη τεχνολογικών επιτευγμάτων Σηλέφωνο Σηλεόραση Ραδιόφωνο Δίκτυα Τπολογιστών 4
Εισαγωγή Πληροφορία Αρχικά (Αρχές με μέσα 20 ου αιώνα) Έννοια αφηρημένη και ποιοτική (τι αξίζει να πληροφορηθώ?) Άρα, δεν μπορώ να βγάλω νόμους που να περιγράφουν με αυστηρότητα την πληροφορία και επικοινωνία (δύσκολος σχεδιασμός υπολογιστικών και επικοινωνιακών συστημάτων). Ενδιαφέρομαι για ποσοτικοποίηση της πληροφορίας!! Πόση πληροφορία περιέχεται σε ένα γεγονός. 1948 Shannon, A Mathematical Theory of Communication Θεμελίωσε έννοιες/θεωρήματα για την μαθηματική περιγραφή της επικοινωνίας. Ακριβής ανάλυση με μαθηματική αυστηρότητα της μετάδοσης πληροφοριών. Μπορώ να σχεδιάσω καλύτερα επικοινωνιακά συστήματα (ξέρω πόση πληροφορία χρειάζεται να μεταδοθεί για ένα γεγονός!). 5
Εισαγωγή Η ΘτΠ βασίζεται πιθανοθεωρία στατιστική άλγεβρα Απαντά σε ερωτήματα που αφορούν: συμπίεση δεδομένων περιγραφή διαύλου επικοινωνίας επικοινωνία σε περιβάλλοντα θορύβου κρυπτογράφηση Αρχικά: η ΘτΠ αποτέλεσε τμήμα της επιστήμης επικοινωνιών ήμερα: χωριστός κλάδος των μαθηματικών. 6
Εισαγωγή Σύμφωνα με την ΘτΠ (Shannon) γενικό σύστημα επικοινωνίας 7
Βασικές Έννοιες και Παραδείγματα τη ΘτΠ κεντρικό ρόλο έχει η έννοια της πληροφορίας. Έχει ποσοτικό χαρακτήρα ( εννοιολογικού περιεχομένου). I A =f(p A ) την πράξη μικρότερη p A, περισσότερη Ι Α. υμφωνεί με κοινή αντίληψη? Μερικές φορές ναι, μερικές όχι! Παράδειγμα. λογικοφανές μή λογικοφανές 8
Μέτρο της Πληροφορίας Σο ποσό της πληροφορίας που περιέχεται σε ένα γεγονός είναι μέτρο της αβεβαιότητας που έχουμε για το γεγονός αυτό πρίν εμφανιστεί πληροφορία = συμβουλή (χρηματιστή πρός επενδυτή) γνώση (χρηματιστή για θέματα χρηματηστηρίου) ενημέρωση (χρηματιστής «σφύριξε» ένα γεγονός που θα συμβεί στον επενδυτή) δεδομένα (με βάση αυτή τη πληροφορία ο επενδυτής πουλά μετοχές) 9
Εντροπία Έννοια δανεισμένη από την θερμοδυναμική. μέτρο της μέσης αβεβαιότητας ενός συνόλου πιθανών γεγονότων. εάν είναι ισοπίθανα τότε η εντροπία (η αβεβαιότητα μας ) γίνεται μέγιστη. εάν κάποιο γεγονός έχει μεγαλύτερη πιθανότητα να συμβεί από ένα άλλο, τότε μικραίνει η αβεβαιότητα. Παράδειγμα κέρματος τίμιο μή τίμιο 10
Τπενθύμιση Στόχος της ΘτΠ ποσοτικοποίηση της έννοιας της πληροφορίας. Η ποσότητα της πληροφορίας που περιέχεται σε ένα τυχαίο γεγονός εξαρτάται: από την πιθανότητα εμφάνισης του γεγονότος αυτού μπορεί να συμφωνεί αλλά και να μή συμφωνεί με την κοινή λογική. π.χ. Η πληροφορία που περιέχει το γεγονός «τράβηξα ένα χαρτί από την τράπουλα και ήταν βαλές κούπα», έχει περισσότερη πληροφορία από το γεγονός «στην εκλογική αναμέτρηση μεταξύ δύο υποψήφιων δημάρχων, Α και Β, επικράτησε ο Β». Άρα: I A =f(p A ) (Η μεζούρα της πληροφορίας που περιέχει ένα γεγονός) διαισθητικός προσδιορισμός της f(). 11
Ορισμοί 1 ος Ορισμός Πληροφορία είναι μία συλλογή δεδομένων, τα οποία καταγράφονται με τη χρήση συμβόλων. (περιγραφικός ορισμός της πληροφορίας) Αν p A είναι η πιθανότητα να συμβεί το γεγονός Α, τότε η Πληροφορία (μέτρο της πληροφορίας) δίνεται από τη σχέση: Ι Α =-log K (p A ), με Κ>1 (μαθηματικός ορισμός πληροφορίας) Από εδώ και πέρα Κ=2! Μονάδα μέτρησης πληροφορίας bit! 12
Ιδιότητες της Ι Α Η Ι Α είναι συνάρτηση της p A, με p A [0, 1]. Η Ι Α είναι συνεχής συνάρτηση της p A. μία μικρή μεταβολή της p A θα προκαλέσει επίσης μικρή μεταβολή της Ι Α. Η συνάρτηση της Ι Α είναι γνησίως φθίνουσα p A, p B : p A > p B => Ι Α < Ι Β (όσο μεγαλύτερη η πιθανότητα να συμβεί ένα γεγονός τόσο μικρότερο το ποσό πληροφορίας που περιέχεται σε αυτό) Ισχύει η αρχή της προσθετικότητας εάν Α και Β είναι δύο γεγονότα ανεξάρτητα, τότε η πληροφορία που περιέχεται στο γεγονός να συμβούν και τα δύο επιμέρους γεγονότα (Α Β) είναι το άθροισμα των επιμέρους πληροφοριών των γεγονότων: Ι Α Β =Ι Α +Ι Β 13
Ορισμοί (συνέχεια) 2 ος Ορισμός Πηγή πληροφορίας είναι κάθε σύστημα που παράγει στην έξοδο του πληροφορία. 3 ος Ορισμός Επικοινωνία είναι κάθε διαδικασία μεταφοράς της πληροφορίας μεταξύ δύο σημείων του χωροχρόνου. 4 ος Ορισμός Αλφάβητο της Πηγής είναι το σύνολο των διακεκριμένων (διαφορετικών) συμβόλων, x 1, x 2,, x N που χρησιμοποιούνται για την αναπαράσταση της πληροφορίας που παράγεται από μία πηγή. Το αλφάβητο της πηγής συμβολίζεται ως: Χ={x 1, x 2,, x N }. Το πλήθος Ν των συμβόλων δύναται να είναι πεπερασμένο ή άπειρο. 5 ος Ορισμός Ως λέξη ορίζουμε μια διατεταγμένη ακολουθία συμβόλων. 6 ος Ορισμός Ως μήνυμα ορίζουμε μια διατεταγμένη ακολουθία λέξεων. 14
Γραφική Παράσταση Γραφική παράσταση της συνάρτησης της πληροφορίας 15
Ασκήσεις Άσκηση 1 Θεωρούμε πηγή με αλφάβητο Χ={0, 1}. Και p 1 =0.7. Να βρεθεί η πληροφορία του κάθε συμβόλου της πηγής. Σο ίδιο για ένα τίμιο νόμισμα... Σο ίδιο για ένα πειραγμένο νόμισμα με δύο ίδιες όψεις... Άσκηση 2 Ποιά είναι η πληροφορία που περιέχει το γεγονός: «έριξα τα ζάρια και έτυχα έξη-πέντε»? Άσκηση 3 (δικιά σας) Πόση πληροφορία περιέχεται στον αριθμό κυκλοφορίας αυτοκινήτου μορφής ΓΓΓαααα, όπου Γ είναι κεφαλαίο γράμμα και α αριθμός. (Βοήθεια: για ελληνικές πινακίδες χρησιμοποιούνται 14 διεθνή γράμματα και ο τετραψήφιος αριθμός μπορεί να πάρει 9000 διαφορετικές τιμές) Άσκηση 4 (δικιά σας) Μία πηγή έχει αλφάβητο Χ={ΟΕΒΔ} και κατανομή πιθανοτήτων P X ={1/2, 1/4, 1/8, 1/8}. Εάν το κάθε σύμβολο του αλφαβήτου είναι ανεξάρτητο, ποιά η πληροφορία της λέξης ΟΕΟ. 16
Εντροπία ή Μέση Πληροφορία Θεμελιώδης έννοια για την ΘτΠ και ορίστηκε από τον C. Shannon (ονομάζεται και εντροπία του Shannon) Κατά αναλογία με την Εντροπία της Θερμοδυναμικής. όσο περισσότερη εντροπία, τόσο μεγαλύτερη αταξία (αβεβαιότητα για την ΘτΠ). Εντροπία ή μέση πληροφορία ανά σύμβολο πληροφορίας μίας πηγής (Χ,P X ), είναι η αναμενόμενη τιμή της πληροφορίας των συμβόλων της πηγής. Μετράται σε bits/symbol. 17
Εντροπία ή Μέση Πληροφορία Μαθηματική έκφραση εντροπίας: Η(Χ) p i log 2 ( p Ιδιότητες συνεχής συνάρτηση των {p 1, p 2, p 3,, p N } μή αρνητική Η(Χ) 0, καθώς p i 1. Άσκηση σχεδιάστε την εντροπία ενός δυαδικού κώδικα. i N 1 i ) 18
Εντροπία Δυαδικής Πηγής Εντροπία Δυαδικής Πηγής ή Συνάρτηση Shannon: Η b (p) plog ( p) (1 p)log 2(1 2 p ) 19
Ιδιότητες Εντροπίας Ιδιότητες Θεώρημα 1 ο (Μεγίστης Εντροπίας): Η εντροπία μιας πηγής (X, P x ) διακεκριμένων συμβόλων είναι μέγιστη όταν τα σύμβολα της πηγής είναι ισοπίθανα: p 1 =p 2 = =p N =N -1 Θεώρημα 2 ο (Σχετική εντροπία απόσταση Kullback-Leibler): Αν P x ={p 1, p 2,, p N } και Q x ={q 1, q 2,, q N } είναι δύο εναλλακτικές κατανομές πιθανοτήτων των συμβόλων Χ={x 1, x 2,, x N }, τότε: N pi Η(Χ, Px / Qx ) pi log 2( ) q 1 i Εκφράζει την απόκλιση της κατανομής P x από την Q x. H(X, P x /Q x ) = 0, όταν P x =Q x. i 20
Ασκήσεις Άσκηση 1 Να υπολογιστεί η εντροπία ενός ζαριού, όταν: α) είναι τίμιο β) η ένδειξη 3 έχει δύο φορές μεγαλύτερη πιθανότητα να εμφανιστεί από όλες τις άλλες ενδείξεις. Άσκηση 2 Θεωρούμε δυαδική πηγή Χ με δύο εναλλακτικές κατανομές πιθανοτήτων, P x ={0.3, 0.7} και Q x ={0.6, 0.4}. Να υπολογιστούν οι σχετικές εντροπίες (Kullback-Leibler), H(X, P x /Q x ) και Η(Χ, Q x /P x ). 21
υνδετική Εντροπία Μαθηματική έκφραση Ιδιότητα Η(ΧΥ) N M i 1 j 1 p( xi, yi )log 2[ p( xi, y Η(ΧΥ) Η(Χ)+Η(Υ) i )] Άσκηση Έστω δυαδικές πηγές (X, P X ) και (Y, P Y ) με Χ={Α, Β} και Υ={Γ, Δ}. Δίνονται: p A =0.2, p Γ =0.3 και p (A,Δ) =0.15. Να βρεθεί η εντροπία της σύνθετης πηγής που δημιουργείται από τις παραπάνω επιμέρους πηγές. 22
Τπό υνθήκη Εντροπία ύνθετης Πηγής (ΧΥ, P XY ) Η(Χ Υ) Η(Υ Χ) N M i 1 j 1 N M i 1 j 1 p( x, y p( y i j i j )log[, x )log[ p( x p( y i j y x i j )] )] 23
Τπό υνθήκη Εντροπία ύνθετης Πηγής Ισότητες που συνδέουν την υπό συνθήκη εντροπία σύνθετης πηγής με τη συνδετική εντροπία της σύνθετης πηγής και τις εντροπίες των απλών πηγών (Απόδειξη στο βιβλίο ελ. 2-11): Όταν είναι γνωστή η έξοδος της απλής πηγής (Υ,P Υ ) Η(Χ Υ)=Η(ΧΥ) Η(Υ) Όταν είναι γνωστή η έξοδος της απλής πηγής (Χ,P Χ ) Η(Υ Χ)=Η(ΧΥ) Η(Χ) 24
Αμοιβαία Πληροφορία ή Διαπληροφορία Διαπληροφορία δύο πλών πηγών (Χ, P X ) και (Υ, P Y ): Ι(Χ;Υ) = Η(Χ) Η(Χ Υ) Ιδιότητες Συμμετρική Ι(Χ;Υ)=Ι(Υ;Χ) Μη αρνητική Ι(Χ;Υ) 0 Μονάδες: bits/symbol Φυσική σημασία της Διαπληροφορίας: Η διαπληροφορία (ή αμοιβαία πληροφορία) μεταξύ της πηγής πληροφορίας του πομπού και της πηγής πληροφορίας του δέκτη εκφράζει τη μέση πληροφορία που αποκομίζει ο παρατηρητής για το τι εκπέμπει ο πομπός παρατηρώντας το δέκτη. Μεγλύτερη διαπληροφορία, καλύτερη η μετάδοση πληροφορίας από τον πομπό στον δέκτη. 25
Άσκηση 2 ου Κεφαλαίου Έστω δύο πηγές πληροφορίας Χ={x 1, x 2 } και Υ={y 1, y 2 }, για τις οποίες ισχύει p(x 1 )=0.2, p(y1)=0.3, p(y2 x2)=0.3. Να υπολογίσετε: a) Σις Εντροπίες H(X) και H(Y) των πηγών. b) Ση υνδετική Εντροπία Η(ΧΥ). c) Ση Διαπληροφορία Ι(Χ;Υ) των δύο πηγών. 26