Δίαυλος Πληροφορίας. Η λειτουργία του περιγράφεται από:

Δίαυλος Πληροφορίας Η λειτουργία του περιγράφεται από: Πίνακας Διαύλου (μαθηματική περιγραφή) Διάγραμμα Διαύλου (παραστατικός τρόπος περιγραφής της λειτουργίας)

Πίνακας Διαύλου Χρησιμοποιούμε τις υπό συνθήκη πιθανότητες των συμβόλων στην έξοδο του διαύλου (πηγή (Υ, P Y )), όταν γνωρίζουμε τα σύμβολα στην είσοδο του (πηγή (X, P X )). Ο Πίνακας Διαύλου ελέγχει τη ροή πληροφορίας από την είσοδο στην έξοδο του διαύλου, αφού μετασχηματίζει την κατανομή των πιθανοτήτων των συμβόλων στην είσοδο στην κατανομή πιθανοτήτων των συμβόλων στην έξοδο. 2

Άσκηση Έστω δύο πηγές πληροφορίας Χ={x, x 2 } και Υ={, 2 }, για τις οποίες ισχύει (x 2 )=.2, ()=.3, (2x2)=.3. Να υπολογίσετε: a) Τις Εντροπίες H(X) και H(Y) των πηγών. b) Τη Συνδετική Εντροπία Η(ΧΥ). c) Τη Διαπληροφορία Ι(Χ;Υ) των δύο πηγών. d) Γράψτε τον Πίνακα Διαύλου εάν η πηγή X θεωρηθεί ως πηγή εισόδου και η πηγή Υ ως πηγή εξόδου. Απάντηση: P YX.2.7.8.3 3

Διάγραμμα Διαύλου Εναλλακτικός και παραστατικός τρόπος περιγραφής λειτουργίας του διαύλου. 4

Διάγραμμα Διαύλου Έστω δύο πηγές πληροφορίας Χ={x, x 2 } και Υ={, 2 }, για τις οποίες ισχύει (x 2 )=.2, ()=.3, (2x2)=.3. Να υπολογίσετε: a) Τις Εντροπίες H(X) και H(Y) των πηγών. b) Τη Συνδετική Εντροπία Η(ΧΥ). c) Τη Διαπληροφορία Ι(Χ;Υ) των δύο πηγών. d) Γράψτε τον Πίνακα Διαύλου εάν η πηγή X θεωρηθεί ως πηγή εισόδου και η πηγή Υ ως πηγή εξόδου. e) Σχεδιάστε το Διάγραμμα Διαύλου. Απάντηση: x x2.2.8.7.3 2 5

Εντροπία Συστήματος Διαύλου Γράφουμε τις πιθανότητες συμβόλων εισόδου με τη μορφή διαγώνιου πίνακα: Τότε: Γνωρίζοντας τον πίνακα P XY μπορώ να υπολογίσω την συνδετική εντροπία εισόδου-εξόδου Η(ΧΥ) η οποία ονομάζεται εντροπία συστήματος διαύλου. 6

Άσκηση Ο πίνακας των συνδετικών πιθανοτήτων των συμβόλων εισόδου-εξόδου ενός υποθετικού διαύλου πληροφορίας είναι: P XY Να υπολογιστούν: α) Η εντροπία εισόδου Η(Χ) β) Η εντροπία εξόδου Η(Υ) γ) Ο Πίνακας Διαύλου P YX.25..3.5..5.5 Απ: α) ~.88 bits/smbol β) ~.585 bits/smbol γ) P YX.74.666.857.333.285.42 7

Εντροπία Θορύβου Θεωρώντας παρατηρητή στην έξοδο του διαύλου, η μέση πληροφορία που λείπει από τον παρατηρητή (στην έξοδο) για να αναγνωρίσει με βεβαιότητα τα σύμβολα εισόδου είναι ίση με: Η(ΧΥ). Άν Η(ΧΥ)= τότε ο παρατηρητής θα είναι απολύτως βέβαιος για το ποιό σύμβολο εισήχθηκε στην είσοδο του διαύλου. H Η(ΧΥ), λοιπόν, μπορεί να θεωρηθεί ότι οφείλεται στην παρουσία θορύβου στον δίαυλο επικοινωνίας, γι αυτό και ονομάζεται Εντροπία Θορύβου και δίνεται: H( X Y) N M i j ( x, i j )log[ ( x i j )] 8

Άσκηση (συνέχεια) Ο πίνακας των συνδετικών πιθανοτήτων των συμβόλων εισόδου-εξόδου ενός υποθετικού διαύλου πληροφορίας είναι: Να υπολογιστούν: α) Η εντροπία εισόδου Η(Χ) β) Η εντροπία εξόδου Η(Υ) γ) Ο Πίνακας Διαύλου P YX δ) Η Εντροπία Θορύβου Απ: ~.947 bits/smbol P XY.25..3.5..5.5 9

Εντροπία Διαύλου Θεωρώντας παρατηρητή στην είσοδο του διαύλου, η μέση πληροφορία που λείπει από τον παρατηρητή (στην είσοδο) για να αναγνωρίσει με βεβαιότητα τα σύμβολα εξόδου είναι ίση με: Η(ΥΧ). Άν Η(ΥΧ)= τότε ο παρατηρητής θα είναι απολύτως βέβαιος για το ποιό σύμβολο εμφανίζεται στην έξοδο του διαύλου. H Η(ΥΧ), λοιπόν, μπορεί να θεωρηθεί ότι οφείλεται στην άγνοια του παρατηρητή για την δομή του διαύλου επικοινωνίας, γι αυτό και ονομάζεται Εντροπία Διαύλου και δίνεται: H( Y X ) i N M j ( x, i j )log[ ( Προσοχή: Η Εντροπία Διαύλου δέν είναι το ίδιο με την Εντροπία Συστήματος Διαύλου: (Η πρώτη είναι υπο συνθήκη εντροπία ενώ η δεύτερη είναι συνδετική εντροπία) Η εντροπία στην έξοδο ενός διαύλου Η(Υ) μπορεί να υπολογιστεί: j x i )]

Άσκηση (συνέχεια) Ο πίνακας των συνδετικών πιθανοτήτων των συμβόλων εισόδου-εξόδου ενός υποθετικού διαύλου πληροφορίας είναι: Να υπολογιστούν: α) Η εντροπία εισόδου Η(Χ) β) Η εντροπία εξόδου Η(Υ) γ) Ο Πίνακας Διαύλου P YX δ) Η Εντροπία Θορύβου ε) Η Εντροπία Διαύλου Απ: ~.647 bits/smbol P XY.25..3.5..5.5

Σημασία της Διαπληροφορίας Εκτελούμε το ακόλουθο πείραμα: Διαθέτουμε 2 νομίσματα. Το ένα «τίμιο» και το άλλο «κάλπικο» έτσι ώστε να διαθέτει δύο Κεφαλές. Επιλέγουμε ένα από τα δύο νομίσματα τυχαία και το ρίχνουμε δύο φορές. Καταγράφουμε τον αριθμό των κεφαλών που προκύπτουν. Κατόπιν κάνουμε την ερώτηση: Πόση πληροφορία πήραμε για την ταυτότητα του νομίσματος (τίμιο ή κάλπικο) μετρώντας πόσες Κεφαλές είδαμε στο τέλος του πειράματος? Παρατηρήσεις Σίγουρα ο αριθμός των κεφαλών που καταγράψαμε μπορεί να μας δώσει μία ιδέα για το ποιό νόμισμα διαλέχτηκε. Εάν Αριθμός_Κεφαλών<2, τότε με βεβαιότητα μπορούμε να δηλώσουμε ότι το νόμισμα που επιλέχτηκε είναι το «τίμιο». Εάν Αριθμός_Κεφαλών=2, τότε ενδεχομένως να είναι το «κάλπικο» νόμισμα αυτό που επιλέχτηκε. 2

Σημασία της Διαπληροφορίας Έστω: Χ μία τυχαία μεταβλητή με τιμές και που δηλώνουν το «τίμιο» και το «κάλπικο» νόμισμα αντίστοιχα. Υ είναι ο Αριθμός_Κεφαλών. Το διάγραμμα του πειράματος θα είναι (παρόμοιο με αυτό του διαγράμματος διαύλου): Χ (Τίμιο) /4 /2 /4 Υ (Καμία Κεφαλή) (Μία Κεφαλή) Δειγματοχώρος «Τίμιου» Ζαριού. ΚΓ 2. ΓΚ 3. ΚΚ 4. ΓΓ (Κάλπικο) 2 (Δύο Κεφαλές) Δειγματοχώρος «Κάλπικου» Ζαριού. ΚΚ 3

Σημασία της Διαπληροφορίας Αρχικά η αβεβαιότητα μου (πριν δώ το αποτέλεσμα Υ) για το ποιό νόμισμα επέλεξα θα είναι: Η(Χ) (Εντροπία της πηγής Χ) Έπειτα από την λήξη του πειράματος (και παρατηρώντας το αποτέλεσμα Υ) η αβεβαιότητα μου θα είναι: Η(ΧΥ) (Υπο συνθήκη εντροπία της σύνθετης πηγής με γνώση της πηγής Υ). Άρα: Η πληροφορία που αποκόμισα για την πηγή Χ γνωρίζοντας το αποτέλεσμα της πηγής Υ θα είναι: ονομάζεται διαπληροφορία και μου προσδιορίζει πόσο μειώθηκε η αβεβαιότητα μου για την έξοδο της πηγής Χ γνωρίζοντας την έξοδο της πηγής Υ. Είναι συμμετρική συνάρτηση: Άρα: 4

Σημασία της Διαπληροφορίας Μερικές σκέψεις: Η διαπληροφορία μετράται σε bits/smbol. Σίγουρα, Ι(Χ;Υ). Η διαπληροφορία μπορεί να θεωρηθεί ώς το ποσό της πληροφορίας που μεταφέρθηκε σε ένα κανάλι επικοινωνίας. Εάν Ι(Χ;Υ)>, μεταφέρθηκε σίγουρα ένα ποσό πληροφορίας στον δίαυλο, ώστε να μειωθεί η αρχική αβεβαιότητα Η(Χ). Εάν Ι(Χ;Υ)=, τότε Η(Χ)=Η(ΧΥ), που σημαίνει ότι η αβεβαιότητα μου δεν μειώθηκε καθόλου παρατηρώντας την έξοδο. Και επομένως η πληροφορία που μεταφέρθηκε σε έναν δίαυλο είναι μηδενική. Η Ι(Χ;Υ) εξαρτάται από την P X καθώς Η(Χ)=f(P X ). 5

Χωρητικότητα Διαύλου Αφού η διαπληροφορία είναι το ποσό της πληροφορίας που μεταφέρθηκε σε ένα κανάλι επικοινωνίας: Η χωρητικότητα ενός καναλιού (διαύλου) επικοινωνίας θα προκύπτει εάν μεγιστοποιήσω την Ι(Χ;Υ). Δηλαδή: μετράται σε bits/smbol. Παρατηρήσεις: Με κατάλληλη κατανομή πιθανοτήτων της πηγής στην είσοδο του διαύλου, μπορεί να μεγιστοποιηθεί η ποσότητα πληροφορίας που διοχετεύεται στον δίαυλο και άρα να γίνει βέλτιστη εκμετάλλευση του. 6

Ιδανικός Δίαυλος Το πλήθος των συμβόλων εισόδου είναι ίσο με το πλήθος των συμβόλων εξόδου: Ν=Μ. Για δεδομένο σύμβολο εισόδου ή εξόδου δεν υπάρχει αβεβαιότητα για το σύμβολο εξόδου ή εισόδου αντίστοιχα: P X =P Y. Επομένως το διάγραμμα διαύλου θα είναι: 7

Ιδανικός Δίαυλος Ο Πίνακας Διαύλου θα είναι (μοναδιαίος πίνακας): Οι υπο συνθήκη πιθανότητες θα είναι ίσες με ή, επομένως: και Άρα η χωρητικότητα του θα είναι: 8

Δίαυλος χωρίς Απώλειες Κάθε σύμβολο εισόδου αντιστοιχίζεται σε περισσότερα από ένα σύμβολα εξόδου: Μ>Ν. Κάθε σύμβολο εξόδου προέρχεται από ένα μόνο σύμβολο εισόδου: (x i j )= ή. Διάγραμμα Διαύλου: 9

Δίαυλος χωρίς Απώλειες Πίνακας Διαύλου: Εντροπία θορύβου: Διαπληροφορία: Χωρητικότητα: 2

Καθοριστικός Δίαυλος Έχει ουσιαστικά τις αντίστροφες ιδιότητες με τον δίαυλο χωρίς απώλειες: Ν>Μ. Κάθε σύμβολο εισόδου προέρχεται από ένα μόνο σύμβολο εξόδου: ( j x i )= ή. Διάγραμμα Διαύλου: 2

Καθοριστικός Δίαυλος Πίνακας Διαύλου: Εντροπία θορύβου: Διαπληροφορία: Χωρητικότητα: 22

Ομοιόμορφος Δίαυλος Όλες οι γραμμές και στήλες του πίνακα διαύλου προκύπτουν από αναδιάταξη των στοιχείων οποιασδήποτε γραμμής και στήλης: Διάγραμμα Διαύλου: Χωρητικότητα (χωρίς απόδειξη): 23

Συμμετρικός Δυαδικός Δίαυλος Χαρακτηριστικός ομοιόμορφος δίαυλος, με δύο σύμβολα εισόδου να οδηγούν σε δύο σύμβολα εξόδου: Πίνακας Διαύλου: Χωρητικότητα: 24

Δυαδικός Δίαυλος Εξάλειψης (Σ-Δίαυλος) Χαρακτηριστικός ομοιόμορφος δίαυλος, με δύο σύμβολα εισόδου ( και ) να οδηγούν σε τρία σύμβολα εξόδου (, e, ): Πίνακας Διαύλου: Χωρητικότητα: C= 25

Ασκήσεις Αν η πιθανότητα σφάλματος κατά την μετάδοση δυαδικών συμβόλων είναι e=. να υπολογιστεί η χωρητικότητα του συμμετρικού δυαδικού διαύλου και του δυαδικού διαύλου εξάλειψης. Απ.: C b =~.53 bits/smbol, C Σ =.9 bits/smbol Θεωρούμε δίαυλο πληροφορίας του οποίου ο πίνακας είναι ίσος με: P YX.2.5.3.5.3.2 Να βρεθεί η χωρητικότητα του. Απ.: C b =~.99 bits/smbol Να υπολογιστεί η χωρητικότητα του διαύλου πληροφορίας με πίνακα διαύλου: P Y X Απ.: C b =2-Η b () bits/smbol.3.2.5 26

Ασκήσεις Τα σύμβολα μιας δυαδικής πηγής πληροφορίας με αλφάβητο Χ = {x, x 2 } και κατανομή πιθανοτήτων P x ={.75,.25} εισάγονται σε δίαυλο πληροφορίας με πίνακα: P YX 2 3 3 3 2 3 α) Να υπολογιστεί η διαπληροφορία και η χωρητικότητα του διαύλου. β) Να αιτιολογηθεί η διαφορά μεταξύ των τιμών των δύο μεγεθών. Απ.: C~.79 bits/smbol, I(X Y)~.64 bits/smbol 27

Χωρητικότητα Διαπληροφορία Η χωρητικότητα προκύπτει εάν μεγιστοποιήσουμε την διαπληροφορία: Ορισμός 3. (στο βιβλίο): Χωρητικότητα διαύλου πληροφορίας C είναι το μέγιστο της διαπληροφορίας της εισόδου Χ και της εξόδου Υ σε περιβάλλον θορύβου. Επομένως εάν επιχειρώντας μία μελέτη περιπτώσεων: C>I(X Y): Ισχύει, καθώς η διαπληροφορία είναι το ποσό της πληροφορίας που μεταδίδεται στον δίαυλο και δύναται να μήν είναι πάντα η μέγιστη. C=I(X Y): Ισχύει όταν γίνεται η βέλτιστη εκμετάλλευση του διαύλου (μεταδίδεται η μέγιστη ποσότητα πληροφορίας) C<I(X Y): Δεν ισχύει καθώς δεν μπορεί να μεταφερθεί μεγαλύτερο ποσό πληροφορίας από αυτό που είναι ικανός ο δίαυλος να μεταφέρει. 28

Αλυσίδα Διαύλων Πληροφορίας ΔΙΑΥΛΟΣ ΔΙΑΥΛΟΣ 2 ΔΙΑΥΛΟΣ 3 Είσοδος (Χ, P X ) Έξοδος Είσοδος2 (Υ, P Υ ) Έξοδος 2 Είσοδος3 (Ζ, P Ζ ) Έξοδος 3 (Ω, P Ω ) P Χ P ΥΧ P ΖΥ P ΩΖ = P Ω 29

Αλυσίδα Διαύλων Πληροφορίας Επομένως ισχύει γενικά: P Y P X k K P K k Η κατανομή πιθανοτήτων στην έξοδο της αλυσίδας διαύλων προκύπτει εάν πολλαπλασιάσουμε την κατανομή πιθανοτήτων της πηγής στη είσοδο της αλυσίδας με το γινόμενο των πινάκων διαύλου όλων των διαύλων Άρα, ο Πίνακας Αλυσίδας Διαύλων Πληροφορίας θα δίνεται: Y X k K PY K X P Y k X k k Σημαντική Παρατήρηση: Η χωρητικότητα μιας αλυσίδας διαύλων θα είναι πάντα μικρότερη από την χωρητικότητα κάθε στοιχειώδους διαύλου που μετέχει στην αλυσίδα. 3

Άσκηση Να υπολογιστούν οι χωρητικότητες των διαύλων πληροφορίας που περιγράφονται από τους παρακάτω πίνακες διαύλων: () P YX.75.25.25.75 (2) P YX (3) P YX.6.4.4.6 Εάν οι τρείς δίαυλοι συνδεθούν σε σειρά με πρώτο τον P () και τελευταίο τον P (3) να βρεθεί: α) ο Πίνακας Διαύλου της αλυσίδας διαύλων..6.4.: P Y X.45.55 3

Υπολογισμός Χωρητικότητας Τεχνική Muroga Ο υπολογισμός της χωρητικότητας ενός διαύλου (εκτός των χαρακτηριστικών διαύλων που εξετάσαμε) αποτελεί, εν γένει, ένα δύσκολο πρόβλημα. Τεχνική Muroga Προϋποθέσεις: Γνωστός ο πίνακας P YX Τα αλφάβητα εισόδου και εξόδου είναι ισάριθμα, δηλαδή ισχύει: Ν=Μ Αποτελείται από δύο βασικά βήματα. 32

Υπολογισμός Χωρητικότητας Τεχνική Muroga 33 Βήμα ο : Συνθέτουμε σύστημα Ν γραμμικών εξισώσεων: N j N j N j N N N N N N j j j N N N j j j N N x x A x A x A x x x A x A x A x x x A x A x A x 2 2 2 2 2 2 2 2 2 2 2 ) ( )log ( ) (... ) ( ) (... ) ( )log ( ) (... ) ( ) ( ) ( )log ( ) (... ) ( ) ( και το επιλύουμε με αγνώστους τις μεταβλητές Α, Α 2,..., Α Ν.

Υπολογισμός Χωρητικότητας Τεχνική Muroga Βήμα 2 ο : υπολογίζουμε την χωρητικότητα με βάση την σχέση: C log Παρατηρήσεις Η τεχνική αυτή μπορεί να χρησιμοποιηθεί εναλλακτικά για τον υπολογισμό της χωρητικότητας των χαρακτηριστικών διαύλων (ιδανικού, ομοιόμορφου, δυαδικού συμμετρικού) οι πιθανότητες ( j ) στην έξοδο του διαύλου που οδηγούν στην μέγιστη διαπληροφορία Ι(Χ Υ) δίνονται από: ( j ) 2 A j C i N Και οι αντίστοιχες πιθανότητες των συμβόλων εισόδου προκύπτουν από την επίλυση του συστήματος εξισώσεων:, 2 A i P Y PX PY X j N 34

Άσκηση Να υπολογιστούν οι χωρητικότητες των διαύλων πληροφορίας που περιγράφονται από τους παρακάτω πίνακες διαύλων: () P YX.75.25.25.75 (2) P YX Εάν οι τρείς δίαυλοι συνδεθούν σε σειρά με πρώτο τον P () και τελευταίο τον P (3) να βρεθεί:.6.4 α) ο Πίνακας Διαύλου της αλυσίδας διαύλων..: P Y X.45.55 β) η χωρητικότητα της αλυσίδας.92, 2 (3) P YX.58.: C.63 bits / smbol.6.4.4.6 35

Άσκηση 36 Να υπολογιστεί η χωρητικότα του διαύλου πληροφορίας που περιγράφεται από τον παρακάτω πίνακα διαύλων: Να υπολογιστεί η χωρητικότα του διαύλου πληροφορίας που περιγράφεται από τον παρακάτω πίνακα διαύλων: 4 3 4 8 4 3 8 4 4 3 P q q q q P