EE728 (22Α004) - Προχωρημένα Θέματα Θεωρίας Πληροφορίας Λυμένες ασκήσεις σε Κανάλια

Μέγεθος: px
Εμφάνιση ξεκινά από τη σελίδα:

Download "EE728 (22Α004) - Προχωρημένα Θέματα Θεωρίας Πληροφορίας Λυμένες ασκήσεις σε Κανάλια"

Transcript

1 EE78 (Α4) - Προχωρημένα Θέματα Θεωρίας Πληροφορίας Φυλλάδιο 4 Δ. Τουμπακάρης 5 Ιουνίου 5 EE78 (Α4) - Προχωρημένα Θέματα Θεωρίας Πληροφορίας Λυμένες ασκήσεις σε Κανάλια. *Τα κανάλια με μνήμη έχουν μεγαλύτερη χωρητικότητα Cover & Thomas 7. (τροποποιημένη) Θεωρήστε το κανάλι Y i = X i Z i, όπου πρόσθεση modulo- (XOR). Οι μεταβλητές X i και Y i είναι δυαδικές, αλλά όχι, κατ ανάγκη, ομοίως κατανεμημένες. Έστω, επίσης, ότι η Z i έχει σταθερή μάζα πυκνότητας πιθανότητας Pr{Z i = } = p = Pr{Z i = }. Ωστόσο, οι Z, Z,..., Z n δεν είναι, κατ ανάγκη, ανεξάρτητες. (α) Δώστε ένα σχεδιάγραμμα του καναλιού. Μοιάζει με κάποιο γνωστό σας κανάλι; Σε τι διαφέρει (αν διαφέρει); (β) Εάν οι Z i είναι ανεξάρτητες, αν, δηλαδή, το κανάλι δεν έχει μνήμη, ποια είναι η χωρητικότητά του και με ποια κατανομή p(x) επιτυγχάνεται; Ονομάστε αυτή τη χωρητικότητα C. (γ) Επιστρέφοντας στη γένική περίπτωση όπου οι Z, Z,..., Z n δεν είναι, κατ ανάγκη, ανεξάρτητες, δείξτε ότι, εάν η είσοδος είναι ανεξάρτητη και ομοίως κατανεμημένη Bern(/), I(X, X,..., X n ; Y, Y,..., Y n ) nc, όπου C η χωρητικότητα του καναλιόύ χωρίς μνήμη του Ερωτήματος (β). (δ) Με βάση το Ερώτημα (γ), συμπεράνετε ότι, για τη χωρητικότητα του καναλιού με μνήμη C n max p(x) I(X, X,..., X n ; Y, Y,..., Y n ), ισχύει C C. (ε) Δώστε μια διαισθητική αιτιολόγηση για το αποτέλεσμα που αποδείξατε στο Ερώτημα (δ), ότι, δηλαδή, η χωρητικότητα των καναλιών χωρίς μνήμη δεν μπορεί να υπερβεί τη χωρητικότητα των αντίστοιχων καναλιών με μνήμη.. Χωρητικότητα καναλιού modulo Cover & Thomas 7.4 Θεωρούμε το κανάλι Y = X+Z (mod ), και Z Unif{,, } και X = {,,..., }. Υπενθύμιση: mod a: To υπόλοιπο της διαίρεσης του X με το a. (α) Βρείτε τη χωρητικότητα του καναλιού. (β) Ποια είναι η βέλτιστη κατανομή p (x) που επιτυγχάνει τη χωρητικότητα;. Το κανάλι Ζ Cover & Thomas 7.8 Έστω κανάλι Z με πίνακα μετάβασης [ ] P = / / X, Y {, }. Βρείτε τη χωρητικότητα του καναλιού, καθώς και την κατανομή εισόδου με την οποία επιτυγχάνεται η χωρητικότητα.

2 4. Χρονικώς Μεταβαλλόμενα Κανάλια Cover & Thomas 7. Θεωρούμε το χρονικώς μεταβαλλόμενο κανάλι του Σχήματος. Οι Y, Y,..., Y n είναι υπό συνθήκη ανεξάρτητες δεδομένων των X, X,..., X n με υπό συνθήκη κατανομή μάζας πιθανότητας p(y x) = n i= p i(y i x i ). Έστω X = (X, X,..., X n ), Y = (Y, Y,..., Y n ). Βρείτε τη max p(x) I(X; Y). Σχολιάστε την τιμή της χωρητικότητας και την κατανομή με την οποία αυτή επιτυγχάνεται. Σχήμα : Xρονικώς Μεταβαλλόμενο BSC. 5. Κανάλια με εξάρτηση μεταξύ των συμβόλων Cover & Thomas 7.4 Θεωρήστε το εξής κανάλι το οποιο χρησιμοποιεί δυαδικό αλφάβητο, παίρνει ως είσοδο σύμβολα των bits και παράγει ως έξοδο σύμβολα των bits σύμφωνα με την ακόλουθη απεικόνιση:,, και. Επομένως, εάν η είσοδος στο κανάλι είναι η ακολουθία, η έξοδος είναι με πιθανότητα. Συμβολίζουμε τα δύο σύμβολα εισόδου με X, X και τα δύο σύμβολα εξόδου με Y, Y. (α) Yπολογίστε την αμοιβαία πληροφορία I(X, X ; Y, Y ) συναρτήσει της κατανομής εισόδου επάνω στα 4 πιθανά ζεύγη εισόδου. (β) Δείξτε ότι η χωρητικότητα ανά μετάδοση ζεύγους ψηφίων ισούται με bits. (γ) Δείξτε ότι, για την κατανομή εισόδου που επιτυγχάνει τη χωρητικότητα στο προηγούμενο ερώτημα, I(X ; Y ) =. Επομένως, η κατανομή στις ακολουθίες εισόδου που επιτυγχάνει τη χωρητικότητα δε μεγιστοποιεί απαραιτήτως την αμοιβαία πληροφορία μεταξύ μεμονωμένων συμβόλων εισόδου και των αντίστοιχων εξόδων. 6. Κωδικοποιητής και Αποκωδικοποιητής ως μέρος του καναλιού Cover & Thomas 7.6 Θεωρήστε Δυαδικό Συμμετρικό Κανάλι (BSC) με πιθανότητα αναστροφής ψηφίου (crossover probability).. Ένα πιθανό σχήμα κωδικοποίησης για αυτό το κανάλι το οποίο χρησιμοποιεί δύο κωδικές λέξεις μήκους είναι να κωδικοποιήσουμε το μήνυμα a ως και το μήνυμα a ως. Εάν χρησιμοποιούμε αυτόν τον κώδικα, μπορούμε να θεωρήσουμε ότι ο συνδυασμός κωδικοποιητή, καναλιού και αποκωδικοποιητή αποτελεί ένα νέο BSC με δύο εισόδους a και a και δύο εξόδους a και a. (α) Βρείτε την πιθανότητα αναστροφής για το νέο κανάλι. (β) Ποια είναι η χωρητικότητα του νέου καναλιού σε bits ανά χρήση του αρχικού καναλιού; (γ) Ποια είναι η χωρητικότητα του αρχικού BSC με πιθανότητα αναστροφής.;

3 (δ) Αποδείξτε το εξής γενικό αποτέλεσμα: Για οποιοδήποτε κανάλι, εάν θεωρήσουμε από κοινού τον κωδικοποιητή, το κανάλι και τον αποκωδικοποιητή ως ένα νέο κανάλι με είσοδο μηνύματα και έξοδο εκτιμώμενα μηνύματα, η χωρητικότητα σε bits ανά χρήση του αρχικού καναλιού δεν μπορεί να αυξηθεί. 7. *Χωρητικότητα καναλιού Ταχυδρομικών περιστεριών (Προχωρημένα Θέματα Θεωρίας Πληροφορίας) Cover & Thomas 7.9 (τροποποιημένη) Σχετικά Δύσκολη Μια ομάδα αποκλεισμένων μαχητών επικοινωνεί με τους συμμάχους τους με χρήση ταχυδρομικών περιστεριών. Θεωρούμε ότι κάθε ταχυδρομικό περιστέρι μπορεί να μεταφέρει ένα σύμβολο ΑSCII (8 bits), ότι ένα περιστέρι στέλνεται κάθε 5 λεπτά της ώρας και ότι χρειάζεται πάντα ακριβώς λεπτά της ώρας για να φτάσει στον προορισμό του. (α) Εάν όλα τα περιστέρια καταφέρνουν να φτάσουν στον προορισμό τους, ποια είναι η χωρητικότητα του καναλιού σε bits/ώρα; (β) Έστω ότι ο παραλήπτης γνωρίζει ότι τα περιστέρια στέλνονται με σταθερό ρυθμό, οπότε μπορεί να ανιχνεύσει εάν ένα περιστέρι δε φτάνει στον προορισμό του. Εάν οι αντίπαλοι καταφέρνουν να σκοτώνουν ποσοστό α των περιστεριών, ποια είναι η χωρητικότητα του καναλιού; Πώς θα μοντελοποιούσατε το κανάλι; (*γ) Θεωρούμε, τώρα, ότι οι αντίπαλοι γνωρίζουν Θεωρία Πληροφορίας και, αφού πιάσουν ένα περιστέρι με πιθανότητα α, αντί να το σκοτώσουν, αντικαθιστούν το σύμβολο ASCII που στέλνει το περιστέρι με ένα διαφορετικό (από τα 55 πιθανά). Το σύμβολο αντικατάστασης επιλέγεται με βάση ομοιόμορφη κατανομή. Ποια είναι η χωρητικότητα του καναλιού; Πώς θα μοντελοποιούσατε το κανάλι; (*δ) Αν οι αντίπαλοι μπορούν να πιάνουν όλα τα περιστέρια, αλλά δε θέλουν να ξέρουμε ότι τα έπιασαν (δηλαδή δεν τα σκοτώνουν, αλλά μπορούν να αλλάξουν το σύμβολο ASCII, αν θέλουν, πριν τα αφήσουν) τι είναι το χειρότερο (για εμάς) που μπορούν να κάνουν; 8. Υπάρχει περίπτωση η προσθήκη περισσότερων εισόδων στο κανάλι να ελαττώσει τη χωρητικότητά του; Cover & Thomas 7. Δείξτε ότι η προσθήκη μιας οποιασδήποτε γραμμής στον πίνακα μετάβασης ενός διακριτού καναλιού χωρίς μνήμη (δηλαδή η προσθήκη μίας νέας τιμής εισόδου) δεν μπορεί να ελαττώσει τη χωρητικότητά του. 9. Κανάλια (Τελικό Διαγώνισμα Θ. Π., Φεβρουάριος 8) Έστω [ ] ϵ ϵ P (ϵ) = ϵ ϵ ο πίνακας μετάβασης ενός δυαδικού συμμετρικού καναλιού με πιθανότητα σφάλματος ϵ. Επίσης, ορίζεται η πράξη ως εξής: a b = ( a)b + a( b).

4 (α) Να αποδείξετε ότι το κανάλι το οποίο έχει για πίνακα μετάβασης το γίνομενο P (ϵ )P (ϵ ) είναι ισοδύναμο με ένα δυαδικό συμμετρικό κανάλι του οποίου η πιθανότητα σφάλματος ισούται με ϵ ϵ. (β) Δώστε μια φυσική ερμηνεία της παρακάτω ανισότητας, καθώς και την απόδειξή της H(ϵ ϵ ) min ( H(ϵ ), H(ϵ )), εάν γνωρίζετε ότι ισχύουν οι ανισότητες:.5 ϵ ϵ.5 ϵ και.5 ϵ ϵ.5 ϵ. (γ) Να αποδείξετε ότι το κανάλι το οποίο έχει για πίνακα μετάβασης το γινόμενο P ν (ϵ) είναι ισοδύναμο με ένα δυαδικό συμμετρικό κανάλι του οποίου η πιθανότητα σφάλματος δίνεται από τη σχέση [ ( ϵ)ν ]. Σε αυτήν την περίπτωση, ποια είναι η χωρητικότητα του καναλιού;. Κατανομή πηγής (Επαναληπτική Εξέταση Θ. Π., Σεπτέμβριος 8) Σχήμα : Κανάλι προσθετικού θορύβου με κύκλωμα απόφασης (slicer) Θεωρούμε το κανάλι προσθετικού θορύβου του Σχήματος. Η (διακριτή) πηγή X παίρνει τιμές στο σύνολο {, +} και οι X i που αντιστοιχούν σε διαφορετικές χρονικές στιγμές i είναι ανεξάρτητες ομοίως κατανεμημένες (i.i.d.) Bern(p). O θόρυβος Z i είναι συνεχής ανεξάρτητη ομοίως κατανεμημένη τ.μ. (δηλαδή μια λευκή τυχαία διαδικασία διακριτού χρόνου με συνεχείς τιμές) και ακολουθεί ομοιόμορφη κατανομή στο διάστημα [ 4/, 4/]. To κύκλωμα απόφασης παράγει μια εκτίμηση Y i της X i με βάση την τιμή του αθροίσματος U i = X i +Z i. Όταν U i > α, Y i = +, αλλιώς Y i =. α R. Δίνεται ότι log (α) Σχεδιάστε ή δώστε μια έκφραση για τη συνάρτηση πυκνότητας πιθανότητας της i. (β) Σχεδιάστε ή δώστε μια έκφραση για τη συνάρτηση πυκνότητας πιθανότητας της U i εάν p = /. (γ) Έστω, ότι α [.5,.5]. Υπολογίστε τις δεσμευμένες πιθανότητες σφάλματος P e, = Pr{Y = + X = } και P e,+ = Pr{Y = X = +} ως συνάρτηση του α. p [, ] (και όχι, κατ ανάγκη, p = / όπως προηγουμένως). (δ) Έστω, τώρα, ότι α =. Υπολογίστε τις πιθανότητες σφάλματος P e, και P e,+. (ε) Για α =, δώστε ένα διακριτό μοντέλο για το κανάλι με είσοδο τη X και έξοδο την Y. Πρόκειται για κανάλι με η χωρίς μνήμη; Αιτιολογήστε την απάντησή σας. 4

5 (στ) Υπολογίστε τη χωρητικότητα του καναλιού που μοντελοποιήσατε στο προηγούμενο ερώτημα. Για ποια τιμή της p επιτυγχάνεται η χωρητικότητα;. Κανάλι (Επαναληπτική εξέταση Θ. Π., Σεπτέμβριος 9) Έστω X = Y = {,,, } τα σύμβολα εισόδου και εξόδου, αντιστοίχως, διακριτού καναλιού χωρίς μνήμη με πίνακα μετάβασης ϵ ϵ P = ϵ ϵ δ δ. δ δ Παρατηρήστε ότι όταν η είσοδος του καναλιού ανήκει στο X = {, } η έξοδος ανήκει στο Y = {, }. Ομοίως, για X = {, }, η έξοδος ανήκει στο Y = {, }. (α) Σχεδιάστε το διάγραμμα μετάβασης του καναλιού. (β) Υπολογίστε τη χωρητικότητα του καναλιού για ϵ = δ = /. (γ) Στη συνέχεια της άσκησης θεωρούμε ότι τα δ και ϵ μπορούν να πάρουν οποιεσδήποτε τιμές (όχι, πλέον, /). Έστω ότι, για την κατανομή εισόδου, p(x), ισχύει p()+p() = α και p()+p() = α. Δείξτε ότι για την αμοιβαία πληροφορία, I(X; Y ), μεταξύ της εισόδου, X, και της εξόδου, Y, του καναλιού P ισχύει I(X; Y ) = H(α) + αi(x; Y X X ) + ( α)i(x; Y X X ). Υπόδειξη: Θεωρήστε τ.μ. V η οποία υποδηλώνει εάν X X ή X X και χρησιμοποιήστε τη για να βρείτε εκφράσεις για την H(X) και H(X Y ). (δ) Δείξτε ότι η μεγιστοποίηση της αμοιβαίας πληροφορίας προκειμένου να υπολογίσουμε τη χωρητικότητα του καναλιού μπορεί να γίνει σε δύο βήματα: Στο πρώτο βήμα βρίσκουμε τις κατανομές p (x X X ) και p (x X X ) που μεγιστοποιούν τις I(X; Y X X ) και I(X; Y X X ), αντιστοίχως. Στο δεύτερο βήμα υπολογίζουμε την παράμετρο α που μεγιστοποιεί την I(X; Y ). Εάν C είναι η χωρητικότητα του καναλιού [ ] ϵ ϵ P = ϵ ϵ και C η χωρητικότητα του καναλιού [ δ δ P = δ δ ], εξηγήστε γιατί C max I(X; Y ) = max {H(α) + αc + ( α)c }. p(x) α (ε) Δείξτε ότι η χωρητικότητα, C, του καναλιού με πίνακα μετάβασης P ισούται με C = log ( C + C ). 5

6 . *Κανάλι Cover & Thomas 7. (Επαναληπτική Εξέταση Π. Θ. Θ. Π., Σεπτέμβριος 9) Θεωρούμε το διακριτό κανάλι χωρίς μνήμη με πίνακα μετάβασης P = (α) Σχεδιάστε το διάγραμμα του καναλιού. (β) Υπολογίστε τη χωρητικότητα του καναλιού και την κατανομή με την οποία αυτή επιτυγχάνεται. Εξηγήστε διαισθητικά γιατί μία από τις εισόδους του καναλιού (ποια;) δε χρησιμοποιείται όταν μεταδίδουμε με ρυθμό αυθαίρετα κοντά στη χωρητικότητα. Υπόδειξη: Eκμεταλλευτείτε κάποια συμμετρία στο κανάλι για να απλοποιήσετε τις πράξεις. (γ) Επαληθεύστε ότι η χωρητικότητα του καναλιού είναι η ίδια με αυτή του καναλιού διαγραφής (Binary Erasure Channel).. Χρήση διαγραφής από τον πομπό (Τελική Εξέταση Θ. Π., Φεβρουάριος ) Όπως είδαμε στο μάθημα, η χωρητικότητα του δυαδικού καναλιού διαγραφής (binary erasure channel - BEC) ισούται με C = α και επιτυγχάνεται με χρήση ομοιόμορφης κατανομής στον πομπό (Bern(/)). Στην άσκηση αυτή θα εξετάσουμε εάν έχει νόημα, εφόσον αυτό είναι εφικτό, ο πομπός να στέλνει όχι μόνο δύο σύμβολα (π.χ. και ), αλλά και ένα τρίτο σύμβολο διαγραφής. Στην άσκηση αυτή δε θα μας απασχολήσει σε τι αντιστοιχεί ένα σύμβολο διαγραφής στην πράξη και απλώς θα το δούμε ως ένα τρίτο σύμβολο εισόδου που έχουμε στη διάθεσή μας για τη μετάδοση. Συγκεκριμένα, θεωρούμε το διακριτό κανάλι χωρίς μνήμη του Σχήματος. Τα σύμβολα και διαγράφονται με πιθανότητα /, ενώ, αν στείλουμε διαγραφή, θεωρούμε ότι φτάνει πάντοτε στο δέκτη ως διαγραφή.. / E / E / / Σχήμα : Τροποποιημένο Κανάλι Διαγραφής με εισόδους. (α) Είναι το κανάλι συμμετρικό; Είναι το κανάλι ασθενώς συμμετρικό; 6

7 (β) Δώστε ένα άνω φράγμα, C UB, και ένα κάτω φράγμα, C LB, για τη χωρητικότητα του καναλιού. Το κάτω φράγμα που ζητείται πρέπει να είναι αυστηρώς μεγαλύτερο του.5: C LB >.5 bits. Με βάση τα όρια που βρήκατε, αν μας δίνεται η δυνατότητα, κερδίζουμε σε χωρητικότητα αν χρησιμοποιήσουμε και το ο σύμβολο διαγραφής στον πομπό; Yπόδειξη: Αν δυσκολεύεστε να βρείτε C LB >.5 bits, πιθανώς να σας βοηθήσει η απάντησή σας στο επόμενο Ερώτημα (γ). Σε περίπτωση που σας χρειαστεί, δίνεται ότι log.585 και ότι H(/) log ( ) log ( ).98 bits. (γ) Υπολογίστε τη χωρητικότητα, C, του καναλιού του Σχήματος, καθώς και την κατανομή πομπού, p (x), με την οποία επιτυγχάνεται. Υπόδειξη: Χρησιμοποιήστε τη συμμετρία του διαγράμματος μετάβασης του καναλιού για να απλοποιήσετε τις πράξεις (Προσοχή: Δε σημαίνει, απαραίτητα, ότι το κανάλι είναι συμμετρικό ή ασθενώς συμμετρικό). 4. Μη συμμετρικό Δυαδικό Κανάλι (Επαναληπτική Εξέταση Π. Θ. Θ. Π., Σεπτέμβριος ) Θεωρούμε το μη συμμετρικό δυαδικό κανάλι του Σχήματος 4. -p p X p Y -p Σχήμα 4: Το μη συμμετρικό δυαδικό κανάλι. Σε περίπτωση που σας χρειαστεί στην άσκηση, δίνεται ότι η χωρητικότητα του καναλιού Ζ ισούται με C log ( + ( f)f f/( f)), όπου f η πιθανότητα μετάβασης από το στο. (α) Δείξτε ότι το μη συμμετρικό δυαδικό κανάλι μπορει να γραφτεί ως διαδοχή ενός δυαδικού συμμετρικού καναλιού με πιθανότητα αναστροφής ψηφίου p και ενός καναλιού Ζ με πιθανότητα μετάβασης από το στο ίση με f. Δώστε εκφράσεις για τις παραμέτρους p και f συναρτήσει των p και p. (β) Δείξτε ότι για οποιοδήποτε κανάλι C που μπορεί να γραφτεί ως διαδοχή δύο καναλιών C και C, C min{c, C }, όπου C, C και C είναι οι χωρητικότητες των καναλιών C, C και C, αντιστοίχως. Επίσης, δώστε μια ικανή συνθήκη για να ισχύει η ισότητα, δηλαδή C = min{c, C }. 7

8 (γ) Με βάση τις απαντήσεις σας στα Ερωτήματα (α) και (β) βρείτε ένα άνω φράγμα για τη χωρητικότητα του μη συμμετρικού δυαδικού καναλιού. To άνω φράγμα πρέπει να είναι συνάρτηση των p και p. (δ) Bρείτε ένα κάτω φράγμα για τη χωρητικότητα του μη συμμετρικού δυαδικού καναλιού (χωρίς να χρησιμοποιήσετε, κατ ανάγκη, τα προηγούμενα ερωτήματα). Δε χρειάζεται να δώσετε αναλυτικές εκφράσεις. Αρκεί να εξηγήσετε πώς μπορεί να υπολογιστεί το κάτω φράγμα. 5. Δυαδικό συμμετρικό κανάλι με μεταβαλλόμενη πιθανότητα αναστροφής ψηφίου (Τελική Εξέταση Θ. Π., Φεβρουάριος ) Θεωρούμε ένα δυαδικό συμμετρικό κανάλι (BSC) με πιθανότητα αναστροφής ψηφίου p. Ωστόσο, η πιθανότητα αναστροφής ψηφίου μεταβάλλεται με το χρόνο, n. Συγκεκριμένα, η p n μπορεί να πάρει δύο πιθανές τιμές, p A και p B. Θεωρούμε, επίσης, χωρίς βλάβη της γενικότητας, ότι p A p B. Η διαδικασία p n είναι ανεξάρτητη και ομοίως κατανεμημένη (i.i.d.), δηλαδή η τιμή της τη χρονική στιγμή n δεν εξαρτάται από προηγούμενες χρονικές στιγμές και δεν επηρεάζει επόμενες χρονικές στιγμές. Έστω ότι Pr{p n = p A } = α = Pr{p n = p B }. (α) Εάν γνωρίζουμε την τιμή της p n τη χρονική στιγμή n, με τι ισούται η χωρητικότητα, C, του καναλιού τη χρονική στιγμή n; Θα ονομάσουμε την τιμή αυτή C(S n ) όπου S n = A ή B, ανάλογα με την τιμή της p n (p A ή p B, αντιστοίχως). Με ποια κατανομή εισόδου επιτυγχάνεται η χωρητικότητα; (β) Εάν χρησιμοποιήσουμε το κανάλι πάρα πολλές φορές (n ) και κάθε φορά γνωρίζουμε την τιμή της p n στον πομπό (η οποία, όμως, εξακολουθεί να μεταβάλλεται με τυχαίο τρόπο) ποιος είναι ο μέγιστος ρυθμός μετάδοσης που μπορούμε να επιτύχουμε; Δηλαδή, με τι ισούται η ποσότητα C perfect = lim n n n C(S n ); (γ) Έστω, τώρα, ότι δε γνωρίζουμε την τιμή της p n στον πομπό. Δείξτε ότι μπορούμε να μοντελοποιήσουμε το κανάλι ως ένα δυαδικό συμμετρικό κανάλι (BSC) με παράμετρο p. Δώστε μια έκφραση για την p συναρτήσει των α, p A και p B, καθώς και για τη χωρητικότητα, C no state info, εάν υποθέσουμε ότι χρησιμοποιούμε το κανάλι n φορές με n. (δ) Ποιος είναι ο μέγιστος ρυθμός, R conservative, με τον οποίο μπορούμε να μεταδώσουμε αν είμαστε συντηρητικοί και υποθέσουμε ότι η p n παίρνει πάντοτε τη (χειρότερη) τιμή p B ; Τι κατανομή εισόδου πρέπει να χρησιμοποιήσουμε; Συγκρίνετε με τη C no state info του προηγούμενου ερωτήματος. Υπάρχει περίπτωση να ισχύει R conservative = C no state info ; (ε) Αποδείξτε ότι C no state info C perfect. Eπομένως, γνώση της κατάστασης του καναλιού στον πομπό αυξάνει τη χωρητικότητα. Εάν α >, για ποιες τιμές των p A και p B ισχύει η ισότητα; i= 8

9 6. Ένας πομπός, πολλοί δέκτες (Π. Θ. Θ. Π. Τελική Εξέταση Ιουνίου ) Θεωρούμε έναν πομπό που μεταδίδει σε δύο δέκτες, όπως φαίνεται στο Σχήμα 5. Σε κάθε δέκτη προστίθεται πραγματικός Γκαουσιανός θόρυβος μηδενικής μέσης τιμής. Δηλαδή, Z N (, σ ) και, Z N (, σ ). Οι θόρυβοι είναι ανεξάρτητοι μεταξύ τους. Χωρίς βλάβη της γενικότητας, θεωρούμε ότι σ σ. Σχήμα 5: Μετάδοση σε δέκτες. (α) Αρχικά θεωρούμε ότι η ανίχνευση μπορεί να γίνει από κοινού (jointly) με χρήση των σημάτων και των δύο δεκτών. Δηλάδη οι δέκτες συνδέονται μεταξύ τους ή, ισοδύναμα, τα σήματά τους αποστέλλονται σε κάποιο κέντρο επεξεργασίας. Αν επιβάλουμε περιορισμό μέσης ισχύος στον πομπό E [X ] P και X R, βρείτε τη χωρητικότητα C joint του καναλιού μεταξύ του πομπού και των δύο δεκτών, καθώς και την κατανομή της X με την οποία επιτυγχάνεται. (β) Έστω ότι θέτουμε τον εξής περιορισμό στους δέκτες: Η αποκωδικοποιήση πρέπει να βασιστεί στο σήμα Ỹ = ay + ( a)y με δεδομένο a. Δηλαδή, αντί να έχουμε απευθείας πρόσβαση στο σήμα κάθε δέκτη (δηλαδή στο διάνυσμα Y = [Y Y ] T ), έχουμε πρόσβαση μόνο στο Ỹ. Βρείτε τη χωρητικότητα, C lin-comb, του καναλιού μεταξύ της X και της για δεδομένο a. Αλλάζει η απάντησή σας αν Ỹ = ay + by με a >, b > και a + b = c >, όπου c σταθερά; (γ) Επιλέξτε την τιμή του a που μεγιστοποιεί τη C lin-comb και συγκρίνετε με την απάντησή σας στο Ερώτημα (α). Σχολιάστε. (δ) Βρείτε το μέγιστο ρυθμό μετάδοσης, Cseparate = Cseparate, + Cseparate,, που μπορούμε να πετύχουμε αν η αποκωδικοποίηση πρέπει να γίνει ξεχωριστά σε κάθε δέκτη, αν, δηλαδή, δεν επιτρέπεται συνεργασία (από κοινού αποκωδικοποίηση). Συγκρίνετε με το αποτέλεσμα του Ερωτήματος (α). 9

10 7. Ασθενώς Συμμετρικά Διακριτά Κανάλια Χωρίς Μνήμη (Τελική Εξέταση Θ. Π., Φεβρουάριος ) Όπως γνωρίζουμε, τα ασθενώς συμμετρικά διακριτά κανάλια χωρίς μνήμη αποτελούν μία υποκατηγορία του συνόλου των διακριτών καναλιών χωρίς μνήμη. Επομένως, περιμένουμε ότι, στη γενική περίπτωση, για κανάλι με δεδομένο αριθμό εισόδων, X, και δεδομένο αριθμό εξόδων, Y, η μέγιστη χωρητικότητα ενός ασθενώς συμμετρικού καναλιού χωρίς μνήμη είναι μικρότερη από τη χωρητικότητα ενός καναλιού χωρίς μνήμη που δεν υπόκειται στον περιορισμό να είναι ασθενώς συμμετρικό. (α) Δείξτε ότι το άθροισμα των στοιχείων κάθε στήλης του πίνακα μετάβασης ασθενώς συμμετρικού καναλιού X εισόδων και Y εξόδων ισούται με X Y. (β) Στη συνέχεια της άσκησης θεωρούμε ασθενώς συμμετρικά κανάλια με εισόδους και εξόδους. Δείξτε ότι i. Υπάρχει τουλάχιστον μία στήλη του πίνακα μετάβασης της οποίας και τα δύο στοιχεία ισούνται με. ii. Mπορούμε να εκφράσουμε τον πίνακα μετάβασης οποιουδήποτε ασθενώς συμμετρικού καναλιού με X = και Y = συναρτήσει μίας παραμέτρου q (εάν επιτρέπεται να αλλάξουμε την αρίθμηση των εξόδων και, επομένως, να ανταλλάξουμε στήλες του πίνακα μετάβασης, εφόσον το επιθυμούμε). Επίσης, δώστε την έκφραση για τον πίνακα μετάβασης. Μπορείτε, χωρίς βλάβη της γενικότητας, να υποθέσετε ότι η στήλη της οποίας και τα δύο στοιχεία ισούνται με είναι η πρώτη. Υπόδειξη: Η κάθε γραμμή έχει στοιχεία, αλλά χρειαζόμαστε παραμέτρους για να τα περιγράψουμε (γιατί;). Οπότε, συνολικά, χρειαζόμαστε 4 παραμέτρους για να περιγράψουμε τα στοιχεία του πίνακα. Ωστόσο, υπάρχουν επιπλέον περιορισμοί. Η πρώτη γραμμή να είναι αναδιάταξη της δεύτερης (άρα μειώνουμε την περιγραφή κατά παραμέτρους) και, επίσης, το άθροισμα των στοιχείων σε κάθε στήλη να είναι σταθερό. Επίσης, χρησιμοποιήστε το αποτέλεσμα του Ερωτήματος (α). (γ) Εξηγήστε, κατ αρχάς, γιατί η αλλαγή αρίθμησης των εξόδων ενός καναλιού (ή, ισοδύναμα, η ανταλλαγή στηλών του πίνακα μετάβασής του) δεν επηρεάζει την τιμή της χωρητικότητάς του. Επομένως, μπορούμε να υποθέσουμε, χωρίς βλάβη της γενικότητας, ότι η στήλη του πίνακα μετάβασης της οποίας και τα δύο στοιχεία ισούνται με είναι η πρώτη. Χρησιμοποιώντας τη γενική μορφή του πίνακα μετάβασης που βρήκατε στο προηγούμενο ερώτημα βρείτε ποια είναι η μέγιστη χωρητικότητα ενός ασθενώς συμμετρικού καναλιού χωρίς μνήμη με εισόδους και εξόδους. Δώστε τον πίνακα (ή τους πίνακες) μετάβασης των καναλιών με μέγιστη χωρητικότητα, καθώς και μία κατανομή με την οποία επιτυγχάνεται η χωρητικότητα. Συγκρίνετε την τιμή που βρήκατε για τη μέγιστη χωρητικότητα με τη μέγιστη χωρητικότητα, C max, ενός καναλιού εισόδων και εξόδων (όχι, απαραιτήτως, συμμετρικού ή ασθενώς συμμετρικού). Δηλαδή C max = max {C s : s S},

11 όπου C s είναι η χωρητικότητα του καναλιού s και S είναι το σύνολο όλων των διακριτών καναλιών χωρίς μνήμη εισόδων και εξόδων. 8. To be or not to be (symmetric)? (Τελική Εξέταση Θ. Π., Ιανουάριος ) Σημείωση: Αρχικά η άσκηση είχε περισσότερα ερωτήματα, αλλά αφαιρέθηκαν γιατί υπήρχε κάποιο λάθος και οι πράξεις ήταν χρονοβόρες. Σε αυτή την άσκηση θα ασχοληθούμε με το εξής ερώτημα. Εάν θεωρήσουμε ένα δυαδικό κανάλι, θέλουμε να είναι συμμετρικό ή, αντιθέτως, θέλουμε να είναι (εντόνως) μη συμμετρικό; Έστω το μη συμμετρικό δυαδικό κανάλι του Σχήματος 6. -p p X p Y -p Σχήμα 6: Μη συμμετρικό δυαδικό κανάλι. Μπορεί να αποδειχτεί (το έκαναν συνάδελφοί σας σε διαγώνισμα πριν από κάποια χρόνια), ότι ένα μη συμμετρικό δυαδικό κανάλι μπορεί να γραφτεί ως διαδοχή ενός συμμετρικού δυαδικού καναλιού και ενός καναλιού Ζ, όπως φαίνεται στο Σχήμα 7. -p p X p Z f Y -p -f Σχήμα 7: Μη συμμετρικό δυαδικό κανάλι ως διαδοχή συμμετρικού δυαδικού καναλιού και καναλιού Ζ. Εάν υποθέσουμε, χωρίς βλάβη της γενικότητας, ότι p p, αποδεικνύεται ότι p f = p p και p =. + p p Eπίσης, αποδεικνύεται αυστηρώς αυτό που περιμένουμε διασθητικά, ότι, δηλαδή, η χωρητικότητα του καναλιού που αποτελείται από διαδοχή των δύο καναλιών δεν μπορεί να υπερβαίνει τη χωρητικότητα οποιουδήποτε από τα επί μέρους κανάλια. Επομένως, η χωρητικότητα του μη συμμετρικού δυαδικού καναλιού δεν μπορεί να υπερβαίνει τη χωρητικότητα του συμμετρικού δυαδικού καναλιού με παράμετρο p.

12 Έστω ότι ξεκινάμε με p = p. Στη συνέχεια, αρχίζουμε και αυξάνουμε το p ώστε να καταστήσουμε το κανάλι μη συμμετρικό. Πώς επηρεάζεται η χωρητικότητά του; Με βάση το αποτέλεσμα, για δεδομένο p, προτιμάτε συμμετρικό ή μη συμμετρικό δυαδικό κανάλι; Υπόδειξη: Εκφράστε το p συναρτήσει της παραμέτρου f και παρατηρήστε ότι η f παίρνει τιμές από έως p. 9. Χωρητικότητα καναλιών (Π. Θ. Θ. Π., Ιούνιος ) Στην άσκηση αυτή ζητείται να συγκρίνετε χωρητικότητες καναλιών και να υπολογίσετε φράγματα. Υπόδειξη: Τα δύο ερωτήματα είναι (σχετικά) ανεξάρτητα μεταξύ τους. (α) Θεωρήστε το κανάλι διαγραφής του Σχήματος 8 με μη συμμετρικές πιθανότητες διαγραφής. Χωρίς βλάβη της γενικότητας, έστω ότι β α. Σχήμα 8: Δυαδικό κανάλι με μη συμμετρικές πιθανότητες διαγραφής. Δείξτε ότι η χωρητικότητα του καναλιού, έστω C(α, β), ικανοποιεί τη σχέση C Z (α) C(α, β) α, όπου C Z (α) η χωρητικότητα του καναλιού Z με πιθανότητα αναστροφής συμβόλου α. Υπόδειξη: Δημιουργήστε κάποια ενδιάμεσα κανάλια και χρησιμοποιήστε την Ανισότητα Επεξεργασίας Δεδομένων. (β) Θεωρήστε το δυαδικό κανάλι διαγραφής με συμμετρικές πιθανότητες διαγραφής (BEC) του Σχήματος 9(α). Ζητείται να αποδείξετε ότι C BEC (α) C BSC (α/) για όλες τις τιμές της παραμέτρου α, όπου C BSC (α/) είναι η χωρητικότητα του δυαδικού συμμετρικού καναλιού του Σχήματος 9(β) (BSC) με πιθανότητα αναστροφής ψηφίου ίση με α/. Πότε ισχύει η ισότητα;

13 Σχήμα 9: BEC και BSC με f = α/. Παρατηρήστε ότι, παρόλο που στο BEC γνωρίζουμε πότε έχει συμβεί διαγραφή, στο BSC τα σύμβολα μεταδίδονται αυτούσια με μεγαλύτερη πιθανότητα, οπότε δεν είναι προφανές ότι C BEC (α) C BSC (α/). Υπόδειξη: Για να αποφύγετε πράξεις, εκφράστε το BSC ως διαδοχή του BEC του Σχήματος 9(α) και ενός δεύτερου καναλιού χωρίς μνήμη με κατάλληλες παραμέτρους. Στη συνέχεια, χρησιμοποιήστε την Ανισότητα Επεξεργασίας Δεδομένων.. Δύο συμμετρικά κανάλια (Τελική Εξέταση Θ. Π., Φεβρουάριος 4) Θεωρούμε ένα διακριτό κανάλι χωρίς μνήμη με μία είσοδο και δύο εξόδους, όπως φαίνεται στο Σχήμα. Χ -f -f f f f -f -f f Υ Υ Σχήμα : Δύο ανεξάρτητα BSC με κοινή είσοδο. Ο πομπός έχει στη διάθεσή του δύο σύμβολα, έστω X = και X = και συνδέεται με κάθε δέκτη μέσω δυαδικού συμμετρικού καναλιού (BSC) με παράμετρο f. Θε-

14 ωρούμε, επίσης, ότι Y και Y Y = {, }. Παρόλο που τα δύο BSC έχουν την ίδια παράμετρο αντιστροφής ψηφίου, f, είναι μεταξύ τους ανεξάρτητα, δηλαδή p(y, y x) = p(y x) p(y x). (α) Έστω ότι στο τέλος κάθε χρονικής στιγμής, n, μπορούμε να κοιτάζουμε την έξοδο μόνο ενός καναλιού (όποιου θέλουμε εμείς), όπως φαίνεται στο Σχήμα. Ποιος είναι ο μέγιστος ρυθμός μετάδοσης, έστω C, που μπορούμε να επιτύχουμε; Ποια είναι η κατανομή εισόδου που πρέπει να χρησιμοποιήσουμε; BSC Y Χ BSC Y Y Σχήμα : Επιλογή μίας από τις δύο εξόδους. (β) Έστω, τώρα, ότι μπορούμε να παρατηρούμε και τις δύο εξόδους, Y και Y. Ποιος είναι ο μέγιστος ρυθμός μετάδοσης, έστω C, που μπορούμε να επιτύχουμε; Ποια είναι η κατανομή εισόδου που πρέπει να χρησιμοποιήσουμε; Χ BSC Y BSC Y Χρήση και των δύο εξόδων Σχήμα : Χρήση και των δύο εξόδων. Υπόδειξη: Μεγιστοποιήστε την I(X; Y, Y ). Η επίλυση απλοποιείται αν χρησιμοποιήσετε κάποια συμμετρία που υπάρχει στο πρόβλημα. Επίσης, ενδέχεται να σας βοηθήσει η χρήση της Αρχής Διαχωρισιμότητας της Εντροπίας και η χρήση της παραμέτρου g f( f). Προσοχή! Οι Y και Y δεν είναι ανεξάρτητες (εκτός αν f = /). Είναι ανεξάρτητες δεδομένης της εισόδου, X. (γ) Δείξτε ότι, για f <, C > C. Δηλαδή, ισχύει αυτό που περιμέναμε διαισθητικά: Χρήση και των δύο εξόδων οδηγεί σε αύξηση της χωρητικότητας. 4

15 Eνδεικτικές Λύσεις. *Τα κανάλια με μνήμη έχουν μεγαλύτερη χωρητικότητα Cover & Thomas 7. (τροποποιημένη) Θεωρήστε το κανάλι Y i = X i Z i, όπου πρόσθεση modulo- (XOR). Οι μεταβλητές X i και Y i είναι δυαδικές, αλλά όχι, κατ ανάγκη, ομοίως κατανεμημένες. Έστω, επίσης, ότι η Z i έχει σταθερή μάζα πυκνότητας πιθανότητας Pr{Z i = } = p = Pr{Z i = }. Ωστόσο, οι Z, Z,..., Z n δεν είναι, κατ ανάγκη, ανεξάρτητες. (α) Δώστε ένα σχεδιάγραμμα του καναλιού. Μοιάζει με κάποιο γνωστό σας κανάλι; Σε τι διαφέρει (αν διαφέρει); Σχήμα : Σχήμα για την Άσκηση 7. των Cover & Thomas Ένα σχεδιάγραμμα του καναλιού δίνεται στο Σχήμα. Πρόκειται για το δυαδικό συμμετρικό κανάλι, με τη διαφορά ότι στο δυαδικό συμμετρικό κανάλι οι πιθανότητες αναστροφής είναι ανεξάρτητες μεταξύ διαφορετικών χρήσεων του καναλιού. (β) Εάν οι Z i είναι ανεξάρτητες, αν, δηλαδή, το κανάλι δεν έχει μνήμη, ποια είναι η χωρητικότητά του και με ποια κατανομή p(x) επιτυγχάνεται; Ονομάστε αυτή τη χωρητικότητα C. Εάν το κανάλι δεν έχει μνήμη, ταυτίζεται, δηλαδή, με το δυαδικό συμμετρικό κανάλι, η χωρητικότητά του ισούται με C = H(p). (γ) Επιστρέφοντας στη γένική περίπτωση όπου οι Z, Z,..., Z n δεν είναι, κατ ανάγκη, ανεξάρτητες, δείξτε ότι, εάν η είσοδος είναι ανεξάρτητη και ομοίως κατανεμημένη Bern(/), I(X, X,..., X n ; Y, Y,..., Y n ) nc, όπου C η χωρητικότητα του καναλιόύ χωρίς μνήμη του Ερωτήματος (β). 5

16 Μπορούμε να γράψουμε I(X, X,..., X n ; Y, Y,..., Y n ) = H(X, X,..., X n ) H(X, X,..., X n Y, Y,..., Y n ) (α) = H(X, X,..., X n ) H(Z, Z,..., Z n Y, Y,..., Y n ) (β) H(X, X,..., X n ) H(Z, Z,..., Z n ) (γ) H(X, X,..., X n ) H(Z i ) = H(X, X,..., X n ) nh(p) (δ) = n nh(p) = nc. (α) Y i = X i Z i X i = Y i Z i, (β) η υπό συνθήκη εντροπία δεν υπερβαίνει την εντροπία, (γ) η από κοινού εντροπία δεν υπερβαίνει το άθροισμα των επί μέρους εντροπιών, (δ) Οι X i είναι i.i.d. και ακολουθούν κατανομή Bernoulli(/). (δ) Με βάση το Ερώτημα (γ), συμπεράνετε ότι, για τη χωρητικότητα του καναλιού με μνήμη C n max p(x) I(X, X,..., X n ; Y, Y,..., Y n ), ισχύει C C. Στο προηγούμενο ερώτημα δείξαμε ότι, για X i i.i.d, Bern(/), I(X, X,..., X n ; Y, Y,..., Y n ) nc. Επομένως, C = n max I p (X, X,..., X n ; Y, Y,..., Y n ) p(x) n I p(x)=i.i.d Bern(/) (X, X,..., X n ; Y, Y,..., Y n ) C. (ε) Δώστε μια διαισθητική αιτιολόγηση για το αποτέλεσμα που αποδείξατε στο Ερώτημα (δ), ότι, δηλαδή, η χωρητικότητα των καναλιών χωρίς μνήμη δεν μπορεί να υπερβεί τη χωρητικότητα των αντίστοιχων καναλιών με μνήμη. Σε κανάλια χωρίς μνήμη, γνώση των εξόδων κατά τις χρονικές στιγμές,,..., n δε μας παρέχει καμία πληροφορία για τη χρονική στιγμή n. Αντίθετα, η συμπεριφορά καναλιών με μνήμη εξαρτάται σε κάποιο βαθμό από τις προηγούμενες εισόδους (και εξόδους). Επομένως, έχουμε κάποια πληροφορία για το πώς θα συμπεριφερθεί το κανάλι, γεγονός το οποίο οδηγεί σε αύξηση της χωρητικότητας.. Χωρητικότητα καναλιού modulo Cover & Thomas 7.4 Θεωρούμε το κανάλι Y = X+Z (mod ), και Z Unif{,, } και X = {,,..., }. Υπενθύμιση: mod a: To υπόλοιπο της διαίρεσης του X με το a. 6

17 (α) Βρείτε τη χωρητικότητα του καναλιού. C = max p(x) I(X; Y ) = max p(x) {H(Y ) H(Y X)}. H(Y X) = H(X + Z (mod ) X) = H(Z X) = H(Z) = log. Επομένως, C = max p(x) I(X; Y ) = max p(x) H(Y ) log = log log = log bits. Ένας άλλος τρόπος υπολογισμού της χωρητικότητας είναι παρατηρώντας ότι το κανάλι είναι συμμετρικό. (β) Ποια είναι η βέλτιστη κατανομή p (x) που επιτυγχάνει τη χωρητικότητα; H κατανομή που επιτυγχάνει τη χωρητικότητα είναι η ομοιόμορφη στο X. Δηλαδή, p (x) =, x X.. Το κανάλι Ζ Cover & Thomas 7.8 Έστω κανάλι Z με πίνακα μετάβασης [ ] P = / / X, Y {, }. Βρείτε τη χωρητικότητα του καναλιού, καθώς και την κατανομή εισόδου με την οποία επιτυγχάνεται η χωρητικότητα. Έστω p = Pr{X = }. Επομένως, με χρήση του πίνακα μετάβασης μπορούμε να γράψουμε: H(Y X) = Pr{X = } H(Y X = ) + Pr{X = } H(Y X = ) = ( p) + p H(/) = p. Pr{Y = } = Pr{X = } = p Συνεπώς, H(Y ) = H(p/). I(X; Y ) = H(Y ) H(Y X) = H(p/) p. Γνωρίζουμε ότι, για δεδομένη p(y x), η I(X; Y ) είναι κοίλη ( ) συνάρτηση της p(x). Επομένως, εάν υπάρχει p τέτοιο ώστε d I(X; Y ) =, η κατανομή { dp p, p } επιτυγχάνει τη χωρητικότητα. Εάν d I(X; Y ) για p [, ], η χωρητικότητα επιτυγχάνεται dp για p = ή p =. d dp I(X; Y ) = d {H(p/) p} dp = log p p p log e + log ( p/) + ( p/) p/ log e = log p/ p/ = log p/ p/ p/ = p 5p/ = p = 5. 7 = p/ p/ = 4

18 H χωρητικότητα ισούται με H ( ) /5. bits. 4. Χρονικώς Μεταβαλλόμενα Κανάλια Cover & Thomas 7. Θεωρούμε το χρονικώς μεταβαλλόμενο κανάλι του Σχήματος 4. Οι Y, Y,..., Y n είναι υπό συνθήκη ανεξάρτητες δεδομένων των X, X,..., X n με υπό συνθήκη κατανομή μάζας πιθανότητας p(y x) = n i= p i(y i x i ). Έστω X = (X, X,..., X n ), Y = (Y, Y,..., Y n ). Βρείτε τη max p(x) I(X; Y). Σχολιάστε την τιμή της χωρητικότητας και την κατανομή με την οποία αυτή επιτυγχάνεται. Σχήμα 4: Xρονικώς Μεταβαλλόμενο BSC. Δεδομένου ότι το κανάλι μεταβάλλεται, δεν έχει νόημα να χρησιμοποιήσουμε την I(X; Y ).¹ Θα χρησιμοποιήσουμε την I(X n ; Y n ). Μπορούμε, δηλαδή, να δούμε το κανάλι ως ένα κανάλι χωρίς μνήμη με n εισόδους και n εξόδους στο οποίο η κάθε είσοδος i συνδέεται μόνο με την έξοδο i μέσω ενός BSC με πιθανότητα αναστροφής ψηφίου p i. Για το κανάλι αυτό, I(X n, Y n ) = H(Y n ) H(Y n X n ) (i) n = H(Y n ) H(Y i X i ) (ii) = (iii) i= n H(Y i ) i= n H(Y i X i ) i= n (H(Y i ) H(Y i X i )) i= n ( H(p i )) = n i= n H(p i (y i x i )). (i) Από το γεγονός ότι οι Y, Y,..., Y n είναι υπό συνθήκη ανεξάρτητες δεδομένων των X, X,..., X n. (ii) από το άνω φράγμα για την από κοινού εντροπία (iii) Για BSC με πιθανότητα αναστροφής ψηφίου p i, I(X i ; Y i ) H(p i ) = C i. Η ισότητα στην παραπάνω σχέση ικανοποιείται όταν οι Y i είναι ανεξάρτητες, όταν, δηλαδή, είναι ανεξάρτητες και οι X i. Επίσης, πρέπει οι X i να ακολουθούν ομοιόμορφη ¹Θα μπορούσαμε να χρησιμοποιήσουμε την I(X; Y ) για κάθε τιμή της p αν τα p i επαναλαμβάνονται, δηλαδή, για παράδειγμα, αν p i+nk = p i. Ωστόσο αυτό δεν ισχύει, απαραιτήτως, στην άσκηση. i= 8

19 κατανομή (p i = / για όλα τα i). Συνεπώς, max I(X n, Y n ) = n n H(p i (y i x i )). Eπομένως, η χωρητικότητα του καναλιού είναι n n i= H(p i(y i x i )) bits/(n μεταδόσεις) ή n n i= H(p i(y i x i )) bits ανά χρήση του καναλιού και επιτυγχάνεται με χρήση βιβλίων κωδίκων που κατασκευάζονται με ρίψη αμερόληπτου και i.i.d. κέρματος. 5. Κανάλια με εξάρτηση μεταξύ των συμβόλων Cover & Thomas 7.4 Θεωρήστε το εξής κανάλι το οποιο χρησιμοποιεί δυαδικό αλφάβητο, παίρνει ως είσοδο σύμβολα των bits και παράγει ως έξοδο σύμβολα των bits σύμφωνα με την ακόλουθη απεικόνιση:,, και. Επομένως, εάν η είσοδος στο κανάλι είναι η ακολουθία, η έξοδος είναι με πιθανότητα. Συμβολίζουμε τα δύο σύμβολα εισόδου με X, X και τα δύο σύμβολα εξόδου με Y, Y. (α) Yπολογίστε την αμοιβαία πληροφορία I(X, X ; Y, Y ) συναρτήσει της κατανομής εισόδου επάνω στα 4 πιθανά ζεύγη εισόδου. Αν θεωρήσουμε το κανάλι με 4 εισόδους (των bits η καθεμία) και 4 εξόδους (των bits), σε κάθε είσοδο αντιστοιχεί μόνο μια έξοδος. Επομένως, H(Y, Y X, X ) =. Συνεπώς, I = H(Y, Y ) H(Y, Y X, X ) = H(Y, Y ) = H(X, X ) = H(p), i= όπου p η κατανομή των 4 συμβόλων εισόδου. (β) Δείξτε ότι η χωρητικότητα ανά μετάδοση ζεύγους ψηφίων ισούται με bits. Από το άνω φράγμα για την εντροπία, H(p) bits. H ισότητα ισχύει όταν p = [/4, /4, /4, /4]. Συνεπώς, η χωρητικότητα ανά μετάδοση ζεύγους ψηφίων ισούται με bits. (γ) Δείξτε ότι, για την κατανομή εισόδου που επιτυγχάνει τη χωρητικότητα στο προηγούμενο ερώτημα, I(X ; Y ) =. Επομένως, η κατανομή στις ακολουθίες εισόδου που επιτυγχάνει τη χωρητικότητα δε μεγιστοποιεί απαραιτήτως την αμοιβαία πληροφορία μεταξύ μεμονωμένων συμβόλων εισόδου και των αντίστοιχων εξόδων. Mε επισκόπηση (ή με χρήση του θεωρήματος ολικής πιθανότητας, αν θέλουμε να είμαστε πιο αυστηροί), παρατηρούμε ότι, αν εξετάσουμε τη μετάδοση ανά bit, αν χρησιμοποιήσουμε και τα 4 σύμβολα των bits με την ίδια πιθανότητα, σε επίπεδο bit το κανάλι συμπεριφέρεται ως BSC με πιθανότητα αναστροφής ψηφίου ίση με /. Συνεπώς, I(X; Y ) = H(/) =. 6. Κωδικοποιητής και Αποκωδικοποιητής ως μέρος του καναλιού Cover & Thomas 7.6 Θεωρήστε Δυαδικό Συμμετρικό Κανάλι (BSC) με πιθανότητα αναστροφής ψηφίου (crossover probability).. Ένα πιθανό σχήμα κωδικοποίησης για αυτό το κανάλι το 9

20 οποίο χρησιμοποιεί δύο κωδικές λέξεις μήκους είναι να κωδικοποιήσουμε το μήνυμα a ως και το μήνυμα a ως. Εάν χρησιμοποιούμε αυτόν τον κώδικα, μπορούμε να θεωρήσουμε ότι ο συνδυασμός κωδικοποιητή, καναλιού και αποκωδικοποιητή αποτελεί ένα νέο BSC με δύο εισόδους a και a και δύο εξόδους a και a. (α) Βρείτε την πιθανότητα αναστροφής για το νέο κανάλι. Ο αποκωδικοποιητής αποφασίζει ποιο από τα δύο σύμβολα μεταδόθηκε ( ή ) μετρώντας τα και τα στη ληφθείσα τριάδα. Αποδεικνύεται ότι ο κανόνας ML είναι η απόφαση να γίνει με βάση την πλειοψηφία των συμβόλων. Δηλαδή όταν λαμβάνονται τρία ή δύο ο δέκτης αποφασίζει, αλλιώς αποφασίζει (μπορείτε να το αποδείξετε ή να δείτε π.χ. τις διαλέξεις του ου μέρους του μαθήματος Θεωρία Πληροφορίας ). Συνεπώς, η πιθανότητα σφάλματος ισούται με P e = Pr{}P e + Pr{}P e. Λόγω συμμετρίας, P e = P e. Επομένως, P e = P e = Pr{ } + Pr{ } + Pr{ } + Pr{ } = p + p ( p) =.8. (β) Ποια είναι η χωρητικότητα του νέου καναλιού σε bits ανά χρήση του αρχικού καναλιού; To νέο κανάλι είναι ένα BSC με πιθανότητα μετάβασης.8. Συνεπώς, C = H(.8) bits/ χρήσεις =.79 bits/χρήση καναλιού. Η χωρητικότητα επιτυγχάνεται χρησιμοποιώντας τα και με την ίδια πιθανότητα. (γ) Ποια είναι η χωρητικότητα του αρχικού BSC με πιθανότητα αναστροφής.; Η χωρητικότητα του αρχικού BSC ισούται με C = H(.) =.5 bits/χρήση καναλιού. Συνεπώς, με τη χρήση του σχήματος επανάληψης, η χωρητικότητα μειώνεται. (δ) Αποδείξτε το εξής γενικό αποτέλεσμα: Για οποιοδήποτε κανάλι, εάν θεωρήσουμε από κοινού τον κωδικοποιητή, το κανάλι και τον αποκωδικοποιητή ως ένα νέο κανάλι με είσοδο μηνύματα και έξοδο εκτιμώμενα μηνύματα, η χωρητικότητα σε bits ανά χρήση του αρχικού καναλιού δεν μπορεί να αυξηθεί. Έστω W το μήνυμα στην είσοδο του κωδικοποιητή και η συνάρτηση κωδικοποίησης f(w ) που αντιστοιχίζει το W στην n-άδα X n. Στο δέκτη, έστω συνάρτηση g(y n ) που παράγει την εκτίμηση Ŵ. Επομένως, W Xn Y n Ŵ. Aπό την ανισότητα επεξεργασίας δεδομένων, I(W ; Ŵ ) I(Xn ; Y n ). Άρα, για οποιοδήποτε κανάλι, εάν θεωρήσουμε από κοινού τον κωδικοποιητή, το κανάλι και τον αποκωδικοποιητή ως ένα νέο κανάλι με είσοδο μηνύματα και έξοδο εκτιμώμενα μηνύματα, η χωρητικότητα σε bits ανά χρήση του αρχικού καναλιού δεν μπορεί να αυξηθεί.

21 7. *Χωρητικότητα καναλιού Ταχυδρομικών περιστεριών (Προχωρημένα Θέματα Θεωρίας Πληροφορίας) Cover & Thomas 7.9 (τροποποιημένη) Σχετικά Δύσκολη Μια ομάδα αποκλεισμένων μαχητών επικοινωνεί με τους συμμάχους τους με χρήση ταχυδρομικών περιστεριών. Θεωρούμε ότι κάθε ταχυδρομικό περιστέρι μπορεί να μεταφέρει ένα σύμβολο ΑSCII (8 bits), ότι ένα περιστέρι στέλνεται κάθε 5 λεπτά της ώρας και ότι χρειάζεται πάντα ακριβώς λεπτά της ώρας για να φτάσει στον προορισμό του. (α) Εάν όλα τα περιστέρια καταφέρνουν να φτάσουν στον προορισμό τους, ποια είναι η χωρητικότητα του καναλιού σε bits/ώρα; Δεδομένου ότι κάθε 5 λεπτά λαμβάνουμε 8 bits, η χωρητικότητα του καναλιού ισούται με 8 6/5 = 96 bits/ώρα. Ο χρόνος που χρειάζεται το περιστέρι για να φτάσει στον προορισμό του δεν επηρεάζει το αποτέλεσμα γιατί, μετά από την αρχική μεταβατική περίοδο, ο ρυθμός μετάδοσης πληροφορίας θα είναι σταθερός. (β) Έστω ότι ο παραλήπτης γνωρίζει ότι τα περιστέρια στέλνονται με σταθερό ρυθμό, οπότε μπορεί να ανιχνεύσει εάν ένα περιστέρι δε φτάνει στον προορισμό του. Εάν οι αντίπαλοι καταφέρνουν να σκοτώνουν ποσοστό α των περιστεριών, ποια είναι η χωρητικότητα του καναλιού; Πώς θα μοντελοποιούσατε το κανάλι; Πρόκειται για 56-αδικό κανάλι διαγραφής (erasure channel). Καθένα από τα 56 σύμβολα ASCII είτε φτάνει στον προορισμό με πιθανότητα α ή διαγράφεται με πιθανότητα α. Μπορούμε να υπολογίσουμε τη χωρητικότητα ξεκινώντας από τις κατανομές των X και Y. Έστω p i = Pr{X = i}. Επομένως, Pr{Y = i} = ( α)p i για i =,..., 55 και Pr{Y = E} = ( p i ) α = α, όπου E το ενδεχόμενο διαγραφής (δηλαδή να σκοτωθεί το περιστέρι). Παρατηρούμε ότι H(Y X) = H(α). Για την H(Y ), [ ] 55 H(Y ) = E = ( α)p i log( α)p i α log α log p(y ) = ( α) i [ i= p i (log( α) + log p i ) α log α = ( α) log( α) + ] p i log p i α log α i = ( α) log( α) α log α + ( α)h(p) = H(α) + ( α)h(p). Το αποτέλεσμα θα μπορούσε να προκύψει κατευθείαν και με αρχή διαχωρισιμότητας εντροπίας, χρησιμοποιώντας μια βοηθητική τ.μ. E η οποία ισούται με όταν συμβαίνει διαγραφή, και με όταν τα περιστέρια φτάνουν στον προορισμό τους. Δεδομένου ότι η κατανομή που μεγιστοποιεί την H(p) είναι η ομοιόμορφη, max H(p) = ( α)8 bits/περιστέρι. Συνεπώς, C = max p(x) I(X; Y ) = max H(Y ) H(Y X) = 8( α) + H(α) H(α) p(x) = 8( α) bits/περιστέρι = 96( α) bits/ώρα

22 Εναλλακτικά, η χωρητικότητα μπορεί να βρεθεί μεγιστοποιώντας την H(X): C = max p(x) (H(X) H(X Y )) (δοκιμάστε το ως άσκηση). (*γ) Θεωρούμε, τώρα, ότι οι αντίπαλοι γνωρίζουν Θεωρία Πληροφορίας και, αφού πιάσουν ένα περιστέρι με πιθανότητα α, αντί να το σκοτώσουν, αντικαθιστούν το σύμβολο ASCII που στέλνει το περιστέρι με ένα διαφορετικό (από τα 55 πιθανά). Το σύμβολο αντικατάστασης επιλέγεται με βάση ομοιόμορφη κατανομή. Ποια είναι η χωρητικότητα του καναλιού; Πώς θα μοντελοποιούσατε το κανάλι; Κάθε σύμβολο παραμένει το ίδιο με πιθανότητα α ή μεταβαίνει σε ένα από τα άλλα σύμβολα με πιθανότητα α/55. Επομένως, Pr{Y = i X} = α εάν X = i, αλλιώς Pr{Y = i X} = α/55. Ομοίως με το Ερώτημα (β), 54 H(Y X) = ( α) log( α) (α/55) log(α/55) i= = ( α) log( α) α log(α/55). H I(X; Y ) = H(Y ) H(Y X) μεγιστοποιείται όταν η H(Y ) είναι ομοιόμορφη. Ωστόσο, πρέπει να εξετάσουμε εάν υπάρχει τρόπος να επιτύχουμε ομοιόμορφη κατανομή στην έξοδο για κάποια p(x). Αν επιλέξουμε ομοιόμορφη X, p(y) = p(x i, y) = p(x i )p(y x i ) = 56 i= i= 55 i= p(y x i ) = 56, δεδομένου ότι, αν y = x i, p(y x i ) = α, ενώ αν y x i, p(y x i ) = α. Συνεπώς, i= p(y x i) = α + 55 α = (Προσοχή! Γενικά, 55 x p(y x) ). Επομένως, για ομοιόμορφη X, I(X; Y ) = 8 H(Y X) = 8 + ( α) log( α) + α log(α/55) bits/περιστέρι. Η χωρητικότητα μεγιστοποιείται όταν α = (C = 8 bits/περιστέρι = 96 bits/ώρα). Παρατηρήστε ότι η χωρητικότητα ισούται με για α = 55 και όχι για α =! Όταν 56 α =, ξέρουμε ότι ο εχθρός πάντα αλλοιώνει το μήνυμα και αυτό μας δίνει κάποια (μικρή) πληροφορία. Δηλαδή, ξέρουμε ότι αποκλείεται το σύμβολο που λάβαμε να είναι το ίδιο με αυτό που στείλαμε. Εάν ο εχθρός γνωρίζει Θεωρία Πληροφορίας θα πρέπει να αλλάζει το μήνυμα σχεδόν πάντα, αλλά όχι πάντα (κατά μέσο όρο πρέπει να αφήνει στα 56 περιστέρια να περάσουν ως έχουν). To κανάλι είναι ένα 56-δικό συμμετρικό κανάλι, όπου οι μεταβάσεις σε διαφορετικό σύμβολο έχουν πιθανότητα α, ενώ οι μεταβάσεις στο ίδιο σύμβολο έχουν 55 πιθανότητα α. Επομένως, ένας άλλος τρόπος να βρεθεί η χωρητικότητα είναι με χρήση της σχέσης C = log Y H ( α α,, α,..., α ). (*δ) Αν οι αντίπαλοι μπορούν να πιάνουν όλα τα περιστέρια, αλλά δε θέλουν να ξέρουμε ότι τα έπιασαν (δηλαδή δεν τα σκοτώνουν, αλλά μπορούν να αλλάξουν το σύμβολο ASCII, αν θέλουν, πριν τα αφήσουν) τι είναι το χειρότερο (για εμάς) που μπορούν να κάνουν;

23 Δεδομένου ότι C = όταν α = 55, το χειρότερο που μπορούν να κάνουν οι 56 αντίπαλοι είναι να μην αλλάζουν το σύμβολο του περιστεριού κατά μέσο όρο μια κάθε 56 φορές. 8. Υπάρχει περίπτωση η προσθήκη περισσότερων εισόδων στο κανάλι να ελαττώσει τη χωρητικότητά του; Cover & Thomas 7. Δείξτε ότι η προσθήκη μιας οποιασδήποτε γραμμής στον πίνακα μετάβασης ενός διακριτού καναλιού χωρίς μνήμη (δηλαδή η προσθήκη μίας νέας τιμής εισόδου) δεν μπορεί να ελαττώσει τη χωρητικότητά του. H προσθήκη μιας οποιασδήποτε γραμμής στον πίνακα μετάβασης ενός διακριτού καναλιού, δηλαδή η προσθήκη μιας ακόμα εισόδου δεν μπορεί να ελαττώσει τη χωρητικότητα του καναλιού, επειδή μπορούμε να επιτύχουμε ρυθμό μετάδοσης ίσο με τη χωρητικότητα πριν προστεθεί η γραμμή απλώς αγνοώντας τη νέα είσοδο (δηλαδή θέτοντας μηδενική πιθανότητα εισόδου στο νέο σύμβολο). Έστω C m η χωρητικότητα του καναλιού πριν προστεθεί η νέα είσοδος και C m+ η χωρητικότητά του μετά την προσθήκη της νέας γραμμής. C m+ = max I(X; Y ) p(x,x,...,x m,x m+ ) max I(X; Y ) = C m. p(x,x,...,x m,) Χωρίς βλάβη της γενικότητας υποθέσαμε ότι η γραμμή προστέθηκε στο τέλος του πίνακα μετάβασης. 9. Κανάλια (Τελικό Διαγώνισμα Θ. Π., Φεβρουάριος 8) Έστω [ ] ϵ ϵ P (ϵ) = ϵ ϵ ο πίνακας μετάβασης ενός δυαδικού συμμετρικού καναλιού με πιθανότητα σφάλματος ϵ. Επίσης, ορίζεται η πράξη ως εξής: a b = ( a)b + a( b). (α) Να αποδείξετε ότι το κανάλι το οποίο έχει για πίνακα μετάβασης το γίνομενο P (ϵ )P (ϵ ) είναι ισοδύναμο με ένα δυαδικό συμμετρικό κανάλι του οποίου η πιθανότητα σφάλματος ισούται με ϵ ϵ. Η γενική μορφή του πίνακα μετάβασης ενός δυαδικού συμμετρικού καναλιού θα πρέπει να έχει τη μορφή [ ] ϵ P (ϵ ϵ ) = ϵ ϵ. ()

24 Από τον πολλαπλασιασμό των πινάκων P (ϵ ) και P (ϵ ) προκύπτει ότι [ ] [( ϵ )ϵ P (ϵ )P (ϵ ) = + ϵ ( ϵ )] ( ϵ )ϵ + ϵ ( ϵ ). ( ϵ )ϵ + ϵ ( ϵ ) [( ϵ )ϵ + ϵ ( ϵ )] () Από τις () και (), [ ] ϵ ϵ P (ϵ )P (ϵ ) = P (ϵ ϵ ) = ϵ ϵ, ϵ ϵ ϵ ϵ όπου ϵ ϵ = ( ϵ )ϵ + ϵ ( ϵ ). (β) Δώστε μια φυσική ερμηνεία της παρακάτω ανισότητας, καθώς και την απόδειξή της H(ϵ ϵ ) min ( H(ϵ ), H(ϵ )), εάν γνωρίζετε ότι ισχύουν οι ανισότητες:.5 ϵ ϵ.5 ϵ και.5 ϵ ϵ.5 ϵ. Γνωρίζουμε ότι η χωρητικότητα ενός δυαδικού συμμετρικού καναλιού με πιθανότητα αναστροφής ψηφίου ϵ ισούται με H(ϵ). Άρα, η ανισότητα H(ϵ ϵ ) min (( H(ϵ ), H(ϵ )) υποδηλώνει ότι η χωρητικότητα του δυαδικού συμμετρικού καναλιού ϵ ϵ είναι μικρότερη ή ίση από την ελάχιστη χωρητικότητα των επιμέρους δυαδικών συμμετρικών καναλιών, ϵ και ϵ, αντιστοίχως. Αυτό μας οδηγεί στο συμπέρασμα ότι το κανάλι ϵ ϵ συμπεριφέρεται ισοδύναμα με τα κανάλια ϵ και ϵ σε σειρά και ότι η χωρητικότητα του συνδυασμού τους εξαρτάται από το κανάλι με τη μικρότερη χωρητικότητα. Για να αποδείξουμε, τώρα, ότι ισχύει η ανισότητα με δεδομένη τη σχέση της άσκησης, αρκεί να δείξουμε, ισοδύναμα, ότι ισχύει H(ϵ ϵ ) max (H(ϵ ), H(ϵ )). Για ϵ, ϵ.5, ϵ ϵ.5 και αρκεί να δείξουμε ότι ϵ ϵ max(ϵ, ϵ ), αφού η εντροπία είναι αύξουσα συνάρτηση του ορίσματος (όταν το όρισμα είναι.5). Αυτή, όμως, η σχέση μεταξύ των πιθανοτήτων ϵ, ϵ και ϵ ϵ ισχύει, όπως μπορούμε να συμπεράνουμε με μία απλή επισκόπηση των σχέσεων που δίνονται από την άσκηση. Με παρόμοιο τρόπο αποδεικνύεται η σχέση για την περίπτωση που οι ϵ και ϵ είναι.5 και για την περίπτωση που ένα ϵ είναι.5 και το άλλο ϵ είναι.5. (γ) Να αποδείξετε ότι το κανάλι το οποίο έχει για πίνακα μετάβασης το γινόμενο P ν (ϵ) είναι ισοδύναμο με ένα δυαδικό συμμετρικό κανάλι του οποίου η πιθανότητα σφάλματος δίνεται από τη σχέση [ ( ϵ)ν ]. Σε αυτήν την περίπτωση, ποια είναι η χωρητικότητα του καναλιού; Για να αποδείξουμε τη σχέση αυτή θα χρησιμοποιήσουμε την επαγωγική μέθοδο. Δείξαμε ήδη ότι ισχύει για n =. Έστω ότι ισχύει για n, δηλαδή, ( [ P n (ϵ) = P ]) ( ϵ) n. 4

25 Θα πρέπει να δείξουμε ότι P n (ϵ) = P (ϵ) P n (ϵ) = P ( ) [ ( ϵ)n ]. Πράγματι, από το γινόμενο των πινάκων P (ϵ) P n (ϵ) προκύπτει ότι [ ] [ [ P (ϵ) P n ϵ ϵ (ϵ) = ( ϵ) n ] [ ( ϵ) n ] ] [ ϵ ϵ ( ϵ) n ] [ ( ϵ) n ] [ { [ ( ϵ) = ( ϵ) n ]} + ϵ [ ( ϵ) n ] ( ϵ) [ ( ϵ) n ] + ϵ { [ ( ϵ) n ]} ] ( ϵ) [ ( ϵ) n ] + ϵ { [ ( ϵ) n ]} ( ϵ) { [ ( ϵ) n ]} + ϵ [ ( ϵ) n ]. Αρκεί, λοιπόν, να δείξουμε ότι ( ϵ) Πράγματι, [ ( ϵ) n ] + ϵ ( ϵ) { [ ]} ( ϵ) n = [ ( ϵ)n ]. [ ] { ( ϵ) n + ϵ [ ]} ( ϵ) n = ( ϵ) ( ϵ)( ϵ)n + ϵ ϵ [ ( ϵ) n ] = ( ϵ)n + ϵ( ϵ)n + ϵ( ϵ)n = [ ( ϵ) n + ϵ( ϵ) n ] = [ ] ( ϵ)( ϵ) n = [ ( ϵ)n ].. Κατανομή πηγής (Επαναληπτική Εξέταση Θ. Π., Σεπτέμβριος 8) Σχήμα 5: Κανάλι προσθετικού θορύβου με κύκλωμα απόφασης (slicer) Θεωρούμε το κανάλι προσθετικού θορύβου του Σχήματος 5. Η (διακριτή) πηγή X παίρνει τιμές στο σύνολο {, +} και οι X i που αντιστοιχούν σε διαφορετικές χρονικές στιγμές i είναι ανεξάρτητες ομοίως κατανεμημένες (i.i.d.) Bern(p). O θόρυβος Z i είναι συνεχής ανεξάρτητη ομοίως κατανεμημένη τ.μ. (δηλαδή μια λευκή τυχαία διαδικασία διακριτού χρόνου με συνεχείς τιμές) και ακολουθεί ομοιόμορφη κατανομή στο διάστημα [ 4/, 4/]. To κύκλωμα απόφασης παράγει μια εκτίμηση Y i της X i με βάση την τιμή του αθροίσματος U i = X i +Z i. Όταν U i > α, Y i = +, αλλιώς Y i =. α R. Δίνεται ότι log

26 (α) Σχεδιάστε ή δώστε μια έκφραση για τη συνάρτηση πυκνότητας πιθανότητας της i. p Z (z) = 8, z [ 4/, 4/]. Η σ.π.π. της Z i φαίνεται στο Σχήμα 6. Σχήμα 6: Συνάρτηση Πυκνότητας Πιθανότητας της i (β) Σχεδιάστε ή δώστε μια έκφραση για τη συνάρτηση πυκνότητας πιθανότητας της U i εάν p = /. Με απλή επισκόπηση προκύπτει ότι για u [ 7, [ 6 ], ] 7 p U (u) = για u [, ] 8 για u [ ] [, 7 7, + ] Στο ίδιο αποτέλεσμα μπορείτε να οδηγηθείτε με πράξεις ή με χρήση του ότι η σ.π.π. του αθροίσματος τ.μ. ισούται με τη συνέλιξη των σ.π.π. των τ.μ. Η p U (u) έχει σχεδιαστεί στο Σχήμα 7. Σχήμα 7: Συνάρτηση Πυκνότητας Πιθανότητας της U i (γ) Έστω, ότι α [.5,.5]. Υπολογίστε τις δεσμευμένες πιθανότητες σφάλματος P e, = Pr{Y = + X = } και P e,+ = Pr{Y = X = +} ως συνάρτηση του α. p [, ] (και όχι, κατ ανάγκη, p = / όπως προηγουμένως). P e, = Pr{Y = + X = } = Pr{U > α X = } = Pr{Z > α + }. P e,+ = Pr{Y = X = +} = Pr{U < α X = +} = Pr{Z < α }. Διακρίνουμε περιπτώσεις και χρησιμοποιούμε τη σ.π.π. του Ερωτήματος (α): α [, ) : Pe, = ( α), P 8 e,+ =. α [, ) : Pe, = ( α), P 8 e,+ = ( + α). 8 ] : Pe, =, P e,+ = ( + α) α [,. 8 Οι P e, και P e,+ έχουν σχεδιαστεί στο Σχήμα 8. 6

27 .5 P e, P e, α Σχήμα 8: Δεσμευμένες πιθανότητες σφάλματος P e, και P e, συναρτήσει του α [.5,.5] (δ) Έστω, τώρα, ότι α =. Υπολογίστε τις πιθανότητες σφάλματος P e, και P e,+. Από το προηγούμενο ερώτημα, ή απευθείας από τις σχέσεις P e, = Pr{Z > } και P e,+ = Pr{Z < }, P e, = P e,+ = 8. (ε) Για α =, δώστε ένα διακριτό μοντέλο για το κανάλι με είσοδο τη X και έξοδο την Y. Πρόκειται για κανάλι με η χωρίς μνήμη; Αιτιολογήστε την απάντησή σας. To κανάλι μπορεί να μοντελοποιηθεί ως δυαδικό συμμετρικό κανάλι, όπως φαίνεται στο Σχήμα 9. Το κανάλι δεν έχει μνήμη γιατί η τιμή της Y i εξαρτάται (στατιστικά) μόνο από την τιμή της X i. Σχήμα 9: Μοντέλο για το κανάλι της άσκησης, για α =. 7

28 (στ) Υπολογίστε τη χωρητικότητα του καναλιού που μοντελοποιήσατε στο προηγούμενο ερώτημα. Για ποια τιμή της p επιτυγχάνεται η χωρητικότητα; Κατά τα γνωστά για τη χωρητικότητα δυαδικού συμμετρικού καναλιού, C = H(f). Συνεπώς, C = H(7/8) = log log 8 = log =.874 bits. H χωρητικότητα επιτυγχάνεται με ομοιόμορφη κατανομή των συμβόλων πηγής: Pr{X = } = Pr{X = +} =.. Κανάλι (Επαναληπτική εξέταση Θ. Π., Σεπτέμβριος 9) Έστω X = Y = {,,, } τα σύμβολα εισόδου και εξόδου, αντιστοίχως, διακριτού καναλιού χωρίς μνήμη με πίνακα μετάβασης ϵ ϵ P = ϵ ϵ δ δ. δ δ Παρατηρήστε ότι όταν η είσοδος του καναλιού ανήκει στο X = {, } η έξοδος ανήκει στο Y = {, }. Ομοίως, για X = {, }, η έξοδος ανήκει στο Y = {, }. (α) Σχεδιάστε το διάγραμμα μετάβασης του καναλιού. Το διάγραμμα μετάβασης του καναλιού έχει σχεδιαστεί στο Σχήμα. (β) Υπολογίστε τη χωρητικότητα του καναλιού για ϵ = δ = /. Παρατηρούμε ότι, για ϵ = δ = /, το κανάλι είναι συμμετρικό. Επομένως, C = log Y H([/, /,, ]) = = bit. To αποτέλεσμα είναι διαισθητικά λογικό. Το κανάλι αποτελείται από δύο BSC, το καθένα με πιθανότητα αντιστροφής ίση με /. Επομένως, ο δέκτης μπορεί να ξεχωρίσει ποιο BSC χρησιμοποιούμε, αλλα όχι το σύμβολο που στέλνουμε σε κάθε BSC. Δεδομένου ότι ο πομπός μπορεί να επιλέξει ένα από δύο BSC, μπορούμε να μεταδώσουμε bit πληροφορίας. Παρατηρήστε, επίσης, ότι με τον τρόπο, αυτόν, μετάδοσης, επιτυγχάνουμε πιθανότητα σφάλματος ακριβώς ίση με. Τέλος, υπάρχουν διάφοροι συνδυασμοί κατανομών εισόδου που επιτυγχάνουν τη χωρητικότητα, αρκεί να ισχύει p() + p() = p() + p() = /. 8

29 Σχήμα : Διάγραμμα μετάβασης καναλιού. (γ) Στη συνέχεια της άσκησης θεωρούμε ότι τα δ και ϵ μπορούν να πάρουν οποιεσδήποτε τιμές (όχι, πλέον, /). Έστω ότι, για την κατανομή εισόδου, p(x), ισχύει p()+p() = α και p()+p() = α. Δείξτε ότι για την αμοιβαία πληροφορία, I(X; Y ), μεταξύ της εισόδου, X, και της εξόδου, Y, του καναλιού P ισχύει I(X; Y ) = H(α) + αi(x; Y X X ) + ( α)i(x; Y X X ). Υπόδειξη: Θεωρήστε τ.μ. V η οποία υποδηλώνει εάν X X ή X X και χρησιμοποιήστε τη για να βρείτε εκφράσεις για την H(X) και H(X Y ). Άπό τον ορισμό της αμοιβαίας πληροφορίας, Επίσης, I(X; Y ) = H(X) H(X Y ). H(X, V ) = H(X) + H(V X) = H(X), δεδομένου ότι η V είναι ντετερμινιστική συνάρτηση της X. Επίσης, H(X, V ) = H(V ) + H(X V ). Επομένως, H(X) = H(V ) + H(X V ) = H(α) + αh(x V = ) + ( α)h(x V = ), όπου V = όταν X X και V = όταν X X. Oμοίως, για την H(X Y ), H(X, V Y ) = H(X Y ) + H(V X, Y ) = H(X Y ) = H(V Y ) + H(X V, Y ). Παρατηρούμε ότι H(V Y ) =. Επίσης, H(V X, Y ) = αh(x V =, Y ) + ( α)h(x V =, Y ). 9

30 Συνδυάζοντας όλα τα παραπάνω, I(X; Y ) = H(X) H(X Y ) = H(α) + αh(x V = ) + ( α)h(x V = ) αh(x V =, Y ) ( α)h(x V =, Y ) = H(α) + αi(x; Y V = ) + ( α)i(x; Y V = ) = H(α) + αi(x; Y X X ) + ( α)i(x; Y X X ). (δ) Δείξτε ότι η μεγιστοποίηση της αμοιβαίας πληροφορίας προκειμένου να υπολογίσουμε τη χωρητικότητα του καναλιού μπορεί να γίνει σε δύο βήματα: Στο πρώτο βήμα βρίσκουμε τις κατανομές p (x X X ) και p (x X X ) που μεγιστοποιούν τις I(X; Y X X ) και I(X; Y X X ), αντιστοίχως. Στο δεύτερο βήμα υπολογίζουμε την παράμετρο α που μεγιστοποιεί την I(X; Y ). Εάν C είναι η χωρητικότητα του καναλιού [ ] ϵ ϵ P = ϵ ϵ και C η χωρητικότητα του καναλιού [ δ δ P = δ δ εξηγήστε γιατί C max I(X; Y ) = max {H(α) + αc + ( α)c }. p(x) α Για οποιαδήποτε συνάρτηση ισχύει max f(x, x,..., x n ) = max x,x,...,x n x ], { { { }}} max max f(x, x,..., x n ). x x n Επομένως, μπορούμε να μεγιστοποιήσουμε πρώτα ως προς p (x X X ) και p (x X X ) για δεδομένη τιμή της παραμέτρου α και μετά ως προς α. Παρατηρούμε, επίσης ότι H I(X; Y X X ) δεν εξαρτάται από την τιμή της παραμέτρου α, αλλά μόνο από την υπό συνθήκη σ.μ.π. p (x X X ). Επίσης, δεν εξαρτάται από την p (x X X ) για το συγκεκριμένο κανάλι, P, που θεωρούμε. Ομοίως, η I(X; Y X X ) εξαρτάται μόνο από την υπό συνθήκη σ.μ.π. p (x X X ). Συνεπώς, η μεγιστοποίηση ως προς τις p, p και α μπορεί να γίνει ξεχωριστά. Παρατηρούμε, επίσης, ότι max pi I(X; Y X X i ) = C i. Άρα, μπορούμε να γράψουμε { C max I(X; Y ) = max p(x) α +( α) { max } I(X; Y X X ) p }} H(α) + α { max I(X; Y X X ) p = max α {H(α) + αc + ( α)c }.

EE728 (22Α004) - Προχωρημένα Θέματα Θεωρίας Πληροφορίας 3η σειρά ασκήσεων Διακριτά και Συνεχή Κανάλια. Παράδοση: Έως 22/6/2015

EE728 (22Α004) - Προχωρημένα Θέματα Θεωρίας Πληροφορίας 3η σειρά ασκήσεων Διακριτά και Συνεχή Κανάλια. Παράδοση: Έως 22/6/2015 EE728 (22Α004) - Προχωρημένα Θέματα Θεωρίας Πληροφορίας Φυλλάδιο 13 Δ. Τουμπακάρης 30 Μαΐου 2015 EE728 (22Α004) - Προχωρημένα Θέματα Θεωρίας Πληροφορίας 3η σειρά ασκήσεων Διακριτά και Συνεχή Κανάλια Παράδοση:

Διαβάστε περισσότερα

22Α004 - Προχωρημένα Θέματα Θεωρίας Πληροφορίας Τελική Εξέταση

22Α004 - Προχωρημένα Θέματα Θεωρίας Πληροφορίας Τελική Εξέταση 22A004 (eclass EE278) Προχωρημένα Θέματα Θεωρίας Πληροφορίας Φυλλάδιο 11 Δ. Τουμπακάρης 6 Ιουνίου 2013 22Α004 - Προχωρημένα Θέματα Θεωρίας Πληροφορίας Τελική Εξέταση Διάρκεια Εξέτασης: 3 ώρες. 4 ασκήσεις

Διαβάστε περισσότερα

Λυμένες Ασκήσεις σε Εντροπία, Αμοιβαία Πληροφορία, Κωδικοποίηση Πηγής και AEP

Λυμένες Ασκήσεις σε Εντροπία, Αμοιβαία Πληροφορία, Κωδικοποίηση Πηγής και AEP 22Α004 (eclass EE728) - Προχωρημένα Θέματα Θεωρίας Πληροφορίας Φυλλάδιο 2 Δ. Τουμπακάρης 7 Μαΐου 205 Λυμένες Ασκήσεις σε Εντροπία, Αμοιβαία Πληροφορία, Κωδικοποίηση Πηγής και AEP. Συναρτήσεις τυχαίων μεταβλητών

Διαβάστε περισσότερα

EE728 (22Α004) - Προχωρημένα Θέματα Θεωρίας Πληροφορίας 3η σειρά ασκήσεων Ενδεικτικές Λύσεις

EE728 (22Α004) - Προχωρημένα Θέματα Θεωρίας Πληροφορίας 3η σειρά ασκήσεων Ενδεικτικές Λύσεις EE78 (Α004 - Προχωρημένα Θέματα Θεωρίας Πληροφορίας Φυλλάδιο 15 Δ Τουμπακάρης 3 Ιουνίου 015 EE78 (Α004 - Προχωρημένα Θέματα Θεωρίας Πληροφορίας 3η σειρά ασκήσεων Ενδεικτικές Λύσεις 1 Υποβέλτιστοι κώδικες

Διαβάστε περισσότερα

1 Βασικές Έννοιες Θεωρίας Πληροφορίας

1 Βασικές Έννοιες Θεωρίας Πληροφορίας 1 Βασικές Έννοιες Θεωρίας Πληροφορίας Εντροπία τυχαίων μεταβλητών X, Y : H(X) = E [log Pr(x)] (1) H(X, Y ) = E [log Pr(x, y)] (2) H(X Y ) = E [log Pr(x y)] (3) Ιδιότητες Εντροπίας: Νόμος Bayes: Pr(y x)

Διαβάστε περισσότερα

Ψηφιακές Τηλεπικοινωνίες

Ψηφιακές Τηλεπικοινωνίες Ψηφιακές Τηλεπικοινωνίες Θεωρία Πληροφορίας: Χωρητικότητα Καναλιού Χωρητικότητα Καναλιού Η θεωρία πληροφορίας περιλαμβάνει μεταξύ άλλων: κωδικοποίηση πηγής κωδικοποίηση καναλιού Κωδικοποίηση πηγής: πόση

Διαβάστε περισσότερα

ΕΕ728 Προχωρηµένα Θέµατα Θεωρίας Πληροφορίας 2η διάλεξη (3η έκδοση, 11/3)

ΕΕ728 Προχωρηµένα Θέµατα Θεωρίας Πληροφορίας 2η διάλεξη (3η έκδοση, 11/3) ΕΕ728 Προχωρηµένα Θέµατα Θεωρίας Πληροφορίας 2η διάλεξη (3η έκδοση, 11/3) ηµήτρης-αλέξανδρος Τουµπακάρης Τµήµα ΗΜ&ΤΥ, Πανεπιστήµιο Πατρών 19 Φεβρουαρίου 2013 ηµήτρης-αλέξανδρος Τουµπακάρης Προχωρηµένα

Διαβάστε περισσότερα

ΕΕ728 Προχωρηµένα Θέµατα Θεωρίας Πληροφορίας 6η διάλεξη

ΕΕ728 Προχωρηµένα Θέµατα Θεωρίας Πληροφορίας 6η διάλεξη ΕΕ728 Προχωρηµένα Θέµατα Θεωρίας Πληροφορίας 6η διάλεξη ηµήτρης-αλέξανδρος Τουµπακάρης Τµήµα ΗΜ&ΤΥ, Πανεπιστήµιο Πατρών 24 Μαρτίου 2010 ηµήτρης-αλέξανδρος Τουµπακάρης Προχωρηµένα Θέµατα Θεωρίας Πληροφορίας

Διαβάστε περισσότερα

Θεωρία Πληροφορίας. Διάλεξη 4: Διακριτή πηγή πληροφορίας χωρίς μνήμη. Δρ. Μιχάλης Παρασκευάς Επίκουρος Καθηγητής

Θεωρία Πληροφορίας. Διάλεξη 4: Διακριτή πηγή πληροφορίας χωρίς μνήμη. Δρ. Μιχάλης Παρασκευάς Επίκουρος Καθηγητής Θεωρία Πληροφορίας Διάλεξη 4: Διακριτή πηγή πληροφορίας χωρίς μνήμη Δρ. Μιχάλης Παρασκευάς Επίκουρος Καθηγητής 1 Ατζέντα Διακριτή πηγή πληροφορίας χωρίς μνήμη Ποσότητα πληροφορίας της πηγής Κωδικοποίηση

Διαβάστε περισσότερα

Χρήστος Ξενάκης. Πανεπιστήμιο Πειραιώς, Τμήμα Ψηφιακών Συστημάτων

Χρήστος Ξενάκης. Πανεπιστήμιο Πειραιώς, Τμήμα Ψηφιακών Συστημάτων ΘΕΩΡΙΑ ΠΛΗΡΟΦΟΡΙΑΣ Κεφάλαιο 9 : Κανάλι-Σύστημα Χρήστος Ξενάκης Πανεπιστήμιο Πειραιώς, Τμήμα Ψηφιακών Συστημάτων Περιεχόμενα Ομιλίας Χωρητικότητα Χ ό καναλιού Το Gaussian κανάλι επικοινωνίας Τα διακριτά

Διαβάστε περισσότερα

Τηλεπικοινωνιακά Συστήματα ΙΙ

Τηλεπικοινωνιακά Συστήματα ΙΙ Τηλεπικοινωνιακά Συστήματα ΙΙ Διάλεξη 11: Κωδικοποίηση Πηγής Δρ. Μιχάλης Παρασκευάς Επίκουρος Καθηγητής 1 Ατζέντα 1. Αλγόριθμοι κωδικοποίησης πηγής Αλγόριθμος Fano Αλγόριθμος Shannon Αλγόριθμος Huffman

Διαβάστε περισσότερα

ΕΕ728 Προχωρηµένα Θέµατα Θεωρίας Πληροφορίας 11η διάλεξη

ΕΕ728 Προχωρηµένα Θέµατα Θεωρίας Πληροφορίας 11η διάλεξη ΕΕ728 Προχωρηµένα Θέµατα Θεωρίας Πληροφορίας 11η διάλεξη ηµήτρης-αλέξανδρος Τουµπακάρης Τµήµα ΗΜ&ΤΥ, Πανεπιστήµιο Πατρών 17 Μαΐου 2011 (2η έκδοση, 21/5/2011) ηµήτρης-αλέξανδρος Τουµπακάρης Προχωρηµένα

Διαβάστε περισσότερα

Δίαυλος Πληροφορίας. Δρ. Α. Πολίτης

Δίαυλος Πληροφορίας. Δρ. Α. Πολίτης Δίαυλος Πληροφορίας Η λειτουργία του διαύλου πληροφορίας περιγράφεται από: Τον πίνακα διαύλου μαθηματική περιγραφή. Το διάγραμμα διάυλου παραστατικός τρόπος περιγραφής. Πίνακας Διαύλου Κατασκευάζεται με

Διαβάστε περισσότερα

Χρήστος Ξενάκης. Πανεπιστήμιο Πειραιώς, Τμήμα Ψηφιακών Συστημάτων

Χρήστος Ξενάκης. Πανεπιστήμιο Πειραιώς, Τμήμα Ψηφιακών Συστημάτων ΘΕΩΡΙΑ ΠΛΗΡΟΦΟΡΙΑΣ Κεφάλαιο 2 : Πληροφορία και Εντροπία Χρήστος Ξενάκης Πανεπιστήμιο Πειραιώς, Τμήμα Ψηφιακών Συστημάτων Περιεχόμενα Πληροφορία Μέτρο πληροφορίας Μέση πληροφορία ή Εντροπία Από κοινού εντροπία

Διαβάστε περισσότερα

Εισαγωγή στη θεωρία πληροφορίας

Εισαγωγή στη θεωρία πληροφορίας Θεωρία πληροφορίας Εισαγωγή στη θεωρία πληροφορίας Τηλεπικοινωνιακά συστήματα Όλα τα τηλεπικοινωνιακά συστήματα σχεδιάζονται για να μεταφέρουν πληροφορία Σε κάθε τηλεπικοινωνιακό σύστημα υπάρχει μια πηγή

Διαβάστε περισσότερα

d k 10 k + d k 1 10 k d d = k i=0 d i 10 i.

d k 10 k + d k 1 10 k d d = k i=0 d i 10 i. Διακριτά Μαθηματικά ΙΙ Χρήστος Νομικός Τμήμα Μηχανικών Η/Υ και Πληροφορικής Πανεπιστήμιο Ιωαννίνων 2018 Χρήστος Νομικός ( Τμήμα Μηχανικών Η/Υ Διακριτά και Πληροφορικής Μαθηματικά Πανεπιστήμιο ΙΙ Ιωαννίνων

Διαβάστε περισσότερα

Δίαυλος Πληροφορίας. Η λειτουργία του περιγράφεται από:

Δίαυλος Πληροφορίας. Η λειτουργία του περιγράφεται από: Δίαυλος Πληροφορίας Η λειτουργία του περιγράφεται από: Πίνακας Διαύλου (μαθηματική περιγραφή) Διάγραμμα Διαύλου (παραστατικός τρόπος περιγραφής της λειτουργίας) Πίνακας Διαύλου Χρησιμοποιούμε τις υπό συνθήκη

Διαβάστε περισσότερα

ΕΛΛΗΝΙΚΟ ΑΝΟΙΚΤΟ ΠΑΝΕΠΙΣΤΗΜΙΟ

ΕΛΛΗΝΙΚΟ ΑΝΟΙΚΤΟ ΠΑΝΕΠΙΣΤΗΜΙΟ Θ.Ε. ΠΛΗ22 (2012-13) ΓΡΑΠΤΗ ΕΡΓΑΣΙΑ #4. Έκδοση v2 με διόρθωση τυπογραφικού λάθους στο ερώτημα 6.3 Στόχος: Βασικό στόχο της 4 ης εργασίας αποτελεί η εξοικείωση με τα μέτρα ποσότητας πληροφορίας τυχαίων

Διαβάστε περισσότερα

ΘΕΩΡΙΑ ΠΛΗΡΟΦΟΡΙΑΣ. Κεφάλαιο 2 : Πληροφορία και Εντροπία Διάλεξη: Κώστας Μαλιάτσος Χρήστος Ξενάκης, Κώστας Μαλιάτσος

ΘΕΩΡΙΑ ΠΛΗΡΟΦΟΡΙΑΣ. Κεφάλαιο 2 : Πληροφορία και Εντροπία Διάλεξη: Κώστας Μαλιάτσος Χρήστος Ξενάκης, Κώστας Μαλιάτσος ΘΕΩΡΙΑ ΠΛΗΡΟΦΟΡΙΑΣ Κεφάλαιο 2 : Πληροφορία και Εντροπία Διάλεξη: Κώστας Μαλιάτσος Χρήστος Ξενάκης, Κώστας Μαλιάτσος Πανεπιστήμιο Πειραιώς, Τμήμα Ψηφιακών Συστημάτων Περιεχόμενα Πιθανότητες Πληροφορία Μέτρο

Διαβάστε περισσότερα

ΕΕ728 Προχωρηµένα Θέµατα Θεωρίας Πληροφορίας 12η διάλεξη (2η έκδοση, 20/5/2013)

ΕΕ728 Προχωρηµένα Θέµατα Θεωρίας Πληροφορίας 12η διάλεξη (2η έκδοση, 20/5/2013) ΕΕ728 Προχωρηµένα Θέµατα Θεωρίας Πληροφορίας 12η διάλεξη (2η έκδοση, 20/5/2013) ηµήτρης-αλέξανδρος Τουµπακάρης Τµήµα ΗΜ&ΤΥ, Πανεπιστήµιο Πατρών 14 Μαΐου 2013 ηµήτρης-αλέξανδρος Τουµπακάρης Προχωρηµένα

Διαβάστε περισσότερα

Ψηφιακές Τηλεπικοινωνίες. Θεωρία Ρυθμού Παραμόρφωσης

Ψηφιακές Τηλεπικοινωνίες. Θεωρία Ρυθμού Παραμόρφωσης Ψηφιακές Τηλεπικοινωνίες Θεωρία Ρυθμού Παραμόρφωσης Θεωρία Ρυθμού-Παραμόρφωσης Θεώρημα Κωδικοποίησης Πηγής: αν έχω αρκετά μεγάλο μπλοκ δεδομένων, μπορώ να φτάσω κοντά στην εντροπία Πιθανά Προβλήματα: >

Διαβάστε περισσότερα

f(y) dy = b a dy = b a x f(x) dx = b a dx = x 2 = b2 a 2 2(b a) b a dx = = (a2 + ab + b 2 )(b a) 3(b a)

f(y) dy = b a dy = b a x f(x) dx = b a dx = x 2 = b2 a 2 2(b a) b a dx = = (a2 + ab + b 2 )(b a) 3(b a) Κεφάλαιο 11 Συνεχείς κατανομές και ο Ν.Μ.Α. Στο προηγούμενο κεφάλαιο ορίσαμε την έννοια της συνεχούς τυχαίας μεταβλητής, και είδαμε τις βασικές της ιδιότητες. Εδώ θα περιγράψουμε κάποιους ιδιαίτερους τύπους

Διαβάστε περισσότερα

B = {x A : f(x) = 1}.

B = {x A : f(x) = 1}. Θεωρία Συνόλων Χειμερινό Εξάμηνο 016 017 Λύσεις 1. Χρησιμοποιώντας την Αρχή του Περιστερώνα για τους φυσικούς αριθμούς, δείξτε ότι για κάθε πεπερασμένο σύνολο A και για κάθε f : A A, αν η f είναι 1-1 τότε

Διαβάστε περισσότερα

ΕΕ728 Προχωρηµένα Θέµατα Θεωρίας Πληροφορίας 4η διάλεξη (4η έκδοση, 11/3/2013)

ΕΕ728 Προχωρηµένα Θέµατα Θεωρίας Πληροφορίας 4η διάλεξη (4η έκδοση, 11/3/2013) ΕΕ728 Προχωρηµένα Θέµατα Θεωρίας Πληροφορίας 4η διάλεξη (4η έκδοση, 11/3/2013) ηµήτρης-αλέξανδρος Τουµπακάρης Τµήµα ΗΜ&ΤΥ, Πανεπιστήµιο Πατρών 5 Μαρτίου 2013 ηµήτρης-αλέξανδρος Τουµπακάρης Προχωρηµένα

Διαβάστε περισσότερα

Θεωρία πληροφοριών. Τεχνολογία Πολυµέσων 07-1

Θεωρία πληροφοριών. Τεχνολογία Πολυµέσων 07-1 Θεωρία πληροφοριών Εισαγωγή Αµοιβαία πληροφορία Εσωτερική πληροφορία Υπό συνθήκη πληροφορία Παραδείγµατα πληροφορίας Μέση πληροφορία και εντροπία Παραδείγµατα εντροπίας Εφαρµογές Τεχνολογία Πολυµέσων 07-

Διαβάστε περισσότερα

ΕΕ728 Προχωρηµένα Θέµατα Θεωρίας Πληροφορίας 10η διάλεξη

ΕΕ728 Προχωρηµένα Θέµατα Θεωρίας Πληροφορίας 10η διάλεξη ΕΕ728 Προχωρηµένα Θέµατα Θεωρίας Πληροφορίας 10η διάλεξη ηµήτρης-αλέξανδρος Τουµπακάρης Τµήµα ΗΜ&ΤΥ, Πανεπιστήµιο Πατρών 21 Μαΐου 2015 ηµήτρης-αλέξανδρος Τουµπακάρης Προχωρηµένα Θέµατα Θεωρίας Πληροφορίας

Διαβάστε περισσότερα

Τεχνολογία Πολυμέσων. Ενότητα # 7: Θεωρία πληροφορίας Διδάσκων: Γεώργιος Ξυλωμένος Τμήμα: Πληροφορικής

Τεχνολογία Πολυμέσων. Ενότητα # 7: Θεωρία πληροφορίας Διδάσκων: Γεώργιος Ξυλωμένος Τμήμα: Πληροφορικής Τεχνολογία Πολυμέσων Ενότητα # 7: Θεωρία πληροφορίας Διδάσκων: Γεώργιος Ξυλωμένος Τμήμα: Πληροφορικής Χρηματοδότηση Το παρόν εκπαιδευτικό υλικό έχει αναπτυχθεί στα πλαίσια του εκπαιδευτικού έργου του διδάσκοντα.

Διαβάστε περισσότερα

Χρήστος Ξενάκης. Πανεπιστήμιο Πειραιώς, Τμήμα Ψηφιακών Συστημάτων

Χρήστος Ξενάκης. Πανεπιστήμιο Πειραιώς, Τμήμα Ψηφιακών Συστημάτων ΘΕΩΡΙΑ ΠΛΗΡΟΦΟΡΙΑΣ Κεφάλαιο 10 : Κωδικοποίηση καναλιού Χρήστος Ξενάκης Πανεπιστήμιο Πειραιώς, Τμήμα Ψηφιακών Συστημάτων Περιεχόμενα Ομιλίας Απόσταση και βάρος Hamming Τεχνικές και κώδικες ανίχνευσης &

Διαβάστε περισσότερα

Θέματα Συστημάτων Πολυμέσων

Θέματα Συστημάτων Πολυμέσων Θέματα Συστημάτων Πολυμέσων Ενότητα # 6: Στοιχεία Θεωρίας Πληροφορίας Διδάσκων: Γεώργιος K. Πολύζος Τμήμα: Μεταπτυχιακό Πρόγραμμα Σπουδών Επιστήμη των Υπολογιστών Άδειες Χρήσης Το παρόν εκπαιδευτικό υλικό

Διαβάστε περισσότερα

Εξομοίωση Τηλεπικοινωνιακού Συστήματος Βασικής Ζώνης

Εξομοίωση Τηλεπικοινωνιακού Συστήματος Βασικής Ζώνης Πανεπιστήμιο Πατρών Τμήμα Μηχ. Η/Υ & Πληροφορικής Ακαδημαϊκό Έτος 009-010 Ψ Η Φ Ι Α Κ Ε Σ Τ Η Λ Ε Π Ι Κ Ο Ι Ν Ω Ν Ι ΕΣ η Εργαστηριακή Άσκηση: Εξομοίωση Τηλεπικοινωνιακού Συστήματος Βασικής Ζώνης Στην άσκηση

Διαβάστε περισσότερα

1. Πότε χρησιμοποιούμε την δομή επανάληψης; Ποιες είναι οι διάφορες εντολές (μορφές) της;

1. Πότε χρησιμοποιούμε την δομή επανάληψης; Ποιες είναι οι διάφορες εντολές (μορφές) της; 1. Πότε χρησιμοποιούμε την δομή επανάληψης; Ποιες είναι οι διάφορες (μορφές) της; Η δομή επανάληψης χρησιμοποιείται όταν μια σειρά εντολών πρέπει να εκτελεστεί σε ένα σύνολο περιπτώσεων, που έχουν κάτι

Διαβάστε περισσότερα

ΚΕΦΑΛΑΙΟ ΠΕΜΠΤΟ ΘΕΩΡΙΑ ΠΛΗΡΟΦΟΡΙΑΣ

ΚΕΦΑΛΑΙΟ ΠΕΜΠΤΟ ΘΕΩΡΙΑ ΠΛΗΡΟΦΟΡΙΑΣ ΚΕΦΑΛΑΙΟ ΠΕΜΠΤΟ ΘΕΩΡΙΑ ΠΛΗΡΟΦΟΡΙΑΣ 5. Εισαγωγή Ο σκοπός κάθε συστήματος τηλεπικοινωνιών είναι η μεταφορά πληροφορίας από ένα σημείο (πηγή) σ ένα άλλο (δέκτης). Συνεπώς, κάθε μελέτη ενός τέτοιου συστήματος

Διαβάστε περισσότερα

Ψηφιακές Τηλεπικοινωνίες

Ψηφιακές Τηλεπικοινωνίες Ψηφιακές Τηλεπικοινωνίες Θεωρία Πληροφορίας: Κωδικοποίηση Πηγής Ψηφιακή Μετάδοση Υπάρχουν ιδιαίτερα εξελιγμένες τεχνικές αναλογικής μετάδοσης (που ακόμη χρησιμοποιούνται σε ορισμένες εφαρμογές) Επίσης,

Διαβάστε περισσότερα

Από το Γυμνάσιο στο Λύκειο... 7. 3. Δειγματικός χώρος Ενδεχόμενα... 42 Εύρεση δειγματικού χώρου... 46

Από το Γυμνάσιο στο Λύκειο... 7. 3. Δειγματικός χώρος Ενδεχόμενα... 42 Εύρεση δειγματικού χώρου... 46 ΠEΡΙΕΧΟΜΕΝΑ Από το Γυμνάσιο στο Λύκειο................................................ 7 1. Το Λεξιλόγιο της Λογικής.............................................. 11. Σύνολα..............................................................

Διαβάστε περισσότερα

Αθανάσιος Χρ. Τζέμος Τομέας Θεωρητικής Φυσικής. Εντροπία Shannon

Αθανάσιος Χρ. Τζέμος Τομέας Θεωρητικής Φυσικής. Εντροπία Shannon Αθανάσιος Χρ. Τζέμος Τομέας Θεωρητικής Φυσικής Εντροπία Shannon Ένα από τα βασικά ερωτήματα της θεωρίας της πληροφορίας ήταν ανέκαθεν το πώς θα μπορούσε να ποσοτικοποιηθεί η πληροφορία, ώστε να μπορούμε

Διαβάστε περισσότερα

Πίνακες Διασποράς. Χρησιμοποιούμε ένα πίνακα διασποράς T και μια συνάρτηση διασποράς h. Ένα στοιχείο με κλειδί k αποθηκεύεται στη θέση

Πίνακες Διασποράς. Χρησιμοποιούμε ένα πίνακα διασποράς T και μια συνάρτηση διασποράς h. Ένα στοιχείο με κλειδί k αποθηκεύεται στη θέση Πίνακες Διασποράς Χρησιμοποιούμε ένα πίνακα διασποράς T και μια συνάρτηση διασποράς h Ένα στοιχείο με κλειδί k αποθηκεύεται στη θέση κλειδί k T 0 1 2 3 4 5 6 7 U : χώρος πιθανών κλειδιών Τ : πίνακας μεγέθους

Διαβάστε περισσότερα

ΤΥΧΑΙΟΙ ΑΡΙΘΜΟΙ - ΠΡΟΣΟΜΟΙΩΣΗ

ΤΥΧΑΙΟΙ ΑΡΙΘΜΟΙ - ΠΡΟΣΟΜΟΙΩΣΗ ΚΕΦΑΛΑΙΟ 11 ΤΥΧΑΙΟΙ ΑΡΙΘΜΟΙ - ΠΡΟΣΟΜΟΙΩΣΗ ΤΥΧΑΙΟΙ ΑΡΙΘΜΟΙ Θα εισαγάγουμε την έννοια του τυχαίου αριθμού με ένα παράδειγμα. Παράδειγμα: Θεωρούμε μια τυχαία μεταβλητή με συνάρτηση πιθανότητας η οποία σε

Διαβάστε περισσότερα

ΕΡΓΑΣΤΗΡΙΟ ΑΝΑΛΟΓΙΚΩΝ & ΨΗΦΙΑΚΩΝ ΕΠΙΚΟΙΝΩΝΙΩΝ. Εργαστήριο 8 ο. Αποδιαμόρφωση PAM-PPM με προσαρμοσμένα φίλτρα

ΕΡΓΑΣΤΗΡΙΟ ΑΝΑΛΟΓΙΚΩΝ & ΨΗΦΙΑΚΩΝ ΕΠΙΚΟΙΝΩΝΙΩΝ. Εργαστήριο 8 ο. Αποδιαμόρφωση PAM-PPM με προσαρμοσμένα φίλτρα Τμήμα Πληροφορικής και Τηλεπικοινωνιών ΕΡΓΑΣΤΗΡΙΟ ΑΝΑΛΟΓΙΚΩΝ & ΨΗΦΙΑΚΩΝ ΕΠΙΚΟΙΝΩΝΙΩΝ ΨΗΦΙΑΚΕΣ ΕΠΙΚΟΙΝΩΝΙΕΣ Εργαστήριο 8 ο Αποδιαμόρφωση PAM-PPM με προσαρμοσμένα φίλτρα Βασική Θεωρία Σε ένα σύστημα μετάδοσης

Διαβάστε περισσότερα

Συνδυαστικά Λογικά Κυκλώματα

Συνδυαστικά Λογικά Κυκλώματα Συνδυαστικά Λογικά Κυκλώματα Ένα συνδυαστικό λογικό κύκλωμα συντίθεται από λογικές πύλες, δέχεται εισόδους και παράγει μία ή περισσότερες εξόδους. Στα συνδυαστικά λογικά κυκλώματα οι έξοδοι σε κάθε χρονική

Διαβάστε περισσότερα

ΜΑΘΗΜΑΤΙΚΑ ΘΕΤΙΚΗΣ & ΤΕΧΝΟΛΟΓΙΚΗΣ ΚΑΤΕΥΘΥΝΣΗΣ Γ ΛΥΚΕΙΟΥ ΜΙΓΑΔΙΚΟΙ ΑΡΙΘΜΟΙ ΛΥΜΕΝΕΣ & ΑΛΥΤΕΣ ΑΣΚΗΣΕΙΣ. Επιμέλεια: Γ. Π. Βαξεβάνης (Γ. Π. Β.

ΜΑΘΗΜΑΤΙΚΑ ΘΕΤΙΚΗΣ & ΤΕΧΝΟΛΟΓΙΚΗΣ ΚΑΤΕΥΘΥΝΣΗΣ Γ ΛΥΚΕΙΟΥ ΜΙΓΑΔΙΚΟΙ ΑΡΙΘΜΟΙ ΛΥΜΕΝΕΣ & ΑΛΥΤΕΣ ΑΣΚΗΣΕΙΣ. Επιμέλεια: Γ. Π. Βαξεβάνης (Γ. Π. Β. ΜΑΘΗΜΑΤΙΚΑ ΘΕΤΙΚΗΣ & ΤΕΧΝΟΛΟΓΙΚΗΣ Γ. Π. Β. ΦΡΟΝΤΙΣΤΗΡΙΑΚΕΣ ΣΗΜΕΙΩΣΕΙΣ ΚΑΤΕΥΘΥΝΣΗΣ Γ ΛΥΚΕΙΟΥ ΜΙΓΑΔΙΚΟΙ ΑΡΙΘΜΟΙ ΛΥΜΕΝΕΣ & ΑΛΥΤΕΣ ΑΣΚΗΣΕΙΣ Επιμέλεια: Γ. Π. Βαξεβάνης (Γ. Π. Β.) (Μαθηματικός) ΜΑΘΗΜΑΤΙΚΑ ΘΕΤΙΚΗΣ

Διαβάστε περισσότερα

ΕΕ728 Προχωρηµένα Θέµατα Θεωρίας Πληροφορίας 11η διάλεξη

ΕΕ728 Προχωρηµένα Θέµατα Θεωρίας Πληροφορίας 11η διάλεξη ΕΕ728 Προχωρηµένα Θέµατα Θεωρίας Πληροφορίας 11η διάλεξη ηµήτρης-αλέξανδρος Τουµπακάρης Τµήµα ΗΜ&ΤΥ, Πανεπιστήµιο Πατρών 25 Απριλίου 2013 ηµήτρης-αλέξανδρος Τουµπακάρης Προχωρηµένα Θέµατα Θεωρίας Πληροφορίας

Διαβάστε περισσότερα

Θέματα Συστημάτων Πολυμέσων

Θέματα Συστημάτων Πολυμέσων Θέματα Συστημάτων Πολυμέσων Ενότητα # 5: Βασική Θεωρία Πληροφορίας Διδάσκων: Γεώργιος Πολύζος Τμήμα: Μεταπτυχιακό Πρόγραμμα Σπουδών Επιστήμη των Υπολογιστών Άδειες χρήσης Το παρόν εκπαιδευτικό υλικό υπόκειται

Διαβάστε περισσότερα

Ασκήσεις Φροντιστηρίου «Υπολογιστική Νοημοσύνη Ι» 5 o Φροντιστήριο

Ασκήσεις Φροντιστηρίου «Υπολογιστική Νοημοσύνη Ι» 5 o Φροντιστήριο Πρόβλημα ο Ασκήσεις Φροντιστηρίου 5 o Φροντιστήριο Δίνεται το παρακάτω σύνολο εκπαίδευσης: # Είσοδος Κατηγορία 0 0 0 Α 2 0 0 Α 0 Β 4 0 0 Α 5 0 Β 6 0 0 Α 7 0 Β 8 Β α) Στον παρακάτω κύβο τοποθετείστε τα

Διαβάστε περισσότερα

ΟΙΚΟΝΟΜΙΚΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΑΘΗΝΩΝ - ΤΜΗΜΑ ΠΛΗΡΟΦΟΡΙΚΗΣ Θεωρία Παιγνίων και Αποφάσεων Διδάσκων: Ε. Μαρκάκης, Εαρινό εξάμηνο 2015

ΟΙΚΟΝΟΜΙΚΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΑΘΗΝΩΝ - ΤΜΗΜΑ ΠΛΗΡΟΦΟΡΙΚΗΣ Θεωρία Παιγνίων και Αποφάσεων Διδάσκων: Ε. Μαρκάκης, Εαρινό εξάμηνο 2015 ΟΙΚΟΝΟΜΙΚΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΑΘΗΝΩΝ - ΤΜΗΜΑ ΠΛΗΡΟΦΟΡΙΚΗΣ Θεωρία Παιγνίων και Αποφάσεων Διδάσκων: Ε. Μαρκάκης, Εαρινό εξάμηνο 2015 Λύσεις 2η σειράς ασκήσεων Προθεσμία παράδοσης: 18 Μαίου 2015 Πρόβλημα 1. (14

Διαβάστε περισσότερα

ΘΕΩΡΙΑ ΠΛΗΡΟΦΟΡΙΑΣ. Κεφάλαιο 3 : Πηγές Πληροφορίας Χρήστος Ξενάκης. Πανεπιστήμιο Πειραιώς, Τμήμα Ψηφιακών Συστημάτων

ΘΕΩΡΙΑ ΠΛΗΡΟΦΟΡΙΑΣ. Κεφάλαιο 3 : Πηγές Πληροφορίας Χρήστος Ξενάκης. Πανεπιστήμιο Πειραιώς, Τμήμα Ψηφιακών Συστημάτων ΘΕΩΡΙΑ ΠΛΗΡΟΦΟΡΙΑΣ Κεφάλαιο 3 : Πηγές Πληροφορίας Χρήστος Ξενάκης Πανεπιστήμιο Πειραιώς, Τμήμα Ψηφιακών Συστημάτων Περιεχόμενα Διακριτές Πηγές Πληροφορίας χωρίς μνήμη Ποσότητα πληροφορίας της πηγής Κωδικοποίηση

Διαβάστε περισσότερα

Ψηφιακές Τηλεπικοινωνίες. Πιθανότητα Σφάλματος για Δυαδική Διαμόρφωση

Ψηφιακές Τηλεπικοινωνίες. Πιθανότητα Σφάλματος για Δυαδική Διαμόρφωση Ψηφιακές Τηλεπικοινωνίες Πιθανότητα Σφάλματος για Δυαδική Διαμόρφωση Σύνδεση με τα Προηγούμενα Σχεδιάστηκε ο βέλτιστος δέκτης για κανάλι AWGN Επειδή πάντοτε υπάρχει ο θόρυβος, ακόμη κι ο βέλτιστος δέκτης

Διαβάστε περισσότερα

I. ΜΙΓΑΔΙΚΟΙ ΑΡΙΘΜΟΙ. math-gr

I. ΜΙΓΑΔΙΚΟΙ ΑΡΙΘΜΟΙ. math-gr I ΜΙΓΑΔΙΚΟΙ ΑΡΙΘΜΟΙ i e ΜΕΡΟΣ Ι ΟΡΙΣΜΟΣ - ΒΑΣΙΚΕΣ ΠΡΑΞΕΙΣ Α Ορισμός Ο ορισμός του συνόλου των Μιγαδικών αριθμών (C) βασίζεται στις εξής παραδοχές: Υπάρχει ένας αριθμός i για τον οποίο ισχύει i Το σύνολο

Διαβάστε περισσότερα

Ψηφιακές Τηλεπικοινωνίες. Βέλτιστος Δέκτης

Ψηφιακές Τηλεπικοινωνίες. Βέλτιστος Δέκτης Ψηφιακές Τηλεπικοινωνίες Βέλτιστος Δέκτης Σύνδεση με τα Προηγούμενα Επειδή το πραγματικό κανάλι είναι αναλογικό, κατά τη διαβίβαση ψηφιακής πληροφορίας, αντιστοιχίζουμε τα σύμβολα σε αναλογικές κυματομορφές

Διαβάστε περισσότερα

Γνωστό: P (M) = 2 M = τρόποι επιλογής υποσυνόλου του M. Π.χ. M = {A, B, C} π. 1. Π.χ.

Γνωστό: P (M) = 2 M = τρόποι επιλογής υποσυνόλου του M. Π.χ. M = {A, B, C} π. 1. Π.χ. Παραδείγματα Απαρίθμησης Γνωστό: P (M 2 M τρόποι επιλογής υποσυνόλου του M Τεχνικές Απαρίθμησης Πχ M {A, B, C} P (M 2 3 8 #(Υποσυνόλων με 2 στοιχεία ( 3 2 3 #(Διατεταγμένων υποσυνόλων με 2 στοιχεία 3 2

Διαβάστε περισσότερα

X i = Y = X 1 + X X N.

X i = Y = X 1 + X X N. Κεφάλαιο 6 Διακριτές τυχαίες μεταβλητές Σε σύνθετα προβλήματα των πιθανοτήτων, όπως π.χ. σε προβλήματα ανάλυσης πολύπλοκων δικτύων ή στη στατιστική ανάλυση μεγάλων δεδομένων, η λεπτομερής, στοιχείο-προς-στοιχείο

Διαβάστε περισσότερα

ΟΙΚΟΝΟΜΙΚΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΑΘΗΝΩΝ - ΤΜΗΜΑ ΠΛΗΡΟΦΟΡΙΚΗΣ Θεωρία Παιγνίων και Αποφάσεων Διδάσκων: Ε. Μαρκάκης, Εαρινό εξάμηνο 2015

ΟΙΚΟΝΟΜΙΚΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΑΘΗΝΩΝ - ΤΜΗΜΑ ΠΛΗΡΟΦΟΡΙΚΗΣ Θεωρία Παιγνίων και Αποφάσεων Διδάσκων: Ε. Μαρκάκης, Εαρινό εξάμηνο 2015 ΟΙΚΟΝΟΜΙΚΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΑΘΗΝΩΝ - ΤΜΗΜΑ ΠΛΗΡΟΦΟΡΙΚΗΣ Θεωρία Παιγνίων και Αποφάσεων Διδάσκων: Ε. Μαρκάκης, Εαρινό εξάμηνο 2015 Λύσεις 1ης σειράς ασκήσεων Προθεσμία παράδοσης: 22 Απριλίου 2015 Πρόβλημα 1.

Διαβάστε περισσότερα

Ασκήσεις3 Διαγωνισιμότητα Βασικά σημεία Διαγωνίσιμοι πίνακες: o Ορισμός και παραδείγματα.

Ασκήσεις3 Διαγωνισιμότητα Βασικά σημεία Διαγωνίσιμοι πίνακες: o Ορισμός και παραδείγματα. Ασκήσεις 0 Ασκήσεις Διαγωνισιμότητα Βασικά σημεία Διαγωνίσιμοι πίνακες: o Ορισμός και παραδείγματα o H -στήλη του P P είναι E αν και μόνο αν η -στήλη του P είναι ιδιοδιάνυσμα του που αντιστοιχεί στην ιδιοτιμή

Διαβάστε περισσότερα

ΜΑΘΗΜΑΤΑ ΜΑΘΗΜΑΤΙΚΑ ΘΕΤΙΚΟΥ ΠΡΟΣΑΝΑΤΟΛΙΣΜΟΥ Β ΛΥΚΕΙΟΥ

ΜΑΘΗΜΑΤΑ ΜΑΘΗΜΑΤΙΚΑ ΘΕΤΙΚΟΥ ΠΡΟΣΑΝΑΤΟΛΙΣΜΟΥ Β ΛΥΚΕΙΟΥ ΜΑΘΗΜΑΤΑ ΜΑΘΗΜΑΤΙΚΑ ΘΕΤΙΚΟΥ ΠΡΟΣΑΝΑΤΟΛΙΣΜΟΥ Β ΛΥΚΕΙΟΥ ΚΕΦΑΛΑΙΟ 1 ο : ΔΙΑΝΥΣΜΑΤΑ 1 ΜΑΘΗΜΑ 1 ο +2 ο ΕΝΝΟΙΑ ΔΙΑΝΥΣΜΑΤΟΣ Διάνυσμα ορίζεται ένα προσανατολισμένο ευθύγραμμο τμήμα, δηλαδή ένα ευθύγραμμο τμήμα

Διαβάστε περισσότερα

Κωδικοποίηση Πηγής. Η λειτουργία ενός συστήματος επικοινωνίας (γενικό διάγραμμα):

Κωδικοποίηση Πηγής. Η λειτουργία ενός συστήματος επικοινωνίας (γενικό διάγραμμα): Κωδικοποίηση Πηγής Η λειτουργία ενός συστήματος επικοινωνίας (γενικό διάγραμμα): Coder Decoder Μεταξύ πομπού-καναλιού παρεμβάλλεται ο κωδικοποιητής (coder). Έργο του: η αντικατάσταση των συμβόλων πληροφορίας

Διαβάστε περισσότερα

ΘΕΩΡΙΑ ΠΙΘΑΝΟΤΗΤΩΝ Ι Φεβρουάριος 2018 Σειρά Α Θέματα 3 ως 7 και αναλυτικές (ή σύντομες) απαντήσεις

ΘΕΩΡΙΑ ΠΙΘΑΝΟΤΗΤΩΝ Ι Φεβρουάριος 2018 Σειρά Α Θέματα 3 ως 7 και αναλυτικές (ή σύντομες) απαντήσεις ΘΕΩΡΙΑ ΠΙΘΑΝΟΤΗΤΩΝ Ι Φεβρουάριος 8 Σειρά Α Θέματα ως 7 και αναλυτικές (ή σύντομες) απαντήσεις ΘΕΜΑ : Το δοχείο Δ περιέχει 6 άσπρες και 4 μαύρες μπάλες ενώ το δοχείο Δ περιέχει 5 άσπρες και μαύρες μπάλες.

Διαβάστε περισσότερα

Θόρυβος και λάθη στη μετάδοση PCM

Θόρυβος και λάθη στη μετάδοση PCM Θόρυβος και λάθη στη μετάδοση PCM Πότε συμβαίνουν λάθη Για μονοπολική (on-off) σηματοδότηση το σήμα στην έξοδο είναι, όπου α k =0 όταν y( kts) ak n( kts) μεταδίδεται το bit 0 και α k =Α όταν μεταδίδεται

Διαβάστε περισσότερα

Πεπερασμένες Διαφορές.

Πεπερασμένες Διαφορές. Κεφάλαιο 1 Πεπερασμένες Διαφορές. 1.1 Προσέγγιση παραγώγων. 1.1.1 Πρώτη παράγωγος. Από τον ορισμό της παραγώγου για συναρτήσεις μιας μεταβλητής γνωρίζουμε ότι η παράγωγος μιας συνάρτησης f στο σημείο x

Διαβάστε περισσότερα

Ασκήσεις3 Διαγωνίσιμες Γραμμικές Απεικονίσεις

Ασκήσεις3 Διαγωνίσιμες Γραμμικές Απεικονίσεις Ασκήσεις 5 Βασικά σημεία Ιδιότητες ιδιόχωρων: Έστω,, Ισχύουν τα εξής Ασκήσεις Διαγωνίσιμες Γραμμικές Απεικονίσεις κάποιες διακεκριμένες ιδιοτιμές της γραμμικής απεικόνισης : V V, όπου o Αν v v 0, όπου

Διαβάστε περισσότερα

Από το Γυμνάσιο στο Λύκειο Δειγματικός χώρος Ενδεχόμενα Εύρεση δειγματικού χώρου... 46

Από το Γυμνάσιο στο Λύκειο Δειγματικός χώρος Ενδεχόμενα Εύρεση δειγματικού χώρου... 46 ΠEΡΙΕΧΟΜΕΝΑ Από το Γυμνάσιο στο Λύκειο................................................ 7 1. Το Λεξιλόγιο της Λογικής.............................................. 11 2. Σύνολα..............................................................

Διαβάστε περισσότερα

P (M = n T = t)µe µt dt. λ+µ

P (M = n T = t)µe µt dt. λ+µ Ουρές Αναμονής Σειρά Ασκήσεων 1 ΑΣΚΗΣΗ 1. Εστω {N(t), t 0} διαδικασία αφίξεων Poisson με ρυθμό λ, και ένα χρονικό διάστημα η διάρκεια του οποίου είναι τυχαία μεταβλητή T, ανεξάρτητη της διαδικασίας αφίξεων,

Διαβάστε περισσότερα

ΜΑΘΗΜΑΤΙΚΑ ΘΕΤΙΚΗΣ & ΤΕΧΝΟΛΟΓΙΚΗΣ ΚΑΤΕΥΘΥΝΣΗΣ Γ ΛΥΚΕΙΟΥ ΜΙΓΑΔΙΚΟΙ ΑΡΙΘΜΟΙ ΛΥΜΕΝΕΣ & ΑΛΥΤΕΣ ΑΣΚΗΣΕΙΣ

ΜΑΘΗΜΑΤΙΚΑ ΘΕΤΙΚΗΣ & ΤΕΧΝΟΛΟΓΙΚΗΣ ΚΑΤΕΥΘΥΝΣΗΣ Γ ΛΥΚΕΙΟΥ ΜΙΓΑΔΙΚΟΙ ΑΡΙΘΜΟΙ ΛΥΜΕΝΕΣ & ΑΛΥΤΕΣ ΑΣΚΗΣΕΙΣ ΜΑΘΗΜΑΤΙΚΑ ΘΕΤΙΚΗΣ & ΤΕΧΝΟΛΟΓΙΚΗΣ ΚΑΤΕΥΘΥΝΣΗΣ Γ ΛΥΚΕΙΟΥ ΜΙΓΑΔΙΚΟΙ ΑΡΙΘΜΟΙ ΛΥΜΕΝΕΣ & ΑΛΥΤΕΣ ΑΣΚΗΣΕΙΣ i ΛΥΜΕΝΕΣ & ΑΛΥΤΕΣ ΑΣΚΗΣΕΙΣ: ΜΙΓΑΔΙΚΟΙ ΑΡΙΘΜΟΙ ΝΙΚΟΣ ΑΛΕΞΑΝΔΡΗΣ ΠΤΥΧΙΟΥΧΟΣ ΠΑΝΕΠΙΣΤΗΜΙΟΥ ΑΘΗΝΩΝ (ΕΚΠΑ)

Διαβάστε περισσότερα

Κατανεμημένα Συστήματα Ι

Κατανεμημένα Συστήματα Ι Συναίνεση χωρίς την παρουσία σφαλμάτων Κατανεμημένα Συστήματα Ι 4η Διάλεξη 27 Οκτωβρίου 2016 Παναγιώτα Παναγοπούλου Κατανεμημένα Συστήματα Ι 4η Διάλεξη 1 Συναίνεση χωρίς την παρουσία σφαλμάτων Προηγούμενη

Διαβάστε περισσότερα

x P (x) c P (x) = c P (x), x S : x c

x P (x) c P (x) = c P (x), x S : x c Κεφάλαιο 9 Ανισότητες, από κοινού κατανομή, Νόμος των Μεγάλων Αριθμών 9.1 Ανισότητες Markov και Chebychev Ξεκινάμε αυτό το κεφάλαιο με δύο σημαντικά αποτελέσματα τα οποία, πέραν της μεγάλης χρησιμότητάς

Διαβάστε περισσότερα

ΕΕ728 Προχωρηµένα Θέµατα Θεωρίας Πληροφορίας 11η διάλεξη

ΕΕ728 Προχωρηµένα Θέµατα Θεωρίας Πληροφορίας 11η διάλεξη ΕΕ728 Προχωρηµένα Θέµατα Θεωρίας Πληροφορίας 11η διάλεξη ηµήτρης-αλέξανδρος Τουµπακάρης Τµήµα ΗΜ&ΤΥ, Πανεπιστήµιο Πατρών 14 Μαΐου 2010 ηµήτρης-αλέξανδρος Τουµπακάρης Προχωρηµένα Θέµατα Θεωρίας Πληροφορίας

Διαβάστε περισσότερα

Ονοματεπώνυμο: Ερώτημα: Σύνολο Μονάδες: Βαθμός:

Ονοματεπώνυμο: Ερώτημα: Σύνολο Μονάδες: Βαθμός: ΕΤΥ: Ανάλυση Απόδοσης Πληροφοριακών Συστημάτων Χειμερινό Εξάμηνο 2014-15 Τελική Εξέταση 28/02/15 Διάρκεια Εξέτασης: 3 Ώρες Ονοματεπώνυμο: Αριθμός Μητρώου: Υπογραφή: Ερώτημα: 1 2 3 4 5 6 Σύνολο Μονάδες:

Διαβάστε περισσότερα

ΕΕ728 Προχωρηµένα Θέµατα Θεωρίας Πληροφορίας 12η διάλεξη

ΕΕ728 Προχωρηµένα Θέµατα Θεωρίας Πληροφορίας 12η διάλεξη ΕΕ728 Προχωρηµένα Θέµατα Θεωρίας Πληροφορίας 12η διάλεξη ηµήτρης-αλέξανδρος Τουµπακάρης Τµήµα ΗΜ&ΤΥ, Πανεπιστήµιο Πατρών 2 Ιουνίου 2015 ηµήτρης-αλέξανδρος Τουµπακάρης Προχ. Θέµατα Θεωρίας Πληροφορίας 12η

Διαβάστε περισσότερα

ΕΕ728 Προχωρηµένα Θέµατα Θεωρίας Πληροφορίας 10η διάλεξη (2η έκδοση, 7/5/2013)

ΕΕ728 Προχωρηµένα Θέµατα Θεωρίας Πληροφορίας 10η διάλεξη (2η έκδοση, 7/5/2013) ΕΕ728 Προχωρηµένα Θέµατα Θεωρίας Πληροφορίας 10η διάλεξη (2η έκδοση, 7/5/2013) ηµήτρης-αλέξανδρος Τουµπακάρης Τµήµα ΗΜ&ΤΥ, Πανεπιστήµιο Πατρών 23 Απριλίου 2013 ηµήτρης-αλέξανδρος Τουµπακάρης Προχωρηµένα

Διαβάστε περισσότερα

K24 Ψηφιακά Ηλεκτρονικά 6: Πολυπλέκτες/Αποπολυπλέκτες

K24 Ψηφιακά Ηλεκτρονικά 6: Πολυπλέκτες/Αποπολυπλέκτες K24 Ψηφιακά Ηλεκτρονικά 6: Πολυπλέκτες/Αποπολυπλέκτες TEI Πελοποννήσου Σχολή Τεχνολογικών Εφαρμογών Τμήμα Μηχανικών Πληροφορικής ΤΕ ΤΕΧΝΟΛΟΓΙΚΟ Περιεχόμενα 1 2 3 4 Λειτουργία Πολυπλέκτης (Mul plexer) Ο

Διαβάστε περισσότερα

Μέθοδος μέγιστης πιθανοφάνειας

Μέθοδος μέγιστης πιθανοφάνειας Αν x =,,, παρατηρήσεις των Χ =,,,, τότε έχουμε διαθέσιμο ένα δείγμα Χ={Χ, =,,,} της κατανομής F μεγέθους με από κοινού σκ της Χ f x f x Ορισμός : Θεωρούμε ένα τυχαίο δείγμα Χ=(Χ, Χ,, Χ ) από πληθυσμό το

Διαβάστε περισσότερα

B = F i. (X \ F i ) = i I

B = F i. (X \ F i ) = i I Κεφάλαιο 3 Τοπολογία μετρικών χώρων Ομάδα Α 3.1. Εστω (X, ρ) μετρικός χώρος και F, G υποσύνολα του X. Αν το F είναι κλειστό και το G είναι ανοικτό, δείξτε ότι το F \ G είναι κλειστό και το G \ F είναι

Διαβάστε περισσότερα

Pr(10 X 15) = Pr(15 X 20) = 1/2, (10.2)

Pr(10 X 15) = Pr(15 X 20) = 1/2, (10.2) Κεφάλαιο 10 Συνεχείς τυχαίες μεταβλητές Σε αυτό το κεφάλαιο θα εξετάσουμε τις ιδιότητες που έχουν οι συνεχείς τυχαίες μεταβλητές. Εκείνες οι Τ.Μ. X, δηλαδή, των οποίων το σύνολο τιμών δεν είναι διακριτό,

Διαβάστε περισσότερα

Θεώρημα κωδικοποίησης πηγής

Θεώρημα κωδικοποίησης πηγής Κωδικοποίηση Kωδικοποίηση πηγής Θεώρημα κωδικοποίησης πηγής Καθορίζει ένα θεμελιώδες όριο στον ρυθμό με τον οποίο η έξοδος μιας πηγής πληροφορίας μπορεί να συμπιεσθεί χωρίς να προκληθεί μεγάλη πιθανότητα

Διαβάστε περισσότερα

n 5 = 7 ε (π.χ. ορίζοντας n0 = 1+ ε συνεπώς (σύμϕωνα με τις παραπάνω ισοδυναμίες) an 5 < ε. Επομένως a n β n 23 + β n+1

n 5 = 7 ε (π.χ. ορίζοντας n0 = 1+ ε συνεπώς (σύμϕωνα με τις παραπάνω ισοδυναμίες) an 5 < ε. Επομένως a n β n 23 + β n+1 Θέμα 1 (α) Υποθέτουμε (προς απαγωγή σε άτοπο) ότι το σύνολο A έχει μέγιστο στοιχείο, έστω a = max A Τότε, εϕόσον a A, έχουμε a R Q και a M Ομως ο αριθμός μητρώου M είναι ρητός αριθμός, άρα (εϕόσον ο a

Διαβάστε περισσότερα

X = = 81 9 = 9

X = = 81 9 = 9 Πιθανότητες και Αρχές Στατιστικής (11η Διάλεξη) Σωτήρης Νικολετσέας, καθηγητής Τμήμα Μηχανικών Η/Υ & Πληροφορικής, Πανεπιστήμιο Πατρών Ακαδημαϊκό Ετος 2018-2019 Σωτήρης Νικολετσέας, καθηγητής 1 / 35 Σύνοψη

Διαβάστε περισσότερα

Μέρος ΙΙ. Τυχαίες Μεταβλητές

Μέρος ΙΙ. Τυχαίες Μεταβλητές Μέρος ΙΙ. Τυχαίες Μεταβλητές Ορισμοί Συναρτήσεις κατανομής πιθανότητας και πυκνότητας πιθανότητας Διακριτές τυχαίες μεταβλητές Ειδικές κατανομές διακριτών τυχαίων μεταβλητών Συνεχείς τυχαίες μεταβλητές

Διαβάστε περισσότερα

Θεωρία Πιθανοτήτων, εαρινό εξάμηνο Λύσεις του φυλλαδίου ασκήσεων επανάληψης. P (B) P (A B) = 3/4.

Θεωρία Πιθανοτήτων, εαρινό εξάμηνο Λύσεις του φυλλαδίου ασκήσεων επανάληψης. P (B) P (A B) = 3/4. Θεωρία Πιθανοτήτων, εαρινό εξάμηνο 207-8. Λύσεις του φυλλαδίου ασκήσεων επανάληψης.. Αν P (A) / και P (A B) /4, βρείτε την ελάχιστη δυνατή και την μέγιστη δυνατή τιμή της P (B). Το B καλύπτει οπωσδήποτε

Διαβάστε περισσότερα

ρ πε α εμ των α ματ ών 2014 Ο Η ΡΗ Ο Ο Γ Ρ Θ μα 2ο

ρ πε α εμ των α ματ ών 2014 Ο Η ΡΗ Ο Ο Γ Ρ Θ μα 2ο ρ πε α εμ των α ματ ών 2014 Γ Ο Η ΡΗ Ο Ο Γ Ρ Θ μα 2ο Θεωρούμε την ακολουθία (α ν ) των θετικών περιττών αριθμών: 1, 3, 5, 7, α) Να αιτιολογήσετε γιατί η (α ν ) είναι αριθμητική πρόοδος και να βρείτε τον

Διαβάστε περισσότερα

Α Λυκείου Άλγεβρα Τράπεζα Θεμάτων Το Δεύτερο Θέμα

Α Λυκείου Άλγεβρα Τράπεζα Θεμάτων Το Δεύτερο Θέμα Α Λυκείου Άλγεβρα Τράπεζα Θεμάτων Το Δεύτερο Θέμα Θεωρούμε την ακολουθία (α ν ) των θετικών περιττών αριθμών: 1, 3, 5, 7, α) Να αιτιολογήσετε γιατί η (α ν ) είναι αριθμητική πρόοδος και να βρείτε τον εκατοστό

Διαβάστε περισσότερα

Θεωρία Πληροφορίας. Διάλεξη 5: Διακριτή πηγή πληροφορίας με μνήμη. Δρ. Μιχάλης Παρασκευάς Επίκουρος Καθηγητής

Θεωρία Πληροφορίας. Διάλεξη 5: Διακριτή πηγή πληροφορίας με μνήμη. Δρ. Μιχάλης Παρασκευάς Επίκουρος Καθηγητής Θεωρία Πληροφορίας Διάλεξη 5: Διακριτή πηγή πληροφορίας με μνήμη Δρ. Μιχάλης Παρασκευάς Επίκουρος Καθηγητής 1 Ατζέντα 1. Διακριτές πηγές πληροφορίας με μνήμη Μαρκοβιανές αλυσίδες Τάξη μακροβιανών αλυσίδων

Διαβάστε περισσότερα

ΜΙΓΑΔΙΚΟΙ ΑΡΙΘΜΟΙ ΕΠΙΜΕΛΕΙΑ : ΑΥΓΕΡΙΝΟΣ ΒΑΣΙΛΗΣ

ΜΙΓΑΔΙΚΟΙ ΑΡΙΘΜΟΙ ΕΠΙΜΕΛΕΙΑ : ΑΥΓΕΡΙΝΟΣ ΒΑΣΙΛΗΣ ΜΙΓΑΔΙΚΟΙ ΑΡΙΘΜΟΙ ΕΠΙΜΕΛΕΙΑ : ΑΥΓΕΡΙΝΟΣ ΒΑΣΙΛΗΣ ΕΥΡΙΠΙΔΟΥ 80 ΝΙΚΑΙΑ ΝΕΑΠΟΛΗ ΤΗΛΕΦΩΝΟ 0965897 ΔΙΕΥΘΥΝΣΗ ΣΠΟΥΔΩΝ ΒΡΟΥΤΣΗ ΕΥΑΓΓΕΛΙΑ ΜΠΟΥΡΝΟΥΤΣΟΥ ΚΩΝ/ΝΑ ΑΥΓΕΡΙΝΟΣ ΒΑΣΙΛΗΣ ΜΙΓΑΔΙΚΟΙ ΑΡΙΘΜΟΙ Η έννοια του μιγαδικού

Διαβάστε περισσότερα

9 Πολυώνυμα Διαίρεση πολυωνύμων

9 Πολυώνυμα Διαίρεση πολυωνύμων 4ο Κεφάλαιο 9 Πολυώνυμα Διαίρεση πολυωνύμων Α ΑΠΑΡΑΙΤΗΤΕΣ ΓΝΩΣΕΙΣ ΘΕΩΡΙΑΣ Ορισμοί Μονώνυμο του x ονομάζουμε κάθε παράσταση της μορφής ν αx όπου α R, * ν N και x μια μεταβλητή που μπορεί να πάρει οποιαδήποτε

Διαβάστε περισσότερα

Λύσεις 2ης Ομάδας Ασκήσεων

Λύσεις 2ης Ομάδας Ασκήσεων ΟΙΚΟΝΟΜΙΚΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΑΘΗΝΩΝ ΤΜΗΜΑ ΠΛΗΡΟΦΟΡΙΚΗΣ ΠΙΘΑΝΟΤΗΤΕΣ Γ. ΚΟΝΤΟΓΙΑΝΝΗΣ. (Μπάλες Λύσεις ης Ομάδας Ασκήσεων Τμήμα Α Λ (αʹ Έστω A το ενδεχόμενο να επιλέξουμε τουλάχιστον μια άσπρη μπάλα. Θα υπολογίσουμε

Διαβάστε περισσότερα

K24 Ψηφιακά Ηλεκτρονικά 4: Σχεδίαση Συνδυαστικών Κυκλωμάτων

K24 Ψηφιακά Ηλεκτρονικά 4: Σχεδίαση Συνδυαστικών Κυκλωμάτων K24 Ψηφιακά Ηλεκτρονικά 4: Σχεδίαση Συνδυαστικών Κυκλωμάτων TEI Πελοποννήσου Σχολή Τεχνολογικών Εφαρμογών Τμήμα Μηχανικών Πληροφορικής ΤΕ ΤΕΧΝΟΛΟΓΙΚΟ Περιεχόμενα 1 2 3 4 Ένα ψηφιακό κύκλωμα με n εισόδους

Διαβάστε περισσότερα

ΑΝΑΛΥΣΗ 1 ΔΩΔΕΚΑΤΟ ΜΑΘΗΜΑ, Μ. Παπαδημητράκης.

ΑΝΑΛΥΣΗ 1 ΔΩΔΕΚΑΤΟ ΜΑΘΗΜΑ, Μ. Παπαδημητράκης. ΑΝΑΛΥΣΗ 1 ΔΩΔΕΚΑΤΟ ΜΑΘΗΜΑ, 1-11-13 Μ. Παπαδημητράκης. 1 Άσκηση 2.2.7. Έστω ϵ 0 > 0. Αποδείξτε ότι x n x αν και μόνο αν για κάθε ϵ με 0 < ϵ ϵ 0 ισχύει τελικά x n N x ϵ). Λύση: Έχουμε να αποδείξουμε την

Διαβάστε περισσότερα

Φεργαδιώτης Αθανάσιος ΤΡΑΠΕΖΑ ΘΕΜΑΤΩΝ ΣΤΗΝ ΑΛΓΕΒΡΑ Α ΛΥΚΕΙΟΥ. Θέμα 2 ο (150)

Φεργαδιώτης Αθανάσιος ΤΡΑΠΕΖΑ ΘΕΜΑΤΩΝ ΣΤΗΝ ΑΛΓΕΒΡΑ Α ΛΥΚΕΙΟΥ. Θέμα 2 ο (150) Φεργαδιώτης Αθανάσιος ΤΡΑΠΕΖΑ ΘΕΜΑΤΩΝ ΣΤΗΝ ΑΛΓΕΒΡΑ Α ΛΥΚΕΙΟΥ Θέμα ο (150) -- Τράπεζα θεμάτων Άλγεβρας Α Λυκείου Φεργαδιώτης Αθανάσιος -3- Τράπεζα θεμάτων Άλγεβρας Α Λυκείου Φεργαδιώτης Αθανάσιος ΚΕΦΑΛΑΙΟ

Διαβάστε περισσότερα

100 ΕΡΩΤΗΣΕΙΣ ΜΕ ΤΙΣ ΑΝΤΙΣΤΟΙΧΕΣ ΑΠΑΝΤΗΣΕΙΣ ΓΙΑ ΤΟ ΜΑΘΗΜΑ ΨΗΦΙΑΚΑ ΚΥΚΛΩΜΑΤΑ

100 ΕΡΩΤΗΣΕΙΣ ΜΕ ΤΙΣ ΑΝΤΙΣΤΟΙΧΕΣ ΑΠΑΝΤΗΣΕΙΣ ΓΙΑ ΤΟ ΜΑΘΗΜΑ ΨΗΦΙΑΚΑ ΚΥΚΛΩΜΑΤΑ 100 ΕΡΩΤΗΣΕΙΣ ΜΕ ΤΙΣ ΑΝΤΙΣΤΟΙΧΕΣ ΑΠΑΝΤΗΣΕΙΣ ΓΙΑ ΤΟ ΜΑΘΗΜΑ ΨΗΦΙΑΚΑ ΚΥΚΛΩΜΑΤΑ 1) Να μετατρέψετε τον δεκαδικό αριθμό (60,25) 10, στον αντίστοιχο δυαδικό 11111,11 111001,01 111100,01 100111,1 111100,01 2)

Διαβάστε περισσότερα

Θεωρία Πιθανοτήτων, εαρινό εξάμηνο Λύσεις του πέμπτου φυλλαδίου ασκήσεων.. Δηλαδή:

Θεωρία Πιθανοτήτων, εαρινό εξάμηνο Λύσεις του πέμπτου φυλλαδίου ασκήσεων.. Δηλαδή: Θεωρία Πιθανοτήτων, εαρινό εξάμηνο 2017-18 Λύσεις του πέμπτου φυλλαδίου ασκήσεων 1 Σε ένα πρόβλημα πολλαπλής επιλογής προτείνονται n απαντήσεις από τις οποίες μόνο μία είναι σωστή Αν η σωστή απάντηση κερδίζει

Διαβάστε περισσότερα

ΣΤΟΧΑΣΤΙΚΑ ΣΥΣΤΗΜΑΤΑ & ΕΠΙΚΟΙΝΩΝΙΕΣ 1o Τμήμα (Α - Κ): Αμφιθέατρο 3, Νέα Κτίρια ΣΗΜΜΥ Θεωρία Πιθανοτήτων & Στοχαστικές Ανελίξεις - 1

ΣΤΟΧΑΣΤΙΚΑ ΣΥΣΤΗΜΑΤΑ & ΕΠΙΚΟΙΝΩΝΙΕΣ 1o Τμήμα (Α - Κ): Αμφιθέατρο 3, Νέα Κτίρια ΣΗΜΜΥ Θεωρία Πιθανοτήτων & Στοχαστικές Ανελίξεις - 1 ΣΤΟΧΑΣΤΙΚΑ ΣΥΣΤΗΜΑΤΑ & ΕΠΙΚΟΙΝΩΝΙΕΣ 1o Τμήμα (Α - Κ): Αμφιθέατρο 3, Νέα Κτίρια ΣΗΜΜΥ Θεωρία Πιθανοτήτων & Στοχαστικές Ανελίξεις - 1 5.1: Εισαγωγή 5.2: Πιθανότητες 5.3: Τυχαίες Μεταβλητές καθ. Βασίλης Μάγκλαρης

Διαβάστε περισσότερα

ιαφορική εντροπία Σεραφείµ Καραµπογιάς

ιαφορική εντροπία Σεραφείµ Καραµπογιάς ιαφορική εντροπία Σεραφείµ Καραµπογιάς Για πηγές διακριτού χρόνου µε συνεχές αλφάβητο, των οποίων οι έξοδοι είναι πραγµατικοί αριθµοί, ορίζεται µια άλλη ποσότητα που µοιάζει µε την εντροπία και καλείται

Διαβάστε περισσότερα

ΛΥΜΕΝΕΣ ΕΦΑΡΜΟΓΕΣ ΣΤΟ 2 ο ΚΕΦΑΛΑΙΟ

ΛΥΜΕΝΕΣ ΕΦΑΡΜΟΓΕΣ ΣΤΟ 2 ο ΚΕΦΑΛΑΙΟ ΛΥΜΕΝΕΣ ΕΦΑΡΜΟΓΕΣ ΣΤΟ 2 ο ΚΕΦΑΛΑΙΟ 1. Έστω συνάρτηση ζήτησης με τύπο Q = 200 4P. Να βρείτε: α) Την ελαστικότητα ως προς την τιμή όταν η τιμή αυξάνεται από 10 σε 12. 1ος τρόπος Αν P 0 10 τότε Q 0 200 410

Διαβάστε περισσότερα

ΑΡΧΗ 1ΗΣ ΣΕΛΙΔΑΣ Γ ΗΜΕΡΗΣΙΩΝ

ΑΡΧΗ 1ΗΣ ΣΕΛΙΔΑΣ Γ ΗΜΕΡΗΣΙΩΝ ΑΡΧΗ 1ΗΣ ΣΕΛΙΔΑΣ Γ ΗΜΕΡΗΣΙΩΝ ΕΠΑΝΑΛΗΠΤΙΚΕΣ ΠΑΝΕΛΛΑΔΙΚΕΣ ΕΞΕΤΑΣΕΙΣ Γ ΤΑΞΗΣ ΗΜΕΡΗΣΙΟΥ ΓΕΝΙΚΟΥ ΛΥΚΕΙΟΥ ΠΑΡΑΣΚΕΥΗ 14 ΙΟΥΝΙΟΥ 2013 ΕΞΕΤΑΖΟΜΕΝΟ ΜΑΘΗΜΑ: ΑΝΑΠΤΥΞΗ ΕΦΑΡΜΟΓΩΝ ΣΕ ΠΡΟΓΡΑΜΜΑΤΙΣΤΙΚΟ ΠΕΡΙΒΑΛΛΟΝ ΤΕΧΝΟΛΟΓΙΚΗΣ

Διαβάστε περισσότερα

Όρια Αλγόριθμων Ταξινόμησης. Εισαγωγή στην Ανάλυση Αλγορίθμων Μάγια Σατρατζέμη

Όρια Αλγόριθμων Ταξινόμησης. Εισαγωγή στην Ανάλυση Αλγορίθμων Μάγια Σατρατζέμη Όρια Αλγόριθμων Ταξινόμησης Εισαγωγή στην Ανάλυση Αλγορίθμων Μάγια Σατρατζέμη Όρια Αλγόριθμων Ταξινόμησης Μέχρι στιγμής εξετάσθηκαν μέθοδοι ταξινόμησης µε πολυπλοκότητα της τάξης Θ ) ή Θlog ). Τι εκφράζει

Διαβάστε περισσότερα

h(x, y) = card ({ 1 i n : x i y i

h(x, y) = card ({ 1 i n : x i y i Κεφάλαιο 1 Μετρικοί χώροι 1.1 Ορισμός και παραδείγματα Ορισμός 1.1.1 μετρική). Εστω X ένα μη κενό σύνολο. Μετρική στο X λέγεται κάθε συνάρτηση ρ : X X R με τις παρακάτω ιδιότητες: i) ρx, y) για κάθε x,

Διαβάστε περισσότερα

Άσκηση 1: Λύση: Για το άθροισμα ισχύει: κι επειδή οι μέσες τιμές των Χ και Υ είναι 0: Έτσι η διασπορά της Ζ=Χ+Υ είναι:

Άσκηση 1: Λύση: Για το άθροισμα ισχύει: κι επειδή οι μέσες τιμές των Χ και Υ είναι 0: Έτσι η διασπορά της Ζ=Χ+Υ είναι: Άσκηση 1: Δύο τυχαίες μεταβλητές Χ και Υ έχουν στατιστικές μέσες τιμές 0 και διασπορές 25 και 36 αντίστοιχα. Ο συντελεστής συσχέτισης των 2 τυχαίων μεταβλητών είναι 0.4. Να υπολογισθούν η διασπορά του

Διαβάστε περισσότερα

Αριθμητική Ανάλυση και Εφαρμογές

Αριθμητική Ανάλυση και Εφαρμογές Αριθμητική Ανάλυση και Εφαρμογές Διδάσκων: Δημήτριος Ι. Φωτιάδης Τμήμα Μηχανικών Επιστήμης Υλικών Ιωάννινα 07-08 Πεπερασμένες και Διαιρεμένες Διαφορές Εισαγωγή Θα εισάγουμε την έννοια των διαφορών με ένα

Διαβάστε περισσότερα

K15 Ψηφιακή Λογική Σχεδίαση 7-8: Ανάλυση και σύνθεση συνδυαστικών λογικών κυκλωμάτων

K15 Ψηφιακή Λογική Σχεδίαση 7-8: Ανάλυση και σύνθεση συνδυαστικών λογικών κυκλωμάτων K15 Ψηφιακή Λογική Σχεδίαση 7-8: Ανάλυση και σύνθεση συνδυαστικών λογικών κυκλωμάτων Γιάννης Λιαπέρδος TEI Πελοποννήσου Σχολή Τεχνολογικών Εφαρμογών Τμήμα Μηχανικών Πληροφορικής ΤΕ Η έννοια του συνδυαστικού

Διαβάστε περισσότερα

Ψηφιακές Τηλεπικοινωνίες. Δισδιάστατες Κυματομορφές Σήματος

Ψηφιακές Τηλεπικοινωνίες. Δισδιάστατες Κυματομορφές Σήματος Ψηφιακές Τηλεπικοινωνίες Δισδιάστατες Κυματομορφές Σήματος Εισαγωγή Στα προηγούμενα μελετήσαμε τη διαμόρφωση PAM δυαδικό και Μ-αδικό, βασικής ζώνης και ζωνοπερατό Σε κάθε περίπτωση προέκυπταν μονοδιάστατες

Διαβάστε περισσότερα

ΠΑΝΕΠΙΣΤΗΜΙΟ ΠΕΛΟΠΟΝΝΗΣΟΥ

ΠΑΝΕΠΙΣΤΗΜΙΟ ΠΕΛΟΠΟΝΝΗΣΟΥ ΠΑΝΕΠΙΣΤΗΜΙΟ ΠΕΛΟΠΟΝΝΗΣΟΥ ΤΜΗΜΑ ΕΠΙΣΤΗΜΗΣ & ΤΕΧΝΟΛΟΓΙΑΣ ΤΗΛΕΠΙΚΟΙΝΩΝΙΩΝ Κ 17 Επικοινωνίες ΙΙ Χειμερινό Εξάμηνο Διάλεξη 3 η Νικόλαος Χ. Σαγιάς Επίκουρος Καθηγητής Webpage: http://eclass.uop.gr/courses/tst15

Διαβάστε περισσότερα

Μιγαδικοί Αριθμοί. Μαθηματικά Γ! Λυκείου Θετική και Τεχνολογική Κατεύθυνση. Υποδειγματικά λυμένες ασκήσεις Ασκήσεις προς λύση

Μιγαδικοί Αριθμοί. Μαθηματικά Γ! Λυκείου Θετική και Τεχνολογική Κατεύθυνση. Υποδειγματικά λυμένες ασκήσεις Ασκήσεις προς λύση Μιγαδικοί Αριθμοί Μαθηματικά Γ! Λυκείου Θετική και Τεχνολογική Κατεύθυνση Υποδειγματικά λυμένες ασκήσεις Ασκήσεις προς λύση ΜΙΓΑΔΙΚΟΙ ΑΡΙΘΜΟΙ Υποδειγματικά Λυμένες Ασκήσεις Άλυτες Ασκήσεις ΛΑ Να βρείτε

Διαβάστε περισσότερα

ΕΛΛΗΝΙΚΟ ΑΝΟΙΚΤΟ ΠΑΝΕΠΙΣΤΗΜΙΟ

ΕΛΛΗΝΙΚΟ ΑΝΟΙΚΤΟ ΠΑΝΕΠΙΣΤΗΜΙΟ Θ.Ε. ΠΛΗ22 (2012-13) ΓΡΑΠΤΗ ΕΡΓΑΣΙΑ #5 Στόχος Βασικό στόχο της 5 ης εργασίας αποτελεί η εξοικείωση με τις έννοιες και τα μέτρα επικοινωνιακών καναλιών (Κεφάλαιο 3), καθώς και με έννοιες και τεχνικές της

Διαβάστε περισσότερα