ΕΑΠ/ΠΛΗ22/ΑΘΗ-3 3 η ΟΣΣ 04.02.207 Ν.Δημητρίου Σημείωση: Η παρουσίαση αυτή είναι συμπληρωματική της ύλης των βιβλίων (τόμος Β / μέρη Α,Β και τόμος Α ) καθώς και των 2 παρουσιάσεων στο study.eap.gr (oss3_plh22_digicomms_207, PLH22_info_theory_3rdOSS_206-7) και περιέχει παραπομπές σε συγκεκριμένα σημεία της ύλης αυτής
Σχόλιο για τη ΓΕ2 (i) Στη διερεύνηση περιοδικότητας για σήματα που περιέχουν στη χρονική κυματομορφή συναρτήσεις όπως η sinc() ή η sinc 2 () η απάντηση ότι είναι μη περιοδικό διότι περιλαμβάνει τον όρο sinc() δεν είναι πλήρης. Αντιπαράδειγμα: Έστω το σήμα x(t)=2asinc(2at)-2bsinc(2bt)-e j2πct (a-b) sinc((a-b)t)- -e -j2πct (a-b) sinc((a-b)t)+cos(2πdt) με ΜΣ Fourier X(f)=rect(f/2a)-rect(f/2b)-rect((f-c)/(a-b))-rect((f+c)/(a-b))+ 0.5(δ(fd)+δ(f+d)). Για κατάλληλες τιμές των α,b,c,d τα φάσματα των sinc() αλληλοαναιρούνται και μένει μόνο το συνημίτονο (άρα το σήμα είναι περιοδικό) X(f) X(f) -a -c -b -d d b c a -a -c -b -d d b c a - - 2 ΕΑΠ/ΠΛΗ22/ΑΘΗ.3/3η ΟΣΣ/04.02.207/Ν.Δημητρίου
Σχόλιο για τη ΓΕ2 (ii) Για τη διερεύνηση περιοδικότητας σε σήματα με άπειρο εύρος ζώνης, η απάντηση ότι αυτά στον χρόνο έχουν πεπερασμένη διάρκεια και άρα είναι μη περιοδικά δεν είναι πλήρης. Αντιπαράδειγμα: Ένα άπειρο άθροισμα παλμών δ() στο πεδίο των συχνοτήτων (με συχνότητες ακέραια πολλαπλάσια μεταξύ τους) είναι περιοδικό και αντιστοιχεί στο πεδίο του χρόνου σε επίσης άπειρο άθροισμα παλμών δ(). ΣΥΜΠΕΡΑΣΜΑ: Για να αποφανθούμε αν ένα σήμα (που περιέχει όρους εκτός από ημίτονα/συνημίτονα) είναι περιοδικό ή όχι υπολογίζουμε το φάσμα πλάτους του και ελέγχουμε αν αυτό είναι συνεχές ή διακριτό. Αν είναι διακριτό, ελέγχουμε αν οι διακριτές συχνότητες έχουν λόγο ρητό, τότε και μόνο το σήμα θα είναι περιοδικό. ΕΑΠ/ΠΛΗ22/ΑΘΗ.3/3η ΟΣΣ/04.02.207/Ν.Δημητρίου 3
Περιεχόμενα Ψηφιακές Επικοινωνίες Διαμόρφωση FM (τόμος Β/ μέρος Β σελ.8-88) Δειγματοληψία (τόμος Β/ μέρος Α σελ. -7) Διαμόρφωση PCM (τόμος Β/ μέρος Α σελ. 8-3) Παραδείγματα Θεωρία Πληροφορίας Πιθανότητες, ΤΜ, Συναρτήσεις Μάζας/Πυκνότητας Πιθανότητας (τόμος Α σελ. 22-26) Ποσότητες Πληροφορίας, Εντροπία (τόμος Α σελ. 27-43) Πηγές Συμβόλων χωρίς μνήμη (τόμος Α σελ. 47-57) Κωδικοποίηση Συμβόλων (Fano, Shannon, Huffmann) (τόμος Α σελ.58-68) Πηγές με μνήμη (τόμος Α σελ.69-76) Παραδείγματα ΕΑΠ/ΠΛΗ22/ΑΘΗ.3/3η ΟΣΣ/04.02.207/Ν.Δημητρίου 4
Ψηφιακές Επικοινωνίες ΕΑΠ/ΠΛΗ22/ΑΘΗ.3/3η ΟΣΣ/04.02.207/Ν.Δημητρίου 5
Διαμορφώσεις Γωνίας Σήμα πληροφορίας Διαφάνειες 3-7 Αρχείου oss3_plh22_digicomms_207 ΕΑΠ/ΠΛΗ22/ΑΘΗ.3/3η ΟΣΣ/04.02.207/Ν.Δημητρίου 6
7
Δειγματοληψία Διαφάνειες 5-29 Αρχείου oss3_plh22_digicomms_207 ΕΑΠ/ΠΛΗ22/ΑΘΗ.3/3η ΟΣΣ/04.02.207/Ν.Δημητρίου 8
9
0
2
3
4
Παράδειγμα ΕΑΠ/ΠΛΗ22/ΑΘΗ.3/3η ΟΣΣ/04.02.207/Ν.Δημητρίου 5
ΓΕ3/45 ΕΑΠ/ΠΛΗ22/ΑΘΗ.3/3η ΟΣΣ/04.02.207/Ν.Δημητρίου 6
7
8
9
20
2
22
23
24
ΓΕ2 / 2 ΕΑΠ/ΠΛΗ22/ΑΘΗ.3/3η ΟΣΣ/04.02.207/Ν.Δημητρίου 25
26
27
28
Διαμόρφωση PCM Διαφάνειες 30-33 Αρχείου oss3_plh22_digicomms_207 ΕΑΠ/ΠΛΗ22/ΑΘΗ.3/3η ΟΣΣ/04.02.207/Ν.Δημητρίου 29
30
3
Διαφάνειες 34-36 Αρχείου oss3_plh22_digicomms_207 ΕΑΠ/ΠΛΗ22/ΑΘΗ.3/3η ΟΣΣ/04.02.207/Ν.Δημητρίου 32
33
34
Παράδειγμα ΕΑΠ/ΠΛΗ22/ΑΘΗ.3/3η ΟΣΣ/04.02.207/Ν.Δημητρίου 35
ΓΕ3/45 ΕΑΠ/ΠΛΗ22/ΑΘΗ.3/3η ΟΣΣ/04.02.207/Ν.Δημητρίου 36
37
38
39
40
4
Θεωρία Πληροφορίας ΕΑΠ/ΠΛΗ22/ΑΘΗ.3/3η ΟΣΣ/04.02.207/Ν.Δημητρίου 42
43
44
45
Διαφάνειες 26-32 Αρχείου PLH22_info_theory_3rdOSS_206-7 ΕΑΠ/ΠΛΗ22/ΑΘΗ.3/3η ΟΣΣ/04.02.207/Ν.Δημητρίου 46
47
48
49
50
5
Πηγή http://www.telecom.tuc.gr/courses/tel42/class_notes/tel42_lecture02.pdf ΕΑΠ/ΠΛΗ22/ΑΘΗ.3/3η ΟΣΣ/04.02.207/Ν.Δημητρίου 52
Πηγή http://www.telecom.tuc.gr/courses/tel42/class_notes/tel42_lecture02.pdf ΕΑΠ/ΠΛΗ22/ΑΘΗ.3/3η ΟΣΣ/04.02.207/Ν.Δημητρίου 53
54
55
56
Διαφάνειες 48-6 Αρχείου PLH22_info_theory_3rdOSS_206-7 ΕΑΠ/ΠΛΗ22/ΑΘΗ.3/3η ΟΣΣ/04.02.207/Ν.Δημητρίου 57
58
Διαφάνεια 46 Αρχείου PLH22_info_theory_3rdOSS_206-7 ΕΑΠ/ΠΛΗ22/ΑΘΗ.3/3η ΟΣΣ/04.02.207/Ν.Δημητρίου 59
Η(Χ)=log(n) ΕΑΠ/ΠΛΗ22/ΑΘΗ.3/3η ΟΣΣ/04.02.207/Ν.Δημητρίου 60
6
62
63
Παραδείγματα / Ποσότητα πληροφορίας-εντροπία ΕΑΠ/ΠΛΗ22/ΑΘΗ.3/3η ΟΣΣ/04.02.207/Ν.Δημητρίου 64
65
66
67
68
69
70
7
72
ΓΕ4/ 2/Θ ΕΑΠ/ΠΛΗ22/ΑΘΗ.3/3η ΟΣΣ/04.02.207/Ν.Δημητρίου 73
(Χ, (W,Y)) x x 2 (w, y ) /4 /6 (w, y 2) /6 /8 (w 2, y ) /8 /6 (w 2, y 2) 0 5/6 p(w,y)=/4+/6=5/6 p(w,y2)=/6+/8=3/6 p(w2,y)=/8+/6=3/6 p(w2,y2)=0+5/6=5/6 p(w)=5/6+3/6=8/6 p(y)=5/6+3/6=8/6 p(w2)=3/6+5/6=8/6 p(y2)=5/6+3/6=8/6 p(x,w)=/4+/6=5/6 p(x,w2)=/8+0=/8 p(x2)=/6+/8+/6+5/6=9/6 p(x)=/4+/6+/8=7/6 p(x2,w)=/6+/8=3/6 p(x2,w2)=/6+5/6=6/6 (Χ, (Y,Z)) x x 2 (y, z ) /4 /6 (y, z 2) /8 /6 (y 2, z ) /6 3/6 (y 2, z 2) 0 /4 p(y,z)=/4+/6=5/6 p(y,z2)=/8+/6=3/6 p(y2,z)=/6+3/6=4/6 p(y2,z2)=0+/4=/4 ΕΑΠ/ΠΛΗ22/ΑΘΗ.3/3η ΟΣΣ/04.02.207/Ν.Δημητρίου p(z)=5/6+4/6=9/6 p(z2)=3/6+/4=7/6 ΓΕ4/2/Θ 74
75
76
77
78
Διαφάνειες 62-69 Αρχείου PLH22_info_theory_3rdOSS_206-7 ΕΑΠ/ΠΛΗ22/ΑΘΗ.3/3η ΟΣΣ/04.02.207/Ν.Δημητρίου 79
80
8
Συμπίεση Πληροφορίας ή Κωδικοποίηση Πηγής... Ορισμοί Μη ιδιάζων κώδικας Όταν όλες οι κωδικές λέξεις είναι διαφορετικές Μοναδικά αποκωδικοποιήσιμος Όταν και οι ακολουθίες των κωδικών λέξεων είναι διαφορετικές Άμεσος ή Μη Προθεματικός κώδικας Κάθε μοναδικά αποκωδικοποίησιμος κώδικας που επιτρέπει την άμεση αποκωδικοποίηση της κωδικής λέξης χωρίς να χρειάζεται να λάβει υπόψη του τις επόμενες κωδικές λέξεις. Ο άμεσος κώδικας αποτελείται από κωδικές λέξεις οι οποίες δεν αποτελούν μέρος (προθέματα άλλων) Διαφάνειες 75-06 Αρχείου PLH22_info_theory_3rdOSS_206-7 82 ΕΑΠ/ΠΛΗ22/ΑΘΗ.3/3η ΟΣΣ/04.02.207/Ν.Δημητρίου
Συμπίεση Πληροφορίας ή Κωδικοποίηση Πηγής... Παράδειγμα Μη ιδιάζων, Ι,ΙΙ,ΙΙΙ,ΙV Μοναδικά αποκωδικοποιήσιμος, ΙΙ,ΙΙΙ,ΙV. Ο Ι δεν είναι αφού ΦΦΦΦ, ΦΦΨ, ΨΨ όλα έχουν κωδική λέξη την ίδια, 0000 Άμεσοι κώδικες, ΙΙ και ΙΙΙ Ο κώδικας ΙV δεν είναι άμεσος αφού χρειάζεται να γνωρίζουμε ψηφία που ανήκουν στην επόμενη κωδική λέξη, π.χ. 0000? Ι ΙΙ ΙΙΙ ΙV Φ 0 00 0 0 Χ 0 0 0 Ψ 00 0 0 0 Ω 0 0 0 ΕΑΠ/ΠΛΗ22/ΑΘΗ.3/3η ΟΣΣ/04.02.207/Ν.Δημητρίου 83
84
85
86
2.6875 bits/symbol ΕΑΠ/ΠΛΗ22/ΑΘΗ.3/3η ΟΣΣ/04.02.207/Ν.Δημητρίου 87
Άριστος κώδικας: max επίδοση ΕΑΠ/ΠΛΗ22/ΑΘΗ.3/3η ΟΣΣ/04.02.207/Ν.Δημητρίου 88
Σύμβολο Si Πιθανότητα P(Si) Β Ε Α /4 /4 /4 /4 /4 /4 /4 /4 /4 /4 /4 /4 /4 /4 /8 /8 /8 /8 /4 /4 0 Η /8 /8 /8 /8 /8 /4 0 /2 /2 /2 /4 0 /2 /4 0 Θ /8 /8 /8 0 /4 Γ /6 /6 0 /8 Δ /32 0 /6 /8 Ζ /32 ΕΑΠ/ΠΛΗ22/ΑΘΗ.3/3η ΟΣΣ/04.02.207/Ν.Δημητρίου 89
Β Ε Α Σύμβολο Β /4 /4 /4 /4 /4 /4 /4 /4 /4 /4 /4 /4 /4 /4 /8 /8 /8 /8 /4 /4 0 Η /8 /8 /8 /8 /8 /4 0 /2 /2 /2 0 /4 /2 /4 0 Θ /8 /8 /8 0 /4 Γ /6 /6 0 /8 Δ /32 0 /6 Ζ /32 /8 αντιστροφή σειράς bits 0 0 ΕΑΠ/ΠΛΗ22/ΑΘΗ.3/3η ΟΣΣ/04.02.207/Ν.Δημητρίου 90
Σύμβολο Ε Β Ε Α /4 /4 /4 /4 /4 /4 /4 /4 /4 /4 /4 /4 /4 /4 /8 /8 /8 /8 /4 /4 0 Η /8 /8 /8 /8 /8 /4 0 /2 /2 /2 /4 0 /2 /4 0 Θ /8 /8 /8 0 /4 Γ /6 /6 0 /8 Δ /32 0 /6 Ζ /32 /8 αντιστροφή σειράς bits ΕΑΠ/ΠΛΗ22/ΑΘΗ.3/3η ΟΣΣ/04.02.207/Ν.Δημητρίου 9
Σύμβολο Δ Β Ε Α /4 /4 /4 /4 /4 /4 /4 /4 /4 /4 /4 /4 /4 /4 /8 /8 /8 /8 /4 /4 0 Η /8 /8 /8 /8 /8 /4 0 /2 /2 /2 /4 0 /2 /4 0 0 Θ /8 /8 /8 /4 /8 Γ /6 /6 0 /8 0 Δ /32 /6 Ζ /32 000 000 αντιστροφή σειράς bits ΕΑΠ/ΠΛΗ22/ΑΘΗ.3/3η ΟΣΣ/04.02.207/Ν.Δημητρίου 92
Πρόσθετο Παράδειγμα κωδικοποίησης Huffman Σύμβολα 0.45 0.45 0.45 0.45 /4 0.55 0 0 2 0.25 0.25 0.25 0.3 0.55 0.45 3 0.5 0.5 0 0.3 0.25 4 0. 0 0.5 5 0.05 ΕΑΠ/ΠΛΗ22/ΑΘΗ.3/3η ΟΣΣ/04.02.207/Ν.Δημητρίου 93
Σύμβολο 0.45 0.45 0.45 0.45 /4 0.55 0 0 2 0.25 0.25 0.25 0.3 0.55 0.45 3 0.5 0.5 0 0.3 0.25 4 0. 0 0.5 5 0.05 Σύμβολο 2 0.45 0.45 0.45 0.45 /4 0.55 0 0 2 0.25 0.25 0.25 0.3 0.55 0.45 3 0.5 0.5 0 0.3 0.25 4 0. 0 0 0.5 αντιστροφή σειράς bits 5 0.05 0 ΕΑΠ/ΠΛΗ22/ΑΘΗ.3/3η ΟΣΣ/04.02.207/Ν.Δημητρίου 94
Σύμβολο 3 0.45 0.45 0.45 0.45 /4 0.55 0 0 2 0.25 0.25 0.25 0.3 0.55 0.45 3 0.5 0.5 0 0.3 0.25 4 0. 0 0.5 5 0.05 000 000 Σύμβολο 4 0 0.45 0.45 0.45 0.45 /4 0.55 0 2 0.25 0.25 0.25 0.3 0.55 0.45 3 0.5 0.5 0 0.3 0.25 000 4 0. 0 0.5 000 5 0.05 ΕΑΠ/ΠΛΗ22/ΑΘΗ.3/3η ΟΣΣ/04.02.207/Ν.Δημητρίου 95
Σύμβολο 5 0.45 0.45 0.45 0.45 /4 0.55 0 0 2 0.25 0.25 0.25 0.3 0.55 0.45 3 0.5 0.5 0 0.3 0.25 4 0. 0 0.5 00 5 0.05 00 ΕΑΠ/ΠΛΗ22/ΑΘΗ.3/3η ΟΣΣ/04.02.207/Ν.Δημητρίου 96
Κωδ. Huffmann με Χρήση δυαδικού δένδρου ΕΑΠ/ΠΛΗ22/ΑΘΗ.3/3η ΟΣΣ/04.02.207/Ν.Δημητρίου 97
98
99
00
0
02
03
Παραδείγματα Κωδικοποίησης ΕΑΠ/ΠΛΗ22/ΑΘΗ.3/3η ΟΣΣ/04.02.207/Ν.Δημητρίου 04
ΓΕ4/2 ΕΑΠ/ΠΛΗ22/ΑΘΗ.3/3η ΟΣΣ/04.02.207/Ν.Δημητρίου 05
06
07
08
Σύμβολο Πληροφορικό περιεχόμενο (bits/symbol) (H(x i ))_ Πιθανότητα εκπομπής συμβόλων 2 (-H(xi)) A.8 0.285 B.38 0.384 Γ 2.42 0.86 Δ 3.4 0.3 Ε 4.96 0.032 Shannon H(xi)=-log(p(xi)=>p(xi)=2 (-H(xi)) ΓΕ4/2/Θ4 p(xi) -log(p(xi)) Li Πi Code 0,384,38082784 2 0 00 0,285,8096676 2 0,384 0 0,86 2,426625474 3 0,669 0 0,3 3,45605322 3 0,855 0 0,032 4,965784285 5 0,968 2x0,855,7 2x0,7,42 2x0,42 0,84 0 2x0,84,68 ΕΑΠ/ΠΛΗ22/ΑΘΗ.3/3η ΟΣΣ/04.02.207/Ν.Δημητρίου 09
Σύμβολο Πληροφορικό περιεχόμενο (bits/symbol) (H(x i ))_ Πιθανότητα εκπομπής συμβόλων 2 (-H(xi)) A.8 0.285 B.38 0.384 Γ 2.42 0.86 Δ 3.4 0.3 Ε 4.96 0.032 Shannon H(xi)=-log(p(xi)=>p(xi)=2 (-H(xi)) ΓΕ4/2/Θ4 x 2 0,968,936 p(xi) -log(p(xi)) Li Πi Code 0,384,38082784 2 0 00 0,285,8096676 2 0,384 0 0,86 2,426625474 3 0,669 0 0,3 3,45605322 3 0,855 0 0,936,872 0,872,744 0,744,488 0,488 0,976 0 0,032 4,965784285 5 0,968 0 ΕΑΠ/ΠΛΗ22/ΑΘΗ.3/3η ΟΣΣ/04.02.207/Ν.Δημητρίου 0
ΓΕ3 204-5 ΕΑΠ/ΠΛΗ22/ΑΘΗ.3/3η ΟΣΣ/04.02.207/Ν.Δημητρίου
2
3
4
Μεθοδολογία δένδρου Huffman Διαφάνειες 6-22 Αρχείου PLH22_info_theory_3rdOSS_206-7 ΕΑΠ/ΠΛΗ22/ΑΘΗ.3/3η ΟΣΣ/04.02.207/Ν.Δημητρίου 5
6