ΕΑΠ/ΠΛΗ22/ΑΘΗ-4. 3 η ΟΣΣ

Transcript

1 ΕΑΠ/ΠΛΗ22/ΑΘΗ-4 3 η ΟΣΣ Ν.Δημητρίου Σημείωση: Η παρουσίαση αυτή είναι συμπληρωματική της ύλης των βιβλίων (τόμος Β / μέρη Α,Β και τόμος Α ) καθώς και των 2 παρουσιάσεων στο study.eap.gr (PLH22_3rdOSS_2015_16, PLH22_3rdOSS_InfoTheory_2015_16) και περιέχει παραπομπές σε συγκεκριμένα σημεία της ύλης αυτής

2 Σχόλιο για τη ΓΕ2 (i) Στη διερεύνηση περιοδικότητας για σήματα που περιέχουν στη χρονική κυματομορφή συναρτήσεις όπως η sinc() ή η sinc 2 () η απάντηση ότι είναι μη περιοδικό διότι περιλαμβάνει τον όρο sinc() δεν είναι πλήρης. Αντιπαράδειγμα: Έστω το σήμα x(t)=2asinc(2at)-2bsinc(2bt)-e j2πct (a-b) sinc((a-b)t)- -e -j2πct (a-b) sinc((a-b)t)+cos(2πdt) με ΜΣ Fourier X(f)=rect(f/2a)-rect(f/2b)-rect((f-c)/(a-b))-rect((f+c)/(a-b))+ 0.5(δ(fd)+δ(f+d)). Για κατάλληλες τιμές των α,b,c,d τα φάσματα των sinc() αλληλοαναιρούνται και μένει μόνο το συνημίτονο (άρα το σήμα είναι περιοδικό) 1 X(f) 1 X(f) -a -c -b -d d b c a -a -c -b -d d b c a ΕΑΠ/ΠΛΗ22/ΑΘΗ.4/3η ΟΣΣ/ /Ν.Δημητρίου

3 Σχόλιο για τη ΓΕ2 (ii) Για τη διερεύνηση περιοδικότητας σε σήματα με άπειρο εύρος ζώνης, η απάντηση ότι αυτά στον χρόνο έχουν πεπερασμένη διάρκεια και άρα είναι μη περιοδικά δεν είναι πλήρης. Αντιπαράδειγμα: Ένα άπειρο άθροισμα παλμών δ() στο πεδίο των συχνοτήτων (με συχνότητες ακέραια πολλαπλάσια μεταξύ τους) είναι περιοδικό και αντιστοιχεί στο πεδίο του χρόνου σε επίσης άπειρο άθροισμα παλμών δ(). ΣΥΜΠΕΡΑΣΜΑ: Για να αποφανθούμε αν ένα σήμα (που περιέχει όρους εκτός από ημίτονα/συνημίτονα) είναι περιοδικό ή όχι υπολογίζουμε το φάσμα πλάτους του και ελέγχουμε αν αυτό είναι συνεχές ή διακριτό. Αν είναι διακριτό, ελέγχουμε αν οι διακριτές συχνότητες έχουν λόγο ρητό, τότε και μόνο το σήμα θα είναι περιοδικό. ΕΑΠ/ΠΛΗ22/ΑΘΗ.4/3η ΟΣΣ/ /Ν.Δημητρίου 3

4 Περιεχόμενα Ψηφιακές Επικοινωνίες Διαμόρφωση FM (τόμος Β/ μέρος Β σελ.81-88) Δειγματοληψία (τόμος Β/ μέρος Α σελ ) Διαμόρφωση PCM (τόμος Β/ μέρος Α σελ ) Παραδείγματα Θεωρία Πληροφορίας Πιθανότητες, ΤΜ, Συναρτήσεις Μάζας/Πυκνότητας Πιθανότητας (τόμος Α σελ ) Ποσότητες Πληροφορίας, Εντροπία (τόμος Α σελ ) Πηγές Συμβόλων χωρίς μνήμη (τόμος Α σελ ) Κωδικοποίηση Συμβόλων (Fano, Shannon, Huffmann) (τόμος Α σελ.58-68) Πηγές με μνήμη (τόμος Α σελ.69-76) Παραδείγματα ΕΑΠ/ΠΛΗ22/ΑΘΗ.4/3η ΟΣΣ/ /Ν.Δημητρίου 4

5 Ψηφιακές Επικοινωνίες ΕΑΠ/ΠΛΗ22/ΑΘΗ.4/3η ΟΣΣ/ /Ν.Δημητρίου 5

6 Διαμορφώσεις Γωνίας Σήμα πληροφορίας Διαφάνειες 3-7 Αρχείου PLH22_3rdOSS_2015_16 ΕΑΠ/ΠΛΗ22/ΑΘΗ.4/3η ΟΣΣ/ /Ν.Δημητρίου 6

7 7

8 Δειγματοληψία Διαφάνειες Αρχείου PLH22_3rdOSS_2015_16 ΕΑΠ/ΠΛΗ22/ΑΘΗ.4/3η ΟΣΣ/ /Ν.Δημητρίου 8

9 9

10 10

11 11

12 12

13 13

14 14

15 Παράδειγμα ΕΑΠ/ΠΛΗ22/ΑΘΗ.4/3η ΟΣΣ/ /Ν.Δημητρίου 15

16 ΓΕ3/1415 ΕΑΠ/ΠΛΗ22/ΑΘΗ.4/3η ΟΣΣ/ /Ν.Δημητρίου 16

17 17

18 18

19 19

20 20

21 21

22 22

23 23

24 24

25 ΓΕ2 / 1112 ΕΑΠ/ΠΛΗ22/ΑΘΗ.4/3η ΟΣΣ/ /Ν.Δημητρίου 25

26 26

27 27

28 28

29 Διαμόρφωση PCM Διαφάνειες Αρχείου PLH22_3rdOSS_2015_16 ΕΑΠ/ΠΛΗ22/ΑΘΗ.4/3η ΟΣΣ/ /Ν.Δημητρίου 29

30 30

31 31

32 32

33 Παράδειγμα ΕΑΠ/ΠΛΗ22/ΑΘΗ.4/3η ΟΣΣ/ /Ν.Δημητρίου 33

34 ΓΕ3/1415 ΕΑΠ/ΠΛΗ22/ΑΘΗ.4/3η ΟΣΣ/ /Ν.Δημητρίου 34

35 35

36 36

37 37

38 38

39 39

40 ΓΕ2 / 1112 ΕΑΠ/ΠΛΗ22/ΑΘΗ.4/3η ΟΣΣ/ /Ν.Δημητρίου 40

41 41

42 42

43 43

44 Θεωρία Πληροφορίας ΕΑΠ/ΠΛΗ22/ΑΘΗ.4/3η ΟΣΣ/ /Ν.Δημητρίου 44

45 45

46 46

47 47

48 Διαφάνειες Αρχείου PLH22_3rdOSS_InfoTheory_2015_16 ΕΑΠ/ΠΛΗ22/ΑΘΗ.4/3η ΟΣΣ/ /Ν.Δημητρίου 48

49 49

50 50

51 51

52 52

53 53

54 Πηγή ΕΑΠ/ΠΛΗ22/ΑΘΗ.4/3η ΟΣΣ/ /Ν.Δημητρίου 54

55 Πηγή ΕΑΠ/ΠΛΗ22/ΑΘΗ.4/3η ΟΣΣ/ /Ν.Δημητρίου 55

56 56

57 57

58 58

59 Διαφάνειες Αρχείου PLH22_3rdOSS_InfoTheory_2015_16 ΕΑΠ/ΠΛΗ22/ΑΘΗ.4/3η ΟΣΣ/ /Ν.Δημητρίου 59

60 60

61 Διαφάνεια 46 Αρχείου PLH22_3rdOSS_InfoTheory_2015_16 ΕΑΠ/ΠΛΗ22/ΑΘΗ.4/3η ΟΣΣ/ /Ν.Δημητρίου 61

62 Η(Χ)=log(n) ΕΑΠ/ΠΛΗ22/ΑΘΗ.4/3η ΟΣΣ/ /Ν.Δημητρίου 62

63 63

64 64

65 65

66 Διαφάνειες Αρχείου PLH22_3rdOSS_InfoTheory_2015_16 ΕΑΠ/ΠΛΗ22/ΑΘΗ.4/3η ΟΣΣ/ /Ν.Δημητρίου 66

67 67

68 68

69 Συμπίεση Πληροφορίας ή Κωδικοποίηση Πηγής... Ορισμοί Μη ιδιάζων κώδικας Όταν όλες οι κωδικές λέξεις είναι διαφορετικές Μοναδικά αποκωδικοποιήσιμος Όταν και οι ακολουθίες των κωδικών λέξεων είναι διαφορετικές Άμεσος ή Μη Προθεματικός κώδικας Κάθε μοναδικά αποκωδικοποίησιμος κώδικας που επιτρέπει την άμεση αποκωδικοποίηση της κωδικής λέξης χωρίς να χρειάζεται να λάβει υπόψη του τις επόμενες κωδικές λέξεις. Ο άμεσος κώδικας αποτελείται από κωδικές λέξεις οι οποίες δεν αποτελούν μέρος (προθέματα άλλων) Διαφάνειες Αρχείου PLH22_3rdOSS_InfoTheory_2015_16 69 ΕΑΠ/ΠΛΗ22/ΑΘΗ.4/3η ΟΣΣ/ /Ν.Δημητρίου

70 Συμπίεση Πληροφορίας ή Κωδικοποίηση Πηγής... Παράδειγμα Μη ιδιάζων, Ι,ΙΙ,ΙΙΙ,ΙV Μοναδικά αποκωδικοποιήσιμος, ΙΙ,ΙΙΙ,ΙV. Ο Ι δεν είναι αφού ΦΦΦΦ, ΦΦΨ, ΨΨ όλα έχουν κωδική λέξη την ίδια, 0000 Άμεσοι κώδικες, ΙΙ και ΙΙΙ Ο κώδικας ΙV δεν είναι άμεσος αφού χρειάζεται να γνωρίζουμε ψηφία που ανήκουν στην επόμενη κωδική λέξη, π.χ ? Ι ΙΙ ΙΙΙ ΙV Φ Χ Ψ Ω ΕΑΠ/ΠΛΗ22/ΑΘΗ.4/3η ΟΣΣ/ /Ν.Δημητρίου 70

71 71

72 72

73 73

74 bits/symbol ΕΑΠ/ΠΛΗ22/ΑΘΗ.4/3η ΟΣΣ/ /Ν.Δημητρίου 74

75 Άριστος κώδικας: max επίδοση ΕΑΠ/ΠΛΗ22/ΑΘΗ.4/3η ΟΣΣ/ /Ν.Δημητρίου 75

76 Σύμβολο Si Πιθανότητα P(Si) Β Ε Α 1/4 1/4 1/4 1/4 1/4 1/4 1/4 1/4 1/4 1/4 1/4 1/4 1/4 1/4 1/8 1/8 1/8 1/8 1/4 1/4 0 Η 1/8 1/8 1/8 1/8 1/8 1/4 0 1/2 1 1/2 1/2 0 1/4 0 1/2 1 1/ Θ 1/8 1/8 1/8 1/4 Γ 1/16 1/ /8 Δ 1/32 0 1/16 1 1/8 1 Ζ 1/32 1 ΕΑΠ/ΠΛΗ22/ΑΘΗ.4/3η ΟΣΣ/ /Ν.Δημητρίου 76

77 Σύμβολο Β Β Ε Α 1/4 1/4 1/4 1/4 1/4 1/4 1/4 1/4 1/4 1/4 1/4 1/4 1/4 1/4 1/8 1/8 1/8 1/8 1/4 1/4 0 Η 1/8 1/8 1/8 1/8 1/8 1/4 0 1/2 1 1/2 1/ /4 1/2 1 1/4 1 1 Θ 1/8 1/8 1/8 0 1/4 Γ 1/16 1/16 0 1/8 1 Δ 1/32 0 1/16 1 Ζ 1/32 1 1/8 1 αντιστροφή σειράς bits ΕΑΠ/ΠΛΗ22/ΑΘΗ.4/3η ΟΣΣ/ /Ν.Δημητρίου 77

78 Β Ε Α Σύμβολο Ε 1/4 1/4 1/4 1/4 1/4 1/4 1/4 1/4 1/4 1/4 1/4 1/4 1/4 1/4 1/8 1/8 1/8 1/8 1/4 1/4 0 Η 1/8 1/8 1/8 1/8 1/8 1/4 0 1/2 1 1/2 1/2 0 1/4 0 1/2 1/ Θ 1/8 1/8 1/8 0 1/4 Γ 1/16 1/16 0 1/8 1 Δ 1/32 0 1/16 1 Ζ 1/32 1 1/8 1 αντιστροφή σειράς bits ΕΑΠ/ΠΛΗ22/ΑΘΗ.4/3η ΟΣΣ/ /Ν.Δημητρίου 78

79 Σύμβολο Δ Β Ε Α 1/4 1/4 1/4 1/4 1/4 1/4 1/4 1/4 1/4 1/4 1/4 1/4 1/4 1/4 1/8 1/8 1/8 1/8 1/4 1/4 0 Η 1/8 1/8 1/8 1/8 1/8 1/ /2 1/2 1/2 1/4 0 1/2 1/ Θ 1/8 1/8 1/8 1/4 1/8 1 Γ 1/16 1/16 0 1/8 0 Δ 1/32 1/ Ζ 1/ αντιστροφή σειράς bits ΕΑΠ/ΠΛΗ22/ΑΘΗ.4/3η ΟΣΣ/ /Ν.Δημητρίου 79

80 Πρόσθετο Παράδειγμα κωδικοποίησης Huffman Σύμβολα / ΕΑΠ/ΠΛΗ22/ΑΘΗ.4/3η ΟΣΣ/ /Ν.Δημητρίου 80

81 Σύμβολο / Σύμβολο / αντιστροφή σειράς bits 0 1 ΕΑΠ/ΠΛΗ22/ΑΘΗ.4/3η ΟΣΣ/ /Ν.Δημητρίου 81

82 Σύμβολο / Σύμβολο / ΕΑΠ/ΠΛΗ22/ΑΘΗ.4/3η ΟΣΣ/ /Ν.Δημητρίου 82

83 Σύμβολο / ΕΑΠ/ΠΛΗ22/ΑΘΗ.4/3η ΟΣΣ/ /Ν.Δημητρίου 83

84 Κωδ. Huffmann με Χρήση δυαδικού δένδρου ΕΑΠ/ΠΛΗ22/ΑΘΗ.4/3η ΟΣΣ/ /Ν.Δημητρίου 84

85 85

86 86

87 87

88 88

89 89

90 90

91 91

92 92

93 93

94 94

95 0.616 ΕΑΠ/ΠΛΗ22/ΑΘΗ.4/3η ΟΣΣ/ /Ν.Δημητρίου 95

96 ΕΑΠ/ΠΛΗ22/ΑΘΗ.4/3η ΟΣΣ/ /Ν.Δημητρίου 96

97 Ασκήσεις/Παραδείγματα ΕΑΠ/ΠΛΗ22/ΑΘΗ.4/3η ΟΣΣ/ /Ν.Δημητρίου 97

98 98

99 99

100 100

101 101

102 102

103 103

104 104

105 105

106 ΓΕ4/ 112/Θ1 ΕΑΠ/ΠΛΗ22/ΑΘΗ.4/3η ΟΣΣ/ /Ν.Δημητρίου 106

107 (Χ, (W,Y)) x 1 x 2 (w 1, y 1) 1/4 1/16 (w 1, y 2) 1/16 1/8 (w 2, y 1) 1/8 1/16 (w 2, y 2) 0 5/16 p(w1,y1)=1/4+1/16=5/16 p(w1,y2)=1/16+1/8=3/16 p(w2,y1)=1/8+1/16=3/16 p(w2,y2)=0+5/16=5/16 p(w1)=5/16+3/16=8/16 p(y1)=5/16+3/16=8/16 p(w2)=3/16+5/16=8/16 p(y2)=5/16+3/16=8/16 p(x1,w1)=1/4+1/16=5/16 p(x1,w2)=1/8+0=1/8 p(x2)=1/16+1/8+1/16+5/16=9/16 p(x1)=1/4+1/16+1/8=7/16 p(x2,w1)=1/16+1/8=3/16 p(x2,w2)=1/16+5/16=6/16 (Χ, (Y,Z)) x 1 x 2 (y 1, z 1) 1/4 1/16 (y 1, z 2) 1/8 1/16 (y 2, z 1) 1/16 3/16 (y 2, z 2) 0 1/4 p(y1,z1)=1/4+1/16=5/16 p(y1,z2)=1/8+1/16=3/16 p(y2,z1)=1/16+3/16=4/16 p(y2,z2)=0+1/4=1/4 ΕΑΠ/ΠΛΗ22/ΑΘΗ.4/3η ΟΣΣ/ /Ν.Δημητρίου p(z1)=5/16+4/16=9/16 p(z2)=3/16+1/4=7/16 ΓΕ4/1112/Θ1 107

108 108

109 109

110 110

111 111

112 ΓΕ4/0910 ΕΑΠ/ΠΛΗ22/ΑΘΗ.4/3η ΟΣΣ/ /Ν.Δημητρίου 112

113 113

114 114

115 115

116 116

117 117

118 118

119 119

120 ΓΕ4/1112 ΕΑΠ/ΠΛΗ22/ΑΘΗ.4/3η ΟΣΣ/ /Ν.Δημητρίου 120

121 121

122 122

123 123

124 Σύμβολο Πληροφορικό περιεχόμενο (bits/symbol) (H(x i ))_ Πιθανότητα εκπομπής συμβόλων 2 (-H(xi)) A B Γ Δ Ε Shannon H(xi)=-log(p(xi)=>p(xi)=2 (-H(xi)) ΓΕ4/1112/Θ4 p(xi) -log(p(xi)) Li Πi Code 0,384 1, ,285 1, , ,186 2, , ,113 3, , ,032 4, , x0,855 1,71 1 2x0,71 1,42 1 2x0,42 0,84 0 2x0,84 1,68 1 ΕΑΠ/ΠΛΗ22/ΑΘΗ.4/3η ΟΣΣ/ /Ν.Δημητρίου 124

125 Σύμβολο Πληροφορικό περιεχόμενο (bits/symbol) (H(x i ))_ Πιθανότητα εκπομπής συμβόλων 2 (-H(xi)) A B Γ Δ Ε Shannon H(xi)=-log(p(xi)=>p(xi)=2 (-H(xi)) ΓΕ4/1112/Θ4 x 2 0,968 1,936 1 p(xi) -log(p(xi)) Li Πi Code 0,384 1, ,285 1, , ,186 2, , ,113 3, , ,936 1, ,872 1, ,744 1, ,488 0, ,032 4, , ΕΑΠ/ΠΛΗ22/ΑΘΗ.4/3η ΟΣΣ/ /Ν.Δημητρίου 125

126 ΕΞ 2012Β ΕΑΠ/ΠΛΗ22/ΑΘΗ.4/3η ΟΣΣ/ /Ν.Δημητρίου 126

127 127

128 128

129 129

130 ΓΕ4/0708 ΕΑΠ/ΠΛΗ22/ΑΘΗ.4/3η ΟΣΣ/ /Ν.Δημητρίου 130

131 131

132 132

133 133

134 134

135 135

136 136

137 137