ΘΕΩΡΙΑ ΠΛΗΡΟΦΟΡΙΑΣ, ΕΝΤΡΟΠΙΑ, ΠΟΛΥΠΛΟΚΟΤΗΤΑ 4. ΔΙΑΥΛΟΙ, ΚΩΔΙΚΕΣ, ΔΙΚΤΥΑ

Transcript

1 ΘΕΩΡΙΑ ΠΛΗΡΟΦΟΡΙΑΣ, ΕΝΤΡΟΠΙΑ, ΠΟΛΥΠΛΟΚΟΤΗΤΑ 4. ΔΙΑΥΛΟΙ, ΚΩΔΙΚΕΣ, ΔΙΚΤΥΑ Ioannis E. Antoniou Mathematics Department Aristotle University 54124,Thessaloniki,Greece

2 Channels Noiseless Channel. Coding Communication Networks

3 CHANNELS ΠΟΜΠΟΣ ΔΕΚΤΗΣ Ψ t : Ω Σ, t T Ψ t : Ω Σ, t T

4 Definition The Transmission Probability (Πιθανοτητα Μεταδοσης) From the Source Node (Ψ t, Σ, p), t T to the Receiver Node (Ψ t, Σ, p ), t T = 1,2, P ψ t 1, ψ t 2,, ψ t m ψ t1, ψ t2,, ψ tm ], t, t T, m, m = 1,2,3, The Probability to observe the Message ψ t 1, ψ t 2,, ψ t m at times t 1, t 2,, t m If the Message ψ t1, ψ t2,, ψ tm was sent at times t 1, t 2,, t m Σ = (σ 1, σ 2, σ b ) the Symbols of the Source Σ = (σ 1, σ 2,... σ b ) the Symbols of the Receiver p: Σ F [0,1] the Probability (Model) of the Sent Messages p : Σ F [0,1] the Probability (Model) of the Received Messages

5 SOURCE TRANSMITTER CHANNEL RECEIVER MESSAGE DESTINATION Nature Observable Experimental Voltmeter Changes of Variables Scientist Events Device Thermometer Tηλεσκοπιο Show TV Station EM Field TV-Receiver Images,Sounds Τηλεθεατης Αuthor Editor Distribution Eyes, Brain Text People Network Orchestra Amplifier Concert Hall Ears,Eyes, Musical Piece People Brain Painter Painting Exhibition Hall Eyes, Brain Image People Genotype DNA Biomolecular Web Phenotype Bio-Information Organism People PC Internet PC ,Text,Image,Video People

6 Mind as a Processor Mind can attend to a certain amount of information at a time. How much Information? about 126 bits per second. (7560 bits per minute) Miller G. 1956, The magical number seven, plus or minus two: Some limits on our capacity for processing information, Psychological Review. 63, Conversation takes about 40 bits per second (1/3 of the capacity). The Reason Why when we are having a conversation we cannot focus our attention as much on other things. Csikszentmihalyi, M. 1988, The flow experience and its significance for human psychology, in Csikszentmihalyi, M., Optimal experience: psychological studies of flow in consciousness, Cambridge, UK: Cambridge University Press, pp ,

7 Facebook is working on Mind-Reading Technology "Facebook is working on optical neuro-imaging systems that would allow people to type words directly from their brain at 100 words per minute: 5 times the speed possible on a smartphone". Regina Dugan, Head of Facebook experimental technologies division More or less the Miller Number

8

9 Definition Stationary Memoryless Channel Μarkov Model of Symbol Transmission in the Channel Transmission Probability of Symbols = Πιθανοτητα Μεταδοσης Συμβολων The output at time t depends only on the input at time t P ψ t1, ψ t2,, ψ tm ψ t1, ψ t2,, ψ tm ] = P ψ t1 ψ t1 ]P ψ t2 ψ t2 ] P ψ tm ψ tm ], t = t T, m = m = 1,2,3, Stationarity means that the Transmission Probabilities do not depend on time P[σ λ σ κ ] = M λλ the probability to observe the symbol σ λ at the location-time t, given that the symbol σ κ was sent at the location-time t. The Memoryless Channel is defined by the Channel Transmission Matrix (Operator) Μ = A b b generalized Markov Matrix p(σ 1 σ 1 ) p(σ 1 σ 2 ) p(σ 1 σ b ) p(σ 2 σ 1 ) p(σ 2 σ 2 ) p(σ 2 σ b ) p σ b σ 1 p σ b σ 2 p σ b σ b

10 INPUT PROBABILITY p p(σ 1 ) p(σ b ) OUTPUT PROBABILITY p = MM p (σ 1 ) M 11 M 1b p(σ 1 ) = p (σ b ) M b 1 M b p(σ b ) Example: Σ={Α,Β,Γ}, Σ = {0,1} p(0 A) p(0 Β) p(0 Γ) M = p(1 A) p(1 Β) p(1 Γ) p(a) p(a) p(0 A) p(0 Β) p(0 Γ) p= p(b) p = Μp = p(1 A) p(1 Β) p(1 Γ) p(b) = p (0) p (1) p(γ) p(γ)

11 Definition Channel Capacity The upper bound on the amount of information that can be reliably transmitted over the channel. The max information transmission rate that can be achieved with arbitrarily small error probability (Shannon Channel Coding Theorem) C = max S Ψ; Ψ, p the input probabilities

12 Lemma 0 C min {lll 2 b, lll 2 b } 2) C ldn and C ldn Proof 0 C, because S[Ψ ; Ψ ] 0 C = max S Ψ ; Ψ, p {S[Ψ], p} = lll 2 b C = max S Ψ ; Ψ, p = C = max S Ψ ; Ψ, p S Ψ, p = lll 2 b 2)

13 Binary Symmetric Channel with Crossover Probability p (BSC, p) 1) channel with binary input Σ = {0,1} and binary output Σ = {0,1} The transmitter sends a bit ( zero or one), and the receiver receives a bit. 2) The bit is usually transmitted correctly, but that it may "flip" with a small probability p (crossover probability). The receiver occasionally gets the wrong bit. P(Ψ = 0 Ψ = 0 ) = 1-p P(Ψ = 0 Ψ = 1) = p P(Ψ = 1 Ψ = 0 ) = p P(Ψ = 1 Ψ = 1 ) = 1-p M = p(0 0) p(0 1) p p = 1 p(1 0) p(1 1) p 1 p

14 The BSC is the simplest channel with Noise. Many problems in communication theory can be reduced to a BSC. Being able to transmit effectively over the BSC can give rise to solutions for more complicated channels. It is assumed that 0 p 1/2. If p > 1/2, then the receiver can swap the output (interpret 1 when it sees 0, and vice versa) obtain an equivalent channel with crossover probability 1 p 1/2.

15 Lemma Capacity of (BSC, p) C = 1 S 2 (p) S 2 (p) = p lll 2 p (1 p)lll 2 (1 p) the (Binary) Entropy of the Error RV Αποδ C = max S Ψ; Ψ, p. Η Αμοιβαια Πληροφορια είναι: S[Ψ ; Ψ ] = S[Ψ ] S[Ψ Ψ] = S[Ψ ] {p(ψ=0) S[Ψ Ψ=0] + p(ψ=1) S[Ψ Ψ=1]} S[Ψ Ψ=0] = p[ψ =0 Ψ=0] lll 2 p[ψ =0 Ψ=0] p[ψ =1 Ψ=0] lll 2 p[ψ =1 Ψ=0] = (1 p) lll 2 (1 p) plll 2 p = S 2 (p) S[Ψ Ψ=1] = p[ψ =0 Ψ=1] lll 2 p[ψ =0 Ψ=1] p[ψ =1 Ψ=1] lll 2 p[ψ =1 Ψ=1] = plll 2 p (1 p) lll 2 (1 p) = S 2 (p) S[Ψ ; Ψ ] = S[Ψ ] {p(ψ=0) S 2 (p) + p(ψ=1) S 2 (p)} = S[Ψ ] S 2 (p) 1 S 2 (p) S[Ψ ] lll 2 2 = 1 διοτι Ψ είναι διτιμη ΤΜ

16 Definition Symmetric Channels Σ={0,1,..,n}, Σ ={0,1,, n } The Transmission Matrix M = p(0 0) p(0 1) p(0 n 1) p(1 0) p(1 1) p(1 n 1) p(n 1 0) p(n 1 1) p(n 1 n 1) Τhe rows of the Channel Transition matrix are permutations of each other and The columns are permutations of each other

17 Symmetric Channels Examples 1) (BSC, p) is Symmetric Channel 2) The Channel with Σ={0,1,2}, Σ ={0,1,2} M=

18 Binary Erasure channel with erasure probability p (BEC, p) 1) Binary input, alphabet Σ = {0, 1}, Τernary output alphabet Σ = {0, 1, e} 2) a transmitter sends a bit (a zero or a one), and the receiver receives either the bit or a message that the bit was not received (erased) with probability of erasure p. The receiver knows which bits have been erased. The receiver occasionally loses a bit with probability p. The BEC is not Symmetric The BEC was introduced by Peter Elias of MIT in 1954 as a toy example. Elias P. 1959, Coding and Information Theory, Rev. Mod. Physics 31, BEC is used frequently because it is one of the simplest channels to analyze. Many problems in communication theory can be reduced to BEC.

19 P(Ψ = 0 Ψ = 0) = 1 p P(Ψ = e Ψ = 0) = p P(Ψ = 1 Ψ = 0) = 0 P(Ψ = 0 Ψ = 1) = 0 P(Ψ = e Ψ = 1) = p P(Ψ = 1 Ψ = 1) = 1 p p(0 0) M = p(e 0) p(1 0) p(0 1) 1 p 0 p(e 1) = p p p(1 1) 0 1 p

20 Lemma Capacity of ΒΕC C = 1 p Αποδειξη C = max S Ψ; Ψ, p. Η Αμοιβαια Πληροφορια είναι: S[Ψ ; Ψ ] = S[Ψ ] S[Ψ Ψ] S[Ψ Ψ] = p(ψ=0) S[Ψ Ψ=0] + p(ψ=1) S[Ψ Ψ=1] S[Ψ Ψ=0] = p[ψ =0 Ψ=0] lll 2 p[ψ =0 Ψ=0] p[ψ =1 Ψ=0] lll 2 p[ψ =1 Ψ=0] p[ψ =e Ψ=0] lll 2 p[ψ =e Ψ=0] = (1 p) lll 2 (1 p) 0 plll 2 p = S 2 (p)

21 S[Ψ Ψ=1] = p[ψ =0 Ψ=1] lll 2 p[ψ =0 Ψ=1] p[ψ =1 Ψ=1] lll 2 p[ψ =1 Ψ=1] p[ψ =e Ψ=1] lll 2 p[ψ =e Ψ=1] = 0 (1 p) lll 2 (1 p) plll 2 p = S 2 (p) S[Ψ Ψ] = {p(ψ=0) + p(ψ=1)} S 2 (p) = S 2 (p) S[Ψ ] lll 2 3 but this bound cannot be achieved S[Ψ ]= p[ψ =0] lll 2 p[ψ =0] p[ψ =1] lll 2 p[ψ =1] p[ψ =e] lll 2 p[ψ =e] p[ψ = 0] p(0 0) p[ψ = e] = p(e 0) p[ψ = 1] p(1 0) p(0 1) 1 p 0 p[ψ = 0] p(e 1) p[ψ = 1] = p[ψ = 0] p p p[ψ = 1] = p(1 1) 0 1 p (1 p)p[ψ = 0] (1 p)(1 q) = pp[ψ = 0] + pp[ψ = 1] = (1 p)p[ψ = 1] p (1 p)q,

22 Put p[ψ = 1] = q S[Ψ ] = (1 p)(1 q)lll 2 [(1 p)(1 q)] plll 2 p (1 p)qlll 2 [(1 p)q] = (1 p) ( (1 q)lll 2 [(1 p)(1 q)] qlll 2 [(1 p)q]) plll 2 p = (1 p) ( (1 q)lll 2 (1 p) (1 q)lll 2 [(1 q)] qlll 2 (1 p) qldq) plll 2 p = (1 p) (S 2 (q) (1 q)lll 2 (1 p) qlll 2 (1 p)) plll 2 p = (1 p) S 2 (q) (1 p)lll 2 (1 p) plll 2 p = (1 p) S 2 (q)+s 2 (p) S[Ψ ; Ψ ] = S[Ψ ] S[Ψ Ψ] = (1 p) S 2 (q)+s 2 (p) S 2 (p) = (1 p) S 2 (q) C = max S Ψ; Ψ, p = max (1 p) S 2 (q), p = (1 p) Διοτι S 2 (q) 1 The Capacity is achieved when q = 1 2

23 ΣΗΜΑΣΙΑ ΠΛΗΡΟΦΟΡΙΑΣ S[A] η Πληροφορια που εστειλε η Πηγη S[A ] η Πληροφορια που ελαβε ο Δεκτης μεσω του Διαυλου Επικοινωνιας S[Ψ, Ψ ] = η Πληροφορια του ολου Συστηματος Επικοινωνιας S[Ψ Ψ] = η Πληροφορια που εληφθη εαν η Πηγη εστειλε Πληροφορια S[Ψ] {δειχνει την επιδραση του Διαυλου Επικοινωνιας} S[Ψ Ψ ] = η Πληροφορια που εσταλη εαν εληφθη Πληροφορια S[Ψ ] {δειχνει ποσο ευκολα ανακταται το Μηνυμα που εσταλη απο το Μηνυμα που εληφθη λογω της επιδρασης του Διαυλου Επικοινωνιας} S[Ψ;Ψ ] = η Πληροφορια που μεταδοθηκε μεσω του Διαυλου Επικοινωνιας

24 Definition Channel with Independent Input-Output = No Channel S[Ψ; Ψ ] = S[Ψ] S Ψ Ψ = 0 S Ψ Ψ = S[Ψ] Ψ t, Ψ t Independent Variables We cannot determine the input sequence from the output sequence because 2 different input sequences may be received as the same output sequence A Bernoulli Matrix p 1 p 1 Μ = p b p b Khinchin A. 1957, Mathematical Foundations of Information Theory, Dover, New York.

25 Definition Causal Channel The probability p[ Ψ τ = σ (ψ t+1, ψ t+2, ψ t+2,, ψ t+m )] to receive the symbol σ at time τ, if the sequence ψ t+1, ψ t+2,, ψ t+m was emitted does not depend on the future terms ψ τ+1, ψ τ+2, of the input sequence p[ Ψ τ = σ (ψ t+1, ψ t+2, ψ t+2,, ψ t+m )] depends only on the terms ψ τ, ψ τ 1, of the input sequence Τhe channel cannot foresee the future Khinchin A. 1957, Mathematical Foundations of Information Theory, Dover, New York.

26 Definition Channel with Memory r The probability p[ψ τ = σ (ψ t+1, ψ t+2, ψ t+2,, ψ t+m )] to receive the symbol σ at time τ, if the sequence ψ t+1, ψ t+2,, ψ t+m was emitted depends only on the terms ψ τ, ψ τ 1,, ψ τ r of the input sequence

27 Noiseless Channel. Coding Definition Noiseless Channel = Κωδικοποιηση Coding The probability p[σ ν1 σ ν2...σ νl σ ν ] = p ψ ν σ ν = 1 the same output word (output symbols) σ ν1 σ ν2...σ νl is received with certainty for the input symbol σ ν, ν = 1,2,...,b Τhe Transmission Matrix is (Diagonal) deterministic: p ψ 1 σ 1 0 Μ = 0 p ψ b σ b 1 0 = 0 1 Κωδικας των b Συμβολων Σ={σ 1,σ 2,..., σ b } με b Κωδικα Συμβολα Σ ={σ 1, σ 2,..., σ b } καλειται η απεικονιση: C: Σ F Σ F : σ ν C(σ α ) = σ ν1 σ ν2...σ νl = ψ ν η Κωδικη Λεξη (Codeword) του Συμβολου σ ν, ν = 1,2,...,b μεσω των b Συμβολων Σ ={σ 1, σ 2,..., σ b } l ν = l[c(σ ν )] = το Μηκος της Κωδικης Λεξης C(σ ν ) του Συμβολου σ ν

28 S Ψ; Ψ = S[Ψ] = S[Ψ ] = 0 S Ψ Ψ = S Ψ Ψ = 0 C = max S Ψ; Ψ, p = max{s[ψ], p} = lll 2 b The simplest Noiseless Channel is the Binary Channel Σ={0, 1} Σ ={σ 1, σ 2 } σ 1 = C (0), σ 2 = C(1) C = lll 2 2 = 1bbb Berstel J., Perrin D., Reutenauer C. 2009, Codes and Automata, Cambridge University Press. Κωδικοποιηση Mηνυματων δια b Συμβολων Σ={σ 1,σ 2,..., σ b } (b ary Coding) σε Μηνυματα δια b Κωδικων Συμβολων Σ ={σ 1, σ 2,..., σ b } καλειται η επεκταση του n Κωδικα στο συνολο Σ F των Μηνυματων : C: Σ F Σ F : σ α σ β σ γ... (σ α σ β σ γ...) = C(σ α ) C(σ β ) C(σ γ )... το Κωδικοποιημενο Μηνυμα σ α σ β σ γ...

29 ΣΧΟΛΙΟ Διαυλοι Noise-Free Channel και Independent Input-Output Ο Noise-Free Διαυλος δεν χανει Πληροφορια, ουτε μεταφερει Πληροφορια. Ο Διαυλος με Ιndependent input/output χανει ολη την εισερχομενη Πληροφορια, την οποια «πνιγει» στον «Θορυβο» και μεταφερει μονο «Θορυβο» Οι 2 ακραιοι (extreme) Διαυλοι. Οι Πραγματικοι Διαυλοι ευρισκονται μεταξυ των 2 ακραιων Διαυλων.

30 Symbol Codes translate the source characters σ 1,σ 2,..., σ b to Code words C(σ 1 ), C(σ 2 ),, C(σ b ) of various lengths l 1 = l[c(σ 1 )], l 2 = l[c(σ 2 )],..., l n = l[c(σ n )] Block Codes translate fixed length m source words (m-blocks) to fixed length l Code words (l -blocks) (ψ 1, ψ 2, ψ m ) C(ψ 1, ψ 2, ψ m ) = l = LLLLLh [C(ψ 1, ψ 2, ψ m )]

31 Παραδειγματα Κωδικοποιησης Σ Σ ={0,1} Κωδικας C 1 α 0 β 1 γ 0 δ 1 C 1 (α)= C 1 (γ) C 1 (β)= C 1 (δ) Διαφορετικα Συμβολα Κωδικοποιουνται στην αυτη ΚΛ Ιδιαζων Κωδικας

32 Σ Σ ={0,1} Κωδικας C 1 Κωδικας C 2 α 0 0 β 1 1 γ 0 00 δ 1 01 C 1 (α)= C 1 (γ) C 1 (β)= C 1 (δ) Διαφορετικα Συμβολα Κωδικοποιουνται στην αυτη ΚΛ Ιδιαζων Κωδικας C 2 (σ α ) C 2 (σ β ) αλλα 0011=αδβ=γββ Μη Μονοσημαντη Αποκωδικοποιηση Μηνυματων Μη-Ιδιαζων Κωδικας

33 Σ Σ ={0,1} Κωδικας C 1 Κωδικας C 2 Κωδικας C 3 α β γ δ C 1 (α)= C 1 (γ) C 1 (β)= C 1 (δ) Διαφορετικα Συμβολα Κωδικοποιουνται στην αυτη ΚΛ C 2 (σ α ) C 2 (σ β ) αλλα 0011=αδβ=γββ Μη Μονοσημαντη Αποκωδικοποιηση Μηνυματων Μονοσημαντη Αποκωδικοποιηση Μηνυματων αλλα H KΛ C 3 (γ)=11 ειναι προθεμα της ΚΛ C 3 (δ)=110 Ιδιαζων Κωδικας Μη-Ιδιαζων Κωδικας Για να αναγνωριστουν οι ΚΛ χρειαζεται η αναγνωση του πρωτου συμβολου της επομενης ΚΛ Μονοσημαντος Κωδικας

34 Σ Σ ={0,1} Κωδικας C 1 Κωδικας C 2 Κωδικας C 3 Κωδικας C 4 α β γ δ C 1 (α)= C 1 (γ) C 1 (β)= C 1 (δ) Διαφορετικα Συμβολα Κωδικοποιουνται στην αυτη ΚΛ Ιδιαζων Κωδικας C 2 (σ α ) C 2 (σ β ) αλλα 0011=αδβ=γββ Μη Μονοσημαντη Αποκωδικοποιηση Μηνυματων Μη-Ιδιαζων Κωδικας Μονοσημαντη Αποκωδικοποιηση Μηνυματων αλλα H KΛ C 3 (γ)=11 ειναι προθεμα της ΚΛ C 3 (δ)=110 Για να αναγνωριστουν οι ΚΛ χρειαζεται η αναγνωση του πρωτου συμβολου της επομενης ΚΛ Μονοσημαντος Κωδικας Οι ΚΛ αναγνωριζονται αμεσα Αμεσος Κωδικας

35 C Μη-Ιδιαζων Κωδικας (Non-Singular Code) C (σ α ) C (σ β ), εαν σ α σ β, Δηλ. Δεν συγχεονται τα Συμβολα κατα την Αποκωδικοποιηση C Μονοσημαντος Κωδικας (Uniquely Decodable Code) (σ α σ β σ γ...) (σ a σ b σ c...), εαν σ α σ β σ γ... σ a σ b σ c..., Δηλ. Δεν συγχεονται τα Mηνυματα κατα την Αποκωδικοποιηση C Αμεσος Κωδικας (Ιnstantaneous Code = Prefix Code) καθε Κωδικη Λεξη σ α, σ β,..., αναγνωριζεται / διαβαζεται (αμεσα) χωρις να χρειαστει η αναγνωση του πρωτου συμβολου της επομενης Κωδικης Λεξης; Ουδεμια Κωδικη Λεξη αποτελει προθεμα αλλης Κωδικης Λ

36

37 Κωδικας μεταδοση μηνυματων Πραξεις σε ΗΥ Κρυπτογραφια Οργανισμοι Biologically Inspired Computation Κριτηρια Επιλογης Συμπιεση Μηνυματων για μειωση του χρονου και του κοστους μικρα μηκη σε Κωδικες Λεξεις συμβολων που εμφανιζονται με μεγαλη συχνοτητα Διορθωση λαθων Ασφαλης Μεταβιβαση Μηνυματων Κρυπτογραφηση = Κωδικοποιηση the encryption map is easy Αποκρυπτογραφηση = Αποκωδικοποιηση the decryption (inverse) map is difficult Aνοχη, Ανθεκτικοτης σε Λαθη, Καταστροφες, Επιθεσεις

38 Κωδικες Επικοινωνιας Morse Alphabet Σε κάθε τελεια αντιστοιχεί ήχος διάρκειας 1/6 δευτερολέπτου Σε κάθε παυλα αντιστοιχεί ήχος διάρκειας 1/2 δευτερολέπτου SOS = Google =

39 Ο Μοrse ( ) σπούδασε ζωγραφική (Chapel of the Virgin at Subiaco), ειχε ως hobby τη φυσική 1837 παρουσιασε τον Τηλεγραφο στο Πανεπιστήμιο της Νέας Υόρκης. 1843, το αμερικανικό Κογκρέσο ενέκρινε τη χρηματοδότηση της πρώτης τηλεγραφικής γραμμής, που συνέδεε την Ουάσινγκτον με τη Βαλτιμόρη Δίπλωμα Ευρεσιτεχνίας για την τηλεγραφική συσκευή 1859 Ο τηλεγραφος φτανει στην Ελλάδα. Σήμερα, ο Κώδικας Μοrse δεν χρησιμοποιείται στις τηλεπικοινωνίες. Πολλοι ραδιοερασιτεχνες τον χρησιμοποιουν ακομα.

40 Letters Distribution in English Language Texts

41 SYMBOL PROBABILITY HUFFMAN ALPHABETIC MORSE BA Κωδικες Λεξεις space A B C D E F G H 0, I J K

42 L M N O P Q R S T U V W X Y Z

43 Rendundancy (Πλεονασμος) of a b - ary Code C of b symbols S max (Σ ) S(Σ) S max (Σ ) = log 2b S(Σ) log 2 b

44 Κατασκευη Αμεσων Κωδικων Επιλογη 1) Αριθμου b των Κωδικων Λεξεων, 2) Μηκων l 1, l 2,, l b των Κωδικων Λεξεων των συμβολων σ 1,σ 2,..., σ b Yπαρχουν b l διαφορετικες Κωδικες Λεξεις δεδομενου Μηκους l Είναι εφικτη Αμεση Κωδικοποιηση με Κωδικες Λεξεις επιθυμητων Μηκων? Υπαρχουν Αμεσοι Κωδικες n Συμβολων Σ={σ 1,σ 2,..., σ n } με b Κωδικα Συμβολα ωστε οι Κωδικες Λεξεις να εχουν επιθυμητα Μηκη l 1, l 2,, l n : 1 l 1 l 2 l n? AΠANTHΣΗ: Θεωρημα Kraft

45 Θεωρημα Kraft 1. Καθε Αμεσος b -αδικος Κωδικας των b Συμβολων Σ={σ 1,σ 2,..., σ b } με Κωδικες Λεξεις δεδομενων Μηκων l 1, l 2,, l b : 1 l 1 l 2 l b = l max (διαταξη αυθαιρετη) Ικανοποιει την Ανισοτητα Κraft: b b l ν 1 2. Aντιστροφα, για καθε επιλογη b Φυσικων Αριθμων l 1, l 2,, l b : 1 l 1 l 2 l b = l max Που ικανοποιουν την Ανισοτητα Kraft, υπαρχει Aμεσος b -αδικος Κωδικας των b Συμβολων Σ={σ 1,σ 2,..., σ b } με Μηκη Κωδικων Λεξεων l 1, l 2,, l b ν=1 Η Ανισοτης Kraft περιοριζει τα δυνατα μηκη των Κωδικων Λεξεων

46 Αποδειξη 1. Για καθε l=1,2,3,... υπαρχουν b l διαφορετικες Κωδικες Λεξεις Μηκους Παραδειγμα: Σ ={0,1}, b =2 Yπαρχουν n L α δυνατες διαφορετικες Λεξεις Μηκους L α, α = 1,...n (στο σχημα n =2) απο τις οποιες επιλεγονται εστω Ν α Κωδικες Λεξεις Μηκους l a

47 Επειδη ο Κωδικας ειναι Αμεσος, Οι αλλες Κωδικες Λεξεις παραγονται απο τους υπολοιπους b l α Ν α κομβους- Λεξεις Μηκους l α Καθε Κομβος- Κωδικη Λεξη Μηκους l α, παραγει το πολυ b l b l α διαφορετικες Λεξεις Μηκους l α, α = 1,2,...b Τα συνολα των Λεξεων Μεγιστου Μηκους l b, που παραγονται απο καθε ενα Κομβο- Κωδικη Λεξη Μηκους l α, ειναι διαφορα αλληλων (διοτι δεν μπορει να εχουν το αυτο προθεμα) Και Το αθροισμα των πληθαριθμων τους δεν υπερβαινει το πληθος των Λεξεων Μεγιστου Μηκους l b : b b l b l α b l b a=1 b a=1 Διαιρωντας δια n L n προκυπτει η Ανισοτητα Kraft: b l a 1

48 2. Aντιστροφα, δοθεντων των l 1, l 2,, l b : 1 l 1 l 2 l b = l max που ικανοποιουν την Ανισοτητα Kraft, κατασκευαζεται δενδρο b Kλαδων Ο πρωτος Κομβος στο βημα l 1 ονομαζεται Κωδικη Λεξη 1 Ο πρωτος Κομβος στο βημα l 2 ονομαζεται Κωδικη Λεξη 2 Συνεχιζοντας κατασκευαζεται Αμεσος Κωδικας με τα δοθεντα l 1, l 2,, l b. Οεδ

49 ΣΧΟΛΙΑ Η Ανισοτητα Kraft γενικευεται για απειρα Mηκη. Αποδειξη [Cover T.,Thomas J. 1991] Ασκ 0.2 Η Ανισοτητα Kraft ισχυει επισης για Μονοσημαντους Κωδικες. Θ. MacMillan [Cover T.,Thomas J. 1991] Ασκ 0.5 Απο το Θεωρημα του MacMillan συναγεται το εξης Συμπερασμα-Εκπληξη: Οι Μονοσημαντοι Κωδικες δεν προσφερουν περισσοτερα απο τους Aμεσους Κωδικες (ως προς τα Μηκη των Κωδικων Λεξεων) Oι εκτιμησεις ως προς τα μηκη των Κωδικων Λεξεων των Αμεσων Κωδικων ισχυουν και για τους Μονοσημαντους Κωδικες

50 Definition The Length of the b -adic Code C of b Symbols is the Average Codeword Length: l(c)= b p α l α α=1 l α is the length of the Codeword C(σ α ) of the symbol σ α, α = 1,2,...,b Από την Ανισοτητα Kraft αποδεικνυεται το Θεωρημα Source Coding

51 Θεωρημα Source Coding (Shannon) Εστω η Τυχαια Μεταβλητη Χ με τιμες x 1, x 2,, x n και κατανομη p 1, p 2,, p n Κωδικοποιηση των Γεγονοτων [Χ = x 1 ],, [Χ = x n ], με b Συμβολα: Σ = {σ 1,... σ b }, b<n σε κάθε Γεγονος [Χ = x i ], i = 1,2,, n αντιστοιχει μια ακολουθια Συμβολων εκ του Σ με Μηκος l i, i = 1,2,, n. Και Μεσο Μηκος: l = n i=1 p i l i Αν η Κωδικοποιηση είναι Μονοσημαντη (Η αντιστοιχια είναι ένα-προς ένα), Τοτε: 1) Η b-eντροπια είναι το Ελαχιστο Μεσο Μηκος Κωδικοποιησης: S b l, οπου: S b = n i=1 p i lll b p i = i=1 p i n lll 2 b lll 2 p i = S lll 2 b 2) Η κατανομη με Ελαχιστο Μεσο Μηκος Κωδικοποιησης είναι η b-αδικη Κατανομη: S b = l p i = b l i, i = 1,2,, n 3) Ορισμος Κωδικα Shannon για την κατανομη p 1, p 2,, p n : m i = lll b p i, i = 1,2,, n Το Μεσο Μηκος m της Κωδικοποιησης Shannon ειναι στο διαστημα [S b, S b + 1): S b m < S b + 1, n m = p i i=1 m i

52 Coding and YES/NO Questions Constructing effective sequences of YES/NO Questions to find an Object within a class of Objects is equivalent to Finding efficient Prefix Codes

53 Αναγνωριση Λεξεων (Word Recognition) Ο Διαυλος Αισθηση Αντιληψη How the brain reads words Aoccdrnig to a rscheearch at Cmabrigde Uinervtisy, it deosn t mttaer in waht oredr the ltteers in a wrod are, the olny iprmoetnt tihng is taht the frist and lsat ltteer be at the rghit pclae. The rset can be a toatl mses and you can sitll raed it wouthit porbelm. Tihs is bcuseae the huamn mnid deos not raed ervey lteter by istlef, but the wrod as a wlohe. According to a research team at Cambridge University, it doesn't matter in what order the letters in a word are, the only important thing is that the first and last letter be in the right place. The rest can be a total mess and you can still read it without a problem. This is because the human mind does not read every letter by itself, but the word as a whole. Σνφμύωα με μια έυρενα στο Πισήναπιμετο του Κμτρπιαιζ, δεν πεαίζι ρλόο με τι σριεά ενίαι τοθοπεμετενα τα γταμάμρα μσέα σε μια λξέη, αεκρί το πώτρο και το ταελείτυο γάμρμα να ενίαι στη στωσή θσέη. Τα υλοπιόπα μροπούν να ενίαι σε τχίυεας θιέεσς και μροπετίε να δαβαιάεστε τις λιεξές χρωίς πλβημόρα. Ατυό γνίταει γαιτί ο απρώνθονις εκέγλφοας δεν δαεβζιάι γάμρμα γάμρμα κθάε λξέη αλλά την λξέη σαν σνύλοο. Ασκηση: Αναλυστε τον Επεξεργαστη-Νου με Θεωρια Πληροφοριας Συγκρινατε με Νευρωνικα Δικτυα

54 Communication Networks Nodes are Devices and/or Persons Links are Communication channels (Shannon) node-to-node Information transfer advantages over systems in which a point-to-point line enables only two participants to communicate with each other.

55 Network Value - Effect The network effect, causes a good or service to have a value to a potential customer which depends on the number of other customers who own the good or are users of the service. Metcalfe's law the value of a Communications Network is proportional to the square of the number of linked players (nodes) (N 2 ) Applicable to Internet, World Wide Web, Social Networks. Hendler J., Golbeck J. 2008, Metcalfe's Law, Web 2.0, and the Semantic Webhttp://dl.acm.org/citation.cfm?id= Networks Special Report, Forbes

56

57 Communication Networks The Accessibility Communication Relation The node λ is Accessible = Reachable = Communicable from the node κ: κ λ There is a directed path from node κ to the node λ: κ = γ 0 γ 1 γ 2 γ m 1 γ m =λ Direct Access via some channel-link: κ λ Indirect Access in l steps: κ = γ 0 γ 1 γ 2 γ m 1 γ m =λ

58 Theorem 1) Accessibility is Transitive κ κ 1 and κ 1 κ 2 implies κ κ 2 2) Accessibility is Non-Reflexive Communication Relations Markov Chains Musical Works Markov Models of Music Hierarchical Organization Information Flow in Society Decision makers Press Public Pressure Groups

59 There are several indicators for Accessibility (directed Nets) and Communicability (undirected Nets) Estimation of Information Flow The κλ-th element of the matrix Α m : (Α m ) κκ counts the number of walks of length m that start at node κ and end at node λ. Communicability between two nodes could be estimated by summing the number of walks of length 1, 2, 3,.. Short walks are more important than long ones, (shorter walks are faster and cheaper) to arrive at a single real number Walks of length m are penalized by the factor 1/m!. T Communicability between nodes κ and λ : eee(a) κκ Estrada, E., Hatano, N Communicability in complex networks. Phys. Rev. E 77, Crofts J., Higham D. 2009, A weighted communicability measure applied to complex Networks, J. R. Soc. Interface 6, , doi: /rsif Estrada Ε., Hatano Ν., Benzi M. 2012, The physics of communicability in complex networks, Physics Reports 514,

60 Ασκηση Συγκρινατε διαφορα Δικτυα ως προς την Accessibility Communicability Υπολογιστε την Εντροπια της Accessibility Communicability Συγκρινατε την Αποσταση Επικοινωνιας με την Αποσταση Γραφου Estrada Ε. 2012, The communicability distance in graphs, Linear Algebra and its Applications 436, Γενικευσατε την Αποσταση Επικοινωνιας (Ασυμμετρη)

61 Network Information Shannon Theory for Networks El Gamal A. Kim Y. 2010, Lecture Notes on Network Information Theory, Department of Electrical Engineering, Stanford University Dehmer M. 2008, Information-Theoretic Concepts for the Analysis of Complex Networks, Applied Artificial Intelligence 22, Dehmer Μ., Mowshowitz A. 2011, A history of Graph Εntropy measures, Information Sciences 181, 57-78

62 The Entropy of Weights n Ν Ν S wwwwht = ρ ων log 2 ρ ων ρ ω = κ=1 λ=1 w κκ=ω the probability that a randomly chosen Weight has value ω Ν 2 ω 1, ω 2,, ω n [ 1,1] are the n N 2 distinct values of the Weights The Weights distribution may a priori be homogeneous and characterized by a typical scale, or on the contrary carry a novel heterogeneity ν=1 Demetrius L., Manke T. 2005, Robustness and Network Evolution an Entropic Principle, Physica A 346, Manke T., Demetrius L., Vingron T. 2005, Lethality and Entropy of Protein Interaction Networks, Genome Informatics 16, Caldarelli 2007, p68

63 The Entropy of Degrees Ν ρ k = ρ k ii = Ν λ=1 ρ k ooo = Ν λ=1 ddd λ=k Ν Ν λ=1 ddd λ ii =k Ν ddd λ ii =k Ν S ddd = ρ k log 2 ρ k k=0 Ν ii ii S ii ddd = ρ k log 2 ρ k k=1 Ν ooo ooo S ooo ddd = ρ k log 2 ρ k κ=1 the probability that the Degree has value k the probability that the in-degree has value k the probability that the out-degree has value k Complex networks often exhibit a heterogeneous degree distribution, e.g. of a power-law form ρ k ~k β, 2 β 3

64 Entropy Assessment Distributed Systems the Web Graph Ontologies Mining Classification Neural Nets Knowledge Nets Supply Nets Attacks Defence Cryptography Software