1 Βασικές Έννοιες Θεωρίας Πληροφορίας
|
|
- Βαράκ Κυπραίος
- 7 χρόνια πριν
- Προβολές:
Transcript
1 1 Βασικές Έννοιες Θεωρίας Πληροφορίας Εντροπία τυχαίων μεταβλητών X, Y : H(X) = E [log Pr(x)] (1) H(X, Y ) = E [log Pr(x, y)] (2) H(X Y ) = E [log Pr(x y)] (3) Ιδιότητες Εντροπίας: Νόμος Bayes: Pr(y x) = Pr(x,y) Pr(x) Κανόνας Αλυσίδας (chain rule): H(Y X) = E [log Pr(y x)] (4) H(X, Y ) = H(X) + H(Y X) (5) Μείωση εντροπίας υπό συνθήκες: H(X, Y ) = H(Y ) + H(X Y ) (6) H(X Y ) H(X) (7) H(X Y, Z) H(X Y ) H(X) (8) Αμοιβαία Πληροφορία I(X; Y ) = E [ ] Pr(X, Y ) log Pr(X) Pr(Y ) (9) I(X; Y ) = H(X) H(X Y ) = H(Y ) H(Y X) = H(X) + H(Y ) H(X, Y ) (10) Ιδιότητες Αμοιβαίας Πληροφορίας Θετικότητα: I(X; Y ) 0 ισότητα όταν Y = g(x) όπου g ντετερμινιστική 1-1 Κανόνας Αλυσίδας I(X; Y, Z) = I(X; Y ) + I(X; Z Y ) (11) Υπό συνθήκη αμοιβαία πληροφορία I(X; Y, Z) = I(X; Z) + I(X; Y Z) (12) I(X; Y Z) = H(X Z) H(X Y, Z) = H(Y Z) H(Y X, Z) (13) 1
2 Απόσταση Kullback-Leibler μεταξύ κατανομών p, q τυχαίας μεταβλητής X D(p q) = p(x) log p(x) dx 0 (14) q(x) Ιδιότητες δεν υπακούει στη συμμετρία D(p q) D(q p) I(X; Y ) = D(Pr(X, Y ) Pr(X) Pr(Y )) Τυχαίες μεταβλητές X, Y, Z οι οποίες σχηματίζουν αλυσίδα Markov X Y Z Pr(Z, X Y ) = Pr(Z Y ) Pr(X Y ) (15) Data processing inequality: I(X; Y ) I(X; Z) (16) 2 Τυπικές Ακολουθίες Ακολουθία x n με σύμβολα στο αλφάβητο X, (πχ δυαδικό αλφάβητο X = {0, 1}) Εμπειρική κατανομή ακολουθίας Παράδειγμα: x n = (1, 0, 0, 1, 0, 0, 1), n = 7 π(x x n ) = i : x i = x, x X (17) n π(0 x n ) = 4/7 π(1 x n ) = 3/7 (18) Ακολουθία X n = (X 1, X 2,, X n ) ανεξάρτητων τυχαίων μεταβλητών X i με την ίδια κατανομή p X (x) p X n(x n ) = Νόμος μεγάλων αριθμών: για αρκετό μεγάλο n p X (x i ) (19) π(x X n ) p X (x) (20) 2
3 Σύνολο τυπικών ακολουθιών: Νόμος μεγάλων αριθμών: T (n) ϵ (X) = {x n : π(x X n ) p X (x) < ϵp X (x), x X } (21) lim n Pr(XN Tϵ n (X)) 1 (22) Ποια η πιθανότητα εμφάνισης μιας τυπικής ακολουθίας x n ; ( ) n p X n(x n ) = π(x i X n ) nπ(x i X n) = exp n π(x i X n ) log π(x i X n ) (23) (1 ϵ)p X (x i ) π(x i X N ) (1 + ϵ)p X (x i ) (24) exp ( n(h(x) + δ(ϵ)) p X n(x n ) exp ( n(h(x) δ(ϵ)) (25) Για πολύ μεγάλα μήκη n η κατανομή μιας τυπικής ακολουθίας είναι σχεδόν ομοιόμορφη Πόσες τυπικές ακολουθίες υπάρχουν; (1 ϵ) exp (n(h(x) δ(ϵ))) T n ϵ (X) exp (n(h(x) + δ(ϵ)) (26) 3 Από κοινού τυπικές ακολουθίες Ακολουθίες x n και y n στα αλφάβητα X και Y αντίστοιχα Από κοινού εμπειρική κατανομή Παράδειγμα: π(x, y x n, y n ) = i : (x i, y i ) = (x, y), (x, y) X Y (27) n x n = ( ) ỹ n = ( ) π(0, 0 x n, ỹ n ) = 2/7, π(1, 0 x n, ỹ n ) = 1/7 π(0, 1 x n, ỹ n ) = 3/7, π(1, 1 x n, ỹ n ) = 1/7 (28) Ακολουθίες X n = (X 1, X 2,, X n ), Y n = (Y 1, Y 2,, Y n ) από κοινού ανεξάρτητων ζευγών τυχαίων μεταβλητών (X i, Y i ) με την ίδια κατανομή p X,Y (x, y) p X n,y n(xn, y n ) = p X,Y (x i, y i ) (29) 3
4 Από κοινού τυπικές ακολουθίες: T n ϵ (X, Y ) = {(x n, y n ) : π(x, y X n, Y n ) p X,Y (x, y) ϵp X,Y (x, y), (x, y) X Y} (30) Νόμος μεγάλων αριθμών: lim n Pr((Xn, Y n ) Tϵ n (X, Y )) 1 (31) Ιδιότητες από κοινού τυπικών ακολουθιών (x n, y n ) Tϵ n (X, Y ) x n ϵ-τυπική x n T n ϵ (X) και y n ϵ-τυπική y n T n ϵ (Y ) από κοινού πιθανότητα: exp ( n(h(x, Y ) + δ(ϵ))) p X n,y n(xn, y n ) exp ( n(h(x, Y ) δ(ϵ))) (32) υπό συνθήκη πιθανότητα exp ( n(h(y X) + δ(ϵ))) p Y n X n(yn x n ) exp ( n(h(y X) δ(ϵ))) (33) αριθμός από κοινού τυπικών ακολουθιών: (1 ϵ) exp (n(h(x, Y ) δ(ϵ))) T n ϵ (X, Y ) exp (n(h(x, Y ) + δ(ϵ))) (34) Υπό συνθήκη τυπικές ακολουθίες: για δοθείσα ακολουθία x n T n ϵ (Y x n ) = {y n : (x n, y n ) T n ϵ (X, Y )} (35) Νόμος μεγάλων αριθμών: για ϵ τυπική ακολουθία x n T n ϵ (X) και ϵ > ϵ lim n Pr((xn, Y n ) Tϵ n (Y x n )) 1 (36) Ιδιότητες υπό συνθήκη τυπικών ακολουθιών για κάθε x n X n Tϵ n (Y x n ) exp (n(h(y X) + δ(ϵ))) (37) αν x n Tϵ n (X) και ϵ > ϵ Tϵ n (Y x n ) (1 ϵ) exp (n(h(y X) δ(ϵ))) (38) 4
5 4 Achievability Bounds Στόχος: Για κάθε ρυθμό κώδικα R μικρότερο από τη χωρητικότητα του καναλιού C, υπάρχει ένας κώδικας με οσοδήποτε μικρή πιθανότητα σφάλματος Βασικό εργαλείο: αποκωδικοποίηση από κοινού τυπικών συνόλων Βήματα κωδικοποίησης Μετάδοση συνόλου μηνυμάτων M όπου M = Παραγωγή ενός τυχαίου κώδικα C Τυχαία και ανεξάρτητα κατασκευάζουμε κωδικές λέξεις x n (m) με την ίδια κατανομή p X n(x n ) = n p X(x i (m)) Πιθανότητα ενός κώδικα C; Pr(C) = m=1 μετάδοση μηνύματος m μέσω της κωδικής λέξης x n (m) p X (x i (m)) (39) Αποκωδικοποίηση: για τη ληφθείσα ακολουθία y n βρες το μοναδικό μήνυμα m για το οποίο (x n (m), y n ) T n ϵ (X, Y ) Αν υπάρχει παραπάνω από ένα μήνυμα, δήλωσε σφάλμα Μέση πιθανότητα σφάλματος ως προς όλους τους δυνατούς κώδικες που έχουν παραχθεί: P e = C Pr(C)P e (C) (40) Πιθανότητα σφάλματος P e (C) ενός κώδικα C P e (C) = 1 2 nr m=1 P e,m (C) (41) P e = 1 2 nr m=1 Υποθέτουμε ότι μεταδίδεται το μήνυμα m = 1 Σφάλματα αποκωδικοποίησης P e,1 (C): 1 το ζεύγος (x n (1), y n ) δεν είναι ϵ-τυπικό Pr(C)P e,m (C) (42) C E 1 = {x n (1) X n, y n Y n : (x n (1), y n ) / T n ϵ (X, Y )} (43) 2 υπάρχει ένα μήνυμα m 1 για το οποίο το ζεύγος (x n (m ), y n ) είναι ϵ-τυπικό E 2 = { m 1, x n (m) X n, y n Y n : (x n (m ), y n ) T n ϵ (X, Y ) } (44) 5
6 Φράγμα για την πιθανότητα σφάλματος P e,1 (C): Λόγω τυπικότητας (σχέση (31)) Φράγμα συνόλου: P e,1 (C) = Pr(E 1 E 2 ) Pr(E 1 ) + Pr(E 2 ) (45) Pr(E 2 ) m =2 Pr(E 1 ) ϵ 1 (46) Pr((x n (m ), y n ) T ϵ (X, Y )) (47) Προσοχή: οι ακολουθίες x n (m ) και y n είναι στατιστικά ανεξάρτητες Για στατιστικά ανεξάρτητες ακολουθίες x n (m) ϵ-τυπική και y n ϵ-τυπική Pr ((x n (m), y n ) Tϵ n (X, Y )) exp ( n(i(x; Y ) δ(ϵ))) (48) Από (38) (45) καταλήγουμε P e ϵ 1 + exp ( n(i(x; Y ) R δ(ϵ)) (49) 5 Converse Bounds Κάθε κώδικας C με οσοδήποτε μικρή πιθανότητα σφάλματος έχει ρυθμό R μικρότερο της χωρητικότητας του καναλιού Βασικό εργαλείο: Ανισότητα Fano Ανισότητα Fano: W τυχαία μεταβλητή μηνυμάτων στην είσοδο του καναλιού, W [1, M] Ŵ τυχαία μεταβλητή μηνυμάτων στην έξοδο του καναλιού Πιθανότητα σφάλματος P e = Pr(Ŵ W ) H(W Ŵ ) 1 + P e log M (50) 6
7 X n Y n W Encoder Channel Decoder Ŵ Υπόθεση: ομοιόμορφή κατανομή της τυχαίας μεταβλητής των μηνυμάτων nr = H(W ) Ανισότητα Fano + Data Processing inequality nr = H(W ) = H(W Ŵ ) + I(W ; Ŵ ) (51) nr 1 + P e log M + I(X n ; Y n ) 1 + nrp e + nc ή P e 1 C R 1 nr (52) 7
ΕΕ728 Προχωρηµένα Θέµατα Θεωρίας Πληροφορίας 2η διάλεξη (3η έκδοση, 11/3)
ΕΕ728 Προχωρηµένα Θέµατα Θεωρίας Πληροφορίας 2η διάλεξη (3η έκδοση, 11/3) ηµήτρης-αλέξανδρος Τουµπακάρης Τµήµα ΗΜ&ΤΥ, Πανεπιστήµιο Πατρών 19 Φεβρουαρίου 2013 ηµήτρης-αλέξανδρος Τουµπακάρης Προχωρηµένα
ΕΕ728 Προχωρηµένα Θέµατα Θεωρίας Πληροφορίας 6η διάλεξη
ΕΕ728 Προχωρηµένα Θέµατα Θεωρίας Πληροφορίας 6η διάλεξη ηµήτρης-αλέξανδρος Τουµπακάρης Τµήµα ΗΜ&ΤΥ, Πανεπιστήµιο Πατρών 24 Μαρτίου 2010 ηµήτρης-αλέξανδρος Τουµπακάρης Προχωρηµένα Θέµατα Θεωρίας Πληροφορίας
ΕΕ728 Προχωρηµένα Θέµατα Θεωρίας Πληροφορίας 11η διάλεξη
ΕΕ728 Προχωρηµένα Θέµατα Θεωρίας Πληροφορίας 11η διάλεξη ηµήτρης-αλέξανδρος Τουµπακάρης Τµήµα ΗΜ&ΤΥ, Πανεπιστήµιο Πατρών 25 Απριλίου 2013 ηµήτρης-αλέξανδρος Τουµπακάρης Προχωρηµένα Θέµατα Θεωρίας Πληροφορίας
EE728 (22Α004) - Προχωρημένα Θέματα Θεωρίας Πληροφορίας Λυμένες ασκήσεις σε Κανάλια
EE78 (Α4) - Προχωρημένα Θέματα Θεωρίας Πληροφορίας Φυλλάδιο 4 Δ. Τουμπακάρης 5 Ιουνίου 5 EE78 (Α4) - Προχωρημένα Θέματα Θεωρίας Πληροφορίας Λυμένες ασκήσεις σε Κανάλια. *Τα κανάλια με μνήμη έχουν μεγαλύτερη
Εισαγωγή στη θεωρία πληροφορίας
Θεωρία πληροφορίας Εισαγωγή στη θεωρία πληροφορίας Τηλεπικοινωνιακά συστήματα Όλα τα τηλεπικοινωνιακά συστήματα σχεδιάζονται για να μεταφέρουν πληροφορία Σε κάθε τηλεπικοινωνιακό σύστημα υπάρχει μια πηγή
Τηλεπικοινωνιακά Συστήματα ΙΙ
Τηλεπικοινωνιακά Συστήματα ΙΙ Διάλεξη 11: Κωδικοποίηση Πηγής Δρ. Μιχάλης Παρασκευάς Επίκουρος Καθηγητής 1 Ατζέντα 1. Αλγόριθμοι κωδικοποίησης πηγής Αλγόριθμος Fano Αλγόριθμος Shannon Αλγόριθμος Huffman
Θεωρία πληροφοριών. Τεχνολογία Πολυµέσων 07-1
Θεωρία πληροφοριών Εισαγωγή Αµοιβαία πληροφορία Εσωτερική πληροφορία Υπό συνθήκη πληροφορία Παραδείγµατα πληροφορίας Μέση πληροφορία και εντροπία Παραδείγµατα εντροπίας Εφαρµογές Τεχνολογία Πολυµέσων 07-
Ψηφιακές Τηλεπικοινωνίες
Ψηφιακές Τηλεπικοινωνίες Θεωρία Πληροφορίας: Χωρητικότητα Καναλιού Χωρητικότητα Καναλιού Η θεωρία πληροφορίας περιλαμβάνει μεταξύ άλλων: κωδικοποίηση πηγής κωδικοποίηση καναλιού Κωδικοποίηση πηγής: πόση
Θεώρημα κωδικοποίησης πηγής
Κωδικοποίηση Kωδικοποίηση πηγής Θεώρημα κωδικοποίησης πηγής Καθορίζει ένα θεμελιώδες όριο στον ρυθμό με τον οποίο η έξοδος μιας πηγής πληροφορίας μπορεί να συμπιεσθεί χωρίς να προκληθεί μεγάλη πιθανότητα
Λυμένες Ασκήσεις σε Εντροπία, Αμοιβαία Πληροφορία, Κωδικοποίηση Πηγής και AEP
22Α004 (eclass EE728) - Προχωρημένα Θέματα Θεωρίας Πληροφορίας Φυλλάδιο 2 Δ. Τουμπακάρης 7 Μαΐου 205 Λυμένες Ασκήσεις σε Εντροπία, Αμοιβαία Πληροφορία, Κωδικοποίηση Πηγής και AEP. Συναρτήσεις τυχαίων μεταβλητών
ΕΕ728 Προχωρηµένα Θέµατα Θεωρίας Πληροφορίας 10η διάλεξη
ΕΕ728 Προχωρηµένα Θέµατα Θεωρίας Πληροφορίας 10η διάλεξη ηµήτρης-αλέξανδρος Τουµπακάρης Τµήµα ΗΜ&ΤΥ, Πανεπιστήµιο Πατρών 21 Μαΐου 2015 ηµήτρης-αλέξανδρος Τουµπακάρης Προχωρηµένα Θέµατα Θεωρίας Πληροφορίας
Χρήστος Ξενάκης. Πανεπιστήμιο Πειραιώς, Τμήμα Ψηφιακών Συστημάτων
ΘΕΩΡΙΑ ΠΛΗΡΟΦΟΡΙΑΣ Κεφάλαιο 9 : Κανάλι-Σύστημα Χρήστος Ξενάκης Πανεπιστήμιο Πειραιώς, Τμήμα Ψηφιακών Συστημάτων Περιεχόμενα Ομιλίας Χωρητικότητα Χ ό καναλιού Το Gaussian κανάλι επικοινωνίας Τα διακριτά
Τεχνολογία Πολυμέσων. Ενότητα # 7: Θεωρία πληροφορίας Διδάσκων: Γεώργιος Ξυλωμένος Τμήμα: Πληροφορικής
Τεχνολογία Πολυμέσων Ενότητα # 7: Θεωρία πληροφορίας Διδάσκων: Γεώργιος Ξυλωμένος Τμήμα: Πληροφορικής Χρηματοδότηση Το παρόν εκπαιδευτικό υλικό έχει αναπτυχθεί στα πλαίσια του εκπαιδευτικού έργου του διδάσκοντα.
Δίαυλος Πληροφορίας. Η λειτουργία του περιγράφεται από:
Δίαυλος Πληροφορίας Η λειτουργία του περιγράφεται από: Πίνακας Διαύλου (μαθηματική περιγραφή) Διάγραμμα Διαύλου (παραστατικός τρόπος περιγραφής της λειτουργίας) Πίνακας Διαύλου Χρησιμοποιούμε τις υπό συνθήκη
22Α004 - Προχωρημένα Θέματα Θεωρίας Πληροφορίας Τελική Εξέταση
22A004 (eclass EE278) Προχωρημένα Θέματα Θεωρίας Πληροφορίας Φυλλάδιο 11 Δ. Τουμπακάρης 6 Ιουνίου 2013 22Α004 - Προχωρημένα Θέματα Θεωρίας Πληροφορίας Τελική Εξέταση Διάρκεια Εξέτασης: 3 ώρες. 4 ασκήσεις
ΕΕ728 Προχωρηµένα Θέµατα Θεωρίας Πληροφορίας 4η διάλεξη (4η έκδοση, 11/3/2013)
ΕΕ728 Προχωρηµένα Θέµατα Θεωρίας Πληροφορίας 4η διάλεξη (4η έκδοση, 11/3/2013) ηµήτρης-αλέξανδρος Τουµπακάρης Τµήµα ΗΜ&ΤΥ, Πανεπιστήµιο Πατρών 5 Μαρτίου 2013 ηµήτρης-αλέξανδρος Τουµπακάρης Προχωρηµένα
Σεραφείµ Καραµπογιάς. Πηγές Πληροφορίας και Κωδικοποίηση Πηγής 6.3-1
Ο αλγόριθµος Lempel-iv Ο αλγόριθµος Lempel-iv ανήκει στην κατηγορία των καθολικών universal αλγορίθµων κωδικοποίησης πηγής δηλαδή αλγορίθµων που είναι ανεξάρτητοι από τη στατιστική της πηγής. Ο αλγόριθµος
Αθανάσιος Χρ. Τζέμος Τομέας Θεωρητικής Φυσικής. Εντροπία Shannon
Αθανάσιος Χρ. Τζέμος Τομέας Θεωρητικής Φυσικής Εντροπία Shannon Ένα από τα βασικά ερωτήματα της θεωρίας της πληροφορίας ήταν ανέκαθεν το πώς θα μπορούσε να ποσοτικοποιηθεί η πληροφορία, ώστε να μπορούμε
Θέματα Συστημάτων Πολυμέσων
Θέματα Συστημάτων Πολυμέσων Ενότητα # 6: Στοιχεία Θεωρίας Πληροφορίας Διδάσκων: Γεώργιος K. Πολύζος Τμήμα: Μεταπτυχιακό Πρόγραμμα Σπουδών Επιστήμη των Υπολογιστών Άδειες Χρήσης Το παρόν εκπαιδευτικό υλικό
Κεφάλαιο 2 Πληροφορία και εντροπία
Κεφάλαιο 2 Πληροφορία και εντροπία Άσκηση. Έστω αλφάβητο Α={0,} και δύο πηγές p και q. Έστω οτι p(0)=-r, p()=r, q(0)=-s και q()=s. Να υπολογιστούν οι σχετικές εντροπίες Η(Α,p/q) και Η(Α,q/p). Να γίνει
Ψηφιακές Τηλεπικοινωνίες. Θεωρία Ρυθμού Παραμόρφωσης
Ψηφιακές Τηλεπικοινωνίες Θεωρία Ρυθμού Παραμόρφωσης Θεωρία Ρυθμού-Παραμόρφωσης Θεώρημα Κωδικοποίησης Πηγής: αν έχω αρκετά μεγάλο μπλοκ δεδομένων, μπορώ να φτάσω κοντά στην εντροπία Πιθανά Προβλήματα: >
Δίαυλος Πληροφορίας. Δρ. Α. Πολίτης
Δίαυλος Πληροφορίας Η λειτουργία του διαύλου πληροφορίας περιγράφεται από: Τον πίνακα διαύλου μαθηματική περιγραφή. Το διάγραμμα διάυλου παραστατικός τρόπος περιγραφής. Πίνακας Διαύλου Κατασκευάζεται με
EE728 (22Α004) - Προχωρημένα Θέματα Θεωρίας Πληροφορίας 3η σειρά ασκήσεων Διακριτά και Συνεχή Κανάλια. Παράδοση: Έως 22/6/2015
EE728 (22Α004) - Προχωρημένα Θέματα Θεωρίας Πληροφορίας Φυλλάδιο 13 Δ. Τουμπακάρης 30 Μαΐου 2015 EE728 (22Α004) - Προχωρημένα Θέματα Θεωρίας Πληροφορίας 3η σειρά ασκήσεων Διακριτά και Συνεχή Κανάλια Παράδοση:
ΘΕΩΡΙΑ ΠΛΗΡΟΦΟΡΙΑΣ. Κεφάλαιο 2 : Πληροφορία και Εντροπία Διάλεξη: Κώστας Μαλιάτσος Χρήστος Ξενάκης, Κώστας Μαλιάτσος
ΘΕΩΡΙΑ ΠΛΗΡΟΦΟΡΙΑΣ Κεφάλαιο 2 : Πληροφορία και Εντροπία Διάλεξη: Κώστας Μαλιάτσος Χρήστος Ξενάκης, Κώστας Μαλιάτσος Πανεπιστήμιο Πειραιώς, Τμήμα Ψηφιακών Συστημάτων Περιεχόμενα Πιθανότητες Πληροφορία Μέτρο
Χρήστος Ξενάκης. Πανεπιστήμιο Πειραιώς, Τμήμα Ψηφιακών Συστημάτων
ΘΕΩΡΙΑ ΠΛΗΡΟΦΟΡΙΑΣ Κεφάλαιο 2 : Πληροφορία και Εντροπία Χρήστος Ξενάκης Πανεπιστήμιο Πειραιώς, Τμήμα Ψηφιακών Συστημάτων Περιεχόμενα Πληροφορία Μέτρο πληροφορίας Μέση πληροφορία ή Εντροπία Από κοινού εντροπία
ΘΕΩΡΙΑ ΠΛΗΡΟΦΟΡΙΑΣ. Κεφάλαιο 3 : Πηγές Πληροφορίας Χρήστος Ξενάκης. Πανεπιστήμιο Πειραιώς, Τμήμα Ψηφιακών Συστημάτων
ΘΕΩΡΙΑ ΠΛΗΡΟΦΟΡΙΑΣ Κεφάλαιο 3 : Πηγές Πληροφορίας Χρήστος Ξενάκης Πανεπιστήμιο Πειραιώς, Τμήμα Ψηφιακών Συστημάτων Περιεχόμενα Διακριτές Πηγές Πληροφορίας χωρίς μνήμη Ποσότητα πληροφορίας της πηγής Κωδικοποίηση
EE728 (22Α004) - Προχωρημένα Θέματα Θεωρίας Πληροφορίας 3η σειρά ασκήσεων Ενδεικτικές Λύσεις
EE78 (Α004 - Προχωρημένα Θέματα Θεωρίας Πληροφορίας Φυλλάδιο 15 Δ Τουμπακάρης 3 Ιουνίου 015 EE78 (Α004 - Προχωρημένα Θέματα Θεωρίας Πληροφορίας 3η σειρά ασκήσεων Ενδεικτικές Λύσεις 1 Υποβέλτιστοι κώδικες
Θεωρία Πληροφορίας. Διάλεξη 4: Διακριτή πηγή πληροφορίας χωρίς μνήμη. Δρ. Μιχάλης Παρασκευάς Επίκουρος Καθηγητής
Θεωρία Πληροφορίας Διάλεξη 4: Διακριτή πηγή πληροφορίας χωρίς μνήμη Δρ. Μιχάλης Παρασκευάς Επίκουρος Καθηγητής 1 Ατζέντα Διακριτή πηγή πληροφορίας χωρίς μνήμη Ποσότητα πληροφορίας της πηγής Κωδικοποίηση
ΕΙΣΑΓΩΓΗ ΚΑΙ ΠΡΟΕΠΙΣΚΟΠΗΣΗ
ΚΕΦΑΛΑΙΟ 1 ΕΙΣΑΓΩΓΗ ΚΑΙ ΠΡΟΕΠΙΣΚΟΠΗΣΗ Η θεωρία πληροϕορίας δίνει απαντήσεις σε δύο θεμελιώδη ερωτήματα της θεωρίας επικοινωνιών: Ποια είναι η «υπέρτατη» συμπίεση δεδομένων (απάντηση: η εντροπία H) και
Θεωρία Πληροφορίας. Διάλεξη 5: Διακριτή πηγή πληροφορίας με μνήμη. Δρ. Μιχάλης Παρασκευάς Επίκουρος Καθηγητής
Θεωρία Πληροφορίας Διάλεξη 5: Διακριτή πηγή πληροφορίας με μνήμη Δρ. Μιχάλης Παρασκευάς Επίκουρος Καθηγητής 1 Ατζέντα 1. Διακριτές πηγές πληροφορίας με μνήμη Μαρκοβιανές αλυσίδες Τάξη μακροβιανών αλυσίδων
Ψηφιακές Τηλεπικοινωνίες
Ψηφιακές Τηλεπικοινωνίες Θεωρία Πληροφορίας: Κωδικοποίηση Πηγής Ψηφιακή Μετάδοση Υπάρχουν ιδιαίτερα εξελιγμένες τεχνικές αναλογικής μετάδοσης (που ακόμη χρησιμοποιούνται σε ορισμένες εφαρμογές) Επίσης,
( ) log 2 = E. Σεραφείµ Καραµπογιάς
Παρατηρούµε ότι ο ορισµός της Η βασίζεται στη χρονική µέση τιµή. Για να ισχύει ο ορισµός αυτός και για µέση τιµή συνόλου πρέπει η πηγή να είναι εργοδική, δηλαδή H ( X) ( ) = E log 2 p k Η εντροπία µιας
Θέματα Συστημάτων Πολυμέσων
Θέματα Συστημάτων Πολυμέσων Ενότητα # 5: Βασική Θεωρία Πληροφορίας Διδάσκων: Γεώργιος Πολύζος Τμήμα: Μεταπτυχιακό Πρόγραμμα Σπουδών Επιστήμη των Υπολογιστών Άδειες χρήσης Το παρόν εκπαιδευτικό υλικό υπόκειται
ΕΑΠ/ΠΛΗ22/ΑΘΗ.3. 4 η ΟΣΣ
ΕΑΠ/ΠΛΗ22/ΑΘΗ.3 4 η ΟΣΣ 19.03.2017 Σχόλια για τη ΓΕ3 & Συμπληρωματικές Διαφάνειες στα Κανάλια Επικοινωνίας και τους Κώδικες Διόρθωσης Σφαλμάτων Νίκος Δημητρίου ΕΑΠ / ΠΛΗ22 /ΑΘΗ.3 / 4η ΟΣΣ / 19.03.2017
Συμπίεση Δεδομένων
Συμπίεση Δεδομένων 2014-2015 Ρυθμός κωδικοποίησης Ένας κώδικας που απαιτεί L bits για την κωδικοποίηση μίας συμβολοσειράς N συμβόλων που εκπέμπει μία πηγή έχει ρυθμό κωδικοποίησης (μέσο μήκος λέξης) L
Θεωρία της Πληροφορίας 3 ο Εξάμηνο
Σμήμα Πληροφορικής & Επικοινωνιών Θεωρία της Πληροφορίας 3 ο Εξάμηνο Τομέας Τηλεπικοινωνιών και Δικτύων Δρ. Αναστάσιος Πολίτης Καθηγητής Εφαρμογών 1 Διεξαγωγή και Εξέταση του Μαθήματος Μάθημα Πώς? 13 Διαλέξεις.
ΕΛΛΗΝΙΚΟ ΑΝΟΙΚΤΟ ΠΑΝΕΠΙΣΤΗΜΙΟ
Θ.Ε. ΠΛΗ22 (2012-13) ΓΡΑΠΤΗ ΕΡΓΑΣΙΑ #4. Έκδοση v2 με διόρθωση τυπογραφικού λάθους στο ερώτημα 6.3 Στόχος: Βασικό στόχο της 4 ης εργασίας αποτελεί η εξοικείωση με τα μέτρα ποσότητας πληροφορίας τυχαίων
Πρόλογος 1. 1 Μαθηµατικό υπόβαθρο 9
Πρόλογος 1 Μαθηµατικό υπόβαθρο 7 1 Μαθηµατικό υπόβαθρο 9 1.1 Η αριθµητική υπολοίπων.............. 10 1.2 Η πολυωνυµική αριθµητική............ 14 1.3 Θεωρία πεπερασµένων οµάδων και σωµάτων.... 17 1.4 Πράξεις
ΕΕ728 Προχωρηµένα Θέµατα Θεωρίας Πληροφορίας 10η διάλεξη (2η έκδοση, 7/5/2013)
ΕΕ728 Προχωρηµένα Θέµατα Θεωρίας Πληροφορίας 10η διάλεξη (2η έκδοση, 7/5/2013) ηµήτρης-αλέξανδρος Τουµπακάρης Τµήµα ΗΜ&ΤΥ, Πανεπιστήµιο Πατρών 23 Απριλίου 2013 ηµήτρης-αλέξανδρος Τουµπακάρης Προχωρηµένα
Χρήστος Ξενάκης. Πανεπιστήμιο Πειραιώς, Τμήμα Ψηφιακών Συστημάτων
ΘΕΩΡΙΑ ΠΛΗΡΟΦΟΡΙΑΣ Κεφάλαιο 3 : Πηγές Πληροφορίας Χρήστος Ξενάκης Πανεπιστήμιο Πειραιώς, Τμήμα Ψηφιακών Συστημάτων Περιεχόμενα Διακριτές Πηγές Πληροφορίας χωρίς μνήμη Ποσότητα πληροφορίας της πηγής Κωδικοποίηση
Θόρυβος και λάθη στη μετάδοση PCM
Θόρυβος και λάθη στη μετάδοση PCM Πότε συμβαίνουν λάθη Για μονοπολική (on-off) σηματοδότηση το σήμα στην έξοδο είναι, όπου α k =0 όταν y( kts) ak n( kts) μεταδίδεται το bit 0 και α k =Α όταν μεταδίδεται
Απαντήσεις σε απορίες
Ερώτηση Η µέση ποσότητα πληροφορίας κατά Shannon είναι Η(Χ)=-Σp(xi)logp(xi)...σελ 28 Στο παραδειγµα.3 στη σελιδα 29 στο τέλος δεν καταλαβαίνω πως γίνεται η εφαρµογή του παραπάνω τύπου ηλαδη δεν βλεπω συντελεστη
ΣΗΜΕΙΩΣΕΙΣ. x A αντιστοιχίζεται (συσχετίζεται) με ένα μόνο. = ονομάζεται εξίσωση της
ΚΕΦΑΛΑΙΟ 2ο: ΣΥΝΑΡΤΗΣΕΙΣ - ΟΡΙΟ - ΣΥΝΕΧΕΙΑ ΣΥΝΑΡΤΗΣΗΣ ΕΝΟΤΗΤΑ 1: ΕΝΝΟΙΑ ΠΡΑΓΜΑΤΙΚΗΣ ΣΥΝΑΡΤΗΣΗΣ - ΓΡΑΦΙΚΗ ΠΑΡΑΣΤΑΣΗ ΣΥΝΑΡΤΗΣΗΣ. IΣΟΤΗΤΑ ΣΥΝΑΡΤΗΣΕΩΝ - ΠΡΑΞΕΙΣ ΜΕ ΣΥΝΑΡΤΗΣΕΙΣ - ΣΥΝΘΕΣΗ ΣΥΝΑΡΤΗΣΕΩΝ [Ενότητα
Χρήστος Ξενάκης. Πανεπιστήμιο Πειραιώς, Τμήμα Ψηφιακών Συστημάτων
ΘΕΩΡΙΑ ΠΛΗΡΟΦΟΡΙΑΣ Κεφάλαιο 10 : Κωδικοποίηση καναλιού Χρήστος Ξενάκης Πανεπιστήμιο Πειραιώς, Τμήμα Ψηφιακών Συστημάτων Περιεχόμενα Ομιλίας Απόσταση και βάρος Hamming Τεχνικές και κώδικες ανίχνευσης &
Πίνακες Διασποράς. Χρησιμοποιούμε ένα πίνακα διασποράς T και μια συνάρτηση διασποράς h. Ένα στοιχείο με κλειδί k αποθηκεύεται στη θέση
Πίνακες Διασποράς Χρησιμοποιούμε ένα πίνακα διασποράς T και μια συνάρτηση διασποράς h Ένα στοιχείο με κλειδί k αποθηκεύεται στη θέση κλειδί k T 0 1 2 3 4 5 6 7 U : χώρος πιθανών κλειδιών Τ : πίνακας μεγέθους
ΠΑΝΕΠΙΣΤΗΜΙΟ ΚΡΗΤΗΣ ΤΜΗΜΑ ΜΑΘΗΜΑΤΙΚΩΝ - ΤΜΗΜΑ ΕΦΑΡΜΟΣΜΕΝΩΝ ΜΑΘΗΜΑΤΙΚΩΝ ΕΙΣΑΓΩΓΙΚΕΣ ΜΕΤΑΠΤΥΧΙΑΚΕΣ ΕΞΕΤΑΣΕΙΣ 26 ΙΟΥΛΙΟΥ 2009 ΕΥΤΕΡΟ ΜΕΡΟΣ :
ΠΑΝΕΠΙΣΤΗΜΙΟ ΚΡΗΤΗΣ ΤΜΗΜΑ ΜΑΘΗΜΑΤΙΚΩΝ - ΤΜΗΜΑ ΕΦΑΡΜΟΣΜΕΝΩΝ ΜΑΘΗΜΑΤΙΚΩΝ ΑΛΓΕΒΡΑ-ΘΕΩΡΙΑ ΑΡΙΘΜΩΝ ΑΝΑΛΥΣΗ ΑΡΙΘΜΗΤΙΚΗ ΑΝΑΛΥΣΗ ΙΑΦΟΡΙΚΕΣ ΕΞΙΣΩΣΕΙΣ ΠΙΘΑΝΟΤΗΤΕΣ-ΣΤΑΤΙΣΤΙΚΗ ΕΙΣΑΓΩΓΙΚΕΣ ΜΕΤΑΠΤΥΧΙΑΚΕΣ ΕΞΕΤΑΣΕΙΣ 26
Τυχαίοι γράφοι Η διάμετρος του G(n, 2 ln n/n) Ioannis Giotis
Τυχαίοι γράφοι Η διάμετρος του G(n, 2 ln n/n) Ioannis Giotis Θεώρημα για σφαίρες Θα δείξουμε ότι το γράφημα G(n, 2 ln n n 1 ) έχει μικρή διάμετρο Θα ξεκινήσουμε με ένα θεώρημα για το μέγεθος μιας σφαίρας
ΤΥΧΑΙΑ ΙΑΝΥΣΜΑΤΑ. Θεωρία Πιθανοτήτων και Στοχαστικές ιαδικασίες, Κ. Πετρόπουλος. Τµ. Επιστήµης των Υλικών
Τµ. Επιστήµης των Υλικών Είδη τυχαίων µεταβλητών 1. ιακριτού τύπου X ονοµάζεται διακριτή τ.µ. αν το πεδίο τιµών της είναι της µορφής, {x 1, x 2,...,x n,...}. f(x) = P(X = x) ονοµάζεται συνάρτηση πυκνότητας
Λύσεις σετ ασκήσεων #6
ΘΕΩΡΙΑ ΠΛΗΡΟΦΟΡΙΑΣ Γ. Κοντογιάννης Πέμπτη 8 Μαΐου 07 Φυλλάδιο #4 Λύσις στ ασκήσων #6. Θόρυβος od. Έστω ότι ένα κανάλι έχι αλφάβητο ισόδου και αλφάβητο ξόδου το {0}. Όπως στο προηγούμνο στ η έξοδος του
P(Ο Χρήστος κερδίζει) = 1 P(Ο Χρήστος χάνει) = 1 P(X > Y ) = 1 2. P(Ο Χρήστος νικά σε 7 από τους 10 αγώνες) = 7
ΠΑΝΕΠΙΣΤΗΜΙΟ ΚΡΗΤΗΣ Τµήµα Επιστήµης Υπολογιστών HY-27: Πιθανότητες - Χειµερινό Εξάµηνο 28 ιδάσκων: Π. Τσακαλίδης Λύσεις Εβδοµης Σειράς Ασκήσεων Ηµεροµηνία Ανάθεσης: 3/2/28 Ηµεροµηνία Παράδοσης: 7/2/28
Αριθμητική Ανάλυση και Εφαρμογές
Αριθμητική Ανάλυση και Εφαρμογές Διδάσκων: Δημήτριος Ι. Φωτιάδης Τμήμα Μηχανικών Επιστήμης Υλικών Ιωάννινα 07-08 Πεπερασμένες και Διαιρεμένες Διαφορές Εισαγωγή Θα εισάγουμε την έννοια των διαφορών με ένα
ΚΩΔΙΚΟΠΟΙΗΣΗ ΕΛΕΓΧΟΥ ΣΦΑΛΜΑΤΟΣ (2)
ΚΩΔΙΚΟΠΟΙΗΣΗ ΕΛΕΓΧΟΥ ΣΦΑΛΜΑΤΟΣ () P e συνάρτηση των S/N και r b (B) Συμβάσεις κανονισμοί για τα S, B Φασματική πυκνότητα θορύβου καθορισμένη Πολυπλοκότητα και κόστος συστήματος ΚΩΔΙΚΟΠΟΙΗΣΗ ΚΑΝΑΛΙΟΥ Καλά
Αναλογικές και Ψηφιακές Επικοινωνίες
Αναλογικές και Ψηφιακές Επικοινωνίες Ενότητα : Βέλτιστος δέκτης για ψηφιακά διαμορφωμένα σήματα Σεραφείμ Καραμπογιάς Σχολή Θετικών Επιστημών Τμήμα Πληροφορικής και Επικοινωνιών Η ΕΝΝΟΙΑ ΤΗΣ ΤΥΧΑΙΑΣ ΜΕΤΑΒΛΗΤΗΣ
Συμπίεση Δεδομένων
Συμπίεση Δεδομένων 2014-2015 Κβάντιση Δρ. Ν. Π. Σγούρος 2 Αναλογικά Ψηφιακά Σήματα Αναλογικό Σήμα x t, t [t min, t max ], x [x min, x max ] Δειγματοληψία t n, x t x n, n = 1,, N Κβάντιση x n x(n) 3 Αλφάβητο
Μάθημα Εισαγωγή στις Τηλεπικοινωνίες Κωδικοποίηση πηγής- καναλιού Μάθημα 9o
Μάθημα Εισαγωγή στις Τηλεπικοινωνίες Κωδικοποίηση πηγής- καναλιού Μάθημα 9o ΕΘΝΙΚΟ & ΚΑΠΟΔΙΣΤΡΙΑΚΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΑΘΗΝΩΝ Τομέας Επικοινωνιών και Επεξεργασίας Σήματος Τμήμα Πληροφορικής & Τηλεπικοινωνιών
ΕΘΝΙΚΟ ΜΕΤΣΟΒΙΟ ΠΟΛΥΤΕΧΝΕΙΟ
ΕΘΝΙΚΟ ΜΕΤΣΟΒΙΟ ΠΟΛΥΤΕΧΝΕΙΟ ΣΧΟΛΗ ΗΛΕΚΤΡΟΛΟΓΩΝ ΜΗΧΑΝΙΚΩΝ ΚΑΙ ΜΗΧΑΝΙΚΩΝ ΥΠΟΛΟΓΙΣΤΩΝ ΤΟΜΕΑΣ TΕΧΝΟΛΟΓΙΑΣ ΠΛΗΡΟΦΟΡΙΚΗΣ ΚΑΙ ΥΠΟΛΟΓΙΣΤΩΝ Αποδοτικοί Αλγόριθμοι Μάθησης Δυνάμεων Πουασσόν Διωνυμικών Κατανομών ΔΙΠΛΩΜΑΤΙΚΗ
ΕΝΟΤΗΤΑ 1: ΟΡΙΣΜΟΣ ΠΕΔΙΟ ΟΡΙΣΜΟΥ ΠΡΑΞΕΙΣ ΣΥΝΑΡΤΗΣΕΩΝ ΓΡΑΦΙΚΕΣ ΠΑΡΑΣΤΑΣΕΙΣ ΒΑΣΙΚΩΝ ΣΥΝΑΡΤΗΣΕΩΝ ΛΥΜΕΝΑ ΘΕΜΑΤΑ ΘΕΜΑ Α
ΚΕΦΑΛΑΙΟ 1 ο : ΔΙΑΦΟΡΙΚΟΣ ΛΟΓΙΣΜΟΣ ΕΝΟΤΗΤΑ 1: ΟΡΙΣΜΟΣ ΠΕΔΙΟ ΟΡΙΣΜΟΥ ΠΡΑΞΕΙΣ ΣΥΝΑΡΤΗΣΕΩΝ ΓΡΑΦΙΚΕΣ ΠΑΡΑΣΤΑΣΕΙΣ ΒΑΣΙΚΩΝ ΣΥΝΑΡΤΗΣΕΩΝ ΛΥΜΕΝΑ ΘΕΜΑΤΑ Ερώτηση θεωρίας 1 ΘΕΜΑ Α Τι ονομάζουμε πραγματική συνάρτηση
Κωδικοποίηση Πηγής. Η λειτουργία ενός συστήματος επικοινωνίας (γενικό διάγραμμα):
Κωδικοποίηση Πηγής Η λειτουργία ενός συστήματος επικοινωνίας (γενικό διάγραμμα): Coder Decoder Μεταξύ πομπού-καναλιού παρεμβάλλεται ο κωδικοποιητής (coder). Έργο του: η αντικατάσταση των συμβόλων πληροφορίας
ΕΕ728 Προχωρηµένα Θέµατα Θεωρίας Πληροφορίας 11η διάλεξη
ΕΕ728 Προχωρηµένα Θέµατα Θεωρίας Πληροφορίας 11η διάλεξη ηµήτρης-αλέξανδρος Τουµπακάρης Τµήµα ΗΜ&ΤΥ, Πανεπιστήµιο Πατρών 14 Μαΐου 2010 ηµήτρης-αλέξανδρος Τουµπακάρης Προχωρηµένα Θέµατα Θεωρίας Πληροφορίας
Ανάκτηση Πληροφορίας
Ιόνιο Πανεπιστήμιο Τμήμα Πληροφορικής Ανάκτηση Πληροφορίας Διδάσκων: Φοίβος Μυλωνάς fmylonas@ionio.gr Διάλεξη #08 Συµπίεση Κειµένων Φοίβος Μυλωνάς fmylonas@ionio.gr Ανάκτηση Πληροφορίας 1 Άδεια χρήσης
f(y) dy = b a dy = b a x f(x) dx = b a dx = x 2 = b2 a 2 2(b a) b a dx = = (a2 + ab + b 2 )(b a) 3(b a)
Κεφάλαιο 11 Συνεχείς κατανομές και ο Ν.Μ.Α. Στο προηγούμενο κεφάλαιο ορίσαμε την έννοια της συνεχούς τυχαίας μεταβλητής, και είδαμε τις βασικές της ιδιότητες. Εδώ θα περιγράψουμε κάποιους ιδιαίτερους τύπους
6. Αριθμητική Ολοκλήρωση
6. Αριθμητική Ολοκλήρωση Ασκήσεις 6.1 Έστω f : [; b]! R μια συνάρτηση, της οποίας το ολοκλήρωμα του Riemnn στο διάστημα [; b] υπάρχει. Αν Qn T είναι ο σύνθετος τύπος ολοκλήρωσης του τραπεζίου με n ομοιόμορφα
ΠΑΝΕΠΙΣΤΗΜΙΟ ΠΕΙΡΑΙΩΣ ΤΜΗΜΑ ΨΗΦΙΑΚΩΝ ΣΥΣΤΗΜΑΤΩΝ ΘΕΩΡΙΑ ΠΛΗΡΟΦΟΡΙΑΣ
ΠΑΝΕΠΙΣΤΗΜΙΟ ΠΕΙΡΑΙΩΣ ΤΜΗΜΑ ΨΗΦΙΑΚΩΝ ΣΥΣΤΗΜΑΤΩΝ ΘΕΩΡΙΑ ΠΛΗΡΟΦΟΡΙΑΣ ΠΕΙΡΑΙΑΣ 0 ΠΕΡΙΕΧΟΜΕΝΑ ΚΕΦΑΛΑΙΟ.... 9 ΕΙΣΑΓΩΓΗ... 9 ΚΕΦΑΛΑΙΟ... 5 ΠΛΗΡΟΦΟΡΙΑ ΚΑΙ ΕΝΤΡΟΠΙΑ... 5. ΒΑΣΙΚΕΣ ΕΝΝΟΙΕΣ ΑΞΙΩΜΑΤΑ ΠΙΘΑΝΟΤΗΤΩΝ...
ΕΕ728 Προχωρηµένα Θέµατα Θεωρίας Πληροφορίας 12η διάλεξη (2η έκδοση, 20/5/2013)
ΕΕ728 Προχωρηµένα Θέµατα Θεωρίας Πληροφορίας 12η διάλεξη (2η έκδοση, 20/5/2013) ηµήτρης-αλέξανδρος Τουµπακάρης Τµήµα ΗΜ&ΤΥ, Πανεπιστήµιο Πατρών 14 Μαΐου 2013 ηµήτρης-αλέξανδρος Τουµπακάρης Προχωρηµένα
Y = X 1 + X X N = X i. i=1
Κεφάλαιο 7 Διακριτές κατανομές Στο προηγούμενο κεφάλαιο είδαμε πως η έννοια της τυχαίας μεταβλητής Τ.Μ., δηλαδή μιας τυχαίας ποσότητας X που προσδιορίζεται από το σύνολο τιμών της S και την πυκνότητά της
Κεφάλαιο 3 ΠΑΡΑΓΩΓΟΣ. 3.1 Η έννοια της παραγώγου. y = f(x) f(x 0 ), = f(x 0 + x) f(x 0 )
Κεφάλαιο 3 ΠΑΡΑΓΩΓΟΣ 3.1 Η έννοια της παραγώγου Εστω y = f(x) µία συνάρτηση, που συνδέει τις µεταβλητές ποσότητες x και y. Ενα ερώτηµα που µπορεί να προκύψει καθώς µελετούµε τις δύο αυτές ποσοτήτες είναι
Κατανεμημένα Συστήματα Ι
Συναίνεση χωρίς την παρουσία σφαλμάτων Κατανεμημένα Συστήματα Ι 4η Διάλεξη 27 Οκτωβρίου 2016 Παναγιώτα Παναγοπούλου Κατανεμημένα Συστήματα Ι 4η Διάλεξη 1 Συναίνεση χωρίς την παρουσία σφαλμάτων Προηγούμενη
(s n (f)) g = s n (f g) = f (s n (g)). s n (f) g = (f D n ) g = f (D n g) = f (g D n ) = f s n (g). K n (x)g δ (x) dx. K n (x) dx.
Ανάλυση Fourier και Ολοκλήρωμα Lebesgue (11 1) 3ο Φυλλάδιο Ασκήσεων Υποδείξεις 1. Εστω f, g : T C ολοκληρώσιμες συναρτήσεις. Δείξτε ότι, για κάθε n N, (s n (f)) g = s n (f g) = f (s n (g)). Υπόδειξη. Θυμηθείτε
ΘΕΩΡΙΑ ΑΠΟΦΑΣΕΩΝ 3 ο ΦΡΟΝΤΙΣΤΗΡΙΟ ΛΥΣΕΙΣ ΤΩΝ ΑΣΚΗΣΕΩΝ
ΘΕΩΡΙΑ ΑΠΟΦΑΣΕΩΝ 3 ο ΦΡΟΝΤΙΣΤΗΡΙΟ ΛΥΣΕΙΣ ΤΩΝ ΑΣΚΗΣΕΩΝ ΑΣΚΗΣΗ Σύμφωνα με στοιχεία από το Πανεπιστήμιο της Οξφόρδης η πιθανότητα ένας φοιτητής να αποφοιτήσει μέσα σε 5 χρόνια από την ημέρα εγγραφής του στο
Οικονομικό Πανεπιστήμιο Αθηνών Τμήμα Πληροφορικής ΠΜΣ Κρυπτογραφία και Εφαρμογές
Οικονομικό Πανεπιστήμιο Αθηνών Τμήμα Πληροφορικής ΠΜΣ Κρυπτογραφία και Εφαρμογές Μαριάς Ιωάννης Μαρκάκης Ευάγγελος marias@aueb.gr markakis@gmail.com Περίληψη Shannon theory Εντροπία Μελέτη κρυπτοσυστηµάτων
Αναγνώριση Προτύπων. Baysian Θεωρία Αποφάσεων ΕΠΙΣΚΟΠΗΣΗ-ΑΣΚΗΣΕΙΣ
Αναγνώριση Προτύπων Baysian Θεωρία Αποφάσεων ΕΠΙΣΚΟΠΗΣΗ-ΑΣΚΗΣΕΙΣ Χριστόδουλος Χαμζάς Τα περιεχόμενο της παρουσίασης βασίζεται στο βιβλίο: Introduction to Pattern Recognition A Matlab Approach, S. Theodoridis,
Στοιχεία Θεωρίας Αριθμών & Εφαρμογές στην Κρυπτογραφία
Εθνικό Μετσόβιο Πολυτεχνείο Σχολή Ηλεκτρολόγων Μηχανικών & Μηχανικών Υπολογιστών Σημειώσεις Διαλέξεων Στοιχεία Θεωρίας Αριθμών & Εφαρμογές στην Κρυπτογραφία Επιμέλεια σημειώσεων: Ελένη Μπακάλη Άρης Παγουρτζής
ΠΑΝΕΠΙΣΤΗΜΙΟ ΚΡΗΤΗΣ ΤΜΗΜΑ ΜΑΘΗΜΑΤΙΚΩΝ - ΤΜΗΜΑ ΕΦΑΡΜΟΣΜΕΝΩΝ ΜΑΘΗΜΑΤΙΚΩΝ ΕΙΣΑΓΩΓΙΚΕΣ ΜΕΤΑΠΤΥΧΙΑΚΕΣ ΕΞΕΤΑΣΕΙΣ 26 ΙΟΥΛΙΟΥ 2008 ΕΥΤΕΡΟ ΜΕΡΟΣ :
ΠΑΝΕΠΙΣΤΗΜΙΟ ΚΡΗΤΗΣ ΤΜΗΜΑ ΜΑΘΗΜΑΤΙΚΩΝ - ΤΜΗΜΑ ΕΦΑΡΜΟΣΜΕΝΩΝ ΜΑΘΗΜΑΤΙΚΩΝ ΑΛΓΕΒΡΑ - ΘΕΩΡΙΑ ΑΡΙΘΜΩΝ ΑΝΑΛΥΣΗ ΑΡΙΘΜΗΤΙΚΗ ΑΝΑΛΥΣΗ ΙΑΦΟΡΙΚΕΣ ΕΞΙΣΩΣΕΙΣ ΠΙΘΑΝΟΤΗΤΕΣ - ΣΤΑΤΙΣΤΙΚΗ ΕΙΣΑΓΩΓΙΚΕΣ ΜΕΤΑΠΤΥΧΙΑΚΕΣ ΕΞΕΤΑΣΕΙΣ
ιαφορική εντροπία Σεραφείµ Καραµπογιάς
ιαφορική εντροπία Σεραφείµ Καραµπογιάς Για πηγές διακριτού χρόνου µε συνεχές αλφάβητο, των οποίων οι έξοδοι είναι πραγµατικοί αριθµοί, ορίζεται µια άλλη ποσότητα που µοιάζει µε την εντροπία και καλείται
ΠΑΝΕΠΙΣΤΗΜΙΟ ΠΕΛΟΠΟΝΝΗΣΟΥ
ΠΑΝΕΠΙΣΤΗΜΙΟ ΠΕΛΟΠΟΝΝΗΣΟΥ ΤΜΉΜΑ ΕΠΙΣΤΗΜΗΣ & ΤΕΧΝΟΛΟΓΙΑΣ ΤΗΛΕΠΙΚΟΙΝΩΝΙΩΝ Κ 7 Επικοινωνίες ΙΙ Χειμερινό Εξάμηνο Διάλεξη η Νικόλαος Χ. Σαγιάς Επίκουρος Καθηγητής Webpage: hp://ecla.uop.gr/coure/s5 e-mail:
Απειροστικός Λογισμός Ι, χειμερινό εξάμηνο Λύσεις έκτου φυλλαδίου ασκήσεων.
Απειροστικός Λογισμός Ι, χειμερινό εξάμηνο 208-9. Λύσεις έκτου φυλλαδίου ασκήσεων.. Παρατηρήστε ότι ο πρώτος κανόνας αλλαγής μεταβλητής εφαρμόζεται μόνο στα εφτά πρώτα όρια ενώ ο δεύτερος κανόνας εφαρμόζεται
ΑΝΑΛΥΣΗ 1 ΕΙΚΟΣΤΟ ΕΚΤΟ ΜΑΘΗΜΑ, Μ. Παπαδημητράκης.
ΑΝΑΛΥΣΗ ΕΙΚΟΣΤΟ ΕΚΤΟ ΜΑΘΗΜΑ, 5--3 Μ. Παπαδημητράκης. Είδαμε στο προηγούμενο μάθημα ότι για να έχει νόημα το όριο f(x) x ξ πρέπει το ξ να είναι σε κατάλληλη θέση σε σχέση με το πεδίο ορισμού A της συνάρτησης
Εισαγωγή Ορισμός Frequency moments
The space complexity of approximating the frequency moments Κωστόπουλος Δημήτριος Μπλα Advanced Data Structures June 2007 Εισαγωγή Ορισμός Frequency moments Έστω ακολουθία Α = {a 1,a 2,...,a m ) με κάθε
ΚΕΦΑΛΑΙΟ ΠΕΜΠΤΟ ΘΕΩΡΙΑ ΠΛΗΡΟΦΟΡΙΑΣ
ΚΕΦΑΛΑΙΟ ΠΕΜΠΤΟ ΘΕΩΡΙΑ ΠΛΗΡΟΦΟΡΙΑΣ 5. Εισαγωγή Ο σκοπός κάθε συστήματος τηλεπικοινωνιών είναι η μεταφορά πληροφορίας από ένα σημείο (πηγή) σ ένα άλλο (δέκτης). Συνεπώς, κάθε μελέτη ενός τέτοιου συστήματος
X = = 81 9 = 9
Πιθανότητες και Αρχές Στατιστικής (11η Διάλεξη) Σωτήρης Νικολετσέας, καθηγητής Τμήμα Μηχανικών Η/Υ & Πληροφορικής, Πανεπιστήμιο Πατρών Ακαδημαϊκό Ετος 2018-2019 Σωτήρης Νικολετσέας, καθηγητής 1 / 35 Σύνοψη
Διαφορικές Εξισώσεις.
Διαφορικές Εξισώσεις. Εαρινό εξάμηνο 05-6. Λύσεις δεύτερου φυλλαδίου ασκήσεων.. Βρείτε όλες τις λύσεις της εξίσωσης Bernoulli x y = xy + y 3 καθορίζοντας προσεκτικά το διάστημα στο οποίο ορίζεται καθεμιά
ΣΤΟΧΑΣΤΙΚΑ ΣΥΣΤΗΜΑΤΑ & ΕΠΙΚΟΙΝΩΝΙΕΣ 1o Τμήμα (Α - Κ): Αμφιθέατρο 3, Νέα Κτίρια ΣΗΜΜΥ Θεωρία Πιθανοτήτων & Στοχαστικές Ανελίξεις - 1
ΣΤΟΧΑΣΤΙΚΑ ΣΥΣΤΗΜΑΤΑ & ΕΠΙΚΟΙΝΩΝΙΕΣ 1o Τμήμα (Α - Κ): Αμφιθέατρο 3, Νέα Κτίρια ΣΗΜΜΥ Θεωρία Πιθανοτήτων & Στοχαστικές Ανελίξεις - 1 5.1: Εισαγωγή 5.2: Πιθανότητες 5.3: Τυχαίες Μεταβλητές καθ. Βασίλης Μάγκλαρης
Στατιστική Ι. Ανάλυση Παλινδρόμησης
Στατιστική Ι Ανάλυση Παλινδρόμησης Ανάλυση παλινδρόμησης Η πρόβλεψη πωλήσεων, εσόδων, κόστους, παραγωγής, κτλ. είναι η βάση του επιχειρηματικού σχεδιασμού. Η ανάλυση παλινδρόμησης και συσχέτισης είναι
ΕΕ728 Προχωρηµένα Θέµατα Θεωρίας Πληροφορίας 11η διάλεξη
ΕΕ728 Προχωρηµένα Θέµατα Θεωρίας Πληροφορίας 11η διάλεξη ηµήτρης-αλέξανδρος Τουµπακάρης Τµήµα ΗΜ&ΤΥ, Πανεπιστήµιο Πατρών 17 Μαΐου 2011 (2η έκδοση, 21/5/2011) ηµήτρης-αλέξανδρος Τουµπακάρης Προχωρηµένα
Αριθμητική Κωδικοποίηση
Αριθμητική Κωδικοποίηση Ο κώδικας Huffmann είναι βέλτιστος γιατί παράγει συμπαγή κώδικα για δεδομένες πιθανότητες Συμπαγής κώδικας: Δεν υπάρχει άλλος με μικρότερο μέσο μήκος κωδικής λέξης Δεν είναι 100%
Περιεχόμενα. Ιδιότητες του cov(x, Y) Ιδιότητες των εκτιμητών Παράδειγμα. 1 Συσχέτιση Μεταβλητών. 2 Εκτιμητές και κατάλοιπα
Περιεχόμενα 1 Συσχέτιση Μεταβλητών Ιδιότητες του cov(x, Y 2 Ιδιότητες των εκτιμητών BEΠ (UPatras Γραμμικά Μοντέλα 4η, 5η Διάλεξη, 2018-19 1 / 12 Συσχέτιση Μεταβλητών Ιδιότητες του cov(x, Y Ένα μέτρο της
Ονοματεπώνυμο: Ερώτημα: Σύνολο Μονάδες: Βαθμός:
ΕΤΥ: Ανάλυση Απόδοσης Πληροφοριακών Συστημάτων Χειμερινό Εξάμηνο 2014-15 Τελική Εξέταση 28/02/15 Διάρκεια Εξέτασης: 3 Ώρες Ονοματεπώνυμο: Αριθμός Μητρώου: Υπογραφή: Ερώτημα: 1 2 3 4 5 6 Σύνολο Μονάδες:
Λύσεις 4ης Ομάδας Ασκήσεων
ΟΙΚΟΝΟΜΙΚΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΑΘΗΝΩΝ ΤΜΗΜΑ ΠΛΗΡΟΦΟΡΙΚΗΣ ΠΙΘΑΝΟΤΗΤΕΣ Γ. ΚΟΝΤΟΓΙΑΝΝΗΣ. Ζυγοβίστι Λύσεις 4ης Ομάδας Ασκήσεων Τμήμα Α Λ αʹ Το συνολικό πλήθος των τερμάτων που θα σημειωθούν είναι X + Y, και η μέση
ΠΑΝΕΠΙΣΤΗΜΙΟ ΠΕΛΟΠΟΝΝΗΣΟΥ
ΠΑΝΕΠΙΣΤΗΜΙΟ ΠΕΛΟΠΟΝΝΗΣΟΥ ΤΜΗΜΑ ΕΠΙΣΤΗΜΗΣ & ΤΕΧΝΟΛΟΓΙΑΣ ΤΗΛΕΠΙΚΟΙΝΩΝΙΩΝ TE Αρχές Ψηφιακών Συστημάτων Επικοινωνίας και Προσομοίωση Εαρινό Εξάμηνο Διάλεξη 3 η Νικόλαος Χ. Σαγιάς Επίκουρος Καθηγητής Webpage:
ΤΥΧΑΙΑ ΙΑΝΥΣΜΑΤΑ. Στατιστική Συµπερασµατολογία Ι, Κ. Πετρόπουλος. Τµήµα Μαθηµατικών, Πανεπιστήµιο Πατρών
Τµήµα Μαθηµατικών, Πανεπιστήµιο Πατρών Είδη τυχαίων διανυσµάτων 1. ιακριτού τύπου X = (X 1, X 2,...,X k ) ονοµάζεται διακριτό τυχαίο διάνυσµα αν το πεδίο τιµών του είναι της µορφής, S = {x 1 x 2 n,,...,x,...}.
Πιθανότητες & Τυχαία Σήματα. Διγαλάκης Βασίλης
Πιθανότητες & Τυχαία Σήματα Διγαλάκης Βασίλης Τυχαία Σήματα Γενίκευση τυχαίων διανυσμάτων Άπειρο σύνολο πιθανά αριθμήσιμο από τυχαίες μεταβλητές Παραδείγματα τυχαίων σημάτων: Τηλεπικοινωνίες: Σήμα πληροφορίας
Ανασκόπηση-Μάθημα 14 Όρια και Συνέχεια συναρτήσεων στο R 2
Τμήμα Μηχανικών Οικονομίας και Διοίκησης Απειροστικός Λογισμός ΙΙ Γ. Καραγιώργος ykarag@aegean.gr Ανασκόπηση-Μάθημα 14 Όρια και Συνέχεια συναρτήσεων στο R 2 Στο δέκατο τέταρτο μάθημα (30/10/2018), ασχοληθήκαμε
X i = Y = X 1 + X X N.
Κεφάλαιο 6 Διακριτές τυχαίες μεταβλητές Σε σύνθετα προβλήματα των πιθανοτήτων, όπως π.χ. σε προβλήματα ανάλυσης πολύπλοκων δικτύων ή στη στατιστική ανάλυση μεγάλων δεδομένων, η λεπτομερής, στοιχείο-προς-στοιχείο
x P (x) c P (x) = c P (x), x S : x c
Κεφάλαιο 9 Ανισότητες, από κοινού κατανομή, Νόμος των Μεγάλων Αριθμών 9.1 Ανισότητες Markov και Chebychev Ξεκινάμε αυτό το κεφάλαιο με δύο σημαντικά αποτελέσματα τα οποία, πέραν της μεγάλης χρησιμότητάς
ΑΣΚΗΣΕΙΣ: ΟΡΙΑ ΚΑΙ ΣΥΝΕΧΕΙΑ ΣΥΝΑΡΤΗΣΕΩΝ
ΑΣΚΗΣΕΙΣ: ΟΡΙΑ ΚΑΙ ΣΥΝΕΧΕΙΑ ΣΥΝΑΡΤΗΣΕΩΝ Όρια συναρτήσεων. Άσκηση. Ποιό είναι το σύνολο στο οποίο έχει νόημα και ποιό το σύνολο στο οποίο ισχύει καθεμιά από τις ανισότητες: x+2 > 00, > 000, < < ; x 2 x
Δυαδικά Αντίποδα Σήματα. Προχωρημένα Θέματα Τηλεπικοινωνιών. Πιθανότητα Σφάλματος σε AWGN Κανάλι. r s n E n. P r s P r s.
Προχωρημένα Θέματα Τηλεπικοινωνιών Πιθανότητα Σφάλματος σε AWGN Κανάλι Δυαδικά Αντίποδα Σήματα Δυαδικά Αντίποδα Σήματα Βασικής Ζώνης) : s (t)=-s (t) Παράδειγμα: Δυαδικό PA s (t)=g T (t) (παλμός με ενέργεια
ΠΑΝΕΠΙΣΤΗΜΙΟ ΠΕΛΟΠΟΝΝΗΣΟΥ
ΠΑΝΕΠΙΣΤΗΜΙΟ ΠΕΛΟΠΟΝΝΗΣΟΥ ΤΜΗΜΑ ΕΠΙΣΤΗΜΗΣ & ΤΕΧΝΟΛΟΓΙΑΣ ΤΗΛΕΠΙΚΟΙΝΩΝΙΩΝ ΜΔΕ Προηγμένα Τηλεπικοινωνιακά Συστήματα και Δίκτυα Διάλεξη 5 η Νικόλαος Χ. Σαγιάς Επίκουρος Καθηγητής Wepage: http://eclass.uop.gr/courses/tst233
2πσ 2 e (x µ)2 /2σ 2 dx = 1. (13.1) e x2 dx. e y2 dy, I = 2. e (y2 +z 2) dy dz.
Κεφάλαιο 3 Κ.Ο.Θ.: Λίγη θεωρία και αποδείξεις Σε αυτό το κεφάλαιο θα δούμε τέσσερις αποδείξεις αποτελεσμάτων που σχετίζονται με την κανονική κατανομή και το Κ.Ο.Θ., οι οποίες είναι αρκετά πιο απαιτητικές,
Παλμοκωδική Διαμόρφωση. Pulse Code Modulation (PCM)
Παλμοκωδική Διαμόρφωση Pulse Code Modulation (PCM) Pulse-code modulation (PCM) Η PCM είναι ένας στοιχειώδης τρόπος διαμόρφωσης που δεν χρησιμοποιεί φέρον! Το μεταδιδόμενο (διαμορφωμένο) σήμα PCM είναι
Ψηφιακή Επεξεργασία Εικόνας
ΕΛΛΗΝΙΚΗ ΔΗΜΟΚΡΑΤΙΑ Ανώτατο Εκπαιδευτικό Ίδρυμα Πειραιά Τεχνολογικού Τομέα Ψηφιακή Επεξεργασία Εικόνας Ενότητα 8 : Πρότυπο συμπίεσης JPEG2000 Ιωάννης Έλληνας Τμήμα Η/ΥΣ Άδειες Χρήσης Το παρόν εκπαιδευτικό