Εισαγωγή στη θεωρία πληροφορίας
|
|
- Βαρθολομαίος Βασιλείου
- 7 χρόνια πριν
- Προβολές:
Transcript
1 Θεωρία πληροφορίας
2 Εισαγωγή στη θεωρία πληροφορίας
3 Τηλεπικοινωνιακά συστήματα Όλα τα τηλεπικοινωνιακά συστήματα σχεδιάζονται για να μεταφέρουν πληροφορία Σε κάθε τηλεπικοινωνιακό σύστημα υπάρχει μια πηγή που παράγει πληροφορία Σκοπός του τηλεπικοινωνιακού συστήματος είναι να μεταφέρει την πληροφορία στον παραλήπτη Π.χ. στην τηλεοπτική εκπομπή Η πηγή πληροφορίας είναι η βιντεοκάμερα Η έξοδος της είναι η εικόνα Σε επικοινωνία υπολογιστών Η πηγή πληροφορίας είναι κάποια εφαρμογή π.χ. ΗέξοδοςείναιχαρακτήρεςASCII
4 Πληροφορία κοινή αντίληψη Κατά την κοινή αντίληψη πληροφορία = νέα γνώση Αποκτάται μέσω ακοής, όρασης, κλπ Η πηγή πληροφορίας παράγει εξόδους που δεν είναι γνωστές στον δέκτη εκ των προτέρων Εάν μπορούσαμε να τις προβλέψουμε δεν θα υπήρχε λόγος μετάδοσης Τι είναι πληροφορία; Η ποιοτική περιγραφή (γνώση για κάποιο θέμα) δεν είναι αρκετή Απαιτείται ποσοτική περιγραφή
5 Πληροφορία διαισθητική προσέγγιση Υποθέστε ότι στις σημερινές εφημερίδες έχουμε τα ακόλουθα πρωτοσέλιδα Αύριο ο ήλιος θα ανατείλει Καίγεται η Ελλάδα Καίγεται η Ελβετία Εισβολή της Κούβας στις ΗΠΑ Πληροφορία Έκπληξη 1/Πιθανότητα Πρωτοσέλιδο Έκπληξη Πιθανότητα Πληροφορία 1 Καμία Πάντα Όχι 2 Μικρή Μεγάλη Αρκετή 3 Μεγάλη Μικρή Μεγάλη 4 Τεράστια Ελάχιστη Τεράστια
6 Πληροφορία προσέγγιση μηχανικού Η πληροφορία σε ένα μήνυμα είναι ο χρόνος που απαιτείται για τη μετάδοσή του Μηνύματα με μεγαλύτερη πιθανότητα εμφάνισης μπορούν να μεταδοθούν σε συντομότερο χρόνο από ότι πιο σπάνια μηνύματα Κώδικας Morse Μικρότερες κωδικές λέξεις για χαρακτήρες που εμφανίζονται πιο συχνά (α, ε, ο) Μεγαλύτερες κωδικές λέξεις για χαρακτήρες που εμφανίζονται πιο σπάνια (ξ, ψ, ζ) Ο χρόνος μετάδοσης ενός χαρακτήρα με πιθανότητα εμφάνισης p είναι ανάλογος του log(1/p)
7 Μοντέλα πηγών πληροφορίας Οι πηγές πληροφορίας μπορούν να μοντελοποιηθούν με τυχαίες διαδικασίες Η έξοδος μιας πηγής είναι χρονικά μεταβαλλόμενη συνάρτηση (χωρίς δυνατότητα πρόβλεψης) Οι ιδιότητες εξαρτώνται από τη φύση της πηγής Κοινός τόπος είναι ότι όλες οι πηγές έχουν πεπερασμένο εύρος ζώνης, άρα μπορούν να δειγματοληπτηθούν με τον ρυθμό Nyquist Περιοριζόμαστε σε διακριτές ως προς το χρόνο διαδικασίες { } i i X = Το αλφάβητο των X i μπορεί να είναι διακριτό (π.χ. χαρακτήρες) ή συνεχές (π.χ. δείγματα φωνής)
8 Διακριτή πηγή χωρίς μνήμη (Discrete Memoryless Source) Τοπιοαπλόμοντέλοπηγής Η DMS είναι στοχαστική ανέλιξη διακριτού χρόνου και διακριτού πλάτους Τα x i δημιουργούνται ανεξάρτητα, το καθένα με τη δική του πιθανότητα p i Εάν χρησιμοποιείται κβάντιση, τα συνεχή σήματα μπορούν να θεωρηθούν και αυτά ως διακριτά Πιο πολύπλοκα μοντέλα έχουν μνήμη, δηλ. η δημιουργία κάποιου συμβόλου εξαρτάται από τα προηγούμενα. x -2, x -1, x 0, x 1, x 2,.. p -2, p -1, p 0, p 1, p 2,.
9 Μέτρο πληροφορίας Ορίζεται με τέτοιο τρόπο ώστε να ικανοποιούνται οι διαισθητικές ιδιότητες Για κάθε έξοδο της πηγής υπάρχει μια συνδεδεμένη πιθανότητα εμφάνισής της Ποια έξοδος μεταφέρει περισσότερη πληροφορία; Το μέτρο πληροφορίας πρέπει να είναι φθίνουσα συνάρτηση της πιθανότητας Όσο πιο απίθανο το γεγονός, τόσο πιο μεγάλη πληροφορία μεταφέρει
10 Μέτρο πληροφορίας Το μέτρο πληροφορίας πρέπει να είναι συνεχής συνάρτηση Μικρές αλλαγές της πιθανότητας εμφάνισης της εξόδου δεν πρέπει να μεταβάλλουν πολύ την ποσότητα της πληροφορίας Αθροιστική ιδιότητα Η συνολική ποσότητα πληροφορίας δύο ανεξάρτητων γεγονότων είναι το άθροισμα των επί μέρους μέτρων πληροφορίας των γεγονότων
11 Ιδία-πληροφορία Το περιεχόμενο πληροφορίας εξαρτάται μόνο από την πιθανότητα p j εμφάνισης και όχι από το μέγεθος του συμβόλου x j Self-information I(p j ) Ηιδία-πληροφορία I(p j ) είναι συνεχής συνάρτηση της p j Ηιδία-πληροφορία I( ) είναι φθίνουσα συνάρτηση του ορίσματος Εάν p= p 1 p 2, τότε I(p) = I(p 1 ) + I(p 2 )
12 Μέτρο πληροφορίας Η μόνη συνάρτηση που ικανοποιεί τις προηγούμενες ιδιότητες είναι I(x) = -log(p(x)) Η βάση του λογαρίθμου δεν είναι σημαντική, αλλά ορίζει τη μονάδα μέτρησης της πληροφορίας Εάν η βάση είναι 2, τότε η πληροφορία μετριέται σε bit Εάν χρησιμοποιηθούν φυσικοί λογάριθμοι, τότε η πληροφορία μετριέται σε nap Στησυνέχειαόλοιοιλογάριθμοιθαείναιμεβάσητο2
13 Σημαντικές ιδιότητες Προφανώς ισχύει I( x ) = 0 εάν p( x ) = 1 i I( x ) 0 i I( x ) > I( x ) εάν p( x ) < p( x ) i j i j I( x x ) = I( x ) + I( x )εάν x, x ανεξάρτητα i j i j i j Τι συμβαίνει όταν p i =0; i
14 Εντροπία
15 Μέση πληροφορία Τηλεπικοινωνιακό σύστημα Μεταδίδονται μακριές σειρές συμβόλων Η ποσότητα πληροφορίας πηγής είναι η μέση τιμή της ιδίας-πληροφορίας όλων των εξόδων της N pi( x) = plog( p) i i i i i= 1 i= 1 N
16 Εντροπία Εντροπία H(X) είναι η μέση τιμή πληροφορίας της πηγής ανά σύμβολο N N 1 H( X) = E{ [ I( X)] } = pilog( pi) = pilog( ) i= 1 i= 1 pi Η εντροπία αποτελεί ένα μέτρο της αβεβαιότητας για την x (κατά μέσο όρο) Όσο πιο πολλά είναι γνωστά για την x, τόσο μικρότερη είναι η εντροπία
17 Εντροπία ομοιόμορφης κατανομής Εάν οι έξοδοι της πηγής είναι ισοπίθανες, τότε xi, = 1,2,, N p= 1/ n i N 1 H( X) = log( N) = log( N) N i= 1 i
18 Απλά όρια Για μια τυχαία μεταβλητή με Ν πιθανές τιμές 0 HX ( ) log( N) Πότε επιτυγχάνονται τα όρια; H(X) = 0 εάν και μόνο εάν p(x i )=1για κάποιο i H(X) = log(ν) εάν και μόνο εάν p(x i )= 1/Ν για όλα τα i
19 Δυαδική πηγή χωρίς μνήμη Εμφανίζονται δύο πιθανές έξοδοι με πιθανότητες p και 1-p, αντίστοιχα Ηεντροπίαείναι HX ( ) = plog( p) (1 p)log(1 p) = H ( b p ) Μεγιστοποιείται όταν p=1/2, δηλαδή, H b (1/2)=1 Όπως αναμένεται το αποτέλεσμα μπορεί να μεταφερθεί με 1 bit
20 Συνάρτηση δυαδικής εντροπίας
21 Από κοινού εντροπία Η από κοινού εντροπία δύο τυχαίων μεταβλητών X, Y είναι HXY (, ) = pxy (, )log pxy (, ) xy, Στηγενικήπερίπτωσηn τυχαίων μεταβλητών H( X) = p( x1, x2,..., xn)log p( x1, x2,..., xn) x, x,..., x 1 2 n
22 Υπό συνθήκη εντροπία Εάν η τιμή της τυχαίας μεταβλητής Y=y είναι γνωστή, η συνάρτηση μάζας πιθανότητας της X θα είναι p(x y) καιηαντίστοιχηεντροπίαείναι H( X Y = y) = px ( y)log px ( y) xy, Η ποσότητα αυτή αντιστοιχεί στην αβεβαιότητα της Χ όταν γνωρίζουμε ότι Υ=y
23 Υπό συνθήκη εντροπία Η υπό συνθήκη εντροπία είναι μέτρο για την αβεβαιότητα της Χ δοθείσης της Υ H( X Y) = p( x y) p( y)log p( x y) = xy, xy, pxy (, )log px ( y) δηλαδή, είναιημέσητιμήγιαόλαταy για της αβεβαιότητας για τη X όταν η Υ είναι γνωστή Επειδή η Y μπορεί να παρέχει κάποια πληροφορία για την X, ισχύει H ( X Y) H( X)
24 Υπό συνθήκη εντροπία Στη γενική περίπτωση έχουμε H( X X, X,..., X ) n 1 2 n 1 x, x,..., x 1 2 n = px (, x,..., x)log px ( x, x,..., x ) 1 2 n n 1 2 n 1
25 Ρυθμός εντροπίας Εάν X n είναι η έξοδος μιας διακριτής (όχι απαραίτητα χωρίς μνήμη) πηγής HX ( n X1, X2,..., Xn 1) είναι η καινούργια πληροφορία για τη X n όταν κάποιος έχει παρακολουθήσει την ακολουθία X 1, X 2,, X n-1 Το όριο H στο άπειρο είναι ο ρυθμός εντροπίας
26 Ρυθμός εντροπίας Η στατικότητα εξασφαλίζει την ύπαρξη του ορίου H= lim H( Xn X1, X2,..., Xn 1) n και ισχύει εναλλακτικά 1 H = lim HX (, X,..., X) n n 1 2 ακόμη και για πηγές με μνήμη n
27 Χρήσιμες ιδιότητες Αλυσίδα HX (, X,..., X) = HX ( ) n 1 HX ( X) HX ( X, X,..., X ) n 1 2 n 1 Για δύο τυχαίες μεταβλητές H( X, Y) = HY ( ) + H( X Y) = H( X) + H( Y X)
28 Χρήσιμες ιδιότητες Εάν οι τυχαίες μεταβλητές είναι ανεξάρτητες H( X) H( X ) i= 1 και εάν έχουν την ίδια κατανομή H( X) = nh( X ) n = 1 i Ισχύει η ανισότητα (ισότητα όταν οι τυχαίες μεταβλητές είναι ανεξάρτητες) H( X) H( Xi ) n i= 1
29 Αμοιβαία πληροφορία
30 Μοντέλο τηλεπικοινωνιακού διαύλου Μοντέλο διακριτού διαύλου πιθανότητες μετάβασης είσοδος έξοδος
31 Παραδείγματα διαύλων Ιδανικός δίαυλος χωρίς θόρυβο Δυαδικός συμμετρικός δίαυλος
32 Αμοιβαία πληροφορία Η αμοιβαία πληροφορία Ι(Χ;Υ ) μεταξύ δύο τυχαίωνμεταβλητώνείναι IXY ( ; ) = HX ( ) HXY ( ) Μπορούμε να θεωρήσουμε την X ως την είσοδο και την Y ως την έξοδο του διαύλου H(X ) είναι η αβεβαιότητα για την X H(X Y ) είναι η αβεβαιότητα για την Χ δοθέντος ότι γνωρίζουμε την Υ H(X ) -H(X Y ) είναι η αβεβαιότητα για την Χ που εξαλείφεται με την εμφάνιση της Υ
33 Εντροπία, υπό συνθήκη εντροπία και αμοιβαία πληροφορία
34 Ιδιότητες Ισχύει ότι IXY ( ; ) = HX ( ) HXY ( ) = H( X) H( X, Y) H( Y) ( ) = HX ( ) + HY ( ) HXY (, ) I( XY ; ) = IY ( ; X) H( Y) H( Y X) άρα I( X; Y) 0επειδή με την ισότητα να ισχύει εάν οι τυχαίες μεταβλητές είναι ανεξάρτητες I( X; Y) min{ H( X), H( Y)}
35 Διαφορική εντροπία Για τυχαία μεταβλητή Χ με συνεχείς τιμές, η εντροπία είναι άπειρη Στην περίπτωση αυτή ορίζεται η διαφορική εντροπία h( X) = fx( x)log fx( x) dx Η διαφορική εντροπία δεν έχει τη διαισθητική ερμηνεία της διακριτής εντροπίας, όμως είναι χρήσιμη για τη σύγκριση της πληροφορίας συνεχών πηγών
36 Απόλυτη εντροπία Η απόλυτη εντροπία είναι όπου H ( ) log0 0 X = = ( ) H ( X) = lim f ( x ) Δxlog f ( x ) Δx abs X i X i Δ x 0 i = lim f X( xi)log f X( xi) f X( xi)log x x Δ x 0 + Δ Δ i = f ( x)log f ( xdx ) + H( X) = hx ( ) + H( X) X X 0 0
37 Αμοιβαία πληροφορία συνεχών τυχαίων μεταβλητών Για δύο τυχαίες μεταβλητές hxy (, ) = f( xy, )log f( xydxdy, ) hxy ( ) = hxy (, ) hy ( ) IXY ( ; ) = hy ( ) hxy ( ) = hx ( ) hy ( X) όπου η αμοιβαία πληροφορία των συνεχών τυχαίων μεταβλητών έχει τη γνωστή ερμηνεία της πληροφορίας που η μία παρέχει για την άλλη
38 Διαφορική εντροπία Γκαουσιανής τυχαίας μεταβλητής Η συνάρτηση πυκνότητας πιθανότητας είναι 2 1 x f() x = exp 2 2 2πσ 2σ άρα 2 1 x h( X) = f( x)log dx f( x)logexp dx 2 2 2πσ 2σ log log e ( ) 2 2 2πσ 2σ = + x f x dx = log(2 πσ ) + σ log e= log(2 πeσ ) 2 2 2σ 2
Χρήστος Ξενάκης. Πανεπιστήμιο Πειραιώς, Τμήμα Ψηφιακών Συστημάτων
ΘΕΩΡΙΑ ΠΛΗΡΟΦΟΡΙΑΣ Κεφάλαιο 2 : Πληροφορία και Εντροπία Χρήστος Ξενάκης Πανεπιστήμιο Πειραιώς, Τμήμα Ψηφιακών Συστημάτων Περιεχόμενα Πληροφορία Μέτρο πληροφορίας Μέση πληροφορία ή Εντροπία Από κοινού εντροπία
Διαβάστε περισσότεραΘΕΩΡΙΑ ΠΛΗΡΟΦΟΡΙΑΣ. Κεφάλαιο 2 : Πληροφορία και Εντροπία Διάλεξη: Κώστας Μαλιάτσος Χρήστος Ξενάκης, Κώστας Μαλιάτσος
ΘΕΩΡΙΑ ΠΛΗΡΟΦΟΡΙΑΣ Κεφάλαιο 2 : Πληροφορία και Εντροπία Διάλεξη: Κώστας Μαλιάτσος Χρήστος Ξενάκης, Κώστας Μαλιάτσος Πανεπιστήμιο Πειραιώς, Τμήμα Ψηφιακών Συστημάτων Περιεχόμενα Πιθανότητες Πληροφορία Μέτρο
Διαβάστε περισσότεραΨηφιακές Τηλεπικοινωνίες
Ψηφιακές Τηλεπικοινωνίες Θεωρία Πληροφορίας: Χωρητικότητα Καναλιού Χωρητικότητα Καναλιού Η θεωρία πληροφορίας περιλαμβάνει μεταξύ άλλων: κωδικοποίηση πηγής κωδικοποίηση καναλιού Κωδικοποίηση πηγής: πόση
Διαβάστε περισσότεραΨηφιακές Τηλεπικοινωνίες
Ψηφιακές Τηλεπικοινωνίες Θεωρία Πληροφορίας: Κωδικοποίηση Πηγής Ψηφιακή Μετάδοση Υπάρχουν ιδιαίτερα εξελιγμένες τεχνικές αναλογικής μετάδοσης (που ακόμη χρησιμοποιούνται σε ορισμένες εφαρμογές) Επίσης,
Διαβάστε περισσότεραΘεώρημα κωδικοποίησης πηγής
Κωδικοποίηση Kωδικοποίηση πηγής Θεώρημα κωδικοποίησης πηγής Καθορίζει ένα θεμελιώδες όριο στον ρυθμό με τον οποίο η έξοδος μιας πηγής πληροφορίας μπορεί να συμπιεσθεί χωρίς να προκληθεί μεγάλη πιθανότητα
Διαβάστε περισσότεραΘεωρία της Πληροφορίας 3 ο Εξάμηνο
Σμήμα Πληροφορικής & Επικοινωνιών Θεωρία της Πληροφορίας 3 ο Εξάμηνο Τομέας Τηλεπικοινωνιών και Δικτύων Δρ. Αναστάσιος Πολίτης Καθηγητής Εφαρμογών 1 Διεξαγωγή και Εξέταση του Μαθήματος Μάθημα Πώς? 13 Διαλέξεις.
Διαβάστε περισσότεραΧρήστος Ξενάκης. Πανεπιστήμιο Πειραιώς, Τμήμα Ψηφιακών Συστημάτων
ΘΕΩΡΙΑ ΠΛΗΡΟΦΟΡΙΑΣ Κεφάλαιο 9 : Κανάλι-Σύστημα Χρήστος Ξενάκης Πανεπιστήμιο Πειραιώς, Τμήμα Ψηφιακών Συστημάτων Περιεχόμενα Ομιλίας Χωρητικότητα Χ ό καναλιού Το Gaussian κανάλι επικοινωνίας Τα διακριτά
Διαβάστε περισσότεραΘΕΩΡΙΑ ΠΛΗΡΟΦΟΡΙΑΣ. Κεφάλαιο 3 : Πηγές Πληροφορίας Χρήστος Ξενάκης. Πανεπιστήμιο Πειραιώς, Τμήμα Ψηφιακών Συστημάτων
ΘΕΩΡΙΑ ΠΛΗΡΟΦΟΡΙΑΣ Κεφάλαιο 3 : Πηγές Πληροφορίας Χρήστος Ξενάκης Πανεπιστήμιο Πειραιώς, Τμήμα Ψηφιακών Συστημάτων Περιεχόμενα Διακριτές Πηγές Πληροφορίας χωρίς μνήμη Ποσότητα πληροφορίας της πηγής Κωδικοποίηση
Διαβάστε περισσότεραΨηφιακές Τηλεπικοινωνίες. Θεωρία Ρυθμού Παραμόρφωσης
Ψηφιακές Τηλεπικοινωνίες Θεωρία Ρυθμού Παραμόρφωσης Θεωρία Ρυθμού-Παραμόρφωσης Θεώρημα Κωδικοποίησης Πηγής: αν έχω αρκετά μεγάλο μπλοκ δεδομένων, μπορώ να φτάσω κοντά στην εντροπία Πιθανά Προβλήματα: >
Διαβάστε περισσότεραΘεωρία πληροφοριών. Τεχνολογία Πολυµέσων 07-1
Θεωρία πληροφοριών Εισαγωγή Αµοιβαία πληροφορία Εσωτερική πληροφορία Υπό συνθήκη πληροφορία Παραδείγµατα πληροφορίας Μέση πληροφορία και εντροπία Παραδείγµατα εντροπίας Εφαρµογές Τεχνολογία Πολυµέσων 07-
Διαβάστε περισσότεραΤηλεπικοινωνιακά Συστήματα ΙΙ
Τηλεπικοινωνιακά Συστήματα ΙΙ Διάλεξη 11: Κωδικοποίηση Πηγής Δρ. Μιχάλης Παρασκευάς Επίκουρος Καθηγητής 1 Ατζέντα 1. Αλγόριθμοι κωδικοποίησης πηγής Αλγόριθμος Fano Αλγόριθμος Shannon Αλγόριθμος Huffman
Διαβάστε περισσότεραΣεραφείµ Καραµπογιάς. Πηγές Πληροφορίας και Κωδικοποίηση Πηγής 6.3-1
Ο αλγόριθµος Lempel-iv Ο αλγόριθµος Lempel-iv ανήκει στην κατηγορία των καθολικών universal αλγορίθµων κωδικοποίησης πηγής δηλαδή αλγορίθµων που είναι ανεξάρτητοι από τη στατιστική της πηγής. Ο αλγόριθµος
Διαβάστε περισσότεραΘέματα Συστημάτων Πολυμέσων
Θέματα Συστημάτων Πολυμέσων Ενότητα # 6: Στοιχεία Θεωρίας Πληροφορίας Διδάσκων: Γεώργιος K. Πολύζος Τμήμα: Μεταπτυχιακό Πρόγραμμα Σπουδών Επιστήμη των Υπολογιστών Άδειες Χρήσης Το παρόν εκπαιδευτικό υλικό
Διαβάστε περισσότεραΧρήστος Ξενάκης. Πανεπιστήμιο Πειραιώς, Τμήμα Ψηφιακών Συστημάτων
ΘΕΩΡΙΑ ΠΛΗΡΟΦΟΡΙΑΣ Κεφάλαιο 3 : Πηγές Πληροφορίας Χρήστος Ξενάκης Πανεπιστήμιο Πειραιώς, Τμήμα Ψηφιακών Συστημάτων Περιεχόμενα Διακριτές Πηγές Πληροφορίας χωρίς μνήμη Ποσότητα πληροφορίας της πηγής Κωδικοποίηση
Διαβάστε περισσότεραΤεχνολογία Πολυμέσων. Ενότητα # 7: Θεωρία πληροφορίας Διδάσκων: Γεώργιος Ξυλωμένος Τμήμα: Πληροφορικής
Τεχνολογία Πολυμέσων Ενότητα # 7: Θεωρία πληροφορίας Διδάσκων: Γεώργιος Ξυλωμένος Τμήμα: Πληροφορικής Χρηματοδότηση Το παρόν εκπαιδευτικό υλικό έχει αναπτυχθεί στα πλαίσια του εκπαιδευτικού έργου του διδάσκοντα.
Διαβάστε περισσότεραEE728 (22Α004) - Προχωρημένα Θέματα Θεωρίας Πληροφορίας 3η σειρά ασκήσεων Διακριτά και Συνεχή Κανάλια. Παράδοση: Έως 22/6/2015
EE728 (22Α004) - Προχωρημένα Θέματα Θεωρίας Πληροφορίας Φυλλάδιο 13 Δ. Τουμπακάρης 30 Μαΐου 2015 EE728 (22Α004) - Προχωρημένα Θέματα Θεωρίας Πληροφορίας 3η σειρά ασκήσεων Διακριτά και Συνεχή Κανάλια Παράδοση:
Διαβάστε περισσότερα1 Βασικές Έννοιες Θεωρίας Πληροφορίας
1 Βασικές Έννοιες Θεωρίας Πληροφορίας Εντροπία τυχαίων μεταβλητών X, Y : H(X) = E [log Pr(x)] (1) H(X, Y ) = E [log Pr(x, y)] (2) H(X Y ) = E [log Pr(x y)] (3) Ιδιότητες Εντροπίας: Νόμος Bayes: Pr(y x)
Διαβάστε περισσότεραΣΤΟΧΑΣΤΙΚΑ ΣΥΣΤΗΜΑΤΑ & ΕΠΙΚΟΙΝΩΝΙΕΣ 1o Τμήμα (Α - Κ): Αμφιθέατρο 3, Νέα Κτίρια ΣΗΜΜΥ Θεωρία Πιθανοτήτων & Στοχαστικές Ανελίξεις - 1
ΣΤΟΧΑΣΤΙΚΑ ΣΥΣΤΗΜΑΤΑ & ΕΠΙΚΟΙΝΩΝΙΕΣ 1o Τμήμα (Α - Κ): Αμφιθέατρο 3, Νέα Κτίρια ΣΗΜΜΥ Θεωρία Πιθανοτήτων & Στοχαστικές Ανελίξεις - 1 5.1: Εισαγωγή 5.2: Πιθανότητες 5.3: Τυχαίες Μεταβλητές καθ. Βασίλης Μάγκλαρης
Διαβάστε περισσότεραΔίαυλος Πληροφορίας. Η λειτουργία του περιγράφεται από:
Δίαυλος Πληροφορίας Η λειτουργία του περιγράφεται από: Πίνακας Διαύλου (μαθηματική περιγραφή) Διάγραμμα Διαύλου (παραστατικός τρόπος περιγραφής της λειτουργίας) Πίνακας Διαύλου Χρησιμοποιούμε τις υπό συνθήκη
Διαβάστε περισσότεραΚεφάλαιο 2 Πληροφορία και εντροπία
Κεφάλαιο 2 Πληροφορία και εντροπία Άσκηση. Έστω αλφάβητο Α={0,} και δύο πηγές p και q. Έστω οτι p(0)=-r, p()=r, q(0)=-s και q()=s. Να υπολογιστούν οι σχετικές εντροπίες Η(Α,p/q) και Η(Α,q/p). Να γίνει
Διαβάστε περισσότεραΣυμπίεση Δεδομένων
Συμπίεση Δεδομένων 2014-2015 Κβάντιση Δρ. Ν. Π. Σγούρος 2 Αναλογικά Ψηφιακά Σήματα Αναλογικό Σήμα x t, t [t min, t max ], x [x min, x max ] Δειγματοληψία t n, x t x n, n = 1,, N Κβάντιση x n x(n) 3 Αλφάβητο
Διαβάστε περισσότεραΚΕΦΑΛΑΙΟ ΠΕΜΠΤΟ ΘΕΩΡΙΑ ΠΛΗΡΟΦΟΡΙΑΣ
ΚΕΦΑΛΑΙΟ ΠΕΜΠΤΟ ΘΕΩΡΙΑ ΠΛΗΡΟΦΟΡΙΑΣ 5. Εισαγωγή Ο σκοπός κάθε συστήματος τηλεπικοινωνιών είναι η μεταφορά πληροφορίας από ένα σημείο (πηγή) σ ένα άλλο (δέκτης). Συνεπώς, κάθε μελέτη ενός τέτοιου συστήματος
Διαβάστε περισσότεραΘεωρία Πιθανοτήτων & Στατιστική
ΑΡΙΣΤΟΤΕΛΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΟΝΙΚΗΣ ΑΝΟΙΚΤΑ ΑΚΑΔΗΜΑΙΚΑ ΜΑΘΗΜΑΤΑ & Στατιστική Ενότητα 4 η : Χαρακτηριστικά Τυχαίων Μεταβλητών. Γεώργιος Ζιούτας Τμήμα Ηλεκτρολόγων Μηχανικών & Μηχανικών Υπολογιστών Α.Π.Θ.
Διαβάστε περισσότεραΑθανάσιος Χρ. Τζέμος Τομέας Θεωρητικής Φυσικής. Εντροπία Shannon
Αθανάσιος Χρ. Τζέμος Τομέας Θεωρητικής Φυσικής Εντροπία Shannon Ένα από τα βασικά ερωτήματα της θεωρίας της πληροφορίας ήταν ανέκαθεν το πώς θα μπορούσε να ποσοτικοποιηθεί η πληροφορία, ώστε να μπορούμε
Διαβάστε περισσότεραΕΕ728 Προχωρηµένα Θέµατα Θεωρίας Πληροφορίας 2η διάλεξη (3η έκδοση, 11/3)
ΕΕ728 Προχωρηµένα Θέµατα Θεωρίας Πληροφορίας 2η διάλεξη (3η έκδοση, 11/3) ηµήτρης-αλέξανδρος Τουµπακάρης Τµήµα ΗΜ&ΤΥ, Πανεπιστήµιο Πατρών 19 Φεβρουαρίου 2013 ηµήτρης-αλέξανδρος Τουµπακάρης Προχωρηµένα
Διαβάστε περισσότεραιαφορική εντροπία Σεραφείµ Καραµπογιάς
ιαφορική εντροπία Σεραφείµ Καραµπογιάς Για πηγές διακριτού χρόνου µε συνεχές αλφάβητο, των οποίων οι έξοδοι είναι πραγµατικοί αριθµοί, ορίζεται µια άλλη ποσότητα που µοιάζει µε την εντροπία και καλείται
Διαβάστε περισσότεραΘέματα Συστημάτων Πολυμέσων
Θέματα Συστημάτων Πολυμέσων Ενότητα # 5: Βασική Θεωρία Πληροφορίας Διδάσκων: Γεώργιος Πολύζος Τμήμα: Μεταπτυχιακό Πρόγραμμα Σπουδών Επιστήμη των Υπολογιστών Άδειες χρήσης Το παρόν εκπαιδευτικό υλικό υπόκειται
Διαβάστε περισσότεραΘεωρία Πιθανοτήτων & Στατιστική
ΑΡΙΣΤΟΤΕΛΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΟΝΙΚΗΣ ΑΝΟΙΚΤΑ ΑΚΑΔΗΜΑΙΚΑ ΜΑΘΗΜΑΤΑ & Στατιστική Ενότητα η : Τυχαίες Μεταβλητές, Συναρτήσεις Κατανομής Πιθανότητας. Γεώργιος Ζιούτας Τμήμα Ηλεκτρολόγων Μηχανικών & Μηχανικών
Διαβάστε περισσότερα( ) log 2 = E. Σεραφείµ Καραµπογιάς
Παρατηρούµε ότι ο ορισµός της Η βασίζεται στη χρονική µέση τιµή. Για να ισχύει ο ορισµός αυτός και για µέση τιµή συνόλου πρέπει η πηγή να είναι εργοδική, δηλαδή H ( X) ( ) = E log 2 p k Η εντροπία µιας
Διαβάστε περισσότεραΔίαυλος Πληροφορίας. Δρ. Α. Πολίτης
Δίαυλος Πληροφορίας Η λειτουργία του διαύλου πληροφορίας περιγράφεται από: Τον πίνακα διαύλου μαθηματική περιγραφή. Το διάγραμμα διάυλου παραστατικός τρόπος περιγραφής. Πίνακας Διαύλου Κατασκευάζεται με
Διαβάστε περισσότεραΘεωρία Πληροφορίας. Διάλεξη 5: Διακριτή πηγή πληροφορίας με μνήμη. Δρ. Μιχάλης Παρασκευάς Επίκουρος Καθηγητής
Θεωρία Πληροφορίας Διάλεξη 5: Διακριτή πηγή πληροφορίας με μνήμη Δρ. Μιχάλης Παρασκευάς Επίκουρος Καθηγητής 1 Ατζέντα 1. Διακριτές πηγές πληροφορίας με μνήμη Μαρκοβιανές αλυσίδες Τάξη μακροβιανών αλυσίδων
Διαβάστε περισσότεραΘεωρία της Πληροφορίας 3 ο Εξάμηνο
Τμήμα Πληροφορικής & Επικοινωνιών Θεωρία της Πληροφορίας 3 ο Εξάμηνο Τομέας Τηλεπικοινωνιών και Δικτύων Δρ. Αναστάσιος Πολίτης Καθηγητής Εφαρμογών 1 Διεξαγωγή και Εξέταση του Μαθήματος Μάθημα Κάθε πότε?
Διαβάστε περισσότεραΧρήστος Ξενάκης. Πανεπιστήμιο Πειραιώς, Τμήμα Ψηφιακών Συστημάτων
ΘΕΩΡΙΑ ΠΛΗΡΟΦΟΡΙΑΣΟΡ Κεφάλαιο 1 : Εισαγωγή στη Θεωρία ωία Πληροφορίας Χρήστος Ξενάκης Πανεπιστήμιο Πειραιώς, Τμήμα Ψηφιακών Συστημάτων Περιεχόμενα Ομιλίας Έννοια της πληροφορίας Άλλες βασικές έννοιες Στόχος
Διαβάστε περισσότεραΘόρυβος και λάθη στη μετάδοση PCM
Θόρυβος και λάθη στη μετάδοση PCM Πότε συμβαίνουν λάθη Για μονοπολική (on-off) σηματοδότηση το σήμα στην έξοδο είναι, όπου α k =0 όταν y( kts) ak n( kts) μεταδίδεται το bit 0 και α k =Α όταν μεταδίδεται
Διαβάστε περισσότεραII. Τυχαίες Μεταβλητές
II. Τυχαίες Μεταβλητές τυχαία μεταβλητή (τ.μ.) Χ : Αναφέρεται πάνω σε μία μετρούμενη ποσότητα του τυχαίου πειράματος Εκφράζει μία συνάρτηση (απεικόνιση) από τον δειγματικό χώρο (Ω) σε έναν αριθμητικό χώρο
Διαβάστε περισσότεραΘεωρία Πληροφορίας. Διάλεξη 4: Διακριτή πηγή πληροφορίας χωρίς μνήμη. Δρ. Μιχάλης Παρασκευάς Επίκουρος Καθηγητής
Θεωρία Πληροφορίας Διάλεξη 4: Διακριτή πηγή πληροφορίας χωρίς μνήμη Δρ. Μιχάλης Παρασκευάς Επίκουρος Καθηγητής 1 Ατζέντα Διακριτή πηγή πληροφορίας χωρίς μνήμη Ποσότητα πληροφορίας της πηγής Κωδικοποίηση
Διαβάστε περισσότεραΠΑΝΕΠΙΣΤΗΜΙΟ ΠΕΙΡΑΙΩΣ ΤΜΗΜΑ ΨΗΦΙΑΚΩΝ ΣΥΣΤΗΜΑΤΩΝ ΘΕΩΡΙΑ ΠΛΗΡΟΦΟΡΙΑΣ
ΠΑΝΕΠΙΣΤΗΜΙΟ ΠΕΙΡΑΙΩΣ ΤΜΗΜΑ ΨΗΦΙΑΚΩΝ ΣΥΣΤΗΜΑΤΩΝ ΘΕΩΡΙΑ ΠΛΗΡΟΦΟΡΙΑΣ ΠΕΙΡΑΙΑΣ 0 ΠΕΡΙΕΧΟΜΕΝΑ ΚΕΦΑΛΑΙΟ.... 9 ΕΙΣΑΓΩΓΗ... 9 ΚΕΦΑΛΑΙΟ... 5 ΠΛΗΡΟΦΟΡΙΑ ΚΑΙ ΕΝΤΡΟΠΙΑ... 5. ΒΑΣΙΚΕΣ ΕΝΝΟΙΕΣ ΑΞΙΩΜΑΤΑ ΠΙΘΑΝΟΤΗΤΩΝ...
Διαβάστε περισσότεραΣτο Κεφάλαιο 9 παρουσιάζεται μια εισαγωγή στις ψηφιακές ζωνοπερατές επικοινωνίες.
προλογοσ Σ αυτή την έκδοση του βιβλίου «Συστήματα επικοινωνίας» έχουν γίνει κάποιες βασικές αναθεωρήσεις στη διάταξη και το περιεχόμενό του, όπως συνοψίζονται παρακάτω: 1. Έχει δοθεί έμφαση στις αναλογικές
Διαβάστε περισσότεραΑναλογικές και Ψηφιακές Επικοινωνίες
Αναλογικές και Ψηφιακές Επικοινωνίες Ενότητα : Βέλτιστος δέκτης για ψηφιακά διαμορφωμένα σήματα Σεραφείμ Καραμπογιάς Σχολή Θετικών Επιστημών Τμήμα Πληροφορικής και Επικοινωνιών Η ΕΝΝΟΙΑ ΤΗΣ ΤΥΧΑΙΑΣ ΜΕΤΑΒΛΗΤΗΣ
Διαβάστε περισσότεραΕθνικό και Καποδιστριακό Πανεπιστήμιο Αθηνών Τμήμα Φυσικής Εισαγωγή στα Συστήματα Τηλεπικοινωνιών Συστήματα Παλμοκωδικής Διαμόρφωσης
Εθνικό και Καποδιστριακό Πανεπιστήμιο Αθηνών Τμήμα Φυσικής Εισαγωγή στα Συστήματα Τηλεπικοινωνιών Συστήματα Παλμοκωδικής Διαμόρφωσης Καθηγητής Ι. Τίγκελης itigelis@phys.uoa.gr ΚΒΑΝΤΙΣΗ Διαδικασία με την
Διαβάστε περισσότεραHMY 799 1: Αναγνώριση Συστημάτων
HMY 799 : Αναγνώριση Συστημάτων Διάλεξη Στοχαστικές Τυχαίες Μεταβλητές/ Στοχαστικά Σήματα Πειραματικά δεδομένα >Επιλογή τύπου μοντέλου >Επιλογή κριτηρίου >Υπολογισμός >Επικύρωση Προσαρμογή καμπύλης (Curve
Διαβάστε περισσότερα17/10/2016. Στατιστική Ι. 3 η Διάλεξη
Στατιστική Ι 3 η Διάλεξη 1 2 Τυχαία μεταβλητή X στο δειγματικό χώρο Ω Μια πραγματική συνάρτηση που αντιστοιχίζει τα στοιχεία του δειγματικού χώρου Ω στο σύνολο των πραγματικών αριθμών τέτοια ώστε για κάθε
Διαβάστε περισσότεραΠηγές Πληροφορίας και Κωδικοποίηση Πηγής
Πηγές Πληροφορίας και Κωδικοποίηση Πηγής Τηλεπικοινωνιακά συστήµατα Τα τηλεπικοινωνιακά συστήµατα είναι σχεδιασµένα για να διαβιβάζουν πληροφορία. Σε κάθε τηλεπικοινωνιακό σύστηµα υπάρχει µια πηγή που
Διαβάστε περισσότεραΔΙΠΛΩΜΑΤΙΚΗ ΕΡΓΑΣΙΑ. ` Εφαρμογές της Θεωρίας Πληροφορίας στην ασφάλεια δικτύων ` ΦΟΙΤΗΤΡΙΑ: Καμπανά Νεκταρία ΜΕ/08051
ΠΑΝΕΠΙΣΤΗΜΙΟ ΠΕΙΡΑΙΑ ΤΜΗΜΑ ΔΙΔΑΚΤΙΚΗΣ ΤΗΣ ΤΕΧΝΟΛΟΓΙΑΣ ΚΑΙ ΨΗΦΙΑΚΩΝ ΣΥΣΤΗΜΑΤΩΝ (ΠΜΣ) ΔΙΠΛΩΜΑΤΙΚΗ ΕΡΓΑΣΙΑ ` Εφαρμογές της Θεωρίας Πληροφορίας στην ασφάλεια δικτύων ` ΦΟΙΤΗΤΡΙΑ: Καμπανά Νεκταρία ΜΕ/0805 ΕΠΙΒΛΕΠΩΝ
Διαβάστε περισσότεραΠΟΛΥΔΙΑΣΤΑΤΕΣ ΤΥΧΑΙΕΣ ΜΕΤΑΒΛΗΤΕΣ
Δ.Φουσκάκης- Πολυδιάστατες Τυχαίες Μεταβλητές 1 ΠΟΛΥΔΙΑΣΤΑΤΕΣ ΤΥΧΑΙΕΣ ΜΕΤΑΒΛΗΤΕΣ Συνάρτηση Κατανομής: Έστω Χ=(Χ 1,,Χ ) T τυχαίο διάνυσμα (τ.δ). Ονομάζουμε συνάρτηση κατανομής πιθανότητας (σ.κ.π.) του τ.δ.
Διαβάστε περισσότεραEE728 (22Α004) - Προχωρημένα Θέματα Θεωρίας Πληροφορίας Λυμένες ασκήσεις σε Κανάλια
EE78 (Α4) - Προχωρημένα Θέματα Θεωρίας Πληροφορίας Φυλλάδιο 4 Δ. Τουμπακάρης 5 Ιουνίου 5 EE78 (Α4) - Προχωρημένα Θέματα Θεωρίας Πληροφορίας Λυμένες ασκήσεις σε Κανάλια. *Τα κανάλια με μνήμη έχουν μεγαλύτερη
Διαβάστε περισσότεραh(x, y) = card ({ 1 i n : x i y i
Κεφάλαιο 1 Μετρικοί χώροι 1.1 Ορισμός και παραδείγματα Ορισμός 1.1.1 μετρική). Εστω X ένα μη κενό σύνολο. Μετρική στο X λέγεται κάθε συνάρτηση ρ : X X R με τις παρακάτω ιδιότητες: i) ρx, y) για κάθε x,
Διαβάστε περισσότεραΛυμένες Ασκήσεις σε Εντροπία, Αμοιβαία Πληροφορία, Κωδικοποίηση Πηγής και AEP
22Α004 (eclass EE728) - Προχωρημένα Θέματα Θεωρίας Πληροφορίας Φυλλάδιο 2 Δ. Τουμπακάρης 7 Μαΐου 205 Λυμένες Ασκήσεις σε Εντροπία, Αμοιβαία Πληροφορία, Κωδικοποίηση Πηγής και AEP. Συναρτήσεις τυχαίων μεταβλητών
Διαβάστε περισσότερα22Α004 - Προχωρημένα Θέματα Θεωρίας Πληροφορίας Τελική Εξέταση
22A004 (eclass EE278) Προχωρημένα Θέματα Θεωρίας Πληροφορίας Φυλλάδιο 11 Δ. Τουμπακάρης 6 Ιουνίου 2013 22Α004 - Προχωρημένα Θέματα Θεωρίας Πληροφορίας Τελική Εξέταση Διάρκεια Εξέτασης: 3 ώρες. 4 ασκήσεις
Διαβάστε περισσότεραHMY 429: Εισαγωγή στην Επεξεργασία Ψηφιακών. Χρόνου (Ι)
HMY 429: Εισαγωγή στην Επεξεργασία Ψηφιακών Σημάτων Διάλεξη 5: Στοχαστικά/Τυχαία Σήματα Διακριτού Διάλεξη 5: Στοχαστικά/Τυχαία Σήματα Διακριτού Χρόνου (Ι) Στοχαστικά σήματα Στα προηγούμενα: Ντετερμινιστικά
Διαβάστε περισσότεραΣτοχαστικές Στρατηγικές
Στοχαστικές Στρατηγικές 3 η ενότητα: Εισαγωγή στα στοχαστικά προβλήματα διαδρομής Τμήμα Μαθηματικών, ΑΠΘ Ακαδημαϊκό έτος 2018-2019 Χειμερινό Εξάμηνο Παπάνα Αγγελική Μεταδιδακτορική ερευνήτρια, ΑΠΘ & Πανεπιστήμιο
Διαβάστε περισσότεραΠαλμοκωδική Διαμόρφωση. Pulse Code Modulation (PCM)
Παλμοκωδική Διαμόρφωση Pulse Code Modulation (PCM) Pulse-code modulation (PCM) Η PCM είναι ένας στοιχειώδης τρόπος διαμόρφωσης που δεν χρησιμοποιεί φέρον! Το μεταδιδόμενο (διαμορφωμένο) σήμα PCM είναι
Διαβάστε περισσότεραΔιαφορικές Εξισώσεις.
Διαφορικές Εξισώσεις. Εαρινό εξάμηνο 05-6. Λύσεις δεύτερου φυλλαδίου ασκήσεων.. Βρείτε όλες τις λύσεις της εξίσωσης Bernoulli x y = xy + y 3 καθορίζοντας προσεκτικά το διάστημα στο οποίο ορίζεται καθεμιά
Διαβάστε περισσότεραΣΤΟΧΑΣΤΙΚΕΣ ΔΙΕΡΓΑΣΙΕΣ & ΒΕΛΤΙΣΤΟΠΟΙΗΣΗ
ΣΤΟΧΑΣΤΙΚΕΣ ΔΙΕΡΓΑΣΙΕΣ & ΒΕΛΤΙΣΤΟΠΟΙΗΣΗ Αίθουσα 005 - Νέα Κτίρια ΣΗΜΜΥ Ε.Μ.Π. Μοντέλα Στατιστικής Μηχανικής, Κινητικότητα & Ισορροπία Αλυσίδες Markov: Καταστάσεις, Εξισώσεις Μεταβάσεων καθ. Βασίλης Μάγκλαρης
Διαβάστε περισσότεραΣυμπίεση Πολυμεσικών Δεδομένων
Συμπίεση Πολυμεσικών Δεδομένων Εισαγωγή στο πρόβλημα και επιλεγμένες εφαρμογές Κώστας Μπερμπερίδης Εργαστήριο Σημάτων & Τηλεπικοινωνιών Τμήμα Μηχανικών Η/Υ & Πληροφορικής Ψηφιακή Αναπαράσταση Συμπίεση
Διαβάστε περισσότεραΑσκήσεις στο µάθηµα «Επισκόπηση των Τηλεπικοινωνιών»
Ασκήσεις στο µάθηµα «Επισκόπηση των Τηλεπικοινωνιών» Άσκηση 1 Πρόκειται να µεταδώσουµε δυαδικά δεδοµένα σε RF κανάλι µε. Αν ο θόρυβος του καναλιού είναι Gaussian - λευκός µε φασµατική πυκνότητα W, να βρεθεί
Διαβάστε περισσότεραΕΙΣΑΓΩΓΗ ΚΑΙ ΠΡΟΕΠΙΣΚΟΠΗΣΗ
ΚΕΦΑΛΑΙΟ 1 ΕΙΣΑΓΩΓΗ ΚΑΙ ΠΡΟΕΠΙΣΚΟΠΗΣΗ Η θεωρία πληροϕορίας δίνει απαντήσεις σε δύο θεμελιώδη ερωτήματα της θεωρίας επικοινωνιών: Ποια είναι η «υπέρτατη» συμπίεση δεδομένων (απάντηση: η εντροπία H) και
Διαβάστε περισσότεραΠΑΝΕΠΙΣΤΗΜΙΟ ΙΩΑΝΝΙΝΩΝ ΑΝΟΙΚΤΑ ΑΚΑΔΗΜΑΪΚΑ ΜΑΘΗΜΑΤΑ. Πιθανότητες. Συνεχείς τυχαίες μεταβλητές Διδάσκων: Επίκουρος Καθηγητής Κωνσταντίνος Μπλέκας
ΠΑΝΕΠΙΣΤΗΜΙΟ ΙΩΑΝΝΙΝΩΝ ΑΝΟΙΚΤΑ ΑΚΑΔΗΜΑΪΚΑ ΜΑΘΗΜΑΤΑ Πιθανότητες Συνεχείς τυχαίες μεταβλητές Διδάσκων: Επίκουρος Καθηγητής Κωνσταντίνος Μπλέκας Άδειες Χρήσης Το παρόν εκπαιδευτικό υλικό υπόκειται σε άδειες
Διαβάστε περισσότεραΜετάδοση σήματος PCM
Μετάδοση σήματος PCM Θόρυβος κατά τη μετάδοση Εύρος ζώνης μετάδοσης Το (διαμορφωμένο) σήμα PCM όταν μεταδίδεται μέσω του διαύλου είναι ένα σήμα συνεχούς χρόνου και έχει το δικό του εύρος ζώνης Το εύρος
Διαβάστε περισσότεραΕΛΛΗΝΙΚΟ ΑΝΟΙΚΤΟ ΠΑΝΕΠΙΣΤΗΜΙΟ
Θ.Ε. ΠΛΗ22 (2012-13) ΓΡΑΠΤΗ ΕΡΓΑΣΙΑ #4. Έκδοση v2 με διόρθωση τυπογραφικού λάθους στο ερώτημα 6.3 Στόχος: Βασικό στόχο της 4 ης εργασίας αποτελεί η εξοικείωση με τα μέτρα ποσότητας πληροφορίας τυχαίων
Διαβάστε περισσότεραΈνα αναλογικό σήμα περιέχει άπειρες πιθανές τιμές. Για παράδειγμα ένας απλός ήχος αν τον βλέπαμε σε ένα παλμογράφο θα έμοιαζε με το παρακάτω:
Σημειώσεις Δικτύων Αναλογικά και ψηφιακά σήματα Ένα αναλογικό σήμα περιέχει άπειρες πιθανές τιμές. Για παράδειγμα ένας απλός ήχος αν τον βλέπαμε σε ένα παλμογράφο θα έμοιαζε με το παρακάτω: Χαρακτηριστικά
Διαβάστε περισσότεραΣΤΟΧΑΣΤΙΚΑ ΣΥΣΤΗΜΑΤΑ & ΕΠΙΚΟΙΝΩΝΙΕΣ 1o Τμήμα (Α - Κ): Αμφιθέατρο 4, Νέα Κτίρια ΣΗΜΜΥ Θεωρία Πιθανοτήτων & Στοχαστικές Ανελίξεις
ΣΤΟΧΑΣΤΙΚΑ ΣΥΣΤΗΜΑΤΑ & ΕΠΙΚΟΙΝΩΝΙΕΣ 1o Τμήμα (Α - Κ): Αμφιθέατρο 4, Νέα Κτίρια ΣΗΜΜΥ Θεωρία Πιθανοτήτων & Στοχαστικές Ανελίξεις Άσκηση σε Στοχαστική Ανέλιξη Poisso Ασκήσεις 5.9, 5.1, 5.19 Άσκηση σε Στοχαστική
Διαβάστε περισσότεραΜέρος IV. Πολυδιάστατες τυχαίες μεταβλητές. Πιθανότητες & Στατιστική 2017 Τμήμα Μηχανικών Η/Υ & Πληροφορικής, Παν. Ιωαννίνων Δ15 ( 1 )
Μέρος IV Πολυδιάστατες τυχαίες μεταβλητές Πιθανότητες & Στατιστική 07 Τμήμα Μηχανικών Η/Υ & Πληροφορικής Παν. Ιωαννίνων Δ5 ( ) Πολυδιάστατες μεταβλητές Πολλά ποσοτικά χαρακτηριστικά που σχετίζονται με
Διαβάστε περισσότεραΠρόλογος 1. 1 Μαθηµατικό υπόβαθρο 9
Πρόλογος 1 Μαθηµατικό υπόβαθρο 7 1 Μαθηµατικό υπόβαθρο 9 1.1 Η αριθµητική υπολοίπων.............. 10 1.2 Η πολυωνυµική αριθµητική............ 14 1.3 Θεωρία πεπερασµένων οµάδων και σωµάτων.... 17 1.4 Πράξεις
Διαβάστε περισσότεραΟικονομικό Πανεπιστήμιο Αθηνών Τμήμα Πληροφορικής ΠΜΣ Κρυπτογραφία και Εφαρμογές
Οικονομικό Πανεπιστήμιο Αθηνών Τμήμα Πληροφορικής ΠΜΣ Κρυπτογραφία και Εφαρμογές Μαριάς Ιωάννης Μαρκάκης Ευάγγελος marias@aueb.gr markakis@gmail.com Περίληψη Shannon theory Εντροπία Μελέτη κρυπτοσυστηµάτων
Διαβάστε περισσότεραΕΠΙΚΟΙΝΩΝΙΕΣ, ΔΙΚΤΥΑ & ΤΕΧΝΟΛΟΓΙΑ ΥΠΟΛΟΓΙΣΤΩΝ
ΕΠΙΚΟΙΝΩΝΙΕΣ, ΔΙΚΤΥΑ & ΤΕΧΝΟΛΟΓΙΑ ΥΠΟΛΟΓΙΣΤΩΝ ΚΕΦΑΛΑΙΟ 2ο ΑΝΑΛΟΓΙΚΑ - ΨΗΦΙΑΚΑ ΣΗΜΑΤΑ & ΑΡΧΕΣ ΤΗΛΕΠΙΚΟΙΝΩΝΙΩΝ Πληροφορία Επικοινωνία συντελείται με τη μεταβίβαση μηνυμάτων από ένα πομπό σε ένα δέκτη. Μήνυμα
Διαβάστε περισσότεραΠαλμοκωδική Διαμόρφωση. Pulse Code Modulation (PCM)
Παλμοκωδική Διαμόρφωση Pulse Code Modulation (PCM) Pulse-code modulation (PCM) Η PCM είναι ένας στοιχειώδης τρόπος διαμόρφωσης που δεν χρησιμοποιεί φέρον! Το μεταδιδόμενο (διαμορφωμένο) σήμα PCM είναι
Διαβάστε περισσότεραΠιθανότητες & Τυχαία Σήματα. Διγαλάκης Βασίλης
Πιθανότητες & Τυχαία Σήματα Διγαλάκης Βασίλης Τυχαία Σήματα Γενίκευση τυχαίων διανυσμάτων Άπειρο σύνολο πιθανά αριθμήσιμο από τυχαίες μεταβλητές Παραδείγματα τυχαίων σημάτων: Τηλεπικοινωνίες: Σήμα πληροφορίας
Διαβάστε περισσότεραΨηφιακές Τηλεπικοινωνίες
Ψηφιακές Τηλεπικοινωνίες Κωδικοποίηση Αναλογικής Πηγής: Κβάντιση Εισαγωγή Αναλογική πηγή: μετά από δειγματοληψία γίνεται διακριτού χρόνου άπειρος αριθμός bits/έξοδο για τέλεια αναπαράσταση Θεωρία Ρυθμού-Παραμόρφωσης
Διαβάστε περισσότεραΟΙΚΟΝΟΜΕΤΡΙΑ. Παπάνα Αγγελική
ΟΙΚΟΝΟΜΕΤΡΙΑ Ενότητα 2: Ανασκόπηση βασικών εννοιών Στατιστικής και Πιθανοτήτων Παπάνα Αγγελική Μεταδιδακτορική ερευνήτρια, ΑΠΘ E-mail: angeliki.papana@gmail.com, agpapana@auth.gr Webpage: http://users.auth.gr/agpapana
Διαβάστε περισσότεραΤηλεπικοινωνιακά Συστήματα Ι
Τηλεπικοινωνιακά Συστήματα Ι Διάλεξη 10: Παλμοκωδική Διαμόρφωση, Διαμόρφωση Δέλτα και Πολύπλεξη Διαίρεσης Χρόνου Δρ. Μιχάλης Παρασκευάς Επίκουρος Καθηγητής 1 Παλμοκωδική Διαμόρφωση (PCM) Παλμοκωδική Διαμόρφωση
Διαβάστε περισσότεραΣτοχαστικές Ανελίξεις (2) Αγγελική Αλεξίου
Στοχαστικές Ανελίξεις (2) Αγγελική Αλεξίου alexiou@unipi.gr 1 Στοχαστικές Διαδικασίες 2 Στοχαστική Διαδικασία Στοχαστικές Ανελίξεις Α. Αλεξίου 3 Στοχαστική Διαδικασία ως συλλογή από συναρτήσεις χρόνου
Διαβάστε περισσότεραΨηφιακές Τηλεπικοινωνίες
Ψηφιακές Τηλεπικοινωνίες Ενότητα: Ασκήσεις Αυτοαξιολόγησης Καθηγητής Κώστας Μπερμπερίδης Εργαστήριο Επεξεργασίας Σημάτων και Τηλεπικοινωνιών Τμήμα Μηχανικών Η/Υ και Πληροφορικής Περιεχόμενα Σκοπός Ενότητας
Διαβάστε περισσότεραΣήματα και Συστήματα. Διάλεξη 1: Σήματα Συνεχούς Χρόνου. Δρ. Μιχάλης Παρασκευάς Επίκουρος Καθηγητής
Σήματα και Συστήματα Διάλεξη 1: Σήματα Συνεχούς Χρόνου Δρ. Μιχάλης Παρασκευάς Επίκουρος Καθηγητής 1 Εισαγωγή στα Σήματα 1. Σκοποί της Θεωρίας Σημάτων 2. Κατηγορίες Σημάτων 3. Χαρακτηριστικές Παράμετροι
Διαβάστε περισσότεραΣυστήματα Επικοινωνιών ΙI
+ Διδάσκων: Δρ. Κ. Δεμέστιχας e-mail: cdemestichas@uowm.gr Συστήματα Επικοινωνιών ΙI Ψηφιακή μετάδοση στη βασική ζώνη + Ιστοσελίδα nιστοσελίδα του μαθήματος: n https://eclass.uowm.gr/courses/icte302/ +
Διαβάστε περισσότεραΜέρος ΙΙ. Τυχαίες Μεταβλητές
Μέρος ΙΙ. Τυχαίες Μεταβλητές Ορισμοί Συναρτήσεις κατανομής πιθανότητας και πυκνότητας πιθανότητας Διακριτές τυχαίες μεταβλητές Ειδικές κατανομές διακριτών τυχαίων μεταβλητών Συνεχείς τυχαίες μεταβλητές
Διαβάστε περισσότεραΠΑΝΕΠΙΣΤΗΜΙΟ ΙΩΑΝΝΙΝΩΝ ΑΝΟΙΚΤΑ ΑΚΑΔΗΜΑΪΚΑ ΜΑΘΗΜΑΤΑ. Πιθανότητες. Συνάρτηση κατανομής πιθανότητας Διδάσκων: Επίκουρος Καθηγητής Κωνσταντίνος Μπλέκας
ΠΑΝΕΠΙΣΤΗΜΙΟ ΙΩΑΝΝΙΝΩΝ ΑΝΟΙΚΤΑ ΑΚΑΔΗΜΑΪΚΑ ΜΑΘΗΜΑΤΑ Πιθανότητες Συνάρτηση κατανομής πιθανότητας Διδάσκων: Επίκουρος Καθηγητής Κωνσταντίνος Μπλέκας Άδειες Χρήσης Το παρόν εκπαιδευτικό υλικό υπόκειται σε
Διαβάστε περισσότεραP (A B) = P (AB) P (B) P (A B) = P (A) P (A B) = P (A) P (B)
Πιθανότητες και Αρχές Στατιστικής (4η Διάλεξη) Σωτήρης Νικολετσέας, καθηγητής Τμήμα Μηχανικών Η/Υ & Πληροφορικής, Πανεπιστήμιο Πατρών Ακαδημαϊκό Ετος 2017-2018 Σωτήρης Νικολετσέας, καθηγητής 1 / 39 Περιεχόμενα
Διαβάστε περισσότεραEE728 (22Α004) - Προχωρημένα Θέματα Θεωρίας Πληροφορίας 3η σειρά ασκήσεων Ενδεικτικές Λύσεις
EE78 (Α004 - Προχωρημένα Θέματα Θεωρίας Πληροφορίας Φυλλάδιο 15 Δ Τουμπακάρης 3 Ιουνίου 015 EE78 (Α004 - Προχωρημένα Θέματα Θεωρίας Πληροφορίας 3η σειρά ασκήσεων Ενδεικτικές Λύσεις 1 Υποβέλτιστοι κώδικες
Διαβάστε περισσότεραΤυχαίες Μεταβλητές. Ορισμός
Τυχαίες Μεταβλητές Ορισμός Μία τυχαία μεταβλητή (τ.μ.) είναι μία συνάρτηση (ή μία μεταβλητή) η οποία καθορίζει αριθμητικές τιμές σε μία ποσότητα που σχετίζεται με το αποτέλεσμα ενός πειράματος, όπου μία
Διαβάστε περισσότεραΨηφιακές Τηλεπικοινωνίες. Βέλτιστος Δέκτης
Ψηφιακές Τηλεπικοινωνίες Βέλτιστος Δέκτης Σύνδεση με τα Προηγούμενα Επειδή το πραγματικό κανάλι είναι αναλογικό, κατά τη διαβίβαση ψηφιακής πληροφορίας, αντιστοιχίζουμε τα σύμβολα σε αναλογικές κυματομορφές
Διαβάστε περισσότεραΕΕ728 Προχωρηµένα Θέµατα Θεωρίας Πληροφορίας 4η διάλεξη (4η έκδοση, 11/3/2013)
ΕΕ728 Προχωρηµένα Θέµατα Θεωρίας Πληροφορίας 4η διάλεξη (4η έκδοση, 11/3/2013) ηµήτρης-αλέξανδρος Τουµπακάρης Τµήµα ΗΜ&ΤΥ, Πανεπιστήµιο Πατρών 5 Μαρτίου 2013 ηµήτρης-αλέξανδρος Τουµπακάρης Προχωρηµένα
Διαβάστε περισσότερα3 ο Μέρος Χαρακτηριστικά τυχαίων μεταβλητών
3 ο Μέρος Χαρακτηριστικά τυχαίων μεταβλητών Βασικά χαρακτηριστικά τυχαίας μεταβλητής: Μέση Τιμή (Me Vlue) Διακύμανση (Vrice) Γενικά χαρακτηριστικά: Ροπές μεταβλητών / Ροπογεννήτριες Χαρακτηριστικές συναρτήσεις
Διαβάστε περισσότεραΑπαντήσεις σε απορίες
Ερώτηση Η µέση ποσότητα πληροφορίας κατά Shannon είναι Η(Χ)=-Σp(xi)logp(xi)...σελ 28 Στο παραδειγµα.3 στη σελιδα 29 στο τέλος δεν καταλαβαίνω πως γίνεται η εφαρµογή του παραπάνω τύπου ηλαδη δεν βλεπω συντελεστη
Διαβάστε περισσότεραΠραγματικοί Αριθμοί 2
Διαφορικός Λογισμός Συναρτήσεις μίας μεταβλητής Όριο και συνέχεια Συνάρτησης Παράγωγος Συνάρτησης o Ιδιότητες παραγώγων o Κανόνες παραγώγισης o Διαφορικό συνάρτησης o Συναρτήσεις με παραμετρική μορφή Βασικά
Διαβάστε περισσότεραΣΤΟΧΑΣΤΙΚΑ ΣΥΣΤΗΜΑΤΑ & ΕΠΙΚΟΙΝΩΝΙΕΣ 1o Τμήμα (Α - Κ): Αμφιθέατρο 4, Νέα Κτίρια ΣΗΜΜΥ Θεωρία Πιθανοτήτων & Στοχαστικές Ανελίξεις - 2
ΣΤΟΧΑΣΤΙΚΑ ΣΥΣΤΗΜΑΤΑ & ΕΠΙΚΟΙΝΩΝΙΕΣ 1o Τμήμα (Α - Κ): Αμφιθέατρο 4, Νέα Κτίρια ΣΗΜΜΥ Θεωρία Πιθανοτήτων & Στοχαστικές Ανελίξεις - 5.4: Στατιστικοί Μέσοι Όροι 5.5 Στοχαστικές Ανελίξεις (Stochastic Processes)
Διαβάστε περισσότεραΠΑΡΑΔΕΙΓΜΑΤΑ ΘΕΜΑ Β. 2x 1. είναι Τότε έχουμε: » τον χρησιμοποιούμε κυρίως σε θεωρητικές ασκήσεις.
ΚΕΦΑΛΑΙΟ ο: ΣΥΝΑΡΤΗΣΕΙΣ - ΟΡΙΟ - ΣΥΝΕΧΕΙΑ ΣΥΝΑΡΤΗΣΗΣ ΕΝΟΤΗΤΑ : ΣΥΝΑΡΤΗΣΗ - ΑΝΤΙΣΤΡΟΦΗ ΣΥΝΑΡΤΗΣΗ [Υποκεφάλαιο. Μονότονες συναρτήσεις Αντίστροφη συνάρτηση του σχολικού βιβλίου]. ΠΑΡΑΔΕΙΓΜΑΤΑ Παράδειγμα.
Διαβάστε περισσότεραΜετάδοση σήματος PCM
Μετάδοση σήματος PCM Συγχρονισμός ΌπωςσεόλατασυστήματαTDM, απαιτείται συγχρονισμός μεταξύ πομπού και δέκτη Εάν τα ρολόγια στον πομπό και τον δέκτη διαφέρουν, αυτό θα οδηγήσει σε παραμορφώσεις του σήματος
Διαβάστε περισσότεραΣΗΜΑΤΑ ΚΑΙ ΣΥΣΤΗΜΑΤΑ. Εισαγωγή στα Σήµατα Εισαγωγή στα Συστήµατα Ανάπτυγµα - Μετασχηµατισµός Fourier Μετασχηµατισµός Z
ΣΗΜΑΤΑ ΚΑΙ ΣΥΣΤΗΜΑΤΑ Εισαγωγή στα Σήµατα Εισαγωγή στα Συστήµατα Ανάπτυγµα - Μετασχηµατισµός Fourier Μετασχηµατισµός Laplace Μετασχηµατισµός Z Εφαρµογές Παράδειγµα ενός ηλεκτρικού συστήµατος Σύστηµα Παράδειγµα
Διαβάστε περισσότεραΟρισμός : Η συνάρτηση X : Ω είναι μετρήσιμη εάν 1. της τυχαίας μεταβλητής X : Ω, είναι το πεδίο τιμών της X. Δηλαδή είναι το υποσύνολο του { }
Ορισμός : Η συνάρτηση : Ω είναι μετρήσιμη εάν B B B B = ω Ω : ω B = B { όπου { { Μία μετρήσιμη συνάρτηση : Ω ονομάζεται τυχαία μεταβλητή Ορισμός: Ο χώρος καταστάσεων της τυχαίας μεταβλητής : Ω είναι το
Διαβάστε περισσότεραΤΥΧΑΙΑ ΔΙΑΝΥΣΜΑΤΑ. 1. 0 F(x) 1, x n. 2. Η F είναι μη φθίνουσα και δεξιά συνεχής ως προς κάθε μεταβλητή. 3.
ΤΥΧΑΙΑ ΔΙΑΝΥΣΜΑΤΑ Έστω Χ = (Χ 1,,Χ ) T τυχαίο διάνυσμα (τ.δ). Ονομάζουμε συνάρτηση κατανομής πιθανότητας (σ.κ.π.) του τ.δ. Χ την: F(x) = P(X 1 x 1,, X x ), x = (x 1,,x ) T 1. 0 F(x) 1, x.. Η F είναι μη
Διαβάστε περισσότεραΨηφιακές Τηλεπικοινωνίες. Πιθανότητα Σφάλματος για Δυαδική Διαμόρφωση
Ψηφιακές Τηλεπικοινωνίες Πιθανότητα Σφάλματος για Δυαδική Διαμόρφωση Σύνδεση με τα Προηγούμενα Σχεδιάστηκε ο βέλτιστος δέκτης για κανάλι AWGN Επειδή πάντοτε υπάρχει ο θόρυβος, ακόμη κι ο βέλτιστος δέκτης
Διαβάστε περισσότεραΘεωρία Πιθανοτήτων & Στατιστική
ΑΡΙΣΤΟΤΕΛΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΟΝΙΚΗΣ ΑΝΟΙΚΤΑ ΑΚΑΔΗΜΑΙΚΑ ΜΑΘΗΜΑΤΑ & Στατιστική Ενότητα 4 η : Χαρακτηριστικά Τυχαίων Μεταβλητών. Γεώργιος Ζιούτας Τμήμα Ηλεκτρολόγων Μηχανικών & Μηχανικών Υπολογιστών Α.Π.Θ.
Διαβάστε περισσότεραΠΑΝΕΠΙΣΤΗΜΙΟ ΠΕΛΟΠΟΝΝΗΣΟΥ
ΠΑΝΕΠΙΣΤΗΜΙΟ ΠΕΛΟΠΟΝΝΗΣΟΥ ΤΜΗΜΑ ΕΠΙςΤΗΜΗς & ΤΕΧΝΟΛΟΓΙΑς ΤΗΛΕΠΙΚΟΙΝΩΝΙΩΝ ΜΔΕ Προηγμένα Τηλεπικοινωνιακά Συστήματα και Δίκτυα Διάλεξη 2 η Νικόλαος Χ. Σαγιάς Επίκουρος Καθηγητής Webpage: http://eclass.uop.gr/courses/tst233
Διαβάστε περισσότεραΘεωρία Πιθανοτήτων & Στατιστική
ΑΡΙΣΤΟΤΕΛΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΟΝΙΚΗΣ ΑΝΟΙΚΤΑ ΑΚΑΔΗΜΑΙΚΑ ΜΑΘΗΜΑΤΑ & Στατιστική Ενότητα 3 η : Τυχαίες Μεταβλητές, Συναρτήσεις Κατανομής Πιθανότητας. Γεώργιος Ζιούτας Τμήμα Ηλεκτρολόγων Μηχανικών & Μηχανικών
Διαβάστε περισσότεραΓΙΩΡΓΟΣ ΚΟΡΩΝΑΚΗΣ. ΑΛΛΑΓΗ ΜΕΤΑΒΛΗΤΗΣ ΣΤΟ ΟΡΙΣΜΕΝΟ ΟΛΟΚΛΗΡΩΜΑ Διδακτική προσέγγιση
ΓΙΩΡΓΟΣ ΚΟΡΩΝΑΚΗΣ ΑΛΛΑΓΗ ΜΕΤΑΒΛΗΤΗΣ ΣΤΟ ΟΡΙΣΜΕΝΟ ΟΛΟΚΛΗΡΩΜΑ Διδακτική προσέγγιση Αφορμή γι αυτή τη σύντομη εργασία έδωσε μια ημερίδα διδασκαλίας των Μαθηματικών, η οποία οργανώθηκε από το Σχολικό Σύμβουλο
Διαβάστε περισσότεραΟρισμός : Η συνάρτηση X : Ω είναι μετρήσιμη εάν 1. της τυχαίας μεταβλητής X : Ω, είναι το πεδίο τιμών της X. Δηλαδή είναι το υποσύνολο του { }
Ορισμός : Η συνάρτηση : Ω είναι μετρήσιμη εάν B B B B = ω Ω : ω B = B { όπου { { Μία μετρήσιμη συνάρτηση : Ω ονομάζεται τυχαία μεταβλητή Ορισμός: Ο χώρος καταστάσεων της τυχαίας μεταβλητής : Ω είναι το
Διαβάστε περισσότεραΣτοχαστικές Ανελίξεις (1) Αγγελική Αλεξίου
Στοχαστικές Ανελίξεις (1) Αγγελική Αλεξίου alexiou@unipi.gr 1 Ενότητες Μαθήματος Ενότητα 1 Εισαγωγή Ορισμός Στοχαστικών ανελίξεων Στατιστική Στοχαστικών Διαδικασιών Στασιμότητα Εργοδικότητα Ενότητα 2 Διαδικασίες
Διαβάστε περισσότεραΠιθανότητες & Τυχαία Σήματα. Διγαλάκης Βασίλης
Πιθανότητες & Τυχαία Σήματα Διγαλάκης Βασίλης Στατικές (Στάσιμες) Διαδικασίες Στατική (Stationary) ορίζεται η διαδικασία της οποίας οι στατιστικές ιδιότητες δεν μεταβάλλονται με την πάροδο του χρόνου.
Διαβάστε περισσότεραΠεριεχόμενα της Ενότητας. Συνεχείς Τυχαίες Μεταβλητές. Συνεχείς Κατανομές Πιθανότητας. Συνεχείς Κατανομές Πιθανότητας.
Περιεχόμενα της Ενότητας Στατιστική Ι Ενότητα 5: Συνεχείς Κατανομές Πιθανότητας Δρ. Χρήστος Εμμανουηλίδης Επίκουρος Καθηγητής Αριστοτέλειο Πανεπιστήμιο Θεσσαλονίκης. Συνεχείς Τυχαίες Μεταβλητές. Συνεχείς
Διαβάστε περισσότερα