Τηλεπικοινωνιακά Συστήματα ΙΙ
|
|
- Τισιφόνη Κοντολέων
- 7 χρόνια πριν
- Προβολές:
Transcript
1 Τηλεπικοινωνιακά Συστήματα ΙΙ Διάλεξη 11: Κωδικοποίηση Πηγής Δρ. Μιχάλης Παρασκευάς Επίκουρος Καθηγητής 1
2 Ατζέντα 1. Αλγόριθμοι κωδικοποίησης πηγής Αλγόριθμος Fano Αλγόριθμος Shannon Αλγόριθμος Huffman 2. Διακριτές πηγές πληροφορίας με μνήμη Εντροπία των πηγών Markoff Διακριτά κανάλια επικοινωνίας 2
3 Κωδικοποίηση Πηγής Κωδικοποίηση πηγής είναι η διαδικασία μετατροπής των ακολουθιών συμβόλων που παράγει η πηγή σε ακολουθίες συμβόλων κώδικα (δυαδική ακολουθία), ώστε να αφαιρείται ο πλεονασμός και να προκύπτει συμπιεσμένη μορφή αναπαράστασης των μηνυμάτων. Τα διαφορετικά κωδικά σύμβολα που χρησιμοποιούνται για τη μετατροπή των δυαδικών ακολουθιών απαρτίζουν το κωδικό αλφάβητο. Κώδικας είναι το σύνολο των κωδικών λέξεων και η αντιστοίχιση τους με τα σύμβολα της πηγής. Αν όλες οι κωδικές λέξεις είναι διαφορετικές, ο κώδικας ονομάζεται ως μη ιδιάζων. Αν και οι δυνατές ακολουθίες κωδικών λέξεων είναι διαφορετικές, ο κώδικας είναι μοναδικά αποκωδικοποιήσιμος. Αν ένας μοναδικός αποκωδικοποιήσιμος κώδικας επιτρέπει την άμεση αποκωδικοποίηση κάθε συμβόλου μόλις λαμβάνεται στον προορισμό, τότε χαρακτηρίζεται ως άμεσος κώδικας. 3
4 Κωδικοποίηση Πηγής Για κάθε άμεσο κώδικα με πλήθος συμβόλων q και μήκος κωδικών λέξεων l i, όπου i = 1,2, n και n το πλήθος των συμβόλων της πηγής, ισχύει η ακόλουθη ανισότητα: n q l i = 1 i=1 Εάν υπάρχει ένα σύνολο κωδικών λέξεων που ικανοποιούν την ανισότητα, τότε υπάρχει ένας άμεσος κώδικας με κωδικές λέξεις που έχουν αυτά τα μήκη. Η επίδοση του κώδικα ορίζεται ως ο λόγος του μέσου πληροφοριακού περιεχομένου των συμβόλων της πηγής προς το γινόμενο του μέσου μήκους των κωδικών λέξεων με το λογάριθμο του πλήθους των κωδικών συμβόλων, δηλ.: α = (σ n i=1 H(C) p i l i ) log q 4
5 Άσκηση 1 Να εξετάσετε αν οι παρακάτω κώδικες Ι, ΙΙ, ΙΙΙ και IV είναι: (α) Μη-ιδιάζοντες, (β) Μοναδικά αποκωδικοποιήσιμοι (γ) Άμεσοι; Ι ΙΙ ΙΙΙ ΙV φ χ ψ ω Απάντηση: (α) Όλοι οι κώδικες είναι μη ιδιάζοντες, αφού ο καθένας αποτελείται από διαφορετικές κωδικές λέξεις. (β) Όλοι οι κώδικες είναι μοναδικά αποκωδικοποιήσιμοι εκτός του I. Για τον κώδικα Ι παρατηρούμε ότι η ακολουθία κωδικών λέξεων 1001 θα μπορούσε να προκύψει από διάφορες ακολουθίες συμβόλων όπως χψ ή χφω κλπ. (γ) Μόνο οι κώδικες ΙΙ και ΙV είναι άμεσοι. Στην περίπτωση του κώδικα Ι, αν ο δέκτης λάβει το 0 δεν θα ξέρει αν είναι η πρώτη κωδική λέξη ή το 1ο κωδικό σύμβολο της 3 ης κωδικής λέξης κοκ. Σχετικά με τον κώδικα ΙΙΙ, όταν ο δέκτης λάβει τα 10 δεν μπορεί ξέρει αν είναι η 2η κωδική λέξη ή τα 2 πρώτα σύμβολα της 3ης κωδικής λέξης κοκ. 5
6 Βήματα Υλοποίησης: Αλγόριθμος Κωδικοποίησης Fano 1. Τα σύμβολα της πηγής διατάσσονται σε κατά φθίνουσα τάξη με βάση την πιθανότητα εμφάνισης. 2. Κατόπιν, τα σύμβολα χωρίζονται σε τόσες ομάδες όσα και τα κωδικά σύμβολα, κατά τρόπο ώστε να προκύπτουν (αν αυτό είναι εφικτό) ίσες αθροιστικές πιθανότητες εμφάνισης των συμβόλων. Στην περίπτωση δυαδικού κώδικα, τα n σύμβολα της πηγής χωρίζονται σε 2 ομάδες, k n επιλέγοντας το k έτσι ώστε η διαφορά σ i=1 p i σ i=k+1 p i των αθροιστικών πιθανοτήτων εμφάνισης των συμβόλων, να ελαχιστοποιείται. 3. Για κάθε ομάδα συμβόλων της πηγής, επιλέγεται ένα από τα κωδικά σύμβολα ως το πρώτο των κωδικών λέξεων που θα προκύψουν. 4. Για κάθε ομάδα συμβόλων της πηγής επαναλαμβάνονται τα βήματα 2 και 3 έως ότου η κάθε ομάδα αποτελείται από μόνο ένα σύμβολο. Σε κάθε επανάληψη του βήματος 3, επιλέγεται ένα ακόμα κωδικό σύμβολο για το σχηματισμό των κωδικών λέξεων. 6
7 Άσκηση 2 Μια πηγή παράγει 8 διαφορετικά σύμβολα, τα Α, Β, Γ, Δ, Ε, Ζ, Η και Θ, με πιθανότητες 1/8, 1/4, 1/16, 1/32, 1/4, 1/32, 1/8 και 1/8, αντίστοιχα. Να σχηματιστεί κώδικας σύμφωνα με τον αλγόριθμο του Fano, με δυαδικό κωδικό αλφάβητο. Απάντηση: Τα σύμβολα της πηγής διατάσσονται σε φθίνουσα πιθανότητα και χωρίζονται σε δύο ομάδες με το δυνατόν ίσες αθροιστικές πιθανότητες. Τα δύο πρώτα σύμβολα ανήκουν στην 1η ομάδα και τα υπόλοιπα στην 2η. Επιλέγουμε το 0 ως το πρώτο κωδικό σύμβολο των κωδικών λέξεων της 1ης ομάδας και το 1 για τις κωδικές λέξεις της 2ης ομάδας. Η πρώτη ομάδα χωρίζεται σε 2 υποομάδες με ένα σύμβολο η καθεμία. Επιλέγουμε και πάλι το 0 για την 1η υποομάδα και το 1 για τη 2. Έτσι καταλήγουμε στις κωδικές λέξεις των δύο πρώτων συμβόλων του πίνακα, τις 00 και 01. Κατά τον ίδιο τρόπο συνεχίζουμε και σε σχέση με τη δεύτερη ομάδα, την οποία χωρίζουμε σε δύο υποομάδες, εκ των οποίων η 1 η περιλαμβάνει το 3ο και το 4ο σύμβολο του πίνακα και η άλλη όλα τα υπόλοιπα σύμβολα. 7
8 Αλγόριθμος Κωδικοποίησης Shannon Βήματα Υλοποίησης: 1. Τα σύμβολα της πηγής διατάσσονται σε κατά φθίνουσα τάξη με βάση την πιθανότητα εμφάνισης. 2. Για κάθε σύμβολο S j, του οποίου η πιθανότητα εμφάνισης είναι p(s j ), υπολογίζεται η αθροιστική πιθανότητα P i, από τη σχέση: P i = σ i 1 j=1 p(s j ) 3. Το πλήθος των κωδικών συμβόλων της λέξης που αναπαριστά το σύμβολο της πηγής S i είναι ίσο με το ακέραιο αριθμό l i, που ικανοποιεί την ανισότητα log 1 l p S i 1 + log 1 i p S i 4. Η κωδική λέξη c i του συμβόλου της πηγής είναι το δυαδικό ανάπτυγμα του κλάσματος P i (μόνο τα πρώτα του αναπτύγματος λαμβάνονται υπόψη). 8
9 Άσκηση 3 Μια πηγή παράγει 8 διαφορετικά σύμβολα, τα Α, Β, Γ, Δ, Ε, Ζ, Η και Θ, με πιθανότητες 1/8, 1/4, 1/16, 1/32, 1/4, 1/32, 1/8 και 1/8, αντίστοιχα. Να σχηματιστεί κώδικας σύμφωνα με τον αλγόριθμο του Shannon, με δυαδικό κωδικό αλφάβητο. Απάντηση: 9
10 Αλγόριθμος Κωδικοποίησης Huffman Βήματα Υλοποίησης κωδικοποίησης HUFFMAN: 1. Τα σύμβολα της πηγής διατάσσονται κατά φθίνουσα πιθανότητα εκπομπής 2. Τα δύο τελευταία σύμβολα της πηγής με μικρότερη πιθανότητα παραγωγής ενώνονται σε ένα. Η πιθανότητα του συμβόλου είναι ίση με το άθροισμα των πιθανοτήτων των δύο συμβόλων. 3. Τα βήματα 1 και 2 επαναλαμβάνονται έως ότου το αλφάβητο της πηγής αποτελείται από δύο σύμβολα. Σε αυτά τα σύμβολα αποδίδονται το 0 και Τα ψηφία 0 και 1 αποδίδονται στη θέση του ενός και του άλλου συμβόλου αντίστοιχα, τα οποία στο βήμα 2 συγχωνεύτηκαν σε ένα. 5. Οι κωδικές λέξεις των συμβόλων σχηματίζονται από όλα τα ψηφία 0 και 1 που σχετίζονται με αυτά τα σύμβολα (από το τέλος προς την αρχή). Πηγή: D. Huffman, A Method for the Construction of Minimum-Redundancy Codes 10
11 Άσκηση 4 Μια πηγή παράγει 8 διαφορετικά σύμβολα, τα Α, Β, Γ, Δ, Ε, Ζ, Η και Θ, με πιθανότητες 1/8, 1/4, 1/16, 1/32, 1/4, 1/32, 1/8 και 1/8, αντίστοιχα. Να σχηματιστεί κώδικας σύμφωνα με τον αλγόριθμο του Huffman, με δυαδικό κωδικό αλφάβητο. Απάντηση: 11
12 Άσκηση 5 Δίδεται διακριτή πηγή που παράγει 7 διαφορετικά σύμβολα, Α, Β, Γ, Δ, Ε, Ζ, Η, με πιθανότητες, αντίστοιχα: {0,2, 0,15, 0,1, 0,3, 0,06, 0,15, 0,04} και ζητείται: 1. Να σχεδιασθεί δυαδικός κώδικας σύμφωνα με τον αλγόριθμο Ηuffman. 2. Να σχεδιασθεί δυαδικός κώδικας σύμφωνα με τον αλγόριθμο Fano. 3. Να συγκριθούν οι κώδικες που προκύπτουν στα ερωτήματα 1 και 2 ως προς την επίδοσή τους. Απάντηση: 1. Κώδικας Huffman με δύο κωδικά σύμβολα: Σύμβολα Κώδικας Δ 0,3 0,3 0,3 0,3 0,4 0,6 (0) 00 Α 0,2 0,2 0,2 0,3 0,3 (0) 0,4 (1) 10 Β 0,15 0,15 0,2 0,2 (0) 0,3 (1) 010 Ζ 0,15 0,15 0,15 (0) 0,2 (1) 011 Γ 0,1 0,1 (0) 0,15 (1) 110 Ε 0,06 (0) 0,1 (1) 1110 Η 0,04 (1)
13 Άσκηση 5 (συνέχεια) 2. Τα σύμβολα της πηγής κατατάσσονται σε τάξη φθίνουσας πιθανότητας (δείτε τον παρακάτω πίνακα). Χωρίζονται σε ομάδες και υποομάδες ως ακολούθως: Τα δύο πρώτα σύμβολα περιλαμβάνονται στην 1η ομάδα και τα υπόλοιπα στη 2 η ομάδα. Επιλέγουμε το 0 ως το πρώτο κωδικό σύμβολο των κωδικών λέξεων της 1 ης ομάδας και το 1 για τις κωδικές λέξεις της 2 ης ομάδας. Η πρώτη ομάδα χωρίζεται σε 2 υποομάδες με ένα σύμβολο η πρώτη και ένα η δεύτερη. Επιλέγουμε και πάλι το 0 για την 1 η υποομάδα και το 1 για τη 2. Έτσι καταλήγουμε στην κωδική λέξη του Γ, η οποία είναι η 00 κοκ. Κώδικας Fano Σύμβολα Πιθανότητες Κώδικας Δ 0,3 00 Α 0,2 01 Β 0, Ζ 0, Γ 0,1 110 Ε 0,06 (0) 1110 Η 0,04 (1)
14 Άσκηση 5 (συνέχεια) 3. Για τον υπολογισμό της απόδοσης των κωδίκων, υπολογίζουμε την εντροπία της πηγής: H S 7 = p i log p i = i=1 = 3 10 log log log log log log = 2,568 bits/symbol Υπολογίζουμε το μέσο μήκος των κωδικών λέξεων για κάθε περίπτωση. Δυαδικός κώδικας Huffman 7 σ i=1 p i l i = 2x0,5 + 3x0,4 + 4x0,1 = 2,6 Η απόδοση είναι : a = (σ7 i=1 H s = 2,568 p i l i ) log2 2,6 = 0, Δυαδικός κώδικας Fano σ i=1 p i l i = 2x0,5 + 3x0,4 + 4x0,1 = 2,6 Η απόδοση είναι: a = (σ7 i=1 H s = 2,568 p i l i ) log2 2,6 = 0,98771 Παρατηρούμε ότι οι δυαδικοί κώδικες είναι σχεδόν άριστοι. 14
15 Άσκηση 6 1. Να βρείτε τον κώδικα Shannon για την κατανομή πιθανοτήτων τεσσάρων συμβόλων 1, 1, 1, 1 καθώς και το μέσο μήκος του Να βρείτε όλα τα δυνατά μήκη κωδικών λέξεων που μπορούν να προκύψουν με εφαρμογή του αλγόριθμου κωδικοποίησης Huffman για την ίδια κατανομή πιθανοτήτων του ερωτήματος (1). Τί παρατηρείτε σχετικά με τα μήκη των κωδικών λέξεων που αντιστοιχούν σε κάθε σύμβολο σε σχέση με τον κώδικα Shannon; Ποιός κώδικας είναι βέλτιστος; Απάντηση: 1. Εφαρμόζοντας τον αλγόριθμο κωδικοποίησης Shannon και παρατηρώντας ότι οι πιθανότητες είναι ήδη ταξινομημένες σε φθίνουσα ακολουθία έχουμε τον παρακάτω πίνακα p i F i l i Κώδικας 1/ /3 1/ /4 2/ /12 11/ Το μέσο μήκος του κώδικα Shannon είναι Ε[l]=2,1667 bits 15
16 Άσκηση 6 (συνέχεια) Κατ αρχάς παρατηρούμε ότι ο κώδικας Shannon που κατασκευάσαμε δεν είναι βέλτιστος, δεδομένου ότι μπορούμε να συντομεύσουμε την τελευταία κωδική λέξη σε 11 χωρίς να χαθεί η αμεσότητα του κώδικα. Αποδεικνύεται ότι ο κώδικας {00, 01, 10, 11} είναι ένας από τους πιθανούς κώδικες Huffman ο οποίος προκύπτει συνδυάζοντας πρώτα το 3 ο και το 4 ο ενδεχόμενο σε ένα ενδεχόμενο πιθανότητας 1/3 και στη συνέχεια συνδυάζοντας το 1 ο και 2 ο ενδεχόμενο σε ένα ενδεχόμενο πιθανότητας 2/3. Το μέσο μήκος του κώδικα είναι Ε[l 1 ]=2 bits Όπως γνωρίζουμε δεν είναι μοναδικός ο βέλτιστος κώδικας που προκύπτει από Huffman. Έτσι εάν το ενδεχόμενο που προκύπτει από το συνδυασμό του 3 ου και 4 ου ενδεχομένου συνδυαστεί στη συνέχεια με το 1 ο ή το 2 ο ενδεχόμενο, προκύπτει κώδικας Huffman με μήκη (1,2,3,3). Το μέσο μήκος και σε αυτή την περίπτωση είναι Ε[l 1 ]=1x(1/3) + 2x(1/3) + 3x(1/4+1/12) = 2 bits, που είναι αναμενόμενο λόγω του ότι έχει προκύψει από χρήση του αλγορίθμου Huffman. Παρατηρούμε ότι τα μήκη του κώδικα Huffman δεν είναι πάντα μοναδικά. Επίσης είναι δυνατόν επιμέρους μήκη που έχουν προκύψει από τον κώδικα Shannon να είναι μικρότερα από αντίστοιχα επιμέρους μήκη που έχουν προκύψει από Huffman. Π.χ. το μήκος του κώδικα Shannon που αντιστοιχεί στο 3 ο ενδεχόμενο είναι μικρότερο από το αντίστοιχο μήκος του δεύτερου κώδικα Huffman. Ωστόσο το μέσο μήκος του κώδικα Huffman δεν υπερβαίνει σε καμία περίπτωση το μέσο μήκος του κώδικα Shannon. Τέλος η εντροπία της τ.μ. ισούται με bits. Παρατηρούμε ότι τόσο ο κώδικας Huffman όσο και ο κώδικας Shannon επιτυγχάνουν συμπίεση το πολύ 1 bit μακριά από την εντροπία. 16
17 Διακριτές πηγές πληροφορίας με μνήμη Στην πραγματικότητα, όλες οι πηγές πληροφορίας παράγουν ακολουθίες συμβόλων που είναι στατιστικά εξαρτημένες. Η εξάρτηση αυτή μπορεί να υφίσταται για ένα περιορισμένο αριθμό συμβόλων. Έτσι μπορούν να χρησιμοποιηθούν Μαρκοβιανές αλυσίδες ως στατιστικά υποδείγματα για τις πηγές πληροφορίας. Μια τυχαία διαδικασία είναι μια ακολουθία τυχαίων μεταβλητών Y1, Y2,, Yn. Γενικά, μπορεί να υφίσταται οποιαδήποτε εξάρτηση μεταξύ των τυχαίων μεταβλητών της ακολουθίας. Μια τυχαία διαδικασία Υ1, Υ2,, Υn χαρακτηρίζεται ως διαδικασία Markoff: P Y n+1 = y n+1 Y n = y n, Y n 1 = y n 1,, Y 1 = y 1 ) = P Y n+1 = y n+1 Y n = y n ) Η διαδικασία Markoff χαρακτηρίζεται ως χρονικά αμετάβλητη αν η υπό συνθήκη πιθανότητα P Y n+1 = b Y n = a) δεν εξαρτάται από το n, για n = 1,2, 17
18 Διακριτές πηγές πληροφορίας με μνήμη Μια αμετάβλητη στο χρόνο Μαρκοβιανή αλυσίδα περιγράφεται πλήρως από την αρχική της κατάσταση και τον πίνακα των πιθανοτήτων μετάβασης P = P ij, όπου P ij = P Y n+1 = j Y n = i} και i, j οι τιμές των τυχαίων μεταβλητών οι οποίες ανήκουν στο σύνολο των δυνατών καταστάσεων {1,2,, m}. Ο πίνακας των πιθανοτήτων μετάβασης καλείται και πίνακας μετάβασης. Η πιθανότητα της Μαρκοβιανής αλυσίδας να βρίσκεται τη χρονική στιγμή n στην κατάσταση i συμβολίζεται με p i (n). Αν ισχύει p i n = p i n + 1 = π i, τότε η Μαρκοβιανή αλυσίδα χαρακτηρίζεται ως στατική. Για μια στατική Μαρκοβιανή αλυσίδα ισχύει η σχέση πρ = π 18
19 Εντροπία πηγών Markoff Η εντροπία των συμβόλων που εκπέμπονται από την κατάσταση i: m H K i = P ij log P ij bits/symbol j=1 Η εντροπία πηγής είναι ο μέσος όρος της εντροπίας των καταστάσεων: m m m H S = p i H K i = p i P ij log P ij bits/symbol i=1 i=1 j=1 Η μέση ποσότητα πληροφορίας μηνυμάτων της πηγής συμβολίζει την πιθανότητα εκπομπής του μηνύματος m: m H M = p(m i ) log p m i i 19
20 Εντροπία πηγών Markoff Το μέτρο του πλεονασμού εξάρτησης είναι: H με μνήμη(s) red = 1 H χωρίς μνήμη (S) Το μέτρο του ολικού πλεονασμού (αναφέρεται στην εντροπία της πηγής σε σύγκριση με την μέγιστη δυνατή εντροπία της πηγής χωρίς μνήμη), είναι: red ολ = 1 H με μνήμη S maxh χωρίς μνήμη S = 1 H με μνήμη(s) log q 20
21 Άσκηση 7 Θεωρούμε διακριτή πηγή με μνήμη, τεσσάρων καταστάσεων Α, Β, Γ και Δ, η οποία παριστάνεται με στατική αλυσίδα Μarkoff 1 ης τάξης. Ο πίνακας μετάβασης της πηγής αυτής είναι ο ακόλουθος: P = 1 a a a a a a a a Nα βρεθούν τα εξής: 1. Οι πιθανότητες των καταστάσεων π(a), π(b), π(γ) και π(δ). 2. Την τιμή του α για την οποία προκύπτει η μέγιστη εντροπία της πηγής. 3. Να προτείνετε βέλτιστο τρόπο κωδικοποίησης της πηγής, χωρίς να λάβετε υπόψη τη μνήμη της πηγής. 4. Λαμβάνοντας υπόψη τη μνήμη της πηγής και για α=1/2, να προτείνετε αποτελεσματικό τρόπο κωδικοποίησης. 21
22 Άσκηση 7 (συνέχεια) Απάντηση: 1. Λαμβάνοντας υπόψη ότι η πηγή είναι στατική, καταστρώνουμε το σύστημα που απορρέει από τη σχέση πρ = π. Είναι: π π Α π Β π Γ π Δ και εξ αυτής: 1 a a a a a a a a = π Α π Β π Γ π Δ 1 α π Α + απ Δ = π Α π Α = π(δ) 1 α π Β + απ Α = π Β π Β = π(α) 1 α π Γ + απ Β = π Γ π Γ = π(β) 1 α π Δ + απ Α = π Δ π Δ = π(α) Λαμβάνοντας υπόψη ότι το άθροισμα των πιθανοτήτων κατάστασης της πηγής είναι 1, βρίσκουμε ότι: π(a) = π(b) = π(γ) = π(δ) = 1/4 22
23 Άσκηση 7 (συνέχεια) 2. Η εντροπία των συμβόλων που εκπέμπεται από όλες τις καταστάσεις της πηγής δίνεται από 1 α log 1 a a log a, η οποία παίρνει τη μέγιστη τιμή για ισοπίθανα ενδεχόμενα, δηλαδή στην περίπτωσή μας για 1 a = a = 1 2. Επομένως, η μέγιστη εντροπία Markoff προκύπτει για a = 1/2. Στην περίπτωση αυτή, η εντροπία της πηγής Markoff είναι ίση με 1 bit / symbol. 3. Εφαρμόζοντας τον αλγόριθμο Huffman, λαμβάνουμε για τα 4 ισοπίθανα σύμβολα, Α, Β, Γ και Δ, τον κώδικα (00, 01, 10, 11). 23
24 Άσκηση 7 (συνέχεια) 4. Αφού η πηγή είναι μαρκοβιανή αλυσίδα πρώτης τάξης, η μνήμη της πηγής έχει βάθος 1 και επομένως για την αποτελεσματική κωδικοποίησή της, αρκεί να λάβουμε υπόψη το σύμβολο που εκπέμφθηκε τελευταίο. Αυτό γίνεται και με την κωδικοποίηση μηνυμάτων της πηγής αποτελούμενων από δύο σύμβολα. Προκύπτει ο ακόλουθος κώδικας (000, 001, 010, 011, 100, 101, 110, 111) για τα μηνύματα (m 1 = ΑΑ, m 2 = ΑΒ, m 3 = ΒΒ, m 4 = ΒΓ, m 5 = ΓΓ, m 6 = ΓΔ, m 7 = ΔΔ, m 8 = ΔΑ ), με αντίστοιχες πιθανότητες (1/8, 1/8, 1/8, 1/8, 1/8, 1/8, 1/8, 1/8). Πιο αποτελεσματικός κώδικας μπορεί να προκύψει αν ορίσουμε διαφορετικό κώδικα για κάθε κατάσταση της πηγής. Επειδή από κάθε κατάσταση μπορούν να παραχθούν μόνο δύο σύμβολα, αρκεί η κωδικοποίηση καθενός από τα δύο αυτά σύμβολα με 1 bit, το 0 ή το 1, το οποίο οδηγεί σε μέσο μήκος κώδικα ίσο με 1 bit. Έτσι, παρατηρούμε ότι η κωδικοποίηση αυτή οδηγεί σε αποδοτικότερο κώδικα, σε σύγκριση με τον προηγούμενο κώδικα μηνυμάτων της πηγής μήκους δύο συμβόλων. 24
25 Διακριτά Κανάλια Επικοινωνίας Η πληροφορία, κατά τη διάδοση της μέσου ενός καναλιού, μπορεί να αλλοιωθεί εξαιτίας του θορύβου. Ένα διακριτό κανάλι περιγράφεται πλήρως από ένα σύνολο πιθανοτήτων p i και p ij, όπου p i είναι η πιθανότητα να έχουμε στην είσοδο του καναλιού το iοστό σύμβολο του κωδικού αλφαβήτου και p ij η πιθανότητα το i-οστό σύμβολο στην είσοδο να ληφθεί στην έξοδο σαν j-οστό σύμβολο. Η υπό συνθήκη ποσότητα πληροφορίας Η(Χ/Υ) καλείται και αβεβαιότητα και εκφράζει το πόσο αβέβαιοι είμαστε ως προς το σύμβολο της εισόδου x αν στην έξοδο έχει ληφθεί το y. H υπό συνθήκη εντροπία είναι ένα μέτρο της μέσης αβεβαιότητας ως προς Χ, όταν είναι γνωστό το Υ. Το Η(Υ/Χ) μπορεί να ορισθεί ως η μέση αβεβαιότητα ως προς το y αν το x είναι γνωστό, η οποία οφείλεται στην επενέργεια του θορύβου. 25
26 Διακριτά Κανάλια Επικοινωνίας Η αμοιβαία πληροφορία μεταξύ της εισόδου και της εξόδου του καναλιού μπορεί να θεωρηθεί ως η αβεβαιότητα ως προς το σύμβολο x πριν από τη λήψη του y, μειωμένη κατά την αβεβαιότητα που παραμένει ως προς x μετά τη λήψη y και με δεδομένο το y. Οι πιθανότητες p ij p(y j /x i ), p(x i /y j ) αντιπροσωπεύουν την επίδραση του θορύβου στο κανάλι επικοινωνίας και είναι αυτές ακριβώς που το χαρακτηρίζουν. Οι πιθανότητες αυτές σχηματίζουν τον πίνακα πιθανοτήτων μετάβασης του καναλιού που ονομάζεται και πίνακας μετάβασης του καναλιού. Η χωρητικότητα C ενός διακριτού ενθόρυβου καναλιού χωρίς μνήμη, δίνεται από τη σχέση: C = max p(x) I X; Y = max p(x) {H(Y) H(Y/X)} = max p(x) {H(X) H(X/Y)} 26
Θεωρία Πληροφορίας. Διάλεξη 4: Διακριτή πηγή πληροφορίας χωρίς μνήμη. Δρ. Μιχάλης Παρασκευάς Επίκουρος Καθηγητής
Θεωρία Πληροφορίας Διάλεξη 4: Διακριτή πηγή πληροφορίας χωρίς μνήμη Δρ. Μιχάλης Παρασκευάς Επίκουρος Καθηγητής 1 Ατζέντα Διακριτή πηγή πληροφορίας χωρίς μνήμη Ποσότητα πληροφορίας της πηγής Κωδικοποίηση
Θεωρία Πληροφορίας. Διάλεξη 5: Διακριτή πηγή πληροφορίας με μνήμη. Δρ. Μιχάλης Παρασκευάς Επίκουρος Καθηγητής
Θεωρία Πληροφορίας Διάλεξη 5: Διακριτή πηγή πληροφορίας με μνήμη Δρ. Μιχάλης Παρασκευάς Επίκουρος Καθηγητής 1 Ατζέντα 1. Διακριτές πηγές πληροφορίας με μνήμη Μαρκοβιανές αλυσίδες Τάξη μακροβιανών αλυσίδων
ΕΛΛΗΝΙΚΟ ΑΝΟΙΚΤΟ ΠΑΝΕΠΙΣΤΗΜΙΟ
Θ.Ε. ΠΛΗ22 (2012-13) ΓΡΑΠΤΗ ΕΡΓΑΣΙΑ #4. Έκδοση v2 με διόρθωση τυπογραφικού λάθους στο ερώτημα 6.3 Στόχος: Βασικό στόχο της 4 ης εργασίας αποτελεί η εξοικείωση με τα μέτρα ποσότητας πληροφορίας τυχαίων
ΘΕΩΡΙΑ ΠΛΗΡΟΦΟΡΙΑΣ. Κεφάλαιο 3 : Πηγές Πληροφορίας Χρήστος Ξενάκης. Πανεπιστήμιο Πειραιώς, Τμήμα Ψηφιακών Συστημάτων
ΘΕΩΡΙΑ ΠΛΗΡΟΦΟΡΙΑΣ Κεφάλαιο 3 : Πηγές Πληροφορίας Χρήστος Ξενάκης Πανεπιστήμιο Πειραιώς, Τμήμα Ψηφιακών Συστημάτων Περιεχόμενα Διακριτές Πηγές Πληροφορίας χωρίς μνήμη Ποσότητα πληροφορίας της πηγής Κωδικοποίηση
Χρήστος Ξενάκης. Πανεπιστήμιο Πειραιώς, Τμήμα Ψηφιακών Συστημάτων
ΘΕΩΡΙΑ ΠΛΗΡΟΦΟΡΙΑΣ Κεφάλαιο 2 : Πληροφορία και Εντροπία Χρήστος Ξενάκης Πανεπιστήμιο Πειραιώς, Τμήμα Ψηφιακών Συστημάτων Περιεχόμενα Πληροφορία Μέτρο πληροφορίας Μέση πληροφορία ή Εντροπία Από κοινού εντροπία
ΘΕΩΡΙΑ ΠΛΗΡΟΦΟΡΙΑΣ. Κεφάλαιο 2 : Πληροφορία και Εντροπία Διάλεξη: Κώστας Μαλιάτσος Χρήστος Ξενάκης, Κώστας Μαλιάτσος
ΘΕΩΡΙΑ ΠΛΗΡΟΦΟΡΙΑΣ Κεφάλαιο 2 : Πληροφορία και Εντροπία Διάλεξη: Κώστας Μαλιάτσος Χρήστος Ξενάκης, Κώστας Μαλιάτσος Πανεπιστήμιο Πειραιώς, Τμήμα Ψηφιακών Συστημάτων Περιεχόμενα Πιθανότητες Πληροφορία Μέτρο
ΕΑΠ/ΠΛΗ22/ΑΘΗ-4. 3 η ΟΣΣ
ΕΑΠ/ΠΛΗ22/ΑΘΗ-4 3 η ΟΣΣ 08.02.205 Ν.Δημητρίου Σημείωση: Η παρουσίαση αυτή είναι συμπληρωματική της ύλης των βιβλίων (τόμος Β / μέρη Α,Β και τόμος Α ) καθώς και των 2 παρουσιάσεων στο study.eap.gr (oss3_plh22_digicomms_205,
Χρήστος Ξενάκης. Πανεπιστήμιο Πειραιώς, Τμήμα Ψηφιακών Συστημάτων
ΘΕΩΡΙΑ ΠΛΗΡΟΦΟΡΙΑΣ Κεφάλαιο 3 : Πηγές Πληροφορίας Χρήστος Ξενάκης Πανεπιστήμιο Πειραιώς, Τμήμα Ψηφιακών Συστημάτων Περιεχόμενα Διακριτές Πηγές Πληροφορίας χωρίς μνήμη Ποσότητα πληροφορίας της πηγής Κωδικοποίηση
Χρήστος Ξενάκης. Πανεπιστήμιο Πειραιώς, Τμήμα Ψηφιακών Συστημάτων
ΘΕΩΡΙΑ ΠΛΗΡΟΦΟΡΙΑΣ Κεφάλαιο 9 : Κανάλι-Σύστημα Χρήστος Ξενάκης Πανεπιστήμιο Πειραιώς, Τμήμα Ψηφιακών Συστημάτων Περιεχόμενα Ομιλίας Χωρητικότητα Χ ό καναλιού Το Gaussian κανάλι επικοινωνίας Τα διακριτά
Συμπίεση Δεδομένων
Συμπίεση Δεδομένων 2014-2015 Ρυθμός κωδικοποίησης Ένας κώδικας που απαιτεί L bits για την κωδικοποίηση μίας συμβολοσειράς N συμβόλων που εκπέμπει μία πηγή έχει ρυθμό κωδικοποίησης (μέσο μήκος λέξης) L
( ) log 2 = E. Σεραφείµ Καραµπογιάς
Παρατηρούµε ότι ο ορισµός της Η βασίζεται στη χρονική µέση τιµή. Για να ισχύει ο ορισµός αυτός και για µέση τιµή συνόλου πρέπει η πηγή να είναι εργοδική, δηλαδή H ( X) ( ) = E log 2 p k Η εντροπία µιας
Σεραφείµ Καραµπογιάς. Πηγές Πληροφορίας και Κωδικοποίηση Πηγής 6.3-1
Ο αλγόριθµος Lempel-iv Ο αλγόριθµος Lempel-iv ανήκει στην κατηγορία των καθολικών universal αλγορίθµων κωδικοποίησης πηγής δηλαδή αλγορίθµων που είναι ανεξάρτητοι από τη στατιστική της πηγής. Ο αλγόριθµος
ΕΑΠ/ΠΛΗ22/ΑΘΗ-3. 3 η ΟΣΣ
ΕΑΠ/ΠΛΗ22/ΑΘΗ-3 3 η ΟΣΣ 04.02.207 Ν.Δημητρίου Σημείωση: Η παρουσίαση αυτή είναι συμπληρωματική της ύλης των βιβλίων (τόμος Β / μέρη Α,Β και τόμος Α ) καθώς και των 2 παρουσιάσεων στο study.eap.gr (oss3_plh22_digicomms_207,
Θεωρία πληροφοριών. Τεχνολογία Πολυµέσων 07-1
Θεωρία πληροφοριών Εισαγωγή Αµοιβαία πληροφορία Εσωτερική πληροφορία Υπό συνθήκη πληροφορία Παραδείγµατα πληροφορίας Μέση πληροφορία και εντροπία Παραδείγµατα εντροπίας Εφαρµογές Τεχνολογία Πολυµέσων 07-
ΕΑΠ/ΠΛΗ22/ΑΘΗ-4. 3 η ΟΣΣ
ΕΑΠ/ΠΛΗ22/ΑΘΗ-4 3 η ΟΣΣ 06.02.2016 Ν.Δημητρίου Σημείωση: Η παρουσίαση αυτή είναι συμπληρωματική της ύλης των βιβλίων (τόμος Β / μέρη Α,Β και τόμος Α ) καθώς και των 2 παρουσιάσεων στο study.eap.gr (PLH22_3rdOSS_2015_16,
Θέματα Συστημάτων Πολυμέσων
Θέματα Συστημάτων Πολυμέσων Ενότητα # 6: Στοιχεία Θεωρίας Πληροφορίας Διδάσκων: Γεώργιος K. Πολύζος Τμήμα: Μεταπτυχιακό Πρόγραμμα Σπουδών Επιστήμη των Υπολογιστών Άδειες Χρήσης Το παρόν εκπαιδευτικό υλικό
Δίαυλος Πληροφορίας. Δρ. Α. Πολίτης
Δίαυλος Πληροφορίας Η λειτουργία του διαύλου πληροφορίας περιγράφεται από: Τον πίνακα διαύλου μαθηματική περιγραφή. Το διάγραμμα διάυλου παραστατικός τρόπος περιγραφής. Πίνακας Διαύλου Κατασκευάζεται με
Θέματα Συστημάτων Πολυμέσων
Θέματα Συστημάτων Πολυμέσων Ενότητα # 5: Βασική Θεωρία Πληροφορίας Διδάσκων: Γεώργιος Πολύζος Τμήμα: Μεταπτυχιακό Πρόγραμμα Σπουδών Επιστήμη των Υπολογιστών Άδειες χρήσης Το παρόν εκπαιδευτικό υλικό υπόκειται
Απαντήσεις σε απορίες
Ερώτηση Η µέση ποσότητα πληροφορίας κατά Shannon είναι Η(Χ)=-Σp(xi)logp(xi)...σελ 28 Στο παραδειγµα.3 στη σελιδα 29 στο τέλος δεν καταλαβαίνω πως γίνεται η εφαρµογή του παραπάνω τύπου ηλαδη δεν βλεπω συντελεστη
ΕΛΛΗΝΙΚΟ ΑΝΟΙΚΤΟ ΠΑΝΕΠΙΣΤΗΜΙΟ
Θ.Ε. ΠΛΗ (0-3) ΓΡΑΠΤΗ ΕΡΓΑΣΙΑ #4 Στόχος : Βασικό στόχο της 4 ης εργασίας αποτελεί η εξοικείωση με τα μέτρα ποσότητας πληροφορίας τυχαίων μεταβλητών (Κεφάλαιο ), τις σχετικές έννοιες και τα μέτρα διακριτών
Τεχνολογία Πολυμέσων. Ενότητα # 7: Θεωρία πληροφορίας Διδάσκων: Γεώργιος Ξυλωμένος Τμήμα: Πληροφορικής
Τεχνολογία Πολυμέσων Ενότητα # 7: Θεωρία πληροφορίας Διδάσκων: Γεώργιος Ξυλωμένος Τμήμα: Πληροφορικής Χρηματοδότηση Το παρόν εκπαιδευτικό υλικό έχει αναπτυχθεί στα πλαίσια του εκπαιδευτικού έργου του διδάσκοντα.
Συμπίεση χωρίς Απώλειες
Συμπίεση χωρίς Απώλειες Στόχοι της συμπίεσης δεδομένων: Μείωση του απαιτούμενου χώρου αποθήκευσης των δεδομένων. Περιορισμός της απαιτούμενης χωρητικότητας διαύλου επικοινωνίας για την μετάδοση. μείωση
Δίαυλος Πληροφορίας. Η λειτουργία του περιγράφεται από:
Δίαυλος Πληροφορίας Η λειτουργία του περιγράφεται από: Πίνακας Διαύλου (μαθηματική περιγραφή) Διάγραμμα Διαύλου (παραστατικός τρόπος περιγραφής της λειτουργίας) Πίνακας Διαύλου Χρησιμοποιούμε τις υπό συνθήκη
Εισαγωγή στη θεωρία πληροφορίας
Θεωρία πληροφορίας Εισαγωγή στη θεωρία πληροφορίας Τηλεπικοινωνιακά συστήματα Όλα τα τηλεπικοινωνιακά συστήματα σχεδιάζονται για να μεταφέρουν πληροφορία Σε κάθε τηλεπικοινωνιακό σύστημα υπάρχει μια πηγή
Ψηφιακές Τηλεπικοινωνίες
Ψηφιακές Τηλεπικοινωνίες Θεωρία Πληροφορίας: Χωρητικότητα Καναλιού Χωρητικότητα Καναλιού Η θεωρία πληροφορίας περιλαμβάνει μεταξύ άλλων: κωδικοποίηση πηγής κωδικοποίηση καναλιού Κωδικοποίηση πηγής: πόση
Δομές Δεδομένων και Αλγόριθμοι
Δομές Δεδομένων και Αλγόριθμοι Χρήστος Γκόγκος ΤΕΙ Ηπείρου Χειμερινό Εξάμηνο 2014-2015 Παρουσίαση 20 Huffman codes 1 / 12 Κωδικοποίηση σταθερού μήκους Αν χρησιμοποιηθεί κωδικοποίηση σταθερού μήκους δηλαδή
Μάθημα Εισαγωγή στις Τηλεπικοινωνίες Κωδικοποίηση πηγής- καναλιού Μάθημα 9o
Μάθημα Εισαγωγή στις Τηλεπικοινωνίες Κωδικοποίηση πηγής- καναλιού Μάθημα 9o ΕΘΝΙΚΟ & ΚΑΠΟΔΙΣΤΡΙΑΚΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΑΘΗΝΩΝ Τομέας Επικοινωνιών και Επεξεργασίας Σήματος Τμήμα Πληροφορικής & Τηλεπικοινωνιών
EE728 (22Α004) - Προχωρημένα Θέματα Θεωρίας Πληροφορίας 3η σειρά ασκήσεων Διακριτά και Συνεχή Κανάλια. Παράδοση: Έως 22/6/2015
EE728 (22Α004) - Προχωρημένα Θέματα Θεωρίας Πληροφορίας Φυλλάδιο 13 Δ. Τουμπακάρης 30 Μαΐου 2015 EE728 (22Α004) - Προχωρημένα Θέματα Θεωρίας Πληροφορίας 3η σειρά ασκήσεων Διακριτά και Συνεχή Κανάλια Παράδοση:
Θεώρημα κωδικοποίησης πηγής
Κωδικοποίηση Kωδικοποίηση πηγής Θεώρημα κωδικοποίησης πηγής Καθορίζει ένα θεμελιώδες όριο στον ρυθμό με τον οποίο η έξοδος μιας πηγής πληροφορίας μπορεί να συμπιεσθεί χωρίς να προκληθεί μεγάλη πιθανότητα
Θεωρία της Πληροφορίας 3 ο Εξάμηνο
Σμήμα Πληροφορικής & Επικοινωνιών Θεωρία της Πληροφορίας 3 ο Εξάμηνο Τομέας Τηλεπικοινωνιών και Δικτύων Δρ. Αναστάσιος Πολίτης Καθηγητής Εφαρμογών 1 Διεξαγωγή και Εξέταση του Μαθήματος Μάθημα Πώς? 13 Διαλέξεις.
ΕΕ728 Προχωρηµένα Θέµατα Θεωρίας Πληροφορίας 2η διάλεξη (3η έκδοση, 11/3)
ΕΕ728 Προχωρηµένα Θέµατα Θεωρίας Πληροφορίας 2η διάλεξη (3η έκδοση, 11/3) ηµήτρης-αλέξανδρος Τουµπακάρης Τµήµα ΗΜ&ΤΥ, Πανεπιστήµιο Πατρών 19 Φεβρουαρίου 2013 ηµήτρης-αλέξανδρος Τουµπακάρης Προχωρηµένα
d k 10 k + d k 1 10 k d d = k i=0 d i 10 i.
Διακριτά Μαθηματικά ΙΙ Χρήστος Νομικός Τμήμα Μηχανικών Η/Υ και Πληροφορικής Πανεπιστήμιο Ιωαννίνων 2018 Χρήστος Νομικός ( Τμήμα Μηχανικών Η/Υ Διακριτά και Πληροφορικής Μαθηματικά Πανεπιστήμιο ΙΙ Ιωαννίνων
1 Βασικές Έννοιες Θεωρίας Πληροφορίας
1 Βασικές Έννοιες Θεωρίας Πληροφορίας Εντροπία τυχαίων μεταβλητών X, Y : H(X) = E [log Pr(x)] (1) H(X, Y ) = E [log Pr(x, y)] (2) H(X Y ) = E [log Pr(x y)] (3) Ιδιότητες Εντροπίας: Νόμος Bayes: Pr(y x)
Μέρος ΙΙ. Τυχαίες Μεταβλητές
Μέρος ΙΙ. Τυχαίες Μεταβλητές Ορισμοί Συναρτήσεις κατανομής πιθανότητας και πυκνότητας πιθανότητας Διακριτές τυχαίες μεταβλητές Ειδικές κατανομές διακριτών τυχαίων μεταβλητών Συνεχείς τυχαίες μεταβλητές
Συμπίεση Δεδομένων
Συμπίεση Δεδομένων 014-015 Μοναδικά Αποκωδικοποιήσιμοι Κώδικες Δρ. Ν. Π. Σγούρος Έλεγος μοναδικής Αποκωδικοποίησης Γενικοί ορισμοί Έστω δύο κωδικές λέξεις α,β με μήκη,m και
Ψηφιακές Τηλεπικοινωνίες
Ψηφιακές Τηλεπικοινωνίες Θεωρία Πληροφορίας: Κωδικοποίηση Πηγής Ψηφιακή Μετάδοση Υπάρχουν ιδιαίτερα εξελιγμένες τεχνικές αναλογικής μετάδοσης (που ακόμη χρησιμοποιούνται σε ορισμένες εφαρμογές) Επίσης,
Αριθμητική Κωδικοποίηση
Αριθμητική Κωδικοποίηση Ο κώδικας Huffmann είναι βέλτιστος γιατί παράγει συμπαγή κώδικα για δεδομένες πιθανότητες Συμπαγής κώδικας: Δεν υπάρχει άλλος με μικρότερο μέσο μήκος κωδικής λέξης Δεν είναι 100%
ΕΕ728 Προχωρηµένα Θέµατα Θεωρίας Πληροφορίας 4η διάλεξη (4η έκδοση, 11/3/2013)
ΕΕ728 Προχωρηµένα Θέµατα Θεωρίας Πληροφορίας 4η διάλεξη (4η έκδοση, 11/3/2013) ηµήτρης-αλέξανδρος Τουµπακάρης Τµήµα ΗΜ&ΤΥ, Πανεπιστήµιο Πατρών 5 Μαρτίου 2013 ηµήτρης-αλέξανδρος Τουµπακάρης Προχωρηµένα
Τηλεπικοινωνιακά Συστήματα ΙΙ
Τηλεπικοινωνιακά Συστήματα ΙΙ Διάλεξη 13: Συνελικτικοί Κώδικες Δρ. Μιχάλης Παρασκευάς Επίκουρος Καθηγητής 1 Κώδικες: Εισαγωγή Συνελικτικοί κώδικες Ατζέντα Ιστορική αναδρομή Μαθηματικό υπόβαθρο Αναπαράσταση
ΚΕΦΑΛΑΙΟ ΠΕΜΠΤΟ ΘΕΩΡΙΑ ΠΛΗΡΟΦΟΡΙΑΣ
ΚΕΦΑΛΑΙΟ ΠΕΜΠΤΟ ΘΕΩΡΙΑ ΠΛΗΡΟΦΟΡΙΑΣ 5. Εισαγωγή Ο σκοπός κάθε συστήματος τηλεπικοινωνιών είναι η μεταφορά πληροφορίας από ένα σημείο (πηγή) σ ένα άλλο (δέκτης). Συνεπώς, κάθε μελέτη ενός τέτοιου συστήματος
Αθανάσιος Χρ. Τζέμος Τομέας Θεωρητικής Φυσικής. Εντροπία Shannon
Αθανάσιος Χρ. Τζέμος Τομέας Θεωρητικής Φυσικής Εντροπία Shannon Ένα από τα βασικά ερωτήματα της θεωρίας της πληροφορίας ήταν ανέκαθεν το πώς θα μπορούσε να ποσοτικοποιηθεί η πληροφορία, ώστε να μπορούμε
Ψηφιακές Τηλεπικοινωνίες. Θεωρία Ρυθμού Παραμόρφωσης
Ψηφιακές Τηλεπικοινωνίες Θεωρία Ρυθμού Παραμόρφωσης Θεωρία Ρυθμού-Παραμόρφωσης Θεώρημα Κωδικοποίησης Πηγής: αν έχω αρκετά μεγάλο μπλοκ δεδομένων, μπορώ να φτάσω κοντά στην εντροπία Πιθανά Προβλήματα: >
ΠΛΗ21 Κεφάλαιο 2. ΠΛΗ21 Ψηφιακά Συστήματα: Τόμος Α Κεφάλαιο: 2 Δυαδική Κωδικοποίηση
Ψηφιακά Συστήματα: Τόμος Α Κεφάλαιο: 2 Δυαδική Κωδικοποίηση Στόχοι του κεφαλαίου είναι να γνωρίσουμε: Τι είναι Κώδικας Τι είναι αλφάβητο & λέξεις ενός κώδικα Τι είναι οι δυαδικές λέξεις Το πλήθος των λέξεων
ιαφορική εντροπία Σεραφείµ Καραµπογιάς
ιαφορική εντροπία Σεραφείµ Καραµπογιάς Για πηγές διακριτού χρόνου µε συνεχές αλφάβητο, των οποίων οι έξοδοι είναι πραγµατικοί αριθµοί, ορίζεται µια άλλη ποσότητα που µοιάζει µε την εντροπία και καλείται
Θεωρία τησ Πληροφορίασ (Θ) ΔΙΔΑΚΩΝ: Δρ. Αναςτάςιοσ Πολίτησ
Θεωρία τησ Πληροφορίασ (Θ) Ενότητα 4: Συμπίεςη χωρίσ Απώλειεσ ΔΙΔΑΚΩΝ: Δρ. Αναςτάςιοσ Πολίτησ ΧΟΛΗ ΣΕΧΝΟΛΟΓΙΚΩΝ ΕΦΑΡΜΟΓΩΝ ΣΜΗΜΑ ΜΗΧΑΝΙΚΩΝ ΠΛΗΡΟΦΟΡΙΚΗ ΣΕ Άδειεσ Χρήςησ Σο παρόν εκπαιδευτικό υλικό υπόκειται
Κώδικες µεταβλητού µήκους
6 Κώδικες µεταβλητού µήκους Στο κεφάλαιο αυτό µελετώνται οι κώδικες µεταβλητού µήκους, στους οποίους όλες οι λέξεις δεν έχουν το ίδιο µήκος και δίνονται οι µέ- ϑοδοι Fano-Shannon και Huffman για την κατασκευή
ΤΥΧΑΙΟΙ ΑΡΙΘΜΟΙ - ΠΡΟΣΟΜΟΙΩΣΗ
ΚΕΦΑΛΑΙΟ 11 ΤΥΧΑΙΟΙ ΑΡΙΘΜΟΙ - ΠΡΟΣΟΜΟΙΩΣΗ ΤΥΧΑΙΟΙ ΑΡΙΘΜΟΙ Θα εισαγάγουμε την έννοια του τυχαίου αριθμού με ένα παράδειγμα. Παράδειγμα: Θεωρούμε μια τυχαία μεταβλητή με συνάρτηση πιθανότητας η οποία σε
Κεφάλαιο 2 Πληροφορία και εντροπία
Κεφάλαιο 2 Πληροφορία και εντροπία Άσκηση. Έστω αλφάβητο Α={0,} και δύο πηγές p και q. Έστω οτι p(0)=-r, p()=r, q(0)=-s και q()=s. Να υπολογιστούν οι σχετικές εντροπίες Η(Α,p/q) και Η(Α,q/p). Να γίνει
Πρόλογος 1. 1 Μαθηµατικό υπόβαθρο 9
Πρόλογος 1 Μαθηµατικό υπόβαθρο 7 1 Μαθηµατικό υπόβαθρο 9 1.1 Η αριθµητική υπολοίπων.............. 10 1.2 Η πολυωνυµική αριθµητική............ 14 1.3 Θεωρία πεπερασµένων οµάδων και σωµάτων.... 17 1.4 Πράξεις
Τυχαία μεταβλητή (τ.μ.)
Τυχαία μεταβλητή (τ.μ.) Τυχαία μεταβλητή (τ.μ.) είναι μια συνάρτηση X ( ) με πεδίο ορισμού το δειγματικό χώρο Ω του πειράματος και πεδίο τιμών ένα υποσύνολο πραγματικών αριθμών που συμβολίζουμε συνήθως
Οικονομικό Πανεπιστήμιο Αθηνών Τμήμα Πληροφορικής ΠΜΣ Κρυπτογραφία και Εφαρμογές
Οικονομικό Πανεπιστήμιο Αθηνών Τμήμα Πληροφορικής ΠΜΣ Κρυπτογραφία και Εφαρμογές Μαριάς Ιωάννης Μαρκάκης Ευάγγελος marias@aueb.gr markakis@gmail.com Περίληψη Shannon theory Εντροπία Μελέτη κρυπτοσυστηµάτων
22Α004 - Προχωρημένα Θέματα Θεωρίας Πληροφορίας Τελική Εξέταση
22A004 (eclass EE278) Προχωρημένα Θέματα Θεωρίας Πληροφορίας Φυλλάδιο 11 Δ. Τουμπακάρης 6 Ιουνίου 2013 22Α004 - Προχωρημένα Θέματα Θεωρίας Πληροφορίας Τελική Εξέταση Διάρκεια Εξέτασης: 3 ώρες. 4 ασκήσεις
Πανεπιστήμιο Πειραιά Τμήμα Ψηφιακών Συστημάτων. Κρυπτογραφία. Κρυπτοαλγόριθμοι. Χρήστος Ξενάκης
Πανεπιστήμιο Πειραιά Τμήμα Ψηφιακών Συστημάτων Κρυπτογραφία Κρυπτοαλγόριθμοι Χρήστος Ξενάκης Θεωρία Πληροφορίας Η Θεωρία πληροφορίας (Shannon 1948 1949) σχετίζεται με τις επικοινωνίες και την ασφάλεια
Περιεχόμενα 1 Κωδικοποίησ η Πηγής 2 Χωρητικότητα Διακριτών Καναλιών 2 / 21
Θεωρία Πληροφορίας και Στοιχεία Κωδίκων Κωδικοποίησ η Πηγής και Χωρητικότητα Διακριτών Καναλιών Διδάσ κων: Καλουπτσ ίδης Νικόλαος Επιμέλεια: Κατσ άνος Κωνσ ταντίνος Τμήμα Πληροφορικής και Τηλεπικοινωνιών
ΠΑΝΕΠΙΣΤΗΜΙΟ ΠΕΛΟΠΟΝΝΗΣΟΥ
ΠΑΝΕΠΙΣΤΗΜΙΟ ΠΕΛΟΠΟΝΝΗΣΟΥ ΤΜΗΜΑ ΕΠΙΣΤΗΜΗΣ & ΤΕΧΝΟΛΟΓΙΑΣ ΤΗΛΕΠΙΚΟΙΝΩΝΙΩΝ ΜΔΕ Προηγμένα Τηλεπικοινωνιακά Συστήματα και Δίκτυα Διάλεξη 4 η Νικόλαος Χ. Σαγιάς Επίκουρος Καθηγητής Webpage: hp://ecla.uop.gr/coure/tst25
Κωδικοποίηση Πηγής. Η λειτουργία ενός συστήματος επικοινωνίας (γενικό διάγραμμα):
Κωδικοποίηση Πηγής Η λειτουργία ενός συστήματος επικοινωνίας (γενικό διάγραμμα): Coder Decoder Μεταξύ πομπού-καναλιού παρεμβάλλεται ο κωδικοποιητής (coder). Έργο του: η αντικατάσταση των συμβόλων πληροφορίας
Πίνακες Διασποράς. Χρησιμοποιούμε ένα πίνακα διασποράς T και μια συνάρτηση διασποράς h. Ένα στοιχείο με κλειδί k αποθηκεύεται στη θέση
Πίνακες Διασποράς Χρησιμοποιούμε ένα πίνακα διασποράς T και μια συνάρτηση διασποράς h Ένα στοιχείο με κλειδί k αποθηκεύεται στη θέση κλειδί k T 0 1 2 3 4 5 6 7 U : χώρος πιθανών κλειδιών Τ : πίνακας μεγέθους
Ασκήσεις μελέτης της 16 ης διάλεξης
Οικονομικό Πανεπιστήμιο Αθηνών, Τμήμα Πληροφορικής Μάθημα: Τεχνητή Νοημοσύνη, 016 17 Διδάσκων: Ι. Ανδρουτσόπουλος Ασκήσεις μελέτης της 16 ης διάλεξης 16.1. (α) Έστω ένα αντικείμενο προς κατάταξη το οποίο
ΜΕΘΟΔΟΛΟΓΙΕΣ & ΑΣΚΗΣΕΙΣ ΓΙΑ ΤΗΝ ΑΛΓΕΒΡΑ ΤΗΣ Α ΛΥΚΕΙΟΥ
ΜΕΘΟΔΟΛΟΓΙΕΣ & ΑΣΚΗΣΕΙΣ ΓΙΑ ΤΗΝ ΑΛΓΕΒΡΑ ΤΗΣ Α ΛΥΚΕΙΟΥ Επιμέλεια : Παλαιολόγου Παύλος Μαθηματικός Αγαπητοί μαθητές. αυτό το βιβλίο αποτελεί ένα βοήθημα στην ύλη της Άλγεβρας Α Λυκείου, που είναι ένα από
Επεξεργασία Πολυµέσων. Δρ. Μαρία Κοζύρη Π.Μ.Σ. «Εφαρµοσµένη Πληροφορική» Τµήµα Ηλεκτρολόγων Μηχανικών & Μηχανικών Υπολογιστών Πανεπιστήµιο Θεσσαλίας
Π.Μ.Σ. «Εφαρµοσµένη Πληροφορική» Τµήµα Ηλεκτρολόγων Μηχανικών & Μηχανικών Υπολογιστών Πανεπιστήµιο Θεσσαλίας Ενότητα 3: Επισκόπηση Συµπίεσης 2 Θεωρία Πληροφορίας Κωδικοποίηση Θεµελιώθηκε απο τον Claude
ΠΑΝΕΠΙΣΤΗΜΙΟ ΚΥΠΡΟΥ, ΤΜΗΜΑ ΠΛΗΡΟΦΟΡΙΚΗΣ
ΠΑΝΕΠΙΣΤΗΜΙΟ ΚΥΠΡΟΥ, ΤΜΗΜΑ ΠΛΗΡΟΦΟΡΙΚΗΣ ΕΠΛ 4: ΣΥΣΤΗΜΑΤΑ ΠΟΛΥΜΕΣΩΝ Θεωρητικές Ασκήσεις (# ): ειγµατοληψία, κβαντοποίηση και συµπίεση σηµάτων. Στην τηλεφωνία θεωρείται ότι το ουσιαστικό περιεχόµενο της
Τηλεπικοινωνιακά Συστήματα ΙΙ
Τηλεπικοινωνιακά Συστήματα ΙΙ Διάλεξη 1: Χωρητικότητα Καναλιών Το θεώρημα Shannon - Hartley Δρ. Μιχάλης Παρασκευάς Επίκουρος Καθηγητής 1 Ατζέντα 1. Δυαδική σηματοδοσία 2. Μορφές δυαδικής σηματοδοσίας 3.
Ορισμός : Η συνάρτηση X : Ω είναι μετρήσιμη εάν 1. της τυχαίας μεταβλητής X : Ω, είναι το πεδίο τιμών της X. Δηλαδή είναι το υποσύνολο του { }
Ορισμός : Η συνάρτηση : Ω είναι μετρήσιμη εάν B B B B = ω Ω : ω B = B { όπου { { Μία μετρήσιμη συνάρτηση : Ω ονομάζεται τυχαία μεταβλητή Ορισμός: Ο χώρος καταστάσεων της τυχαίας μεταβλητής : Ω είναι το
Τεχνολογία Πολυμέσων. Ενότητα # 9: Κωδικοποίηση εντροπίας Διδάσκων: Γεώργιος Ξυλωμένος Τμήμα: Πληροφορικής
Τεχνολογία Πολυμέσων Ενότητα # 9: Κωδικοποίηση εντροπίας Διδάσκων: Γεώργιος Ξυλωμένος Τμήμα: Πληροφορικής Χρηματοδότηση Το παρόν εκπαιδευτικό υλικό έχει αναπτυχθεί στα πλαίσια του εκπαιδευτικού έργου του
Κεφάλαιο 13 Αντισταθμιστική Ανάλυση
Κεφάλαιο 13 Αντισταθμιστική Ανάλυση Περιεχόμενα 13.1 Αντισταθμιστική Ανάλυση... 248 13.2 Μέθοδοι Αντισταθμιστικής Ανάλυσης... 250 13.2.1 Η χρεωπιστωτική μέθοδος... 250 13.2.2 Η ενεργειακή μέθοδος... 251
ΕΕ728 Προχωρηµένα Θέµατα Θεωρίας Πληροφορίας 11η διάλεξη
ΕΕ728 Προχωρηµένα Θέµατα Θεωρίας Πληροφορίας 11η διάλεξη ηµήτρης-αλέξανδρος Τουµπακάρης Τµήµα ΗΜ&ΤΥ, Πανεπιστήµιο Πατρών 17 Μαΐου 2011 (2η έκδοση, 21/5/2011) ηµήτρης-αλέξανδρος Τουµπακάρης Προχωρηµένα
Ορισμός : Η συνάρτηση X : Ω είναι μετρήσιμη εάν 1. της τυχαίας μεταβλητής X : Ω, είναι το πεδίο τιμών της X. Δηλαδή είναι το υποσύνολο του { }
Ορισμός : Η συνάρτηση : Ω είναι μετρήσιμη εάν B B B B = ω Ω : ω B = B { όπου { { Μία μετρήσιμη συνάρτηση : Ω ονομάζεται τυχαία μεταβλητή Ορισμός: Ο χώρος καταστάσεων της τυχαίας μεταβλητής : Ω είναι το
Μαθηματικά Γ Γυμνασίου
Α λ γ ε β ρ ι κ έ ς π α ρ α σ τ ά σ ε ι ς 1.1 Πράξεις με πραγματικούς αριθμούς (επαναλήψεις συμπληρώσεις) A. Οι πραγματικοί αριθμοί και οι πράξεις τους Διδακτικοί στόχοι Θυμάμαι ποιοι αριθμοί λέγονται
Σήματα και Συστήματα. Διάλεξη 1: Σήματα Συνεχούς Χρόνου. Δρ. Μιχάλης Παρασκευάς Επίκουρος Καθηγητής
Σήματα και Συστήματα Διάλεξη 1: Σήματα Συνεχούς Χρόνου Δρ. Μιχάλης Παρασκευάς Επίκουρος Καθηγητής 1 Εισαγωγή στα Σήματα 1. Σκοποί της Θεωρίας Σημάτων 2. Κατηγορίες Σημάτων 3. Χαρακτηριστικές Παράμετροι
Ασκήσεις στο µάθηµα «Επισκόπηση των Τηλεπικοινωνιών»
Ασκήσεις στο µάθηµα «Επισκόπηση των Τηλεπικοινωνιών» Άσκηση 1 Πρόκειται να µεταδώσουµε δυαδικά δεδοµένα σε RF κανάλι µε. Αν ο θόρυβος του καναλιού είναι Gaussian - λευκός µε φασµατική πυκνότητα W, να βρεθεί
Κωδικοποίηση Πηγής. Δρ. Α. Πολίτης
Κωδικοποίηση Πηγής Coder Decoder Μεταξύ πομπού και καναλιού παρεμβάλλεται ο κωδικοποιητής (coder). Έργο του: η αντικατάσταση των συμβόλων πληροφορίας της πηγής με εναλλακτικά σύμβολα ή λέξεις. Κωδικοποίηση
Θεωρία Πληροφορίας. Διάλεξη 10: Κωδικοποίηση καναλιού με συνελικτικούς κώδικες. Δρ. Μιχάλης Παρασκευάς Επίκουρος Καθηγητής
Θεωρία Πληροφορίας Διάλεξη 10: Κωδικοποίηση καναλιού με συνελικτικούς κώδικες Δρ. Μιχάλης Παρασκευάς Επίκουρος Καθηγητής 1 Ατζέντα Κωδικοποίηση καναλιού: Σύντομη επανάληψη Συνελικτικοί κώδικες Ιστορική
ΚΕΦΑΛΑΙΟ 2 ΔΙΑΤΑΞΕΙΣ, ΜΕΤΑΘΕΣΕΙΣ, ΣΥΝΔΥΑΣΜΟΙ
ΚΕΦΑΛΑΙΟ ΔΙΑΤΑΞΕΙΣ ΜΕΤΑΘΕΣΕΙΣ ΣΥΝΔΥΑΣΜΟΙ Εισαγωγή. Οι σχηματισμοί που προκύπτουν με την επιλογή ενός συγκεκριμένου αριθμού στοιχείων από το ίδιο σύνολο καλούνται διατάξεις αν μας ενδιαφέρει η σειρά καταγραφή
Συμπίεση Δεδομένων Δοκιμής (Test Data Compression) Νικολός Δημήτριος, Τμήμα Μηχ. Ηλεκτρονικών Υπολογιστών & Πληροφορικής, Παν Πατρών
Συμπίεση Δεδομένων Δοκιμής (Test Data Compression), Παν Πατρών Test resource partitioning techniques ΑΤΕ Automatic Test Equipment (ATE) based BIST based Έλεγχος παραγωγής γής βασισμένος σε ΑΤΕ Μεγάλος
Θεωρία της Πληροφορίας 3 ο Εξάμηνο
Τμήμα Πληροφορικής & Επικοινωνιών Θεωρία της Πληροφορίας 3 ο Εξάμηνο Τομέας Τηλεπικοινωνιών και Δικτύων Δρ. Αναστάσιος Πολίτης Καθηγητής Εφαρμογών 1 Διεξαγωγή και Εξέταση του Μαθήματος Μάθημα Κάθε πότε?
ΑΛΓΕΒΡΑ Α ΛΥΚΕΙΟΥ. Γεώργιος Α. Κόλλιας - μαθηματικός. 150 ασκήσεις επανάληψης. και. Θέματα εξετάσεων
Γεώργιος Α. Κόλλιας - μαθηματικός Περιέχονται 50 συνδυαστικές ασκήσεις επανάληψης και θέματα εξετάσεων. Δεν συμπεριλαμβάνεται το κεφάλαιο των πιθανοτήτων, της γεωμετρικής προόδου, της μονοτονίας συνάρτησης,
Χρήστος Ξενάκης. Πανεπιστήμιο Πειραιώς, Τμήμα Ψηφιακών Συστημάτων
ΘΕΩΡΙΑ ΠΛΗΡΟΦΟΡΙΑΣ Κεφάλαιο 10 : Κωδικοποίηση καναλιού Χρήστος Ξενάκης Πανεπιστήμιο Πειραιώς, Τμήμα Ψηφιακών Συστημάτων Περιεχόμενα Ομιλίας Απόσταση και βάρος Hamming Τεχνικές και κώδικες ανίχνευσης &
ΠΑΝΕΠΙΣΤΗΜΙΟ ΠΕΛΟΠΟΝΝΗΣΟΥ
ΠΑΝΕΠΙΣΤΗΜΙΟ ΠΕΛΟΠΟΝΝΗΣΟΥ ΤΜΗΜΑ ΕΠΙΣΤΗΜΗΣ & ΤΕΧΝΟΛΟΓΙΑΣ ΤΗΛΕΠΙΚΟΙΝΩΝΙΩΝ ΜΔΕ Προηγμένα Τηλεπικοινωνιακά Συστήματα και Δίκτυα Διάλεξη 5 η Νικόλαος Χ. Σαγιάς Επίκουρος Καθηγητής Wepage: http://eclass.uop.gr/courses/tst233
Η πιθανότητα επομένως που ζητείται να υπολογίσουμε, είναι η P(A 1 M 2 ). Η πιθανότητα αυτή μπορεί να γραφεί ως εξής:
Άσκηση 1: Ένα κουτί περιέχει 3 άσπρες και 2 μαύρες μπάλες. Αφαιρούμε τυχαία δύο μπάλες διαδοχικά. Ποια η πιθανότητα η πρώτη μπάλα να είναι άσπρη και η δεύτερη μπάλα να είναι μαύρη; Λύση: Αρχικά ορίζουμε
Αριθμητική Κωδικοποίηση
Αριθμητική Κωδικοποίηση Σύμβολο Πιθανότητα a 0,2 b 0,5 c 0,3 Αντιστοίχιση κάθε συμβόλου σε τμήμα του διαστήματος [0, 1] ανάλογα με την πιθανότητα εμφάνισής του. Αναπαράσταση του συμβόλου με έναν αριθμό
Υπάρχουν δύο τύποι μνήμης, η μνήμη τυχαίας προσπέλασης (Random Access Memory RAM) και η μνήμη ανάγνωσης-μόνο (Read-Only Memory ROM).
Μνήμες Ένα από τα βασικά πλεονεκτήματα των ψηφιακών συστημάτων σε σχέση με τα αναλογικά, είναι η ευκολία αποθήκευσης μεγάλων ποσοτήτων πληροφοριών, είτε προσωρινά είτε μόνιμα Οι πληροφορίες αποθηκεύονται
ΒΑΣΙΚΑ ΘΕΜΑΤΑ ΑΠΟ ΤΟ ΒΙΒΛΙΟ ΤΟΥ ΦΡΟΝΤΙΣΤΗΡΙΟΥ
ΒΑΣΙΚΑ ΘΕΜΑΤΑ ΑΠΟ ΤΟ ΒΙΒΛΙΟ ΤΟΥ ΦΡΟΝΤΙΣΤΗΡΙΟΥ. Δύο ομάδες Ο, Ο παίζουν μεταξύ τους σε μια σχολική ποδοσφαιρική συνάντηση (οι αγώνες δεν τελειώνουν ποτέ με ισοπαλία). Νικήτρια θεωρείται η ομάδα που θα νικήσει
Διακριτά Μαθηματικά ΙΙ Χρήστος Νομικός Τμήμα Μηχανικών Η/Υ και Πληροφορικής Πανεπιστήμιο Ιωαννίνων 2018 Χρήστος Νομικός ( Τμήμα Μηχανικών Η/Υ Διακριτά
Διακριτά Μαθηματικά ΙΙ Χρήστος Νομικός Τμήμα Μηχανικών Η/Υ και Πληροφορικής Πανεπιστήμιο Ιωαννίνων 2018 Χρήστος Νομικός ( Τμήμα Μηχανικών Η/Υ Διακριτά και Πληροφορικής Μαθηματικά Πανεπιστήμιο ΙΙ Ιωαννίνων
ΕΕ728 Προχωρηµένα Θέµατα Θεωρίας Πληροφορίας 6η διάλεξη
ΕΕ728 Προχωρηµένα Θέµατα Θεωρίας Πληροφορίας 6η διάλεξη ηµήτρης-αλέξανδρος Τουµπακάρης Τµήµα ΗΜ&ΤΥ, Πανεπιστήµιο Πατρών 24 Μαρτίου 2010 ηµήτρης-αλέξανδρος Τουµπακάρης Προχωρηµένα Θέµατα Θεωρίας Πληροφορίας
Διατάξεις με επανάληψη: Με πόσους τρόπους μπορώ να διατάξω r από n αντικείμενα όταν επιτρέπονται επαναληπτικές εμφανίσεις των αντικειμένων; Στην αρχή
Στοιχειώδης συνδυαστική Συνδυασμοί και διατάξεις με επανάληψη Διατάξεις με επανάληψη: Με πόσους τρόπους μπορώ να διατάξω r από n αντικείμενα όταν επιτρέπονται επαναληπτικές εμφανίσεις των αντικειμένων;
ΠΑΝΕΠΙΣΤΗΜΙΟ ΠΕΛΟΠΟΝΝΗΣΟΥ
ΠΑΝΕΠΙΣΤΗΜΙΟ ΠΕΛΟΠΟΝΝΗΣΟΥ ΤΜΗΜΑ ΕΠΙΣΤΗΜΗΣ & ΤΕΧΝΟΛΟΓΙΑΣ ΤΗΛΕΠΙΚΟΙΝΩΝΙΩΝ ΜΔΕ Προηγμένα Τηλεπικοινωνιακά Συστήματα και Δίκτυα Διάλεξη 6 η Νικόλαος Χ. Σαγιάς Επίκουρος Καθηγητής Webpage: http://eclass.uop.gr/courses/tst215
Ανάκτηση Πληροφορίας
Ιόνιο Πανεπιστήμιο Τμήμα Πληροφορικής Ανάκτηση Πληροφορίας Διδάσκων: Φοίβος Μυλωνάς fmylonas@ionio.gr Διάλεξη #08 Συµπίεση Κειµένων Φοίβος Μυλωνάς fmylonas@ionio.gr Ανάκτηση Πληροφορίας 1 Άδεια χρήσης
ΕΡΓΑΣΤΗΡΙΑΚΕΣ ΑΣΚΗΣΕΙΣ C ΣΕΙΡΑ 1 η
Δημοκρίτειο Πανεπιστήμιο Θράκης Πολυτεχνική Σχολή Τμήμα Μηχανικών Παραγωγής & Διοίκησης Ακαδ. έτος 2015-2016 Τομέας Συστημάτων Παραγωγής Εξάμηνο Β Αναπληρωτής Καθηγητής Στέφανος Δ. Κατσαβούνης ΜΑΘΗΜΑ :
Χρήστος Ξενάκης. Πανεπιστήμιο Πειραιώς, Τμήμα Ψηφιακών Συστημάτων
ΘΕΩΡΙΑ ΠΛΗΡΟΦΟΡΙΑΣΟΡ Κεφάλαιο 1 : Εισαγωγή στη Θεωρία ωία Πληροφορίας Χρήστος Ξενάκης Πανεπιστήμιο Πειραιώς, Τμήμα Ψηφιακών Συστημάτων Περιεχόμενα Ομιλίας Έννοια της πληροφορίας Άλλες βασικές έννοιες Στόχος
Ποσοτικές Μέθοδοι στη Διοίκηση Επιχειρήσεων ΙΙ Σύνολο- Περιεχόμενο Μαθήματος
Ποσοτικές Μέθοδοι στη Διοίκηση Επιχειρήσεων ΙΙ Σύνολο- Περιεχόμενο Μαθήματος Χιωτίδης Γεώργιος Τμήμα Λογιστικής και Χρηματοοικονομικής Άδειες Χρήσης Το παρόν εκπαιδευτικό υλικό υπόκειται σε άδειες χρήσης
Μέθοδος μέγιστης πιθανοφάνειας
Μέθοδος μέγιστης πιθανοφάνειας Αν x =,,, παρατηρήσεις των Χ =,,,, τότε έχουμε διαθέσιμο ένα δείγμα Χ={Χ, =,,,} της κατανομής F μεγέθους με από κοινού σ.κ. της Χ f x f x Ορισμός : Θεωρούμε ένα τυχαίο δείγμα
Ψηφιακά Συστήματα. 6. Σχεδίαση Συνδυαστικών Κυκλωμάτων
Ψηφιακά Συστήματα 6. Σχεδίαση Συνδυαστικών Κυκλωμάτων Βιβλιογραφία 1. Φανουράκης Κ., Πάτσης Γ., Τσακιρίδης Ο., Θεωρία και Ασκήσεις Ψηφιακών Ηλεκτρονικών, ΜΑΡΙΑ ΠΑΡΙΚΟΥ & ΣΙΑ ΕΠΕ, 2016. [59382199] 2. Floyd
ΕΡΓΑΣΤΗΡΙΑΚΕΣ ΑΣΚΗΣΕΙΣ C ΣΕΙΡΑ 1 η
Δ.Π.Θ. - Πολυτεχνική Σχολή Τμήμα Μηχανικών Παραγωγής & Διοίκησης Ακαδ. έτος 2016-2017 Τομέας Συστημάτων Παραγωγής Εξάμηνο Β Αναπληρωτής Καθηγητής Στέφανος Δ. Κατσαβούνης ΜΑΘΗΜΑ : ΔΟΜΗΜΕΝΟΣ ΠΡΟΓΡΑΜΜΑΤΙΣΜΟΣ
Τηλεπικοινωνιακά Συστήματα Ι
Τηλεπικοινωνιακά Συστήματα Ι Διάλεξη 10: Παλμοκωδική Διαμόρφωση, Διαμόρφωση Δέλτα και Πολύπλεξη Διαίρεσης Χρόνου Δρ. Μιχάλης Παρασκευάς Επίκουρος Καθηγητής 1 Παλμοκωδική Διαμόρφωση (PCM) Παλμοκωδική Διαμόρφωση
ΤΕΛΟΣ 1ΗΣ ΑΠΟ 5 ΣΕΛΙ ΕΣ
ΑΡΧΗ 1ΗΣ ΣΕΛΙ ΑΣ - Γ ΗΜΕΡΗΣΙΩΝ ΝΕΟ ΣΥΣΤΗΜΑ ΕΠΑΝΑΛΗΠΤΙΚΕΣ ΠΑΝΕΛΛΑΔΙΚΕΣ ΕΞΕΤΑΣΕΙΣ Γ ΤΑΞΗΣ ΗΜΕΡΗΣΙΟΥ ΓΕΝΙΚΟΥ ΛΥΚΕΙΟΥ ΤΕΤΑΡΤΗ 15 ΙΟΥΝΙΟΥ 2016 - ΕΞΕΤΑΖΟΜΕΝΟ ΜΑΘΗΜΑ: ΑΝΑΠΤΥΞΗ ΕΦΑΡΜΟΓΩΝ ΣΕ ΠΡΟΓΡΑΜΜΑΤΙΣΤΙΚΟ ΠΕΡΙΒΑΛΛΟΝ
Λυμένες Ασκήσεις σε Εντροπία, Αμοιβαία Πληροφορία, Κωδικοποίηση Πηγής και AEP
22Α004 (eclass EE728) - Προχωρημένα Θέματα Θεωρίας Πληροφορίας Φυλλάδιο 2 Δ. Τουμπακάρης 7 Μαΐου 205 Λυμένες Ασκήσεις σε Εντροπία, Αμοιβαία Πληροφορία, Κωδικοποίηση Πηγής και AEP. Συναρτήσεις τυχαίων μεταβλητών
ΠΑΝΕΠΙΣΤΗΜΙΟ ΠΕΛΟΠΟΝΝΗΣΟΥ
ΠΑΝΕΠΙΣΤΗΜΙΟ ΠΕΛΟΠΟΝΝΗΣΟΥ ΤΜΉΜΑ ΕΠΙΣΤΗΜΗΣ & ΤΕΧΝΟΛΟΓΙΑΣ ΤΗΛΕΠΙΚΟΙΝΩΝΙΩΝ Κ 7 Επικοινωνίες ΙΙ Χειμερινό Εξάμηνο Διάλεξη η Νικόλαος Χ. Σαγιάς Επίκουρος Καθηγητής Webpage: hp://ecla.uop.gr/coure/s5 e-mail:
17/10/2016. Στατιστική Ι. 3 η Διάλεξη
Στατιστική Ι 3 η Διάλεξη 1 2 Τυχαία μεταβλητή X στο δειγματικό χώρο Ω Μια πραγματική συνάρτηση που αντιστοιχίζει τα στοιχεία του δειγματικού χώρου Ω στο σύνολο των πραγματικών αριθμών τέτοια ώστε για κάθε
ΕΡΓΑΣΤΗΡΙΑΚΗ ΑΣΚΗΣΗ: ΑΝΙΧΝΕΥΣΗ ΣΦΑΛΜΑΤΩΝ ΣΕ ΤΗΛΕΠΙΚΟΙΝΩΝΙΑΚΑ ΔΙΚΤΥΑ
ΕΡΓΑΣΤΗΡΙΑΚΗ ΑΣΚΗΣΗ: ΑΝΙΧΝΕΥΣΗ ΣΦΑΛΜΑΤΩΝ ΣΕ ΤΗΛΕΠΙΚΟΙΝΩΝΙΑΚΑ ΔΙΚΤΥΑ ΑΝΙΧΝΕΥΣΗ ΣΦΑΛΜΑΤΩΝ: Κυκλικός Έλεγχος Πλεονασμού CRC codes Cyclic Redundancy Check codes Ο μηχανισμός ανίχνευσης σφαλμάτων στις επικοινωνίες