ΘΕΩΡΙΑ ΠΛΗΡΟΦΟΡΙΑΣ. Κεφάλαιο 3 : Πηγές Πληροφορίας Χρήστος Ξενάκης. Πανεπιστήμιο Πειραιώς, Τμήμα Ψηφιακών Συστημάτων
|
|
- Ξενία Δοξαράς
- 6 χρόνια πριν
- Προβολές:
Transcript
1 ΘΕΩΡΙΑ ΠΛΗΡΟΦΟΡΙΑΣ Κεφάλαιο 3 : Πηγές Πληροφορίας Χρήστος Ξενάκης Πανεπιστήμιο Πειραιώς, Τμήμα Ψηφιακών Συστημάτων
2 Περιεχόμενα Διακριτές Πηγές Πληροφορίας χωρίς μνήμη Ποσότητα πληροφορίας της πηγής Κωδικοποίηση πηγής Αλγόριθμοι κωδικοποίησης Διακριτές Πηγές Πληροφορίας με μνήμη Πηγές Markov Εντροπία των πηγών Markov Ζητήματα κωδικοποίησης των πηγών Markov Σελίδα-2
3 Πηγές Πληροφορίας Παραδείγματα πηγών πληροφορίας: Ήχος, ομιλία, εικόνα, video Bits, χαρακτήρες ASCII Η έξοδος της πηγής είναι κάτι τυχαίο και άγνωστο μια τυχαία διαδικασία Αν είναι κάτι σταθερό, δεν υπάρχει λόγος να το μεταδώσουμε... Διάκριση πηγών ως προς το χρόνο: συνεχούς χρόνου (π.χ. αναλογικό ηχητικό σήμα) διακριτού χρόνου (δειγματοληπτημένο σήμα, bits) Διάκριση πηγών ως προς τις δυνατές τιμές (αλφάβητο): συνεχείς τιμές (π.χ. αναλογικό σήμα) διακριτές τιμές (π.χ. ASCII) Σελίδα-3
4 Πηγές Πληροφορίας Μετατροπή πηγής από συνεχούς σε διακριτού χρόνου δειγματοληψία το σήμα πρέπει να έχει πεπερασμένο εύρος ζώνης αν είναι κατωπερατό με μέγιστη συχνότητα f max, τότε η συνθήκη Nyquist μας λέει ότι αρκεί να το δειγματοληπτήσω με τότε μπορώ να ανακατασκευάσω το αναλογικό σήμα από τα δείγματα χωρίς απώλειες Οι πηγές που μας ενδιαφέρουν, έχουν περιορισμένο εύρος ζώνης max ή μπορούμε να το περιορίσουμε εμείς με φιλτράρισμα Συμπέρασμα: αρκεί να μελετήσω τις πηγές διακριτού χρόνου fs 2 f Σελίδα-4
5 Διακριτή Πηγή Χωρίς Μνήμη Discrete Memoryless Source (DMS): διακριτού χρόνου διακριτού αλφαβήτου τα σύμβολα στην έξοδό της είναι ανεξάρτητα ακολουθούν την ίδια κατανομή πιθανότητας Περιγράφεται πλήρως από: το αλφάβητο s,, 1 sn και τις πιθανότητες εμφάνισης κάθε συμβόλου p,, 1 pn Ειδικές Περιπτώσεις: Δυαδική Πηγή Χωρίς Μνήμη: 0,1 p,1 p Για p=0.5, Δυαδική Συμμετρική Πηγή Χωρίς Μνήμη Σελίδα-5
6 Εντροπία Η εντροπία μιας DMS ορίζεται ως Φυσική Σημασία: N log 2 H p I s p p i i i i i1 i1 εκφράζει τη μέση αβεβαιότητα που έχω για την πηγή είναι ο μέσος όρος της πληροφορίας των συμβόλων Όσο μεγαλύτερη εντροπία έχει μια πηγή, τόσο περισσότερη πληροφορία φέρει, και τόσο περισσότερα bits χρειάζονται για την κωδικοποίησή της N Σελίδα-6
7 Συνάρτηση δυαδικής εντροπίας Αν έχω δυαδική DMS Φ={0,1}, με πιθανότητες εμφάνισης {p,1-p}, τότε ορίζεται η συνάρτηση δυαδικής εντροπίας H p plog p 1 p log 1 p b 2 2 Παρατηρήσεις: 1. ελαχιστοποιείται όταν p=0 ή 1, Η(0)=Η(1)=0 2. μεγιστοποιείται όταν τα σύμβολα είναι ισοπίθανα, Η(0.5)=1 Σελίδα-7
8 Πλεονασμός μιας πηγής πληροφορίας max H( S) H( S) H( S) H( S) ό 1 1 max H( S) max H( S) log n Ο πλεονασμός μιας πηγής πληροφορίας οφείλεται στους παρακάτω λόγους: Στο γεγονός ότι τα σύμβολα της πηγής είναι μη ισοπίθανα Στη πιθανότητα η πηγή πληροφορίας να παρουσιάζει μνήμη. Σελίδα-8
9 Ρυθμός Παροχής Εντροπίας Αν μια πηγή πληροφορίας εκπέμπει σύμβολα με ρυθμό συμβόλων r s (σε σύμβολα / sec) και η πηγή παρουσιάζει εντροπία H (σε bits / σύμβολο) τότε ο ρυθμός παροχής πληροφορίας R από την πηγή (σε bits / sec) βρίσκεται άμεσα από τη σχέση: R r Hbits s / sec Σελίδα-9
10 Κωδικοποίηση Πηγής Στόχος: η αποδοτική αναπαράσταση / κωδικοποίηση / συμπίεση της πληροφορίας/σήματος/εξόδου μιας πηγής Η διαδικασία μετατροπής των ακολουθιών συμβόλων που παράγει η πηγή σε ακολουθίες συμβόλων κάποιου κώδικα (συνήθως δυαδικές ακολουθίες) έτσι ώστε να αφαιρείται ο πλεονασμός και να προκύπτει συμπιεσμένη αναπαράσταση των μηνυμάτων ονομάζεται κωδικοποίηση πηγής ή συμπίεση Σελίδα-10
11 Κωδικοποίηση Πηγής Βασικό χαρακτηριστικό κάθε κώδικα είναι ο αριθμός των bits που χρησιμοποιεί για να παραστήσει το κάθε σύμβολο. Αν ένας κώδικας χρησιμοποιεί μ αριθμό bits, o αριθμός των δυνατών συνδυασμών των συμβόλων που μπορεί να περιγράψει με αυτά θα είναι ίσος με 2 μ. Αν ένας κώδικας έχει ως στόχο την κωδικοποίηση N διαφορετικών συμβόλων τότε ο αριθμός μ των bits που θα πρέπει να χρησιμοποιήσει δίνεται από τη σχέση: 2 μ-1 Ν 2 μ Σελίδα-11
12 Κωδικοποίηση πηγής Στόχος: Η αποδοτική αναπαράσταση μιας Μιαδικής πηγής Κώδικας σταθερού μήκους: το μήκος των κωδικών λέξεων είναι σταθερό για κάθε σύμβολο πηγής. Παράδειγμα τέτοιου κώδικα είναι ο κώδικας ASCII Κώδικας μεταβλητού μήκους: Τα σύμβολα της πηγής που έχουν μεγαλύτερη πιθανότητα εμφάνισης αντιστοιχίζονται σε μικρότερες κωδικές λέξεις και αντιστρόφως. Έτσι το συνολικό μήκος του κωδικού μηνύματος μπορεί να προκύψει μικρότερο από το αρχικό μήνυμα. Παράδειγμα τέτοιου κώδικα είναι ο κώδικας Morse Σελίδα-12
13 Κωδικοποίηση πηγής Ανάλογα με το πόσο είναι δυνατή και εύκολη η αποκωδικοποίηση ενός κωδικού μηνύματος από το δέκτη οι κώδικες χωρίζονται σε: Ευκρινείς κώδικες (non-singular): χρησιμοποιούν διαφορετική κωδική λέξη για κάθε σύμβολο ή λέξη πληροφορίας. Η ευκρίνεια του κώδικα είναι η πρώτη προϋπόθεση για να υπάρχει δυνατότητα αποκωδικοποίησης. Μονοσήμαντους κώδικες (uniquely decodable): εκείνους για τους οποίους κάθε κωδική λέξη αναγνωρίζεται μέσα σε μακρά διαδοχή κωδικών συμβόλων. Δύο οποιαδήποτε μηνύματα πληροφορίας αντιστοιχίζονται με μονοσήμαντο κώδικα σε δύο διαφορετικά κωδικά μηνύματα. Στιγμιαία αποκωδικοποιήσιμους κώδικες (instantaneous): εκείνους που είναι μονοσήμαντοι κώδικες (uniquely decodable) και επιτρέπουν αποκωδικοποίηση των μηνυμάτων λέξη προς λέξη χωρίς να απαιτείται εξέταση επόμενων κωδικών συμβόλων. Σελίδα-13
14 Ταξινόμηση κωδίκων με βάση την αποκωδικοποίηση Σελίδα-14
15 Κωδικοποίηση πηγής Θεωρούμε τους ακόλουθους κώδικες I, II, III, και IV I II III IV φ χ ψ ω Ζητείται να εξετάσετε αν οι κώδικες I, II, III και IV είναι: 1. Ευκρινείς 2. Μονοσήμαντοι 3. Στιγμιαία αποκωδικοποιήσιμοι Σελίδα-15
16 Κωδικοποίηση πηγής Λύση Όλοι οι κώδικες είναι ευκρινείς, αφού ο καθένας αποτελείται από διαφορετικές κωδικές λέξεις Όλοι οι κώδικες είναι μονοσήμαντοι (μοναδικά αποκωδικοποιήσιμοι) εκτός του I. Σε σχέση με τον κώδικα I, παρατηρούμε ότι η ακολουθία κωδικών λέξεων 1001 θα μπορούσε να προκύψει από διάφορες ακολουθίες συμβόλων όπως χψ ή χφω κ.λ.π Μόνο οι κώδικες II και IV είναι άμεσοι/στιγμιαία αποκωδικοποιήσιμοι. Στην περίπτωση του κώδικα I, αν ο δέκτης λάβει το 0 δεν θα ξέρει αν είναι η πρώτη κωδική λέξη ή το 1 ο κωδικό σύμβολο της 3 ης κωδικής λέξης Σχετικά με τον κώδικα III, όταν ο δέκτης λάβει τα 10 δεν μπορεί να ξέρει αν είναι η 2 η κωδική λέξη ή τα 2 πρώτα σύμβολα της 3 ης λέξης. Σελίδα-16
17 Κωδικοποίηση πηγής Μέσο μήκος κώδικα: εκφράζει το μέσο πλήθος, ανά σύμβολο πηγής, δυαδικών ψηφίων που χρησιμοποιούνται στη διαδικασία της κωδικοποίησης. L N i1 p s l s i i Αποδοτικότητα κώδικα: Αν L min η ελάχιστη δυνατή τιμή του μήκους κώδικα, τότε μπορούμε να ορίσουμε την αποδοτικότητα του κώδικα ως: n L min L Σελίδα-17
18 Θεώρημα Κωδικοποίησης Πηγής ή «Το Πρώτο Θεώρημα του Shannon» (1948) Χρησιμότητα: πόσο μπορούμε να συμπιέσουμε μια πηγή χωρίς να εισάγουμε σφάλματα; Θεώρημα: Έστω πηγή με εντροπία H που κωδικοποιείται ώστε να παρέχει ρυθμό L (bits/έξοδο πηγής). Αν L>H, η πηγή μπορεί να κωδικοποιηθεί με οσοδήποτε μικρή πιθανότητα σφάλματος Αν L<H, όσο πολύπλοκος κι αν είναι ο κωδικοποιητής πηγής, η πιθανότητα σφάλματος θα είναι μακριά από το 0 Σχόλια: Όπου L μπορείτε να θεωρήσετε το μέσο μήκος κώδικα ο Shannon δίνει την ικανή και αναγκαία συνθήκη όμως δεν προτείνει κάποιον αλγόριθμο/μεθοδολογία για να φτιάξουμε έναν κωδικοποιητή όταν L>H L<H : Data compression, Rate-Distortion Theory (lossy data compression) Σελίδα-18
19 Lossy data compression Low compression (high quality) JPEG High compression (low quality) JPEG Σελίδα-19
20 Lossy data compression Σελίδα-20
21 Lossy data compression Σελίδα-21
22 Lossy data compression Σελίδα-22
23 Προθεματικοί κώδικες Αλγόριθμοι κωδικοποίησης (συμπίεσης) πηγής Επιτυγχάνουν ρυθμούς κωδικοποίησης κοντά στην εντροπία (στο όριο συμπίεσης χωρίς απώλειες) Κωδικοποίηση από σταθερό σε μεταβλητό μήκος: είσοδος: μπλοκ συμβόλων σταθερού μήκους (μήκος μπλοκ 0 1 ) έξοδος: μπλοκ bits μεταβλητού μήκους (κωδική λέξη) Πρόβλημα: Συγχρονισμός πώς μπορώ να βρω τα όρια των μπλοκ στην έξοδο για να γίνει η αποκωδικοποίηση Λύση: Προθεματικός κώδικας Καμία κωδική λέξη δεν αποτελεί πρόθεμα κάποιας άλλης μοναδικά αποκωδικοποιήσιμος (κάθε έξοδος αντιστοιχεί σε μοναδική είσοδο) άμεσος (επιτρέπει απευθείας αποκωδικοποίηση) Σελίδα-23
24 Παραδείγματα Κωδίκων Source Symbol Probability Code 1 Code 2 Code 3 s s s s Uniquely decodable Prefix Σελίδα-24
25 Αποδοτικότητα Κώδικα Η αποδοτικότητα ενός κώδικα ορίζεται ως και δείχνει πόσο κοντά βρίσκεται ο κωδικοποιητής στο όριο συμπίεσης της πηγής (εντροπία) H X 1 L Ένας κώδικας είναι περισσότερο αποδοτικός, όσο το η πλησιάζει περισσότερο στο 1 Σελίδα-25
26 Να βρείτε την αποδοτικότητα κάθε κώδικα Source Symbol Probability Code 1 Code 2 Code 3 s s s s H(X) L η Σελίδα-26
27 Αλγόριθμος Shannon 1. Τα σύμβολα της πηγής πληροφορίας διατάσσονται με κριτήριο την πιθανότητα εμφάνισής τους (από την μέγιστη στην ελάχιστη πιθανότητα). 2. Σε κάθε σύμβολο πληροφορίας αντιστοιχίζεται ένας αριθμός με τη λογική που περιγράφεται στο παρακάτω σχήμα: Σελίδα-27
28 Αλγόριθμος Shannon 3. Το μήκος της κωδικής λέξης που αντιστοιχεί στο σύμβολο πληροφορίας είναι ο ελάχιστος ακέραιος που ικανοποιεί την ταυτοανισότητα l i 1 l log 2 i p( xi) 1 px ( i ) 4. Οι δεκαδικοί αριθμοί μετατρέπονται σε δυαδικούς αριθμούς και από τους τελευταίους διατηρούνται μόνο l i σημαντικά ψηφία τα οποία θα αποτελέσουν τις αντίστοιχες κωδικές λέξεις για τα σύμβολα πληροφορίας Σελίδα-28
29 Σελίδα-29
30 Σελίδα-30
31 Παράδειγμα κωδικοποίησης Shannon Έστω πηγή πληροφορίας με κατανομή πιθανότητας X { x, x, x, x } Βήμα 1 px ( ) {0.5,0.3,0.1,0.1} είναι έτοιμο (σωστά διατεταγμένα σύμβολα). Βήμα Σελίδα-31
32 Παράδειγμα κωδικοποίησης Shannon Βήμα 3 l1 2 (0.5) 1 l 1 l2 2 (0.3) 1 l 2 l3 2 (0.1) 1 l l4 2 (0.1) 1 l 4 4 Οι λέξεις κώδικα για τα θα είναι X { x, x, x, x } (0,10,1100,1110) Σελίδα-32
33 Κωδικοποίηση Shannon - Fano 1. Τα σύμβολα της πηγής πληροφορίας διατάσσονται με κριτήριο την πιθανότητα εμφάνισής τους (από τη μέγιστη στην ελάχιστη πιθανότητα). Για παράδειγμα: 2. Επιλέγεται συγκεκριμένη διάταξη για τα κωδικά σύμβολα, η οποία δεν αλλάζει σε καμία φάση της κωδικοποίησης αλλά και κατά την αποκωδικοποίηση Σελίδα-33
34 Κωδικοποίηση Shannon - Fano 3. Σχηματίζονται D ομάδες συμβόλων πηγής πληροφορίας με συγχώνευση γειτονικών συμβόλων. Οι πιθανότητες των συμβόλων που συμμετέχουν σε κάθε ομάδα αθροίζονται και το αποτέλεσμα επιδιώκεται να είναι όσο το δυνατόν πλησιέστερα στον αριθμό 1/D δηλαδή όλες οι ομάδες συμβόλων είναι κατά το δυνατόν ισοπίθανες. 4. Στα σύμβολα της πρώτης ομάδας αντιστοιχούμε σαν πρώτο κωδικό σύμβολο το γ1, της δεύτερης το γ2 κ.ο.κ. 5. Κάθε ομάδα συμβόλων τη διαιρούμε σε D υποομάδες πάλι με το ίδιο κριτήριο (κατά το δυνατόν ισοπίθανες). Στα σύμβολα της κάθε υποομάδας αντιστοιχίζεται ως δεύτερο κωδικό σύμβολο ένα κωδικό σύμβολο με την προκαθορισμένη διάταξη. 6. Η συγκεκριμένη επαναληπτική διαδικασία συνεχίζεται μέχρι να προκύψουν υποομάδες με ένα μόνο σύμβολο. Σελίδα-34
35 Παράδειγμα Κωδικοποίηση Shannon - Fano Έστω πηγή πληροφορίας με κατανομή πιθανότητας X { x, x, x, x, x, x, x, x } Βήμα 1 Με βάση την κατανομή πιθανότητας βλέπουμε ότι τα σύμβολα πληροφορίας είναι διατεταγμένα σωστά (το βήμα (1) έχει πραγματοποιηθεί. Βήμα 2 px ( ) {0.25,0.25,0.125,0.125,0.0625,0.0625,0.0625,0.0625} Στο βήμα (2) επιλέγεται για τα σύμβολα του δυαδικού κώδικα Shannon-Fano η διάταξη (0,1). Ο παρακάτω πίνακας περιγράφει τη σταδιακή κατασκευή του κώδικα: Σελίδα-35
36 Παράδειγμα κωδικοποίησης Shannon - Fano Σύμβολο Πιθανότητα 1ο βήμα 2ο Βήμα 3ο Βήμα 4ο Βήμα x x x x x x x x Σελίδα-36
37 Κωδικοποίηση πηγής Huffman Δημιουργία Δυαδικού Δέντρου: 1. Διάταξε τις εισόδους κατά φθίνουσα σειρά πιθανοτήτων 2. Συγχώνευσε τα δύο σύμβολα με τις μικρότερες πιθανότητες και δημιούργησε νέο «σύμβολο» 3. Ανάθεσε στα δύο σύμβολα τις τιμές «0» και «1» 4. Ταξινόμησε εκ νέου τη λίστα των συμβόλων 5. Επανάλαβε τα παραπάνω μέχρι όλα τα σύμβολα να συγχωνευτούν σε ένα τελικό σύμβολο Δημιουργήθηκε ένα δυαδικό δέντρο: ρίζα: το τελικό σύνθετο σύμβολο φύλλα: τα αρχικά σύμβολα ενδιάμεσοι κόμβοι: σύνθετα σύμβολα Σελίδα-37
38 Κωδικοποίηση Πηγής Huffman Ανάθεση Bits σε Σύμβολα Εισόδου 1. Ξεκίνα από τη ρίζα και κινήσου προς ένα φύλλο 2. Η ακολουθία των bits που συναντώνται είναι η ακολουθία κωδικοποίησης 3. Επανάλαβε για όλα τα σύμβολα (φύλλα) Σελίδα-38
39 Παράδειγμα Κωδικοποίησης Πηγής Huffman Προθεματική αντιστοίχιση: s 0 : 1 s 1 : 00 s 2 : 01 Μονοσήμαντη και άμεση αποκωδικοποίηση s s s s s s Σελίδα-39
40 ΚΩΔΙΚΑΣ HUFFMAN S P i α 1 1 0,4 0,4 0,4 0,4 0 0,6 α ,3 0,3 0,3 00 0,3 1 0,4 α ,1 0, ,2 01 0,3 α , , ,1 α ,06 + α ,04 Σ ,1
41 Χαρακτηριστικά κωδίκων Huffman Μειονέκτημα: απαιτεί να γνωρίζει εκ των προτέρων τις πιθανότητες εμφάνισης των συμβόλων της πηγής δε μπορεί να χρησιμοποιηθεί σε εφαρμογές πραγματικού χρόνου Βέλτιστος: ανάμεσα σε όλους τους προθεματικούς κώδικες (άρα μονοσήμαντα αποκωδικοποιήσιμους και άμεσους) πετυχαίνει το ελάχιστο μέσο μήκος κώδικα Συμβάσεις: Ο τρόπος ανάθεσης 0 και 1 Η τοποθέτηση στην ταξινομημένη λίστα σε περίπτωση «ισοβαθμίας» σύνθετου συμβόλου με άλλο σύμβολο (σχετίζεται με τη διασπορά του κώδικα) Σελίδα-41
42 Άσκηση Για κάθε πηγή που έχουμε μελετήσει στο παρόν κεφάλαιο να εκτελέσετε τα ακόλουθα: Να υπολογίσετε την Εντροπία κάθε πηγής Να υπολογίσετε τον Πλεονασμό κάθε πηγής Να σχεδιάσετε ένα σταθερού μήκους δυαδικό κώδικα, ένα κώδικα Shannon, ένα κώδικα Shannon-Fano, και ένα κώδικα Huffman. Να υπολογίσετε την απόδοση κάθε κώδικα και να επιλέξετε τον περισσότερο και τον λιγότερο αποδοτικό κώδικα Να εξετάσετε κάθε κώδικα που δημιουργήσατε για το εάν είναι μονοσήμαντος και στιγμιαία απόκωδικοποιήσιμος. Να εξετάσετε ποιοι είναι προθεματικοί κώδικες Έστω πηγή πληροφορίας X { x, x, x, x, x, x, x, x } με κατανομή πιθανότητας px ( ) {0.25,0.25,0.125,0.125,0.0625,0.0625,0.0625,0.0625} Σελίδα-42
43 Εντροπία Πηγής με μνήμη Πηγή πληροφορίας με μνήμη 1 ης τάξης (πηγή στην οποία η εκπομπή ενός συμβόλου εξαρτάται από το προηγούμενο σύμβολο που εκπέμφθηκε): m m m H( S) p H( K ) p P log P i i i ij ij i1 i1 j1 Ο ρυθμός εκπομπής πληροφορίας στο κανάλι για μία πηγή με μνήμη: R r H( S) s Σελίδα-43
44 Εντροπία Πηγής με μνήμη Μία πηγή με μνήμη q συμβόλων μπορεί να περιγραφεί με τη μήτρα πιθανοτήτων μετάπτωσης δηλαδή τη μήτρα των P ij : Σελίδα-44
45 Εντροπία πηγής με μνήμη π.χ. Η πιθανότητα ¾ της πρώτης γραμμής και πρώτης στήλης είναι η πιθανότητα να σταλεί το σύμβολο Α δεδομένου ότι έχει ήδη σταλεί το σύμβολο Α, η πιθανότητα 1/3 της τρίτης γραμμής και δεύτερης στήλης ερμηνεύεται ως η πιθανότητα να σταλεί το σύμβολο Γ δεδομένου ότι έχει σταλεί το σύμβολο Β Σελίδα-45
46 Εντροπία πηγής με μνήμη Η προηγούμενη μήτρα μεταπτώσεων ισοδυναμεί με το επόμενο διάγραμμα καταστάσεων της πηγής: P A +P B +P Γ = 1 Έχουμε ένα σύστημα 4 εξισώσεων με 3 αγνώστους (P A, P Β, και P Γ ) το οποίο μπορεί να λυθεί. Σελίδα-46
47 Παράδειγμα πηγής Markov 1 ης τάξης 0,2 SB Δ 0,5 0,8 S Α Β A 0,5 Γ 0,5 Α S 0,5 Β 0,2 Γ S Δ Γ Να υπολογίσετε τη μήτρα μεταπτώσεων, και τις πιθανότητες P A, P B, P Γ, Ρ Δ Να υπολογίσετε την Εντροπία της εν λόγω πηγής με μνήμη και χωρίς μνήμη 0,8 Υπό συνθήκη πιθανότητες P P A Δ 0,8 A Δ P Β Ρ Γ 0,2 Α Δ Ρ Ρ Ρ Ρ 0,5 Γ Β Β Γ Α Γ Δ Β Υπόλοιπες πιθανότητες = 0
48 Παράδειγμα πηγής Markov 1 ης τάξης P P B P Γ Ρ Ρ A Δ Α 0,8 Ρ 0,2 0,5 0,5 Β P Ρ P P P Γ A A Β Β 0,5 0,5 0,2 0,8 Ρ Δ P Γ P P Γ Δ P Δ 1 Λύση του συστήματος 5 1 PA PΔ, PΒ PΓ 14 7 Ποια η εντροπία της Μαρκοβιανής πηγής ; 1 1 ης τάξης : H P j Pi log HΧ.Μ. P Στο παράδειγμα : H M 0,8 bits symbol i j i H ML j i 1,86 bits symbol
49 Παράδειγμα πηγής Markov 1 ης τάξης 1,0 Β 0,5 Α 0,5 0,5 Δ 1,0 0,5 Γ
50 Παράδειγμα Μαρκοβιανής πηγής 1 ης τάξης Δημιουργήστε το διάγραμμα της Μαρκοβιανής Πηγής 0,25 0,375 0,25 0,125 0,00 0,50 0,00 0,25 0,00 0,25 0,75 0,00 0,00 0,25 0,00 0,50 0,50 0,00 0,00 0,00 0,00 0,00 0,50 0,00 0,50
Χρήστος Ξενάκης. Πανεπιστήμιο Πειραιώς, Τμήμα Ψηφιακών Συστημάτων
ΘΕΩΡΙΑ ΠΛΗΡΟΦΟΡΙΑΣ Κεφάλαιο 3 : Πηγές Πληροφορίας Χρήστος Ξενάκης Πανεπιστήμιο Πειραιώς, Τμήμα Ψηφιακών Συστημάτων Περιεχόμενα Διακριτές Πηγές Πληροφορίας χωρίς μνήμη Ποσότητα πληροφορίας της πηγής Κωδικοποίηση
Ψηφιακές Τηλεπικοινωνίες
Ψηφιακές Τηλεπικοινωνίες Θεωρία Πληροφορίας: Κωδικοποίηση Πηγής Ψηφιακή Μετάδοση Υπάρχουν ιδιαίτερα εξελιγμένες τεχνικές αναλογικής μετάδοσης (που ακόμη χρησιμοποιούνται σε ορισμένες εφαρμογές) Επίσης,
Τηλεπικοινωνιακά Συστήματα ΙΙ
Τηλεπικοινωνιακά Συστήματα ΙΙ Διάλεξη 11: Κωδικοποίηση Πηγής Δρ. Μιχάλης Παρασκευάς Επίκουρος Καθηγητής 1 Ατζέντα 1. Αλγόριθμοι κωδικοποίησης πηγής Αλγόριθμος Fano Αλγόριθμος Shannon Αλγόριθμος Huffman
Θεωρία Πληροφορίας. Διάλεξη 4: Διακριτή πηγή πληροφορίας χωρίς μνήμη. Δρ. Μιχάλης Παρασκευάς Επίκουρος Καθηγητής
Θεωρία Πληροφορίας Διάλεξη 4: Διακριτή πηγή πληροφορίας χωρίς μνήμη Δρ. Μιχάλης Παρασκευάς Επίκουρος Καθηγητής 1 Ατζέντα Διακριτή πηγή πληροφορίας χωρίς μνήμη Ποσότητα πληροφορίας της πηγής Κωδικοποίηση
Συμπίεση Δεδομένων
Συμπίεση Δεδομένων 2014-2015 Ρυθμός κωδικοποίησης Ένας κώδικας που απαιτεί L bits για την κωδικοποίηση μίας συμβολοσειράς N συμβόλων που εκπέμπει μία πηγή έχει ρυθμό κωδικοποίησης (μέσο μήκος λέξης) L
ΕΛΛΗΝΙΚΟ ΑΝΟΙΚΤΟ ΠΑΝΕΠΙΣΤΗΜΙΟ
Θ.Ε. ΠΛΗ22 (2012-13) ΓΡΑΠΤΗ ΕΡΓΑΣΙΑ #4. Έκδοση v2 με διόρθωση τυπογραφικού λάθους στο ερώτημα 6.3 Στόχος: Βασικό στόχο της 4 ης εργασίας αποτελεί η εξοικείωση με τα μέτρα ποσότητας πληροφορίας τυχαίων
Κωδικοποίηση Πηγής. Η λειτουργία ενός συστήματος επικοινωνίας (γενικό διάγραμμα):
Κωδικοποίηση Πηγής Η λειτουργία ενός συστήματος επικοινωνίας (γενικό διάγραμμα): Coder Decoder Μεταξύ πομπού-καναλιού παρεμβάλλεται ο κωδικοποιητής (coder). Έργο του: η αντικατάσταση των συμβόλων πληροφορίας
Θεωρία Πληροφορίας. Διάλεξη 5: Διακριτή πηγή πληροφορίας με μνήμη. Δρ. Μιχάλης Παρασκευάς Επίκουρος Καθηγητής
Θεωρία Πληροφορίας Διάλεξη 5: Διακριτή πηγή πληροφορίας με μνήμη Δρ. Μιχάλης Παρασκευάς Επίκουρος Καθηγητής 1 Ατζέντα 1. Διακριτές πηγές πληροφορίας με μνήμη Μαρκοβιανές αλυσίδες Τάξη μακροβιανών αλυσίδων
Χρήστος Ξενάκης. Πανεπιστήμιο Πειραιώς, Τμήμα Ψηφιακών Συστημάτων
ΘΕΩΡΙΑ ΠΛΗΡΟΦΟΡΙΑΣ Κεφάλαιο 9 : Κανάλι-Σύστημα Χρήστος Ξενάκης Πανεπιστήμιο Πειραιώς, Τμήμα Ψηφιακών Συστημάτων Περιεχόμενα Ομιλίας Χωρητικότητα Χ ό καναλιού Το Gaussian κανάλι επικοινωνίας Τα διακριτά
Σημείωμα Αδειοδότησης
Μελέτη Περιπτώσεων στη Λήψη Αποφάσεων Σημείωμα Αδειοδότησης Το παρόν εκπαιδευτικό υλικό υπόκειται σε άδειες χρήσης Creative Commons. Για εκπαιδευτικό υλικό, όπως εικόνες, που υπόκειται σε άλλου τύπου άδειας
Ψηφιακές Τηλεπικοινωνίες. Θεωρία Ρυθμού Παραμόρφωσης
Ψηφιακές Τηλεπικοινωνίες Θεωρία Ρυθμού Παραμόρφωσης Θεωρία Ρυθμού-Παραμόρφωσης Θεώρημα Κωδικοποίησης Πηγής: αν έχω αρκετά μεγάλο μπλοκ δεδομένων, μπορώ να φτάσω κοντά στην εντροπία Πιθανά Προβλήματα: >
Χρήστος Ξενάκης. Πανεπιστήμιο Πειραιώς, Τμήμα Ψηφιακών Συστημάτων
ΘΕΩΡΙΑ ΠΛΗΡΟΦΟΡΙΑΣ Κεφάλαιο 2 : Πληροφορία και Εντροπία Χρήστος Ξενάκης Πανεπιστήμιο Πειραιώς, Τμήμα Ψηφιακών Συστημάτων Περιεχόμενα Πληροφορία Μέτρο πληροφορίας Μέση πληροφορία ή Εντροπία Από κοινού εντροπία
Ψηφιακές Τηλεπικοινωνίες
Ψηφιακές Τηλεπικοινωνίες Θεωρία Πληροφορίας: Χωρητικότητα Καναλιού Χωρητικότητα Καναλιού Η θεωρία πληροφορίας περιλαμβάνει μεταξύ άλλων: κωδικοποίηση πηγής κωδικοποίηση καναλιού Κωδικοποίηση πηγής: πόση
Συμπίεση χωρίς Απώλειες
Συμπίεση χωρίς Απώλειες Στόχοι της συμπίεσης δεδομένων: Μείωση του απαιτούμενου χώρου αποθήκευσης των δεδομένων. Περιορισμός της απαιτούμενης χωρητικότητας διαύλου επικοινωνίας για την μετάδοση. μείωση
ΘΕΩΡΙΑ ΠΛΗΡΟΦΟΡΙΑΣ. Κεφάλαιο 2 : Πληροφορία και Εντροπία Διάλεξη: Κώστας Μαλιάτσος Χρήστος Ξενάκης, Κώστας Μαλιάτσος
ΘΕΩΡΙΑ ΠΛΗΡΟΦΟΡΙΑΣ Κεφάλαιο 2 : Πληροφορία και Εντροπία Διάλεξη: Κώστας Μαλιάτσος Χρήστος Ξενάκης, Κώστας Μαλιάτσος Πανεπιστήμιο Πειραιώς, Τμήμα Ψηφιακών Συστημάτων Περιεχόμενα Πιθανότητες Πληροφορία Μέτρο
Μάθημα Εισαγωγή στις Τηλεπικοινωνίες Κωδικοποίηση πηγής- καναλιού Μάθημα 9o
Μάθημα Εισαγωγή στις Τηλεπικοινωνίες Κωδικοποίηση πηγής- καναλιού Μάθημα 9o ΕΘΝΙΚΟ & ΚΑΠΟΔΙΣΤΡΙΑΚΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΑΘΗΝΩΝ Τομέας Επικοινωνιών και Επεξεργασίας Σήματος Τμήμα Πληροφορικής & Τηλεπικοινωνιών
( ) log 2 = E. Σεραφείµ Καραµπογιάς
Παρατηρούµε ότι ο ορισµός της Η βασίζεται στη χρονική µέση τιµή. Για να ισχύει ο ορισµός αυτός και για µέση τιµή συνόλου πρέπει η πηγή να είναι εργοδική, δηλαδή H ( X) ( ) = E log 2 p k Η εντροπία µιας
Δομές Δεδομένων και Αλγόριθμοι
Δομές Δεδομένων και Αλγόριθμοι Χρήστος Γκόγκος ΤΕΙ Ηπείρου Χειμερινό Εξάμηνο 2014-2015 Παρουσίαση 20 Huffman codes 1 / 12 Κωδικοποίηση σταθερού μήκους Αν χρησιμοποιηθεί κωδικοποίηση σταθερού μήκους δηλαδή
Επεξεργασία Πολυµέσων. Δρ. Μαρία Κοζύρη Π.Μ.Σ. «Εφαρµοσµένη Πληροφορική» Τµήµα Ηλεκτρολόγων Μηχανικών & Μηχανικών Υπολογιστών Πανεπιστήµιο Θεσσαλίας
Π.Μ.Σ. «Εφαρµοσµένη Πληροφορική» Τµήµα Ηλεκτρολόγων Μηχανικών & Μηχανικών Υπολογιστών Πανεπιστήµιο Θεσσαλίας Ενότητα 3: Επισκόπηση Συµπίεσης 2 Θεωρία Πληροφορίας Κωδικοποίηση Θεµελιώθηκε απο τον Claude
Εισαγωγή στη θεωρία πληροφορίας
Θεωρία πληροφορίας Εισαγωγή στη θεωρία πληροφορίας Τηλεπικοινωνιακά συστήματα Όλα τα τηλεπικοινωνιακά συστήματα σχεδιάζονται για να μεταφέρουν πληροφορία Σε κάθε τηλεπικοινωνιακό σύστημα υπάρχει μια πηγή
Κωδικοποίηση Πηγής. Δρ. Α. Πολίτης
Κωδικοποίηση Πηγής Coder Decoder Μεταξύ πομπού και καναλιού παρεμβάλλεται ο κωδικοποιητής (coder). Έργο του: η αντικατάσταση των συμβόλων πληροφορίας της πηγής με εναλλακτικά σύμβολα ή λέξεις. Κωδικοποίηση
Θεώρημα κωδικοποίησης πηγής
Κωδικοποίηση Kωδικοποίηση πηγής Θεώρημα κωδικοποίησης πηγής Καθορίζει ένα θεμελιώδες όριο στον ρυθμό με τον οποίο η έξοδος μιας πηγής πληροφορίας μπορεί να συμπιεσθεί χωρίς να προκληθεί μεγάλη πιθανότητα
Θέματα Συστημάτων Πολυμέσων
Θέματα Συστημάτων Πολυμέσων Ενότητα # 6: Στοιχεία Θεωρίας Πληροφορίας Διδάσκων: Γεώργιος K. Πολύζος Τμήμα: Μεταπτυχιακό Πρόγραμμα Σπουδών Επιστήμη των Υπολογιστών Άδειες Χρήσης Το παρόν εκπαιδευτικό υλικό
Θέματα Συστημάτων Πολυμέσων
Θέματα Συστημάτων Πολυμέσων Ενότητα # 5: Βασική Θεωρία Πληροφορίας Διδάσκων: Γεώργιος Πολύζος Τμήμα: Μεταπτυχιακό Πρόγραμμα Σπουδών Επιστήμη των Υπολογιστών Άδειες χρήσης Το παρόν εκπαιδευτικό υλικό υπόκειται
Συμπίεση Πολυμεσικών Δεδομένων
Συμπίεση Πολυμεσικών Δεδομένων Εισαγωγή στο πρόβλημα και επιλεγμένες εφαρμογές Κώστας Μπερμπερίδης Εργαστήριο Σημάτων & Τηλεπικοινωνιών Τμήμα Μηχανικών Η/Υ & Πληροφορικής Ψηφιακή Αναπαράσταση Συμπίεση
ΚΕΦΑΛΑΙΟ ΠΕΜΠΤΟ ΘΕΩΡΙΑ ΠΛΗΡΟΦΟΡΙΑΣ
ΚΕΦΑΛΑΙΟ ΠΕΜΠΤΟ ΘΕΩΡΙΑ ΠΛΗΡΟΦΟΡΙΑΣ 5. Εισαγωγή Ο σκοπός κάθε συστήματος τηλεπικοινωνιών είναι η μεταφορά πληροφορίας από ένα σημείο (πηγή) σ ένα άλλο (δέκτης). Συνεπώς, κάθε μελέτη ενός τέτοιου συστήματος
Συμπίεση Δεδομένων
Συμπίεση Δεδομένων 014-015 Μοναδικά Αποκωδικοποιήσιμοι Κώδικες Δρ. Ν. Π. Σγούρος Έλεγος μοναδικής Αποκωδικοποίησης Γενικοί ορισμοί Έστω δύο κωδικές λέξεις α,β με μήκη,m και
ΕΑΠ/ΠΛΗ22/ΑΘΗ-3. 3 η ΟΣΣ
ΕΑΠ/ΠΛΗ22/ΑΘΗ-3 3 η ΟΣΣ 04.02.207 Ν.Δημητρίου Σημείωση: Η παρουσίαση αυτή είναι συμπληρωματική της ύλης των βιβλίων (τόμος Β / μέρη Α,Β και τόμος Α ) καθώς και των 2 παρουσιάσεων στο study.eap.gr (oss3_plh22_digicomms_207,
ΕΑΠ/ΠΛΗ22/ΑΘΗ-4. 3 η ΟΣΣ
ΕΑΠ/ΠΛΗ22/ΑΘΗ-4 3 η ΟΣΣ 06.02.2016 Ν.Δημητρίου Σημείωση: Η παρουσίαση αυτή είναι συμπληρωματική της ύλης των βιβλίων (τόμος Β / μέρη Α,Β και τόμος Α ) καθώς και των 2 παρουσιάσεων στο study.eap.gr (PLH22_3rdOSS_2015_16,
Μάθημα Επισκόπηση των Τηλεπικοινωνιών
Μάθημα Επισκόπηση των Τηλεπικοινωνιών Κωδικοποίηση Πηγής & Καναλιού Μάθημα 8 ο 9 ο ΕΘΝΙΚΟ & ΚΑΠΟΔΙΣΤΡΙΑΚΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΑΘΗΝΩΝ Τομέας Επικοινωνιών και Επεξεργασίας Σήματος Τμήμα Πληροφορικής & Τηλεπικοινωνιών
ΕΑΠ/ΠΛΗ22/ΑΘΗ-4. 3 η ΟΣΣ
ΕΑΠ/ΠΛΗ22/ΑΘΗ-4 3 η ΟΣΣ 08.02.205 Ν.Δημητρίου Σημείωση: Η παρουσίαση αυτή είναι συμπληρωματική της ύλης των βιβλίων (τόμος Β / μέρη Α,Β και τόμος Α ) καθώς και των 2 παρουσιάσεων στο study.eap.gr (oss3_plh22_digicomms_205,
Αριθμητική Κωδικοποίηση
Αριθμητική Κωδικοποίηση Ο κώδικας Huffmann είναι βέλτιστος γιατί παράγει συμπαγή κώδικα για δεδομένες πιθανότητες Συμπαγής κώδικας: Δεν υπάρχει άλλος με μικρότερο μέσο μήκος κωδικής λέξης Δεν είναι 100%
Ψηφιακές Τηλεπικοινωνίες
Ψηφιακές Τηλεπικοινωνίες Κωδικοποίηση Αναλογικής Πηγής: Κβάντιση Εισαγωγή Αναλογική πηγή: μετά από δειγματοληψία γίνεται διακριτού χρόνου άπειρος αριθμός bits/έξοδο για τέλεια αναπαράσταση Θεωρία Ρυθμού-Παραμόρφωσης
Τεχνολογία Πολυμέσων. Ενότητα # 9: Κωδικοποίηση εντροπίας Διδάσκων: Γεώργιος Ξυλωμένος Τμήμα: Πληροφορικής
Τεχνολογία Πολυμέσων Ενότητα # 9: Κωδικοποίηση εντροπίας Διδάσκων: Γεώργιος Ξυλωμένος Τμήμα: Πληροφορικής Χρηματοδότηση Το παρόν εκπαιδευτικό υλικό έχει αναπτυχθεί στα πλαίσια του εκπαιδευτικού έργου του
Θεωρία τησ Πληροφορίασ (Θ) ΔΙΔΑΚΩΝ: Δρ. Αναςτάςιοσ Πολίτησ
Θεωρία τησ Πληροφορίασ (Θ) Ενότητα 3: Κωδικοποίηςη Πηγήσ ΔΙΔΑΚΩΝ: Δρ. Αναςτάςιοσ Πολίτησ ΧΟΛΗ ΣΕΧΝΟΛΟΓΙΚΩΝ ΕΦΑΡΜΟΓΩΝ ΣΜΗΜΑ ΜΗΧΑΝΙΚΩΝ ΠΛΗΡΟΦΟΡΙΚΗ ΣΕ Άδειεσ Χρήςησ Σο παρόν εκπαιδευτικό υλικό υπόκειται ςε
ΗΜΥ 100 Εισαγωγή στην Τεχνολογία
ΗΜΥ 100 Εισαγωγή στην Τεχνολογία Δρ. Στέλιος Τιμοθέου ΤΜΗΜΑ ΗΛΕΚΤΡΟΛΟΓΩΝ ΜΗΧΑΝΙΚΩΝ ΚΑΙ ΜΗΧΑΝΙΚΩΝ ΥΠΟΛΟΓΙΣΤΩΝ ΠΟΛΥΤΕΧΝΙΚΗ ΣΧΟΛΗ ΠΑΝΕΠΙΣΤΗΜΙΟ ΚΥΠΡΟΥ ΤΑ ΘΕΜΑΤΑ ΜΑΣ ΣΗΜΕΡΑ Αναλογικά και ψηφιακά συστήματα Μετατροπή
Αναλογικά & Ψηφιακά Κυκλώματα ιαφάνειες Μαθήματος ρ. Μηχ. Μαραβελάκης Εμ.
Αναλογικά & Ψηφιακά Κυκλώματα ιαφάνειες Μαθήματος ρ. Μηχ. Μαραβελάκης Εμ. 1 Εισαγωγή Αναλογικό σήμα (analog signal): συνεχής συνάρτηση στην οποία η ανεξάρτητη μεταβλητή και η εξαρτημένη μεταβλητή (π.χ.
Θεωρία πληροφοριών. Τεχνολογία Πολυµέσων 07-1
Θεωρία πληροφοριών Εισαγωγή Αµοιβαία πληροφορία Εσωτερική πληροφορία Υπό συνθήκη πληροφορία Παραδείγµατα πληροφορίας Μέση πληροφορία και εντροπία Παραδείγµατα εντροπίας Εφαρµογές Τεχνολογία Πολυµέσων 07-
Τεχνολογία Πολυμέσων. Ενότητα # 7: Θεωρία πληροφορίας Διδάσκων: Γεώργιος Ξυλωμένος Τμήμα: Πληροφορικής
Τεχνολογία Πολυμέσων Ενότητα # 7: Θεωρία πληροφορίας Διδάσκων: Γεώργιος Ξυλωμένος Τμήμα: Πληροφορικής Χρηματοδότηση Το παρόν εκπαιδευτικό υλικό έχει αναπτυχθεί στα πλαίσια του εκπαιδευτικού έργου του διδάσκοντα.
Κεφάλαιο 2 Πληροφορία και εντροπία
Κεφάλαιο 2 Πληροφορία και εντροπία Άσκηση. Έστω αλφάβητο Α={0,} και δύο πηγές p και q. Έστω οτι p(0)=-r, p()=r, q(0)=-s και q()=s. Να υπολογιστούν οι σχετικές εντροπίες Η(Α,p/q) και Η(Α,q/p). Να γίνει
ιαφορική εντροπία Σεραφείµ Καραµπογιάς
ιαφορική εντροπία Σεραφείµ Καραµπογιάς Για πηγές διακριτού χρόνου µε συνεχές αλφάβητο, των οποίων οι έξοδοι είναι πραγµατικοί αριθµοί, ορίζεται µια άλλη ποσότητα που µοιάζει µε την εντροπία και καλείται
Ψηφιακή Επεξεργασία Εικόνας
ΕΛΛΗΝΙΚΗ ΔΗΜΟΚΡΑΤΙΑ Ανώτατο Εκπαιδευτικό Ίδρυμα Πειραιά Τεχνολογικού Τομέα Ψηφιακή Επεξεργασία Εικόνας Ενότητα 6 : Κωδικοποίηση & Συμπίεση εικόνας Ιωάννης Έλληνας Τμήμα Η/ΥΣ Άδειες Χρήσης Το παρόν εκπαιδευτικό
Σεραφείµ Καραµπογιάς. Πηγές Πληροφορίας και Κωδικοποίηση Πηγής 6.3-1
Ο αλγόριθµος Lempel-iv Ο αλγόριθµος Lempel-iv ανήκει στην κατηγορία των καθολικών universal αλγορίθµων κωδικοποίησης πηγής δηλαδή αλγορίθµων που είναι ανεξάρτητοι από τη στατιστική της πηγής. Ο αλγόριθµος
Τμήμα Μηχανικών Η/Υ και Πληροφορικής
Τμήμα Μηχανικών Η/Υ και Πληροφορικής Εργαστήριο Επεξεργασίας Σημάτων και Τηλεπικοινωνιών Ασύρματες και Κινητές Επικοινωνίες Κωδικοποίηση καναλιού Τι θα δούμε στο μάθημα Σύντομη εισαγωγή Γραμμικοί κώδικες
Χρήστος Ξενάκης. Πανεπιστήμιο Πειραιώς, Τμήμα Ψηφιακών Συστημάτων
ΘΕΩΡΙΑ ΠΛΗΡΟΦΟΡΙΑΣ Κεφάλαιο 10 : Κωδικοποίηση καναλιού Χρήστος Ξενάκης Πανεπιστήμιο Πειραιώς, Τμήμα Ψηφιακών Συστημάτων Περιεχόμενα Ομιλίας Απόσταση και βάρος Hamming Τεχνικές και κώδικες ανίχνευσης &
Χρήστος Ξενάκης. Πανεπιστήμιο Πειραιώς, Τμήμα Ψηφιακών Συστημάτων
ΘΕΩΡΙΑ ΠΛΗΡΟΦΟΡΙΑΣΟΡ Κεφάλαιο 1 : Εισαγωγή στη Θεωρία ωία Πληροφορίας Χρήστος Ξενάκης Πανεπιστήμιο Πειραιώς, Τμήμα Ψηφιακών Συστημάτων Περιεχόμενα Ομιλίας Έννοια της πληροφορίας Άλλες βασικές έννοιες Στόχος
Ψηφιακή Μετάδοση Αναλογικών Σηµάτων
Ψηφιακή Μετάδοση Αναλογικών Σηµάτων Τα σύγχρονα συστήµατα επικοινωνίας σε πολύ µεγάλο ποσοστό διαχειρίζονται σήµατα ψηφιακής µορφής, δηλαδή, σήµατα που δηµιουργούνται από ακολουθίες δυαδικών ψηφίων. Τα
EE728 (22Α004) - Προχωρημένα Θέματα Θεωρίας Πληροφορίας 3η σειρά ασκήσεων Διακριτά και Συνεχή Κανάλια. Παράδοση: Έως 22/6/2015
EE728 (22Α004) - Προχωρημένα Θέματα Θεωρίας Πληροφορίας Φυλλάδιο 13 Δ. Τουμπακάρης 30 Μαΐου 2015 EE728 (22Α004) - Προχωρημένα Θέματα Θεωρίας Πληροφορίας 3η σειρά ασκήσεων Διακριτά και Συνεχή Κανάλια Παράδοση:
Εξομοίωση Τηλεπικοινωνιακού Συστήματος Βασικής Ζώνης
Πανεπιστήμιο Πατρών Τμήμα Μηχ. Η/Υ & Πληροφορικής Ακαδημαϊκό Έτος 009-010 Ψ Η Φ Ι Α Κ Ε Σ Τ Η Λ Ε Π Ι Κ Ο Ι Ν Ω Ν Ι ΕΣ η Εργαστηριακή Άσκηση: Εξομοίωση Τηλεπικοινωνιακού Συστήματος Βασικής Ζώνης Στην άσκηση
Συμπίεση Δεδομένων
Συμπίεση Δεδομένων 2014-2015 Κβάντιση Δρ. Ν. Π. Σγούρος 2 Αναλογικά Ψηφιακά Σήματα Αναλογικό Σήμα x t, t [t min, t max ], x [x min, x max ] Δειγματοληψία t n, x t x n, n = 1,, N Κβάντιση x n x(n) 3 Αλφάβητο
Θεωρία τησ Πληροφορίασ (Θ) ΔΙΔΑΚΩΝ: Δρ. Αναςτάςιοσ Πολίτησ
Θεωρία τησ Πληροφορίασ (Θ) Ενότητα 4: Συμπίεςη χωρίσ Απώλειεσ ΔΙΔΑΚΩΝ: Δρ. Αναςτάςιοσ Πολίτησ ΧΟΛΗ ΣΕΧΝΟΛΟΓΙΚΩΝ ΕΦΑΡΜΟΓΩΝ ΣΜΗΜΑ ΜΗΧΑΝΙΚΩΝ ΠΛΗΡΟΦΟΡΙΚΗ ΣΕ Άδειεσ Χρήςησ Σο παρόν εκπαιδευτικό υλικό υπόκειται
Δίαυλος Πληροφορίας. Η λειτουργία του περιγράφεται από:
Δίαυλος Πληροφορίας Η λειτουργία του περιγράφεται από: Πίνακας Διαύλου (μαθηματική περιγραφή) Διάγραμμα Διαύλου (παραστατικός τρόπος περιγραφής της λειτουργίας) Πίνακας Διαύλου Χρησιμοποιούμε τις υπό συνθήκη
Αρχές κωδικοποίησης. Τεχνολογία Πολυμέσων και Πολυμεσικές Επικοινωνίες 08-1
Αρχές κωδικοποίησης Απαιτήσεις κωδικοποίησης Είδη κωδικοποίησης Κωδικοποίηση εντροπίας Διαφορική κωδικοποίηση Κωδικοποίηση μετασχηματισμών Στρωματοποιημένη κωδικοποίηση Κβαντοποίηση διανυσμάτων Τεχνολογία
Απαντήσεις σε απορίες
Ερώτηση Η µέση ποσότητα πληροφορίας κατά Shannon είναι Η(Χ)=-Σp(xi)logp(xi)...σελ 28 Στο παραδειγµα.3 στη σελιδα 29 στο τέλος δεν καταλαβαίνω πως γίνεται η εφαρµογή του παραπάνω τύπου ηλαδη δεν βλεπω συντελεστη
Ασκήσεις στο µάθηµα «Επισκόπηση των Τηλεπικοινωνιών»
Ασκήσεις στο µάθηµα «Επισκόπηση των Τηλεπικοινωνιών» Άσκηση 1 Πρόκειται να µεταδώσουµε δυαδικά δεδοµένα σε RF κανάλι µε. Αν ο θόρυβος του καναλιού είναι Gaussian - λευκός µε φασµατική πυκνότητα W, να βρεθεί
Αριθμητική Κωδικοποίηση
Αριθμητική Κωδικοποίηση Σύμβολο Πιθανότητα a 0,2 b 0,5 c 0,3 Αντιστοίχιση κάθε συμβόλου σε τμήμα του διαστήματος [0, 1] ανάλογα με την πιθανότητα εμφάνισής του. Αναπαράσταση του συμβόλου με έναν αριθμό
Δίαυλος Πληροφορίας. Δρ. Α. Πολίτης
Δίαυλος Πληροφορίας Η λειτουργία του διαύλου πληροφορίας περιγράφεται από: Τον πίνακα διαύλου μαθηματική περιγραφή. Το διάγραμμα διάυλου παραστατικός τρόπος περιγραφής. Πίνακας Διαύλου Κατασκευάζεται με
Διακριτά Μαθηματικά ΙΙ Χρήστος Νομικός Τμήμα Μηχανικών Η/Υ και Πληροφορικής Πανεπιστήμιο Ιωαννίνων 2018 Χρήστος Νομικός ( Τμήμα Μηχανικών Η/Υ Διακριτά
Διακριτά Μαθηματικά ΙΙ Χρήστος Νομικός Τμήμα Μηχανικών Η/Υ και Πληροφορικής Πανεπιστήμιο Ιωαννίνων 2018 Χρήστος Νομικός ( Τμήμα Μηχανικών Η/Υ Διακριτά και Πληροφορικής Μαθηματικά Πανεπιστήμιο ΙΙ Ιωαννίνων
Τεχνολογία Πολυμέσων. Ενότητα # 8: Αρχές κωδικοποίησης Διδάσκων: Γεώργιος Ξυλωμένος Τμήμα: Πληροφορικής
Τεχνολογία Πολυμέσων Ενότητα # 8: Αρχές κωδικοποίησης Διδάσκων: Γεώργιος Ξυλωμένος Τμήμα: Πληροφορικής Χρηματοδότηση Το παρόν εκπαιδευτικό υλικό έχει αναπτυχθεί στα πλαίσια του εκπαιδευτικού έργου του
Θεωρία της Πληροφορίας 3 ο Εξάμηνο
Σμήμα Πληροφορικής & Επικοινωνιών Θεωρία της Πληροφορίας 3 ο Εξάμηνο Τομέας Τηλεπικοινωνιών και Δικτύων Δρ. Αναστάσιος Πολίτης Καθηγητής Εφαρμογών 1 Διεξαγωγή και Εξέταση του Μαθήματος Μάθημα Πώς? 13 Διαλέξεις.
Τηλεπικοινωνιακά Συστήματα ΙΙ
Τηλεπικοινωνιακά Συστήματα ΙΙ Διάλεξη 13: Συνελικτικοί Κώδικες Δρ. Μιχάλης Παρασκευάς Επίκουρος Καθηγητής 1 Κώδικες: Εισαγωγή Συνελικτικοί κώδικες Ατζέντα Ιστορική αναδρομή Μαθηματικό υπόβαθρο Αναπαράσταση
Αρχές κωδικοποίησης. Τεχνολογία Πολυµέσων 08-1
Αρχές κωδικοποίησης Απαιτήσεις κωδικοποίησης Είδη κωδικοποίησης Βασικές τεχνικές κωδικοποίησης Κωδικοποίηση Huffman Κωδικοποίηση µετασχηµατισµών Κβαντοποίηση διανυσµάτων ιαφορική κωδικοποίηση Τεχνολογία
Κατηγορίες Συμπίεσης. Συμπίεση με απώλειες δεδομένων (lossy compression) π.χ. συμπίεση εικόνας και ήχου
Συμπίεση Η συμπίεση δεδομένων ελαττώνει το μέγεθος ενός αρχείου : Εξοικονόμηση αποθηκευτικού χώρου Εξοικονόμηση χρόνου μετάδοσης Τα περισσότερα αρχεία έχουν πλεονασμό στα δεδομένα τους Είναι σημαντική
Αρχές Τηλεπικοινωνιών
ΕΛΛΗΝΙΚΗ ΔΗΜΟΚΡΑΤΙΑ Ανώτατο Εκπαιδευτικό Ίδρυμα Πειραιά Τεχνολογικού Τομέα Αρχές Τηλεπικοινωνιών Ενότητα #12: Δειγματοληψία, κβαντοποίηση και κωδικοποίηση Χ. ΚΑΡΑΪΣΚΟΣ Τμήμα Μηχανικών Αυτοματισμών Τ.Ε.
Μοντέλο Επικοινωνίας Δεδομένων. Επικοινωνίες Δεδομένων Μάθημα 6 ο
Μοντέλο Επικοινωνίας Δεδομένων Επικοινωνίες Δεδομένων Μάθημα 6 ο Εισαγωγή Με τη βοήθεια επικοινωνιακού σήματος, κάθε μορφή πληροφορίας (κείμενο, μορφή, εικόνα) είναι δυνατόν να μεταδοθεί σε απόσταση. Ανάλογα
ΘΕΩΡΙΑ ΠΛΗΡΟΦΟΡΙΑΣ. Κεφάλαιο 7-8 : Συστήματα Δειγματοληψία Χρήστος Ξενάκης. Πανεπιστήμιο Πειραιώς, Τμήμα Ψηφιακών Συστημάτων
ΘΕΩΡΙΑ ΠΛΗΡΟΦΟΡΙΑΣ Κεφάλαιο 7-8 : Συστήματα Δειγματοληψία Χρήστος Ξενάκης Πανεπιστήμιο Πειραιώς, Τμήμα Ψηφιακών Συστημάτων Περιεχόμενα Ομιλίας Κεφάλαιο 7 ο Ταξινόμηση Συστημάτων Κρουστική Απόκριση Κεφάλαιο
Δομές Δεδομένων & Αλγόριθμοι
Σωροί 1 Ορισμοί Ένα δέντρο μεγίστων (δένδρο ελαχίστων) είναι ένα δένδρο, όπου η τιμή κάθε κόμβου είναι μεγαλύτερη (μικρότερη) ή ίση με των τιμών των παιδιών του Ένας σωρός μεγίστων (σωρός ελαχίστων) είναι
7ο ΕΡΓΑΣΤΗΡΙΟ AAAABBBBAAAAABBBBBBCCCCCCCCCCCCCCBBABAAAABBBBBBCCCCD
ΤΕΧΝΟΛΟΓΙΚΟ ΕΚΠΑΙΔΕΥΤΙΚΟ ΙΔΡΥΜΑ ΛΑΜΙΑΣ ΤΜΗΜΑ ΠΛΗΡΟΦΟΡΙΚΗΣ ΚΑΙ ΤΕΧΝΟΛΟΓΙΑΣ ΥΠΟΛΟΓΙΣΤΩΝ ΣΧΕΔΙΑΣΜΟΣ ΚΑΙ ΑΝΑΛΥΣΗ ΑΛΓΟΡΙΘΜΩΝ ΑΚΑΔΗΜΑΪΚΟ ΕΤΟΣ 2010 11 Ιστοσελίδα μαθήματος: http://eclass.teilam.gr/di288 1 Συμπίεση
Πληροφορική Ι. Μάθημα 9 ο Συμπίεση δεδομένων. Τμήμα Χρηματοοικονομικής & Ελεγκτικής ΤΕΙ Ηπείρου Παράρτημα Πρέβεζας. Δρ.
Οι διαφάνειες έχουν βασιστεί στο βιβλίο «Εισαγωγή στην επιστήμη των υπολογιστών» του B. Forouzanκαι Firoyz Mosharraf(2 η έκδοση-2010) Εκδόσεις Κλειδάριθμος Τμήμα Χρηματοοικονομικής & Ελεγκτικής ΤΕΙ Ηπείρου
ΠΛΗ21 Κεφάλαιο 2. ΠΛΗ21 Ψηφιακά Συστήματα: Τόμος Α Κεφάλαιο: 2 Δυαδική Κωδικοποίηση
Ψηφιακά Συστήματα: Τόμος Α Κεφάλαιο: 2 Δυαδική Κωδικοποίηση Στόχοι του κεφαλαίου είναι να γνωρίσουμε: Τι είναι Κώδικας Τι είναι αλφάβητο & λέξεις ενός κώδικα Τι είναι οι δυαδικές λέξεις Το πλήθος των λέξεων
Ψηφιακές Τηλεπικοινωνίες. Βέλτιστος Δέκτης
Ψηφιακές Τηλεπικοινωνίες Βέλτιστος Δέκτης Σύνδεση με τα Προηγούμενα Επειδή το πραγματικό κανάλι είναι αναλογικό, κατά τη διαβίβαση ψηφιακής πληροφορίας, αντιστοιχίζουμε τα σύμβολα σε αναλογικές κυματομορφές
Τεράστιες ανάγκες σε αποθηκευτικό χώρο
ΣΥΜΠΙΕΣΗ Τεράστιες ανάγκες σε αποθηκευτικό χώρο Παράδειγμα: CD-ROM έχει χωρητικότητα 650MB, χωρά 75 λεπτά ασυμπίεστου στερεοφωνικού ήχου, αλλά 30 sec ασυμπίεστου βίντεο. Μαγνητικοί δίσκοι χωρητικότητας
Συμπίεση Δεδομένων Δοκιμής (Test Data Compression) Νικολός Δημήτριος, Τμήμα Μηχ. Ηλεκτρονικών Υπολογιστών & Πληροφορικής, Παν Πατρών
Συμπίεση Δεδομένων Δοκιμής (Test Data Compression), Παν Πατρών Test resource partitioning techniques ΑΤΕ Automatic Test Equipment (ATE) based BIST based Έλεγχος παραγωγής γής βασισμένος σε ΑΤΕ Μεγάλος
ΠΑΝΕΠΙΣΤΗΜΙΟ ΚΥΠΡΟΥ, ΤΜΗΜΑ ΠΛΗΡΟΦΟΡΙΚΗΣ
ΠΑΝΕΠΙΣΤΗΜΙΟ ΚΥΠΡΟΥ, ΤΜΗΜΑ ΠΛΗΡΟΦΟΡΙΚΗΣ ΕΠΛ 4: ΣΥΣΤΗΜΑΤΑ ΠΟΛΥΜΕΣΩΝ Θεωρητικές Ασκήσεις (# ): ειγµατοληψία, κβαντοποίηση και συµπίεση σηµάτων. Στην τηλεφωνία θεωρείται ότι το ουσιαστικό περιεχόµενο της
Δεύτερη Σειρά Ασκήσεων
Δεύτερη Σειρά Ασκήσεων ΑΣΚΗΣΗ 1 Από ένα αθόρυβο κανάλι 4 khz παίρνουμε δείγματα κάθε 1 msec. - Ποιος είναι ο μέγιστος ρυθμός μετάδοσης δεδομένων; - Πώς μεταβάλλεται ο μέγιστος ρυθμός μετάδοσης δεδομένων
Τετάρτη 5-12/11/2014. ΣΗΜΕΙΩΣΕΙΣ 3 ου και 4 ου ΜΑΘΗΜΑΤΟΣ ΕΙΔΙΚΟΤΗΤΑ: ΤΕΧΝΙΚΟΣ ΕΦΑΡΜΟΓΩΝ ΠΛΗΡΟΦΟΡΙΚΗΣ ΜΑΘΗΜΑ: ΑΡΧΙΤΕΚΤΟΝΙΚΗ Η/Υ Α ΕΞΑΜΗΝΟ
Τετάρτη 5-12/11/2014 ΣΗΜΕΙΩΣΕΙΣ 3 ου και 4 ου ΜΑΘΗΜΑΤΟΣ ΕΙΔΙΚΟΤΗΤΑ: ΤΕΧΝΙΚΟΣ ΕΦΑΡΜΟΓΩΝ ΠΛΗΡΟΦΟΡΙΚΗΣ ΜΑΘΗΜΑ: ΑΡΧΙΤΕΚΤΟΝΙΚΗ Η/Υ Α ΕΞΑΜΗΝΟ ΕΚΠΑΙΔΕΥΤΗΣ: ΤΡΟΧΙΔΗΣ ΠΑΝΑΓΙΩΤΗΣ 1. Παράσταση και οργάνωση δεδομένων
Συμπίεση Πολυμεσικών Δεδομένων
Συμπίεση Πολυμεσικών Δεδομένων Εισαγωγή στο πρόβλημα και επιλεγμένες εφαρμογές Παράδειγμα 2: Συμπίεση Εικόνας ΔΠΜΣ ΜΥΑ, Ιούνιος 2011 Εισαγωγή (1) Οι τεχνικές συμπίεσης βασίζονται στην απόρριψη της πλεονάζουσας
Εισαγωγή στις Τηλεπικοινωνίες
ΕΛΛΗΝΙΚΗ ΔΗΜΟΚΡΑΤΙΑ Ανώτατο Εκπαιδευτικό Ίδρυμα Πειραιά Τεχνολογικού Τομέα Εισαγωγή στις Τηλεπικοινωνίες Ενότητα 4: Κβάντιση και Κωδικοποίηση Σημάτων Όνομα Καθηγητή: Δρ. Ηρακλής Σίμος Τμήμα: Ηλεκτρονικών
a n + 6a n a n 2 + 8a n 3 = 0, a 0 = 1, a 1 = 2, a 2 = 8
Διακριτά Μαθηματικά Σχέσεις Αναδρομής Ι 1 / 17 a n + 6a n 1 + 12a n 2 + 8a n 3 = 0, a 0 = 1, a 1 = 2, a 2 = 8 2 / 17 a n + 6a n 1 + 12a n 2 + 8a n 3 = 0, a 0 = 1, a 1 = 2, a 2 = 8 1ος τρόπος: Εχουμε τη
Παλμοκωδική Διαμόρφωση. Pulse Code Modulation (PCM)
Παλμοκωδική Διαμόρφωση Pulse Code Modulation (PCM) Pulse-code modulation (PCM) Η PCM είναι ένας στοιχειώδης τρόπος διαμόρφωσης που δεν χρησιμοποιεί φέρον! Το μεταδιδόμενο (διαμορφωμένο) σήμα PCM είναι
Παλμοκωδική Διαμόρφωση. Pulse Code Modulation (PCM)
Παλμοκωδική Διαμόρφωση Pulse Code Modulation (PCM) Pulse-code modulation (PCM) Η PCM είναι ένας στοιχειώδης τρόπος διαμόρφωσης που δεν χρησιμοποιεί φέρον! Το μεταδιδόμενο (διαμορφωμένο) σήμα PCM είναι
ΕΕ728 Προχωρηµένα Θέµατα Θεωρίας Πληροφορίας 4η διάλεξη (4η έκδοση, 11/3/2013)
ΕΕ728 Προχωρηµένα Θέµατα Θεωρίας Πληροφορίας 4η διάλεξη (4η έκδοση, 11/3/2013) ηµήτρης-αλέξανδρος Τουµπακάρης Τµήµα ΗΜ&ΤΥ, Πανεπιστήµιο Πατρών 5 Μαρτίου 2013 ηµήτρης-αλέξανδρος Τουµπακάρης Προχωρηµένα
Ψηφιακή Επεξεργασία Σημάτων
Ψηφιακή Επεξεργασία Σημάτων Ενότητα 7: Μετατροπή Σήματος από Αναλογική Μορφή σε Ψηφιακή Δρ. Μιχάλης Παρασκευάς Επίκουρος Καθηγητής 1 Μετατροπή Αναλογικού Σήματος σε Ψηφιακό Είδη Δειγματοληψίας: Ιδανική
27-Ιαν-2009 ΗΜΥ (ι) Βασική στατιστική (ιι) Μετατροπές: αναλογικό-σεψηφιακό και ψηφιακό-σε-αναλογικό
ΗΜΥ 429 2. (ι) Βασική στατιστική (ιι) Μετατροπές: αναλογικό-σεψηφιακό και ψηφιακό-σε-αναλογικό 1 (ιι) Μετατροπές: αναλογικό-σεψηφιακό και ψηφιακό-σε-αναλογικό 2 Βασικά μέρη συστήματος ΨΕΣ Φίλτρο αντι-αναδίπλωσης
ΠΑΝΕΠΙΣΤΗΜΙΟ ΚΥΠΡΟΥ,
ΠΑΝΕΠΙΣΤΗΜΙΟ ΚΥΠΡΟΥ, ΤΜΗΜΑ ΠΛΗΡΟΦΟΡΙΚΗΣ ΕΠΛ 4: ΣΥΣΤΗΜΑΤΑ ΠΟΛΥΜΕΣΩΝ Ακαδηµαϊκό Έτος 004 005, Χειµερινό Εξάµηνο Καθ.: Νίκος Τσαπατσούλης ΤΕΛΙΚΗ ΕΞΕΤΑΣΗ Η εξέταση αποτελείται από δύο µέρη. Το πρώτο περιλαµβάνει
ΤΕΛΟΣ 1ΗΣ ΑΠΟ 5 ΣΕΛΙ ΕΣ
ΑΡΧΗ 1ΗΣ ΣΕΛΙ ΑΣ - Γ ΗΜΕΡΗΣΙΩΝ ΝΕΟ ΣΥΣΤΗΜΑ ΕΠΑΝΑΛΗΠΤΙΚΕΣ ΠΑΝΕΛΛΑΔΙΚΕΣ ΕΞΕΤΑΣΕΙΣ Γ ΤΑΞΗΣ ΗΜΕΡΗΣΙΟΥ ΓΕΝΙΚΟΥ ΛΥΚΕΙΟΥ ΤΕΤΑΡΤΗ 15 ΙΟΥΝΙΟΥ 2016 - ΕΞΕΤΑΖΟΜΕΝΟ ΜΑΘΗΜΑ: ΑΝΑΠΤΥΞΗ ΕΦΑΡΜΟΓΩΝ ΣΕ ΠΡΟΓΡΑΜΜΑΤΙΣΤΙΚΟ ΠΕΡΙΒΑΛΛΟΝ
Συστήµατα Πολυµέσων Ενδιάµεση Εξέταση: Οκτώβριος 2004
Ενδιάµεση Εξέταση: Οκτώβριος 4 ΜΕΡΟΣ Β: ΑΣΚΗΣΕΙΣ Άσκηση (25 µονάδες): Μια εικόνα αποχρώσεων του γκρι και διαστάσεων 25 x pixel έχει κωδικοποιηθεί κατά PCM µε βάθος χρώµατος 3 bits /pixel. Οι τιµές φωτεινότητας
Μάθημα 7 ο. Συμπίεση Εικόνας ΤΜΗΥΠ / ΕΕΣΤ 1
Μάθημα 7 ο Συμπίεση Εικόνας ΤΜΗΥΠ / ΕΕΣΤ 1 Εισαγωγή (1) Οι τεχνικές συμπίεσης βασίζονται στην απόρριψη της πλεονάζουσας πληροφορίας Ανάγκες που καλύπτονται Εξοικονόμηση μνήμης Ελάττωση χρόνου και εύρους
Ψηφιακή Επεξεργασία και Ανάλυση Εικόνας Ενότητα 6 η : Συμπίεση Εικόνας. Καθ. Κωνσταντίνος Μπερμπερίδης Πολυτεχνική Σχολή Μηχανικών Η/Υ & Πληροφορικής
Ψηφιακή Επεξεργασία και Ανάλυση Εικόνας Ενότητα 6 η : Συμπίεση Εικόνας Καθ. Κωνσταντίνος Μπερμπερίδης Πολυτεχνική Σχολή Μηχανικών Η/Υ & Πληροφορικής Σκοποί ενότητας Εισαγωγή στη συμπίεση εικόνας Μη απωλεστικες
Ένα αναλογικό σήμα περιέχει άπειρες πιθανές τιμές. Για παράδειγμα ένας απλός ήχος αν τον βλέπαμε σε ένα παλμογράφο θα έμοιαζε με το παρακάτω:
Σημειώσεις Δικτύων Αναλογικά και ψηφιακά σήματα Ένα αναλογικό σήμα περιέχει άπειρες πιθανές τιμές. Για παράδειγμα ένας απλός ήχος αν τον βλέπαμε σε ένα παλμογράφο θα έμοιαζε με το παρακάτω: Χαρακτηριστικά
ΠΑΝΕΠΙΣΤΗΜΙΟ ΠΕΛΟΠΟΝΝΗΣΟΥ, ΤΜΗΜΑ ΤΕΧΝΟΛΟΓΙΑΣ ΤΗΛΕΠΙΚΟΙΝΩΝΙΩΝ
ΠΑΝΕΠΙΣΤΗΜΙΟ ΠΕΛΟΠΟΝΝΗΣΟΥ, ΤΜΗΜΑ ΤΕΧΝΟΛΟΓΙΑΣ ΤΗΛΕΠΙΚΟΙΝΩΝΙΩΝ ΒΕΣ 04: ΣΥΜΠΙΕΣΗ ΚΑΙ ΜΕΤΑ ΟΣΗ ΠΟΛΥΜΕΣΩΝ Ακαδηµαϊκό Έτος 2007 2008, Χειµερινό Εξάµηνο 6 Νοεµβρίου 2007 Φροντιστηριακή Άσκηση 2: (I) Εντροπία,
Πρόλογος 1. 1 Μαθηµατικό υπόβαθρο 9
Πρόλογος 1 Μαθηµατικό υπόβαθρο 7 1 Μαθηµατικό υπόβαθρο 9 1.1 Η αριθµητική υπολοίπων.............. 10 1.2 Η πολυωνυµική αριθµητική............ 14 1.3 Θεωρία πεπερασµένων οµάδων και σωµάτων.... 17 1.4 Πράξεις
ΕΠΙΚΟΙΝΩΝΙΕΣ, ΔΙΚΤΥΑ & ΤΕΧΝΟΛΟΓΙΑ ΥΠΟΛΟΓΙΣΤΩΝ
ΕΠΙΚΟΙΝΩΝΙΕΣ, ΔΙΚΤΥΑ & ΤΕΧΝΟΛΟΓΙΑ ΥΠΟΛΟΓΙΣΤΩΝ ΚΕΦΑΛΑΙΟ 2ο ΑΝΑΛΟΓΙΚΑ - ΨΗΦΙΑΚΑ ΣΗΜΑΤΑ & ΑΡΧΕΣ ΤΗΛΕΠΙΚΟΙΝΩΝΙΩΝ Πληροφορία Επικοινωνία συντελείται με τη μεταβίβαση μηνυμάτων από ένα πομπό σε ένα δέκτη. Μήνυμα
Τηλεπικοινωνιακά Συστήματα ΙΙ
Τηλεπικοινωνιακά Συστήματα ΙΙ Διάλεξη 1: Χωρητικότητα Καναλιών Το θεώρημα Shannon - Hartley Δρ. Μιχάλης Παρασκευάς Επίκουρος Καθηγητής 1 Ατζέντα 1. Δυαδική σηματοδοσία 2. Μορφές δυαδικής σηματοδοσίας 3.
Μελετάμε την περίπτωση όπου αποθηκεύουμε ένα (δυναμικό) σύνολο στοιχειών. Ένα στοιχείο γράφεται ως, όπου κάθε.
Ψηφιακά Δένδρα Μελετάμε την περίπτωση όπου αποθηκεύουμε ένα (δυναμικό) σύνολο στοιχειών τα οποία είναι ακολουθίες συμβάλλων από ένα πεπερασμένο αλφάβητο Ένα στοιχείο γράφεται ως, όπου κάθε. Μπορούμε να
ΑΣΚΗΣΕΙΣ ΠΙΘΑΝΟΤΗΤΩΝ του Παν. Λ. Θεοδωρόπουλου 0
ΑΣΚΗΣΕΙΣ ΠΙΘΑΝΟΤΗΤΩΝ του Παν. Λ. Θεοδωρόπουλου 0 Η Θεωρία Πιθανοτήτων είναι ένας σχετικά νέος κλάδος των Μαθηματικών, ο οποίος παρουσιάζει πολλά ιδιαίτερα χαρακτηριστικά στοιχεία. Επειδή η ιδιαιτερότητα
ΕΡΓΑΣΤΗΡΙΑΚΗ ΑΣΚΗΣΗ 4 ΠΑΛΜΟΚΩΔΙΚΗ ΔΙΑΜΟΡΦΩΣΗ - PCM (ΜΕΡΟΣ Α)
ΕΡΓΑΣΤΗΡΙΑΚΗ ΑΣΚΗΣΗ 4 ΠΑΛΜΟΚΩΔΙΚΗ ΔΙΑΜΟΡΦΩΣΗ - PCM (ΜΕΡΟΣ Α) 3.1. ΣΚΟΠΟΣ ΑΣΚΗΣΗΣ Σκοπός της εργαστηριακής αυτής άσκησης είναι η μελέτη της παλμοκωδικής διαμόρφωσης που χρησιμοποιείται στα σύγχρονα τηλεπικοινωνιακά
Συστήματα Πολυμέσων. Ενότητα 3: Εισαγωγικά θέματα Συμπίεσης. Θρασύβουλος Γ. Τσιάτσος Τμήμα Πληροφορικής ΑΡΙΣΤΟΤΕΛΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΟΝΙΚΗΣ
ΑΡΙΣΤΟΤΕΛΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΟΝΙΚΗΣ ΑΝΟΙΧΤΑ ΑΚΑΔΗΜΑΙΚΑ ΜΑΘΗΜΑΤΑ Ενότητα 3: Εισαγωγικά θέματα Συμπίεσης Θρασύβουλος Γ. Τσιάτσος Άδειες Χρήσης Το παρόν εκπαιδευτικό υλικό υπόκειται σε άδειες χρήσης Creative
Περιεχόμενα 1 Κωδικοποίησ η Πηγής 2 Χωρητικότητα Διακριτών Καναλιών 2 / 21
Θεωρία Πληροφορίας και Στοιχεία Κωδίκων Κωδικοποίησ η Πηγής και Χωρητικότητα Διακριτών Καναλιών Διδάσ κων: Καλουπτσ ίδης Νικόλαος Επιμέλεια: Κατσ άνος Κωνσ ταντίνος Τμήμα Πληροφορικής και Τηλεπικοινωνιών