Θεωρία Πληροφορίας. Διάλεξη 4: Διακριτή πηγή πληροφορίας χωρίς μνήμη. Δρ. Μιχάλης Παρασκευάς Επίκουρος Καθηγητής
|
|
- Ὀλυσσεύς Αγγελοπούλου
- 7 χρόνια πριν
- Προβολές:
Transcript
1 Θεωρία Πληροφορίας Διάλεξη 4: Διακριτή πηγή πληροφορίας χωρίς μνήμη Δρ. Μιχάλης Παρασκευάς Επίκουρος Καθηγητής 1
2 Ατζέντα Διακριτή πηγή πληροφορίας χωρίς μνήμη Ποσότητα πληροφορίας της πηγής Κωδικοποίηση πηγής Αλγόριθμοι κωδικοποίησης διακριτής πηγής πληροφορίας χωρίς μνήμη Αλγόριθμος Fano Αλγόριθμος Shannon Αλγόριθμος Huffman 2
3 Διακριτή πηγή πληροφορίας χωρίς μνήμη Διακριτή ονομάζεται μια πηγή πληροφορίας που παράγει ακολουθίες συμβόλων. Το σύνολο των συμβόλων ονομάζεται αλφάβητο πηγής. Μια ομάδα διαδοχικών συμβόλων ονομάζεται μήνυμα ή λέξη. Αν η πιθανότητα επιλογής ενός συμβόλου είναι σταθερή και ανεξάρτητη από τις επιλογές των προηγούμενων συμβόλων, τότε η πηγή ονομάζεται διακριτή πηγή πληροφορίας χωρίς μνήμη. 3
4 Ποσότητα πληροφορίας πηγής χωρίς μνήμη (1/3) Έστω s 1, s 2,, s n το πλήθος των n συμβόλων του αλφάβητου S της πηγής. Τα μηνύματα συμβολίζονται με m 1, m 2,, m q, όπου q είναι τo πλήθος των δυνατών μηνυμάτων. Το σύνολο όλων των μηνυμάτων συμβολίζεται με Μ. Αν κάθε μήνυμα αποτελείται από l σύμβολα, τότε το πλήθος των δυνατών μηνυμάτων είναι ίσο με n l. Η μέση ποσότητα πληροφορίας ή εντροπία των συμβόλων που δημιουργούνται από μια διακριτή πηγή χωρίς μνήμη με αλφάβητο S = s 1, s 2, s n, όπου p i η (αμετάβλητη στο χρόνο) πιθανότητα επιλογής του συμβόλου s i, είναι : H S n = p i log p i (bits/symbol ) 4
5 Ποσότητα πληροφορίας πηγής χωρίς μνήμη (2/3) H μέγιστη εντροπία των συμβόλων της πηγής επιτυγχάνεται όταν οι πιθανότητες επιλογής τους είναι ίσες με: maxh S n 1 = n log 1 n = log n (bits/symbol ) Ο πλεονασμός της διακριτής πηγής ορίζεται από τη σχέση: H S red = 1 maxh(s) Ο πλεονασμός λαμβάνει τιμές στο διάστημα [0,1]. Αν η πηγή παράγει σύμβολα με ρυθμό r s symbols/sec, τότε ο μέσος ρυθμός πληροφορίας της πηγής R ορίζεται από τη σχέση: R = r s H(S) bits/sec 5
6 Ποσότητα πληροφορίας πηγής χωρίς μνήμη (3/3) Το μέσο πληροφοριακό περιεχόμενο των μηνυμάτων της πηγής μπορεί να οριστεί με ανάλογο τρόπο. M = {m 1, m 2,, m q } είναι το σύνολο των δυνατών μηνυμάτων q είναι το πλήθος των δυνατών μηνυμάτων (q = n l ) P = {p(m 1 ), p(m 2 ),.. p(m q )} είναι η κατανομή πιθανοτήτων των μηνυμάτων Το μέσο πληροφοριακό περιεχόμενο των μηνυμάτων της πηγής είναι: H M q = p(m i ) log p(m i ) (bits/symbol ) Για μηνύματα αποτελούμενα από q σύμβολα, ισχύει η σχέση H M = q H(S). 6
7 Άσκηση 1 Μια δυαδική πηγή πληροφορίας χωρίς μνήμη παράγει τα σύμβολα 0 και 1 σε σταθερές ανεξάρτητες ακολουθίες με πιθανότητες 3/4 και 1/4, αντίστοιχα. Να υπολογιστούν η εντροπία, η μέγιστη μέση ποσότητα πληροφορίας και ο πλεονασμός της πηγής. Απάντηση: Το αλφάβητο της πηγής είναι S = {0,1} και οι αντίστοιχες πιθανότητες συμβόλων p 1 = 3/4 και p 2 = 1/4. Η εντροπία είναι: n 2 H S = p i log p i = p i log p i = 3 4 log log 1 4 = 0,81 bit/symbol Η μέγιστη μέση ποσότητα πληροφορίας είναι: maxh S n 1 = n log 1 n = log n = log 2 = 1 bit/symbol Ο πλεονασμός της πηγής είναι: red = 1 H S maxh S = 1 0,81 1 = 0,19 7
8 Άσκηση 2 Η πηγή της άσκησης 1 παράγει μηνύματα αποτελούμενα από δύο σύμβολα. Να υπολογιστεί το μέσο πληροφοριακό περιεχόμενο των μηνυμάτων της πηγής. Απάντηση: Τα δυνατά μηνύματα είναι: Μ = 00, 01, 10, 11. Επειδή η πηγή είναι χωρίς μνήμη, η πιθανότητα παραγωγής καθενός από τα μηνύματα αυτά ισούται με το γινόμενο των πιθανοτήτων των συμβόλων από τα οποία αποτελείται. Επομένως ισχύει: P = {9/16, 3/16, 3/16, 1/16}. Το μέσο πληροφοριακό περιεχόμενο των μηνυμάτων της πηγής δίνεται από τη σχέση: H M q = p(m i ) log p(m i ) = = 9 16 log log log log 1 16 = = 1,63 bits/message Παρατηρούμε ότι ισχύει: H M = q H(S) 8
9 Άσκηση 3 Μια πηγή πληροφορίας παράγει σύμβολα, τα οποία ανήκουν στο αλφάβητο S = {α, β, γ, δ, ε, ζ, η}. Οι πιθανότητες των συμβόλων είναι 1/32, 1/16, 1/8, 1/8, 1/8, 1/2 και 1/32, αντίστοιχα. Θεωρώντας την πηγή χωρίς μνήμη, ζητείται να προσδιορίσετε ή να υπολογίσετε: 1. Το σύμβολο της πηγής με το πιο χαμηλό πληροφορικό περιεχόμενο. 2. Τα σύμβολα της πηγής με το πιο υψηλό πληροφορικό περιεχόμενο. 3. Το μέσο πληροφορικό περιεχόμενο των συμβόλων της πηγής, 4. Το μέσο πληροφορικό περιεχόμενο των μηνυμάτων της πηγής αποτελούμενων από δύο σύμβολα. 5. Τον πλεονασμό της πηγής 6. Το μέσο ρυθμό πληροφορίας της πηγής για ρυθμό συμβόλων/sec. Απάντηση: 1. Το πληροφορικό περιεχόμενο ενός συμβόλου x δίνεται από τον αρνητικό λογάριθμο της πιθανότητας παραγωγής του. Επομένως, το σύμβολο με την πιο υψηλή πιθανότητα παραγωγής έχει το πιο χαμηλό πληροφορικό περιεχόμενο. Στην προκειμένη περίπτωση, για το σύμβολο ζ έχουμε H(ζ) = log(1/2) = 1 bits 9
10 Άσκηση 3 (συνέχεια) 2. Το σύμβολο με την πιο μικρή πιθανότητα παραγωγής έχει το πιο υψηλό πληροφορικό περιεχόμενο. Στην προκειμένη περίπτωση, τα σύμβολα α και η έχουν την πιο χαμηλή πιθανότητα παραγωγής, η οποία είναι ίση με 1/32, δηλαδή: H(α) = Η(η) = log(1/32) = 5 bits 3. Το μέσο πληροφορικό περιεχόμενο των συμβόλων της πηγής υπολογίζεται από τη σχέση: n H S = p i log p i = = 1 32 log log log log log log 1 32 = = 35 = 2,1875 (bits/symbol) 16 10
11 Άσκηση 3 (συνέχεια) 4. Για τον υπολογισμό του μέσου πληροφορικού περιεχομένου των μηνυμάτων της πηγής αποτελούμενων από 2 σύμβολα, αφού η πηγή είναι χωρίς μνήμη, αρκεί να πολλαπλασιάσουμε τη μέση ποσότητα πληροφορίας συμβόλων με το πλήθος των συμβόλων από τα οποία αποτελούνται τα μηνύματα. Δηλαδή: H(M) = 2 Η(S) = 4,375 bits 5. Ο πλεονασμός δίνεται από τη σχέση: red = 1 H S maxh S H S = 1 log7 = 1 2,1875 2,8 = 1 0,781 = 0, Η παροχή της πηγής δίνεται από τη σχέση: R = r H S = x (2,1875) = ,75 bits/sec 11
12 Κωδικοποίηση Πηγής χωρίς Μνήμη Κωδικοποίηση πηγής είναι η διαδικασία μετατροπής των ακολουθιών συμβόλων που παράγει η πηγή σε ακολουθίες συμβόλων κώδικα (συνήθως σε δυαδικές ακολουθίες), ώστε να αφαιρείται ο πλεονασμός και να προκύπτει συμπιεσμένη μορφή αναπαράστασης των μηνυμάτων. Τα διαφορετικά κωδικά σύμβολα που χρησιμοποιούνται για τη μετατροπή των δυαδικών ακολουθιών απαρτίζουν το κωδικό αλφάβητο. Κώδικας είναι το σύνολο των κωδικών λέξεων και η αντιστοίχιση τους με τα σύμβολα της πηγής. Αν όλες οι κωδικές λέξεις είναι διαφορετικές, ο κώδικας ονομάζεται ως μη ιδιάζων. Αν και οι δυνατές ακολουθίες κωδικών λέξεων είναι διαφορετικές, ο κώδικας είναι μοναδικά αποκωδικοποιήσιμος. Αν ένας μοναδικός αποκωδικοποιήσιμος κώδικας επιτρέπει την άμεση αποκωδικοποίηση κάθε συμβόλου μόλις λαμβάνεται στον προορισμό, τότε χαρακτηρίζεται ως άμεσος κώδικας. 12
13 Κωδικοποίηση Πηγής χωρίς Μνήμη Για κάθε άμεσο κώδικα με πλήθος συμβόλων q και μήκος κωδικών λέξεων l i, όπου i = 1,2, n και n το πλήθος των συμβόλων της πηγής, ισχύει η ακόλουθη ανισότητα (ανισότητα του Kraft): n q l i = 1 Εάν υπάρχει ένα σύνολο κωδικών λέξεων που ικανοποιούν την ανισότητα, τότε υπάρχει ένας άμεσος κώδικας με κωδικές λέξεις που έχουν αυτά τα μήκη. Το μέσο μήκος κωδικών λέξεων δίνεται από τη σχέση L = σ n Η επίδοση (α) του κώδικα ορίζεται ως ο λόγος του μέσου πληροφοριακού περιεχομένου των συμβόλων της πηγής (ή των κωδικών λέξεων) προς το γινόμενο του μέσου μήκους των κωδικών λέξεων με το λογάριθμο του πλήθους των κωδικών συμβόλων, δηλ.: p i l i α = (σ n H(C) p i l i ) log q 13
14 Άσκηση 4 Να εξετάσετε αν οι κώδικες Ι, ΙΙ, ΙΙΙ και IV είναι: (α) Μη-ιδιάζοντες (β) Μοναδικά αποκωδικοποιήσιμοι (γ) Άμεσοι Ι ΙΙ ΙΙΙ ΙV Φ Χ Υ Ω Απάντηση: (α) Όλοι οι κώδικες είναι μη ιδιάζοντες, αφού ο καθένας αποτελείται από διαφορετικές κωδικές λέξεις. (β) Όλοι οι κώδικες είναι μοναδικά αποκωδικοποιήσιμοι εκτός του I. Για τον κώδικα Ι παρατηρούμε ότι η ακολουθία κωδικών λέξεων 1001 θα μπορούσε να προκύψει από διάφορες ακολουθίες συμβόλων όπως ΧΥ ή ΧΦΩ κλπ. (γ) Μόνο οι κώδικες ΙΙ και ΙV είναι άμεσοι. Στην περίπτωση του κώδικα Ι, αν ο δέκτης λάβει το 0 δεν θα ξέρει αν είναι η πρώτη κωδική λέξη ή το 1ο κωδικό σύμβολο της 3 ης κωδικής λέξης κοκ. Σχετικά με τον κώδικα ΙΙΙ, όταν ο δέκτης λάβει τα 10 δεν μπορεί ξέρει αν είναι η 2η κωδική λέξη ή τα 2 πρώτα σύμβολα της 3ης κωδικής λέξης κοκ. 14
15 Άσκηση 5 Για την πηγή της άσκησης 4 να υπολογιστεί η επίδοση του κώδικα II αν οι πιθανότητες των συμβόλων της πηγής Φ, Χ, Υ και Ω είναι 1/2, 1/4, 1/8 και 1/8, αντίστοιχα. Για την ίδια πηγή να υπολογιστεί επίσης και η επίδοση του κώδικα «1», «01», «001» και «000». Απάντηση: Το μέσο πληροφοριακό περιεχόμενο της πηγής είναι: n H S = p i log p i = 1 2 log log log log 1 8 Η επίδοση του κώδικα είναι: α = H(C) n p i l i ) log q = 1,75 2 = 0,875 (σ = 1,75 bits Για τις κωδικές λέξεις «1», «01», «001» και «000» το μέσο πληροφοριακό περιεχόμενο της πηγής H S είναι επίσης ίσο με 1,75 bits. Το πλήθος των κωδικών συμβόλων είναι 2 και το μέσο μήκος των κωδικών λέξεων είναι ίσο με 1,75. Επομένως η επίδοση α είναι ίση με 1. 15
16 Αλγόριθμοι κωδικοποίησης διακριτής πηγής πληροφορίας χωρίς μνήμη Αλγόριθμος Fano Αλγόριθμος Shannon Αλγόριθμος Huffman 16
17 Βήματα Υλοποίησης: Αλγόριθμος Κωδικοποίησης Fano 1. Τα σύμβολα της πηγής διατάσσονται σε κατά φθίνουσα τάξη με βάση την πιθανότητα εμφάνισης. 2. Τα σύμβολα χωρίζονται σε τόσες ομάδες όσα και τα κωδικά σύμβολα, κατά τρόπο ώστε να προκύπτουν (αν αυτό είναι εφικτό) ίσες αθροιστικές πιθανότητες εμφάνισης των συμβόλων. Στην περίπτωση δυαδικού κώδικα, τα n σύμβολα της πηγής χωρίζονται σε 2 ομάδες, επιλέγοντας το k έτσι ώστε η k n διαφορά σ p i σ i=k+1 p i των αθροιστικών πιθανοτήτων εμφάνισης των συμβόλων, να ελαχιστοποιείται. 3. Για κάθε ομάδα συμβόλων της πηγής, επιλέγεται ένα από τα κωδικά σύμβολα ως το πρώτο των κωδικών λέξεων που θα προκύψουν. 4. Για κάθε ομάδα συμβόλων της πηγής επαναλαμβάνονται τα βήματα 2 και 3 έως ότου η κάθε ομάδα αποτελείται από μόνο ένα σύμβολο. Σε κάθε επανάληψη του βήματος 3, επιλέγεται ένα ακόμα κωδικό σύμβολο για το σχηματισμό των κωδικών λέξεων. Ο αλγόριθμος Fano οδηγεί σε άριστους κώδικες αν είναι δυνατή η επαναλαμβανόμενη διαίρεση των ομάδων συμβόλων σε ακριβώς ισοπίθανες ομάδες. 17
18 Άσκηση 6 Μια πηγή παράγει 8 διαφορετικά σύμβολα, τα Α, Β, Γ, Δ, Ε, Ζ, Η και Θ, με πιθανότητες 1/8, 1/4, 1/16, 1/32, 1/4, 1/32, 1/8 και 1/8, αντίστοιχα. Να σχηματιστεί κώδικας σύμφωνα με τον αλγόριθμο του Fano, με δυαδικό κωδικό αλφάβητο. Απάντηση: Τα σύμβολα της πηγής διατάσσονται σε φθίνουσα πιθανότητα και χωρίζονται σε δύο ομάδες με το δυνατόν ίσες αθροιστικές πιθανότητες. Τα δύο πρώτα σύμβολα ανήκουν στην 1η ομάδα και τα υπόλοιπα στην 2η. Επιλέγουμε το 0 ως το πρώτο κωδικό σύμβολο των κωδικών λέξεων της 1ης ομάδας και το 1 για τις κωδικές λέξεις της 2ης ομάδας. Η πρώτη ομάδα χωρίζεται σε 2 υποομάδες με ένα σύμβολο η καθεμία. Επιλέγουμε και πάλι το 0 για την 1η υποομάδα και το 1 για τη 2. Έτσι καταλήγουμε στις κωδικές λέξεις των δύο πρώτων συμβόλων του πίνακα, τις 00 και 01. Κατά τον ίδιο τρόπο συνεχίζουμε και σε σχέση με τη δεύτερη ομάδα, την οποία χωρίζουμε σε δύο υποομάδες, εκ των οποίων η 1 η περιλαμβάνει το 3ο και το 4ο σύμβολο του πίνακα και η άλλη όλα τα υπόλοιπα σύμβολα. 18
19 Αλγόριθμος Κωδικοποίησης Shannon Βήματα Υλοποίησης: 1. Τα σύμβολα της πηγής διατάσσονται σε κατά φθίνουσα τάξη με βάση την πιθανότητα εμφάνισης. 2. Για κάθε σύμβολο S j, του οποίου η πιθανότητα εμφάνισης είναι p(s j ), υπολογίζεται η αθροιστική πιθανότητα P i, από τη σχέση: i 1 P i = p(s j ) j=1 3. Το πλήθος των κωδικών συμβόλων της κωδικής λέξης που αναπαριστά το σύμβολο της πηγής S i είναι ίσο με τον ακέραιο αριθμό l i, που ικανοποιεί την ανισότητα: log 1 l p S i < 1 + log 1 i p S i 4. Η κωδική λέξη c i του συμβόλου S i της πηγής είναι το δυαδικό ανάπτυγμα του κλάσματος P i (μόνο τα πρώτα l i bits του αναπτύγματος λαμβάνονται υπόψη), δηλαδή: c i = P i binary li bits 19
20 Άσκηση 7 Για την πηγή της άσκησης 6 να σχηματιστεί κώδικας σύμφωνα με τον αλγόριθμο του Shannon, με δυαδικό κωδικό αλφάβητο. Απάντηση: Παρατηρούμε ότι οι αλγόριθμοι Shannon και Fano παρήγαγαν το ίδιο αποτέλεσμα. Αυτό όμως δεν ισχύει πάντα. 20
21 Άσκηση 8 Δίνεται μία πηγή με τα σύμβολα Φ, Χ, Υ και Ω και πιθανότητες παραγωγής τους 0,4, 0,3, 0,2 και 0,1, αντίστοιχα. Να σχηματιστούν κωδικές λέξεις με τους αλγορίθμους Shannon και Fano. Απάντηση: S i P(S i ) P i l i Ανάπτυγμα του P i Κώδικας Shannon Κώδικας Fano Φ 0,4 P 1 = 0 l 1 = Χ 0,3 P 2 = 0,4 l 2 = Υ 0,2 P 3 = 0,7 l 3 = Ω 0,1 P 4 = 0,9 l 4 =
22 Αλγόριθμος Κωδικοποίησης Huffman Βήματα Υλοποίησης κωδικοποίησης HUFFMAN: 1. Τα σύμβολα της πηγής διατάσσονται κατά φθίνουσα πιθανότητα εκπομπής 2. Τα δύο τελευταία σύμβολα της πηγής με μικρότερη πιθανότητα παραγωγής ενώνονται σε ένα. Η πιθανότητα του συμβόλου είναι ίση με το άθροισμα των πιθανοτήτων των δύο συμβόλων. 3. Τα βήματα 1 και 2 επαναλαμβάνονται έως ότου το αλφάβητο της πηγής αποτελείται από δύο σύμβολα. Σε αυτά τα σύμβολα αποδίδονται το 0 και Τα ψηφία 0 και 1 αποδίδονται στη θέση του ενός και του άλλου συμβόλου αντίστοιχα, τα οποία στο βήμα 2 συγχωνεύτηκαν σε ένα. 5. Οι κωδικές λέξεις των συμβόλων σχηματίζονται από όλα τα ψηφία 0 και 1 που σχετίζονται με αυτά τα σύμβολα (από το τέλος προς την αρχή). Ο κώδικας Huffman παράγει κώδικα με το μικρότερο μέσο μήκος λέξεων για δεδομένο αλφάβητο της πηγής. Πηγή: D. Huffman, A Method for the Construction of Minimum-Redundancy Codes 22
23 Άσκηση 9 Μια πηγή παράγει 6 σύμβολα, τα S 1, S 2, S 3, S 4, S 5 και S 6, με πιθανότητες 0,4, 0,3, 0,1, 0,1, 0,06 και 0,04, αντίστοιχα. Να σχηματιστεί κώδικας σύμφωνα με τον αλγόριθμο του Huffman, με δυαδικό κωδικό αλφάβητο. Απάντηση: 23
24 Άσκηση 10 Δίδεται διακριτή πηγή που παράγει 7 διαφορετικά σύμβολα, Α, Β, Γ, Δ, Ε, Ζ, Η, με πιθανότητες, αντίστοιχα: {0,2, 0,15, 0,1, 0,3, 0,06, 0,15, 0,04} και ζητείται: 1. Να σχεδιασθεί δυαδικός κώδικας σύμφωνα με τον αλγόριθμο Ηuffman. 2. Να σχεδιασθεί δυαδικός κώδικας σύμφωνα με τον αλγόριθμο Fano. 3. Να συγκριθούν οι κώδικες που προκύπτουν στα ερωτήματα 1 και 2 ως προς την επίδοσή τους. Απάντηση: 1. Κώδικας Huffman με δύο κωδικά σύμβολα: Σύμβολα Κώδικας Δ 0,3 0,3 0,3 0,3 0,4 0,6 (0) 00 Α 0,2 0,2 0,2 0,3 0,3 (0) 0,4 (1) 10 Β 0,15 0,15 0,2 0,2 (0) 0,3 (1) 010 Ζ 0,15 0,15 0,15 (0) 0,2 (1) 011 Γ 0,1 0,1 (0) 0,15 (1) 110 Ε 0,06 (0) 0,1 (1) 1110 Η 0,04 (1)
25 Άσκηση 10 (συνέχεια) 2. Τα σύμβολα της πηγής κατατάσσονται σε τάξη φθίνουσας πιθανότητας (δείτε τον παρακάτω πίνακα). Χωρίζονται σε ομάδες και υποομάδες ως ακολούθως: Τα δύο πρώτα σύμβολα περιλαμβάνονται στην 1η ομάδα και τα υπόλοιπα στη 2 η ομάδα. Επιλέγουμε το 0 ως το πρώτο κωδικό σύμβολο των κωδικών λέξεων της 1 ης ομάδας και το 1 για τις κωδικές λέξεις της 2 ης ομάδας. Η πρώτη ομάδα χωρίζεται σε 2 υποομάδες με ένα σύμβολο η πρώτη και ένα η δεύτερη. Επιλέγουμε και πάλι το 0 για την 1 η υποομάδα και το 1 για τη 2. Έτσι καταλήγουμε στην κωδική λέξη του Γ, η οποία είναι η 00 κοκ. Κώδικας Fano Σύμβολα Πιθανότητες Κώδικας Δ 0,3 00 Α 0,2 01 Β 0, Ζ 0, Γ 0,1 110 Ε 0,06 (0) 1110 Η 0,04 (1)
26 Άσκηση 10 (συνέχεια) 3. Για τον υπολογισμό της απόδοσης των κωδίκων, υπολογίζουμε την εντροπία της πηγής: H S 7 = p i log p i = = 3 10 log log log log log log = 2,568 bits/symbol Υπολογίζουμε το μέσο μήκος των κωδικών λέξεων για κάθε περίπτωση. Δυαδικός κώδικας Huffman 7 σ p i l i = 2x0,5 + 3x0,4 + 4x0,1 = 2,6 Η απόδοση είναι : a = (σ7 H s = 2,568 p i l i ) log2 2,6 = 0, Δυαδικός κώδικας Fano σ p i l i = 2x0,5 + 3x0,4 + 4x0,1 = 2,6 Η απόδοση είναι: a = (σ7 H s = 2,568 p i l i ) log2 2,6 = 0,98771 Παρατηρούμε ότι οι δυαδικοί κώδικες είναι σχεδόν άριστοι. 26
27 Άσκηση Να βρείτε τον κώδικα Shannon για την κατανομή πιθανοτήτων τεσσάρων συμβόλων {1/3, 1/3, 1/4, 1/12} καθώς και το μέσο μήκος του. 2. Να βρείτε όλα τα δυνατά μήκη κωδικών λέξεων που μπορούν να προκύψουν με εφαρμογή του αλγόριθμου κωδικοποίησης Huffman για την ίδια κατανομή πιθανοτήτων του ερωτήματος (1). Τί παρατηρείτε σχετικά με τα μήκη των κωδικών λέξεων που αντιστοιχούν σε κάθε σύμβολο σε σχέση με τον κώδικα Shannon; Ποιός κώδικας είναι βέλτιστος; Απάντηση: 1. Εφαρμόζοντας τον αλγόριθμο κωδικοποίησης Shannon και παρατηρώντας ότι οι πιθανότητες είναι ήδη ταξινομημένες σε φθίνουσα ακολουθία έχουμε τον παρακάτω πίνακα: p i P i l i Κώδικας 1/ /3 1/ /4 2/ /12 11/ Το μέσο μήκος του κώδικα Shannon είναι Ε[l]=2,1667 bits 27
28 Άσκηση 11 (συνέχεια) Παρατηρούμε ότι ο κώδικας Shannon που κατασκευάσαμε δεν είναι βέλτιστος, δεδομένου ότι μπορούμε να συντομεύσουμε την τελευταία κωδική λέξη σε 11 χωρίς να χαθεί η αμεσότητα του κώδικα. Αποδεικνύεται ότι ο κώδικας {00, 01, 10, 11} είναι ένας από τους πιθανούς κώδικες Huffman, ο οποίος προκύπτει συνδυάζοντας πρώτα το 3 ο και το 4 ο ενδεχόμενο σε ένα ενδεχόμενο πιθανότητας 1/3 και στη συνέχεια συνδυάζοντας το 1 ο και 2 ο ενδεχόμενο σε ένα ενδεχόμενο πιθανότητας 2/3. Το μέσο μήκος του κώδικα είναι Ε[l 1 ]=2 bits. Όπως γνωρίζουμε, ο βέλτιστος κώδικας που προκύπτει από Huffman δεν είναι μοναδικός. Έτσι εάν το ενδεχόμενο που προκύπτει από το συνδυασμό του 3 ου και 4 ου ενδεχομένου συνδυαστεί στη συνέχεια με το 1 ο ή το 2 ο ενδεχόμενο, προκύπτει κώδικας Huffman με μήκη (1, 2, 3, 3). Το μέσο μήκος και σε αυτή την περίπτωση είναι Ε[l 1 ]=1x(1/3) + 2x(1/3) + 3x(1/4+1/12) = 2 bits, που είναι αναμενόμενο λόγω του ότι έχει προκύψει από χρήση του αλγορίθμου Huffman. Παρατηρούμε ότι τα μήκη του κώδικα Huffman δεν είναι πάντα μοναδικά. 28
29 Άσκηση 11 (συνέχεια) Επίσης, είναι δυνατό επιμέρους μήκη που έχουν προκύψει από τον κώδικα Shannon να είναι μικρότερα από αντίστοιχα επιμέρους μήκη που έχουν προκύψει από τον κώδικα Huffman. Π.χ. το μήκος του κώδικα Shannon που αντιστοιχεί στο 3 ο ενδεχόμενο είναι μικρότερο από το αντίστοιχο μήκος του δεύτερου κώδικα Huffman. Ωστόσο το μέσο μήκος του κώδικα Huffman δεν υπερβαίνει σε καμία περίπτωση το μέσο μήκος του κώδικα Shannon. Τέλος, η εντροπία της τυχαίας μεταβλητής ισούται με 1,7637 bits. Παρατηρούμε ότι τόσο ο κώδικας Huffman όσο και ο κώδικας Shannon επιτυγχάνουν συμπίεση το πολύ 1 bit μακριά από την εντροπία. 29
Τηλεπικοινωνιακά Συστήματα ΙΙ
Τηλεπικοινωνιακά Συστήματα ΙΙ Διάλεξη 11: Κωδικοποίηση Πηγής Δρ. Μιχάλης Παρασκευάς Επίκουρος Καθηγητής 1 Ατζέντα 1. Αλγόριθμοι κωδικοποίησης πηγής Αλγόριθμος Fano Αλγόριθμος Shannon Αλγόριθμος Huffman
Θεωρία Πληροφορίας. Διάλεξη 5: Διακριτή πηγή πληροφορίας με μνήμη. Δρ. Μιχάλης Παρασκευάς Επίκουρος Καθηγητής
Θεωρία Πληροφορίας Διάλεξη 5: Διακριτή πηγή πληροφορίας με μνήμη Δρ. Μιχάλης Παρασκευάς Επίκουρος Καθηγητής 1 Ατζέντα 1. Διακριτές πηγές πληροφορίας με μνήμη Μαρκοβιανές αλυσίδες Τάξη μακροβιανών αλυσίδων
ΕΛΛΗΝΙΚΟ ΑΝΟΙΚΤΟ ΠΑΝΕΠΙΣΤΗΜΙΟ
Θ.Ε. ΠΛΗ22 (2012-13) ΓΡΑΠΤΗ ΕΡΓΑΣΙΑ #4. Έκδοση v2 με διόρθωση τυπογραφικού λάθους στο ερώτημα 6.3 Στόχος: Βασικό στόχο της 4 ης εργασίας αποτελεί η εξοικείωση με τα μέτρα ποσότητας πληροφορίας τυχαίων
ΘΕΩΡΙΑ ΠΛΗΡΟΦΟΡΙΑΣ. Κεφάλαιο 3 : Πηγές Πληροφορίας Χρήστος Ξενάκης. Πανεπιστήμιο Πειραιώς, Τμήμα Ψηφιακών Συστημάτων
ΘΕΩΡΙΑ ΠΛΗΡΟΦΟΡΙΑΣ Κεφάλαιο 3 : Πηγές Πληροφορίας Χρήστος Ξενάκης Πανεπιστήμιο Πειραιώς, Τμήμα Ψηφιακών Συστημάτων Περιεχόμενα Διακριτές Πηγές Πληροφορίας χωρίς μνήμη Ποσότητα πληροφορίας της πηγής Κωδικοποίηση
Συμπίεση Δεδομένων
Συμπίεση Δεδομένων 2014-2015 Ρυθμός κωδικοποίησης Ένας κώδικας που απαιτεί L bits για την κωδικοποίηση μίας συμβολοσειράς N συμβόλων που εκπέμπει μία πηγή έχει ρυθμό κωδικοποίησης (μέσο μήκος λέξης) L
ΕΑΠ/ΠΛΗ22/ΑΘΗ-4. 3 η ΟΣΣ
ΕΑΠ/ΠΛΗ22/ΑΘΗ-4 3 η ΟΣΣ 08.02.205 Ν.Δημητρίου Σημείωση: Η παρουσίαση αυτή είναι συμπληρωματική της ύλης των βιβλίων (τόμος Β / μέρη Α,Β και τόμος Α ) καθώς και των 2 παρουσιάσεων στο study.eap.gr (oss3_plh22_digicomms_205,
Χρήστος Ξενάκης. Πανεπιστήμιο Πειραιώς, Τμήμα Ψηφιακών Συστημάτων
ΘΕΩΡΙΑ ΠΛΗΡΟΦΟΡΙΑΣ Κεφάλαιο 3 : Πηγές Πληροφορίας Χρήστος Ξενάκης Πανεπιστήμιο Πειραιώς, Τμήμα Ψηφιακών Συστημάτων Περιεχόμενα Διακριτές Πηγές Πληροφορίας χωρίς μνήμη Ποσότητα πληροφορίας της πηγής Κωδικοποίηση
Απαντήσεις σε απορίες
Ερώτηση Η µέση ποσότητα πληροφορίας κατά Shannon είναι Η(Χ)=-Σp(xi)logp(xi)...σελ 28 Στο παραδειγµα.3 στη σελιδα 29 στο τέλος δεν καταλαβαίνω πως γίνεται η εφαρµογή του παραπάνω τύπου ηλαδη δεν βλεπω συντελεστη
Συμπίεση χωρίς Απώλειες
Συμπίεση χωρίς Απώλειες Στόχοι της συμπίεσης δεδομένων: Μείωση του απαιτούμενου χώρου αποθήκευσης των δεδομένων. Περιορισμός της απαιτούμενης χωρητικότητας διαύλου επικοινωνίας για την μετάδοση. μείωση
Δομές Δεδομένων και Αλγόριθμοι
Δομές Δεδομένων και Αλγόριθμοι Χρήστος Γκόγκος ΤΕΙ Ηπείρου Χειμερινό Εξάμηνο 2014-2015 Παρουσίαση 20 Huffman codes 1 / 12 Κωδικοποίηση σταθερού μήκους Αν χρησιμοποιηθεί κωδικοποίηση σταθερού μήκους δηλαδή
ΕΑΠ/ΠΛΗ22/ΑΘΗ-3. 3 η ΟΣΣ
ΕΑΠ/ΠΛΗ22/ΑΘΗ-3 3 η ΟΣΣ 04.02.207 Ν.Δημητρίου Σημείωση: Η παρουσίαση αυτή είναι συμπληρωματική της ύλης των βιβλίων (τόμος Β / μέρη Α,Β και τόμος Α ) καθώς και των 2 παρουσιάσεων στο study.eap.gr (oss3_plh22_digicomms_207,
ΕΑΠ/ΠΛΗ22/ΑΘΗ-4. 3 η ΟΣΣ
ΕΑΠ/ΠΛΗ22/ΑΘΗ-4 3 η ΟΣΣ 06.02.2016 Ν.Δημητρίου Σημείωση: Η παρουσίαση αυτή είναι συμπληρωματική της ύλης των βιβλίων (τόμος Β / μέρη Α,Β και τόμος Α ) καθώς και των 2 παρουσιάσεων στο study.eap.gr (PLH22_3rdOSS_2015_16,
d k 10 k + d k 1 10 k d d = k i=0 d i 10 i.
Διακριτά Μαθηματικά ΙΙ Χρήστος Νομικός Τμήμα Μηχανικών Η/Υ και Πληροφορικής Πανεπιστήμιο Ιωαννίνων 2018 Χρήστος Νομικός ( Τμήμα Μηχανικών Η/Υ Διακριτά και Πληροφορικής Μαθηματικά Πανεπιστήμιο ΙΙ Ιωαννίνων
ΠΛΗ21 Κεφάλαιο 2. ΠΛΗ21 Ψηφιακά Συστήματα: Τόμος Α Κεφάλαιο: 2 Δυαδική Κωδικοποίηση
Ψηφιακά Συστήματα: Τόμος Α Κεφάλαιο: 2 Δυαδική Κωδικοποίηση Στόχοι του κεφαλαίου είναι να γνωρίσουμε: Τι είναι Κώδικας Τι είναι αλφάβητο & λέξεις ενός κώδικα Τι είναι οι δυαδικές λέξεις Το πλήθος των λέξεων
ΘΕΩΡΙΑ ΠΛΗΡΟΦΟΡΙΑΣ. Κεφάλαιο 2 : Πληροφορία και Εντροπία Διάλεξη: Κώστας Μαλιάτσος Χρήστος Ξενάκης, Κώστας Μαλιάτσος
ΘΕΩΡΙΑ ΠΛΗΡΟΦΟΡΙΑΣ Κεφάλαιο 2 : Πληροφορία και Εντροπία Διάλεξη: Κώστας Μαλιάτσος Χρήστος Ξενάκης, Κώστας Μαλιάτσος Πανεπιστήμιο Πειραιώς, Τμήμα Ψηφιακών Συστημάτων Περιεχόμενα Πιθανότητες Πληροφορία Μέτρο
Χρήστος Ξενάκης. Πανεπιστήμιο Πειραιώς, Τμήμα Ψηφιακών Συστημάτων
ΘΕΩΡΙΑ ΠΛΗΡΟΦΟΡΙΑΣ Κεφάλαιο 2 : Πληροφορία και Εντροπία Χρήστος Ξενάκης Πανεπιστήμιο Πειραιώς, Τμήμα Ψηφιακών Συστημάτων Περιεχόμενα Πληροφορία Μέτρο πληροφορίας Μέση πληροφορία ή Εντροπία Από κοινού εντροπία
Δίαυλος Πληροφορίας. Δρ. Α. Πολίτης
Δίαυλος Πληροφορίας Η λειτουργία του διαύλου πληροφορίας περιγράφεται από: Τον πίνακα διαύλου μαθηματική περιγραφή. Το διάγραμμα διάυλου παραστατικός τρόπος περιγραφής. Πίνακας Διαύλου Κατασκευάζεται με
( ) log 2 = E. Σεραφείµ Καραµπογιάς
Παρατηρούµε ότι ο ορισµός της Η βασίζεται στη χρονική µέση τιµή. Για να ισχύει ο ορισµός αυτός και για µέση τιµή συνόλου πρέπει η πηγή να είναι εργοδική, δηλαδή H ( X) ( ) = E log 2 p k Η εντροπία µιας
Συμπίεση Δεδομένων
Συμπίεση Δεδομένων 014-015 Μοναδικά Αποκωδικοποιήσιμοι Κώδικες Δρ. Ν. Π. Σγούρος Έλεγος μοναδικής Αποκωδικοποίησης Γενικοί ορισμοί Έστω δύο κωδικές λέξεις α,β με μήκη,m και
Τηλεπικοινωνιακά Συστήματα ΙΙ
Τηλεπικοινωνιακά Συστήματα ΙΙ Διάλεξη 13: Συνελικτικοί Κώδικες Δρ. Μιχάλης Παρασκευάς Επίκουρος Καθηγητής 1 Κώδικες: Εισαγωγή Συνελικτικοί κώδικες Ατζέντα Ιστορική αναδρομή Μαθηματικό υπόβαθρο Αναπαράσταση
Αριθμητική Κωδικοποίηση
Αριθμητική Κωδικοποίηση Ο κώδικας Huffmann είναι βέλτιστος γιατί παράγει συμπαγή κώδικα για δεδομένες πιθανότητες Συμπαγής κώδικας: Δεν υπάρχει άλλος με μικρότερο μέσο μήκος κωδικής λέξης Δεν είναι 100%
Συστήματα Αρίθμησης. Συστήματα Αρίθμησης 1. PDF created with FinePrint pdffactory Pro trial version
Συστήματα Αρίθμησης Στην καθημερινή μας ζωή χρησιμοποιούμε το δεκαδικό σύστημα αρίθμησης. Στο σύστημα αυτό χρησιμοποιούμε δέκα διαφορετικά σύμβολα τα :,, 2, 3, 4, 5, 6,7 8, 9. Για τον αριθμό 32 θα χρειαστούμε
Επεξεργασία Πολυµέσων. Δρ. Μαρία Κοζύρη Π.Μ.Σ. «Εφαρµοσµένη Πληροφορική» Τµήµα Ηλεκτρολόγων Μηχανικών & Μηχανικών Υπολογιστών Πανεπιστήµιο Θεσσαλίας
Π.Μ.Σ. «Εφαρµοσµένη Πληροφορική» Τµήµα Ηλεκτρολόγων Μηχανικών & Μηχανικών Υπολογιστών Πανεπιστήµιο Θεσσαλίας Ενότητα 3: Επισκόπηση Συµπίεσης 2 Θεωρία Πληροφορίας Κωδικοποίηση Θεµελιώθηκε απο τον Claude
Κωδικοποίηση Πηγής. Η λειτουργία ενός συστήματος επικοινωνίας (γενικό διάγραμμα):
Κωδικοποίηση Πηγής Η λειτουργία ενός συστήματος επικοινωνίας (γενικό διάγραμμα): Coder Decoder Μεταξύ πομπού-καναλιού παρεμβάλλεται ο κωδικοποιητής (coder). Έργο του: η αντικατάσταση των συμβόλων πληροφορίας
Θεώρημα κωδικοποίησης πηγής
Κωδικοποίηση Kωδικοποίηση πηγής Θεώρημα κωδικοποίησης πηγής Καθορίζει ένα θεμελιώδες όριο στον ρυθμό με τον οποίο η έξοδος μιας πηγής πληροφορίας μπορεί να συμπιεσθεί χωρίς να προκληθεί μεγάλη πιθανότητα
Μάθημα Εισαγωγή στις Τηλεπικοινωνίες Κωδικοποίηση πηγής- καναλιού Μάθημα 9o
Μάθημα Εισαγωγή στις Τηλεπικοινωνίες Κωδικοποίηση πηγής- καναλιού Μάθημα 9o ΕΘΝΙΚΟ & ΚΑΠΟΔΙΣΤΡΙΑΚΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΑΘΗΝΩΝ Τομέας Επικοινωνιών και Επεξεργασίας Σήματος Τμήμα Πληροφορικής & Τηλεπικοινωνιών
Θέματα Συστημάτων Πολυμέσων
Θέματα Συστημάτων Πολυμέσων Ενότητα # 6: Στοιχεία Θεωρίας Πληροφορίας Διδάσκων: Γεώργιος K. Πολύζος Τμήμα: Μεταπτυχιακό Πρόγραμμα Σπουδών Επιστήμη των Υπολογιστών Άδειες Χρήσης Το παρόν εκπαιδευτικό υλικό
ΜΕΘΟΔΟΛΟΓΙΕΣ & ΑΣΚΗΣΕΙΣ ΓΙΑ ΤΗΝ ΑΛΓΕΒΡΑ ΤΗΣ Α ΛΥΚΕΙΟΥ
ΜΕΘΟΔΟΛΟΓΙΕΣ & ΑΣΚΗΣΕΙΣ ΓΙΑ ΤΗΝ ΑΛΓΕΒΡΑ ΤΗΣ Α ΛΥΚΕΙΟΥ Επιμέλεια : Παλαιολόγου Παύλος Μαθηματικός Αγαπητοί μαθητές. αυτό το βιβλίο αποτελεί ένα βοήθημα στην ύλη της Άλγεβρας Α Λυκείου, που είναι ένα από
Θεωρία τησ Πληροφορίασ (Θ) ΔΙΔΑΚΩΝ: Δρ. Αναςτάςιοσ Πολίτησ
Θεωρία τησ Πληροφορίασ (Θ) Ενότητα 4: Συμπίεςη χωρίσ Απώλειεσ ΔΙΔΑΚΩΝ: Δρ. Αναςτάςιοσ Πολίτησ ΧΟΛΗ ΣΕΧΝΟΛΟΓΙΚΩΝ ΕΦΑΡΜΟΓΩΝ ΣΜΗΜΑ ΜΗΧΑΝΙΚΩΝ ΠΛΗΡΟΦΟΡΙΚΗ ΣΕ Άδειεσ Χρήςησ Σο παρόν εκπαιδευτικό υλικό υπόκειται
Τεχνολογία Πολυμέσων. Ενότητα # 7: Θεωρία πληροφορίας Διδάσκων: Γεώργιος Ξυλωμένος Τμήμα: Πληροφορικής
Τεχνολογία Πολυμέσων Ενότητα # 7: Θεωρία πληροφορίας Διδάσκων: Γεώργιος Ξυλωμένος Τμήμα: Πληροφορικής Χρηματοδότηση Το παρόν εκπαιδευτικό υλικό έχει αναπτυχθεί στα πλαίσια του εκπαιδευτικού έργου του διδάσκοντα.
Μέρος ΙΙ. Τυχαίες Μεταβλητές
Μέρος ΙΙ. Τυχαίες Μεταβλητές Ορισμοί Συναρτήσεις κατανομής πιθανότητας και πυκνότητας πιθανότητας Διακριτές τυχαίες μεταβλητές Ειδικές κατανομές διακριτών τυχαίων μεταβλητών Συνεχείς τυχαίες μεταβλητές
Θέματα Συστημάτων Πολυμέσων
Θέματα Συστημάτων Πολυμέσων Ενότητα # 5: Βασική Θεωρία Πληροφορίας Διδάσκων: Γεώργιος Πολύζος Τμήμα: Μεταπτυχιακό Πρόγραμμα Σπουδών Επιστήμη των Υπολογιστών Άδειες χρήσης Το παρόν εκπαιδευτικό υλικό υπόκειται
Χρήστος Ξενάκης. Πανεπιστήμιο Πειραιώς, Τμήμα Ψηφιακών Συστημάτων
ΘΕΩΡΙΑ ΠΛΗΡΟΦΟΡΙΑΣ Κεφάλαιο 9 : Κανάλι-Σύστημα Χρήστος Ξενάκης Πανεπιστήμιο Πειραιώς, Τμήμα Ψηφιακών Συστημάτων Περιεχόμενα Ομιλίας Χωρητικότητα Χ ό καναλιού Το Gaussian κανάλι επικοινωνίας Τα διακριτά
Κώδικες µεταβλητού µήκους
6 Κώδικες µεταβλητού µήκους Στο κεφάλαιο αυτό µελετώνται οι κώδικες µεταβλητού µήκους, στους οποίους όλες οι λέξεις δεν έχουν το ίδιο µήκος και δίνονται οι µέ- ϑοδοι Fano-Shannon και Huffman για την κατασκευή
Θεωρία πληροφοριών. Τεχνολογία Πολυµέσων 07-1
Θεωρία πληροφοριών Εισαγωγή Αµοιβαία πληροφορία Εσωτερική πληροφορία Υπό συνθήκη πληροφορία Παραδείγµατα πληροφορίας Μέση πληροφορία και εντροπία Παραδείγµατα εντροπίας Εφαρµογές Τεχνολογία Πολυµέσων 07-
Κωδικοποίηση Πηγής. Δρ. Α. Πολίτης
Κωδικοποίηση Πηγής Coder Decoder Μεταξύ πομπού και καναλιού παρεμβάλλεται ο κωδικοποιητής (coder). Έργο του: η αντικατάσταση των συμβόλων πληροφορίας της πηγής με εναλλακτικά σύμβολα ή λέξεις. Κωδικοποίηση
ΕΛΛΗΝΙΚΟ ΑΝΟΙΚΤΟ ΠΑΝΕΠΙΣΤΗΜΙΟ
Θ.Ε. ΠΛΗ (0-3) ΓΡΑΠΤΗ ΕΡΓΑΣΙΑ #4 Στόχος : Βασικό στόχο της 4 ης εργασίας αποτελεί η εξοικείωση με τα μέτρα ποσότητας πληροφορίας τυχαίων μεταβλητών (Κεφάλαιο ), τις σχετικές έννοιες και τα μέτρα διακριτών
Θεωρία Πληροφορίας. Διάλεξη 10: Κωδικοποίηση καναλιού με συνελικτικούς κώδικες. Δρ. Μιχάλης Παρασκευάς Επίκουρος Καθηγητής
Θεωρία Πληροφορίας Διάλεξη 10: Κωδικοποίηση καναλιού με συνελικτικούς κώδικες Δρ. Μιχάλης Παρασκευάς Επίκουρος Καθηγητής 1 Ατζέντα Κωδικοποίηση καναλιού: Σύντομη επανάληψη Συνελικτικοί κώδικες Ιστορική
EE728 (22Α004) - Προχωρημένα Θέματα Θεωρίας Πληροφορίας 3η σειρά ασκήσεων Διακριτά και Συνεχή Κανάλια. Παράδοση: Έως 22/6/2015
EE728 (22Α004) - Προχωρημένα Θέματα Θεωρίας Πληροφορίας Φυλλάδιο 13 Δ. Τουμπακάρης 30 Μαΐου 2015 EE728 (22Α004) - Προχωρημένα Θέματα Θεωρίας Πληροφορίας 3η σειρά ασκήσεων Διακριτά και Συνεχή Κανάλια Παράδοση:
Διακριτά Μαθηματικά ΙΙ Χρήστος Νομικός Τμήμα Μηχανικών Η/Υ και Πληροφορικής Πανεπιστήμιο Ιωαννίνων 2018 Χρήστος Νομικός ( Τμήμα Μηχανικών Η/Υ Διακριτά
Διακριτά Μαθηματικά ΙΙ Χρήστος Νομικός Τμήμα Μηχανικών Η/Υ και Πληροφορικής Πανεπιστήμιο Ιωαννίνων 2018 Χρήστος Νομικός ( Τμήμα Μηχανικών Η/Υ Διακριτά και Πληροφορικής Μαθηματικά Πανεπιστήμιο ΙΙ Ιωαννίνων
Χρήστος Ξενάκης. Πανεπιστήμιο Πειραιώς, Τμήμα Ψηφιακών Συστημάτων
ΘΕΩΡΙΑ ΠΛΗΡΟΦΟΡΙΑΣ Κεφάλαιο 10 : Κωδικοποίηση καναλιού Χρήστος Ξενάκης Πανεπιστήμιο Πειραιώς, Τμήμα Ψηφιακών Συστημάτων Περιεχόμενα Ομιλίας Απόσταση και βάρος Hamming Τεχνικές και κώδικες ανίχνευσης &
Ψηφιακές Τηλεπικοινωνίες
Ψηφιακές Τηλεπικοινωνίες Θεωρία Πληροφορίας: Κωδικοποίηση Πηγής Ψηφιακή Μετάδοση Υπάρχουν ιδιαίτερα εξελιγμένες τεχνικές αναλογικής μετάδοσης (που ακόμη χρησιμοποιούνται σε ορισμένες εφαρμογές) Επίσης,
ΑΝΑΛΥΣΗ 1 ΕΙΚΟΣΤΟ ΠΡΩΤΟ ΜΑΘΗΜΑ, Μ. Παπαδημητράκης.
ΑΝΑΛΥΣΗ ΕΙΚΟΣΤΟ ΠΡΩΤΟ ΜΑΘΗΜΑ, --3 Μ. Παπαδημητράκης. Τώρα θα δούμε μια ακόμη εφαρμογή του Κριτηρίου του Ολοκληρώματος. Παράδειγμα. Γνωρίζουμε ότι η αρμονική σειρά αποκλίνει στο +, το οποίο φυσικά σημαίνει
Συστήματα αρίθμησης. = α n-1 *b n-1 + a n-2 *b n-2 + +a 1 b 1 + a 0 όπου τα 0 a i b-1
Συστήματα αρίθμησης Δεκαδικό σύστημα αρίθμησης 1402 = 1000 + 400 +2 =1*10 3 + 4*10 2 + 0*10 1 + 2*10 0 Γενικά σε ένα σύστημα αρίθμησης με βάση το b N, ένας ακέραιος αριθμός με n ψηφία παριστάνεται ως:
ΕΡΓΑΣΤΗΡΙΑΚΕΣ ΑΣΚΗΣΕΙΣ C ΣΕΙΡΑ 1 η
Δημοκρίτειο Πανεπιστήμιο Θράκης Πολυτεχνική Σχολή Τμήμα Μηχανικών Παραγωγής & Διοίκησης Ακαδ. έτος 2015-2016 Τομέας Συστημάτων Παραγωγής Εξάμηνο Β Αναπληρωτής Καθηγητής Στέφανος Δ. Κατσαβούνης ΜΑΘΗΜΑ :
Κεφάλαιο 13 Αντισταθμιστική Ανάλυση
Κεφάλαιο 13 Αντισταθμιστική Ανάλυση Περιεχόμενα 13.1 Αντισταθμιστική Ανάλυση... 248 13.2 Μέθοδοι Αντισταθμιστικής Ανάλυσης... 250 13.2.1 Η χρεωπιστωτική μέθοδος... 250 13.2.2 Η ενεργειακή μέθοδος... 251
Ειδικά θέματα Αλγορίθμων και Δομών Δεδομένων (ΠΛΕ073) Απαντήσεις 1 ου Σετ Ασκήσεων
Ειδικά θέματα Αλγορίθμων και Δομών Δεδομένων (ΠΛΕ073) Απαντήσεις 1 ου Σετ Ασκήσεων Άσκηση 1 α) Η δομή σταθμισμένης ένωσης με συμπίεση διαδρομής μπορεί να τροποποιηθεί πολύ εύκολα ώστε να υποστηρίζει τις
22Α004 - Προχωρημένα Θέματα Θεωρίας Πληροφορίας Τελική Εξέταση
22A004 (eclass EE278) Προχωρημένα Θέματα Θεωρίας Πληροφορίας Φυλλάδιο 11 Δ. Τουμπακάρης 6 Ιουνίου 2013 22Α004 - Προχωρημένα Θέματα Θεωρίας Πληροφορίας Τελική Εξέταση Διάρκεια Εξέτασης: 3 ώρες. 4 ασκήσεις
ΠΑΝΕΠΙΣΤΗΜΙΟ ΚΥΠΡΟΥ, ΤΜΗΜΑ ΠΛΗΡΟΦΟΡΙΚΗΣ
ΠΑΝΕΠΙΣΤΗΜΙΟ ΚΥΠΡΟΥ, ΤΜΗΜΑ ΠΛΗΡΟΦΟΡΙΚΗΣ ΕΠΛ 4: ΣΥΣΤΗΜΑΤΑ ΠΟΛΥΜΕΣΩΝ Θεωρητικές Ασκήσεις (# ): ειγµατοληψία, κβαντοποίηση και συµπίεση σηµάτων. Στην τηλεφωνία θεωρείται ότι το ουσιαστικό περιεχόµενο της
Ψηφιακές Τηλεπικοινωνίες. Θεωρία Ρυθμού Παραμόρφωσης
Ψηφιακές Τηλεπικοινωνίες Θεωρία Ρυθμού Παραμόρφωσης Θεωρία Ρυθμού-Παραμόρφωσης Θεώρημα Κωδικοποίησης Πηγής: αν έχω αρκετά μεγάλο μπλοκ δεδομένων, μπορώ να φτάσω κοντά στην εντροπία Πιθανά Προβλήματα: >
ιαφορική εντροπία Σεραφείµ Καραµπογιάς
ιαφορική εντροπία Σεραφείµ Καραµπογιάς Για πηγές διακριτού χρόνου µε συνεχές αλφάβητο, των οποίων οι έξοδοι είναι πραγµατικοί αριθµοί, ορίζεται µια άλλη ποσότητα που µοιάζει µε την εντροπία και καλείται
Ψηφιακή Επεξεργασία Σημάτων
Ψηφιακή Επεξεργασία Σημάτων Ενότητα 11: Εφαρμογές DFT Ταχύς Μετασχηματισμός Fourier (FFT) Δρ. Μιχάλης Παρασκευάς Επίκουρος Καθηγητής 1 Διακριτός Μετασχηματισμός Fourier Υπολογισμός Γραμμικής Συνέλιξης
Η πιθανότητα επομένως που ζητείται να υπολογίσουμε, είναι η P(A 1 M 2 ). Η πιθανότητα αυτή μπορεί να γραφεί ως εξής:
Άσκηση 1: Ένα κουτί περιέχει 3 άσπρες και 2 μαύρες μπάλες. Αφαιρούμε τυχαία δύο μπάλες διαδοχικά. Ποια η πιθανότητα η πρώτη μπάλα να είναι άσπρη και η δεύτερη μπάλα να είναι μαύρη; Λύση: Αρχικά ορίζουμε
Μαθηματικά Γ Γυμνασίου
Α λ γ ε β ρ ι κ έ ς π α ρ α σ τ ά σ ε ι ς 1.1 Πράξεις με πραγματικούς αριθμούς (επαναλήψεις συμπληρώσεις) A. Οι πραγματικοί αριθμοί και οι πράξεις τους Διδακτικοί στόχοι Θυμάμαι ποιοι αριθμοί λέγονται
Διακριτά Μαθηματικά. Απαρίθμηση: Εισαγωγικά στοιχεία Αρχή του Περιστεριώνα
Διακριτά Μαθηματικά Απαρίθμηση: Εισαγωγικά στοιχεία Αρχή του Περιστεριώνα Συνδυαστική ανάλυση μελέτη της διάταξης αντικειμένων 17 ος αιώνας: συνδυαστικά ερωτήματα για τη μελέτη τυχερών παιχνιδιών Απαρίθμηση:
Αριθμητική Κωδικοποίηση
Αριθμητική Κωδικοποίηση Σύμβολο Πιθανότητα a 0,2 b 0,5 c 0,3 Αντιστοίχιση κάθε συμβόλου σε τμήμα του διαστήματος [0, 1] ανάλογα με την πιθανότητα εμφάνισής του. Αναπαράσταση του συμβόλου με έναν αριθμό
ΕΡΓΑΣΤΗΡΙΑΚΕΣ ΑΣΚΗΣΕΙΣ C ΣΕΙΡΑ 1 η
Δ.Π.Θ. - Πολυτεχνική Σχολή Τμήμα Μηχανικών Παραγωγής & Διοίκησης Ακαδ. έτος 2016-2017 Τομέας Συστημάτων Παραγωγής Εξάμηνο Β Αναπληρωτής Καθηγητής Στέφανος Δ. Κατσαβούνης ΜΑΘΗΜΑ : ΔΟΜΗΜΕΝΟΣ ΠΡΟΓΡΑΜΜΑΤΙΣΜΟΣ
Μέρος IV. Πολυδιάστατες τυχαίες μεταβλητές. Πιθανότητες & Στατιστική 2017 Τμήμα Μηχανικών Η/Υ & Πληροφορικής, Παν. Ιωαννίνων Δ15 ( 1 )
Μέρος IV Πολυδιάστατες τυχαίες μεταβλητές Πιθανότητες & Στατιστική 07 Τμήμα Μηχανικών Η/Υ & Πληροφορικής Παν. Ιωαννίνων Δ5 ( ) Πολυδιάστατες μεταβλητές Πολλά ποσοτικά χαρακτηριστικά που σχετίζονται με
ΚΕΦΑΛΑΙΟ 2 ΔΙΑΤΑΞΕΙΣ, ΜΕΤΑΘΕΣΕΙΣ, ΣΥΝΔΥΑΣΜΟΙ
ΚΕΦΑΛΑΙΟ ΔΙΑΤΑΞΕΙΣ ΜΕΤΑΘΕΣΕΙΣ ΣΥΝΔΥΑΣΜΟΙ Εισαγωγή. Οι σχηματισμοί που προκύπτουν με την επιλογή ενός συγκεκριμένου αριθμού στοιχείων από το ίδιο σύνολο καλούνται διατάξεις αν μας ενδιαφέρει η σειρά καταγραφή
Συμπίεση Δεδομένων Δοκιμής (Test Data Compression) Νικολός Δημήτριος, Τμήμα Μηχ. Ηλεκτρονικών Υπολογιστών & Πληροφορικής, Παν Πατρών
Συμπίεση Δεδομένων Δοκιμής (Test Data Compression), Παν Πατρών Test resource partitioning techniques ΑΤΕ Automatic Test Equipment (ATE) based BIST based Έλεγχος παραγωγής γής βασισμένος σε ΑΤΕ Μεγάλος
Σεραφείµ Καραµπογιάς. Πηγές Πληροφορίας και Κωδικοποίηση Πηγής 6.3-1
Ο αλγόριθµος Lempel-iv Ο αλγόριθµος Lempel-iv ανήκει στην κατηγορία των καθολικών universal αλγορίθµων κωδικοποίησης πηγής δηλαδή αλγορίθµων που είναι ανεξάρτητοι από τη στατιστική της πηγής. Ο αλγόριθµος
Αριθμητικά Συστήματα
Αριθμητικά Συστήματα Σε οποιοδήποτε αριθμητικό σύστημα, με βάση τον αριθμό Β, ένας ακέραιος αριθμός με πλήθος ψηφίων ν, εκφράζεται ως ακολούθως: α ν-1 α ν-2 α 1 α 0 = α ν-1 Β ν-1 + α ν-2 Β ν-2 + + α 1
Δυαδικό Σύστημα Αρίθμησης
Δυαδικό Σύστημα Αρίθμησης Το δυαδικό σύστημα αρίθμησης χρησιμοποιεί δύο ψηφία. Το 0 και το 1. Τα ψηφία ενός αριθμού στο δυαδικό σύστημα αρίθμησης αντιστοιχίζονται σε δυνάμεις του 2. Μονάδες, δυάδες, τετράδες,
Τηλεπικοινωνιακά Συστήματα ΙΙ
Τηλεπικοινωνιακά Συστήματα ΙΙ Διάλεξη 1: Χωρητικότητα Καναλιών Το θεώρημα Shannon - Hartley Δρ. Μιχάλης Παρασκευάς Επίκουρος Καθηγητής 1 Ατζέντα 1. Δυαδική σηματοδοσία 2. Μορφές δυαδικής σηματοδοσίας 3.
ΜΑΘΗΜΑΤΙΚΑ Γ ΛΥΚΕΙΟΥ ΓΕΝΙΚΗΣ ΠΑΙΔΕΙΑΣ. ν 1 + ν ν κ = v (1) Για τη σχετική συχνότητα ισχύουν οι ιδιότητες:
Συχνότητα v i O φυσικός αριθμός που δείχνει πόσες φορές εμφανίζεται η τιμή x i της εξεταζόμενης μεταβλητής Χ στο σύνολο των παρατηρήσεων. Είναι φανερό ότι το άθροισμα όλων των συχνοτήτων είναι ίσο με το
ΚΕΦΑΛΑΙΟ ΠΕΜΠΤΟ ΘΕΩΡΙΑ ΠΛΗΡΟΦΟΡΙΑΣ
ΚΕΦΑΛΑΙΟ ΠΕΜΠΤΟ ΘΕΩΡΙΑ ΠΛΗΡΟΦΟΡΙΑΣ 5. Εισαγωγή Ο σκοπός κάθε συστήματος τηλεπικοινωνιών είναι η μεταφορά πληροφορίας από ένα σημείο (πηγή) σ ένα άλλο (δέκτης). Συνεπώς, κάθε μελέτη ενός τέτοιου συστήματος
ΠΑΝΕΠΙΣΤΗΜΙΟ ΠΕΛΟΠΟΝΝΗΣΟΥ
ΠΑΝΕΠΙΣΤΗΜΙΟ ΠΕΛΟΠΟΝΝΗΣΟΥ ΤΜΗΜΑ ΕΠΙΣΤΗΜΗΣ & ΤΕΧΝΟΛΟΓΙΑΣ ΤΗΛΕΠΙΚΟΙΝΩΝΙΩΝ ΜΔΕ Προηγμένα Τηλεπικοινωνιακά Συστήματα και Δίκτυα Διάλεξη 4 η Νικόλαος Χ. Σαγιάς Επίκουρος Καθηγητής Webpage: hp://ecla.uop.gr/coure/tst25
Εισαγωγή στην επιστήμη των υπολογιστών. ΑΡΙΘΜΗΤΙΚΑ ΣΥΣΤΗΜΑΤΑ και Μετατροπές Αριθμών
Εισαγωγή στην επιστήμη των υπολογιστών ΑΡΙΘΜΗΤΙΚΑ ΣΥΣΤΗΜΑΤΑ και Μετατροπές Αριθμών 1 Αριθμητικό Σύστημα Ορίζει τον τρόπο αναπαράστασης ενός αριθμού με διακεκριμένα σύμβολα Ένας αριθμός αναπαρίσταται διαφορετικά
Ορισμός : Η συνάρτηση X : Ω είναι μετρήσιμη εάν 1. της τυχαίας μεταβλητής X : Ω, είναι το πεδίο τιμών της X. Δηλαδή είναι το υποσύνολο του { }
Ορισμός : Η συνάρτηση : Ω είναι μετρήσιμη εάν B B B B = ω Ω : ω B = B { όπου { { Μία μετρήσιμη συνάρτηση : Ω ονομάζεται τυχαία μεταβλητή Ορισμός: Ο χώρος καταστάσεων της τυχαίας μεταβλητής : Ω είναι το
ΚΕΦΑΛΑΙΟ 3 ΤΟ ΔΙΩΝΥΜΙΚΟ ΘΕΩΡΗΜΑ
ΚΕΦΑΛΑΙΟ 3 ΤΟ ΔΙΩΝΥΜΙΚΟ ΘΕΩΡΗΜΑ Εισαγωγή Οι αριθμοί που εκφράζουν το πλήθος των στοιχείων ανά αποτελούν ίσως τους πιο σημαντικούς αριθμούς της Συνδυαστικής και καλούνται διωνυμικοί συντελεστές διότι εμφανίζονται
7ο ΕΡΓΑΣΤΗΡΙΟ AAAABBBBAAAAABBBBBBCCCCCCCCCCCCCCBBABAAAABBBBBBCCCCD
ΤΕΧΝΟΛΟΓΙΚΟ ΕΚΠΑΙΔΕΥΤΙΚΟ ΙΔΡΥΜΑ ΛΑΜΙΑΣ ΤΜΗΜΑ ΠΛΗΡΟΦΟΡΙΚΗΣ ΚΑΙ ΤΕΧΝΟΛΟΓΙΑΣ ΥΠΟΛΟΓΙΣΤΩΝ ΣΧΕΔΙΑΣΜΟΣ ΚΑΙ ΑΝΑΛΥΣΗ ΑΛΓΟΡΙΘΜΩΝ ΑΚΑΔΗΜΑΪΚΟ ΕΤΟΣ 2010 11 Ιστοσελίδα μαθήματος: http://eclass.teilam.gr/di288 1 Συμπίεση
Θεωρία της Πληροφορίας 3 ο Εξάμηνο
Σμήμα Πληροφορικής & Επικοινωνιών Θεωρία της Πληροφορίας 3 ο Εξάμηνο Τομέας Τηλεπικοινωνιών και Δικτύων Δρ. Αναστάσιος Πολίτης Καθηγητής Εφαρμογών 1 Διεξαγωγή και Εξέταση του Μαθήματος Μάθημα Πώς? 13 Διαλέξεις.
Ιατρική Πληροφορική. Δρ. Π. ΑΣΒΕΣΤΑΣ ΤΜΗΜΑ ΜΗΧΑΝΙΚΩΝ ΒΙΟΪΑΤΡΙΚΗΣ ΤΕΧΝΟΛΟΓΙΑΣ Τ. Ε. Χρήσιμοι Σύνδεσμοι
Ιατρική Πληροφορική Δρ. Π. ΑΣΒΕΣΤΑΣ ΤΜΗΜΑ ΜΗΧΑΝΙΚΩΝ ΒΙΟΪΑΤΡΙΚΗΣ ΤΕΧΝΟΛΟΓΙΑΣ Τ. Ε. Χρήσιμοι Σύνδεσμοι Σημειώσεις μαθήματος: http://medisp.bme.teiath.gr/eclass/courses/tio103/ https://eclass.teiath.gr/courses/tio100/
ΤΕΛΟΣ 1ΗΣ ΑΠΟ 5 ΣΕΛΙ ΕΣ
ΑΡΧΗ 1ΗΣ ΣΕΛΙ ΑΣ - Γ ΗΜΕΡΗΣΙΩΝ ΝΕΟ ΣΥΣΤΗΜΑ ΕΠΑΝΑΛΗΠΤΙΚΕΣ ΠΑΝΕΛΛΑΔΙΚΕΣ ΕΞΕΤΑΣΕΙΣ Γ ΤΑΞΗΣ ΗΜΕΡΗΣΙΟΥ ΓΕΝΙΚΟΥ ΛΥΚΕΙΟΥ ΤΕΤΑΡΤΗ 15 ΙΟΥΝΙΟΥ 2016 - ΕΞΕΤΑΖΟΜΕΝΟ ΜΑΘΗΜΑ: ΑΝΑΠΤΥΞΗ ΕΦΑΡΜΟΓΩΝ ΣΕ ΠΡΟΓΡΑΜΜΑΤΙΣΤΙΚΟ ΠΕΡΙΒΑΛΛΟΝ
2.1 ΠΡΑΞΕΙΣ ΚΑΙ ΟΙ ΙΔΙΟΤΗΤΕΣ ΤΟΥΣ
ΚΕΦΑΛΑΙΟ : ΟΙ ΠΡΑΓΜΑΤΙΚΟΙ ΑΡΙΘΜΟΙ. ΠΡΑΞΕΙΣ ΚΑΙ ΟΙ ΙΔΙΟΤΗΤΕΣ ΤΟΥΣ Ρητός ονομάζεται κάθε αριθμός που έχει ή μπορεί να πάρει τη μορφή κλάσματος, όπου, είναι ακέραιοι με 0. Ρητοί αριθμοί : Q /, 0. Έτσι π.χ.
Θεωρία Πληροφορίας. Διάλεξη 7: Κωδικοποίηση καναλιού με γραμμικούς κώδικες block. Δρ. Μιχάλης Παρασκευάς Επίκουρος Καθηγητής
Θεωρία Πληροφορίας Διάλεξη 7: Κωδικοποίηση καναλιού με γραμμικούς κώδικες block Δρ. Μιχάλης Παρασκευάς Επίκουρος Καθηγητής 1 Ατζέντα Τεχνικές Διόρθωσης Λαθών Κώδικες εντοπισμού λαθών Κώδικες εντοπισμού
Ορισμός : Η συνάρτηση X : Ω είναι μετρήσιμη εάν 1. της τυχαίας μεταβλητής X : Ω, είναι το πεδίο τιμών της X. Δηλαδή είναι το υποσύνολο του { }
Ορισμός : Η συνάρτηση : Ω είναι μετρήσιμη εάν B B B B = ω Ω : ω B = B { όπου { { Μία μετρήσιμη συνάρτηση : Ω ονομάζεται τυχαία μεταβλητή Ορισμός: Ο χώρος καταστάσεων της τυχαίας μεταβλητής : Ω είναι το
Απαρίθμηση: Εισαγωγικά στοιχεία
Απαρίθμηση: Εισαγωγικά στοιχεία Συνδυαστική ανάλυση - μελέτη της διάταξης αντικειμένων 17 ος αιώνας: συνδυαστικά ερωτήματα για τη μελέτη τυχερών παιχνιδιών Απαρίθμηση: μέτρηση αντικειμένων με ορισμένες
ΑΛΓΕΒΡΑ Α ΛΥΚΕΙΟΥ. Γεώργιος Α. Κόλλιας - μαθηματικός. 150 ασκήσεις επανάληψης. και. Θέματα εξετάσεων
Γεώργιος Α. Κόλλιας - μαθηματικός Περιέχονται 50 συνδυαστικές ασκήσεις επανάληψης και θέματα εξετάσεων. Δεν συμπεριλαμβάνεται το κεφάλαιο των πιθανοτήτων, της γεωμετρικής προόδου, της μονοτονίας συνάρτησης,
Θεωρία τησ Πληροφορίασ (Θ) ΔΙΔΑΚΩΝ: Δρ. Αναςτάςιοσ Πολίτησ
Θεωρία τησ Πληροφορίασ (Θ) Ενότητα 3: Κωδικοποίηςη Πηγήσ ΔΙΔΑΚΩΝ: Δρ. Αναςτάςιοσ Πολίτησ ΧΟΛΗ ΣΕΧΝΟΛΟΓΙΚΩΝ ΕΦΑΡΜΟΓΩΝ ΣΜΗΜΑ ΜΗΧΑΝΙΚΩΝ ΠΛΗΡΟΦΟΡΙΚΗ ΣΕ Άδειεσ Χρήςησ Σο παρόν εκπαιδευτικό υλικό υπόκειται ςε
ΑΛΓΕΒΡΑ Α ΛΥΚΕΙΟΥ. 8. Πότε το γινόμενο δύο ή περισσοτέρων αριθμών παραγόντων είναι ίσο με το μηδέν ;
ΑΛΓΕΒΡΑ Α ΛΥΚΕΙΟΥ ΚΕΦΑΛΑΙΟ ο : ( ΕΡΩΤΗΣΕΙΣ ΘΕΩΡΙΑΣ ) ΠΑΡΑΤΗΡΗΣΗ : Το κεφάλαιο αυτό περιέχει πολλά θέματα που είναι επανάληψη εννοιών που διδάχθηκαν στο Γυμνάσιο γι αυτό σ αυτές δεν θα επεκταθώ αναλυτικά
ΕΕ728 Προχωρηµένα Θέµατα Θεωρίας Πληροφορίας 4η διάλεξη (4η έκδοση, 11/3/2013)
ΕΕ728 Προχωρηµένα Θέµατα Θεωρίας Πληροφορίας 4η διάλεξη (4η έκδοση, 11/3/2013) ηµήτρης-αλέξανδρος Τουµπακάρης Τµήµα ΗΜ&ΤΥ, Πανεπιστήµιο Πατρών 5 Μαρτίου 2013 ηµήτρης-αλέξανδρος Τουµπακάρης Προχωρηµένα
Τετάρτη 5-12/11/2014. ΣΗΜΕΙΩΣΕΙΣ 3 ου και 4 ου ΜΑΘΗΜΑΤΟΣ ΕΙΔΙΚΟΤΗΤΑ: ΤΕΧΝΙΚΟΣ ΕΦΑΡΜΟΓΩΝ ΠΛΗΡΟΦΟΡΙΚΗΣ ΜΑΘΗΜΑ: ΑΡΧΙΤΕΚΤΟΝΙΚΗ Η/Υ Α ΕΞΑΜΗΝΟ
Τετάρτη 5-12/11/2014 ΣΗΜΕΙΩΣΕΙΣ 3 ου και 4 ου ΜΑΘΗΜΑΤΟΣ ΕΙΔΙΚΟΤΗΤΑ: ΤΕΧΝΙΚΟΣ ΕΦΑΡΜΟΓΩΝ ΠΛΗΡΟΦΟΡΙΚΗΣ ΜΑΘΗΜΑ: ΑΡΧΙΤΕΚΤΟΝΙΚΗ Η/Υ Α ΕΞΑΜΗΝΟ ΕΚΠΑΙΔΕΥΤΗΣ: ΤΡΟΧΙΔΗΣ ΠΑΝΑΓΙΩΤΗΣ 1. Παράσταση και οργάνωση δεδομένων
Αθανάσιος Χρ. Τζέμος Τομέας Θεωρητικής Φυσικής. Εντροπία Shannon
Αθανάσιος Χρ. Τζέμος Τομέας Θεωρητικής Φυσικής Εντροπία Shannon Ένα από τα βασικά ερωτήματα της θεωρίας της πληροφορίας ήταν ανέκαθεν το πώς θα μπορούσε να ποσοτικοποιηθεί η πληροφορία, ώστε να μπορούμε
12. ΑΝΙΣΩΣΕΙΣ Α ΒΑΘΜΟΥ. είναι δύο παραστάσεις μιας μεταβλητής x πού παίρνει τιμές στο
ΓΕΝΙΚΑ ΠΕΡΙ ΑΝΙΣΩΣΕΩΝ Έστω f σύνολο Α, g Α ΒΑΘΜΟΥ είναι δύο παραστάσεις μιας μεταβλητής πού παίρνει τιμές στο Ανίσωση με έναν άγνωστο λέγεται κάθε σχέση της μορφής f f g g ή, η οποία αληθεύει για ορισμένες
ΑΝΑΠΤΥΞΗ ΕΦΑΡΜΟΓΩΝ ΣΕ ΠΡΟΓΡΑΜΜΑΤΙΣΤΙΚΟ ΠΕΡΙΒΑΛΛΟΝ ΕΠΑΝΑΛΗΠΤΙΚΟ ΔΙΑΓΩΝΙΣΜΑ ΣΧΟΛΙΚΟΥ ΕΤΟΥΣ 2013-2014
ΑΝΑΠΤΥΞΗ ΕΦΑΡΜΟΓΩΝ ΣΕ ΠΡΟΓΡΑΜΜΑΤΙΣΤΙΚΟ ΠΕΡΙΒΑΛΛΟΝ ΕΠΑΝΑΛΗΠΤΙΚΟ ΔΙΑΓΩΝΙΣΜΑ ΣΧΟΛΙΚΟΥ ΕΤΟΥΣ 2013-2014 Επιμέλεια: Ομάδα Διαγωνισμάτων από το Στέκι των Πληροφορικών Θέμα Α A1. Να γράψετε στο τετράδιό σας τους
ΠΑΝΕΠΙΣΤΗΜΙΟ ΠΕΛΟΠΟΝΝΗΣΟΥ
ΠΑΝΕΠΙΣΤΗΜΙΟ ΠΕΛΟΠΟΝΝΗΣΟΥ ΤΜΉΜΑ ΕΠΙΣΤΉΜΗΣ & ΤΕΧΝΟΛΟΓΙΑΣ ΤΗΛΕΠΙΚΟΙΝΩΝΙΩΝ Κ 7 Επικοινωνίες ΙΙ Χειμερινό Εξάμηνο Διάλεξη η Νικόλαος Χ. Σαγιάς Επίκουρος Καθηγητής Webpage: hp://ecla.uop.gr/coure/tst25 e-ail:
Κατηγορίες Συμπίεσης. Συμπίεση με απώλειες δεδομένων (lossy compression) π.χ. συμπίεση εικόνας και ήχου
Συμπίεση Η συμπίεση δεδομένων ελαττώνει το μέγεθος ενός αρχείου : Εξοικονόμηση αποθηκευτικού χώρου Εξοικονόμηση χρόνου μετάδοσης Τα περισσότερα αρχεία έχουν πλεονασμό στα δεδομένα τους Είναι σημαντική
Διακριτά Μαθηματικά. Προχωρημένες μέθοδοι απαρίθμησης: Εγκλεισμός- Αποκλεισμός
Διακριτά Μαθηματικά Προχωρημένες μέθοδοι απαρίθμησης: Εγκλεισμός- Αποκλεισμός Αρχή Εγκλεισμού-Αποκλεισμού (Ι) Όταν δύο εργασίες μπορούν να γίνουν ταυτόχρονα, ΔΕ μπορούμε να χρησιμοποιούμε τον κανόνα αθροίσματος
1. ΣΥΣΤΗΜΑΤΑ ΑΡΙΘΜΩΝ. α i. (α i β i ) (1.3) όπου: η= το πλήθος ακεραίων ψηφίων του αριθμού Ν. n-1
1. ΣΥΣΤΗΜΑΤΑ ΑΡΙΘΜΩΝ 1.1 Εισαγωγή Το δεκαδικό σύστημα (Decimal System) αρίθμησης χρησιμοποιείται από τον άνθρωπο και είναι κατάλληλο βέβαια γι αυτόν, είναι όμως εντελώς ακατάλληλο για τις ηλεκτρονικές
Πίνακες Διασποράς. Χρησιμοποιούμε ένα πίνακα διασποράς T και μια συνάρτηση διασποράς h. Ένα στοιχείο με κλειδί k αποθηκεύεται στη θέση
Πίνακες Διασποράς Χρησιμοποιούμε ένα πίνακα διασποράς T και μια συνάρτηση διασποράς h Ένα στοιχείο με κλειδί k αποθηκεύεται στη θέση κλειδί k T 0 1 2 3 4 5 6 7 U : χώρος πιθανών κλειδιών Τ : πίνακας μεγέθους
Διατάξεις με επανάληψη: Με πόσους τρόπους μπορώ να διατάξω r από n αντικείμενα όταν επιτρέπονται επαναληπτικές εμφανίσεις των αντικειμένων; Στην αρχή
Στοιχειώδης συνδυαστική Συνδυασμοί και διατάξεις με επανάληψη Διατάξεις με επανάληψη: Με πόσους τρόπους μπορώ να διατάξω r από n αντικείμενα όταν επιτρέπονται επαναληπτικές εμφανίσεις των αντικειμένων;
Υπάρχουν δύο τύποι μνήμης, η μνήμη τυχαίας προσπέλασης (Random Access Memory RAM) και η μνήμη ανάγνωσης-μόνο (Read-Only Memory ROM).
Μνήμες Ένα από τα βασικά πλεονεκτήματα των ψηφιακών συστημάτων σε σχέση με τα αναλογικά, είναι η ευκολία αποθήκευσης μεγάλων ποσοτήτων πληροφοριών, είτε προσωρινά είτε μόνιμα Οι πληροφορίες αποθηκεύονται
Κ15 Ψηφιακή Λογική Σχεδίαση 2: Δυαδικό Σύστημα / Αναπαραστάσεις
Κ15 Ψηφιακή Λογική Σχεδίαση 2: Δυαδικό Σύστημα / Αναπαραστάσεις Γιάννης Λιαπέρδος TEI Πελοποννήσου Σχολή Τεχνολογικών Εφαρμογών Τμήμα Μηχανικών Πληροφορικής ΤΕ Δυαδικό Σύστημα Αρίθμησης Περιεχόμενα 1 Δυαδικό
ΕΕ728 Προχωρηµένα Θέµατα Θεωρίας Πληροφορίας 2η διάλεξη (3η έκδοση, 11/3)
ΕΕ728 Προχωρηµένα Θέµατα Θεωρίας Πληροφορίας 2η διάλεξη (3η έκδοση, 11/3) ηµήτρης-αλέξανδρος Τουµπακάρης Τµήµα ΗΜ&ΤΥ, Πανεπιστήµιο Πατρών 19 Φεβρουαρίου 2013 ηµήτρης-αλέξανδρος Τουµπακάρης Προχωρηµένα
P(n, r) = n r. (n r)! n r. n+r 1
Διακριτά Μαθηματικά Φροντιστήριο Στοιχειώδης Συνδυαστική ΙΙ 1 / 15 Επανάληψη Κανόνας Αθροίσματος Κανόνας Γινομένου Χωρίς επαναλήψεις στοιχείων P(n, r) = n! (n r)! C(n, r) = ( ) n r Με επαναλήψεις στοιχείων
2 ΟΥ και 8 ΟΥ ΚΕΦΑΛΑΙΟΥ
ΑΝΑΠΤΥΞΗ ΕΦΑΡΜΟΓΩΝ ΣΕ ΠΡΟΓΡΑΜΜΑΤΙΣΤΙΚΟ ΠΕΡΙΒΑΛΛΟΝ ΕΠΙΜΕΛΕΙΑ: ΜΑΡΙΑ Σ. ΖΙΩΓΑ ΚΑΘΗΓΗΤΡΙΑ ΠΛΗΡΟΦΟΡΙΚΗΣ ΘΕΩΡΙΑ 2 ΟΥ και 8 ΟΥ ΚΕΦΑΛΑΙΟΥ ΒΑΣΙΚΕΣ ΕΝΝΟΙΕΣ ΔΟΜΗ ΕΠΑΝΑΛΗΨΗΣ 1) Πότε χρησιμοποιείται η δομή επανάληψης
ΑΝΙΣΟΤΗΤΕΣ. Αν α-β>0 τότε α>β «Αν η διαφορά είναι θετικός αριθμός τότε ο πρώτος αριθμός δηλαδή το α είναι μεγαλύτερος από τον δεύτερο δηλαδή το β»
ΑΝΙΣΟΤΗΤΕΣ Μεταξύ δύο πραγματικών αριθμών μεγαλύτερος είναι εκείνος που βρίσκεται πιο δεξιά στον άξονα των πραγματικών αριθμών. Αν θέλουμε να συγκρίνουμε δύο αριθμούς α και β βρίσκουμε τη διαφορά τους
Τεχνολογία Πολυμέσων. Ενότητα # 9: Κωδικοποίηση εντροπίας Διδάσκων: Γεώργιος Ξυλωμένος Τμήμα: Πληροφορικής
Τεχνολογία Πολυμέσων Ενότητα # 9: Κωδικοποίηση εντροπίας Διδάσκων: Γεώργιος Ξυλωμένος Τμήμα: Πληροφορικής Χρηματοδότηση Το παρόν εκπαιδευτικό υλικό έχει αναπτυχθεί στα πλαίσια του εκπαιδευτικού έργου του