Τι είναι σήµα; Ωςσήµαορίζεταιέναφυσικόµέγεθοςτοοποίοµεταβάλλεταισεσχέσηµετοχρόνοή το χώρο ή µε οποιαδήποτε άλλη ανεξάρτητη µεταβλητή ή µεταβλητές.

Transcript

1 Τι είναι σήµα; Ωςσήµαορίζεταιέναφυσικόµέγεθοςτοοποίοµεταβάλλεταισεσχέσηµετοχρόνοή το χώρο ή µε οποιαδήποτε άλλη ανεξάρτητη µεταβλητή ή µεταβλητές. Παραδείγµατα: Σήµα οµιλίας x 1 Πίεση x P(t) t Σήµα εικόνας y 1 I ( x 1, y 1) Λαµπρότητα Σεισµικά σήµατα y Ιατρικά σήµατα... Ένα σήµα µεταφέρει ενέργεια ισχύ και µηνύµατα - πληροφορία.

2 Φάση s( t) = A sin ( ω 0 t + ϕ0) s(t) A A T 0 s 0) =Asin( ϕ ) ( 0 t Πλάτος Voltsή Ampers Κυκλική συχνότητα rad sec Αρχική φάση Από µαθηµατική άποψη, ένα σήµα εκφράζεται ως συνάρτηση µιας η περισσοτέρων t x (t) ω 0 = 2π f 0 Συχνότητα ανεξαρτήτων µεταβλητών. Με άλλα λόγια ένα σήµα είναι µία συνάρτηση. Η ανεξάρτητη µεταβλητή t είναι συνήθως ο χρόνος, ή οποία µπορεί να έχει και άλλη φυσική σηµασία. Με x(t) συµβολίζεται η τιµή του σήµατος τη χρονική στιγµή t. rad Hz 2π T 0 Περίοδος sec 6.1-2

3 Σήµα -Πληροφορία Πληροφορία δεν υπάρχει χωρίς ένα σήµα που την αντιπροσωπεύει. Η πληροφορία κωδικοποιείται σε ένα σήµα τροποποιώντας τη δοµή του σήµατος. Η διαδικασία µε την οποία η πληροφορία κωδικοποιείται σε ένα σήµα λέγεται διαµόρφωση (modulation). s( t) = A sin (2π f0 t + ϕ0) Φέρον σήµα Πλάτος Συχνότητα Αρχική φάση ιαµόρφωση πλάτους (ΑΜ) ιαµόρφωση συχνότητας (FΜ) ιαµόρφωση φάσης (PΜ) Η διαµόρφωση χρησιµοποιεί το σήµα πληροφορίας m(t), για να µεταβάλλει κατά τρόπο συστηµατικό το πλάτος, τη συχνότητα, ή τη φάση ενός ηµιτονοειδούς φέροντος

4 Είσοδος Τι είναι σύστηµα; Έξοδος x( t) y( t) Σχηµατικήπεριγραφήτουσυστήµατος S. Ως σύστηµα ορίζουµε την οντότητα εκείνη η οποία επενεργώντας σε ένα σήµα x(t) έχει ως αποτέλεσµα ένα άλλο, τροποποιηµένο συνήθως, σήµα y(t). Η δράση ενός συστήµατος περιγράφεται σχηµατικά Σύστηµα S όπου x(t) είναι το σήµα εισόδου ή απλά η είσοδος του συστήµατος και y(t) η έξοδος τουσυστήµατος. Ένα σύστηµα µπορεί να θεωρηθεί ως ένας µετασχηµατισµός µεταξύ σηµάτων y ( t) = S x( t) 6.1-4

5 Στοιχεία ενός Συστήµατος Ηλεκτρικής Επικοινωνίας Ο σκοπός του συστήµατος επικοινωνίας είναι να µεταδώσει πληροφορία (transmission of information) από ένα σηµείο του χώρου, που λέγεται πηγή, σε ένα άλλο σηµείο, που είναι ο προορισµός χρήσης. Κατά κανόνα, το µήνυµα που παράγεται από µια πηγή δεν είναι ηλεκτρικό. Ένας µετατροπέας είναι συνήθως αναγκαίος για να µετατρέψει την έξοδο της πηγής σε ηλεκτρικό σήµα κατάλληλογιαµετάδοση. Για παράδειγµα, για πηγή ακουστικού σήµατος χρησιµοποιείται το µικρόφωνο για µετατροπή σεηλεκτρικόσήµα, ενώγιαπηγήεικόναςχρησιµοποιείταιµια video-camera. Στον προορισµό χρειάζεται µια αντίστοιχη αντίστροφη µετατροπή των ηλεκτρικών σηµάτων σε κατάλληλη µορφή, για παράδειγµα ήχο, εικόνα κ.τ.λ. Το κανάλι επικοινωνίας είναι το φυσικό µέσο που χρησιµεύει για να στέλνεται το σήµα από την πηγή στον προορισµό χρήσης. Μικρόφωνο Ακουστικό Πηγή πληροφορίας και µετατροπέας εισόδου Κανάλι Μετατροπέας εξόδου Σήµα Εξόδου ιάγραµµα λειτουργικών βαθµίδων ενός συστήµατος επικοινωνίας

6 i1 ( t ) Φυσικό µέσο Ενσύρµατεςγραµµές (χάλκινασύρµατα), καλώδιαοπτικώνινών, ηατµόσφαιρα (ελεύθεροςχώρος). Παρόλο που σε µερικές περιπτώσεις είναι δυνατή η απ ευθείας ζεύξη του µετατροπέα εισόδου µε το κανάλι, είναι συχνά αναγκαίο να µετατραπεί το ηλεκτρικό σήµα σε µία µορφή κατάλληληγιαµετάδοσηµέσααπότοφυσικόκανάλιήµέσοδιάδοσης. κεραία εκποµπής κεραία λήψης ΠΟΜΠΟΣ Ηλεκτροµαγνητικό Ηλεκτροµαγνητικό κύµα κύµα ΕΚΤΗΣ Ακουστικό σήµα Ηλεκτρικό σήµα i(t) Ακουστικό σήµα i 1 ( t ) C M Ηλεκτρικό σήµα + Ποµπός διαµορφωµένου κύµατος (αρχή) έκτης µε κρυσταλλοτρίοδο (αρχή) 6.1-6

7 Σήµα µηνύµατος m(t) Λαµβανόµενο σήµα r(t) αλλοιωµένο διαµορφωµένο σήµα Πηγή πληροφορίας και µετατροπέας εισόδου Ποµπός Κανάλι Σύστηµα Επικοινωνίας έκτης Μετατροπέας εισόδου Σήµα Εξόδου Μεταδιδόµενο σήµα s(t) διαµορφωµένο σήµα Ανακατασκευασµένο µήνυµα m(t) Αποδιαµορφωµένο σήµα ιάγραµµα λειτουργικών βαθµίδων ενός συστήµατος επικοινωνίας Παρόλο που σε µερικές περιπτώσεις είναι δυνατή η απ ευθείας ζεύξη του µετατροπέα εισόδου µε το κανάλι, είναι συχνά αναγκαίο να µετατραπεί το ηλεκτρικό σήµα σε µία µορφή κατάλληλη για µετάδοση µέσα από το φυσικό κανάλι ή µέσο διάδοσης. φυσικό κανάλι ή µέσο µετάδοσης, δηλαδή ο ποµπός πραγµατοποιεί τη ζεύξη του σήµατος Ο ποµπός µετατρέπει το ηλεκτρικό σήµα σε µια µορφή κατάλληλη για µετάδοση µέσα από το µηνύµατος µε το κανάλι. Ο δέκτης ανακτά το σήµα µηνύµατος από το λαµβανόµενο σήµα

8 Ψηφιακή Μετάδοση Αναλογικών Σηµάτων Τα σύγχρονα συστήµατα επικοινωνίας,σε πολύ µεγάλο ποσοστό, διαχειρίζονται σήµατα ψηφιακής µορφής, δηλαδή, σήµατα που δηµιουργούνται από ακολουθίες δυαδικών ψηφίων. Τα περισσότερα σήµατα στην πράξη είναι αναλογικά. Η µετάδοση των σηµάτων αυτών σε ψηφιακή µορφή απαιτεί τα αναλογικά αυτά σήµατα να µετατραπούν σε ψηφιακά. Η διαδικασία της µετατροπής αναλογικών σηµάτων σε ψηφιακά ονοµάζεται αναλογική σε ψηφιακήµετατροπή (A/D analog to digital conversion) ήκωδικοποιήσηςκυµατοµορφής. Υπάρχουν δύο βασικές τεχνικές κωδικοποιήσης κυµατοµορφής, παλµοκωδική διαµόρφωση και η διαµόρφωση δέλτα

9 Παλµοκωδική ιαµόρφωση (PCM) Η παλµοκωδική διαµόρφωση (Pulse Code Modulation ( PCM) ) είναι το απλούστερο σχήµα κωδικοποιήσηςκυµατοµορφής. Ένας παλµοκωδικός διαµορφωτής παλµών αποτελείται από τρία βασικά µέρη: ένα δειγµατολήπτη, έναν κβαντιστή και ένα κωδικοποιητή. ΣΥΣΤΗΜΑ PC M ειγµατολήπτης Κβαντιστής x (t ) x ( n ) x ( n ) t n n

10 Βασικά στοιχεία ενός συστήµατος ψηφιακής επικοινωνίας Πηγή πληροφορίας και µετατροπέας εισόδου E πηγής Π Ο Μ Π Ο Σ Κανάλι Σήµα Εξόδου Μετατροπέας εξόδου Ε Κ Τ Η Σ Σε ένα ψηφιακό σύστηµα επικοινωνίας τα µηνύµατα που παράγονται από την πηγή, σύµβολα ή επιτρεπόµενες στάθµες, µετατρέπονται συνήθως σε µιαακολουθίαδυαδικώνψηφίων. Η διαδικασία της αποδοτικής µετατροπής της εξόδου µίας αναλογικής ή ψηφιακής πηγής, σε ακολουθία δυαδικών ψηφίων καλείται κωδικοποίηση πηγής ή συµπίεση δεδοµένων. Στον κώδικα Morse τα γράµµατα του αγγλικού αλφαβήτου τα αναπαράστησε µε µία ακολουθία από τελείες και παύλες (δηλαδή από κωδικές λέξεις). A B C D E F G H I J K L M N O P Q R S T U V W X Y Z Ο κώδικας ASCII (American Standard Code for Information Interchange), είναι ένα κωδικοποιηµένο σύνολοχαρακτήρων τουλατινικούαλφάβητου

11 Βασικά στοιχεία ενός συστήµατος ψηφιακής επικοινωνίας Πηγή πληροφορίας και µετατροπέας εισόδου πηγής καναλιού Π Ο Μ Π Ο Σ Κανάλι Σήµα Εξόδου Μετατροπέας εξόδου Ε Κ Τ Η Σ Ο ρόλος του κωδικοποιητή καναλιού είναι να εισάγει, κατά έναν ελεγχόµενο τρόπο, κάποιο πλεονασµό στη δυαδική ακολουθία πληροφορίας ο οποίος να µπορεί να χρησιµοποιηθεί στο δέκτη για να κατανικήσει τις επιδράσεις του θορύβου. Έτσι αυξάνεται η αξιοπιστία των λαµβανοµένων δεδοµένων. Ένας (τετριµµένος) τρόπος κωδικοποίησης µίας δυαδικής ακολουθίας πληροφορίας είναι απλώς η επανάληψη κάθε δυαδικού ψηφίου m φορές, όπου m θετικός ακέραιος καναλιού

12 Βασικά στοιχεία ενός συστήµατος ψηφιακής επικοινωνίας Πηγή πληροφορίας και µετατροπέας εισόδου πηγής καναλιού Π Ο Μ Π Ο Σ Κανάλι Σήµα Εξόδου Μετατροπέας εξόδου Ε Κ Τ Η Σ Ο ρόλος του κωδικοποιητή καναλιού είναι να εισάγει, κατά έναν ελεγχόµενο τρόπο, κάποιο πλεονασµό στη δυαδική ακολουθία πληροφορίας ο οποίος να µπορεί να χρησιµοποιηθεί στο δέκτη για να κατανικήσει τις επιδράσεις του θορύβου. Έτσι αυξάνεται η αξιοπιστία των λαµβανοµένων δεδοµένων. Ένας πιο σύνθετος κωδικοποιητής λαµβάνει k bits πληροφορίας κάθε φορά και απεικονίζει κάθε ακολουθία των k-bits σε µία ενιαία ακολουθία n-bits (n > k), καλούµενη κωδική λέξη. Μπλοκ από k bits k k bits πληροφορίας καναλιού Κωδικές λέξεις των n bits k k+1 k bitsπληροφορίας n-k bits ελέγχου n

13 Βασικά στοιχεία ενός συστήµατος ψηφιακής επικοινωνίας Πηγή πληροφορίας και µετατροπέας εισόδου πηγής καναλιού Π Ο Μ Π Ο Σ υαδική ακολουθία Ψηφιακός διαµορφωτής Αναλογικό σήµα Κανάλι Σήµα Εξόδου Μετατροπέας εξόδου Ε Κ Τ Η Σ Επειδή σχεδόν όλα τα κανάλια επικοινωνίας που συναντάµε στην πράξη είναι ικανά να µεταδίδουν ηλεκτρικά σήµατα (κυµατοµορφές). Ο πρωταρχικός ρόλος του ψηφιακού διαµορφωτή είναι να απεικονίζει τις δυαδικές ακολουθίες σε κυµατο- µορφέςσήµατος. Ο ψηφιακός διαµορφωτής απεικονίζει το δυαδικό ψηφίο 0 στην κυµατο- µορφή s 0 (t) και το δυαδικό ψηφίο 1 στηνκυµατοµορφή s 1 (t) Ψηφιακός διαµορφωτής Ψηφιακός διαµορφωτής Ψηφιακός διαµορφωτής g T (t) A g T (t) 0 t 0 A u(t) A 0 A T b T b Tb t 2Tb 3Tb t

14 Βασικά στοιχεία ενός συστήµατος ψηφιακής επικοινωνίας Πηγή πληροφορίας και µετατροπέας εισόδου πηγής καναλιού Π Ο Μ Π Ο Σ Ψηφιακός διαµορφωτής u(t) Κανάλι Σήµα Εξόδου Μετατροπέας εξόδου r(t) Ε Κ Τ Η Σ Οποιοδήποτε και αν είναι το φυσικό µέσο για τη µετάδοση του σήµατος, το κύριο χαρακτηριστικό είναι ότι τοµεταδιδόµενοσήµααλλοιώνεταικατάτυχαίοτρόποαπόµίαποικιλίαπιθανώνµηχανισµών. Η πιο συνήθης µορφή υποβάθµισης του σήµατος προέρχεται από έναν προσθετικό θόρυβο ο οποίος συχνά καλείται θερµικός θόρυβος. u(t) r(t) Tb 2Tb 3Tb t Κανάλι 0 Tb 2Tb 3Tb t

15 Βασικά στοιχεία ενός συστήµατος ψηφιακής επικοινωνίας Πηγή πληροφορίας και µετατροπέας εισόδου πηγής καναλιού Π Ο Μ Π Ο Σ Ψηφιακός διαµορφωτής u(t) Κανάλι Σήµα Εξόδου Μετατροπέας εξόδου Ψηφιακός αποδιαµορφωτής r(t) Ε Κ Τ Η Σ Στο άλλο άκρο της λήψης ενός ψηφιακού συστήµατος επικοινωνίας, ο ψηφιακός αποδιαµορφωτής επεξεργάζεται τις αλλοιωµένες από το κανάλι διαβιβασµένες κυµατοµορφές και εκτιµά το διαβιβασµένο δυαδικό ψηφίο. r(t) 1 0 Tb 2Tb 3Tb t Ψηφιακός αποδιαµορφωτής

16 Βασικά στοιχεία ενός συστήµατος ψηφιακής επικοινωνίας Πηγή πληροφορίας και µετατροπέας εισόδου πηγής καναλιού Π Ο Μ Π Ο Σ Ψηφιακός διαµορφωτής Κανάλι Σήµα Εξόδου Μετατροπέας εξόδου Αποκωδικοποιητής Ψηφιακός καναλιού αποδιαµορφωτής Ε Κ Τ Η Σ Ο προστιθέµενος πλεονασµός στην ακολουθία πληροφορίας χρησιµοποιείται από τον αποκωδικοποιητή καναλιούστηναποκωδικοποίησητηςεπιθυµητήςακολουθίαςπληροφορίας

17 Βασικά στοιχεία ενός συστήµατος ψηφιακής επικοινωνίας Πηγή πληροφορίας και µετατροπέας εισόδου πηγής καναλιού Π Ο Μ Π Ο Σ Ψηφιακός διαµορφωτής Κανάλι Σήµα Εξόδου Μετατροπέας εξόδου Αποκωδικοποιητής Ψηφιακός καναλιού αποδιαµορφωτής Ε Κ Τ Η Σ Σφάλµα στη µετάδοση Ο προστιθέµενος πλεονασµός στην ακολουθία πληροφορίας χρησιµοποιείται από τον αποκωδικοποιητή καναλιού στην αποκωδικοποίηση της επιθυµητής ακολουθίας πληροφορίας. Έτσι, ο προστιθέµενος πλεονασµός χρησιµεύει στο να αυξήσει την αξιοπιστία των λαµβανόµενων δεδοµένων και να βελτιώνει την πιστότητα του λαµβανόµενου σήµατος

18 Βασικά στοιχεία ενός συστήµατος ψηφιακής επικοινωνίας Πηγή πληροφορίας και µετατροπέας εισόδου Ε πηγής καναλιού Π Ο Μ Π Ο Σ Ψηφιακός διαµορφωτής Κανάλι Σήµα Εξόδου Μετατροπέας εξόδου Ε Αποκωδικοποιητής Αποκωδικοποιητής πηγής καναλιού Ε Κ Τ Η Σ Ψηφιακός αποδιαµορφωτής Ο αποκωδικοποιητής της πηγής δέχεται την ακολουθία εξόδου του αποκωδικοποιητή καναλιού και γνωρίζοντας την µέθοδο που χρησιµοποιείται για την κωδικοποίηση της πηγής προσπαθεί να ανακατασκευάσει όσο γίνεται πιστότερα το αρχικό αναλογικό σήµα της πηγής. Τα συστήµατα ψηφιακής επικοινωνίας µπορούν να µεταδώσουν δεδοµένα µε διαφορετικούς ρυθµούς µετάδοσης (transmission rate). Ο ρυθµός µετάδοσης µιας ζεύξης µετρείται σε bits/sec

19 Πηγή πληροφορίας και µετατροπέας εισόδου Ποµπός Κανάλι έκτης Σύστηµα Επικοινωνίας Μετατροπέας εισόδου Σήµα Εξόδου Τα περισσότερα συστήµατα επικοινωνίας, όπως το διαδίκτυο και τα συστήµατα κινητής τηλεφωνίας, περιλαµβάνουν µεγάλο αριθµό ποµπών και δεκτών, οι οποίοι πρέπει να χρησιµοποιούναπόκοινού το ίδιο φυσικό µέσο. Ταεπίπεδαδικτύου και ελέγχου (network and control layers) εξασφαλίζουν την αξιόπιστη και αποτελεσµατική χρησιµοποίηση του ίδιου φυσικού µέσου από πολλά τερµατικά. Πηγή πληροφορίας και µετατροπέας εισόδου Επίπεδα δικτύου και ελέγχου Ποµπός Κανάλι Σήµα Εξόδου Μετατροπέας εξόδου Επίπεδα δικτύου και ελέγχου έκτης Σύστηµα Επικοινωνίας ιάγραµµα λειτουργικών βαθµίδων ενός συστήµατος επικοινωνίας

20 Τηλεπικοινωνιακά συστήµατα Τα τηλεπικοινωνιακά συστήµατα είναι σχεδιασµένα για να διαβιβάζουν πληροφορία. Σε κάθε τηλεπικοινωνιακό σύστηµα υπάρχει µια πηγή που παράγει την πληροφορία, και σκοπός τουσυστήµατοςείναιηδιαβίβασητηςεξόδουτηςπηγήςστονπροορισµότης. Πληροφορία κοινή αντίληψη Η διαισθητική και κοινή αντίληψη της πληροφορίας παραπέµπει σε κάθε καινούρια γνώση για κάτι (πληροφορία = νέα γνώση). Η έξοδος µιας πηγής πληροφορίας είναι µια χρονικά - µεταβαλλόµενη συνάρτηση, χωρίς δυνατότητα πρόβλεψης (εάν ήταν δυνατή η πρόβλεψή της, δεν θα υπήρχε λόγος µετάδοσής της), µπορείναθεωρηθείωςµιατυχαίαδιαδικασία. Ο σχεδιαστής τηλεπικοινωνιακών συστηµάτων σχεδιάζει ένα σύστηµα που διαβιβάζει την έξοδο µιας τυχαίας διαδικασίας (πηγή πληροφορίας) σ' έναν προορισµό µέσα από ένα τυχαία συµπεριφερόµενο µέσο (κανάλι) εξασφαλίζοντας µικρή παραµόρφωση

21 Πληροφορία µία διαισθητική προσέγγιση Καθένας αντιλαµβάνεται διαισθητικά την έννοια της πληροφορίας. Η ποιοτική περιγραφή της πληροφορίας δεν είναι αρκετή απαιτείται ένα ποσοτικό µέτρο της πληροφορίαςκαιµαθηµατικήµοντελοποίησητωνπηγώνπληροφορίας. Πληροφορία προσέγγιση µηχανικού Ηπληροφορίασεέναµήνυµαείναιοχρόνοςπουαπαιτείταιγιατηνµετάδοσήτου. Μηνύµατα µε µεγάλη πιθανότητα εµφάνισης µπορούν να µεταδοθούν σε συντοµότερο χρόνο από ότι µηνύµατα µε µικρή πιθανότητα εµφάνισης. Η έξοδος µιας πηγής πληροφορίας µπορεί να γίνει πιο συµπαγής, και συνεπώς να διαβιβασθεί ή να αποθηκευθεί ευκολότερα

22 Πηγές Πληροφορίας Η έξοδος µιας πηγής πληροφορίας είναι µία χρονικά - µεταβαλλόµενη συνάρτηση χωρίς δυνατότητα πρόβλεψης. Οι πηγές πληροφορίας µπορούν να µοντελοποιηθούν µε τυχαίες διαδικασίες, των οποίων οι ιδιότητες εξαρτώνται από τη φύση της πηγής. Οι πηγές πληροφορίας µπορούν να ταξινοµηθούν σε δύο κατηγορίες: αναλογικές (ή συνεχών τιµών) διακριτές

23 Όταν µοντελοποιούµε σήµατα οµιλίας, το φάσµα ισχύος της προκύπτουσας τυχαίας διαδικασίας καλύπτει περίπου την περιοχή των Hz, κι αυτό διότι η φασµατική πυκνότητα ισχύος του σήµατος οµιλίας καταλαµβάνει αυτή τη ζώνη συχνοτήτων. S X ( f ) f Τυπικό φάσµα ισχύος σήµατος οµιλίας Τα σήµατα video συντίθενται από µια ακίνητη ή κινούµενη εικόνα και, εποµένως, το εύρος - ζώνης εξαρτάται από την απαιτούµενη ευκρίνεια. Για µια εκποµπή TV, ανάλογα µε το σύστηµα που χρησιµοποιούµε, ( NTSC, PAL, ή SECAM), αυτή η ζώνη εκτείνεται µεταξύ 0 4,5 ΜHz και 0 6,5 MHz. Για δεδοµένα τηλεµετρίας το εύρος-ζώνης του φάσµατος εξαρτάται από το ρυθµό µεταβολής των δεδοµένων. Όλες οι πηγές έχουν πεπερασµένο εύρος ζώνης, εποµένως είναι δυνατή η δειγµατολήπτηση µε ρυθµό Nyquist ή µεγαλύτερο και να ανακατασκευασθούν από τις τιµές των δειγµάτων

24 Πηγή πληροφορίας X X, X, X,, 2, X 2 Μαθηµατικό Μοντέλο για µια πηγή διακριτού χρόνου Ηπηγήµοντελοποιείταιωςµιατυχαίαδιαδικασίαδιακριτούχρόνου{ X } i i= Τοαλφάβητοπάνωστοοποίοορίζονταιοιτυχαίεςµεταβλητές X i µπορείναείναιδιακριτό (για παράδειγµα, στη µετάδοση δυαδικών δεδοµένων), ή συνεχές (π.χ., δείγµατα οµιλίας). Οι στατιστικές ιδιότητες της χρονικά-διακριτής διαδικασίας εξαρτώνται από τη φύση της πηγής πληροφορίας

25 identically distributed (i.i.d.)) τυχαίες µεταβλητές που λαµβάνουν τιµή από ένα διακριτό σύνολο. Το σύνολο των τιµών της τυχαίας µεταβλητής X είναι A = { a a } 1, 2, Η συνάρτηση πιθανότητας µάζας (PMF) για τη διακριτή τυχαία µεταβλητή X είναι ( X = a ) για κάθε i = 1, 2, N p i = p i, Το απλούστερο µοντέλο πηγής πληροφορίας που µελετάµε, είναι η διακριτή πηγή χωρίς-µνήµη (Discrete Memoryless Source, DMS). Η DMS είναι µια τυχαία διαδικασία διακριτού-χρόνου καιδιακριτού-πλάτους, στηνοποίαόλατα X i δηµιουργούνταιανεξάρτηταµεταξύτουςαλλάµε τηνίδιακατανοµήπιθανότητας. Μία DMS δηµιουργεί µίασειράαπόανεξάρτητεςπανοµοιότυπηςκατανοµής (independent and Μία πλήρης περιγραφή της DMS δίνεται από το σύνολο A, που καλείται αλφάβητο, και τις N i= 1 πιθανότητες { p }. a N

26 Μέτρο της πληροφορίας Όταν δίνεται µια πηγή πληροφορίας πώς να υπολογίσουµε το ρυθµό µε τον οποίο η πηγή παράγει την πληροφορία. Σε διαισθητική βάση, η ποσότητα πληροφορίας που δεχόµαστε µε την γνώση της εµφάνισης ενός γεγονότος σχετίζεται µε την πιθανότητα εµφάνισης του γεγονότος. Ένα λογικό µέτρο της πληροφορίας µιας εξόδου της πηγής πρέπει να είναι φθίνουσα και συνεχής συνάρτηση της πιθανότητας της εξόδου αυτής. Μία δεύτερη διαισθητική ιδιότητα του µέτρου της πληροφορίας είναι ότι µικρή αλλαγή στην πιθανότητα µιας δεδοµένης εξόδου δεν θα έπρεπε να µεταβάλλει πολύ την πληροφορία που παρέχεταιαπότηνέξοδοαυτή. Όσο πιο απίθανο είναι το γεγονός, τόσο πιο µεγάλη πληροφορία µεταφέρει

27 Ηποσότητατηςπληροφορίαςπουπαρέχειµίαέξοδος (σύµβολο) α j µεπιθανότητα p j ικανοποιεί τις συνθήκες: Το περιεχόµενοτηςπληροφορίαςτηςεξόδουα j εξαρτάταιµόνοαπότην πιθανότητα τηςα j καιόχιαπότηντιµήτηςα j. Συµβολίζουµεαυτήτησυνάρτησηµε I(p j ) καιτηνονοµάζουµε ιδία-πληροφορία ή πληροφοριακό περιεχόµενο. Ηιδία-πληροφορίαείναιµίασυνεχήςσυνάρτησητης p j. Η ιδία-πληροφορία είναι µία φθίνουσα συνάρτηση του ορίσµατός της. ( p k ) > I( p j ) αν p k p j I < Όταν δεχόµαστε δύο ανεξάρτητες εξόδους, η ολική ιδία-πληροφορία που παίρνουµε είναι το άθροισµα των ιδίων-πληροφοριών που µεταφέρει κάθε µία από τις δύο εξόδους Αν ( j1) ( j 2) p j= p p τότε ( j1) ( 2) ( p ) I( p ) j I ( p ) = I + j

28 Μια συνεχής συνάρτηση της p k πουικανοποιείτιςπαραπάνωσυνθήκες είναι ηλογαριθµική συνάρτηση, µπορούµε λοιπόν να ορίσουµε ιδία-πληροφορία µε την I ( pk ) = log p 1 k = log( p ) k Η βάση του λογαρίθµου ορίζει τη µονάδα µέτρησης της πληροφορίας Ότανηβάσηείναιτο 2, ηπληροφορίαµετριέταισε bit. Όταν χρησιµοποιείται φυσικός λογάριθµος, η πληροφορία µετριέται σε nat

29 Η πληροφορία που παρέχεται από µία µη αναγνωρισθείσα έξοδο που αποτελείται από Μ σύµβολα θα είναι ίση µε το άθροισµα της συνεισφοράς καθ ενός από τα Νσύµβολατου αλφάβητου της πηγής και δίνεται από τη σχέση I total N = k=1 M pk ( ) log 2 bits p k Η µέση ιδία-πληροφορία ανά σύµβολο λέγεται και εντροπία της πηγής (ρυθµός της πηγής). Γενικά η εντροπία µιας διακριτής τυχαίας µεταβλητής X ορίζεται από τη σχέση H ( X) = I total M N = k=1 p I( ) k p k = N k=1 p log ( ) k 2 p k bits symbol Η H( X ) είναι µία συνάρτηση του PMF της τυχαίας µεταβλητής Χ και εποµένως είναι αριθµός. Η εντροπία αποτελεί ένα µέτρο της αβεβαιότητας για έξοδο της πηγής (κατά µέσο όρο)

30 Παρατηρούµε ότι ο ορισµός της Η βασίζεται στη χρονική µέση τιµή. Για να ισχύει ο ορισµός αυτός και για µέση τιµή συνόλου πρέπει η πηγή να είναι εργοδική, δηλαδή H ( X) ( ) = E log 2 p k Η εντροπία µιας πηγής πληροφορίας είναι ένα µέτρο της αβεβαιότητας ή ισοδύναµα του πληρο- φοριακού περιεχοµένου της πηγής. Επίσης η εντροπία αποτελεί ένα µέτρο του αριθµού των bits πληροφορίας που χρειάζονται κατά µέσο όρο για να µεταδώσουµε την πληροφορία που περιέχεται στην µεταβλητή X, υπό την προϋπόθεση ότι έχει χρησιµοποιηθεί ένα βέλτιστος αλγόριθµος κωδικοποίησης. Με άλλα λόγια κάθε έξοδος της πηγής απαιτεί H( X ) bits για ουσιαστικά χωρίς σφάλµατα αναπαράσταση