ΔΙΠΛΩΜΑΤΙΚΗ ΕΡΓΑΣΙΑ. ` Εφαρμογές της Θεωρίας Πληροφορίας στην ασφάλεια δικτύων ` ΦΟΙΤΗΤΡΙΑ: Καμπανά Νεκταρία ΜΕ/08051

Save this PDF as:
 WORD  PNG  TXT  JPG

Μέγεθος: px
Εμφάνιση ξεκινά από τη σελίδα:

Download "ΔΙΠΛΩΜΑΤΙΚΗ ΕΡΓΑΣΙΑ. ` Εφαρμογές της Θεωρίας Πληροφορίας στην ασφάλεια δικτύων ` ΦΟΙΤΗΤΡΙΑ: Καμπανά Νεκταρία ΜΕ/08051"

Transcript

1 ΠΑΝΕΠΙΣΤΗΜΙΟ ΠΕΙΡΑΙΑ ΤΜΗΜΑ ΔΙΔΑΚΤΙΚΗΣ ΤΗΣ ΤΕΧΝΟΛΟΓΙΑΣ ΚΑΙ ΨΗΦΙΑΚΩΝ ΣΥΣΤΗΜΑΤΩΝ (ΠΜΣ) ΔΙΠΛΩΜΑΤΙΚΗ ΕΡΓΑΣΙΑ ` Εφαρμογές της Θεωρίας Πληροφορίας στην ασφάλεια δικτύων ` ΦΟΙΤΗΤΡΙΑ: Καμπανά Νεκταρία ΜΕ/0805 ΕΠΙΒΛΕΠΩΝ ΚΑΘΗΓΗΤΗΣ : ΞΕΝΑΚΗΣ ΧΡΗΣΤΟΣ ΝΟΕΜΒΡΙΟΣ 200

2 ΠΙΝΑΚΑΣ ΠΕΡΙΕΧΟΜΕΝΩΝ ΕΥΧΑΡΙΣΤΙΕΣ...4 ΠΡΟΛΟΓΟΣ...5 ΚΕΦΑΛΑΙΟ. ΕΙΣΑΓΩΓΗ...6 ΚΕΦΑΛΑΙΟ 2. ΠΛΗΡΟΦΟΡΙΑ ΚΑΙ ΕΝΤΡΟΠΙΑ ΒΑΣΙΚΕΣ ΕΝΝΟΙΕΣ ΑΞΙΩΜΑΤΑ ΠΙΘΑΝΟΤΗΤΩΝ ΜΕΤΡΟ ΤΗΣ ΠΛΗΡΟΦΟΡΙΑΣ Η ΜΟΝΑΔΑ ΠΟΣΟΤΗΤΑΣ ΠΛΗΡΟΦΟΡΙΑΣ: ΤΟ BIT ΜΕΣΗ ΠΛΗΡΟΦΟΡΙΑ Η ΕΝΤΡΟΠΙΑ Ιδιότητες της μέσης ποσότητας πληροφορίας ή εντροπίας ΑΠΟ ΚΟΙΝΟΥ ΕΝΤΡΟΠΙΑ, ΥΠΟ ΣΥΝΘΗΚΗ ΕΝΤΡΟΠΙΑ ΚΑΙ ΑΜΟΙΒΑΙΑ ΠΛΗΡΟΦΟΡΙΑ Απο Κοινού Εντροπία Υπό Συνθήκη Εντροπία Αμοιβαία πληροφορία...37 ΑΣΚΗΣΕΙΣ:...40 ΚΕΦΑΛΑΙΟ 3. ΠΗΓΕΣ ΠΛΗΡΟΦΟΡΙΑΣ ΔΙΑΚΡΙΤΕΣ ΠΗΓΕΣ ΠΛΗΡΟΦΟΡΙΑΣ ΧΩΡΙΣ ΜΝΗΜΗ Εντροπία διακριτής πηγής χωρίς μνήμη Ρυθμός παροχής εντροπίας Επέκταση διακριτής πηγής πληροφορίας χωρίς μνήμη n τάξης ΚΩΔΙΚΟΠΟΙΗΣΗ ΠΗΓΗΣ Προθεματικοί κώδικες Αλγόριθμοι Κωδικοποίησης ΔΙΑΚΡΙΤΕΣ ΠΗΓΕΣ ΠΛΗΡΟΦΟΡΙΑΣ ΜΕ ΜΝΗΜΗ Πηγές Markov Εντροπία των πηγών Markoff Ζητήματα κωδικοποίησης των Μαρκοβιανών πηγών...70 ΑΣΚΗΣΕΙΣ:...74 ΕΠΙΛΟΓΟΣ...8 ΒΙΒΛΙΟΓΡΑΦΙΑ...82 ΑΓΓΛΙΚΗ ΒΙΒΛΙΟΓΡΑΦΙΑ:...82 ΕΛΛΗΝΙΚΗ ΒΙΒΛΙΟΓΡΑΦΙΑ:

3 ΠΙΝΑΚΑΣ ΕΙΚΟΝΩΝ ΕΙΚΟΝΑ. ΓΕΝΙΚΟ ΔΙΑΓΡΑΜΜΑ ΣΥΣΤΗΜΑΤΟΣ ΤΗΛΕΠΙΚΟΙΝΩΝΙΑΣ...7 ΕΙΚΟΝΑ 2. ΑΝΤΙΣΤΟΙΧΗΣΗ ΣΤΟΙΧΕΙΩΔΩΝ ΓΕΓΟΝΟΤΩΝ ΜΕ ΣΗΜΕΙΑ ΣΤΟΝ ΑΞΟΝΑ ΤΩΝ ΠΡΑΓΜΑΤΙΚΩΝ ΑΡΙΘΜΩΝ. 3 ΕΙΚΟΝΑ 3. ΓΡΑΦΙΚΗ ΠΑΡΑΣΤΑΣΗ ΤΗΣ ΣΥΝΑΡΤΗΣΗΣ ΤΟΥ ΜΕΤΡΟΥ ΤΗΣ ΠΛΗΡΟΦΟΡΙΑΣ ΓΙΑ B=2...2 ΕΙΚΟΝΑ 4. ΓΡΑΦΙΚΗ ΠΑΡΑΣΤΑΣΗ ΤΗΣ ΣΥΝΑΡΤΗΣΗΣ SHANNON...26 ΕΙΚΟΝΑ 5. ΔΙΑΓΡΑΜΜΑ VENN ΓΙΑ ΤΗ ΣΧΕΣΗ ΜΕΤΑΞΥ ΕΝΤΡΟΠΙΑΣ ΚΑΙ ΑΜΟΙΒΑΙΑΣ ΠΛΗΡΟΦΟΡΙΑΣ...39 ΕΙΚΟΝΑ 6. ΤΑΞΙΝΟΜΗΣΗ ΤΩΝ ΚΩΔΙΚΩΝ ΜΕ ΚΡΙΤΗΡΙΟ ΤΗΝ ΑΠΟΚΩΔΙΚΟΠΟΙΗΣΗ....5 ΕΙΚΟΝΑ 7. ΚΩΔΙΚΟΠΟΙΗΣΗ ΠΗΓΗΣ...52 ΕΙΚΟΝΑ 8. ΔΕΝΤΡΟ ΑΠΟΦΑΣΗΣ ΓΙΑ ΤΟΝ ΚΩΔΙΚΑ ΕΙΚΟΝΑ 9. ΜΑΡΚΟΒΙΑΝΗ ΑΛΥΣΙΔΑ ΤΡΙΩΝ ΚΑΤΑΣΤΑΣΕΩΝ ΕΙΚΟΝΑ 0. ΜΑΡΚΟΒΙΑΝΗ ΑΛΥΣΙΔΑ ΔΥΟ ΚΑΤΑΣΤΑΣΕΩΝ

4 Ευχαριστίες Θα ήθελα να ευχαριστήσω θερμά τον επιβλέποντα καθηγητή μου κ. Ξενάκη Χρήστο, για τη βοήθεια και καθοδήγηση που μου προσέφερε και κυρίως για την κατανόηση και την υπομονή του. Επίσης ευχαριστώ τον κ. Λαμπρινουδάκη Κωνσταντίνο, επίκουρο καθηγητή και τον κ. Σωκράτη Κάτσικα, καθηγητή για την τιμή που μου έκαναν να είναι μέλη της τριμελούς επιτροπής. Τέλος θέλω να ευχαριστήσω την οικογένεια μου, τους γονείς μου Ανδρέα και Μαρία και την αδερφή μου Τάνια, για την ενθάρρυνσή τους και τη διαρκή τους υποστήριξη στο κάθε τι. 4

5 Πρόλογος Η θεωρία της πληροφορίας είναι το επιστημονικό πεδίο που ασχολείται με τα μέτρα και τις εφαρμογές της έννοιας της πληροφορίας. Απαντάει κατά βάση σε δύο θεμελιώδη ερωτήματα της επιστήμης των τηλεπικοινωνιών: Ποιά είναι η μέγιστη συμπίεση δεδομένων και ποιός είναι ο μέγιστος ρυθμός μετάδοσης, και ως εκ τούτου βρίσκει εφαρμογή και στην ασφάλεια των δικτύων. Οριο της συμπίεσης δεδομένων αποτελεί η μέση ποσότητα πληροφορίας ή εντροπία, ενώ όριο του ρυθμού μετάδοσης δεδομένων αποτελεί η χωρητικότητα του καναλιού. Η θεωρία κωδικοποίησης είναι η μελέτη μεθόδων για την αποτελεσματική και ορθή μεταφορά της πληροφορίας από την πηγή στον προορισμό. Το πεδίο της Θεωρίας της Πληροφορίας και Κωδικοποίησης είναι πολύ ευρύ. Στην παρούσα πτυχιακή εργασία γίνεται μελέτη των μεθόδων ασφάλειας δικτύων που βασίζονται στη θεωρία της πληροφορίας. Αρχικά, γίνεται μια ιστορική αναδρομή στο επιστημονικό πεδίο της θεωρίας της πληροφορίας. Επίσης, γίνεται αναφορά στο βασικό τηλεπικοινωνιακό μοντέλο που αποτελεί το πλαίσιο μέσα στο οποίο παρουσιάζονται οι βασικές αρχές και έννοιες της Θεωρίας Πληροφορίας. Στη συνέχεια, γίνεται πολύ συνοπτικά αναφορά σε βασικά στοιχεία από την Θεωρία Πιθανοτήτων. Επίσης εισάγεται η έννοια και το μέτρο ποσότητας πληροφορίας καθώς και η επέκταση του για την περίπτωση πληροφορίας που εκφράζεται ως συνδυασμός δύο τυχαίων μεταβλητών. Τέλος ακολουθούν οι πηγές πληροφορίας. Πιο συγκεκριμένα, περιγράφονται οι διακριτές πηγές πληροφορίας χωρίς μνήμη και τεχνικές κωδικοποίησης για αυτές τις πηγές καθώς και οι διακριτές πηγές πληροφορίας με μνήμη και σχετικές τεχνικές κωδικοποίησης. 5

6 Κεφάλαιο. Εισαγωγή Στις μέρες μας υπάρχει ραγδαία ανάπτυξη των μέσων καταγραφής, αποθήκευσης, επεξεργασίας και μετάδοσης των δεδομένων, καθώς επίσης και των συναφών τεχνολογιών επικοινωνίας, όπως το τηλέφωνο, η τηλεόραση και τα δίκτυα υπολογιστών. Κοινός τόπος όλων αυτών των τεχνολογικών επιτευγμάτων είναι η ακριβής, ταχεία, ασφαλής και οικονομική αποθήκευση και μετάδοση της πληροφορίας. Όλη αυτή η ανάπτυξη έδωσε περισσότερους καρπούς μετά τη μαθηματική θεμελίωση της έννοιας της πληροφορίας. Πριν τα μέσα του εικοστού αιώνα, η έννοια της πληροφορίας ήταν κατά βάση αφηρημένη και ποιοτική. Επομένως, οποιαδήποτε προσπάθεια εξαγωγής νόμων που διέπουν την πληροφορία και την επικοινωνία ήταν αρχικά αδύνατη. Αυτή η αδυναμία ποσοτικοποίησης της έννοιας της πληροφορίας αντιμετωπίστηκε αρχικά από τον Hartley και στη συνέχεια από το Shannon. Πρώτoς ο Hartley το 928 όρισε την «ποσότητα πληροφορίας». Είπε πως η «πληροφορία» προκύπτει από τη διαδοχική επιλογή συμβόλων ή λέξεων από ένα δοσμένο «αλφάβητο» ή λεξιλόγιο, προκειμένου να οικοδομηθεί ένα μήνυμα (κείμενο) με κάποιο νόημα (τάξη, λογική). Ένα χρόνο αργότερα, το 929, ο Szlard συνέδεσε την πληροφορία και τη θερμοδυναμική εντροπία. Το 948, με την δημοσίευση της εργασίας του C. E. Shannon με τίτλο «A Mathematcal Theory of Communcaton», γεννήθηκε μια νέα επιστημονική περιοχή, η Θεωρία της Πληροφορίας ή Θεωρία Πληροφοριών. Στόχος της είναι η θεμελίωση εννοιών και θεωρημάτων που επιτρέπουν τη μαθηματική περιγραφή της διαδικασίας της επικοινωνίας. Με αυτό το τρόπο, η μετάδοση πληροφοριών μπορεί να αναλυθεί με μαθηματική αυστηρότητα και ακρίβεια, ενώ σε ένα επόμενο βήμα είναι δυνατόν να σχεδιαστούν καλύτερα συστήματα επικοινωνιών. Η νέα θεωρία βασισμένη στη στατιστική, τη θεωρία πιθανοτήτων και την άλγεβρα μπορεί να απαντήσει με μαθηματική ακρίβεια σε ερωτήματα που σχετίζονται με τη βέλτιστη συμπίεση των δεδομένων, την περιγραφή των διαύλων επικοινωνίας, την κωδικοποίηση των μηνυμάτων πληροφορίας, το ρυθμό μετάδοσης των πληροφοριών σε περιβάλλον θορύβου, την κρυπτογράφηση κ.α.. Αν και αρχικά η θεωρία της πληροφορίας αποτέλεσε τμήμα της επιστήμης των επικοινωνιών, σε σχετικά σύντομο χρονικό διάστημα αναπτύχθηκε σε ανεξάρτητη επιστήμη με συμβολή σε επιστήμες και θέματα πέρα από τις παραδοσιακές περιοχές των τηλεπικοινωνιών και των μαθηματικών. Ενδεικτικά, αναφέρουμε τη Στατιστική Φυσική (Θερμοδυναμική), την Επιστήμη υπολογιστών (αλγοριθμική πολυπλοκότητα), τη Στατιστική, τη Βιολογία (Γενετική τεχνολογία), τη γλωσσολογία, τη σχεδίαση υπολογιστικών 6

7 συστημάτων κ.α.. Έτσι, μπορούμε να πούμε ότι στις μέρες μας, η θεωρία της πληροφορίας, λόγω της μαθηματικής της ακρίβειας και των γενικευμένων συμπερασμάτων της, αποτελεί χωριστό κλάδο των μαθηματικών. Μέχρι το 948 κάθε τηλεπικοινωνιακός μηχανικός θα υποστήριζε σθεναρά την άποψη ότι για να βελτιστοποιηθεί η αξιοπιστία της επικοινωνίας είναι απαραίτητο να ελαττωθεί ο ρυθμός μετάδοσης της πληροφορίας ή αντίστροφα, ότι το πλήθος των σφαλμάτων αυξάνει το ρυθμό μετάδοσης του μηνύματος. Ο Shannon απέδειξε ότι είναι δυνατόν να μείνει σταθερός (μικρότερος της χωρητικότητας του διαύλου) ο ρυθμός μετάδοσης της πληροφορίας και παρόλα αυτά η πιθανότητα σφάλματος να παραμείνει εξαιρετικά μικρή. Η χωρητικότητα του διαύλου μπορεί να υπολογιστεί με βάση τα χαρακτηριστικά θορύβου του διαύλου. Οι ιδέες του Shannon αξιοποιήθηκαν από πλήθος ερευνητών, τόσο τηλεπικοινωνιακών μηχανικών όσο και μαθηματικών, με αποτέλεσμα να αναπτύξουν σε σχετικά λίγα χρόνια τη νέα επιστήμη της θεωρίας της πληροφορίας. Ένα σύστημα επικοινωνίας στα πλαίσια της θεωρίας της πληροφορίας αντιστοιχεί στο κλασικό τηλεπικοινωνιακό σύστημα πομπού, διαύλου και δέκτη, όπως απεικονίζεται στο παρακάτω σχήμα (Εικόνα ). Εικόνα. Γενικό διάγραμμα συστήματος τηλεπικοινωνίας 7

8 Ο πομπός αποτελείται από την πηγή πληροφορίας και τον κωδικοποιητή. Η πληροφορία παράγεται στην πηγή (πληροφορίας) και οργανώνεται σε μηνύματα πληροφορίας, τα οποία στη συνέχεια μετατρέπονται σε κωδικά μηνύματα. Ο δίαυλος πληροφορίας, ο οποίος είναι στην ουσία το μέσο που παρεμβάλλεται μεταξύ του πομπού και του δέκτη, διοχετεύει την κωδικοποιημένη πληροφορία στο σημείο προορισμού. Όταν η πληροφορία διαπερνά το δίαυλο, είναι δυνατόν να αλλοιωθεί λόγω της παρουσίας θορύβου. Η πληροφορία λαμβάνεται από το δέκτη, όπου αρχικά αποκωδικοποιείται και στη συνέχεια παρουσιάζεται στον προορισμό της. Παρακάτω περιγράφονται αναλυτικά οι έννοιες του συστήματος επικοινωνίας από την άποψη των τηλεπικοινωνιών. Επικοινωνία είναι κάθε διαδικασία μεταφοράς πληροφορίας μεταξύ δύο σημείων του χώρου χρόνου (π.χ. τηλεφωνική συνδιάλεξη). Πηγή πληροφορίας είναι το τμήμα του συστήματος επικοινωνίας που παράγει πληροφορία με τη μορφή συμβόλων (π.χ. δελτίο καιρού). Η πληροφορία προσαρτάται στα σύμβολα με κριτήριο τη πιθανότητα εμφάνισης τους στην έξοδο της πηγής πληροφορίας. Αλφάβητο είναι το σύνολο των συμβόλων που χρησιμοποιεί η πηγή πληροφορίας (π.χ. αριθμοί, γράμματα, διαγράμματα, χάρτες). Λέξη Πληροφορίας είναι η βραχεία διάταξη συμβόλων πληροφορίας (π.χ. λέξη αποτελούμενη απο γράμματα, όπως σταθμός). Μήνυμα Πληροφορίας είναι η διάταξη των λέξεων πληροφορίας (π.χ. μια πρόταση αποτελούμενη από λέξεις, όπως ο σιδηροδρομικός σταθμός είναι συνέχεια ανοικτός). Κωδικοποίηση είναι η αντικατάσταση των συμβόλων πληροφορίας από άλλα (κωδικά) σύμβολα με αντικειμενικό σκοπό τη βελτιστοποίηση της επικοινωνίας (π.χ. αντικατάσταση γραμμάτων από τελείες και παύλες κατά τον κώδικα Morse). Η κωδικοποιημένη πληροφορία οργανώνεται επίσης σε επιμέρους κωδικές λέξεις και κωδικά μηνύματα. Κώδικας είναι κάθε τεχνική κωδικοποίηση. Το σύνολο των κωδικών συμβόλων είναι το αλφάβητο του κώδικα. Η αμφιμονοσήμαντη απεικόνιση συμβόλων, λέξεων και μηνυμάτων πληροφορίας σε κωδικά σύμβολα, κωδικές λέξεις και κωδικά μηνύματα είναι το κλειδί του κώδικα. Έστω για παράδειγμα ότι έχουμε το κωδικό αλφάβητο Γ = {0,}. Η δυαδική κωδικοποίηση είναι η συνηθέστερη επιλογή στα ψηφιακά συστήματα επικοινωνίας. Με βάση αυτό το κωδικό αλφάβητο, ας υποθέσουμε ότι για την πηγή πληροφορίας με αλφάβητο Α= { α, α2, α3} υπάρχουν οι τρείς παρακάτω δυαδικοί κώδικες: 8

9 α 0 α 2 α 3 α 00 α 2 0 α 3 0 α 0 α 2 α 3 0 I II III Ο κώδικας I είναι απεικόνιση του Α στο Γ, ο κώδικας II είναι απεικόνιση του Α στο Γ 2 2 ενώ ο κώδικας III είναι απεικόνιση του Α στο Γ Γ. Οι δύο πρώτοι κώδικες έχουν σταθερό αριθμό δυαδικών συμβόλων (ισομήκεις) ενώ ο τρίτος μεταβλητό (δεν είναι ισομήκης) Απαραίτητο στοιχείο του πομπού είναι ο μεταλλάκτης που μετατρέπει το κωδικοποιημένο μήνυμα σε σήμα, δηλαδή μορφή κατάλληλη για μετάδοση (π.χ. σειρά ηλεκτρικών παλμών). Το σήμα αποτελεί τον υλικό φορέα της πληροφορίας. Δίαυλος Πληροφορίας ή κανάλι είναι αλυσίδα μέσων και συσκευών (π.χ. καλώδια, κυματοδηγοί, οπτικές ίνες) που μεταδίδουν το σήμα με την αποτυπωμένη σε αυτό πληροφορία. Χωρητικότητα διαύλου πληροφορίας είναι ο μέγιστος ρυθμός μετάδοσης πληροφορίας (π.χ. το τηλέτυπο μεταδίδει 0 λέξεις / sec). Καθορίζει το χρόνο και το κόστος που απαιτούνται για τη μετάδοση μηνύματος ή το πλήθος των μηνυμάτων που είναι δυνατό να διοχετεύει ταυτόχρονα ο δίαυλος πληροφορίας. Θόρυβος είναι κάθε ανεξέλεγκτη παρεμβολή του περιβάλλοντος του διαύλου που προκαλεί αλλοίωση του σήματος και συνεπώς σφάλματα μετάδοσης (απώλεια πληροφορίας). Συνήθως στα κανάλια επικοινωνίας υπάρχουν διαφόρων ειδών θόρυβοι όπως ο θερμικός θόρυβος, ο κρουστικός θόρυβος, ο θόρυβος περιβάλλοντος ή η παρεμβολή ομιλίας από άλλες γραμμές (κανάλια). Μέχρι το 948 ο τηλεπικοινωνιακός μηχανικός επιδίωκε την προστασία του σήματος απο τον θόρυβο, δηλαδή την πιστή αναπαραγωγή του σήματος στο δέκτη. Με την ωρίμανση της θεωρίας της πληροφορίας, το ενδιαφέρον μετατοπίσθηκε στην πιστή αναπαραγωγή του μηνύματος πληροφορίας που είναι αποτυπωμένο το σήμα. Σύγχρονα τηλεπικοινωνιακά συστήματα εξασφαλίζουν αξιόπιστη ροή πληροφορίας με σήμα βαθιά θαμμένο σε θόρυβο. Αποκωδικοποιητής αντιπροσωπεύει την επεξεργασία που γίνεται στο σήμα που προκύπτει στην έξοδο του καναλιού προκειμένου να αναπαραχθεί ένα 9

10 όσο το δυνατόν πιστότερο αντίγραφο του σήματος στην έξοδο της πηγής πληροφορίας Καταναλωτής της πληροφορίας είναι το τελευταίο τμήμα του συστήματος επικοινωνίας, όπου αναδομείται το αρχικό μήνυμα πληροφορίας. Έπεται του μεταλλάκτη, που μετατρέπει το σήμα σε κωδικό μήνυμα και του αποκωδικοποιητή, που μετατρέπει το κωδικό μήνυμα στο αρχικό μήνυμα πληροφορίας, αφού αποκαλύψει και διορθώσει σφάλματα μετάδοσης. Η πληροφορία αποτυπώνεται σε κείμενο, ήχο, εικόνα ή άλλη μορφή με αποτέλεσμα ο χρήστης να αυξάνει τη γνώση του ή να αποθηκεύει την ανωτέρω πληροφορία για μελλοντική χρήση. 0

11 Κεφάλαιο 2. Πληροφορία και Εντροπία Σκοπός του κεφαλαίου αυτού είναι να εξοικειωθούμε με τις βασικές αρχές και έννοιες της θεωρίας της πληροφορίας μέσα στο πλαίσιο ενός μοντέλου επικοινωνίας με τη βοήθεια της Θεωρίας των Πιθανοτήτων. Αρχικά θα εξετάσουμε, θα περιγράψουμε και θα επεξηγήσουμε το μέτρο ποσότητας πληροφορίας και τις ιδιότητες του. Στη συνέχεια θα ερευνήσουμε πώς ορίζεται η εντροπία για μια ή περισσότερες τυχαίες μεταβλητές. Τέλος, θα δούμε τις διάφορες μορφές εντροπίας που υπάρχουν (π.χ. υπό συνθήκη, σχετική) και τις ιδιότητες που διέπουν την εντροπία ως μέτρο πληροφορίας. 2. Βασικές έννοιες αξιώματα Πιθανοτήτων Σκοπός της ενότητας αυτής είναι να επαναφέρουμε στη μνήμη μας βασικές έννοιες - αξιώματα πιθανοτήτων που απαιτούνται στους ορισμούς των μέτρων ποσότητας πληροφορίας και στη μελέτη ζητημάτων της Θεωρίας Πληροφορίας. Το αποτέλεσμα ενός τυχαίου πειράματος, παραδείγματος χάριν, της ρίψης ενός ζαριού ή κέρματος, δεν είναι εκ των προτέρων βέβαιο. Εκβάσεις ή ενδεχόμενα ή δειγματικά σημεία (elementary event) λέγονται τα ατομικά αδιαίρετα αποτελέσματα { ω, ω2,... ω n } ενός πειράματος, όπως στην περίπτωση του ζαριού τα,2,3,4,5,6. Με τον ίδιο τρόπο η επιλογή απο την πηγή πληροφορίας των συμβόλων ενός μηνύματος είναι ένα τυχαίο πείραμα και τα σύμβολα τα δειγματικά σημεία. Δειγματικός χώρος (sample space) λέγεται το σύνολο των πιθανών αποτελεσμάτων ( Ω= { ω, ω2,... ω n }) (δείγματα) ενός τυχαίου πειράματος, δηλαδή ενός πειράματος το οποίο εάν επαναληφθεί κάτω από τις ίδιες συνθήκες το αποτέλεσμα του θα διαφέρει κατά τρόπο απρόβλεπτο. Στην περίπτωση της ρίψης του ζαριού ο δειγματικός χώρος είναι το σύνολο Ω= {,2,3,4,5,6} και στην περίπτωση επιλογής ενός συμβόλου κατα το σχηματισμό μηνύματος απο πηγή πληροφορίας είναι το αλφάβητο που χρησιμοποιείται.

12 Γεγονός (event) λέγεται κάθε υποσύνολο Α του δειγματικού χώρου, δηλαδή μια συλλογή εκβάσεων ή απλών ενδεχομένων ή δειγματικών σημείων. Στην περίπτωση του ζαριού το Ω = {, 4} και στην περίπτωση της πηγής μία λέξη. Επίσης ορίζεται ως βέβαιο γεγονός (certan event) το σύνολο του δειγματοχώρου αφού θα συμβαίνει πάντα και ως μηδενικό γεγονός (null event) το σύνολο που δεν περιέχει κανένα αποτέλεσμα και συνεπώς δεν θα συμβεί ποτέ. Αν θεωρηθεί ότι ένα γεγονός Α αποτελείται απο ν δειγματικά σημεία και οτι όλα τα σημεία του δειγματικού χώρου είναι N και ισοπίθανα, τότε ορίζεται ως πιθανότητα του Α ο λόγος ν / N. Η πιθανότητα PA ( ) ικανοποιεί τα ακόλουθα αξιώματα της θεωρίας πιθανοτήτων:. 0 PA ( ) για κάθε γεγονός A Ω 2. P( Ω ) = για το δειγματοχώρο Ω 3. Για κάθε δύο αποκλειστικά αμοιβαία (mutually exclusve) γεγονότα A και A 2 (δηλαδή A A2) ισχύει: PA ( A2) = PA ( ) + PA ( 2) Επακόλουθα των παραπάνω αξιωμάτων είναι και τα ακόλουθα:. PA ( B) = PA ( ) + PB ( ) PA ( B) 2. Αν A B, τότε θα είναι PA ( ) PB ( ) 3. Αν A, A2,... A N είναι γεγονότα ανά δύο αμοιβαία αποκλειστικά τότε ισχύει: N N P( Ak) = P( Ak) για N 2 k = k = 4. P( ) = 0, όπου το κενό σύνολο C 5. PA ( ) = PA ( ), όπου C A είναι το συμπλήρωμα του συνόλου A Παράδειγμα 2.: Πείραμα ρίψης τίμιου ζαριού: Ω = {,2,3,4,5,6} και P{} = P{2} =... = P{6} = / 6. Επίσης P{2,5} = / 3, P{3, 6} = / 3, P{, 4} = / 3, και P {,3,5} = /2, P { 2, 4,6} = / 2 2

13 Τυχαία μεταβλητή είναι μια μονοσήμαντη συνάρτηση με πεδίο ορισμού ένα δειγματικό χώρο Ω και πεδίο τιμών ένα υποσύνολο των πραγματικών αριθμών. Ο ορισμός της τυχαίας μεταβλητής ως αντιστοίχηση στοιχειωδών γεγονότων ενός δειγματοχώρου με σημεία στον άξονα των πραγματικών αριθμών απεικονίζεται στο παρακάτω σχήμα (Εικόνα 2): Εικόνα 2. Αντιστοίχηση στοιχειωδών γεγονότων με σημεία στον άξονα των πραγματικών αριθμών Μία τυχαία μεταβλητή λέγεται διακριτή αν το σύνολο των τιμών της είναι πεπερασμένο ή απείρως αριθμήσιμο. Οι συνεχείς τυχαίες μεταβλητές αντιστοιχούν σε συνεχείς δειγματικούς χώρους. Παράδειγμα 2.2: Σε τρεις διαδοχικές ρίψεις κέρματος ορίζουμε την τυχαία μεταβλητή X. Να βρεθεί πόσες φορές ήρθε κεφαλή στις τρεις διαδοχικές ρίψεις. Λύση: Δειγματοχώρος: Ω = { ΗΗΗ, ΗΗΤ, ΗΤΗ, ΤΗΗ, ΗΤΤ, ΤΗΤ, ΤΤΗ, ΤΤΤ } X ( Ω ) = {3,2,2,2,,,,0} Εύρος τιμών ΤΜ: S x = {0,, 2,3} 3

14 Έστω ένα τυχαίο πείραμα Ω με δειγματοχώρο Ω = { ω, ω2,... ω n } και η διακριτή τυχαία μεταβλητή X με πεδίο τιμών X = { x, x2,... x n }. Κάθε γεγονός ω μπορεί να συμβεί με πιθανότητα P( Ω = ω ) = P( X = x ) = p. Συνάρτηση μάζας πιθανότητας (Probablty Mass Functon) λέγεται η PX ( = x) = p και το σύνολο των πιθανοτήτων αυτών είναι P= { p, p2,... p n }. Η συνάρτηση μάζας πιθανότητας έχει τις παρακάτω ιδιότητες:. px ( ) 0, για κάθε n 2. px ( ) = Η συνάρτηση κατανομής αθροιστικής πιθανότητας (cumulatve dstrbuton functon) μιας διακριτής τυχαίας μεταβλητής X δίνεται από τη παρακάτω σχέση =, για κάθε x (, ) F( X x) p( x ) x x Αντίστοιχα, η συνάρτηση κατανομής μιας συνεχούς τυχαίας μεταβλητής δίνεται από τη παρακάτω σχέση x F( X x) = P[ X (, x)] = f( y) dy, για κάθε x (, ) Η μη αρνητική συνάρτηση f ( x ) καλείται συνάρτηση πυκνότητας πιθανότητας της συνεχούς τυχαίας μεταβλητής X. Για τη συνάρτηση πυκνότητας πιθανότητας ισχύουν oι παρακάτω ιδιότητες:. f ( xdx ) = PX ( B) B 2. f ( xdx ) = Ορισμένες χαρακτηριστικές ιδιότητες της συνάρτησης κατανομής συνεχούς τυχαίας μεταβλητής είναι οι ακόλουθες:. 0 F( X x), για κάθε x 2. Η συνάρτηση κατανομής είναι μη φθίνουσα, δηλαδή αν x xk τότε: F( X x ) F( X x ) 3. lm x F( X x) = και lm x F( X x) = 0 k 4

15 Μερικές φορές συνδυάζουμε δύο πειράματα ή τυχαίες μεταβλητές. Σε αυτή τη περίπτωση έχουμε δύο δειγματικούς χώρους, έστω Χ και Υ, όπου ο δειγματικός χώρος Υ αναφέρεται στο αντίστοιχο πείραμα ή στην αντίστοιχη διακριτή τυχαία μεταβλητή Y = { y, y2,... y m }. Η κατανομή πιθανότητας της Υ είναι PY ( ) = { py ( ), py ( 2),..., py ( m )}, δηλαδή p( y ) = P( Y = y ). Ας εξετάσουμε τώρα το πείραμα ( X, Y ) με δειγματικό χώρο το σύνολο των συνδυασμών ( x, y ). Ορίζουμε ως συνάρτηση συνδυασμένης πιθανότητας μάζας την pj = PX ( = xy, = yj ) που δίνει την πιθανότητα X = x και Y = yj. Απο τη συνάρτηση συνδυασμένης πιθανότητας μάζας j p j μπορούν να υπολογιστούν οι συναρτήσεις ακραίας πιθανότητας μάζας p( x ) και p( y j ): m p( x ) = p και j= j n p( yj) = p = j Παράδειγμα 2.3: Υποθέτουμε οτι οι Χ και Υ είναι διακριτές τυχαίες μεταβλητές και οτι η συνάρτηση συνδυασμένης πιθανότητας μάζας δίνεται από τη σχέση: Λύση: xy j p j =, για X = {, 2} και Y = {2,3, 4} 27 Οι συναρτήσεις ακραίας πιθανότητας μάζας υπολογίζονται ως ακολούθως: 4 x y px ( ) =, για x =, x2 = 2 και 27 y= 2 4 xy j py ( ) =, για y = 2, y2 = 3, y3 = 4 27 x= Ένας άλλος τύπος πιθανότητας είναι η υπό συνθήκη πιθανότητα. Αυτή προκύπτει όταν το αποτέλεσμα ενός πειράματος Υ αποτελεί τη συνθήκη για ένα άλλο πείραμα Χ. Ας εξετάσουμε ως παράδειγμα το εξής ερώτημα: Ποια η πιθανότητα της εμφάνισης του συμβόλου α κατά τη λήψη μηνύματος στην ελληνική γλώσσα όταν ο παραλήπτης έλαβε ήδη το τμήμα θάλασσ. Η πιθανότητα εμφάνισης είναι πολύ υψηλή, αφού το επόμενο γράμμα μπορεί να είναι α ή ε (θάλασσα ή θάλασσες). Η εμφάνιση γραμμάτων σε λέξεις συνήθως εξαρτάται από τα γράμματα που ήδη έχουν εμφανιστεί. Έτσι, υπάρχει μικρή πιθανότητα το γράμμα κ να ακολουθείται από το β. Τουναντίον, είναι υψηλή η πιθανότητα το κ να ακολουθείται από α. 5

16 Η συνάρτηση υπό συνθήκη πιθανότητας μάζας p( x / y j), που δίνει την πιθανότητα X = x δεδομένου του Y = y, ορίζεται ως ακολούθως: [Η p( x, y j) είναι η συνάρτηση συνδυασμένης πιθανότητας μάζας που δίνει την πιθανότητα X = x και Y = yj ] p( x, yj) px ( / yj) =, εφόσον py ( j ) > 0 p( y ) j Αντίστοιχα, η συνάρτηση υπό συνθήκη πιθανότητας μάζας p( yj / x ), που δίνει την πιθανότητα Y = y δεδομένου του X = x, δίνεται από τη παρακάτω σχέση p( x, yj) py ( j / x) =, εφόσον px ( ) > 0 p( x ) Από τις σχέσεις αυτές προκύπτει η συνάρτηση συνδυασμένης πιθανότητας μάζας: p( x, y ) = p( x / y ) p( y ) = p( y / x ) p( x ) j j j j Αναφορικά με την υπό συνθήκη πιθανότητα μάζας ισχύει και η σχέση n = px ( / y) = j Όταν δίνεται η υπό συνθήκη πιθανότητα μάζας p( yj / x ) και η p( x ) και θέλουμε να προσδιορίσουμε την p( x / y j), μπορούμε να χρησιμοποιήσουμε το θεώρημα του Bayes. Όπως είδαμε προηγουμένως, ισχύει p( x, y ) = p( x / y ) p( y ) = p( y / x ) p( x ) j j j j Αν είναι py ( j ) > 0, τότε η ακόλουθη σχέση επιτρέπει τον προσδιορισμό της p( x / y j) : p( yj / x) p( x) p( yj / x) p( x) px ( / yj) = = n py ( j ) p( x ) p( y / x ) = j Δύο τυχαίες μεταβλητές Χ και Υ είναι ανεξάρτητες η μια από την άλλη αν ισχύει η σχέση p( x, yj) = p( x) p( yj) Σ αυτή την περίπτωση ισχύει p( x / y ) = p( x ) και p( y / x ) = p( y ) j j j 6

17 Παράδειγμα 2.4: Έστω ότι μια ανίατη αρρώστια μολύνει το /000 του πληθυσμού των αγελάδων. Έστω επίσης ότι υπάρχει ένα τεστ για την αρρώστια που παράγει θετικό αποτέλεσμα στο 95% των δοκιμών σε μολυσμένη αγελάδα, ενώ αν η αγελάδα δεν είναι μολυσμένη το τεστ εξακολουθεί να βγάζει θετικό αποτέλεσμα στο 5% των περιπτώσεων. Θέλουμε να ερμηνεύσουμε τα αποτελέσματα. Δηλαδή αν το αποτέλεσμα του τεστ είναι θετικό ποια είναι η πιθανότητα να είναι όντως μολυσμένη η αγελάδα. Λύση: Έστω τα γεγονότα: D=δεδομένα: το τεστ είναι θετικό Η =υπόθεση: είναι μολυσμένη Η 2 =υπόθεση: δεν είναι μολυσμένη Γνωρίζουμε την εκ των προτέρων (a-pror) πιθανότητα να έχει την αρρώστια ph ( ) = 0.00 Θέλουμε να υπολογίσουμε την a-pror πιθανότητα: pd ( ) = pd ( H) ph ( ) + pd ( H) ph ( ) = (0.95)(0.00) + (0.05)(0.999) = 0.05 Χρησιμοποιώντας Bayes: 2 2 pd ( H) ph ( ) (0.95)(0.00) pd ( ) (0.05) ( D) = = = 0.09 < 2% ph Η παραπάνω ποσότητα λέγεται εκ των υστέρων (posteror) πιθανότητα γιατί υπολογίζεται μετά την παρατήρηση των δεδομένων. 2.2 Μέτρο της Πληροφορίας Κεντρικό ρόλο στη θεωρία της πληροφορίας παίζει η ίδια η έννοια της πληροφορίας. Σύμφωνα με τη θεωρία, η πληροφορία έχει ποσοτικό χαρακτήρα και συνεπώς διαφέρει σημαντικά απο το εννοιολογικό περιεχόμενο που της αποδίδουμε στην καθημερινή μας ζωή. Το πρόβλημα της 7

18 ποσοτικοποίησης της έννοιας της πληροφορίας και ο ορισμός ενός κατάλληλου μέτρου για τον υπολογισμό της απασχόλησε τον Hartley το 928. Ο Hartley κατά τη μελέτη των τηλεγραφικών επικοινωνιών διαπίστωσε ότι όσο πιο μεγάλη είναι η πιθανότητα εμφάνισης ενός γεγονότος, τόσο πιο μικρή είναι η αβεβαιότητα για το αν θα συμβεί το γεγονός. Στην περίπτωση που το γεγονός συμβεί, η πληροφορία που θα λάβουμε θα είναι μικρή. Από τα παραπάνω είναι φανερό ότι συνηθισμένα γεγονότα, όπως για παράδειγμα «Σήμερα ο ήλιος ανέτειλε» συνοδεύονται από μικρή ποσότητα πληροφορίας, ενώ σπάνια γεγονότα, όπως παραδείγματος χάρη «Σήμερα έγινε ολική έκλειψη ηλίου» συνοδεύονται από μεγάλη ποσότητα πληροφορίας. Αυτό συμβαίνει επειδή το δεύτερο γεγονός έχει μικρή πιθανότητα να συμβεί σε σχέση με το πρώτο, που είναι βέβαιο. Επομένως αν A είναι ένα τυχαίο γεγονός με πιθανότητα p( A ) και I( A ) είναι η συνάρτηση του μέτρου της πληροφορίας του A, τότε η I( A ) θα πρέπει να ικανοποιεί τις παρακάτω ιδιότητες:. Οταν η πιθανότητα να συμβεί ένα γεγονός είναι μονάδα, τότε η ποσότητα της μεταφερόμενης πληροφορίας είναι μηδενική. Αυτό σημαίνει ότι δεν χρειάζεται η διαβίβαση του μηνύματος, αφού το γεγονός είναι σίγουρο ότι θα συμβεί, δηλαδή: I A = 0 όταν P A = (2.) 2. Είναι γεγονός οτι η πληροφορία ενος γεγονότος είναι ένα μη αρνητικό μέγεθος, αφού ισχύει 0 P A, δηλαδή: I A 0 όταν 0 P A (2.2) 3. Όσο πιο απίθανο είναι να συμβεί ένα γεγονός, τόσο περισσότερη πληροφορία λαμβάνουμε από την πραγματοποίηση του, δηλαδή: I Α όταν PA I B P B (2.3) 4. Τέλος, αν τα γεγονότα Α και Β είναι ανεξάρτητα με αντίστοιχες πιθανότητες P A, P B, τότε το μέτρο της πληροφορίας του γεγονότος 8

19 εμφάνισης και των δύο επιμέρους γεγονότων είναι ίσο με το άθροισμα των δύο επιμέρους μέτρων πληροφορίας, δηλαδή: I AB = I Α + I B, όταν P AB = PA PB (2.4) Η παραπάνω σχέση αποδεικνύεται εύκολα παρακάτω: ( ) I = log P P AB b A B ( ) ( ) I = log P log P AB b A b B I = I + I AB Α B Ετσι, υιοθετούμε το παρακάτω ορισμό Ορισμός Πληροφορίας. Η πληροφορία I A την οποία αποκτούμε από την πραγματοποίηση ενός γεγονότος A, το οποίο έχει πιθανότητα P A, δίνεται από τον τύπο I A = log b PA log b ( ), όπου b > (2.5) P A Απόδειξη: Εστω, η συνεχής συνάρτηση f ( x): [ 0,] R + (2.6) Η συνεχής συνάρτηση (2.6) έχει εξ ορισμού τς τρείς πρώτες ιδιότητες (2.), (2.2) και (2.3). Θεωρούμε οτι η I( x ) είναι παραγωγίσιμη, οπότε για κάθε x ( 0,) έχουμε: x mδ x f m+ f m ' f( x+ δ ) f( x) m x m f ( x) = lm = lm = δ 0 δ δ 0 δ x mδ x mδ f + f m+ f f( m) f m f( m) m x m m + x = lm = lm = δ 0 δ x mδ / x 0 mδ x 9

20 = m c f '( m) x = x (2.7) Όπου m είναι ένα αυθαίρετα επιλεγμένο σημείο στο διάστημα ( 0, ) και c σταθερά. Στην παραπάνω ανάλυση έγινε χρήση της ιδιότητας f ( αb) = f( α) + f( b). Για να είναι η f ( x ) γνησίως φθίνουσα θα πρέπει σύμφωνα με το αποτέλεσμα της σχέσης (2.7) να ισχύει c < 0. Επίσης από την σχέση (2.7) προκύπτει οτι f ( x) = cln( x), c < 0 (2.8) Αν ορίσουμε τη σταθερά μορφή b= e /c, τότε η σχέση (2.8) μπορεί να γραφεί με τη ln( x) f ( x) = = log b( x) (2.9) ln( b) Επειδή c < 0, θα έχουμε b >. Ετσι καταλήξαμε στον προσδιορισμό της συνάρτησης του μέτρου πληροφορίας I( A) = f( x) = log ( p( A)), όπου b > b Οπως φαίνεται από την σχέση (2.5), η πληροφορία είναι ένα αδιάστατο μέγεθος, ενώ η βάση b του λογαρίθμου μπορεί να επιλεγεί ελεύθερα, αρκεί b>. Η μονάδα μέτρησης της πληροφορίας καθορίζεται ανάλογα με τη βάση υπολογισμού του λογαρίθμου. Έτσι, όταν χρησιμοποιείται ο φυσικός λογάριθμος (natural), τότε η μονάδα είναι το nat, ενώ οταν χρησιμοποιείται ο δεκαδικός λογάριθμος, τότε η μονάδα είναι το Hartley ή dect. Η επικρατέστερη μονάδα μέτρησης της πληροφορίας είναι το bt. Ο λόγος που επικράτησε έναντι των έταιρων μονάδων είναι η χρησιμοποίηση του δυαδικού συστήματος αρίθμησης στους υπολογιστές. Είναι εύκολο να μετασχηματίσουμε από τη μία λογαριθμική βάση στην άλλη μέσω της σχέσης log x = log x / log b (2.0) b a a 20

21 Για την περίπτωση του λογαρίθμου με βάση το 2 μπορεί να χρησιμοποιηθεί επίσης και η σχέση log2x = lnx / ln2, όπου ln ο λογάριθμος με βάση e. Εφόσον το ln2 = 0.693, μπορούμε να γράψουμε log2x = lnx / Στο παρακάτω σχήμα (Εικόνα 3) παρουσιάζεται η γραφική παράσταση του μέτρου πληροφορίας, για b = 2, συναρτήσει της πιθανότητας. Εικόνα 3. Γραφική παράσταση της συνάρτησης του μέτρου της πληροφορίας για b=2 Παράδειγμα 2.5: Θεωρούμε οτι έχουμε ένα αλφάβητο αποτελούμενο από 32 σύμβολα. Από αυτό το αλφάβητο σχηματίζουμε μηνύματα μήκους 2 συμβόλων. Να υπολογιστεί η ποσότητα πληροφορίας των μηνυμάτων σε μονάδες dect και bt. 2

22 Λύση: Με τη βοήθεια του παρακάτω τύπου γνωρίζουμε οτι: όπου: k ( ) I = log N = klog N 0 0 k : το μήκος μηνύματος συμβόλων από ένα αλφάβητο N : τα σύμβολα Εφαρμόζουμε τον τύπο, αρχικά για τον υπολογισμό της ποσότητας πληροφορίας σε dect I = klog0n = 2log0 2 = = 0, 602 dect Στη συνέχεια, εφαρμόζουμε τον τύπο για τον υπολογισμό της ποσότητας πληροφορίας σε bt ln 2 I = klog2n = 2log22 = 2 = 2bt ln Η μονάδα ποσότητας πληροφορίας: το bt Το Bt είναι η συντομογραφία των λέξεων bnary dgt και είναι η μικρότερη μονάδα αποθήκευσης πληροφορίας στα υπολογιστικά συστήματα. Ένα bt είναι ένα και μόνο ψηφίο σε έναν δυαδικό αριθμό, και είναι είτε είτε 0, αποκαλούμενο συχνά και ως "on" ή "off". Η αντιστοιχία μεταξύ των μονάδων αναφορικά με το ευρύτατα διαδεδομένο σύστημα μέτρησης που χρησιμοποιείται και που θα χρησιμοποιήσουμε και εδώ είναι το bt εκτός και αν αναφερθούμε κάπου πιο ειδικευμένα, σε κάποια άλλη μονάδα: hartley = 3.32 bts, nat =.44 bts 22

23 Σε πολλές περιπτώσεις το byte λαμβάνεται ως αναφορά, όπου ένα byte ισούται με οκτώ bts. Στο σημείο αυτό θα πρέπει να τονίσουμε οτι πρώτα από όλα μας ενδιαφέρουν οι πληροφορίες που παράγονται απο τον άνθρωπο. Αυτές οι πληροφορίες είναι αποθηκευμένες, παραποιημένες, μεταφερόμενες και αφομοιωμένες απο το ανθρώπινο μυαλό. Η Θεωρία της Πληροφορίας μας βοηθά να το κάνουμε αυτό αποτελεσματικά. 2.4 Μέση Πληροφορία ή Εντροπία Στην προηγούμενη ενότητα αναφερθήκαμε σε τυχαία γεγονότα για τα οποία ορίσαμε το μέτρο πληροφορίας. Δεδομένου οτι η εμφάνιση ενός συμβόλου της πηγής αποτελεί ένα τυχαίο γεγονός, ορίζουμε την πληροφορία συμβόλου και κατ επέκταση την πληροφορία λέξεων ή μηνυμάτων. Θεωρούμε μια πηγή πληροφορίας με αλφάβητο (,,..., ) ένα σύμβολο Α = α α α Ν. Κάθε 2 α n, όπου n =, 2,..., Ν, έχει πιθανότητα εμφάνισης p n. Επομένως από τον ορισμό της πληροφορίας προκύπτει: I( α n) = log(p n). Ως γνωστόν από τη θεωρία των πιθανοτήτων ισχύει: p [0,] και n N pn = (2.) n= Η κατανομή των πιθανοτήτων των συμβόλων του αλφαβήτου Α περιγράφεται απο το σύνολο P = { p, p2,... p }. Ετσι, η πηγή πληροφορίας περιγράφεται A και αναπαρίσταται από το ζεύγος (Α, P A ). N Θα ήταν ενδιαφέρον να γνωρίζουμε, εκτός απο την πληροφορία του κάθε συμβόλου χωριστά, τη μέση πληροφορία ανά σύμβολο που μας παρέχει η 23

24 έξοδος της πηγής. Με άλλα λόγια, ζητάμε ένα μέγεθος πληροφορίας που να σχετίζεται με την πηγή συνολικά, συνεπώς και με το αλφάβητο της. Για το λόγο αυτό εισάγεται η έννοια της εντροπίας πηγής. Η εντροπία είναι θεμελιώδης έννοια για τη θεωρία της πληροφορίας που προτάθηκε από τον Shannon το 948. Ορισμός Εντροπίας ή μέσης πληροφορίας ανά σύμβολο πληροφορίας. Για μια πηγή πληροφορίας με αλφάβητο {,,..., } Α= α α α Ν η εντροπία ή 2 μέση πληροφορία του Α, όπως αλλιώς ονομάζεται, είναι ο μέσος όρος της αυτοπληροφορίας των συμβόλων στην έξοδο και ορίζεται ως: ( ) (,,..., ) Η Α = Η α α α Ν = 2 N p( an)log p( an) (2.2) Αν θέλουμε να χρησιμοποιήσουμε την ορολογία των πιθανοτήτων, για μια τυχαία μεταβλητή x με δειγματοχώρο X = { x, x 2,., x N } και με συνάρτηση μάζας πιθανότητας p(x n ), η μέση πληροφορία που κερδίζουμε ανά σύμβολο ή η συνάρτηση αβεβαιότητας ή η εντροπία του Χ, όπως αλλιώς ονομάζεται, είναι Η (x) = N n= n= p( xn)log p( xn) (2.3) Οι μονάδες μέτρησης της εντροπίας εξαρτώνται από τη βάση του λογαρίθμου που χρησιμοποιείται στον ορισμό. Αν η βάση του λογαρίθμου είναι το 2, τότε οι μονάδες λέγονται bts. Αν η βάση του λογαρίθμου είναι το 0, τότε λέγονται dgts. Αν η βάση του λογαρίθμου είναι το e, τότε λέγονται nats και συνήθως τις χρησιμοποιούμε για συνεχείς τυχαίες μεταβλητές. Συνήθως προτιμάται το 2 για βάση του λογαρίθμου. Η συνάρτηση που περιγράφει την εντροπία έχει τις παρακάτω βασικές ιδιότητες:. Η εντροπία είναι το μέτρο της μέσης αβεβαιότητας μιας τυχαίας μεταβλητής. 2. Ορίζει τον μέσο αριθμό bts που απαιτούνται για να περιγράψουν την τυχαία μεταβλητή. 24

25 3. Η εντροπία μιας τυχαίας μεταβλητής εξαρτάται μόνο απο τις πιθανότητες που χαρακτηρίζουν την τυχαία μεταβλητή και όχι απο τις πιθανές τιμές της τυχαίας μεταβλητής. 4. Θεωρούμε ότι 0log ( 0 ) = 0, αφού lm( xlog x) 0. Επομένως, δεν x 0 αλλάζουν την εντροπία οι όροι με μηδενική πιθανότητα. 5. Η εντροπία σύμφωνα με τον παραπάνω ορισμό μπορεί να θεωρηθεί συνάρτηση της τυχαίας μεταβλητής. Αυτή η διαπίστωση μας οδηγεί σε έναν δεύτερο ορισμό της εντροπίας, ο οποίος είναι ο παρακάτω: Ο ορισμός της αναμενόμενης τιμής της συνάρτησης τυχαίας μεταβλητής F( x) = log είναι EF [ ( x)] = Fa ( ) px ( = a) p ( x ). Επομένως ο δεύτερος ορισμός της εντροπίας που προκύπτει δίνεται απο τον παρακάτω τύπο: H( x) = E{log } p( x) Συχνά, στη θεωρία της πληροφορίας εμφανίζεται η εντροπία δυαδικής πηγής. Η δυαδική πηγή πληροφορίας έχει αλφάβητο που αποτελείται από δύο μόνο σύμβολα π.χ. το 0 και το. Προφανώς, αν p είναι η πιθανότητα εμφάνισης του συμβόλου 0, τότε η πιθανότητα εμφάνισης του συμβόλου θα είναι ίση με ( p). Συνεπώς η εντροπία της δυαδικής πηγής, η οποία συμβολίζεται με H b (p), θα είναι ίση με: b ( ) log( ) ( ) log ( ) H p = p p p p (2.4) Η εντροπία δυαδικής πηγής H ( p) είναι συνάρτηση μόνο της πιθανότητας p b του ενός συμβόλου και λέγεται συνάρτηση Shannon. Όπως φαίνεται και από το παρακάτω σχήμα (Εικόνα 4), η συνάρτηση Shannon είναι συμμετρική και παίρνει τη μέγιστη τιμή της ( bt / symbol) όταν τα δύο σύμβολα είναι ισοπίθανα (p = 0.5). 25

26 Εικόνα 4. Γραφική παράσταση της συνάρτησης Shannon. Από την παραπάνω σχέση και με τη βοήθεια της γραφικής παράστασης παρατηρούμε τα εξής:. Όταν p = 0, είναι H(X) = 0. Αυτό προκύπτει από τη σχέση lm x log x 0 2 x = 0 Για την τιμή αυτή της πιθανότητας, η μεταβλητή παύει να είναι τυχαία και η αβεβαιότητα μηδενίζεται. 2. Οταν p =, είναι H(X) = 0. Για την τιμή αυτή της πιθανότητας, η μεταβλητή παύει να είναι τυχαία και η αβεβαιότητα μηδενίζεται. 3. Η εντροπία H(X) λαμβάνει τη μέγιστη τιμή της H max =bt, όταν po = p =, δηλαδή όταν τα σύμβολα και 0 είναι ισοπίθανα Υπάρχει συμμετρία γύρω από το p = Είναι μία κοίλη συνάρτηση της πιθανότητας 26

27 Παράδειγμα 2.6: Έστω μία πηγή Χ με τέσσερα σύμβολα Χ = { Α, Β, Γ, Δ } και κατανομή πιθανοτήτων P(X) = { 2, 4, 8, }. Να βρεθεί η μέση πληροφορία ή 8 εντροπία της πηγής αυτής. Λύση: Η εντροπία της πηγής δίνεται απο τον τύπο Η (x) = N n= p( x )log p( x ) n n Αντικαθιστώντας στον παραπάνω τύπο η εντροπία της πηγής ισούται με H( X ) = 2 log 2-4 log 4-8 log 8-8 log 8 = 7 4 bts 2.4. Ιδιότητες της μέσης ποσότητας πληροφορίας ή εντροπίας Οι ιδιότητες της μέσης πληροφορίας ή εντροπίας, που έχουν τεθεί και σαν απαιτήσεις κατά τον ορισμό της, είναι οι παρακάτω:. Η μέση πληροφορία Η(x) είναι συνεχής συνάρτηση των πιθανοτήτων p(x n ), όπου n =, 2,.., N, όπως φαίνεται στη γραφική παράσταση της προηγούμενης ενότητας (Εικόνα 4). 2. Η μέση πληροφορία Η(x) είναι συμμετρική συνάρτηση των πιθανοτήτων p(x n ), όπου n =, 2,..,. Έτσι, διαφορετικές τυχαίες μεταβλητές με κατανομές πιθανοτήτων που προέρχονται από μεταθέσεις της ίδιας κατανομής πιθανοτήτων έχουν ίση εντροπία. Σε ορισμένες περιπτώσεις, ακόμα και διαφορετικές κατανομές πιθανοτήτων οδηγούν στην ίδια μέση ποσότητα πληροφορίας. 27

28 3. Η εντροπία Η(x) παίρνει τη μέγιστη τιμή, η οποία είναι H(x) = logn, όταν όλα τα ενδεχόμενα είναι ισοπίθανα, δηλαδή όταν p(x ) = p(x 2) =.. = p(x N) =. Τότε, η αβεβαιότητα είναι η N μέγιστη δυνατή και κατά συνέπεια, η επιλογή ενός μηνύματος προσφέρει τη μέγιστη δυνατή μέση πληροφορία. 4. Αν θεωρήσουμε ότι b και α είναι δύο διαφορετικές βάσεις στο λογάριθμο του ορισμού της εντροπίας, τότε θα ισχύει H ( x) = (log a) H ( x). Δηλαδή πολλαπλασιάζοντας με τον κατάλληλο b b a παράγοντα, μπορεί να αλλάξει η βάση της εντροπίας. 5. Η εντροπία H( x ) είναι μια μη αρνητική ποσότητα, δηλαδή H( x) 0. Αυτό μπορούμε να το αποδείξουμε αν λάβουμε υπόψιν ότι η πιθανότητα p(x n ) παίρνει τιμές στο διάστημα [0,]. Επομένως, δεν μπορεί να είναι αρνητική. Επίσης ο λογάριθμος της είναι μικρότερος ή ίσος του μηδενός. Άρα, το γινόμενο p( xn)log e p( x n) είναι μικρότερο ή ίσο του μηδενός. Επομένως η εντροπία είναι μεγαλύτερη ή ίση του μηδενός. 6. Για μια τυχαία μεταβλητή x, ισχύει H( x) logn. Η ισότητα ισχύει όπως είδαμε στην ιδιότητα 3, αν και μόνο αν αποδείξουμε αυτή την ιδιότητα. ( ) px = για όλα τα. Ας N Απόδειξη: Για κάθε θετικό αριθμό γνωρίζουμε οτι ισχύει ln x x. Χρησιμοποιώντας την παραπάνω ανισότητα έχουμε: N H( x) lnn = p( x )(ln p( x )) p( x )(ln N) n n n n= n= N 28

29 = N n= px ( n)ln Np( x ) n = N n= px ( n)(ln ) Np( x ) N N p( xn ) n= N = 0 n= n Η ισότητα ισχύει όταν Np( x ) =, για όλα τα n n 7. Ισχύει η αρχή της προσθετικότητας H ( X, Y ) = H( X ) + H ( Y) (2.5) Με τον όρο προσθετικότητα εννοούμε οτι αν έχουμε δύο αναξάρτητα γεγονότα που το πρώτο συμβαίνει με πιθανότητα p x και το δεύτερο με πιθανότητα p y, τότε η συνολική πληροφορία που μας δίνουν τα δύο γεγονότα είναι το άθροισμα των επιμέρους πληροφοριών. Η σχέση H (X, Y) = H(X) + H(Y) αποδεικνύεται με τη βοήθεια του ορισμού της μέσης πληροφορίας. Απόδειξη: Απο τον ορισμό της εντροπίας έχουμε: Η( Χ, Υ ) = - = - x X, y Y x X, y Y p p log p p x y x y p p [log p + log p ] x y x y = - p [ p log p ] p [ p log p ] y x x x y y y Y x X x X y Y = Η( Χ ) + Η( Υ ) 29

30 2.5 Από Κοινού Εντροπία, Υπο Συνθήκη Εντροπία και Αμοιβαία Πληροφορία Η εντροπία μπορεί να χρησιμοποιηθεί και για τον ορισμό άλλων μετρήσεων πληροφορίας, οι οποίες αναδεικνύουν τις σχέσεις μεταξύ δύο τυχαίων μεταβλητών X και Y. Έχουμε λοιπόν:. Την από κοινού ή συνδετική εντροπία (jont entropy), η οποία μετράει τη συνολική πληροφορία των Χ και Y. 2. Την υπό συνθήκη εντροπία (condtonal entropy), η οποία μετράει την πληροφορία του X, όταν η Y είναι γνωστή και αντίστροφα. 3. Την αμοιβαία εντροπία (mutual entropy), η οποία μετράει τη σχέση των X και Y, υπό την έννοια ότι μας δείχνει πόσο μειώνεται η πληροφορία του X όταν μαθαίνουμε το Y και αντιστρόφως Απο Κοινού Εντροπία Θεωρούμε δύο πηγές πληροφορίας, την (X, P X ) με αλφάβητο Χ = {x, x 2,, x N} και κατανομή πιθανοτήτων PX = { px, px2,..., pxn} και την ( Y, P Y ) με αλφάβητο Y = {y, y 2,, y M} και κατανομή πιθανοτήτων P = { p, p,..., p }, αντίστοιχα. Οι δύο πηγές συνθέτουν μια σύνθετη πηγή Y y y2 ym ( XY, P XY ), της οποίας το αλφάβητο προκύπτει από το καρτεσιανό γινόμενο XY = X Y = {( x, y ) : x X, y Y}. Επομένως, η συνδετική εντροπία ή από κοινού εντροπία των δύο πηγών είναι η εντροπία της σύνθετης πηγής ( XY, P XY ). Ετσι, η συνδετική εντροπία ή από κοινού εντροπία της σύνθετης πηγής ( XY, P XY ) δίνεται από τη σχέση: N M ΗΧΥ (, ) = px (, y)log( px (, y)) (2.6) = j= j j 30

31 Η σχέση (2.6) επεξηγείται ως εξής: η αβεβαιότητα που έχουμε για την τιμή των μεταβλητών x και y είναι ίση με το άθροισμα της αβεβαιότητας για το x συν την αβεβαιότητα για το y, αν και μόνο αν οι μεταβλητές x και y είναι στατιστικά ανεξάρτητες. Αν οι μεταβλητές x και y είναι ανεξάρτητες, τότε από την από κοινού πιθανότητα έχουμε p( x, y ) = p( x ) p( y ) j j Επομένως χρησιμοποιώντας τη σχέση (2.2), έχουμε = N M H( X, Y) p( x, y )log p( x, y ) = j= j j N M = px ( ) py ( )[log px ( ) + log py ( )] = j= j j N M M N = px ( )log px ( ) py ( ) py ( )log py ( ) px ( ) j j j = j= j= = = H( X) + H( Y) Μια βασική ιδιότητα της συνδετικής εντροπίας δύο πηγών είναι οτι δεν μπορεί να υπερβεί το άθροισμα των εντροπιών των δύο επιμέρους πηγών. Επομένως, η μέση πληροφορία της σύνθετης πηγής είναι μικρότερη ή το πολύ ίση με το άθροισμα των μέσων πληροφοριών των απλών πηγών πληροφορίας, δηλαδή : H( X, Y) H( X) + H( Y) (2.7) Οι έννοιες της σύνθετης πηγής και συνδετικής εντροπίας μπορούν να επεκταθούν και για περισσότερες απο δύο πηγές. Έτσι, αν έχουμε Κ απλές πηγές πληροφορίας (X, P X),(X 2, P X2),...,(X K, P XK ), τότε η συνδετική εντροπία δίνεται από τη σχέση: N N2 N 2 K = 2 K 2 K (2.8) = 2= 2 K = H( XX... X )... px (, x,... x )log( px (, x,..., x )) 3

32 Στην παραπάνω σχέση (2.8) με N ( k =,2,... K) δηλώνεται το πλήθος των k συμβόλων του αλφάβητου X k H( X, Y) = p( x, y )log p( x, y ) N M = j= N M = j= j j = p( x ) p( y )[log p( x ) + log p( y )] j j Η σχέση (2.7) μπορεί να γενικευθεί για την περίπτωση Κ απλών πηγών, δηλαδή: H( X X... X ) < H(X ) + H(X ) H(X ) (2.9) 2 K 2 K Υπό Συνθήκη Εντροπία Θεωρούμε δύο πηγές πληροφορίας, την (X, P X ) με αλφάβητο Χ = {x, x 2,, x N} και κατανομή πιθανοτήτων P = { p, p 2,..., p } και την X x x xn ( Y, P Y ) με αλφάβητο Y = {y, y 2,, y M} και κατανομή πιθανοτήτων P = { p, p,..., p }, αντίστοιχα. Υποθέτουμε ότι γνωρίζουμε εκ των Y y y2 ym προτέρων πως η πηγή ( Y, P Y ) παράγει το σύμβολο y j. Με αυτή την προϋπόθεση η πιθανότητα εμφάνισης του συμβόλου x στην έξοδο της πηγής (X, P X ) δίνεται από τη παρακάτω σχέση : p( x, yj) px ( / yj) = (2.20) p( y ) Η p( x / y ) εκφράζει την πιθανότητα εμφάνισης του ζεύγους ( x, y ) στην j έξοδο της σύνθετης πηγής ( XY, P XY ) δεδομένου ότι η απλή πηγή ( Y, PY ) παράγει το σύμβολο y j. j j 32

33 Η μέση τιμή της υπο συνθήκη ποσότητας πληροφορίας της τυχαίας μεταβλητής X, δεδομένου του αποτελέσματος σχέση: y j δίνεται από τη παρακάτω N H( X y ) p( x / y )log( p( x / y )) = (2.2) j j j = Η μέση τιμή του H( X y j ) ως προς όλα τα σύμβολα y j λέγεται υπό συνθήκη εντροπία της σύνθετης πηγής ( XY, P XY ), όταν είναι γνωστή η έξοδος της απλής πηγής ( Y, P Y ) και δίνεται από τη παρακάτω σχέση M N M (2.22) H( X y ) = H( X y ) p( y ) = p( x, y )log( p( x / y )) j j j j j j= = j= Η υπό συνθήκη εντροπία της σύνθετης πηγής όταν είναι γνωστή η έξοδος της απλής πηγής (X, P X ) δίνεται από την παρακάτω σχέση: N N M (2.23) HY ( X) = HY ( x) px ( ) = px (, y)log( py ( / x)) j j = = j= Παρακάτω θα δούμε οτι η από κοινού και η υπό συνθήκη εντροπία συνδέονται μεταξύ τους. Το θεώρημα που μας δίνει αυτή τη σύνδεση λέγεται κανόνας της αλυσίδας και δίνεται από τη σχέση: H( X, Y) = H( XY) H( Y) (2.24) Η σχέση (2.24) αποδεικνύεται παρακάτω Απόδειξη: Σύμφωνα με τον ορισμό της Η( Χ, Υ ), ισχύει: = N M H( X, Y) p( x, y )log( p( x, y )) = j= j j N M p( x, y ) j = px (, yj)log = j= py ( j ) 33

34 N M N M = px (, y)log( px (, y)) + px (, y)log( py ( )) j j j j = j= = j= M H( XY) p( y )log( p( y )) = + j= j j = H( XY) H( Y) Επίσης, ισχύει η σχέση: HY ( X) = H( XY) H( X) (2.25) Παράδειγμα 2.7: Θεωρούμε δύο δυαδικές πηγές πληροφορίας X = {A, B} και y = { Γ, Δ} αντίστοιχα. Δίνονται οι τιμές των πιθανοτήτων p(a) = 0.2, p ( Α, Δ ) = 0.5 και p ( Γ ) = 0.3. Να βρεθούν οι τιμές:. της εντροπίας της κάθε πηγής χωριστά. 2. της σύνθετης πηγής ΧΥ. 3. των υπό συνθήκη εντροπιών H(X / Y) και H(Y / X). Λύση:. Αρχικά υπολογίζουμε τις τιμές όλων των περιθωριακών πιθανοτήτων των συμβόλων των δύο πηγών. Αυτές προκύπτουν βάσει της ιδιότητας ότι το άθροισμα των πιθανοτήτων όλων των συμβόλων μιας πηγής είναι ίσο με τη μονάδα. Άρα, έχουμε: p(a) + p(b) = p(b) = p(b) = 0.8 p(γ) + p(δ) = p(δ) = 0.3 p(δ) = 0.7 Στη συνέχεια, υπολογίζουμε τις από κοινού πιθανότητες χρησιμοποιώντας περιθωριακές. Έχουμε: p(α,δ) + p(α,γ) = p(a) p(α,γ) = p(a,γ) =

35 p(a,γ) + p(β,γ) = p(γ) p(b,γ) = p(β,γ) = 0.25 p(α,δ) + p(β,δ) = p(δ) p(β,δ) = p(β,δ) = 0.55 Οι παραπάνω τιμές των κοινών πιθανοτήτων συνθέτουν τον πίνακα P XY p( ΑΓ, ) p(α,δ) = p(β,γ) p(β,δ) = Στον παραπάνω πίνακα παρατηρούμε οτι το άθροισμα ανά στήλη ή γραμμή δίνουν τις περιθωριακές πιθανότητες των συμβόλων. Στη συνέχεια, μπορούμε να υπολογίσουμε τις υπό συνθήκη πιθανότητες βάσει της γνωστής σχέσης p(a/b) = p(a,b) / p(b). Συνεπώς, οι υπό συνθήκη πιθανότητες είναι: p(α,γ) = p(α,γ) / p(γ) = 0.05 / 0.3 = p(α,δ) = p(α,δ) / p(δ) = 0.5 / 0.7= p(β,γ) = p(β,γ) / p(γ) = 0.25 / 0.3 = p(β,δ) = p(β,δ) / p(δ) = 0.55 / 0.7= p(γ,α) = p(α,γ) / p(a) = 0.05 / 0.2 = 0.25 p(γ,β) = p(β,γ) / p(b) = 0.25 / 0.8 = p(δ,α) = p(α,δ) / p(a) = 0.5 / 0.2 = 0.75 p(δ,β) = p(β,δ) / p(b) = 0.55 / 0.8 = Οι υπό συνθήκη πιθανότητες συνθέτουν τους πίνακες: P X/ Y p( ΑΓ, ) p(β,γ) = p(α,δ) p(β,δ) = P Υ / Χ p( ΓΑ, ) p(δ,α) = p(γ,β) p(δ,β) = Παρατηρούμε ότι στους δύο παραπάνω πίνακες τα αθροίσματα των στοιχείων τους ανά γραμμή είναι πάντα ίσα με τη μονάδα. 35

36 Η εντροπία καθεμιάς απλής πηγής υπολογίζεται σύμφωνα με τη παρακάτω σχέση ως εξής: Η( Χ ) = p( x)log( p( x)) = 0.2log(0.2) 0.8log(0.8) = bts / symbol x { A, B} Η ( Y ) = p( y)log( p( y)) = 0.3log(0.3) 0.7 log(0.7) = 0.88 bts / symbol y ΓΔ {, } 2. Η εντροπία της σύνθετης πηγής ΧΥ υπολογίζεται απο τη σχέση της συνδετικής εντροπίας, δηλαδή: ΗΧ ( Y) = p( x, y)log( p( x, y)) = x { A, B} y { Γ, Δ} = log(0.05) 0.5log(0.5) 0.25log(0.25) 0.55log(0.55) =.60 bts / symbol Παρατηρούμε ότι πράγματι ισχύει η ταυτοανισότητα: H( XY) H( X) + H( Y) Τέλος υπολογίζουμε τις υπό συνθήκη εντροπίες: ΗΧ ( / Y) = p( x, y)log( p( x/ y)) = x { A, B} y { Γ, Δ} = log(0.667) 0.5log(0.243) 0.25log(0.8333) log(0.7857) = bts / symbol ΗΥ ( / Χ ) = pxy (, )log( py ( / x)) = x { A, B} y { Γ, Δ} = log(0.25) 0.5log(0.75) 0.25log(0.325) 36

37 0.55log(0.6875) = bts / symbol Φυσικά θα καταλήγαμε στο ίδιο αποτέλεσμα συντομότερα, χωρίς να απαιτηθεί ο υπολογισμός των υπό συνθήκη πιθανοτήτων, αν χρησιμοποιούσαμε απευθείας τις σχέσεις Αμοιβαία πληροφορία Ένα σημαντικό μέγεθος που ορίζεται στα πλαίσια της θεωρίας της πληροφορίας είναι η αμοιβαία πληροφορία. Αν X = { x, x2,... x N } και = {,,... } είναι δύο πηγές, με κατανομές πιθανοτήτων P X και Y y y2 y M αντίστοιχα, τότε η αμοιβαία πληροφορία των δύο πηγών δίνεται από την παρακάτω σχέση: P Y I( X; Y) = H( X) H( X Y) (2.26) Απόδειξη: Σύμφωνα με τον ορισμό της Ι (Χ;Υ), ισχύει N M I( XY ; ) Ix (, y) px (, y) = = j= N M = j= j j = [log( px ( / y)) log px ( )] px (, y) j j N M N M = px (, y)log( px ( / y)) px (, y)log( px ( )) j j j = j= = j= N = H( X Y) + p( x)log( p( x)) = = H( X Y) + H( X) Η συνάρτηση της αμοιβαίας πληροφορίας έχει τις παρακάτω ιδιότητες: Είναι συμμετρική ως προς Χ και Υ, δηλαδή 37

38 I( XY ; ) = IYX ( ; ) (2.27) Για να αποδείξουμε την παραπάνω ιδιότητα αρκεί να αντικαταστήσουμε στον ορισμό της αμοιβαίας πληροφορίας την υπό συνθήκη εντροπία. Απόδειξη: I( X; Y) = H( X) H( X Y) = H( X) H( XY) H( Y)) = H( X) + H( Y) H( XY) (2.28) Από την παραπάνω σχέση είναι φανερό οτι η αμοιβαία πληροφορία είναι συμμετρική I( XY ; ) = IYX ( ; ) Είναι μη αρνητική, δηλαδή: I( XY ; ) 0 (2.29) Η αμοιβαία πληροφορία μιας τυχαίας μεταβλητής με τον εαυτό της είναι η εντροπία της τυχαίας μεταβλητής. Γι αυτό το λόγο, η εντροπία μιας τυχαίας μεταβλητής συχνά λέγεται και αυτοπληροφορία. I( X; X) = H( X) H( X X) = H( X) (2.30) Εναλλακτικά, η σχέση της αμοιβαίας πληροφορίας με τις από κοινού και υπό συνθήκες εντροπίες θα μπορούσε να αναπαρασταθεί με το διάγραμμα Venn του σχήματος (Εικόνα 5): 38

39 Εικόνα 5. Διάγραμμα Venn για τη σχέση μεταξύ εντροπίας και αμοιβαίας πληροφορίας. Παράδειγμα 2.8: Να υπολογιστεί η αμοιβαία πληροφορία μεταξύ των πηγών Χ και Υ του προηγούμενου παραδείγματος. Λύση: Από τον ορισμό της αμοιβαίας πληροφορίας γνωρίζουμε ότι: I ( X;Y ) = H( X ) H( X Y ) = = bts / symbol ή ισοδύναμα: I ( X;Y ) = Η( Υ) Η( Υ Χ ) = = bts / symbol 39

40 Ασκήσεις:. Μια πηγή πληροφορίας παράγει σύμβολα, τα οποία ανήκουν στο αλφάβητο S = {, a β, γδεζ,,,, η}. Οι πιθανότητες των συμβόλων αυτών είναι /32, /6, /8, /8, /8, /2 και /32 αντίστοιχα..να προσδιορίσετε το σύμβολο της πηγής με το πιο χαμηλό πληροφοριακό περιεχόμενο. 2.Τα σύμβολα της πηγής με το πιο υψηλό πληροφοριακό περιεχόμενο. 2. Μια πηγή πληροφορίας παράγει σύμβολα, τα οποία ανήκουν στο αλφάβητο S = {, τ υϕχψω,,,, }. Οι πιθανότητες των συμβόλων αυτών είναι /4, /4, /8, /8, /8 και /8 αντίστοιχα. Να προσδιορίσετε το πληροφορικό περιεχόμενο του συμβόλου τ και το πληροφορικό περιεχόμενο του συμβόλου ω. 3. Θεωρούμε μια δυαδική πηγή με δύο σύμβολα το 0 και το. Η πιθανότητα εκπομπής του 0 είναι ίση με 0.7. Να βρεθεί η πληροφορία του κάθε συμβόλου εκπομπής καθώς και η εντροπία της πηγής. 4. Πόση πληροφορία περιέχεται στον αριθμό κυκλοφορίας αυτοκινήτου της μορφής ΓΓΓαααα, όπου Γ είναι κεφαλαίο γράμμα και α ο αριθμός; (Θεωρούμε ελληνικές πινακίδες κυκλοφορίας) 5. Σ ένα κανάλι στέλνουμε σήματα 0 ή με ίσες πιθανότητες αποστολής του 0 ή. Ποια είναι η μέση πληροφορία ή εντροπία του ενός των ψηφίων λ.χ του. 6.Έστω ότι έχουμε το αλφάβητο με τις αντίστοιχες πιθανότητες P(A) = 0.5, P(B) = 0.4, P ( Γ ) = 0. Ποια είναι η μέτρηση της πληροφορίας στο δέκτη οταν παίρνουμε την πληροφορία (ΑΑΒ). Ποια είναι η μέση πληροφορία της πηγής; Δίνεται η πληροφορία υπάρξεως αυτής της πληροφορίας είναι P(AAB) = P(A) P(A) P ( Γ ) = 0. 40

41 7. Θεωρούμε πηγή που εκπέμπει έξι σύμβολα με τις παρακάτω πιθανότητες P(A) = ½, P(B) = ¼, P(Γ) = /8, P(Δ) = /6, P(E) = /32, P(Ξ) = /32 Να βρεθεί η μέση πληροφορία ή εντροπία της πηγής 8. Έστω ένα σήμα με δυαδικά ψηφία "0" και "", με πιθανότητες p(0) = /8 και p() = 7/8. Να βρεθεί η ποσότητα πληροφορίας του κάθε ψηφίου. 9. Έστω ότι υπάρχουν Μ ισοπίθανα και ανεξάρτητα μηνύματα και Ν είναι ακέραιος τέτοιος ώστε M = 2 N. Να βρεθεί η πληροφορία κάθε μηνύματος 0.Έστω τα μηνύματα Α, Β, Γ, Δ με αντίστοιχες πιθανότητες /2, /4, /8, /8. Να βρεθεί η πληροφορία του μηνύματος X = ΒΔΑ, θεωρώντας ότι τα μηνύματα είναι ανεξάρτητα..έστω τα μηνύματα Α, Β, Γ, Δ με αντίστοιχες πιθανότητες /2, /4, /8, /8. Να υπολογιστεί η εντροπία Η για τον τετραδικό κώδικα καθώς και η εντροπία στην περίπτωση, που τα τέσσερα μηνύματα είναι ισοπίθανα. 2.Μια πηγή παράγει 8 διαφορετικά σύμβολα, τα Α, ΒΓΔΕΖΗΘ,,,,,, με πιθανότητες,,,,,,, αντίστοιχα. Ζητούνται τα ακόλουθα: Ποιο γράμμα (σύμβολο) μεταφέρει τη μεγαλύτερη ποσότητα πληροφορίας και ποια τη μικρότερη; 2. Αν σκεφτώ μια λέξη που πρέπει να μαντέψετε και σας πω το πρώτο γράμμα της, ποιο θα είναι μεγαλύτερης χρησιμότητας το Β ή το Ζ; 3. Έστω δύο δυαδικές πηγές Α και Β. Υποθέτουμε ότι 0 < pa(0) < pb(0) < 0.5. Ποια δυαδική πηγή έχει τη μεγαλύτερη εντροπία; (η άσκηση μπορεί να λυθεί είτε υπολογιστικά είτε απλούστερα μέσω γραφικής παράστασης γνωστής συνάρτησης) 4. ) Έστω μια τριαδική πηγή A = {0,, 2}. Υπολογίστε τις πιθανότητες p(0), p() και p(2), έτσι ώστε να μεγιστοποιείται η εντροπία της πηγής Α. 2) Έστω μια πηγή Χ με εντροπία H( X ) =.52. Υπολογίστε την εντροπία της τρίτης επέκτασης της. 4

42 5. Ενα ισοπίθανο κέρμα ρίπτεται μέχρι το πρώτο κεφάλι εμφανιστεί. Εστω X συμβολίζει τον αριθμό των ρίψεων που χρειάστηκαν. Οι ακόλουθες εκφράσεις ίσως να φανούν χρήσιμες: n= r n r = r n= n r nr = ( r) α) Βρείτε την εντροπία του H( X ) σε bts β) Η τυχαία μεταβλητή Χ έστω οτι ακολουθεί την προηγούμενη κατανομή. Βρείτε μια σειρά απο ερωτήσεις με ναι και όχι της μορφής : Το Χ ανήκει στο σύμβολο S;. Να συγκριθεί η εντροπία H( X ) με τον αριθμό των ερωτήσεων που απαιτούνται προκειμένου να οριστεί το Χ Εστω ένα παιχνίδι που μεταξύ δύο ομάδων νικήτρια είναι εκείνη η ομάδα που συμπληρώνει 4 νίκες. Αρα μπορεί να γίνουν το πολύ 7 παιχνίδια μέχρι να βγεί νικητής. Εστω Χ είναι η μεταβλητή που αναπαριστά τη πιθανή διαδοχή των παιχνιδιών. Δηλ. Αν Α και Β είναι οι ομάδες τότε πιθανές τιμές των ομάδων είναι ΑΑΑΑΒΑΒΑΒΑΒ κ.ο.κ. Επίσης έστω Υ ο αριθμός των παιχνιδιών με εύρος παιχνιδιών 4 και 7. Αν οι ομάδες Α και Β έχουν την ίδια πιθανότητα νίκης και τα παιχνίδια είναι ανεξάρτητα βρείτε: α) H ( Χ ), HY ( ) β) H( Χ, Y), HY (, X ) 42

43 Κεφάλαιο 3. Πηγές Πληροφορίας Σκοπός του κεφαλαίου αυτού είναι να περιγραφούν οι διακριτές πηγές πληροφορίας με και χωρίς μνήμη, καθώς επίσης και οι τεχνικές κωδικοποίησης των πηγών αυτών για την όσο το δυνατόν πιο συμπυκνωμένη αναπαράσταση της πληροφορίας. 3. Διακριτές πηγές πληροφορίας χωρίς μνήμη Με τον όρο διακριτή πηγή πληροφορίας εννοούμε το τμήμα του συστήματος επικοινωνίας που παράγει πληροφορία με τη μορφή συμβόλων ή γραμμάτων. Το σύνολο των συμβόλων που χρησιμοποιεί η πηγή (π.χ. γράμματα, αριθμοί, διαγράμματα, χάρτες) ονομάζεται αλφάβητο πηγής. Τα σύμβολα δημιουργούνται από την πηγή σε διακριτές χρονικές στιγμές. Για τον παραπάνω λόγο και λόγω του πεπερασμένου πλήθους των συμβόλων η πηγή ονομάζεται διακριτή. Μια διατεταγμένη ακολουθία συμβόλων ονομάζεται λέξη, ενώ μία διατεταγμένη ακολουθία λέξεων ονομάζεται μήνυμα. Η επιλογή ενός συμβόλου κατά τη δημιουργία μηνυμάτων από τη πηγή λαμβάνει χώρα με κάποια πιθανότητα. Θεωρούμε πως οι πιθανότητες επιλογής των συμβόλων παραμένουν αμετάβλητες με το πέρασμα του χρόνου, καθώς επίσης και πως η επιλογή ενός συμβόλου δεν εξαρτάται από τα προηγούμενα σύμβολα του μηνύματος. Σύμφωνα με τα παραπάνω, θα λέμε πως μία διακριτή πηγή πληροφορίας δεν έχει μνήμη, όταν τα σύμβολα που εκπέμπει είναι ανεξάρτητα, δηλαδή όταν η πιθανότητα εκπομπής ενός συμβόλου δεν εξαρτάται από ποιά σύμβολα εξέπεμψε προηγουμένως. Μια τέτοια πηγή περιγράφεται τέλεια από το πλήθος n των διακριτών συμβόλων που μπορεί να εκπέμψει (αλφάβητο), από την πιθανότητα p που έχει το καθένα από τα σύμβολα αυτά να εκπεμφθεί και από τη διάρκεια t του καθενός (αφού δεν είναι απαραίτητο ούτε να είναι ισοπίθανα ούτε να έχουν την ίδια διάρκεια). 43

Χρήστος Ξενάκης. Πανεπιστήμιο Πειραιώς, Τμήμα Ψηφιακών Συστημάτων

Χρήστος Ξενάκης. Πανεπιστήμιο Πειραιώς, Τμήμα Ψηφιακών Συστημάτων ΘΕΩΡΙΑ ΠΛΗΡΟΦΟΡΙΑΣ Κεφάλαιο 2 : Πληροφορία και Εντροπία Χρήστος Ξενάκης Πανεπιστήμιο Πειραιώς, Τμήμα Ψηφιακών Συστημάτων Περιεχόμενα Πληροφορία Μέτρο πληροφορίας Μέση πληροφορία ή Εντροπία Από κοινού εντροπία

Διαβάστε περισσότερα

Τηλεπικοινωνιακά Συστήματα ΙΙ

Τηλεπικοινωνιακά Συστήματα ΙΙ Τηλεπικοινωνιακά Συστήματα ΙΙ Διάλεξη 11: Κωδικοποίηση Πηγής Δρ. Μιχάλης Παρασκευάς Επίκουρος Καθηγητής 1 Ατζέντα 1. Αλγόριθμοι κωδικοποίησης πηγής Αλγόριθμος Fano Αλγόριθμος Shannon Αλγόριθμος Huffman

Διαβάστε περισσότερα

Θεωρία της Πληροφορίας 3 ο Εξάμηνο

Θεωρία της Πληροφορίας 3 ο Εξάμηνο Σμήμα Πληροφορικής & Επικοινωνιών Θεωρία της Πληροφορίας 3 ο Εξάμηνο Τομέας Τηλεπικοινωνιών και Δικτύων Δρ. Αναστάσιος Πολίτης Καθηγητής Εφαρμογών 1 Διεξαγωγή και Εξέταση του Μαθήματος Μάθημα Πώς? 13 Διαλέξεις.

Διαβάστε περισσότερα

ΚΕΦΑΛΑΙΟ ΠΕΜΠΤΟ ΘΕΩΡΙΑ ΠΛΗΡΟΦΟΡΙΑΣ

ΚΕΦΑΛΑΙΟ ΠΕΜΠΤΟ ΘΕΩΡΙΑ ΠΛΗΡΟΦΟΡΙΑΣ ΚΕΦΑΛΑΙΟ ΠΕΜΠΤΟ ΘΕΩΡΙΑ ΠΛΗΡΟΦΟΡΙΑΣ 5. Εισαγωγή Ο σκοπός κάθε συστήματος τηλεπικοινωνιών είναι η μεταφορά πληροφορίας από ένα σημείο (πηγή) σ ένα άλλο (δέκτης). Συνεπώς, κάθε μελέτη ενός τέτοιου συστήματος

Διαβάστε περισσότερα

Χρήστος Ξενάκης. Πανεπιστήμιο Πειραιώς, Τμήμα Ψηφιακών Συστημάτων

Χρήστος Ξενάκης. Πανεπιστήμιο Πειραιώς, Τμήμα Ψηφιακών Συστημάτων ΘΕΩΡΙΑ ΠΛΗΡΟΦΟΡΙΑΣΟΡ Κεφάλαιο 1 : Εισαγωγή στη Θεωρία ωία Πληροφορίας Χρήστος Ξενάκης Πανεπιστήμιο Πειραιώς, Τμήμα Ψηφιακών Συστημάτων Περιεχόμενα Ομιλίας Έννοια της πληροφορίας Άλλες βασικές έννοιες Στόχος

Διαβάστε περισσότερα

Χρήστος Ξενάκης. Πανεπιστήμιο Πειραιώς, Τμήμα Ψηφιακών Συστημάτων

Χρήστος Ξενάκης. Πανεπιστήμιο Πειραιώς, Τμήμα Ψηφιακών Συστημάτων ΘΕΩΡΙΑ ΠΛΗΡΟΦΟΡΙΑΣ Κεφάλαιο 9 : Κανάλι-Σύστημα Χρήστος Ξενάκης Πανεπιστήμιο Πειραιώς, Τμήμα Ψηφιακών Συστημάτων Περιεχόμενα Ομιλίας Χωρητικότητα Χ ό καναλιού Το Gaussian κανάλι επικοινωνίας Τα διακριτά

Διαβάστε περισσότερα

Ψηφιακές Τηλεπικοινωνίες

Ψηφιακές Τηλεπικοινωνίες Ψηφιακές Τηλεπικοινωνίες Θεωρία Πληροφορίας: Χωρητικότητα Καναλιού Χωρητικότητα Καναλιού Η θεωρία πληροφορίας περιλαμβάνει μεταξύ άλλων: κωδικοποίηση πηγής κωδικοποίηση καναλιού Κωδικοποίηση πηγής: πόση

Διαβάστε περισσότερα

Θεωρία Πληροφορίας. Διάλεξη 4: Διακριτή πηγή πληροφορίας χωρίς μνήμη. Δρ. Μιχάλης Παρασκευάς Επίκουρος Καθηγητής

Θεωρία Πληροφορίας. Διάλεξη 4: Διακριτή πηγή πληροφορίας χωρίς μνήμη. Δρ. Μιχάλης Παρασκευάς Επίκουρος Καθηγητής Θεωρία Πληροφορίας Διάλεξη 4: Διακριτή πηγή πληροφορίας χωρίς μνήμη Δρ. Μιχάλης Παρασκευάς Επίκουρος Καθηγητής 1 Ατζέντα Διακριτή πηγή πληροφορίας χωρίς μνήμη Ποσότητα πληροφορίας της πηγής Κωδικοποίηση

Διαβάστε περισσότερα

Δίαυλος Πληροφορίας. Η λειτουργία του περιγράφεται από:

Δίαυλος Πληροφορίας. Η λειτουργία του περιγράφεται από: Δίαυλος Πληροφορίας Η λειτουργία του περιγράφεται από: Πίνακας Διαύλου (μαθηματική περιγραφή) Διάγραμμα Διαύλου (παραστατικός τρόπος περιγραφής της λειτουργίας) Πίνακας Διαύλου Χρησιμοποιούμε τις υπό συνθήκη

Διαβάστε περισσότερα

Εισαγωγή στη θεωρία πληροφορίας

Εισαγωγή στη θεωρία πληροφορίας Θεωρία πληροφορίας Εισαγωγή στη θεωρία πληροφορίας Τηλεπικοινωνιακά συστήματα Όλα τα τηλεπικοινωνιακά συστήματα σχεδιάζονται για να μεταφέρουν πληροφορία Σε κάθε τηλεπικοινωνιακό σύστημα υπάρχει μια πηγή

Διαβάστε περισσότερα

3.1 ΔΕΙΓΜΑΤΙΚΟΙ ΧΩΡΟΙ ΕΝΔΕΧΟΜΕΝΑ

3.1 ΔΕΙΓΜΑΤΙΚΟΙ ΧΩΡΟΙ ΕΝΔΕΧΟΜΕΝΑ ΚΕΦΑΛΑΙΟ : ΠΙΘΑΝΟΤΗΤΕΣ. ΔΕΙΓΜΑΤΙΚΟΙ ΧΩΡΟΙ ΕΝΔΕΧΟΜΕΝΑ Αιτιοκρατικό πείραμα ονομάζουμε κάθε πείραμα για το οποίο, όταν ξέρουμε τις συνθήκες κάτω από τις οποίες πραγματοποιείται, μπορούμε να προβλέψουμε με

Διαβάστε περισσότερα

Θέματα Συστημάτων Πολυμέσων

Θέματα Συστημάτων Πολυμέσων Θέματα Συστημάτων Πολυμέσων Ενότητα # 6: Στοιχεία Θεωρίας Πληροφορίας Διδάσκων: Γεώργιος K. Πολύζος Τμήμα: Μεταπτυχιακό Πρόγραμμα Σπουδών Επιστήμη των Υπολογιστών Άδειες Χρήσης Το παρόν εκπαιδευτικό υλικό

Διαβάστε περισσότερα

Ψηφιακές Τηλεπικοινωνίες. Θεωρία Ρυθμού Παραμόρφωσης

Ψηφιακές Τηλεπικοινωνίες. Θεωρία Ρυθμού Παραμόρφωσης Ψηφιακές Τηλεπικοινωνίες Θεωρία Ρυθμού Παραμόρφωσης Θεωρία Ρυθμού-Παραμόρφωσης Θεώρημα Κωδικοποίησης Πηγής: αν έχω αρκετά μεγάλο μπλοκ δεδομένων, μπορώ να φτάσω κοντά στην εντροπία Πιθανά Προβλήματα: >

Διαβάστε περισσότερα

ΕΛΛΗΝΙΚΟ ΑΝΟΙΚΤΟ ΠΑΝΕΠΙΣΤΗΜΙΟ

ΕΛΛΗΝΙΚΟ ΑΝΟΙΚΤΟ ΠΑΝΕΠΙΣΤΗΜΙΟ Θ.Ε. ΠΛΗ22 (2012-13) ΓΡΑΠΤΗ ΕΡΓΑΣΙΑ #4. Έκδοση v2 με διόρθωση τυπογραφικού λάθους στο ερώτημα 6.3 Στόχος: Βασικό στόχο της 4 ης εργασίας αποτελεί η εξοικείωση με τα μέτρα ποσότητας πληροφορίας τυχαίων

Διαβάστε περισσότερα

Ψηφιακές Τηλεπικοινωνίες

Ψηφιακές Τηλεπικοινωνίες Ψηφιακές Τηλεπικοινωνίες Θεωρία Πληροφορίας: Κωδικοποίηση Πηγής Ψηφιακή Μετάδοση Υπάρχουν ιδιαίτερα εξελιγμένες τεχνικές αναλογικής μετάδοσης (που ακόμη χρησιμοποιούνται σε ορισμένες εφαρμογές) Επίσης,

Διαβάστε περισσότερα

Θεωρία της Πληροφορίας 3 ο Εξάμηνο

Θεωρία της Πληροφορίας 3 ο Εξάμηνο Τμήμα Πληροφορικής & Επικοινωνιών Θεωρία της Πληροφορίας 3 ο Εξάμηνο Τομέας Τηλεπικοινωνιών και Δικτύων Δρ. Αναστάσιος Πολίτης Καθηγητής Εφαρμογών 1 Διεξαγωγή και Εξέταση του Μαθήματος Μάθημα Κάθε πότε?

Διαβάστε περισσότερα

ΣΤΟΧΑΣΤΙΚΑ ΣΥΣΤΗΜΑΤΑ & ΕΠΙΚΟΙΝΩΝΙΕΣ 1o Τμήμα (Α - Κ): Αμφιθέατρο 3, Νέα Κτίρια ΣΗΜΜΥ Θεωρία Πιθανοτήτων & Στοχαστικές Ανελίξεις - 1

ΣΤΟΧΑΣΤΙΚΑ ΣΥΣΤΗΜΑΤΑ & ΕΠΙΚΟΙΝΩΝΙΕΣ 1o Τμήμα (Α - Κ): Αμφιθέατρο 3, Νέα Κτίρια ΣΗΜΜΥ Θεωρία Πιθανοτήτων & Στοχαστικές Ανελίξεις - 1 ΣΤΟΧΑΣΤΙΚΑ ΣΥΣΤΗΜΑΤΑ & ΕΠΙΚΟΙΝΩΝΙΕΣ 1o Τμήμα (Α - Κ): Αμφιθέατρο 3, Νέα Κτίρια ΣΗΜΜΥ Θεωρία Πιθανοτήτων & Στοχαστικές Ανελίξεις - 1 5.1: Εισαγωγή 5.2: Πιθανότητες 5.3: Τυχαίες Μεταβλητές καθ. Βασίλης Μάγκλαρης

Διαβάστε περισσότερα

EE728 (22Α004) - Προχωρημένα Θέματα Θεωρίας Πληροφορίας 3η σειρά ασκήσεων Διακριτά και Συνεχή Κανάλια. Παράδοση: Έως 22/6/2015

EE728 (22Α004) - Προχωρημένα Θέματα Θεωρίας Πληροφορίας 3η σειρά ασκήσεων Διακριτά και Συνεχή Κανάλια. Παράδοση: Έως 22/6/2015 EE728 (22Α004) - Προχωρημένα Θέματα Θεωρίας Πληροφορίας Φυλλάδιο 13 Δ. Τουμπακάρης 30 Μαΐου 2015 EE728 (22Α004) - Προχωρημένα Θέματα Θεωρίας Πληροφορίας 3η σειρά ασκήσεων Διακριτά και Συνεχή Κανάλια Παράδοση:

Διαβάστε περισσότερα

ΕΠΑΝΑΛΗΠΤΙΚΑ ΘΕΜΑΤΑ ΚΕΦΑΛΑΙΟ 3ο: ΠΙΘΑΝΟΤΗΤΕΣ ΘΕΜΑ Α. α) Τι λέγεται δειγματικός χώρος και τι ενδεχόμενο ενός πειράματος τύχης;

ΕΠΑΝΑΛΗΠΤΙΚΑ ΘΕΜΑΤΑ ΚΕΦΑΛΑΙΟ 3ο: ΠΙΘΑΝΟΤΗΤΕΣ ΘΕΜΑ Α. α) Τι λέγεται δειγματικός χώρος και τι ενδεχόμενο ενός πειράματος τύχης; ΕΠΑΝΑΛΗΠΤΙΚΑ ΘΕΜΑΤΑ ΚΕΦΑΛΑΙΟ ο: ΠΙΘΑΝΟΤΗΤΕΣ ΘΕΜΑ Α Ερώτηση θεωρίας α) Τι λέγεται δειγματικός χώρος και τι ενδεχόμενο ενός πειράματος τύχης; =. β) Για δύο συμπληρωματικά ενδεχόμενα Α και Α να αποδείξετε

Διαβάστε περισσότερα

Θεωρία πληροφοριών. Τεχνολογία Πολυµέσων 07-1

Θεωρία πληροφοριών. Τεχνολογία Πολυµέσων 07-1 Θεωρία πληροφοριών Εισαγωγή Αµοιβαία πληροφορία Εσωτερική πληροφορία Υπό συνθήκη πληροφορία Παραδείγµατα πληροφορίας Μέση πληροφορία και εντροπία Παραδείγµατα εντροπίας Εφαρµογές Τεχνολογία Πολυµέσων 07-

Διαβάστε περισσότερα

Κωδικοποίηση Πηγής. Η λειτουργία ενός συστήματος επικοινωνίας (γενικό διάγραμμα):

Κωδικοποίηση Πηγής. Η λειτουργία ενός συστήματος επικοινωνίας (γενικό διάγραμμα): Κωδικοποίηση Πηγής Η λειτουργία ενός συστήματος επικοινωνίας (γενικό διάγραμμα): Coder Decoder Μεταξύ πομπού-καναλιού παρεμβάλλεται ο κωδικοποιητής (coder). Έργο του: η αντικατάσταση των συμβόλων πληροφορίας

Διαβάστε περισσότερα

1.1 ΔΕΙΓΜΑΤΙΚΟΙ ΧΩΡΟΙ ΕΝΔΕΧΟΜΕΝΑ

1.1 ΔΕΙΓΜΑΤΙΚΟΙ ΧΩΡΟΙ ΕΝΔΕΧΟΜΕΝΑ ΚΕΦΑΛΑΙΟ : ΠΙΘΑΝΟΤΗΤΕΣ. ΔΕΙΓΜΑΤΙΚΟΙ ΧΩΡΟΙ ΕΝΔΕΧΟΜΕΝΑ Αιτιοκρατικό πείραμα ονομάζουμε κάθε πείραμα για το οποίο, όταν ξέρουμε τις συνθήκες κάτω από τις οποίες πραγματοποιείται, μπορούμε να προβλέψουμε με

Διαβάστε περισσότερα

Τεχνολογία Πολυμέσων. Ενότητα # 7: Θεωρία πληροφορίας Διδάσκων: Γεώργιος Ξυλωμένος Τμήμα: Πληροφορικής

Τεχνολογία Πολυμέσων. Ενότητα # 7: Θεωρία πληροφορίας Διδάσκων: Γεώργιος Ξυλωμένος Τμήμα: Πληροφορικής Τεχνολογία Πολυμέσων Ενότητα # 7: Θεωρία πληροφορίας Διδάσκων: Γεώργιος Ξυλωμένος Τμήμα: Πληροφορικής Χρηματοδότηση Το παρόν εκπαιδευτικό υλικό έχει αναπτυχθεί στα πλαίσια του εκπαιδευτικού έργου του διδάσκοντα.

Διαβάστε περισσότερα

Θέματα Συστημάτων Πολυμέσων

Θέματα Συστημάτων Πολυμέσων Θέματα Συστημάτων Πολυμέσων Ενότητα # 5: Βασική Θεωρία Πληροφορίας Διδάσκων: Γεώργιος Πολύζος Τμήμα: Μεταπτυχιακό Πρόγραμμα Σπουδών Επιστήμη των Υπολογιστών Άδειες χρήσης Το παρόν εκπαιδευτικό υλικό υπόκειται

Διαβάστε περισσότερα

ΚΕΦΑΛΑΙΟ 2 ΔΙΑΤΑΞΕΙΣ, ΜΕΤΑΘΕΣΕΙΣ, ΣΥΝΔΥΑΣΜΟΙ

ΚΕΦΑΛΑΙΟ 2 ΔΙΑΤΑΞΕΙΣ, ΜΕΤΑΘΕΣΕΙΣ, ΣΥΝΔΥΑΣΜΟΙ ΚΕΦΑΛΑΙΟ ΔΙΑΤΑΞΕΙΣ ΜΕΤΑΘΕΣΕΙΣ ΣΥΝΔΥΑΣΜΟΙ Εισαγωγή. Οι σχηματισμοί που προκύπτουν με την επιλογή ενός συγκεκριμένου αριθμού στοιχείων από το ίδιο σύνολο καλούνται διατάξεις αν μας ενδιαφέρει η σειρά καταγραφή

Διαβάστε περισσότερα

Δίαυλος Πληροφορίας. Δρ. Α. Πολίτης

Δίαυλος Πληροφορίας. Δρ. Α. Πολίτης Δίαυλος Πληροφορίας Η λειτουργία του διαύλου πληροφορίας περιγράφεται από: Τον πίνακα διαύλου μαθηματική περιγραφή. Το διάγραμμα διάυλου παραστατικός τρόπος περιγραφής. Πίνακας Διαύλου Κατασκευάζεται με

Διαβάστε περισσότερα

Θεωρία Πληροφορίας. Διάλεξη 5: Διακριτή πηγή πληροφορίας με μνήμη. Δρ. Μιχάλης Παρασκευάς Επίκουρος Καθηγητής

Θεωρία Πληροφορίας. Διάλεξη 5: Διακριτή πηγή πληροφορίας με μνήμη. Δρ. Μιχάλης Παρασκευάς Επίκουρος Καθηγητής Θεωρία Πληροφορίας Διάλεξη 5: Διακριτή πηγή πληροφορίας με μνήμη Δρ. Μιχάλης Παρασκευάς Επίκουρος Καθηγητής 1 Ατζέντα 1. Διακριτές πηγές πληροφορίας με μνήμη Μαρκοβιανές αλυσίδες Τάξη μακροβιανών αλυσίδων

Διαβάστε περισσότερα

Θέματα ενδοσχολικών εξετάσεων Άλγεβρας Α Λυκείου Σχ. έτος , Ν. Δωδεκανήσου ΘΕΜΑΤΑ ΕΝΔΟΣΧΟΛΙΚΩΝ ΕΞΕΤΑΣΕΩΝ ΤΑΞΗ: Α ΓΕΝΙΚΟΥ ΛΥΚΕΙΟΥ ΑΛΓΕΒΡΑ

Θέματα ενδοσχολικών εξετάσεων Άλγεβρας Α Λυκείου Σχ. έτος , Ν. Δωδεκανήσου ΘΕΜΑΤΑ ΕΝΔΟΣΧΟΛΙΚΩΝ ΕΞΕΤΑΣΕΩΝ ΤΑΞΗ: Α ΓΕΝΙΚΟΥ ΛΥΚΕΙΟΥ ΑΛΓΕΒΡΑ Θέματα ενδοσχολικών εξετάσεων Άλγεβρας Α Λυκείου Σχ. έτος 013-014, Ν. Δωδεκανήσου ΘΕΜΑΤΑ ΕΝΔΟΣΧΟΛΙΚΩΝ ΕΞΕΤΑΣΕΩΝ ΤΑΞΗ: Α ΓΕΝΙΚΟΥ ΛΥΚΕΙΟΥ ΑΛΓΕΒΡΑ ΣΧΟΛΙΚΟ ΕΤΟΣ: 013-014 Επιμέλεια: Καραγιάννης Ιωάννης Σχολικός

Διαβάστε περισσότερα

K15 Ψηφιακή Λογική Σχεδίαση 3: Προτασιακή Λογική / Θεωρία Συνόλων

K15 Ψηφιακή Λογική Σχεδίαση 3: Προτασιακή Λογική / Θεωρία Συνόλων K15 Ψηφιακή Λογική Σχεδίαση 3: Προτασιακή Λογική / Θεωρία Συνόλων Γιάννης Λιαπέρδος TEI Πελοποννήσου Σχολή Τεχνολογικών Εφαρμογών Τμήμα Μηχανικών Πληροφορικής ΤΕ Στοιχεία προτασιακής λογικής Περιεχόμενα

Διαβάστε περισσότερα

Τ Ε Ι Ιονίων Νήσων Τμήμα Εφαρμογών Πληροφορικής στη Διοίκηση και την Οικονομία. Υπεύθυνος: Δρ. Κολιός Σταύρος

Τ Ε Ι Ιονίων Νήσων Τμήμα Εφαρμογών Πληροφορικής στη Διοίκηση και την Οικονομία. Υπεύθυνος: Δρ. Κολιός Σταύρος Τ Ε Ι Ιονίων Νήσων Τμήμα Εφαρμογών Πληροφορικής στη Διοίκηση και την Οικονομία Υπεύθυνος: Δρ. Κολιός Σταύρος Θεωρία Συνόλων Σύνολο: Το σύνολο εκφράζει μία συλλογή διακριτών μονάδων οποιασδήποτε φύσης.

Διαβάστε περισσότερα

Εισαγωγή Η Θεωρία Πιθανοτήτων παίζει μεγάλο ρόλο στη μοντελοποίηση και μελέτη συστημάτων των οποίων δεν μπορούμε να προβλέψουμε ή να παρατηρήσουμε την

Εισαγωγή Η Θεωρία Πιθανοτήτων παίζει μεγάλο ρόλο στη μοντελοποίηση και μελέτη συστημάτων των οποίων δεν μπορούμε να προβλέψουμε ή να παρατηρήσουμε την Μαθηματικά Πληροφορικής 8ο Μάθημα Τμήμα Πληροφορικής και Τηλεπικοινωνιών Πανεπιστήμιο Αθηνών Εισαγωγή Η Θεωρία Πιθανοτήτων παίζει μεγάλο ρόλο στη μοντελοποίηση και μελέτη συστημάτων των οποίων δεν μπορούμε

Διαβάστε περισσότερα

ΕΦΑΡΜΟΣΜΕΝΗ ΣΤΑΤΙΣΤΙΚΗ I Παντελής Δημήτριος Τμήμα Μηχανολόγων Μηχανικών

ΕΦΑΡΜΟΣΜΕΝΗ ΣΤΑΤΙΣΤΙΚΗ I Παντελής Δημήτριος Τμήμα Μηχανολόγων Μηχανικών ΕΦΑΡΜΟΣΜΕΝΗ ΣΤΑΤΙΣΤΙΚΗ I Παντελής Δημήτριος Τμήμα Μηχανολόγων Μηχανικών ΕΝΝΟΙΑ ΠΙΘΑΝΟΤΗΤΑΣ Μαθηματική περιγραφή συστημάτων με αβεβαιότητα Παραδείγματα από την οργάνωση παραγωγής Διάρκεια παραγωγής προϊόντων

Διαβάστε περισσότερα

Τυχαία μεταβλητή (τ.μ.)

Τυχαία μεταβλητή (τ.μ.) Τυχαία μεταβλητή (τ.μ.) Τυχαία μεταβλητή (τ.μ.) είναι μια συνάρτηση X ( ) με πεδίο ορισμού το δειγματικό χώρο Ω του πειράματος και πεδίο τιμών ένα υποσύνολο πραγματικών αριθμών που συμβολίζουμε συνήθως

Διαβάστε περισσότερα

ΔΕΣΜΕΥΜΕΝΕΣ Ή ΥΠΟ ΣΥΝΘΗΚΗ ΠΙΘΑΝΟΤΗΤΕΣ

ΔΕΣΜΕΥΜΕΝΕΣ Ή ΥΠΟ ΣΥΝΘΗΚΗ ΠΙΘΑΝΟΤΗΤΕΣ ΔΕΣΜΕΥΜΕΝΕΣ Ή ΥΠΟ ΣΥΝΘΗΚΗ ΠΙΘΑΝΟΤΗΤΕΣ Έστω ότι επιθυμούμε να μελετήσουμε ένα τυχαίο πείραμα με δειγματικό χώρο Ω και έστω η πιθανότητα να συμβεί ένα ενδεχόμενο Α Ω Υπάρχουν περιπτώσεις όπου ενώ δεν γνωρίζουμε

Διαβάστε περισσότερα

ΠΙΘΑΝΟΤΗΤΕΣ Δειγματικός Χώρος. Ενδεχόμενα {,,..., }.

ΠΙΘΑΝΟΤΗΤΕΣ Δειγματικός Χώρος. Ενδεχόμενα {,,..., }. ΠΙΘΑΝΟΤΗΤΕΣ Δειγματικός Χώρος Το σύνολο των δυνατών αποτελεσμάτων λέγεται δειγματικός χώρος (sample space) και συμβολίζεται συνήθως με το γράμμα Αν δηλαδή ω,,, ω2 ωκ είναι τα δυνατά αποτελέσματα ενός πειράματος

Διαβάστε περισσότερα

3 ΠΙΘΑΝΟΤΗΤΕΣ. ο δειγματικός χώρος του πειράματος θα είναι το σύνολο: Ω = ω, ω,..., ω }.

3 ΠΙΘΑΝΟΤΗΤΕΣ. ο δειγματικός χώρος του πειράματος θα είναι το σύνολο: Ω = ω, ω,..., ω }. 3 ΠΙΘΑΝΟΤΗΤΕΣ 3.1 ΔΕΙΓΜΑΤΙΚΟΣ ΧΡΟΣ - ΕΝΔΕΧΟΜΕΝΑ Πείραμα Τύχης Ένα πείραμα του οποίου δεν μπορούμε εκ των προτέρων να προβλέψουμε το αποτέλεσμα, μολονότι επαναλαμβάνεται φαινομενικά τουλάχιστον κάτω από

Διαβάστε περισσότερα

Μέρος ΙΙ. Τυχαίες Μεταβλητές

Μέρος ΙΙ. Τυχαίες Μεταβλητές Μέρος ΙΙ. Τυχαίες Μεταβλητές Ορισμοί Συναρτήσεις κατανομής πιθανότητας και πυκνότητας πιθανότητας Διακριτές τυχαίες μεταβλητές Ειδικές κατανομές διακριτών τυχαίων μεταβλητών Συνεχείς τυχαίες μεταβλητές

Διαβάστε περισσότερα

ΣΤΑΤΙΣΤΙΚΗ ΕΠΙΧΕΙΡΗΣΕΩΝ

ΣΤΑΤΙΣΤΙΚΗ ΕΠΙΧΕΙΡΗΣΕΩΝ ΕΛΛΗΝΙΚΗ ΔΗΜΟΚΡΑΤΙΑ Ανώτατο Εκπαιδευτικό Ίδρυμα Πειραιά Τεχνολογικού Τομέα ΣΤΑΤΙΣΤΙΚΗ ΕΠΙΧΕΙΡΗΣΕΩΝ Ενότητα # 7: Θεωρία Πιθανοτήτων (Πείραμα Τύχης) Εβελίνα Κοσσιέρη Τμήμα Λογιστικής και Χρηματοοικονομικής

Διαβάστε περισσότερα

Αριθμητική Ανάλυση & Εφαρμογές

Αριθμητική Ανάλυση & Εφαρμογές Αριθμητική Ανάλυση & Εφαρμογές Διδάσκων: Δημήτριος Ι. Φωτιάδης Τμήμα Μηχανικών Επιστήμης Υλικών Ιωάννινα 2017-2018 Υπολογισμοί και Σφάλματα Παράσταση Πραγματικών Αριθμών Συστήματα Αριθμών Παράσταση Ακέραιου

Διαβάστε περισσότερα

Θεώρημα κωδικοποίησης πηγής

Θεώρημα κωδικοποίησης πηγής Κωδικοποίηση Kωδικοποίηση πηγής Θεώρημα κωδικοποίησης πηγής Καθορίζει ένα θεμελιώδες όριο στον ρυθμό με τον οποίο η έξοδος μιας πηγής πληροφορίας μπορεί να συμπιεσθεί χωρίς να προκληθεί μεγάλη πιθανότητα

Διαβάστε περισσότερα

ΑΣΚΗΣΕΙΣ ΠΙΘΑΝΟΤΗΤΩΝ του Παν. Λ. Θεοδωρόπουλου 0

ΑΣΚΗΣΕΙΣ ΠΙΘΑΝΟΤΗΤΩΝ του Παν. Λ. Θεοδωρόπουλου 0 ΑΣΚΗΣΕΙΣ ΠΙΘΑΝΟΤΗΤΩΝ του Παν. Λ. Θεοδωρόπουλου 0 Η Θεωρία Πιθανοτήτων είναι ένας σχετικά νέος κλάδος των Μαθηματικών, ο οποίος παρουσιάζει πολλά ιδιαίτερα χαρακτηριστικά στοιχεία. Επειδή η ιδιαιτερότητα

Διαβάστε περισσότερα

Κεφάλαιο 2 Πληροφορία και εντροπία

Κεφάλαιο 2 Πληροφορία και εντροπία Κεφάλαιο 2 Πληροφορία και εντροπία Άσκηση. Έστω αλφάβητο Α={0,} και δύο πηγές p και q. Έστω οτι p(0)=-r, p()=r, q(0)=-s και q()=s. Να υπολογιστούν οι σχετικές εντροπίες Η(Α,p/q) και Η(Α,q/p). Να γίνει

Διαβάστε περισσότερα

Κ15 Ψηφιακή Λογική Σχεδίαση 2: Δυαδικό Σύστημα / Αναπαραστάσεις

Κ15 Ψηφιακή Λογική Σχεδίαση 2: Δυαδικό Σύστημα / Αναπαραστάσεις Κ15 Ψηφιακή Λογική Σχεδίαση 2: Δυαδικό Σύστημα / Αναπαραστάσεις Γιάννης Λιαπέρδος TEI Πελοποννήσου Σχολή Τεχνολογικών Εφαρμογών Τμήμα Μηχανικών Πληροφορικής ΤΕ Δυαδικό Σύστημα Αρίθμησης Περιεχόμενα 1 Δυαδικό

Διαβάστε περισσότερα

Χρήστος Ξενάκης. Πανεπιστήμιο Πειραιώς, Τμήμα Ψηφιακών Συστημάτων

Χρήστος Ξενάκης. Πανεπιστήμιο Πειραιώς, Τμήμα Ψηφιακών Συστημάτων ΘΕΩΡΙΑ ΠΛΗΡΟΦΟΡΙΑΣ Κεφάλαιο 3 : Πηγές Πληροφορίας Χρήστος Ξενάκης Πανεπιστήμιο Πειραιώς, Τμήμα Ψηφιακών Συστημάτων Περιεχόμενα Διακριτές Πηγές Πληροφορίας χωρίς μνήμη Ποσότητα πληροφορίας της πηγής Κωδικοποίηση

Διαβάστε περισσότερα

Άλγεβρα 1 ο Κεφάλαιο ... ν παράγοντες

Άλγεβρα 1 ο Κεφάλαιο ... ν παράγοντες 1 Άλγεβρα 1 ο Κεφάλαιο Ερώτηση 1 : Τι ονομάζεται δύναμη α ν με βάση τον πραγματικό αριθμό α και εκθέτη το φυσικό αριθμό >1; H δύναμη με βάση έναν πραγματικό αριθμό α και εκθέτη ένα φυσικό αριθμό ν, συμβολίζεται

Διαβάστε περισσότερα

( ) log 2 = E. Σεραφείµ Καραµπογιάς

( ) log 2 = E. Σεραφείµ Καραµπογιάς Παρατηρούµε ότι ο ορισµός της Η βασίζεται στη χρονική µέση τιµή. Για να ισχύει ο ορισµός αυτός και για µέση τιµή συνόλου πρέπει η πηγή να είναι εργοδική, δηλαδή H ( X) ( ) = E log 2 p k Η εντροπία µιας

Διαβάστε περισσότερα

Γνωστό: P (M) = 2 M = τρόποι επιλογής υποσυνόλου του M. Π.χ. M = {A, B, C} π. 1. Π.χ.

Γνωστό: P (M) = 2 M = τρόποι επιλογής υποσυνόλου του M. Π.χ. M = {A, B, C} π. 1. Π.χ. Παραδείγματα Απαρίθμησης Γνωστό: P (M 2 M τρόποι επιλογής υποσυνόλου του M Τεχνικές Απαρίθμησης Πχ M {A, B, C} P (M 2 3 8 #(Υποσυνόλων με 2 στοιχεία ( 3 2 3 #(Διατεταγμένων υποσυνόλων με 2 στοιχεία 3 2

Διαβάστε περισσότερα

K15 Ψηφιακή Λογική Σχεδίαση 7-8: Ανάλυση και σύνθεση συνδυαστικών λογικών κυκλωμάτων

K15 Ψηφιακή Λογική Σχεδίαση 7-8: Ανάλυση και σύνθεση συνδυαστικών λογικών κυκλωμάτων K15 Ψηφιακή Λογική Σχεδίαση 7-8: Ανάλυση και σύνθεση συνδυαστικών λογικών κυκλωμάτων Γιάννης Λιαπέρδος TEI Πελοποννήσου Σχολή Τεχνολογικών Εφαρμογών Τμήμα Μηχανικών Πληροφορικής ΤΕ Η έννοια του συνδυαστικού

Διαβάστε περισσότερα

ΕΡΩΤΗΣΕΙΣ ΘΕΩΡΙΑΣ. για τα οποία ισχύει y f (x) , δηλαδή το σύνολο, x A, λέγεται γραφική παράσταση της f και συμβολίζεται συνήθως με C

ΕΡΩΤΗΣΕΙΣ ΘΕΩΡΙΑΣ. για τα οποία ισχύει y f (x) , δηλαδή το σύνολο, x A, λέγεται γραφική παράσταση της f και συμβολίζεται συνήθως με C Επιμέλεια: Κ Μυλωνάκης ΕΡΩΤΗΣΕΙΣ ΘΕΩΡΙΑΣ ΕΡΩΤΗΣΗ Τι ονομάζεται πραγματική συνάρτηση με πεδίο ορισμού το Α; Έστω Α ένα υποσύνολο του R Ονομάζουμε πραγματική συνάρτηση με πεδίο ορισμού το Α μια διαδικασία

Διαβάστε περισσότερα

Στατιστική Επιχειρήσεων Ι

Στατιστική Επιχειρήσεων Ι ΕΛΛΗΝΙΚΗ ΔΗΜΟΚΡΑΤΙΑ Τεχνολογικό Εκπαιδευτικό Ίδρυμα Πειραιά Στατιστική Επιχειρήσεων Ι Ενότητα 1: Στοιχεία Πιθανοθεωρίας Μιλτιάδης Χαλικιάς, Επίκουρος Καθηγητής Τμήμα Διοίκησης Επιχειρήσεων Άδειες Χρήσης

Διαβάστε περισσότερα

Θεωρία Πιθανοτήτων και Στατιστική

Θεωρία Πιθανοτήτων και Στατιστική Θεωρία Πιθανοτήτων και Στατιστική 2 ο Εξάμηνο Ασκήσεις Πράξης 1 Θεωρία Συνόλων - Δειγματικός Χώρος Άσκηση 1: Να βρεθούν και να γραφούν με συμβολισμούς της Θεωρίας Συνόλων οι δειγματοχώροι των τυχαίων πειραμάτων:

Διαβάστε περισσότερα

Θεωρία Υπολογισμού Άρτιοι ΑΜ. Διδάσκων: Σταύρος Κολλιόπουλος. eclass.di.uoa.gr. Περιγραφή μαθήματος

Θεωρία Υπολογισμού Άρτιοι ΑΜ. Διδάσκων: Σταύρος Κολλιόπουλος. eclass.di.uoa.gr. Περιγραφή μαθήματος Περιγραφή μαθήματος Θεωρία Υπολογισμού Άρτιοι ΑΜ Σκοπός του μαθήματος είναι η εισαγωγή στη Θεωρία Υπολογισμού και στη Θεωρία Υπολογιστικής Πολυπλοκότητας (Θεωρία Αλγορίθμων). Διδάσκων: Σταύρος Κολλιόπουλος

Διαβάστε περισσότερα

Θεωρία Υπολογισμού Αρτιοι ΑΜ Διδάσκων: Σταύρος Κολλιόπουλος eclass.di.uoa.gr

Θεωρία Υπολογισμού Αρτιοι ΑΜ Διδάσκων: Σταύρος Κολλιόπουλος eclass.di.uoa.gr Θεωρία Υπολογισμού Άρτιοι ΑΜ Διδάσκων: Σταύρος Κολλιόπουλος eclass.di.uoa.gr Περιγραφή μαθήματος Σκοπός του μαθήματος είναι η εισαγωγή στη Θεωρία Υπολογισμού και στη Θεωρία Υπολογιστικής Πολυπλοκότητας

Διαβάστε περισσότερα

Πιθανότητες & Στατιστική. Μέρος I. Εισαγωγή στις Πιθανότητες. Τυχαία Πειράματα (φαινόμενα)

Πιθανότητες & Στατιστική. Μέρος I. Εισαγωγή στις Πιθανότητες. Τυχαία Πειράματα (φαινόμενα) Πιθανότητες & Στατιστική Μέρος I. Εισαγωγή στις Πιθανότητες. 3 βασικές έννοιες Τυχαία Πειράματα (φαινόμενα) Δειγματικός χώρος Ενδεχόμενα Πιθανότητες & Στατιστική 2017 Τμήμα Μηχανικών Η/Υ & Πληροφορικής,

Διαβάστε περισσότερα

Κεφάλαιο 2 Πιθανότητες. Πέτρος Ε. Μαραβελάκης, Επίκουρος Καθηγητής, Πανεπιστήμιο Πειραιώς

Κεφάλαιο 2 Πιθανότητες. Πέτρος Ε. Μαραβελάκης, Επίκουρος Καθηγητής, Πανεπιστήμιο Πειραιώς Κεφάλαιο 2 Πιθανότητες Πέτρος Ε. Μαραβελάκης, Επίκουρος Καθηγητής, Πανεπιστήμιο Πειραιώς 2-2 2 Πιθανότητες Χρησιμοποιώντας την Στατιστική Βασικοί ορισμοί: Ενδεχόμενα, Δειγματικός χώρος και Πιθανότητες

Διαβάστε περισσότερα

Τετάρτη 5-12/11/2014. ΣΗΜΕΙΩΣΕΙΣ 3 ου και 4 ου ΜΑΘΗΜΑΤΟΣ ΕΙΔΙΚΟΤΗΤΑ: ΤΕΧΝΙΚΟΣ ΕΦΑΡΜΟΓΩΝ ΠΛΗΡΟΦΟΡΙΚΗΣ ΜΑΘΗΜΑ: ΑΡΧΙΤΕΚΤΟΝΙΚΗ Η/Υ Α ΕΞΑΜΗΝΟ

Τετάρτη 5-12/11/2014. ΣΗΜΕΙΩΣΕΙΣ 3 ου και 4 ου ΜΑΘΗΜΑΤΟΣ ΕΙΔΙΚΟΤΗΤΑ: ΤΕΧΝΙΚΟΣ ΕΦΑΡΜΟΓΩΝ ΠΛΗΡΟΦΟΡΙΚΗΣ ΜΑΘΗΜΑ: ΑΡΧΙΤΕΚΤΟΝΙΚΗ Η/Υ Α ΕΞΑΜΗΝΟ Τετάρτη 5-12/11/2014 ΣΗΜΕΙΩΣΕΙΣ 3 ου και 4 ου ΜΑΘΗΜΑΤΟΣ ΕΙΔΙΚΟΤΗΤΑ: ΤΕΧΝΙΚΟΣ ΕΦΑΡΜΟΓΩΝ ΠΛΗΡΟΦΟΡΙΚΗΣ ΜΑΘΗΜΑ: ΑΡΧΙΤΕΚΤΟΝΙΚΗ Η/Υ Α ΕΞΑΜΗΝΟ ΕΚΠΑΙΔΕΥΤΗΣ: ΤΡΟΧΙΔΗΣ ΠΑΝΑΓΙΩΤΗΣ 1. Παράσταση και οργάνωση δεδομένων

Διαβάστε περισσότερα

22Α004 - Προχωρημένα Θέματα Θεωρίας Πληροφορίας Τελική Εξέταση

22Α004 - Προχωρημένα Θέματα Θεωρίας Πληροφορίας Τελική Εξέταση 22A004 (eclass EE278) Προχωρημένα Θέματα Θεωρίας Πληροφορίας Φυλλάδιο 11 Δ. Τουμπακάρης 6 Ιουνίου 2013 22Α004 - Προχωρημένα Θέματα Θεωρίας Πληροφορίας Τελική Εξέταση Διάρκεια Εξέτασης: 3 ώρες. 4 ασκήσεις

Διαβάστε περισσότερα

i μιας μεταβλητής Χ είναι αρνητικός αριθμός

i μιας μεταβλητής Χ είναι αρνητικός αριθμός ΕΡΩΤΗΣΕΙΣ Σ Λ ΠΑΝΕΛΛΑΔΙΚΩΝ ΜΑΘΗΜΑΤΙΚΑ ΓΕΝΙΚΗΣ ΠΑΙΔΕΙΑΣ Γ ΛΥΚΕΙΟΥ Nα χαρακτηρίσετε τις προτάσεις που ακoλουθούν γράφοντας στο τετράδιο σας την ένδειξη Σωστό ή Λάθος δίπλα στο γράμμα που αντιστοιχεί σε κάθε

Διαβάστε περισσότερα

Ανάλυση Δεδομένων με χρήση του Στατιστικού Πακέτου R

Ανάλυση Δεδομένων με χρήση του Στατιστικού Πακέτου R Ανάλυση Δεδομένων με χρήση του Στατιστικού Πακέτου R, Επίκουρος Καθηγητής, Τομέας Μαθηματικών, Σχολή Εφαρμοσμένων Μαθηματικών και Φυσικών Επιστημών, Εθνικό Μετσόβιο Πολυτεχνείο. Περιεχόμενα Εισαγωγή στο

Διαβάστε περισσότερα

Θέμα 1 ο (ΜΑΪΟΣ 2004, ΜΑΪΟΣ 2008) Να δείξετε ότι η παράγωγος της σταθερής συνάρτησης f (x) = c είναι (c) = 0. Απόδειξη

Θέμα 1 ο (ΜΑΪΟΣ 2004, ΜΑΪΟΣ 2008) Να δείξετε ότι η παράγωγος της σταθερής συνάρτησης f (x) = c είναι (c) = 0. Απόδειξη ΕΚΔΟΣΕΙΣ ΚΕΛΑΦΑ 59 Θέμα 1 ο (ΜΑΪΟΣ 004, ΜΑΪΟΣ 008) Να δείξετε ότι η παράγωγος της σταθερής συνάρτησης f (x) = c είναι (c) = 0. Έχουμε f (x+h) - f (x) = c - c = 0 και για h 0 είναι f (x + h) - f (x) 0 m

Διαβάστε περισσότερα

Για το Θέμα 1 στα Μαθηματικά Γενικής Παιδείας Γ Λυκείου

Για το Θέμα 1 στα Μαθηματικά Γενικής Παιδείας Γ Λυκείου Για το Θέμα 1 στα Μαθηματικά Γενικής Παιδείας Γ Λυκείου Διαφορικός Λογισμός 1. Ισχύει f (g())) ) f ( = f (g())g () όπου f,g παραγωγίσιµες συναρτήσεις 2. Αν µια συνάρτηση f είναι παραγωγίσιµη σε ένα διάστηµα

Διαβάστε περισσότερα

Πιθανότητες & Τυχαία Σήματα. Διγαλάκης Βασίλης

Πιθανότητες & Τυχαία Σήματα. Διγαλάκης Βασίλης Πιθανότητες & Τυχαία Σήματα Διγαλάκης Βασίλης Τυχαία Σήματα Γενίκευση τυχαίων διανυσμάτων Άπειρο σύνολο πιθανά αριθμήσιμο από τυχαίες μεταβλητές Παραδείγματα τυχαίων σημάτων: Τηλεπικοινωνίες: Σήμα πληροφορίας

Διαβάστε περισσότερα

Χρήστος Ξενάκης. Πανεπιστήμιο Πειραιώς, Τμήμα Ψηφιακών Συστημάτων

Χρήστος Ξενάκης. Πανεπιστήμιο Πειραιώς, Τμήμα Ψηφιακών Συστημάτων ΘΕΩΡΙΑ ΠΛΗΡΟΦΟΡΙΑΣ Κεφάλαιο 10 : Κωδικοποίηση καναλιού Χρήστος Ξενάκης Πανεπιστήμιο Πειραιώς, Τμήμα Ψηφιακών Συστημάτων Περιεχόμενα Ομιλίας Απόσταση και βάρος Hamming Τεχνικές και κώδικες ανίχνευσης &

Διαβάστε περισσότερα

Η Θεωρία στα Μαθηματικά κατεύθυνσης της Γ Λυκείου

Η Θεωρία στα Μαθηματικά κατεύθυνσης της Γ Λυκείου Η Θεωρία στα Μαθηματικά κατεύθυνσης της Γ Λυκείου wwwaskisopolisgr έκδοση 5-6 wwwaskisopolisgr ΣΥΝΑΡΤΗΣΕΙΣ 5 Τι ονομάζουμε πραγματική συνάρτηση; Έστω Α ένα υποσύνολο του Ονομάζουμε πραγματική συνάρτηση

Διαβάστε περισσότερα

Λύσεις των θεμάτων ΔΕΥΤΕΡΑ 19 ΙΟΥΝΙΟΥ 2017 ΜΑΘΗΜΑΤΙΚΑ ΚΑΙ ΣΤΟΙΧΕΙΑ ΣΤΑΤΙΣΤΙΚΗΣ ΓΕΝΙΚΗΣ ΠΑΙΔΕΙΑΣ

Λύσεις των θεμάτων ΔΕΥΤΕΡΑ 19 ΙΟΥΝΙΟΥ 2017 ΜΑΘΗΜΑΤΙΚΑ ΚΑΙ ΣΤΟΙΧΕΙΑ ΣΤΑΤΙΣΤΙΚΗΣ ΓΕΝΙΚΗΣ ΠΑΙΔΕΙΑΣ ΠΑΝΕΛΛΗΝΙΕΣ ΕΞΕΤΑΣΕΙΣ Γ ΤΑΞΗΣ ΗΜΕΡΗΣΙΟΥ ΓΕΝΙΚΟΥ ΛΥΚΕΙΟΥ ΜΑΘΗΜΑΤΙΚΑ ΚΑΙ ΣΤΟΙΧΕΙΑ ΣΤΑΤΙΣΤΙΚΗΣ ΓΕΝΙΚΗΣ ΠΑΙΔΕΙΑΣ ΔΕΥΤΕΡΑ 19 ΙΟΥΝΙΟΥ 017 Λύσεις των θεμάτων Έκδοση η (0/06/017, 1:00) ΠΑΝΕΛΛΗΝΙΕΣ ΕΞΕΤΑΣΕΙΣ Γ

Διαβάστε περισσότερα

4. ΚΕΦΑΛΑΙΟ ΕΦΑΡΜΟΓΕΣ ΤΟΥ ΜΕΤΑΣΧΗΜΑΤΙΣΜΟΥ FOURIER

4. ΚΕΦΑΛΑΙΟ ΕΦΑΡΜΟΓΕΣ ΤΟΥ ΜΕΤΑΣΧΗΜΑΤΙΣΜΟΥ FOURIER 4. ΚΕΦΑΛΑΙΟ ΕΦΑΡΜΟΓΕΣ ΤΟΥ ΜΕΤΑΣΧΗΜΑΤΙΣΜΟΥ FOURIER Σκοπός του κεφαλαίου είναι να παρουσιάσει μερικές εφαρμογές του Μετασχηματισμού Fourier (ΜF). Ειδικότερα στο κεφάλαιο αυτό θα περιγραφούν έμμεσοι τρόποι

Διαβάστε περισσότερα

ΕΡΩΤΗΣΕΙΣ ΣΩΣΤΟ ΛΑΘΟΣ ΣΤΑ ΜΑΘΗΜΑΤΙΚΑ ΓΕΝΙΚΗΣ ΠΑΙΔΕΙΑΣ Γ ΛΥΚΕΙΟΥ

ΕΡΩΤΗΣΕΙΣ ΣΩΣΤΟ ΛΑΘΟΣ ΣΤΑ ΜΑΘΗΜΑΤΙΚΑ ΓΕΝΙΚΗΣ ΠΑΙΔΕΙΑΣ Γ ΛΥΚΕΙΟΥ ΕΡΩΤΗΣΕΙΣ ΣΩΣΤΟ ΛΑΘΟΣ ΣΤΑ ΜΑΘΗΜΑΤΙΚΑ ΓΕΝΙΚΗΣ ΠΑΙΔΕΙΑΣ Γ ΛΥΚΕΙΟΥ Nα χαρακτηρίσετε τις προτάσεις που ακλουθούν γράφοντας στο τετράδιο σας την ένδειξη Σωστό ή Λάθος δίπλα στο γράμμα που αντιστοιχεί σε κάθε

Διαβάστε περισσότερα

Τυχαίες Μεταβλητές. Ορισμός

Τυχαίες Μεταβλητές. Ορισμός Τυχαίες Μεταβλητές Ορισμός Μία τυχαία μεταβλητή (τ.μ.) είναι μία συνάρτηση (ή μία μεταβλητή) η οποία καθορίζει αριθμητικές τιμές σε μία ποσότητα που σχετίζεται με το αποτέλεσμα ενός πειράματος, όπου μία

Διαβάστε περισσότερα

Γιατί πιθανότητες; Γιατί πιθανότητες; Θεωρία πιθανοτήτων. Θεωρία Πιθανοτήτων. ΗΥ118, Διακριτά Μαθηματικά Άνοιξη 2017.

Γιατί πιθανότητες; Γιατί πιθανότητες; Θεωρία πιθανοτήτων. Θεωρία Πιθανοτήτων. ΗΥ118, Διακριτά Μαθηματικά Άνοιξη 2017. HY118-Διακριτά Μαθηματικά Τρίτη, 02/05/2017 Θεωρία πιθανοτήτων Αντώνης Α. Αργυρός e-mail: argyros@csd.uoc.gr 04-May-17 1 1 04-May-17 2 2 Γιατί πιθανότητες; Γιατί πιθανότητες; Στον προτασιακό και κατηγορηματικό

Διαβάστε περισσότερα

0x2 = 2. = = δηλαδή η f δεν. = 2. Άρα η συνάρτηση f δεν είναι συνεχής στο [0,3]. Συνεπώς δεν. x 2. lim f (x) = lim (2x 1) = 3 και x 2 x 2

0x2 = 2. = = δηλαδή η f δεν. = 2. Άρα η συνάρτηση f δεν είναι συνεχής στο [0,3]. Συνεπώς δεν. x 2. lim f (x) = lim (2x 1) = 3 και x 2 x 2 ΚΕΦΑΛΑΙΟ ο: ΣΥΝΑΡΤΗΣΕΙΣ - ΟΡΙΟ - ΣΥΝΕΧΕΙΑ ΣΥΝΑΡΤΗΣΗΣ ΕΝΟΤΗΤΑ 8: ΘΕΩΡΗΜΑ BOLZANO - ΠΡΟΣΗΜΟ ΣΥΝΑΡΤΗΣΗΣ - ΘΕΩΡΗΜΑ ΕΝΔΙΑΜΕΣΩΝ ΤΙΜΩΝ - ΘΕΩΡΗΜΑ ΜΕΓΙΣΤΗΣ ΚΑΙ ΕΛΑΧΙΣΤΗΣ ΤΙΜΗΣ - ΣΥΝΟΛΟ ΤΙΜΩΝ ΣΥΝΕΧΟΥΣ ΣΥΝΑΡΤΗΣΗΣ

Διαβάστε περισσότερα

ΘΕΜΑ 3 Το ύψος κύματος (σε μέτρα) σε μία συγκεκριμένη θαλάσσια περιοχή είναι τυχαία μεταβλητή X με συνάρτηση πυκνότητας πιθανότητας

ΘΕΜΑ 3 Το ύψος κύματος (σε μέτρα) σε μία συγκεκριμένη θαλάσσια περιοχή είναι τυχαία μεταβλητή X με συνάρτηση πυκνότητας πιθανότητας ΣΧΟΛΗ ΝΑΥΤΙΚΩΝ ΔΟΚΙΜΩΝ TOMEAΣ ΜΑΘΗΜΑΤΙΚΩΝ ΕΞΕΤΑΣΕΙΣ ΕΠΙΛΟΓΗΣ ΓΙΑ ΕΚΠΑΙΔΕΥΣΗ ΣΤΟ ΕΞΩΤΕΡΙΚΟ ΠΙΘΑΝΟΤΗΤΕΣ - ΣΤΑΤΙΣΤΙΚΗ 26 Σεπτεμβρίου 2014 Ομάδα Θεμάτων Α ΘΕΜΑ 1 Ρίχνουμε ένα αμερόληπτο νόμισμα (δύο δυνατά

Διαβάστε περισσότερα

P (A B) = P (AB) P (B) P (A B) = P (A) P (A B) = P (A) P (B)

P (A B) = P (AB) P (B) P (A B) = P (A) P (A B) = P (A) P (B) Πιθανότητες και Αρχές Στατιστικής (4η Διάλεξη) Σωτήρης Νικολετσέας, καθηγητής Τμήμα Μηχανικών Η/Υ & Πληροφορικής, Πανεπιστήμιο Πατρών Ακαδημαϊκό Ετος 2017-2018 Σωτήρης Νικολετσέας, καθηγητής 1 / 39 Περιεχόμενα

Διαβάστε περισσότερα

Βασικά στοιχεία της θεωρίας πιθανοτήτων

Βασικά στοιχεία της θεωρίας πιθανοτήτων Η έννοια του Πειράµατος Τύχης. 9 3 6 Το σύνολο των πιθανών εκβάσεων ενός πειράµατος τύχης καλείται δειγµατοχώρος ή δειγµατικόςχώρος (sample space)καισυµβολίζεταιµεωήµε S.Έναστοιχείοωήsτου δειγµατικού χώρου

Διαβάστε περισσότερα

II. Συναρτήσεις. math-gr

II. Συναρτήσεις. math-gr II Συναρτήσεις Παντελής Μπουμπούλης, MSc, PhD σελ blogspotcom, bouboulismyschgr ΜΕΡΟΣ 1 ΣΥΝΑΡΤΗΣΕΙΣ Α Βασικές Έννοιες Ορισμός: Έστω Α ένα υποσύνολο του συνόλου των πραγματικών αριθμών R Ονομάζουμε πραγματική

Διαβάστε περισσότερα

Βασικά στοιχεία της θεωρίας πιθανοτήτων

Βασικά στοιχεία της θεωρίας πιθανοτήτων Η έννοια του Πειράµατος Τύχης. 9 3 Το σύνολο των πιθανών εκβάσεων ενός πειράµατος τύχης καλείται δειγµατοχώρος ήδειγµατικόςχώρος (sample space)καισυµβολίζεταιµεωήµε S.Έναστοιχείοω ή s του δειγµατικού χώρου

Διαβάστε περισσότερα

1. Πείραμα τύχης. 2. Δειγματικός Χώρος ΣΤΟΙΧΕΙΑ ΑΠΟ ΤΗ ΘΕΩΡΙΑ ΠΙΘΑΝΟΤΗΤΩΝ

1. Πείραμα τύχης. 2. Δειγματικός Χώρος ΣΤΟΙΧΕΙΑ ΑΠΟ ΤΗ ΘΕΩΡΙΑ ΠΙΘΑΝΟΤΗΤΩΝ 1 ΣΤΟΙΧΕΙ ΠΟ ΤΗ ΘΕΩΡΙ ΠΙΘΝΟΤΗΤΩΝ 1. Πείραμα τύχης Πείραμα τύχης (π.τ.) ονομάζουμε κάθε πείραμα που μπορεί να επαναληφθεί όσες φορές επιθυμούμε υπό τις ίδιες συνθήκες και του οποίου το αποτέλεσμα είναι

Διαβάστε περισσότερα

Εισαγωγικά Παραδείγματα: Παρατηρήσεις:

Εισαγωγικά Παραδείγματα: Παρατηρήσεις: 1 Εισαγωγικά Η έννοια του συνόλου είναι πρωταρχική στα Μαθηματικά, δεν μπορεί δηλ. να οριστεί από άλλες έννοιες. Γενικά, μπορούμε να πούμε ότι σύνολο είναι μια συλλογή αντικειμένων. υτά λέμε ότι περιέχονται

Διαβάστε περισσότερα

ΣΤΑΤΙΣΤΙΚΟΙ ΠΙΝΑΚΕΣ. ΓΕΝΙΚΟΙ (περιέχουν όλες τις πληροφορίες που προκύπτουν από μια στατιστική έρευνα) ΕΙΔΙΚΟΙ ( είναι συνοπτικοί και σαφείς )

ΣΤΑΤΙΣΤΙΚΟΙ ΠΙΝΑΚΕΣ. ΓΕΝΙΚΟΙ (περιέχουν όλες τις πληροφορίες που προκύπτουν από μια στατιστική έρευνα) ΕΙΔΙΚΟΙ ( είναι συνοπτικοί και σαφείς ) Πληθυσμός (populaton) ονομάζεται ένα σύνολο, τα στοιχεία του οποίου εξετάζουμε ως προς τα χαρακτηριστικά τους. Μεταβλητές (varables ) ονομάζονται τα χαρακτηριστικά ως προς τα οποία εξετάζουμε έναν πληθυσμό.

Διαβάστε περισσότερα

ΚΕΦΑΛΑΙΟ 7 ΕΠΕΞΕΡΓΑΣΙΑ ΚΑΙ ΜΕΤΑΔΟΣΗ ΨΗΦΙΑΚΩΝ ΔΕΔΟΜΕΝΩΝ

ΚΕΦΑΛΑΙΟ 7 ΕΠΕΞΕΡΓΑΣΙΑ ΚΑΙ ΜΕΤΑΔΟΣΗ ΨΗΦΙΑΚΩΝ ΔΕΔΟΜΕΝΩΝ ΚΕΦΑΛΑΙΟ 7 ΕΠΕΞΕΡΓΑΣΙΑ ΚΑΙ ΜΕΤΑΔΟΣΗ ΨΗΦΙΑΚΩΝ ΔΕΔΟΜΕΝΩΝ 1 ΕΙΣΑΓΩΓΗ Ο πραγματικός κόσμος είναι ένας αναλογικός κόσμος. Όλα τα μεγέθη παίρνουν τιμές με άπειρη ακρίβεια. Π.χ. το ηλεκτρικό σήμα τάσης όπου κάθε

Διαβάστε περισσότερα

Σεραφείµ Καραµπογιάς. Πηγές Πληροφορίας και Κωδικοποίηση Πηγής 6.3-1

Σεραφείµ Καραµπογιάς. Πηγές Πληροφορίας και Κωδικοποίηση Πηγής 6.3-1 Ο αλγόριθµος Lempel-iv Ο αλγόριθµος Lempel-iv ανήκει στην κατηγορία των καθολικών universal αλγορίθµων κωδικοποίησης πηγής δηλαδή αλγορίθµων που είναι ανεξάρτητοι από τη στατιστική της πηγής. Ο αλγόριθµος

Διαβάστε περισσότερα

Στατιστική είναι το σύνολο των μεθόδων και θεωριών που εφαρμόζονται σε αριθμητικά δεδομένα προκειμένου να ληφθεί κάποια απόφαση σε συνθήκες

Στατιστική είναι το σύνολο των μεθόδων και θεωριών που εφαρμόζονται σε αριθμητικά δεδομένα προκειμένου να ληφθεί κάποια απόφαση σε συνθήκες Ορισμός Στατιστική είναι το σύνολο των μεθόδων και θεωριών που εφαρμόζονται σε αριθμητικά δεδομένα προκειμένου να ληφθεί κάποια απόφαση σε συνθήκες αβεβαιότητας. Βασικές έννοιες Η μελέτη ενός πληθυσμού

Διαβάστε περισσότερα

K24 Ψηφιακά Ηλεκτρονικά 6: Πολυπλέκτες/Αποπολυπλέκτες

K24 Ψηφιακά Ηλεκτρονικά 6: Πολυπλέκτες/Αποπολυπλέκτες K24 Ψηφιακά Ηλεκτρονικά 6: Πολυπλέκτες/Αποπολυπλέκτες TEI Πελοποννήσου Σχολή Τεχνολογικών Εφαρμογών Τμήμα Μηχανικών Πληροφορικής ΤΕ ΤΕΧΝΟΛΟΓΙΚΟ Περιεχόμενα 1 2 3 4 Λειτουργία Πολυπλέκτης (Mul plexer) Ο

Διαβάστε περισσότερα

Μέρος IV. Πολυδιάστατες τυχαίες μεταβλητές. Πιθανότητες & Στατιστική 2017 Τμήμα Μηχανικών Η/Υ & Πληροφορικής, Παν. Ιωαννίνων Δ15 ( 1 )

Μέρος IV. Πολυδιάστατες τυχαίες μεταβλητές. Πιθανότητες & Στατιστική 2017 Τμήμα Μηχανικών Η/Υ & Πληροφορικής, Παν. Ιωαννίνων Δ15 ( 1 ) Μέρος IV Πολυδιάστατες τυχαίες μεταβλητές Πιθανότητες & Στατιστική 07 Τμήμα Μηχανικών Η/Υ & Πληροφορικής Παν. Ιωαννίνων Δ5 ( ) Πολυδιάστατες μεταβλητές Πολλά ποσοτικά χαρακτηριστικά που σχετίζονται με

Διαβάστε περισσότερα

Φεργαδιώτης Αθανάσιος ΤΡΑΠΕΖΑ ΘΕΜΑΤΩΝ ΣΤΗΝ ΑΛΓΕΒΡΑ Α ΛΥΚΕΙΟΥ. Θέμα 2 ο (150)

Φεργαδιώτης Αθανάσιος ΤΡΑΠΕΖΑ ΘΕΜΑΤΩΝ ΣΤΗΝ ΑΛΓΕΒΡΑ Α ΛΥΚΕΙΟΥ. Θέμα 2 ο (150) Φεργαδιώτης Αθανάσιος ΤΡΑΠΕΖΑ ΘΕΜΑΤΩΝ ΣΤΗΝ ΑΛΓΕΒΡΑ Α ΛΥΚΕΙΟΥ Θέμα ο (150) -- Τράπεζα θεμάτων Άλγεβρας Α Λυκείου Φεργαδιώτης Αθανάσιος -3- Τράπεζα θεμάτων Άλγεβρας Α Λυκείου Φεργαδιώτης Αθανάσιος ΚΕΦΑΛΑΙΟ

Διαβάστε περισσότερα

Μιγαδική ανάλυση Μέρος Α Πρόχειρες σημειώσεις 1. Μιγαδικοί αριθμοί. ΤΕΤΥ Εφαρμοσμένα Μαθηματικά Μιγαδική Ανάλυση Α 1

Μιγαδική ανάλυση Μέρος Α Πρόχειρες σημειώσεις 1. Μιγαδικοί αριθμοί. ΤΕΤΥ Εφαρμοσμένα Μαθηματικά Μιγαδική Ανάλυση Α 1 ΤΕΤΥ Εφαρμοσμένα Μαθηματικά Μιγαδική Ανάλυση Α 1 Μιγαδική ανάλυση Μέρος Α Πρόχειρες σημειώσεις 1 Μιγαδικοί αριθμοί Τι είναι και πώς τους αναπαριστούμε Οι μιγαδικοί αριθμοί είναι μια επέκταση του συνόλου

Διαβάστε περισσότερα

ΓΕ.Λ ΕΞΑΠΛΑΤΑΝΟΥ ΣΧΟΛΙΚΟ ΕΤΟΣ : ΤΡΑΠΕΖΑ ΘΕΜΑΤΩΝ ΑΛΓΕΒΡΑΣ Α ΛΥΚΕΙΟΥ. 1 ) Αν Α και Β είναι δύο ασυμβίβαστα ενδεχόμενα ενός δειγματικού χώρου

ΓΕ.Λ ΕΞΑΠΛΑΤΑΝΟΥ ΣΧΟΛΙΚΟ ΕΤΟΣ : ΤΡΑΠΕΖΑ ΘΕΜΑΤΩΝ ΑΛΓΕΒΡΑΣ Α ΛΥΚΕΙΟΥ. 1 ) Αν Α και Β είναι δύο ασυμβίβαστα ενδεχόμενα ενός δειγματικού χώρου ΓΕΛ ΕΞΑΠΛΑΤΑΝΟΥ ΣΧΟΛΙΚΟ ΕΤΟΣ : 013-014 ΤΡΑΠΕΖΑ ΘΕΜΑΤΩΝ ΑΛΓΕΒΡΑΣ Α ΛΥΚΕΙΟΥ ΘΕΜΑ 1 Ο - Α ( απόδειξη θεωρήματος) 1 ) Αν Α και Β είναι δύο ασυμβίβαστα ενδεχόμενα ενός δειγματικού χώρου Ω, τότε να αποδείξετε

Διαβάστε περισσότερα

Για να εκφράσουμε τη διαδικασία αυτή, γράφουμε: :

Για να εκφράσουμε τη διαδικασία αυτή, γράφουμε: : Η θεωρία στα μαθηματικά προσανατολισμού Γ υκείου Τι λέμε συνάρτηση με πεδίο ορισμού το σύνολο ; Έστω ένα υποσύνολο του Ονομάζουμε πραγματική συνάρτηση με πεδίο ορισμού το μία διαδικασία (κανόνα), με την

Διαβάστε περισσότερα

ΕΙΣΑΓΩΓΗ ΣΤΗΝ ΣΤΑΤΙΣΤΙΚΗ ΤΩΝ ΕΠΙΧΕΙΡΗΣΕΩΝ. Κεφάλαιο 6. Πιθανότητες

ΕΙΣΑΓΩΓΗ ΣΤΗΝ ΣΤΑΤΙΣΤΙΚΗ ΤΩΝ ΕΠΙΧΕΙΡΗΣΕΩΝ. Κεφάλαιο 6. Πιθανότητες ΤΕΧΝΟΛΟΓΙΚΟ ΕΚΠΑΙΔΕΥΤΙΚΟ ΙΔΡΥΜΑ ΔΥΤΙΚΗΣ ΕΛΛΑΔΑΣ ΤΜΗΜΑ ΔΙΟΙΚΗΣΗΣ ΕΠΙΧΕΙΡΗΣΕΩΝ ΠΑΤΡΑΣ Εργαστήριο Λήψης Αποφάσεων & Επιχειρησιακού Προγραμματισμού Καθηγητής Ι. Μητρόπουλος ΕΙΣΑΓΩΓΗ ΣΤΗΝ ΣΤΑΤΙΣΤΙΚΗ ΤΩΝ ΕΠΙΧΕΙΡΗΣΕΩΝ

Διαβάστε περισσότερα

ΕΕ728 Προχωρηµένα Θέµατα Θεωρίας Πληροφορίας 2η διάλεξη (3η έκδοση, 11/3)

ΕΕ728 Προχωρηµένα Θέµατα Θεωρίας Πληροφορίας 2η διάλεξη (3η έκδοση, 11/3) ΕΕ728 Προχωρηµένα Θέµατα Θεωρίας Πληροφορίας 2η διάλεξη (3η έκδοση, 11/3) ηµήτρης-αλέξανδρος Τουµπακάρης Τµήµα ΗΜ&ΤΥ, Πανεπιστήµιο Πατρών 19 Φεβρουαρίου 2013 ηµήτρης-αλέξανδρος Τουµπακάρης Προχωρηµένα

Διαβάστε περισσότερα

Ξέρουμε ότι: Συνάρτηση-απεικόνιση με πεδίο ορισμού ένα σύνολο Α και πεδίο τιμών ένα σύνολο Β είναι κάθε μονοσήμαντη απεικόνιση f του Α στο Β.

Ξέρουμε ότι: Συνάρτηση-απεικόνιση με πεδίο ορισμού ένα σύνολο Α και πεδίο τιμών ένα σύνολο Β είναι κάθε μονοσήμαντη απεικόνιση f του Α στο Β. Η έννοια της ακολουθίας Ξέρουμε ότι: Συνάρτηση-απεικόνιση με πεδίο ορισμού ένα σύνολο Α και πεδίο τιμών ένα σύνολο Β είναι κάθε μονοσήμαντη απεικόνιση f του Α στο Β. Δηλαδή: f : A B Η ακολουθία είναι συνάρτηση.

Διαβάστε περισσότερα

Υπολογιστικά & Διακριτά Μαθηματικά

Υπολογιστικά & Διακριτά Μαθηματικά Υπολογιστικά & Διακριτά Μαθηματικά Ενότητα 4: Διατάξεις Μεταθέσεις Συνδυασμοί Στεφανίδης Γεώργιος Άδειες Χρήσης Το παρόν εκπαιδευτικό υλικό υπόκειται σε άδειες χρήσης Creative Commons. Για εκπαιδευτικό

Διαβάστε περισσότερα

Θεωρία Υπολογισμού και Πολυπλοκότητα Μαθηματικό Υπόβαθρο

Θεωρία Υπολογισμού και Πολυπλοκότητα Μαθηματικό Υπόβαθρο Θεωρία Υπολογισμού και Πολυπλοκότητα Μαθηματικό Υπόβαθρο Στην ενότητα αυτή θα μελετηθούν τα εξής επιμέρους θέματα: Σύνολα Συναρτήσεις και Σχέσεις Γραφήματα Λέξεις και Γλώσσες Αποδείξεις ΕΠΛ 211 Θεωρία

Διαβάστε περισσότερα

ΜΟΝΤΕΛΟΠΟΙΗΣΗ ΔΙΑΚΡΙΤΩΝ ΕΝΑΛΛΑΚΤΙΚΩΝ ΣΕ ΠΡΟΒΛΗΜΑΤΑ ΣΧΕΔΙΑΣΜΟΥ ΚΑΙ ΣΥΝΘΕΣΗΣ ΔΙΕΡΓΑΣΙΩΝ

ΜΟΝΤΕΛΟΠΟΙΗΣΗ ΔΙΑΚΡΙΤΩΝ ΕΝΑΛΛΑΚΤΙΚΩΝ ΣΕ ΠΡΟΒΛΗΜΑΤΑ ΣΧΕΔΙΑΣΜΟΥ ΚΑΙ ΣΥΝΘΕΣΗΣ ΔΙΕΡΓΑΣΙΩΝ ΜΕΡΟΣ ΙΙ ΜΟΝΤΕΛΟΠΟΙΗΣΗ ΔΙΑΚΡΙΤΩΝ ΕΝΑΛΛΑΚΤΙΚΩΝ ΣΕ ΠΡΟΒΛΗΜΑΤΑ ΣΧΕΔΙΑΣΜΟΥ ΚΑΙ ΣΥΝΘΕΣΗΣ ΔΙΕΡΓΑΣΙΩΝ 36 ΜΟΝΤΕΛΟΠΟΙΗΣΗ ΔΙΑΚΡΙΤΩΝ ΕΝΑΛΛΑΚΤΙΚΩΝ ΣΕ ΠΡΟΒΛΗΜΑΤΑ ΣΧΕΔΙΑΣΜΟΥ ΚΑΙ ΣΥΝΘΕΣΗΣ ΔΙΕΡΓΑΣΙΩΝ Πολλές από τις αποφάσεις

Διαβάστε περισσότερα

Ποσοτικές Μέθοδοι στη Διοίκηση Επιχειρήσεων ΙΙ Σύνολο- Περιεχόμενο Μαθήματος

Ποσοτικές Μέθοδοι στη Διοίκηση Επιχειρήσεων ΙΙ Σύνολο- Περιεχόμενο Μαθήματος Ποσοτικές Μέθοδοι στη Διοίκηση Επιχειρήσεων ΙΙ Σύνολο- Περιεχόμενο Μαθήματος Χιωτίδης Γεώργιος Τμήμα Λογιστικής και Χρηματοοικονομικής Άδειες Χρήσης Το παρόν εκπαιδευτικό υλικό υπόκειται σε άδειες χρήσης

Διαβάστε περισσότερα

ΑΛΓΕΒΡΑ Α ΛΥΚΕΙΟΥ. 118 ερωτήσεις θεωρίας με απάντηση 324 416 ασκήσεις για λύση. 20 συνδυαστικά θέματα εξετάσεων

ΑΛΓΕΒΡΑ Α ΛΥΚΕΙΟΥ. 118 ερωτήσεις θεωρίας με απάντηση 324 416 ασκήσεις για λύση. 20 συνδυαστικά θέματα εξετάσεων ΑΛΓΕΒΡΑ Α ΛΥΚΕΙΟΥ 118 ερωτήσεις θεωρίας με απάντηση 34 416 ασκήσεις για λύση ερωτήσεις κατανόησης λυμένα παραδείγματα 0 συνδυαστικά θέματα εξετάσεων Π Ε Ρ Ι Ε Χ Ο Μ Ε Ν Α Εισαγωγική ενότητα Το λεξιλόγιο

Διαβάστε περισσότερα

Περιεχόμενα. Πρόλογος 3

Περιεχόμενα. Πρόλογος 3 Πρόλογος Τα πρώτα μαθήματα, σχεδόν σε όλους τους κλάδους των μαθηματικών, περιέχουν, ή θεωρούν γνωστές, εισαγωγικές έννοιες που αφορούν σύνολα, συναρτήσεις, σχέσεις ισοδυναμίας, αλγεβρικές δομές, κλπ.

Διαβάστε περισσότερα

Εξομοίωση Τηλεπικοινωνιακού Συστήματος Βασικής Ζώνης

Εξομοίωση Τηλεπικοινωνιακού Συστήματος Βασικής Ζώνης Πανεπιστήμιο Πατρών Τμήμα Μηχ. Η/Υ & Πληροφορικής Ακαδημαϊκό Έτος 009-010 Ψ Η Φ Ι Α Κ Ε Σ Τ Η Λ Ε Π Ι Κ Ο Ι Ν Ω Ν Ι ΕΣ η Εργαστηριακή Άσκηση: Εξομοίωση Τηλεπικοινωνιακού Συστήματος Βασικής Ζώνης Στην άσκηση

Διαβάστε περισσότερα

Η έννοια του συνόλου. Εισαγωγικό κεφάλαιο 27

Η έννοια του συνόλου. Εισαγωγικό κεφάλαιο 27 Εισαγωγικό κεφάλαιο 27 Η έννοια του συνόλου Σύνολο είναι κάθε συλλογή αντικειμένων, που προέρχονται από την εμπειρία μας ή τη διανόησή μας, είναι καλά ορισμένα και διακρίνονται το ένα από το άλλο. Αυτός

Διαβάστε περισσότερα

Ελλιπή δεδομένα. Εδώ έχουμε 1275. Στον πίνακα που ακολουθεί δίνεται η κατά ηλικία κατανομή 1275 ατόμων

Ελλιπή δεδομένα. Εδώ έχουμε 1275. Στον πίνακα που ακολουθεί δίνεται η κατά ηλικία κατανομή 1275 ατόμων Ελλιπή δεδομένα Στον πίνακα που ακολουθεί δίνεται η κατά ηλικία κατανομή 75 ατόμων Εδώ έχουμε δ 75,0 75 5 Ηλικία Συχνότητες f 5-4 70 5-34 50 35-44 30 45-54 465 55-64 335 Δεν δήλωσαν 5 Σύνολο 75 Μπορεί

Διαβάστε περισσότερα

Pr(10 X 15) = Pr(15 X 20) = 1/2, (10.2)

Pr(10 X 15) = Pr(15 X 20) = 1/2, (10.2) Κεφάλαιο 10 Συνεχείς τυχαίες μεταβλητές Σε αυτό το κεφάλαιο θα εξετάσουμε τις ιδιότητες που έχουν οι συνεχείς τυχαίες μεταβλητές. Εκείνες οι Τ.Μ. X, δηλαδή, των οποίων το σύνολο τιμών δεν είναι διακριτό,

Διαβάστε περισσότερα