ΜΑΘΗΜΑ ΘΕΩΡΙΑ ΠΛΗΡΟΦΟΡΙΑΣ. Θεωρία Πληροφορίας: Σύντομη Ιστορία. Γ. Κοντογιάννης Ο.Π.Α.

Transcript

1 ΜΑΘΗΜΑ ΘΕΩΡΙΑ ΠΛΗΡΟΦΟΡΙΑΣ Θεωρία Πληροφορίας: Σύντομη Ιστορία Γ. Κοντογιάννης Ο.Π.Α. Φεβρουάριος 2017

2 Τι Είναι η Θεωρία Πληροφορίας; «Γεννημένη» το 1948, είναι η μαθηματική βάση και η θεωρητική θεμελίωση της θεωρίας (τηλ-)επικοινωνιών Ποσοτικοποιεί την έννοια της πληροφορίας Τρία βασικά προβλήματα Αναπωλειακή συμπίεση σήματος: = απομάκρυνση του «πλεονασμού» δηλ. οποιασδήποτε επαναλαμβανόμενης ή μη αναγκαίας πληροφορίας Συμπίεση σήματος με απώλειες: = απομάκρυνση πλεονασμού και «θορύβου» Διόρθωση λαθών: = προσθήκη πλεονασμού για την καταπολέμηση του θορύβου

3 Τι Είναι η Πληροφορία; Είναι αυτό το οποίο απομένει σε ένα μήνυμα όταν έχει απομακρυνθεί κάθε «πλεονασμός» Π.χ. το μήνυμα δεν περιέχει «καθόλου» πληροφορία, ενώ το τυχαίο περιέχει το μέγιστο δυνατό ποσό πληροφορίας, 20 bits Άρα το «ποσό πληροφορίας» σε ένα μήνυμα σχετίζεται άμεσα με το «ποσό της τυχαιότητας» που περιέχει Στη θεωρία πληροφορίας, όπως και στη φυσική, αυτό ονομάζεται ΕΝΤΡΟΠΙΑ

4 Σχέση με Άλλες Περιοχές 1. Η Θ.Π. βασίζεται στις αρχές και τα εργαλεία της θεωρίας πιθανοτήτων 2. Οι βασικές ιδέες και τα θεμελιώδη προβλήματα προέρχονται κατά κύριο λόγο από τις επικοινωνίες 3. Άλλες περιοχές Επιστήμη Υπολ.: Πολυπλοκότητα Kolmogorov Φυσική: Θερμοδυναμική Οικονομικά: Επιλογή χαρτοφυλακίων Μαθηματικά: Ανισότητες Πιθανότητες: Ερμηνεία βασικών θεωρημάτων Στατιστική: Πληροφορία Fisher, μοντέλα

5 Rudold CLAUSIUS ( ) Ο «πατέρας» της ΕΝΤΡΟΠΙΑΣ στη φυσική Φυσικός από την Πρωσία (σημερινή Πολωνία) που: Ίδρυσε τη σύγχρονη θερμοδυναμική Εισήγαγε την έννοια της εντροπίας Διατύπωσε τον 1 ο και τον 2 ο νόμο της θερμοδυναμικής

6 Josiah Willard GIBBS ( ) Ο πρώτος (;) σημαντικός Αμερικανός φυσικός Γεννήθηκε και πέθανε στο Κονέκτικατ έζησε και στην Ευρώπη Συν-ιδρυτής της στατιστικής μηχανικής Προσδιόρισε την μαθηματική θεμελίωση της στατιστικής μηχανικής

7 Ludwig BOLTZMANN ( ) Αυστριακός φυσικός ο οποίος: Για πρώτη φορά έδωσε τύπο για την εντροπία Απέδειξε τον 2 ο νόμο της θερμοδ. από τα βασικά αξιώματα (γύρω στο 1890) Συν-ιδρυτής της στατιστικής μηχανικής (ανεξάρτητα από τον Gibbs) Υπολόγισε την κατανομή των μορίων ενός αερίου το 1871: κατανομή Maxwell-Boltzmann

8 Ludwig BOLTZMANN ( ) O Boltzmann: Ήταν από τους πρώτους υποστηρικτές της ατομικής θεώρησης της ύλης Είχε πολλούς εχθρούς στο επιστημονικό κατεστημένο της εποχής Σε μεγάλη κατάθλιψη και άρρωστος, κρεμάστηκε (σε διακοπές με τη γυναίκα και την κόρη του)

9 Ludwig BOLTZMANN ( ) Πολύ σύντομα μετά την αυτοκτονία του το 1906, νέα πειράματα επαλήθευσαν τη θεωρία του βασικού έργου της ζωής του ως προς τη μοριακή δομή της ύλης...

10 Albert EINSTEIN ( ) [A law] is more impressive the greater the simplicity of its premises, the more different are the kinds of things it relates, and the more extended its range of applicability. [ ] Classical thermodynamics [ ] is the only physical theory of universal content, which I am convinced, that within the framework of applicability of its basic concepts will never be overthrown. Albert Einstein, αναφορά στον M.J. Klein (1967)

11 Sir Arthur Stanley EDDINGTON ( ) The law that entropy always increases the second law of thermodynamics holds I think, the supreme position among the laws of Nature. If someone points out to you that your pet theory of the universe is in disagreement with Maxwell's equations, then so much the worse for Maxwell's equations. If it is found to be contradicted by observation, well these experimentalists do bungle things sometimes. But if your theory is found to be against the second law of thermodynamics, I can give you no hope; there is nothing for it but to collapse in deepest humiliation.

12 1948: Claude Ε. SHANNON και η Γέννηση της Θεωρίας Πληροφορίας AT&T R&D MILESTONES In 1948, Shannon published an article titled "The Mathematical Theory of Communication," which quickly became known as Information Theory. [ ] Using IT as a mathematical benchmark, engineers were finally able to provide efficient, error-free transmission over noisy channels. IT also made possible the development of digital systems, which handle voice, data, video, etc. Without Information Theory, the Web would not exist. Four years after he published his groundbreaking theory, Shannon invented an electrical mouse with a telephone relay switch brain. Its ability to find its way through a maze showed that computers could learn!

13 Claude E. SHANNON ( ) Σπουδαίος οραματιστής μηχανικός και μαθηματικός, του οποίου τα επιτεύγματα είχαν τεράστιες επιπτώσεις στην τεχνολογία του 20 ου αιώνα και στην κοινωνία γενικά...

14 Andrei N. KOLMOGOROV ( ) Ένας από τους μεγαλύτερους μαθηματικούς του 20 ου αιώνα Θεμελιώδης προσφορά σε ΠΟΛΛΑΠΛΟΥΣ τομείς των μαθηματικών! Π.χ. ίδρυσε τη σύγχρονη θεωρία πιθανοτήτων και τη σύγχρονη μελέτη της τύρβης στη μηχανική ρευστών! Ένας από τους πρώτους υποστηρικτές της θεωρίας πληροφορίας

15 Andrei N. KOLMOGOROV ( ) Information theory must precede probability theory and not be based on it. [...] The concepts of information theory as applied to infinite sequences [ ] can acquire a certain value in the investigation of the algorithmic side of mathematics as a whole. A. N. Kolmogorov, 1983