ΥΠΟΛΟΓΙΣΤΙΚΕΣ ΜΕΘΟ ΟΙ ΕΦΑΡΜΟΣΜΕΝΩΝ ΕΠΙΣΤΗΜΩΝ

Transcript

1 ΥΠΟΛΟΓΙΣΤΙΚΕΣ ΜΕΘΟ ΟΙ ΕΦΑΡΜΟΣΜΕΝΩΝ ΕΠΙΣΤΗΜΩΝ Γ. Θεοδώρου Γ. Θεοδώρου 1

2 Στόχος του μαθήματος είναι: 1) Η αντιμετώπιση της τυχαιότητας, 2) Η «Λογική» της νέας τεχνολογίας. Γ. Θεοδώρου 2

3 Αντιμετώπιση της τυχαιότητας Η ποιο γνωστή θεωρία είναι: Η θεωρία της πληροφορίας. Στόχος του μαθήματος είναι να κάνουμε μια εισαγωγή σε αυτή. Γ. Θεοδώρου 3

4 «Λογική» της τεχνολογίας Και η «Λογική» έχει τη δικιά της μαθηματική γλώσσα, που είναι η γλώσσα: Της θεωρίας των συνόλων Όταν η περίπτωση είναι πολύπλοκη, η απλούστερη προσέγγιση είναι να κάνουμε ομάδες. Έτσι προήλθαν τα «Σύνολα». Ο Αριστοτέλης το έκανε για τους θαλάσσιους οργανισμούς! Γ. Θεοδώρου 4

5 Καθένας από αυτούς τους κλάδους είναι εκτεταμένος. Θα επιχειρήσουμε να κάνουμε μια εισαγωγή. Θα κάνουμε επίσης μια εισαγωγή στη «Λογική», και πρέπει να κάνουμε μια εισαγωγή στην Αριθμητική των Συνόλων, και στη Μαθηματική Λογική. Γ. Θεοδώρου 5

6 ΠΕΡΙΕΧΟΜΕΝΑ 1. Κλασική θεωρία της πληροφορίας Εντροπία - Πληροφορία, αμοιβαία πληροφορία. Ανισότητα Jensen. Ασυμπτωτική συμπεριφορά της πιθανότητας. Τυπικές καταστάσεις. Κωδικοποίηση, ανισότητα Kraft. Μετάδοση της πληροφορίας, θεώρημα Shannon. ιαφορική εντροπία. 2. Εισαγωγή στη Μαθηματική Λογική Εισαγωγή στα σύνολα Εισαγωγή στο προτασιακό λογισμό. Εισαγωγή στη θεωρία αποδείξεων. Λογική πρώτης τάξης. Γ. Θεοδώρου 6

7 Εισαγωγή στη θεωρία γραφημάτων. Εφαρμογή στις Λογικές πύλες και Λογικά κυκλώματα. 3. Στοχαστικές διαδικασίες στα πλαίσια του Κεντρικού Οριακού Θεωρήματος Αξιώματα πιθανοτήτων. ιαδικασίες Markov. Στοχαστικές διαφορικές μεταβολές. Στοχαστικέςδιαφορικέςεξισώσεις, εξίσωση Langevin. Λήμμα Ito, εξίσωση Fokker-Planck. ιαδικασίες Wiener, διαδικασίες Ornstein-Uhlenbeck. ιαδικασίες Poisson. Παραβίαση του Κεντρικού Οριακού Θεωρήματος. Γ. Θεοδώρου 7

8 Βιβλία (βασικά) T.M. Cover and J.A. Thomas Elements of Information Theory. E. Mendelson Boolean Algebra & Switching Circuits. E. Mendelson Introduction to Mathematical Logic. (Subject: Discrete Mathematics). D.S. Lemons Introduction to Stochastic Processes in Physics. C.W. Gardiner Stochastic Methods. Γ. Θεοδώρου 8

9 Βιβλία (συμπληρωματικά) D.J.C. MacKay Information Theory, Inference, and Learning Algorithms. (Υπάρχει το ηλεκτρονικό βιβλίο). G.N. Van Kampen Stochastic Processes in Physics and Chemistry. A. Papoulis Probability, Random Variables, and Stochastic Processes. D.T. Gillespie Markov Processes: an introduction for physical scientists. J.E. Whitesitt Boolean Algebra and its Applications. Γ. Θεοδώρου 9

10 Τα Ηλεκτρονικά Βιβλία Τα ηλεκτρονικά βιβλία που έχει αγοράσει το Πανεπιστήμιο μπορούν να τα προμηθεύονται οι φοιτητές από τη βιβλιοθήκη. Η βιβλιοθήκη του πανεπιστημίου θα εμπλουτίζεται συνεχώς με ηλεκτρονικά βιβλία, όπως έγινε και με τα ηλεκτρονικά επιστημονικά περιοδικά. Με τον τρόπο αυτό, ο κάθε φοιτητής έχει τη δυνατότητα να δημιουργήσει τη δικιά του βιβλιοθήκη με ηλεκτρονικά βιβλία. Ενδεχομένως τα χάρτινα βιβλία να είναι πιο εύχρηστα (ιδιαίτερα για τους παλαιότερους!), όμως για πολλούς λόγους ήρθε η εποχή να εγκαταλειφτούν, όπως παλαιότερα εγκαταλείφτηκε η παραγωγή βιβλίων από περγαμηνή και πάπυρο. Τα δε εναπομείναντα έχουν γίνει μουσειακό είδος. Γ. Θεοδώρου 10

11 Εξετάσεις (στο τέλος του εξαμήνου) Εξετάσεις πάνω στη θεωρία, Προφορικές εξετάσεις στα προγράμματα, (Κάθε φοιτητής προσκομίζει νωρίτερα το CD του, με λυμένες τις ασκήσεις που δόθηκαν κατά τη διάρκεια του εξαμήνου). Γ. Θεοδώρου 11

12 Υπολογιστικές μέθοδοι 1. Προσδιοριστικά (Deterministic) Μαθηματικά: Απειροστικός λογισμός, ιαφορικές εξισώσεις, Αριθμητική ανάλυση, Ανυσματικός λογισμός,... Βασικό πεδίο εφαρμογής: Ουράνιος μηχανική. Νεύτωνας, Leibniz, 2. Στοχαστικά Μαθηματικά: Πιθανότητες, Στατιστική, Στοχαστικός Λογισμός, Θεωρία πληροφορίας,... Βασικό πεδίο εφαρμογής: Κίνηση Brown. Einstein, Wiener, Shannon, Mandelbrot, Γ. Θεοδώρου 12

13 Προσδιοριστικές (Deterministic) μέθοδοι: Τις έχετε μελετήσει σε πολλά μαθήματα. Στοχαστικές μέθοδοι: Την πιο εντυπωσιακή, και αναντικατάστατη, εφαρμογή των ηλεκτρονικών υπολογιστών, την έχει κανείς στη μελέτη στοχαστικών φαινομένων, όπου νέα εκτέλεση δίνει διαφορετικά αποτελέσματα. Η βασική διαφορά από τα προσδιοριστικά φαινόμενα είναι ότι, για την επόμενη χρονική στιγμή υπάρχουν πολλές επιλογές για τη κατάσταση, κάθε μια δε έχει και τη πιθανότητα της να συμβεί. Ένας γλαφυρός τρόπος παρουσίασης τους δίνεται, ως ένθετο, στην αρχή του βιβλίου: Statistics for Experimenters By: G.E.P. Box W.G. Hunter J.S. Hunter και παρουσιάζεται στην επόμενη σελίδα. Γ. Θεοδώρου 13

14 When the Lord created the word and people to live in it an enterprise which, according to modern science, took a very long time I would well imagine that He reasoned with Himself as follows: If I make everything predictable, these human beings, whom I endower with pretty good brain, will undoubtedly learn to predict everything, and they will thereupon have no motive to do anything at all, because they will recognize that the future is totally determined and cannot influenced by any human action. On the other hand, if I make everything unpredictable, they will gradually discover that there is no rational basis for any decision whatsoever and, as in the first case, they will thereupon have no motive to do anything at all. Neither scheme would make sense. I must therefore create a mixture of the two. Let some things be predictable and let others be unpredictable. They will then, among other things, have the very important task of finding out which is which. Απόσπασμα από το βιβλίο Small Is Beautiful, By E.F. Schumacher Γ. Θεοδώρου 14

15 Φυσική και πληροφορία Η θεωρία της πληροφορίας είναι μια θεωρία που μελετά συστήματα που μπορούν να βρεθούν σε διάφορες καταστάσεις, και υπάρχει συγχρόνως αβεβαιότητα ως προς τη κατάσταση που έχουν. Η βασική συνάρτηση της θεωρίας αυτής είναι η πληροφορία (ή εντροπία), που ορίζεται ως, S = piln p με p i την πιθανότητα να βρεθεί το σύστημα στη κατάσταση i. i Τη θεωρία αυτή τη ξεκίνησε ο Boltzmann για θερμοδυναμικά συστήματα. Είναι όμως μια γενική θεωρία και δεν αφορά μόνο αυτά. Η γενίκευση της οφείλεται στον Shannon Στόχος του μαθήματος είναι η Θεωρία της Πληροφορίας, δοσμένη από τη σκοπιά του φυσικού, που είναι γενική και σχετίζεται με μια πλειάδα εφαρμογών. Γ. Θεοδώρου 15 i

16 Υπολογιστικές μέθοδοι 3. Μαθηματικά της Λογικής: Τα μαθηματικά που έντονα αναπτύσσονται αυτή την εποχή, μπορούν να χαρακτηριστούν ως μαθηματικά για τη Λογική: Σύνολα, Προτασιακός Λογισμός, Άλγεβρα Boole, Υπολογιστικότητα, Πολυπλοκότητα,... Τα μαθηματικά αυτά εισάγουν και τις αντίστοιχες Υπολογιστικές μεθόδους. Βασικό πεδίο εφαρμογής: (Μαθηματική) Λογική. Αριστοτέλης, Γ. Θεοδώρου 16

17 Λογική Ο Αριστοτέλης, μας είναι γνωστός! Γ. Θεοδώρου 17

18 Προγραμματισμός Ένα βασικό στοιχείο των γνώσεων σας, είναι οι γλώσσες προγραμματισμού. Παρακάτω γίνεται μια σύντομη ανασκόπηση της εξέλιξης του προγραμματισμού, που πιστεύω ότι θα σας βοηθήσει να προγραμματίσετε καλύτερα τη φοίτηση σας στο μεταπτυχιακό. Παραδοσιακός Προγραμματισμός: Fortran, C, Lisp (Συμβολικός προγραμματισμός),... Προγραμματισμός ιαδικτύου: Java, JavaScript, HTML, XML, Παραθυρικός Προγραμματισμός: MATLAB, Octave (απλοποίηση των Fortran και C), Mathematica (απλοποίηση των Lisp-Macsyma). Οπτικός Προγραμματισμός: Visual Basic, SIMULINK,. Γ. Θεοδώρου 18

19 Σχόλια Ο παραδοσιακός προγραμματισμός ξεκίνησε με τις αρχικές γλώσσες, που είναι και οι γρηγορότερες, αλλά και οι λιγότερο φιλικές. Με την εξέλιξη των PC αναπτύχθηκαν οι γλώσσες του λεγόμενου παραθυρικού προγραμματισμού, οι οποίες είναι ποιο αργές από τις παραδοσιακές, αλλά πολύ φιλικότερες. Τέλος αναπτύχθηκε ο οπτικός προγραμματισμός, και οι γλώσσες της κατηγορίας αυτής είναι οι φιλικότερες, αλλά με τη μικρότερη ταχύτητα. Έτσι ο καθένας με την εμπειρία του, και τις υπολογιστικές του ανάγκες, επιλέγει τη γλώσσα που του ταιριάζει. Θέλω όμως να τονίσω ό,τι μπορεί το δρόμο να τον άνοιξαν οι παραδοσιακές γλώσσες προγραμματισμού, όμως το μεγάλο ενδιαφέρον για τους ηλεκτρονικούς υπολογιστές το δημιούργησαν τα φιλικά προγράμματα (και οι φτηνοί υπολογιστές!). Χρυσός κανόνας: Ότι κερδίζουμε σε ευκολία το χάνουμε σε ταχύτητα. Γ. Θεοδώρου 19