Πιθανότητες & Στατιστική (ΜΥΥ 304) Τμήμα Μηχανικών Η/Υ & Πληροφορικής Πανεπιστήμιο Ιωαννίνων

Transcript

1 Πιθανότητες & Στατιστική (ΜΥΥ 304) Τμήμα Μηχανικών Η/Υ & Πληροφορικής Πανεπιστήμιο Ιωαννίνων Σεπτέμβριος 2017

2 Πιθανότητες & Στατιστική Διδάσκων: Κ. Μπλέκας Βοηθός διδασκαλίας: Χρήστος Σπαθάρης (μεταπτ. φοιτητής) Ώρες διδασκαλίας: Θεωρία Τρίτη 9-11 (Αμφιθέατρο 1) Πέμπτη 9-11 (Αμφιθέατρο 1) Φροντιστήριο Τρίτη (Αιθ. Ι2) Πιθανότητες & Στατιστική 2017 Τμήμα Μηχανικών Η/Υ & Πληροφορικής, Παν. Ιωαννίνων Δ0 ( 2 )

3 Ιστοσελίδα του μαθήματος Ανανέωση ανά εβδομάδα Ημερολόγιο παραδόσεων του μαθήματος Σειρές ασκήσεων για παράδοση Ανακοινώσεις & πρόσθετο υλικό Πιθανότητες & Στατιστική 2017 Τμήμα Μηχανικών Η/Υ & Πληροφορικής, Παν. Ιωαννίνων Δ0 ( 3 )

4 Πιθανότητες & Στατιστική Τρόπος Βαθμολόγησης 4 ή 5 Σειρές Ασκήσεων (υποχρεωτικές) 15% Τελικό διαγώνισμα Ιανουαρίου 90% Εξετάσεις με κλειστά βιβλία & σημειώσεις Θα παρέχεται Τυπολόγιο Περιλαμβάνονται ασκήσεις θεωρίας και προβλήματα κατανόησης Πιθανότητες & Στατιστική 2017 Τμήμα Μηχανικών Η/Υ & Πληροφορικής, Παν. Ιωαννίνων Δ0 ( 4 )

5 Πιθανότητες & Στατιστική Τρόπος Βαθμολόγησης Σειρές Ασκήσεων (υποχρεωτικές) 15% Τελικό διαγώνισμα Ιανουαρίου 90% κλειστά βιβλία & σημειώσεις τυπολόγιο θα παρέχεται Ασκήσεις θεωρίας και προβλήματα κατανόησης Πιθανότητες & Στατιστική 2017 Τμήμα Μηχανικών Η/Υ & Πληροφορικής, Παν. Ιωαννίνων Δ0 ( 5 )

6 Προτεινόμενα συγγράμματα Βιβλίο [ ]: Πιθανότητες και Στατιστική για Μηχανικούς, Νίκος Μυλωνάς και Βασίλειος Παπαδόπουλος, Εκδόσεις Τζιόλα, 2016 Βιβλίο [ ]: Εισαγωγή στις πιθανότητες με στοιχεία στατιστικής, Δ. Μπερτσεκάς - Γ. Τσιτσικλής, Εκδόσεις Τζιόλα, 2010 Βιβλίο [35478]: Εισαγωγή στις Πιθανότητες και τη Στατιστική, Δαμιανού Χ., Χαραλαμπίδης Χ., Παπαδάτος Ν., Εκδόσεις Συμμετρία, 2010 Πιθανότητες & Στατιστική 2017 Τμήμα Μηχανικών Η/Υ & Πληροφορικής, Παν. Ιωαννίνων Δ0 ( 6 )

7 Βοηθητικά συγγράμματα Εισαγωγή στις Πιθανότητες & Στατιστική Δαμιανού, Παπαδάτου, Χαραλαμπίδη (Τμήμα Μαθηματικών Πανεπ. Αθηνών) (ελεύθερες διδακτικές σημειώσεις) Πιθανότητες & Στατιστική 2017 Τμήμα Μηχανικών Η/Υ & Πληροφορικής, Παν. Ιωαννίνων Δ0 ( 7 )

8 Probability, Statistics, and Random Processes for Electrical Engineering Alberto Leon Garcia (University of Toronto) - 3d Edition, 2008 A Modern Introduction to Probabilities ans Statistics - F.M. Dekking. C. Kraaikamp, H.P. Lopuhaa and L.E. Meester (Delphi University) Πιθανότητες & Στατιστική 2017 Τμήμα Μηχανικών Η/Υ & Πληροφορικής, Παν. Ιωαννίνων Δ0 ( 8 )

9 Probability & Statistics for Engineers & Scientists Walpole, Myers, Myers and Ye A First Course in Probability Sheldon Ross (University of South California) Fundamental of Probability and Statistics for Engineers. T.T. Soong Πιθανότητες & Στατιστική 2017 Τμήμα Μηχανικών Η/Υ & Πληροφορικής, Παν. Ιωαννίνων Δ0 ( 9 )

10 Περιγραφή του μαθήματος [ Πιθανότητες ] Η θεωρία Πιθανοτήτων αναφέρεται στη μελέτη των μαθηματικών μοντέλων που περιγράφουν τυχαία φαινόμενα (Random Events). Τυχαιότητα ή αβεβαιότητα (Randomness): ένα φαινόμενο ονομάζεται τυχαίο αν δεν γνωρίζουμε το αποτέλεσμά του δίχως να το παρατηρήσουμε. Οι Πιθανότητες κάνουν υποθέσεις σχετικά με τα πιθανά αποτελέσματα των τυχαίων φαινομένων Πιθανότητες & Στατιστική 2017 Τμήμα Μηχανικών Η/Υ & Πληροφορικής, Παν. Ιωαννίνων Δ0 ( 10 )

11 [ Στατιστική ] Είναι η εφαρμογή των πιθανοτήτων για την περιγραφή και την ανάλυση δεδομένων ή παρατηρήσεων που προέρχονται από τυχαία φαινόμενα. Η Στατιστική είναι η επιστήμη των δεδομένων. Η Στατιστική χρησιμοποιείται για Σχεδιασμό πειραμάτων (δειγματοληψία / συλλογή) Περίληψη των δεδομένων (συνοπτική περιγραφή) Ανάλυση των δεδομένων Εξαγωγή συμπερασμάτων Πιθανότητες & Στατιστική 2017 Τμήμα Μηχανικών Η/Υ & Πληροφορικής, Παν. Ιωαννίνων Δ0 ( 11 )

12 Στόχοι του μαθήματος (I) Πολλά συστήματα είναι πολύπλοκα (π.χ. λειτουργικό σύστημα, δίκτυα υπολογιστών) και η μοντελοποίησή τους είναι αρκετά δύσκολη και επίπονη. Συχνά, η πρόβλεψη της συμπεριφοράς των χρηστών μέσα σε αυτά είναι μια δύσκολη υπόθεση. Οι Πιθανότητες και η Στατιστική προσφέρουν την τυχαιότητα ως ένα φυσικό νόμο για την μοντελοποίηση τυχαίων γεγονότων που μπορούν να συμβούν σε ένα σύστημα. Έτσι, μπορούμε να χρησιμοποιήσουμε στοχαστικά μοντέλα για να περιγράψουμε πως οι χρήστες (users/clients) αλληλεπιδρούν με το σύστημα (TCP/IP, queuing models) Πετυχαίνουμε την ανάλυση της αξιοπιστίας ενός συστήματος. Πιθανότητες & Στατιστική 2017 Τμήμα Μηχανικών Η/Υ & Πληροφορικής, Παν. Ιωαννίνων Δ0 ( 12 )

13 Στόχοι του μαθήματος (II) Να μάθουμε όλα εκείνα τα μαθηματικά εργαλεία για να μπορούμε να κατασκευάζουμε στοχαστικά μοντέλα προσομοίωσης. Να μάθουμε στοιχειώδης πιθανοτικούς υπολογισμούς σε στοχαστικά μοντέλα Να κατανοήσουμε βασικές έννοιες και αρχές του κόσμου των πιθανοτήτων και της στατιστικής. Να μάθουμε βασικές αρχές στατιστικής ανάλυσης δεδομένων. Να μάθουμε να αναγνωρίζουμε περιπτώσεις και σενάρια στατιστικού ελέγχου, εκτίμησης και εξαγωγή συμπερασμάτων σε προβλήματα. Πιθανότητες & Στατιστική 2017 Τμήμα Μηχανικών Η/Υ & Πληροφορικής, Παν. Ιωαννίνων Δ0 ( 13 )

14

15 Πληροφορία ως η κυρίαρχη έννοια (στοχαστική) Ύπαρξη στοχαστικών φαινομένων σε όλα τα στάδιά της Πληροφορίας: Πιθανότητες και Στατιστική στην επιστήμη του Μηχανικού Η/Υ & Πληροφορικής Συλλογή Μεταφορά Αποθήκευση Συμπίεση Επεξεργασία, Ανάλυση Λήψη αποφάσεων Συμπερασματολογία Πιθανότητες & Στατιστική 2017 Τμήμα Μηχανικών Η/Υ & Πληροφορικής, Παν. Ιωαννίνων Δ0 ( 15 )

16 Συναφή επιστημονικά πεδία του Μηχανικού Πληροφορικής Τεχνητή Νοημοσύνη (Artificial Intelligence) Μηχανική Μάθηση (Machine Learning) \ Αναγνώριση Προτύπων (Pattern Recognition) Υπολογιστική Νοημοσύνη (Computational Intelligence) Εξόρυξη δεδομένων (Data Mining) Ευφυή Συστήματα Πρακτόρων (Intelligent Agents ) Παιχνίδια (Computer Games) Μεγάλης κλίμακας δεδομένα (Big Data Analysis) Πιθανότητες & Στατιστική 2017 Τμήμα Μηχανικών Η/Υ & Πληροφορικής, Παν. Ιωαννίνων Δ0 ( 16 )

17 Επεξεργασία Σήματος / Εικόνας (Signal/Image Processing) Στατιστική Επεξεργασία Σήματος Υπολογιστική Όραση (Computer Vision) Γραφικά με υπολογιστές (Computer Graphics) Εφαρμογές Πληροφορικής Ρομποτική (Robotics) Ιατρική Πληροφορική Βιοπληροφορική (Medical Informatics - Bioinformatics) Προσομοίωση / Μοντελοποίηση Στοχαστική Βελτιστοποίηση Έλεγχος λογισμικού (Software testing) Δίκτυα υπολογιστών / Συστήματα επικοινωνίας Επεξεργασία φυσικής γλώσσας (Natural Language Processing) Πιθανότητες & Στατιστική 2017 Τμήμα Μηχανικών Η/Υ & Πληροφορικής, Παν. Ιωαννίνων Δ0 ( 17 )

18 Μαθήματα επιλογής του τμήματος στο τρέχον έτος που εμπεριέχουν στοιχεία Πιθανοτήτων και Στατιστικής MYE Αλληλεπίδραση Ανθρώπου Υπολογιστή MYE Ανάκτηση Πληροφορίας MYE Ασφάλεια Υπολογιστικών και Επικοινωνιακών Συστημάτων MYE Εξελικτικός Υπολογισμός MYE Εξόρυξη Δεδομένων MYE Θεωρία Πληροφορίας & Κωδίκων MYE Ιατρική Πληροφορική MYE Πολυμέσα MYE Ρομποτική MYE Υπολογιστική Νοημοσύνη MYE Ψηφιακή Επεξεργασία Εικόνας MYE Αυτόνομοι Πράκτορες MYE Αλγόριθμοι Απόκρυψης Πληροφορίας ΜΥΕ Υπολογιστική Όραση Πιθανότητες & Στατιστική 2017 Τμήμα Μηχανικών Η/Υ & Πληροφορικής, Παν. Ιωαννίνων Δ0 ( 18 )

19 Ύλη του μαθήματος I. Εισαγωγή - Βασικές έννοιες Διακριτή Πιθανότητα II. III. IV. Τυχαίες μεταβλητές και γνωστές κατανομές Χαρακτηριστικά τυχαίων μεταβλητών και συναρτήσεις μιας μεταβλητής Πολυδιάστατες τυχαίες μεταβλητές V. Οριακά θεωρήματα VI. Περιγραφική Στατιστική VII. Διαστήματα εμπιστοσύνης VIII. Έλεγχοι υποθέσεων IX. Γραμμική Παλινδρόμησης Πιθανότητες & Στατιστική 2017 Τμήμα Μηχανικών Η/Υ & Πληροφορικής, Παν. Ιωαννίνων Δ0 ( 19 )

20 Ύλη του μαθήματος Ι. Εισαγωγή - Βασικές έννοιες Διακριτή Πιθανότητα Πρωταρχικές έννοιες: Τυχαίο πείραμα Δειγματικός χώρος - Ενδεχόμενα Ορισμός της Πιθανότητας Δεσμευμένη πιθανότητα, Ολική πιθανότητα, Ανεξαρτησία ενδεχομένων Ο κανόνας του Bayes και η ερμηνεία του Στοιχεία συνδυαστικής ανάλυσης Πιθανότητες & Στατιστική 2017 Τμήμα Μηχανικών Η/Υ & Πληροφορικής, Παν. Ιωαννίνων Δ0 ( 20 )

21 ΙΙ. Τυχαίες μεταβλητές Ορισμός - Τύποι τυχαίων μεταβλητών (διακριτή/συνεχής) Συνάρτηση κατανομής πιθανότητας (σ.κ.π.), συνάρτηση πυκνότητας πιθανότητας (σ.π.π.) Ειδικές κατανομές: Διακριτές (Bernoulli, Διωνυμική, Γεωμετρική, Poisson) Συνεχείς (Ομοιόμορφη, Εκθετική, Κανονική ή Γκαουσιανή, Γάμμα) ΙΙΙ. Χαρακτηριστικά Τυχαίων μεταβλητών Βασικά χαρακτηριστικά: Μέση Τιμή & Διακύμανση Ροπές, Ροπογεννήτρια / Χαρακτηριστική συνάρτηση Συνάρτηση τυχαίας μεταβλητής, Y=g(X) Πιθανότητες & Στατιστική 2017 Τμήμα Μηχανικών Η/Υ & Πληροφορικής, Παν. Ιωαννίνων Δ0 ( 21 )

22 ΙV. Πολυδιάστατες τυχαίες μεταβλητές Διάνυσμα n τυχαίων μεταβλητών Χ=(Χ1, Χ2,,Χn) Από-κοινού & περιθώριες κατανομές, ανεξαρτησία τ.μ. Δύο ειδικές κατανομές πολυδιάστατων μεταβλητών: Πολυωνυμική (Multinomial) & Πολυδιάστατη Κανονική Συναρτήσεις πολλών μεταβλητών Y=g(Χ1, Χ2,,Χn) V. Οριακά Θεωρήματα Δειγματικός μέσος Άθροισμα πολλών μεταβλητών Νόμοι των μεγάλων αριθμών (ασθενής & ισχυρός) Κεντρικό Οριακό Θεώρημα (Κ.Ο.Θ.) Πιθανότητες & Στατιστική 2017 Τμήμα Μηχανικών Η/Υ & Πληροφορικής, Παν. Ιωαννίνων Δ0 ( 22 )

23 VΙ. Περιγραφική Στατιστική Οργάνωση & Γραφική Παράσταση στατιστικών δεδομένων Πίνακες συχνοτήτων Ραβδογράμματα, κυκλικά διαγράμματα, κλπ. Ιστογράμματα Αριθμητικά Περιγραφικά μέτρα Μέτρα κεντρικής τάσης (μέσο, κορυφή, διάμεσος, ποσοστημόρια) Μέτρα διασποράς ή μεταβλητότητας (εύρος, ενδοτεταρτημόρια, θηκογράμματα - box plots) Πιθανότητες & Στατιστική 2017 Τμήμα Μηχανικών Η/Υ & Πληροφορικής, Παν. Ιωαννίνων Δ0 ( 23 )

24 VII. Διαστήματα εμπιστοσύνης Κατανομές δειγματοληψίας (χ2, t-student, F) Εκτίμηση διαστήματος Κατασκευή διαστημάτων εμπιστοσύνης για 1 μεταβλητή (για το μέσο μ και την διασπορά σ2 ) Κατασκευή διαστημάτων εμπιστοσύνης για 2 μεταβλητές (για διαφορά των μέσων και τον λόγο διασπορών δύο ανεξ. πληθυσμών) VIII. Έλεγχος Υποθέσεων Σφάλματα τύπου Ι και ΙΙ, μέτρα απόρριψης υπόθεσης (P-τιμή) Στατιστικός έλεγχος αποφάσεων για το μέσο (z-test, t-test), το ποσοστό και την διασπορά. Πιθανότητες & Στατιστική 2017 Τμήμα Μηχανικών Η/Υ & Πληροφορικής, Παν. Ιωαννίνων Δ0 ( 24 )

25 ΙX. Γραμμική Παλινδρόμηση Εκτίμηση της γραμμικής παλινδρόμησης Η μέθοδος των ελαχίστων τετραγώνων Η ευθεία παλινδρόμησης Μέσο τετραγωνικό σφάλμα Μέτρα παλινδρόμησης Ο συντελεστής προσδιορισμούς ως μέτρο προσαρμογής του γραμμικού μοντέλου στο νέφος των σημείων. Σχέση συντελεστή συσχέτισης και παλινδρόμησης. Πιθανότητες & Στατιστική 2017 Τμήμα Μηχανικών Η/Υ & Πληροφορικής, Παν. Ιωαννίνων Δ0 ( 25 )