Μάθημα: Θεωρία Πιθανοτήτων & Στατιστική 3 ο Εξάμηνο Σπουδών

Transcript

1 ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΙΑΣ ΣΧΟΛΗ ΤΕΧΝΟΛΟΓΙΑΣ ΤΜΗΜΑ ΣΥΣΤΗΜΑΤΩΝ ΕΝΕΡΓΕΙΑΣ Μάθημα: Θεωρία Πιθανοτήτων & Στατιστική 3 ο Εξάμηνο Σπουδών Διάλεξη 01 Δρ. Γεώργιος Χρ. Μακρής

2 Διαδικαστικά Παράδοση: Δευτέρα 18:00 20:00 & Τρίτη 15:00 17: & 06 Οκτωβρίου & 24 Νοεμβρίου & 13 Οκτωβρίου Νοεμβρίου & 01 Δεκεμβρίου & 20 Οκτωβρίου & 08 Δεκεμβρίου & 27 Οκτωβρίου & 15 Δεκεμβρίου & 03 Νοεμβρίου & 22 Δεκεμβρίου & 10 Νοεμβρίου 2020??? 16 & 17 Νοεμβρίου 2020 Εξεταστική Ιαν. Φεβ. 2021

3

4 Προτεινόμενη Βιβλιογραφία του Μαθήματος Eudoxus

5

6 Περιγραφή του Μαθήματος Επιμέρους ενότητες που εξετάζονται: Περιγραφική Στατιστική Στοιχεία Πιθανοτήτων Στοιχεία συνδυαστικής Δεσμευμένη πιθανότητα Κατανομές διακριτών τυχαίων μεταβλητών Κατανομές συνεχών τυχαίων μεταβλητών Διαστήματα Εμπιστοσύνης Δειγματοληψία Έλεγχοι υποθέσεων Γραμμική συσχέτιση Γραμμική παλινδρόμηση

7 Στατιστική Πεδίο των μαθηματικών που επικεντρώνεται στη μετατροπή δεδομένων σε πληροφορία για τη λήψη αποφάσεων, μέσω συστηματικών διαδικασιών συλλογής, επεξεργασίας, ανάλυσης, ερμηνείας και οπτικοποίησης Κύρια πεδία: Περιγραφική στατιστική (descriptive statistics): συλλογή, περιγραφή και παρουσίαση δεδομένων Επαγωγική στατιστική (inferential statistics): εξαγωγή γενικών συμπερασμάτων από διαθέσιμα δείγματα

8 Περιγραφική στατιστική Κάθε δείκτης και ποσότητα που εξάγεται από ένα δείγμα, αφορά μόνο το συγκεκριμένο δείγμα και ονομάζεται Στατιστικό του δείγματος. Η εξαγωγή και ο υπολογισμός στατιστικών, και των γραφικών παραστάσεων που τα αφορούν, είναι το αντικείμενο της Περιγραφικής Στατιστικής. Περιγραφική στατιστική: θέλουμε να περιγράψουμε ένα δείγμα, γνωρίζοντας ότι τα στατιστικά του αφορούν το συγκεκριμένο μόνο δείγμα, ούτε και τον πληθυσμό από τον οποίο προέρχονται. Ή έχουμε στη διάθεσή μας ολόκληρο τον Πληθυσμό. Περιγράφουμε στατιστικά έναν πληθυσμό, οι δείκτες που εξάγουμε ονομάζονται Παράμετροι και είναι μοναδικές γιατί προφανώς ο πληθυσμός είναι ένας και μοναδικός, όχι όπως στην περίπτωση των δειγμάτων τα οποία είναι πολλά.

9 Εκτιμητική Δείγμα (στατιστικά) Πληθυσμός (παράμετροι) p, δειγματικό ποσοστό ρ, αναλογία στον πληθυσμό തx, μέσος όρος μ, μέση τιμή s 2, δειγματική διασπορά σ 2, διασπορά του πληθυσμού s, δειγματική τυπική απόκλιση σ, τυπική απόκλιση του πληθυσμού

10 Ορολογία Μεταβλητές (variables) Χαρακτηρισμός / περιγραφή των αντικειμένων μιας έρευνας Δεδομένα (data) Μια συλλογή στοιχείων για τις μεταβλητές Πληθυσμός (population) Το σύνολο όλων των αντικειμένων επί του οποίου πρέπει να εξαχθούν συμπεράσματα Δείγμα (sample) Ένα μέρος του πληθυσμού που χρησιμοποιείται στην ανάλυση

11 Μεταβλητές Μεταβλητή: μία ερώτηση (ας πούμε σε ένα ερωτηματολόγιο), η οποία επιδέχεται μία μοναδική απάντηση από κάθε ερωτώμενο. Οι μεταβλητές έχουν τιμές. Ως τιμές ορίζονται οι δυνατές απαντήσεις μιας ερώτησης-μεταβλητής. Παρατηρήσεις Παρατηρήσεις είναι οι απαντήσεις των ερωτώμενων. Κάθε ερωτώμενος επιλέγει από το σύνολο των τιμών μιας μεταβλητής και αυτή αποτελεί την απάντησή του, είναι η παρατήρηση για τον συγκεκριμένο ερωτώμενο.

12 Συλλογή δεδομένων Πρωτογενή δεδομένα Δεδομένα που συλλέγονται για πρώτη φορά Παραδείγματα: έρευνες αγοράς, πειράματα, παρατήρηση Δευτερογενή δεδομένα Δεδομένα που έχουν ήδη συλλεχθεί για άλλο σκοπό Παράδειγμα: δεδομένα από έτοιμες βάσεις Πηγές δεδομένων Δεδομένα που παρέχονται σε βάσεις και από οργανισμούς Σχεδιασμός πειραμάτων Έρευνες αγοράς Έρευνες παρατήρησης/καταγραφής

13 Κατηγορίες μεταβλητών Ποιοτικές (qualitative) Ποιοτική περιγραφή χωρίς αριθμητική κλίμακα (φύλο, χρώμα, χώρα, ) Ποσοτικές (quantitative ) Διακριτές (discrete): μεταβλητές που ορίζονται σε ένα πεπερασμένο σύνολο τιμών (ηλικία, πλήθος, ) Συνεχής (continuous): μεταβλητές που μπορούν να λάβουν οποιαδήποτε αριθμητική τιμή εντός ενός εύρους (ύψος, βάρος, απόσταση, χρόνος, )

14 Πίνακες συχνοτήτων

18 Πίνακες συχνοτήτων Ηλικίες 20 ατόμων: 12, 13, 17, 21, 24, 24, 26, 27, 27, 30, 32, 35, 37, 38, 41, 43, 44, 46, 53, 58 Πίνακας συχνοτήτων Ηλικιακές ομάδες Κεντρικός όρος Συχνότητα Σχετική συχνότητα (%) Σχετική αθροιστική συχνότητα (%) [10, 20) [20, 30) [30, 40) [40, 50) [50, 60] Σύνολο

19 Διαγράμματα

20

21

22 Ιστογράμματα Τα ιστογράμματα είναι κατασκευές αντίστοιχες των ραβδογραμμάτων, μόνο που η χρήση τους επιβάλλεται σε περιπτώσεις κατανομών συχνοτήτων ποσοτικών μεταβλητών (διακριτών, συνεχών) Ο αριθμός των διαστημάτων θα πρέπει να είναι μεταξύ 5 και 20, εξαρτώμενος κάθε φορά από το πλήθος των παρατηρήσεων. Τύπος Sturges: k = 1 + 3, 322 log 10 n n=πλήθος των παρατηρήσεων

23

24 Σχυνότητα Παρουσίαση δεδομένων - Ιστόγραμμα Παρουσίαση συχνοτήτων με τη μορφή ενός ραβδογράμματος Παράδειγμα: ηλικία 20 συμμετεχόντων σε μια έρευνα Ηλικία Συχνότητα Σχετική συχνότητα (%) [10, 20) 3 15 [20, 30) 6 30 [30, 40) 5 25 [40, 50) 4 20 [50, 60) 2 10 Σύνολο [10, 20) [20, 30) [30, 40) [40, 50) [50, 60) Ηλικία

25

26 Αριθμητικά μεγέθη σύνοψης δεδομένων Κεντρική τάση Μια χαρακτηριστική τιμή γύρω από την οποία «κινούνται» τα δεδομένα Διασπορά Μέγεθος που περιγράφει τη μεταβλητότητα των δεδομένων

27 Μέση τιμή (αριθμητικός μέσος, mean/average) Το πλέον διαδεδομένο μέτρο κεντρικής τάσης Μέση τιμή πληθυσμού (μ) μεγέθους Ν N μ = 1 N i=1 Δειγματική μέση τιμή x x i = x 1 + x x N N Εκτίμηση της μέσης τιμής του πληθυσμού από δείγμα n παρατηρήσεων n x = 1 n i=1 x i = x 1 + x x n n

28 Αριθμητικό παράδειγμα (1) Δείγμα πέντε παρατηρήσεων (n = 5) Μέση τιμή x = x 1 + x x n n 6,2 7,1 4,8 9,0 3,3 = 6,2 + 7,1 + 4, ,3 5 = 6,08

29 Αριθμητικό παράδειγμα (2) Ας υποθέσουμε ότι έχουμε ένα δείγμα μεγέθους 7, δηλαδή έχουμε 7 παρατηρήσεις της μεταβλητής Χ «βαθμός στο μάθημα της στατιστικής»: 6, 7, 3, 9, 7, 9, 8. Ο μέσος όρος είναι 7 തx = 1 7 i=1 x i = = 49 7 = 7

30 Παράδειγμα με ομαδοποιημένες παρατηρήσεις Οι παρατηρήσεις μπορούν επίσης να ομαδοποιηθούν και σ αυτήν την περίπτωση δημιουργούμε έναν πίνακα που περιλαμβάνει τις τιμές της μεταβλητής και τις συχνότητες των τιμών, δηλαδή το πόσες φορές εμφανίζεται η κάθε τιμή στις παρατηρήσεις: തx = σ k i=1 x i f i n

31 Παράδειγμα με ομαδοποιημένες παρατηρήσεις Τιμή της Χ Συχνότητα fi തx = σ k i=1 x i f i n തx = = 7

32 Μέση τιμή ομαδοποιημένων δεδομένων

33 Μέση τιμή ομαδοποιημένων δεδομένων Ηλικιακές ομάδες x f 1m 1 + f 2 m 2 + n Κεντρικός όρος (m i ) Συχνότητα (f i ) x = 33 f i m i Αθροιστική συχνότητα (F i ) [10, 20) [20, 30) [30, 40) [40, 50) [50, 60] Σύνολο

34 Ιδιότητες της μέσης τιμής

35 Διάμεσος (median) Στατιστικό μέτρο που χωρίζει τα διατεταγμένα δεδομένα σε δύο ίσα μέρη Διάμεσος = 13 Διάμεσος = 13 Υπολογισμός Κατάταξη των αριθμητικών δεδομένων σε αύξουσα σειρά Για μονό αριθμό παρατηρήσεων, η διάμεσος είναι η αριθμητική τιμή στη θέση (n + 1)/2 των δεδομένων Για ζυγό αριθμό παρατηρήσεων, η διάμεσος είναι η μέση τιμή των δύο ενδιάμεσων τιμών

36 Αριθμητικά παραδείγματα Παράδειγμα 1: Δείγμα με n = 7: Δείγμα σε αύξουσα σειρά: 15 45, , ,5 45,3 Διάμεσος = 19 Παράδειγμα 2: Δείγμα με n = 6: Δείγμα σε αύξουσα σειρά: 15 45, ,3 Διάμεσος = (15+19)/2 =17

37 Διάμεσος-Μέσος όρος 1 ο δείγμα 2 ο δείγμα തx =7 തx =1434,143 M = 7 M = 7

38 Διάμεσος ομαδοποιημένων δεδομένων Εντοπισμός της ομάδας (τάξης) M που περιλαμβάνει την n/2 παρατήρηση (η πρώτη τάξη με αθροιστική συχνότητα n/2) L M = κάτω όριο της τάξης f M = συχνότητα της τάξης F M 1 = αθροιστική συχνότητα της προηγούμενης τάξης δ = εύρος τάξεων Διάμεσος L M + δ f M n 2 F M 1

39 Διάμεσος ομαδοποιημένων δεδομένων Ηλικιακές ομάδες Κεντρικός όρος (m i ) Συχνότητα (f i ) [10, 20) [20, 30) [30, 40) [40, 50) [50, 60] F i δ = 10, n = 20 n 2 = 10 H παρατήρηση 10 είναι στην 3 η ηλικιακή ομάδα (τάξη), γιατί F 2 = 9 και F 3 = 14, οπότε L M = 30, f M = 5, F M 1 = 9 Διάμεσος L M + δ n f M 2 F M 1 = = 32 5

40 Επικρατούσα τιμή (mode) H τιμή τ 0 που παρατηρείται πιο συχνά ΕΤ: 1, 5 τ 0 = 9 Δεν επηρεάζεται από ακραίες τιμές Μπορεί να υπάρχουν πολλαπλές επικρατούσες τιμές ή και καμία Μέτρο κεντρικής τάσης κατάλληλο για ποιοτικές ή διακριτές μεταβλητές

41 Επικρατούσα τιμή ομαδοποιημένων δεδομένων Εντοπισμός της τάξης με την υψηλότερη συχνότητα L τ0 = κάτω όριο της τάξης Δ 1 = διαφορά μεταξύ της μέγιστης συχνότητας και της συχνότητας της προηγούμενης τάξης Δ 2 = διαφορά μεταξύ της μέγιστης συχνότητας και της συχνότητας της επόμενης τάξης δ = εύρος τάξεων Δ 1 τ 0 L τ0 + δ Δ 1 + Δ 2

42 Επικρατούσα τιμή ομαδοποιημένων δεδομένων Ηλικιακές ομάδες Κεντρικός όρος (m i ) δ = 10 Συχνότητα (f i ) [10, 20) [20, 30) [30, 40) [40, 50) [50, 60] Υψηλότερη συχνότητα στη 2 η τάξη (f 2 = 6), άρα L τ0 = 20, Δ 1 = 6 3 = 3, Δ 2 = 6 5 = 1 Δ 1 Επικρατούσα τιμή τ 0 L τ0 + δ = Δ 1 + Δ = 27,5 F i

43 Σύνοψη μέτρων κεντρικής τάσης Παράδειγμα Δείγμα τιμών 5 ακινήτων Mέση τιμή: Διάμεσος: Επικρατούσα τιμή: Υπολογισμοί στο Excel

44 Μέτρα διασποράς Εύρος (range) Διακύμανση ή διασπορά (variance) (διασπορά= το φαινόμενο της μεταβολής της τιμής λόγω τυχαιότητας, διακύμανση, τυπική απόκλιση = μέτρα διασποράς) Τυπική απόκλιση (standard deviation) Συντελεστής μεταβλητότητας (coefficient of variation) Ίδια κεντρική τιμή, διαφορετική διασπορά

45 Εύρος Διαφορά μεταξύ της μικρότερης και της μεγαλύτερης τιμής Εύρος = 13-1 = 12 Απλό μέγεθος, αλλά ευαίσθητο σε ακραίες τιμές και στον τρόπο με τον οποίο κατανέμονται τα δεδομένα Εύρος = 12-7 = Εύρος = 12-7 = 5

46 Διακύμανση Μέση τιμή των τετραγώνων των αποκλίσεων από τη μέση τιμή Διακύμανση πληθυσμού μεγέθους N σ 2 = 1 N x i μ 2 i=1 Δειγματική διακύμανση για δείγμα μεγέθους n s 2 = 1 n 1 x i x 2 i=1 Γιατί η διαφορά στον τρόπο υπολογισμού; N Οι διαφορές x i xҧ 2 είναι συνήθως μικρότερες από τις διαφορές x i μ 2, οπότε η δειγματική διακύμανση s 2 χρειάζεται μια «διόρθωση» ώστε να αντικατοπτρίζει καλύτερα την πραγματική διακύμανση σ 2 n

47 Αριθμητικό παράδειγμα Δείγμα 8 παρατηρήσεων (n = 8) Μέση τιμή x = 10 Διακύμανση s 2 = σ n i=1 x i x 2 n 1 = = 18,571 To μέγεθος της διακύμανσης δεν έχει φυσική ερμηνεία

48 Τυπική απόκλιση Η τυπική απόκλιση είναι η ρίζα της διακύμανσης και εκφράζεται στις μονάδες μέτρησης της εξεταζόμενης μεταβλητής Τυπική απόκλιση πληθυσμού: N σ = σ 2 = 1 N i=1 x i μ 2 Δειγματική τυπική απόκλιση: s = s 2 = 1 n 1 i=1 n x i x 2

49 Αριθμητικό παράδειγμα Δείγμα 8 παρατηρήσεων (n = 8) Μέση τιμή x = 10 Τυπική απόκλιση s = σ n i=1 x i x 2 n 1 = 18,571 = 4,3095 To μέγεθος της τυπικής απόκλισης είναι συγκρίσιμο με τη μέση τιμή

50 Υπολογισμοί στο Excel Εκδόσεις έως 2010 Διακύμανση: var (δείγμα) & varp (πληθυσμός) Τυπική απόκλιση: stdev (δείγμα) & stdevp (πληθυσμός) Εκδόσεις Διακύμανση: var.s (δείγμα) & var.p (πληθυσμός) Τυπική απόκλιση: stdev.s (δείγμα) & stdev.p (πληθυσμός)

51 Διακύμανση ομαδοποιημένων δεδομένων Διακύμανση πληθυσμού: σ 2 1 N σ i f i m i μ 2 Δειγματική διακύμανση: s 2 1 n 1 σ i f i m i x 2 Ηλικιακές ομάδες Κεντρικός όρος (m i ) Συχνότητα (f i ) m i x m i x 2 f i m i x 2 [10, 20) [20, 30) [30, 40) [40, 50) [50, 60] Σύνολο 2920 s 2 σ i f i m i x 2 n 1 = = 153,68

52 Συντελεστής μεταβλητότητας Αξιολόγηση της τυπικής απόκλισης σε σχέση με τη μέση τιμή CV = σ μ πληθυσμός CV = s x (δείγμα) Υψηλός συντελεστής μεταβλητότητας υποδεικνύει μεγάλη διασπορά τιμών αναλογικά με την μέση τιμή Παράδειγμα Η μέση ετήσια κατά κεφαλήν κατανάλωση μπύρας στην Ελλάδα είναι 31lt με τυπική απόκλιση 7lt, δηλαδή CV = 0,23 Η μέση ετήσια κατά κεφαλήν κατανάλωση μπύρας στη Γερμανία είναι 105lt με τυπική απόκλιση 15lt, δηλαδή CV = 0,14 H κατανάλωση μπύρας παρουσιάζει μεγαλύτερη ομοιογένεια στο γερμανικό πληθυσμό

53 Η μορφή μιας κατανομής Αναλυτικότερη περιγραφή της κατανομής των δεδομένων Ασυμμετρία (skewness) Περιγραφή της συμμετρικότητας της διασποράς γύρω από τη μέση τιμή Κύρτωση (kurtosis) Περιγραφή της κεντρικής συγκέντρωσης σε σχέση με τα άκρα

54 Ασυμμετρία 1 ος συντελεστής ασυμμετρίας του Pearson (σε σχέση με την επικρατούσα τιμή) β 1 = (x τ 0 )/s 3 ος συντελεστής ασυμμετρίας του Pearson Μέση τιμή Διάμεσος Επικρ. τιμή Αριστερή (αρνητική) ασυμμετρία β 3 = 1 n σ n i=1 s 3 Συμμετρία x i x 3 Συνάρτηση Excel: skew.p Δεξιά (θετική) ασυμμετρία

55 Κύρτωση Συγκέντρωση στο κέντρο σε σχέση με τα άκρα Συντελεστής κύρτωσης του Pearson: β 4 = 1 n σ n i=1 s 4 x i x 4 Λεπτόκυρτη κατανομή: β 4 > 3 Μεσόκυρτη κατανομή: β 4 = 3 Πλατύκυρτη κατανομή: β 4 < 3 Συνάρτηση Excel: kurt (παραλλαγή του β 4 )

56 Ασυμμετρία και κύρτωση ομαδοποιημένων δεδομένων Ασυμμετρία 1 ος συντελεστής ασυμμετρίας του Pearson: όπως προηγούμενα 3 ος συντελεστής ασυμμετρίας του Pearson 1 β 3 n σ i=1 n f i m i x 3 s 3 Κύρτωση β 4 = 1 n σ i=1 n f i m i x 4 s 4

57 Μέτρα σχετικής θέσης - Τεταρτημόρια Τα τεταρτημόρια Q 1, Q 2, Q 3 χωρίζουν ένα ταξινομημένο σύνολο παρατηρήσεων (από τη μικρότερη στη μεγαλύτερη τιμή) σε 4 μέρη με (περίπου) ίδιο αριθμό παρατηρήσεων στο καθένα Περίπου το 25% των παρατηρήσεων είναι μικρότερες από την τιμή Q 1 To Q 2 είναι η διάμεσος Περίπου το 25% των παρατηρήσεων είναι μεγαλύτερες από την τιμή Q 3 Η τιμή του τεταρτημόριου Q i (i = 1, 2, 3) υπολογίζεται ως Q i = x Α + Δ(x Α+1 x Α ) Α: το ακέραιο μέρος του i(n + 1)/4 Δ: το δεκαδικό μέρος του i(n + 1)/4

58 Τεταρτημόρια - Παράδειγμα 14 φοιτητές έλαβαν τις ακόλουθες βαθμολογίες στις εξετάσεις ενός μαθήματος (με άριστα το 100) 47, 48, 56, 57, 59, 67, 67, 78, 80, 89, 89, 89, 89, 94 Για το Q 1 i n + 1 = = 3,75, Α = 3, Δ = 0, Q 1 = x 3 + Δ x 4 x 3 = , = 56,75 Για το Q 3 i n + 1 = = 11,25, Α = 11, Δ = 0, Q 3 = x 11 + Δ x 12 x 11 = , = 89

59 Τεταρτημόρια ομαδοποιημένων δεδομένων Για το Q i εντοπίζεται η τάξη που περιέχει την ni/4 παρατήρηση (η πρώτη τάξη με αθροιστική συχνότητα ni/4) L Qi = κάτω όριο της τάξης f Qi = συχνότητα της τάξης F Qi 1 = αθροιστική συχνότητα προηγούμενης τάξης δ = εύρος τάξεων Q i L Qi + δ f Qi ni 4 F Q i 1

60 Τεταρτημόρια ομαδοποιημένων δεδομένων Ηλικιακές ομάδες Κεντρικός όρος (m i ) Συχνότητα (f i ) [10, 20) [20, 30) [30, 40) [40, 50) [50, 60] F i Για το Q 1 H παρατήρηση ni/4 = (21)(1)/4 = 5,25 ανήκει στη 2 η τάξη (F 2 = 9), άρα L Q1 = 20, f Q1 = 6, F Q1 1 = 3 Q 1 L Q1 + δ 21(1) F f Q1 4 Q1 1 = ,25 3 = 23,75 6

61 Θηκόγραμμα (box plot) Αναπαράσταση τεταρτημορίων και εύρους Εύρος τιμών x min x max Q1 Q2 Q3

62 Παράδειγμα Δείγμα δεδομένων Ελάχιστο Μέγιστο Τα δεδομένα χαρακτηρίζονται από δεξιά ασυμμετρία

63 Συμμετρίες

64 Συμμετρίες

65

66 Λυμένη άσκηση