Υπολογιτικές Εφαρμογές την Στατιτική Επεξεργαία Δεδομένων Στα πλαίια του μαθήματος ΠΙΘΑΝΟΤΗΤΕΣ, ΣΤΑΤΙΣΤΙΚΗ & ΣΤΟΙΧΕΙΑ ΑΡΙΘΜΗΤΙΚΗΣ ΑΝΑΛΥΣΗΣ Δ. Φαουλιώτης, Ε. Στυλιάρης ΠΑΝΕΠΙΣΤΗΜΙΟ ΑΘΗΝΩΝ, 3 3 Μέθοδοι Monte Crlo Εφαρμογές την Επίλυη Προβλημάτων Ειαγωγή την Εκτίμηη Παραμέτρων Μέθοδος Ροπών ΜέθοδοςΜεγίτηςΠιθανοφάνειας Μέθοδος Ελαχίτων τετραγώνων Συτηματικές Αβεβαιότητες
Μέθοδος Ελαχίτων Τετραγώνων Lest qure Για ένα διαθέιμο δείγμα παρατηρήεων μεγέθους Ν της μορφής {,,,... Ν, Ν } όπου η ανεξάρτητη μεταβλητή και η εξαρτημένη μεταβλητή, μπορούμε να μοντελοποιήουμε την εξάρτηη των με κάποια υνάρτηη f f,θ, η οποία εξαρτάται από ένα ύνολο παραμέτρων θ. Με τη μέθοδο των Ελαχίτων Τετραγώνων προπαθούμε, βαιζόμενοι το παραπάνω δείγμα, να εκτιμήουμε τις παραμέτρους θ με κριτήριο την αρχή της ελαχιτοποίηης των τετραγωνικών αποκλίεων των προβλεπόμενων τιμών f,θ από τις μετρημένες τιμές : [ f, θ ]
Μέθοδος Ελαχίτων Τετραγώνων Lest qure Η προς ελαχιτοποίηη ποότητα υνήθως ζυγίζεται με την αβεβαιότητα των μετρημένων τιμών : χ [ f, θ ι ] Ένα γνωτό παράδειγμα από τα ειαγωγικά εργατήρια Φυικής αποτελεί η ευθεία ελαχίτων τετραγώνων, η οποία περιγράφει κατά τον καλύτερο δυνατό τρόπο την γραμμική εξάρτηη των ημείων από τα με βάη την εξίωη f. Η μέθοδος των Ελαχίτων Τετραγώνων μας επιτρέπει την περίπτωη αυτή να προδιορίουμε τις παραμέτρους της ευθείας και. Αποδεικνύεται πως η αρχή της μεθόδου των Ελαχίτων Τετραγώνων, που τηρίζεται την ελαχιτοποίηη της ποότητας χ, προκύπτει αν υνέπεια της απαίτηης μεγιτοποίηης της πιθανοφάνειας του δείγματος. 3
Μέθοδος Ελαχίτων Τετραγώνων Lest qure Με δεδομένο ένα δείγμα παρατηρήεων {,,, Ν }, με αναμενόμενες τιμές < >{g θ, g θ,,g Ν θ} και πίνακα υνδιαποράς, ονομάζουμε εκτίμηη ελαχίτων τετραγώνων LE για την παράμετρο θ, αυτήν για την οποία ελαχιτοποιείται ηακόλουθηποότητα: g T g Κίνητρο: Αν τα ακολουθούν κανονική κατανομή τότε η LE ταυτίζεται με την MLE. Επιπλέον η ποότητα ακολουθεί την κατανομή χ με n r βαθμούς ελευθερίας, επιτρέποντας έτι ένα έλεγχο της ποιότητας της εκτίμηης. Αμερόληπτη εκτιμήτρια ανεξάρτητα του μεγέθους του δείγματος αρκεί n>r με r τον αριθμό των παραμέτρων που εκτιμούνται. 4
5 Έτω ότι υπάρχουν Ν μετρήεις αβεβαιότητες της ίδιας φυικής ποότητας μ, οι οποίες χαρακτηρίζονται από κανονική υνάρτηη πυκνότητας πιθανότητας. Η πιθανοφάνεια των Ν μετρήεων εκφράζεται ως: Οπότε η μεγιτοποίηη της πιθανοφάνειας ιοδυναμεί με την ελαχιτοποίηη της ποότητας: L L ι - ln ln ln e μ π π μ μ χ Μέθοδος Ελαχίτων Τετραγώνων Lest qure
Με την υπόθεη ότι οι αναμενόμενες τιμές των είναι ανεξάρτητες γραμμικές υναρτήεις των r παραμέτρων θ, <> g g Hθ όπου Η είναι ένας πίνακας n r, r ηle για το θ προκύπτει από την επίλυη του υτήματος: θ est Μέθοδος Ελαχίτων Τετραγώνων Lest qure Γραμμική περίπτωη est A H T g με Μη γραμμική περίπτωη ΑH T H. Προπάθεια να γίνει γραμμικό. Χρήη προγράμματος ελαχιτοποίηης 3. Μετατροπή του προβλήματος ε γραμμικό με ανάπτυγμα Tlor Επαναληπτική διαδικαία Πιθανοίδεμοίμπορούνναειαχθούνμετηδιαδικαίατων πολλαπλαιατών Lgrnge 6
Μέθοδος Ελαχίτων Τετραγώνων Παράδειγμα // Όπως το τελευταίο παράδειγμα της MLE ε ιτόγραμμα // Lest qures Method doule []; doule ll[]; fornt j;j<;j { doule lph.5*j; // Τιμές που δίνονται την άγνωτη παράμετρο doule ch.; fornt ;<; { doule ndth_4->getbncontent; // Συχνότητα τον ιτό doule nerrorh_4->getbnerror; // Αβεβαιότητα τον ιτό I doule nwdth.; // Πλάτος του ιτού doule -.-*..5; // Τιμή τον άξονα του ιτού // Υπολογιμός της αναμενόμενης υχνότητας για τον ιτό doule nepected.5*lph**dt*.; // Υπολογιμός χ ch nepected-ndt* nepected-ndt /nerror /nerror; } [j]lph; ll[j]ch; prntf"prmeter %f ch %f \n",lph,ch; } 7
Μέθοδος Ελαχίτων Τετραγώνων Παράδειγμα μετρήεις Σε αντίθεη με την MLE την LE η αβεβαιότητα υπολογίζεται από την αύξηη του χ κατά μία μία μονάδα μετρήεις μετρήεις 8 8
Μέθοδος Ελαχίτων Τετραγώνων Παράδειγμα Εύρεη ελαχίτου και αβεβαιότητας Ίδιος κώδικας με την περίπτωη της MLE με μόνη διαφορά το αντί.5 doule mn[3]{[jmn-],[jmn],[jmn]}; doule llmn[3]{ll[jmn-],ll[jmn],ll[jmn]}; TGrph *grmn new TGrph3,mn,llmn; TF *ffnew TF"ff","[][]*[]**",.,.; ff->etprmeters.,.,.; grmn->ft"ff"; doule ff->getprmeter; doule ff->getprmeter; doule cff->getprmeter; doule soluton-/./; doule lkemn*soluton*soluton*solutonc; doule lkeerrlkemn.; cc-lkeerr; doule delt sqrt*-4**c; doule error-delt/./ -soluton; prntf"oluton %f - %f \n",soluton,error; 9
Μέθοδος Ελαχίτων Τετραγώνων Παράδειγμα εφαρμογές έκατη με Ν
Ευθεία Ελαχίτων Τετραγώνων Εφαρμογή της μεθόδου Ελαχίτων τετραγώνων την ειδική περίπτωη που η κατανομή είναι γραμμική, π.χ. η γραμμική κατανομή που είδαμε προηγούμενα α ή οι μετρήεις που απεικονίζονται το χήμα β α β Σε αυτή την περίπτωη όπως αναφέραμε η ελαχιτοποίηη του χ μπορεί να επιτευχθεί αναλυτικά. Τα φάλματα αβεβαιότητες τις μετρήεις δεν είναι υποχρεωτικά ία.
, f χ χ ι Ν [ ] [ ] [ ] [ ] ι ι ι ι χ χ Εφόον Ευθεία Ελαχίτων Τετραγώνων Εύρεη Εύρεη των παραμέτρων των παραμέτρων της ευθείας της ευθείας και και Η ελαχιτοποίηη της ποότητας χ, η οποία εξαρτάται μόνο από τα και, επιτυγχάνεται με μηδενιμό των μερικών παραγώγων:
3 ι ι ι ι ι ι Ευθεία Ελαχίτων Τετραγώνων Καταλήγουμε έτι το γραμμικό ύτημα των δύο εξιώεων ως προς και : Παρατηρούμε πως οι υπειερχόμενοι υντελετές είναι αθροίματα δυναμοειρών δυναμοειρών του του και ροπών του και ροπών του. Αν για διευκόλυνη ορίουμε αντίτοιχα k k k k ι ι, τότε το ύτημα γράφεται:
4 Ευθεία Ελαχίτων Τετραγώνων Οι λύεις του υτήματος αυτού δίνουν:,, ˆ οι οποίες εκφράζουν τις ήδη από την εργατηριακή παιδεία γνωτές εκφράεις για τις εκτιμήεις των και :
Δεδομένα Ν7 Ευθεία Ελαχίτων Τετραγώνων Παράδειγμα YX 5
6 Με Πίνακα Συνδιαποράς ] [, cov, cov ] [ Αν ορίουμε το βεβαρημένο μέο όρο μιας ποότητας, ως: τότε:, Στην περίπτωη που τα είναι ία, τότε απλοποιούνται τις παραπάνω χέεις οδηγώντας τις γνωτές εκφράεις για τα α και, όπου οι βεβαρημένοι μέοι όροι αντικαθίτανται από τους απλούς. Ευθεία Ελαχίτων Τετραγώνων
7 Έτω ότι θέλουμε να προεκτείνουμε την ευθεία μας ε αυθαίρετη τιμή. Ητιμή θα δίνεται από τη χέη: Πόη είναι όμως η αβεβαιότητα; [ ] [ ] [ ] [ ], cov Ευθεία Ελαχίτων Τετραγώνων
Ευθεία Ελαχίτων Τετραγώνων Παράδειγμα //Δημιουργία μετρήεων για την εφαρμογή ευθείας LE nt ; doule []{.,.,.,.3,.4,.5,.6,.7,.8,.9}; doule [],e[],e[]; fornt ;<Ν; { [][]; e[].*[]; doule rrn->gus; [][]r*e[]; } whlerr>gr { doule r -5..rn->Rndm; doule rrrn->rndm; gr./sqrt*p*ep-r/; } Όχι πολύ αποδοτικός τρόπος, αλλά πολύ εύκολος. 8
Ευθεία Ελαχίτων Τετραγώνων Παράδειγμα // Fnd nd doule ; doule ; doule ; doule ; doule d; for nt ;<; { //Υπολογιμοί των εκφράεων της ελίδας []/e[]/e[]; []/e[]/e[]; []*[]/e[]/e[]; []*[]/e[]/e[]; d/e[]/e[]; } /d; /d; /d; /d; // Εύρεη του γραμμικού και του ταθερού όρου doule -*/-*; doule -*; 9
Ευθεία Ελαχίτων Τετραγώνων Παράδειγμα // Εύρεη του πίνακα υνδιαποράς doule s./-*/d; doule s*; doule s; doule CO-*s; // Εύρεη ελαχίτου χ και πιθανότητας χ με Ν- βαθμούς ελευθερίας Ν# μετρήεων doule chsq.; for nt ;<; { chsq*[]-[]**[]-[]/e[]/e[]; } doule prochsqtmth::prochsq,-; // Εύρεη τιμής για και της αβεβαιότητάς της doule ; doule *; doule esqrt***co*;
Ευθεία Ελαχίτων Τετραγώνων Παράδειγμα * e.*
Ευθεία Ελαχίτων Τετραγώνων Παράδειγμα * e.* επαναλήψεις Η πιθανότητα χ πρέπει να έχει ομοιόμορφη κατανομή
* e.* > 3 Ευθεία Ελαχίτων Τετραγώνων Παράδειγμα επαναλήψεις 3
* e.* > 3 Ευθεία Ελαχίτων Τετραγώνων Παράδειγμα επαναλήψεις Αν δεν λαμβάναμε υπ όψη τη υνδιακύμανη: 4
5,, c c c f χ χ ι Ν c c c c c c c ι ι ι ι ι ι χ χ χ Η προηγούμενη μελέτη των Ελαχίτων Τετραγώνων μπορεί άνετα να επεκταθεί και την περίπτωη μιας δευτεροβάθμιας εξίωης: Παραβολή Ελαχίτων Τετραγώνων Εύρεη Εύρεη των παραμέτρων των παραμέτρων της παραβολής της παραβολής f fc c Ηελαχιτοποίηη του χ οδηγεί το παρακάτω γραμμικό ύτημα των, και c:
6 Το γραμμικό αυτό ύτημα με την ειαγωγή των δυναμο αθροιμάτων και ροπών γίνεται: Παραβολή Ελαχίτων Τετραγώνων με λύη: k k k k ι ι, 4 3 3 3 4 3 3 4 3 4 3 3 4 3 3,, 4 3 3 c c c Η γενίκευη του προβλήματος για οποιαδήποτε γενίκευη του προβλήματος για οποιαδήποτε πολυωνυμική πολυωνυμική μορφή της μορφή της f f είναι εύκολη και προφανής. είναι εύκολη και προφανής.
Παραβολή Ελαχίτων Τετραγώνων Παράδειγμα Δεδομένα Ν7 YX XcX 7
Μέθοδος Ελαχίτων Τετραγώνων Μη γραμμική υνάρτηη Η μέθοδος των Ελαχίτων Τετραγώνων μπορεί να εφαρμοτεί και για την εκτίμηη παραμέτρων ακόμα και αν η f έχει μη γραμμική μορφή. Η ελαχιτοποίηη του χ την περίπτωη αυτή γίνεται με αριθμητικές μεθόδους προδιοριμού του ελαχίτου. Ένα τυπικό παράδειγμα, το οποίο υναντάται υχνά ε φυικά υτήματα, είναι ο προδιοριμός παραμέτρων ε φθίνουα αρμονική ταλάντωη: kt f t Ae sn t Στο επόμενο παράδειγμα επιχειρείται ο προδιοριμός του k για ένα set δεδομένων, τα οποία παράγονται με την βοήθεια γεννήτριας ψευδοτυχαίων αριθμών Monte Crlo με γνωτή κρυφή τιμή του k. 8
Μέθοδος Ελαχίτων Τετραγώνων Μη γραμμική υνάρτηη Παραγωγή δεδομένων με Monte Crlo kt f t Ae sn t 9
Μέθοδος Ελαχίτων Τετραγώνων Μη γραμμική υνάρτηη Υπολογιμός του χ υναρτήει του k και ελαχιτοποίηη Ch k : Y fkx, Err Παρατηρείτε την λογαριθμική μεταβολή του χ υναρτήει του k για το δεδομένο set των τιμών. Το ελάχιτο επιτυγχάνεται για k.4. 3
Μέθοδος Ελαχίτων Τετραγώνων Πιθανότητα χ Πιθανότητα ως υνάρτηη της τιμής του χ για διάφορους βαθμούς ελευθερίας n 3
Εκτίμηη διατημάτων εμπιτούνης Πιθανότητα εύρεης της πραγματικής τιμής ε διάτημα εμπιτούνης που καθορίζεται από την τυπική απόκλιη της κανονικής κατανομής. 3
Εκτίμηη διατημάτων εμπιτούνης: Μεταβολή του χ Ας υποθέουμε ότι προπαθούμε να εκτιμήουμε τη μέη τιμή ε ένα δείγμα γεγονότων που ακολουθούν την κανονική κατανομή. Τότε: που γίνεται ελάχιτο για χ θ θ - g θ Το χ όμως αυξάνει κατά μία μονάδα για Επομένωςγιαναβρούμετοδιάτημαεμπιτούνης68% CL ωςπροςθ αρκεί να υπολογίουμε τα ημεία για τα οποία το χ αυξάνει κατά. g θ g θ ± 33
Εκτίμηη διατημάτων εμπιτούνης: Μεταβολή του χ Γενίκευη ε περιότερες διατάεις: Ελλειψοειδές αβεβαιότητας Παρατηρήεις: Το ελλειψοειδές αβεβαιότητας δεν εκφράζει πλέον πιθανότητα 68%. Για να προδιοριτούν τα φάλματα ε ένα υπούνολο των παραμέτρων, πρέπει να επαναπροδιοριτεί το χ με βάη τις ελεύθερες παραμέτρους. 34
Εκτίμηη διατημάτων εμπιτούνης 35
Συτηματικές αβεβαιότητες Κάθεμέτρηηπρέπειναυνοδεύεταιαπόένατατιτικό τυχαίο και ένα υτηματικό φάλμα αβεβαιότητα. Συνήθως αυτά γράφονται το τελικό αποτέλεμα ξεχωριτά. π.χ. M 8.376 ±.5stt ±. sst Ge/c Γιατί έτι διευκολύνεται ο υνδυαμός με άλλες μετρήεις Γιατί έτι καταλαβαίνει κανείς αμέως πιο από τα δύο φάλματα κυριαρχεί Κατά το υνδυαμό δύο μετρήεων θα πρέπει να ξεχωριτούν τα ανεξάρτητα τατιτικά και κάποια υτηματικά από τα υχετιμένα κάποια υτηματικά Στο τελικό φάλμα τα υχετιμένα υμμετέχουν ολόκληρα! Περιότερες μετρήεις δεν μειώνουν το υτηματικό φάλμα. Τα υτηματικά φάλματα δεν αναγνωρίζονται από τα γνωτά κριτήρια εκτίμηης π.χ. ένα κακό χ. 36
37 Αν δύο μετρήεις και, έχουν τατιτικά φάλματα και αντίτοιχα και κοινό υτηματικό φάλμα s, μπορούμε εύκολα να δείξουμε ότι ο πίνακας υνδιαποράς τους θα δίνεται από την έκφραη: οπότε η έκφραη για τη διάδοη φαλμάτων: s s s s f f f, Cov f f f f f Συτηματικές αβεβαιότητες
38 Έτω ± 4 μονάδες και 8 ± 3 μονάδες και τα φάλματα, είναι ανεξάρτητα αυχέτιτα μεταξύ τους π.χ. είναι τατιτικά φάλματα δύο διαφορετικών πειραμάτων. Πόο είναι το φάλμα την ποότητα ; 8 μονάδες και κατά τα γνωτά: 5, Cov 7,, Cov Cov Συτηματικές αβεβαιότητες: Διάδοη φαλμάτων Αν όμως τα φάλματα, είναι πλήρως υχετιμένα
39 Έτω ± 4 ± μονάδες και 8 ± 3 ± μονάδες όπου το πρώτο φάλμα ε κάθε περίπτωη είναι τατιτικό και το δεύτερο υχετιμένο υτηματικό. Πόο είναι το φάλμα την ποότητα ; Το τατιτικό φάλμα θα είναι: Το δε υτηματικό: Οπότε: 8 ±5±4 μονάδες 5, Cov 4,, Cov Cov Συτηματικές αβεβαιότητες: Διάδοη φαλμάτων
Συτηματικές αβεβαιότητες: Διάδοη φαλμάτων Έτω ± 4 μονάδες και 8 ± 4 μονάδες είναι οι εκτιμήεις για την ίδια φυική ποότητα και τα φάλματα, είναι ανεξάρτητα αυχέτιτα μεταξύ τους π.χ. είναι τατιτικά φάλματα δύο διαφορετικών πειραμάτων. Ποια είναι η τελική εκτίμηη για τη φυική ποότητα; οπότε: 9 ± 3 μονάδες 9. 8 Αν όμως τα φάλματα ήταν πλήρως υχετιμένα 9±4μονάδες Αν ήταν τα φάλματα ήταν τατιτικό και υτηματικό τότε: 9. ±.4 ±. μονάδες 4
4 Έτω η ευθεία α όπου όλα τα έχουν τατιτικά φάλματα, αλλά και ένα κοινό υτηματικό φάλμα s. Κατά γνωτά: Γιατηνκλίηθαέχουμε: Αλλά οπότε Για το ταθερό όρο όμως:, j j j Cov,, s δ j j Cov s j j, s Cov j j j Συτηματικές αβεβαιότητες: Ευθεία Ελαχίτων Τετραγώνων
Θεώρημα Κεντρικού Ορίου Έτω ότι {,,, n } είναι ένα ύνολο αμοιβαία ανεξάρτητων τυχαίων μεταβλητών, η καθεμία µε αναμενόμενη τιμή ίη µε µ και διαπορές ίες µε Τότε το άθροιμά τους τείνει να γίνει gussn pdf. 4