ΚΕΦ. 2 Στατιστική ανάλυση ακραίων παρατηρήσεων

Transcript

1 ΚΕΦ. Στατιτική ανάλυη ακραίων παρατηρήεων οντέλα ερηνείας εκτιήεων - προβλέψεων ακραίων υβάντων ε βάη πραγατικά δεδοένα Θα προπαθήουε ε βάη ιτορικά δεδοένα και όνο να δώουε απαντήεις ε ερωτήεις της ορφής: - Ποια είναι η πιθανότητα τα επόενα a χρονικά διατήατα οι παρατηρηεις να ην υπερβούν ένα προκαθοριένο υψηλό κατώφλι u; - Ποια είναι η πρόβλεψη για την εγαλύτερη παρατήρηη τα επόενα a χρονικά διατήατα; - Ποια είναι η τάθη u την οποία δεν θα υπερβεί καία παρατήρηη τα επόενα a χρονικά διατήατα ε πιθανότητα p; κ.ο.κ. Θα εετάουε δύο εθόδους :. Mέθοδος Block Maima βαιζόατε τις έγιτες τιές ανά χρονικές περιόδους. Mέθοδος POT βαιζόατε τις τιές πάνω από ένα κατώφλι Etreme Value Theory slides Boutsikas Michael

2 . Η Mέθοδος Block Maima Έτω παρατηρήεις Χ Χ Χ m ~ F άγνωτη - Μπορούε να θεωρήουε ότι οι Χ Χ Χ m m k χωρίζονται ε k το πλήθος υπούνολα blocks από παρατηρήεις το καθένα. X X... X X + X +... X +... X k + X k +... X k + Συβολίζουε ε Υ Υ.. Υ k τις έγιτες τιές ε καθένα από αυτά τα k υπούνολα οι οποίες καλούνται block maima 50 k 00 Etreme Value Theory slides Boutsikas Michael

3 Από το Θ. Fisher-Tippett Εάν το είναι αρκετά εγάλο τότε κανονικοποιηένα block maima ~ Λ d/c ή Φ α d/c ή Ψ α d/c ανάλογα ε το αν F MDAΛ ή MDAΦ a ή MDAΨ a αντίτοιχα. Ι Αν F MDAΛ τότε F < ή F ε λεπτή ή έτρια βαριά ουρά η ουρά της ίδιας της Λ ειώνεται εκθετικά. ΙΙ Αν F MDAΦ a τότε F ε βαριά ουρά. Μάλιτα F L όπου η L R 0 είναι βραδείας κύανης. ΙΙ Αν F MDAΨ a τότε F < ε ουρά που ικανοποιεί την F L. Etreme Value Theory slides Boutsikas Michael 3 F a a

4 Μια πρώτη προέγγιη: Προδιορίζουε από ποια από τις τρείς κατανοές ακροτάτων προέρχονται τα block maima Υ Υ.. Υ k ανάλογα ε το MDA που ανήκουν τα Χ i Εκτιούε τις παραέτρους a χήατος d θέης και c κλίακας. ΠΑΡΑΤΗΡΗΣΗ: Η παραπάνω διαδικαία ακολουθείται όταν υπάρχει βεβαιότητα για τον τύπο της οριακής κατανοής Λ Φ ή Ψ των Χ i. Διαφορετικά χρειάζεται ια έθοδος για την επιλογή της κατάλληλου τύπου της οριακής κατανοής ακροτάτων. MEIONEKTHMA: Mια λανθαένη επιλογή του τύπου της οριακής κατανοής α- κροτάτων πορεί να οδηγήει τη υνέχεια ε εντελώς εφαλένα αποτελέατα. Etreme Value Theory slides Boutsikas Michael 4

5 Συνήθως ακολουθείται ια αφαλέτερη διαδικαία: - Οι τρεις οικογένειες κατανοών ακροτάτων ενοποιούνται ε ία οικογένεια κατανοών η οποία καλείται κατανοή GEV - Αν το είναι αρκετά εγάλο πορούε να θεωρήουε ότι τα block maima Υ Υ.. Υ k ~ GEV και να εκτιήουε τις παραέτρους της. ΠΛΕΟΝΕΚΤΗΜΑΤΑ: i Δεν είατε αναγκαένοι να επιλέουε a-priori κάποιον από τους τρεις τύπους Λ Φ Ψ και να παραείνουε ε αυτόν. ii Η αβεβαιότητα που ενδεχοένως θα υπάρχει για τον τύπο της οριακής κατανοής ακροτάτων θα εκφράζεται φυιολογικά έα από την αβεβαιότητα της εκτίηης της παραέτρου χήατος π.χ. από το εύρος διατήατος επιτούνης για το. Etreme Value Theory slides Boutsikas Michael 5

6 Etreme Value Theory slides Boutsikas Michael 6 Θεώρηα Fisher-Tippett ενοποιώντας τους τρείς τύπους κατανοών ακροτάτων Έτω Χ Χ... ια ακολουθία από ανε. ιον. iid τ.. Αν υπάρχουν ακολουθίες c > 0 d R και ια η-εκφυλιένη κατανοή G ώτε G c d X X c d M d }... ma{ τότε η G θα είναι της ορφής ; + e G 0 : > + όπου R > 0. Για 0 θεωρουε ως G το όριό της για 0 δηλαδή e e G 0 R.

7 Η υγκεκριένη παραετρική οικογένεια κατανοών ε.κ. G καλείται κατανοή GEV Geeralized Etreme Value Distributio ε παραέτρους R > π.π. της κατανοής GEV Etreme Value Theory slides Boutsikas Michael 7

8 Etreme Value Theory slides Boutsikas Michael 8 Για κατάλληλες τιές των παραέτρων προκύπτουν και πάλι οι τρείς τύποι κατανοών ακροτάτων: Ι Frechet Αν > 0 και θέουε /a c/a c + d τότε 0 0 > + > Φ + c d c d e e G a c d a ΙΙ Weibull Αν < 0 και θέουε /a c/a c + d τότε 0 0 > + < Ψ + c d c d e e G a c d a ΙII Gumbel Αν 0 δηλ. θεωρήουε ότι 0 και θέουε c d τότε R c d e e G e Λ + 0

9 Εποένως η κατανοή GEV: για > 0 έχει F ε βαριά ουρά: G L αν γίνεται βαρύτερη / L - Αν π.χ. 0.5 τότε G όπου L R 0 π.χ. ταθερή L - Αν π.χ. τότε G όπου L R 0 π.χ. ταθερή για 0 έχει F ε λεπτή ουρά: G c e όπου c για για < 0 έχει F / < ε ουρά: / G F / L G y y L - Αν π.χ. 0.5 τότε G y y L όπου L R 0 - Αν π.χ. τότε G y yl όπου L R 0 F F F y F y F F y Etreme Value Theory slides Boutsikas Michael 9

10 Etreme Value Theory slides Boutsikas Michael 0 Aπό το Θεώρηα Fisher-Tippett: τα block maima Υ Υ.. Υ k ~ GEV Ενδεχόενη ένταη: τα κανονικοποιηένα block maima Υ Υ.. Υ k ~ GEV Δηλαδή ; 0 0 G c d M P c d Y P i i Εποένως θα πρέπει να προδιορίουε και τα d c ; Ευτυχώς όχι: Από την παραπάνω χέη θέτοντας y c + d προκύπτει ότι ; ; c c d y i y G e c d y G y Y P + και άρα προύε να θεωρήουε ότι και τα η-κανονικοποιηένα block maima Υ Υ.. Υ k ακολουθούν και αυτά προεγγιτικά ία κατανοή GEV.

11 Συνοψίζουε: Προκειένου να ελετήουε την κατανοή της έγιτης παρατήρηης Μ ma{x X X m } πράττουε τα εής: Χωρίζουε τα X X X k ε k οάδες blocks και λαβάνουε τις έγιτες i παρατηρήεις Y i M i k έα ε κάθε οάδα block maima. X... X X + X +... X +... X k + X k +... X k X + Υ Υ... Υ k Αν το είναι αρκετά εγάλο τα block maima Y Y Y k ~ GEV Εκτιούε τις παραέτρους της GEV οι οποίες «περιέχουν» και τις ταθερές κανονικοποίηης. Όταν έχουε ένα υγκεκριένο ύνολο δεδοένων το θεωρείται ταθερό. Για το λόγο αυτό τη υνέχεια θα γράφουε τις παραέτρους χωρίς τον δείκτη. Etreme Value Theory slides Boutsikas Michael

12 Στάθη απόδοης z p retur level Στάθη απόδοης: το κατώφλι z p το οποίο δεν υπερβαίνει καία παρατήρηη Χ i για ια χρονική περίοδο block ε πιθανότητα p και αρα δεν υπερβαίνει και το αντίτοιχο block maimum Μ. Σύφωνα ε τα παραπάνω όταν το block size θα είναι Εποένως P M z G z p p p z p G p l p l l p 0 0 Δεύτερος ιοδύναος οριός: Αν T : πλήθος των blocks έχρι να υπάρει Χ > z p τότε η τ.. T ~ Γεωετρική κατανοηp ε ΕΤ /p χρονικές περιόδους. Άρα ιοδύναα: τάθη απόδοης z p για /p χρονικές περιόδους απόδοης: Το κατώφλι z p το οποίο υπερβαίνουν τα block maima κατά έο όρο κάθε /p blocks π.χ. αν p 99% τότε /p / Etreme Value Theory slides Boutsikas Michael

13 Εκτίηη των παραέτρων της GEV Έχουν προταθεί αρκετές έθοδοι για αυτό το κοπό: - έω κατάλληλων γραφηάτων παραλλαγές των Q-Q plots - ε τη έθοδο των ροπών - έω κατάλληλων υναρτήεων διατεταγένων παρατηρήεων order statistics - έω εκτιητριών εγίτης πιθανοφάνειας. Θα βαιτούε κυρίως τη έθοδο έγιτης πιθανοφάνειας που αυπτωτικά δίνει τις καλύτερες δυνατές εκτιήτριες ελαχίτης διαποράς που ακολουθούν γνωτή κατανοή πολυδιάτατη κανονική. Οι έλεγχοι υποθέεων και τα δ.ε. για τις παραέτρους πορούν χετικά εύκολα να γίνουν χρηιοποιώντας τη γνωτή profile Deviace Fuctio. Ενδεχόενο πρόβληα: Η κατανοή GEV ικανοποιεί τις υνθήκες οαλότητας που απαιτούνται ώτε να ιχύουν τα γνωτά αυπτωτικά αποτελέατα για τις ε..π.; Έχει βρεθεί ότι: - Αν > 0.5 τότε οι ε..π. έχουν τις γνωτές αυπτωτικές τους ιδιότητες - Αν < 0.5 τότε οι ε..π. δεν έχουν τις γνωτές αυπτωτικές τους ιδιότητες. - Μάλιτα για < είναι πιθανό να ην πορούν καν να βρεθούν οι ε..π. Etreme Value Theory slides Boutsikas Michael 3

14 Etreme Value Theory slides Boutsikas Michael 4 Ε.Μ.Π. των της κατανοής GEV. Έτω τα block maima Υ Υ Υ k ~ GEV. H log-likelihood των Υ i θα είναι 0 k i i k i i Y G Y G l ; l ; l k i i k i Y k i i Y k Y I i l l l Το άθροια των liy i είναι ίο ε 0 αν τα ικανοποιούν την + Υ i / > 0 για όλα τα όλα τα Y i και διαφορετικά. Στην περίπτωη που 0 αντίτοιχα θα είναι k i Y k i i i e Y k l l 0. Οι ε..π. ˆ ˆ ˆ είναι οι τιές των που εγιτοποιούν την l. Δυτυχώς δεν υπάρχουν αναλυτικές εκφράεις για τις ε..π. Δεδοένου όως ενός υγκεκριένου τυχαίου δείγατος y y k πορούε να βρούε τις τιές που εγιτοποιούν την l ε αριθητικές εθόδους βελτιτοποίηηςπ.χ. Newto-Raphso

15 Ιδιότητες των ε..π. Οι ˆ ˆ ˆ θα ακολουθούν ία πολυδιάτατη κανονική ε έη τιή Τ και πίνακα διαποράς τον αντίτροφο του πίνακα πληροφορίας ο οποίος εκτιάται από τον I l l l ˆ ˆ ˆ ˆ ˆ ˆ ˆ ˆ ˆ l l l ˆ ˆ ˆ ˆ ˆ ˆ ˆ ˆ ˆ l l l ˆ ˆ ˆ ˆ ˆ ˆ ˆ ˆ ˆ Αν s ii είναι το i-διαγωνιο τοιχείο του I προεγγιτικά ιχύει ότι ˆ ~ N s ˆ ~ ˆ N s ~ N s3 3 και άρα τα ± s z ˆ ± s z ˆ ± s z ˆ a / a / 33 a / είναι προεγγιτικά διατήατα επιτούνης υντελετού a για τις παραέτρους αντίτοιχα. Etreme Value Theory slides Boutsikas Michael 5

16 Profile Deviace Fuctio Για την κατακευή δ.ε. πορούε εναλλακτικά να χρηιοποιήουε τις profile Deviace Fuctios D p D p D p. Αν θέλουε δ.ε. για το αποδεικνύεται ότι D p και εποένως το ύνολο είναι ένα δ.ε. υντελετού a για το. l ˆ ˆ ˆ mal ~ χ. { : D p χ a} Το παραπάνω δεν λύνεται ως προς και για αυτό κατακευάζουε το γράφηα της υνάρτηης D p ως προς διάφορες τιές της οι εγιτοποιήεις γίνονται αριθητικά και προθέτουε την οριζόντια γραή ε τεταγένη χ. Ιοδύναα πορούε να κατακευάουε το γράφηα της ma l και να προθέουε την γραή ε τεταγένη l ˆ ˆ ˆ χ a /. a Etreme Value Theory slides Boutsikas Michael 6

17 Etreme Value Theory slides Boutsikas Michael 7 Εκτίηη της τάθης απόδοης Σηειακή Εκτίηη. Ιχύει ότι z p g. Εποένως + 0 ˆ ˆ ˆ 0 ˆ ˆ ˆ ˆ ˆ ˆ ˆ ˆ ˆ p w p w e g z p w p l l p. Κατακ. Δ.Ε. Αν ˆ 0 από τη έθοδο Δέλτα είναι γνωτό ότι προεγγιτικά ˆ ~ ˆ ˆ ˆ ˆ g g g T g g g p I g N g z. όπου p p p w p w w T g g g e y e e + Για να εκτιήουε τη διαπορά της p ẑ θέτουε το παραπάνω Αν θεωρήουε ότι η παράετρος 0 τότε όοια ˆ 0 ~ ˆ0 ˆ g g T g g I g N g αυτή τη φορά ο πίνακας πληροφορίας είναι

18 Κατακευή Δ.Ε. για το z p εω της profile deviace fuctio Πραγατοποιούε νέα παραετροποίηη ώτε η z p να είναι ια από τις παραέτρους της GEV π.χ. θέτουε z p + l p. Αν l η πιθανοφάνεια των block maima ως προς την νέα παραετροποίηη τότε z p Συνεπώς το ύνολο D z l zˆ ˆ ˆ mal z ~ χ p p p p { z p : D p z p χ a} είναι ένα δ.ε. υντελετού a για το z p. Κατακευάζουε το γράφηα της υνάρτηης D p z p ή της ma l z p ως προς διάφορες τιές της z p και προθέτουε την οριζόντια γραή ε τεταγένη χ αντίτοιχα ε ˆ l zˆ ˆ / p χ. a a Etreme Value Theory slides Boutsikas Michael 8

19 Έλεγχος καλής προαρογής των δεδοένων την GEV Θα πρέπει να βεβαιωθούε ότι τα block maima προαρόζονται ικανοποιητικά ε κάποια GEV ώτε να έχει νόηα τη υνέχεια η εκτίηη των παραέτρων. Χρηιοποιούε Q-Q plots ή P-P plots των block maima ως προς την GEV ˆ ˆ ˆ : - Αποτελείται από τα ηεία Y i G i k+ ; ˆ ˆ ˆ Y ˆ ˆ l ˆ i i k+ όπου Υ <Y < <Y k είναι τα διατεταγένα block maima. ˆ i k - Εάν τα block maima ακολουθούν ία GEV θα πρέπει τα k ηεία του Q-Q plot να βρίκονται κοντά την διαγώνιο. Etreme Value Theory slides Boutsikas Michael 9

20 Q-Q plots ως προς την GEV 0 ˆ Gumbel - πρόχειρη εκτίηη των Το Q-Q plot των block maima ως προς την GEV 0 ˆ αποτελείται από τα ηεία i ˆ Y i l i k ˆ k + - Εάν τα block maima ακολουθούν ία GEV θα πρέπει τα k ηεία του παραπάνω Q-Q plot να βρίκονται «κοντά» την ευθεία: y /. - Δηλαδή τα πορούν πρόχειρα να εκτιηθούν από το γράφηα Πρόχειρη εκτίηη του : Δοκιάζουε διάφορες τιές του έχρι να δούε για ποια τιή τα k ηεία περίπου ευθυγραίζονται. - Συνήθως εκινάε από το 0 Q-Q plot των block maima ως προς την Λ0: i Y i l l i k k + - Εάν το γράφηα των ηείων είναι κοίλο cocave τότε δοκιάζουε > 0 - Εάν το γράφηα των ηείων είναι κυρτό cove τότε δοκιάζουε < 0 Etreme Value Theory slides Boutsikas Michael 0

21 Παράδειγα. Θεωρούε το παράδειγα ε τις k 0000 τιές των Χ i που έχουε χρηιοποιήει παραπάνω. Κρατάε τα block maima Υ Υ Υ k ε k 00 50: Etreme Value Theory slides Boutsikas Michael

22 Το γράφηα των ηείων το Gumbel Q-Q plot φαίνεται να είναι κοίλο και υποπτευόατε ότι το πιθανόν να είναι θετικό. Mπορούε φτιάουε το Q-Q plot της GEV ε 0 δοκιάζοντας διάφορες τιές του έως ότου τα ηεία περίπου ευθυγραιτούν: GEV Q-Q plot 0. GEV Q-Q plot 0.3 GEV Q-Q plot 0.4 Μάλλον 0.3. Επίης τα ηεία θα βρίκονται πάνω την ευθεία y /. Από εδώ προκύπτει εύκολα από το εαίο παραπάνω χήα ότι το 6 7. Etreme Value Theory slides Boutsikas Michael

23 Μέθοδος έγιτης πιθανοφάνειας. Η εκτίηη των παραέτρων και από τα block maima έω της εθόδου έγιτης πιθανοφάνειας είναι από το πακέτο EtRemes του R: ˆ ˆ ˆ ε αντίτοιχες εκτιήεις των τυπικών αποκλίεών τους αντίτοιχα και Μπορούε τώρα να κατακευάουε και τα αντίτοιχα προεγγιτικά δ.ε. υντελετού a: ± s z ˆ ± s z ˆ ± s z. ˆ a / a / 33 a / Π.χ. για το το δ.ε. 95% θα είναι το Etreme Value Theory slides Boutsikas Michael 3

24 Δ.Ε. έω της profile Deviace Fuctio Ένα δ.ε. 95% για το έω της profile Deviace Fuctio θα είναι το { : D p χ a} όπου D p l ˆ ˆ ˆ mal ~ χ - Κατακευάζουε το γράφηα της υνάρτηης Profile log-likelihood ma l για κατακευάζεται αριθητικά π.χ. λαβάνοντας 00 τιές του έα το προθέτουε την οριζόντια γραή ε τεταγένη l ˆ ˆ ˆ χ a / : Etreme Value Theory slides Boutsikas Michael 4

25 Eκτίηη της τάθης απόδοης z p για /p χρονικές περιόδους block ία χρονική περίοδος zˆ p ˆ ˆ e ˆ e 0.56 ˆ w p 0.56w p όπου w p l l p. Επίης πορούε να εκτιήουε την τάθη απόδοης από την profile log-likelihood: για /p 0 και 00 αντίτοιχα: - ένα block maimum υπερβαίνει την τιή 7 ε πιθ. p /00 ή ιοδύναα - ένα block maimum υπεβαίνει την τιή 7 κατά έο όρο κάθε 00 χρονικές περιόδους. Etreme Value Theory slides Boutsikas Michael 5

26 Διαγνωτικά γραφήατα καλή προαρογή των block maima την GEV Etreme Value Theory slides Boutsikas Michael 6

27 Η κατανοή GPD - η έθοδος POT Peaks over Threshold Έτω Χ Χ Χ ~ F της οποίας θέλουε να ελετήουε την δειά ουρά. Η έθοδος POT βαίζεται τις Χ Χ Χ που υπερβαίνουν ένα κατώφλι έτω u. Θα πρέπει να βαιτούε την κατανοή της υπέρβαης ιας τ.. Χ i πάνω από ένα κατώφλι u δεδοένου ότι η X i έχει υπερβεί το u: F u F u + y y P X u y X > u y > F u 0. Ερώτηα: -Μπορούε όπως και την περίπτωη της κατανοής του εγίτου να βαιτούε την οριακή κατανοή της F u ; - Κάτω από ποιες προυποθέεις υπάρχει οριακή κατανοή της F u και αν υπάρχει είναι ανεάρτητη της F; Etreme Value Theory slides Boutsikas Michael 7

28 Οριακή κατανοή των POT Θεώρηα. Έτω iid XΧ Χ Χ ~ F και έτω ότι η Μ d /c GEV. Θεωρούε ότι το είναι αρκετά εγάλο ώτε P M G ; M ma{x X } όπου G είναι η.κ. της GEV. Τότε για αρκετά εγάλο u θα ιχύει ότι ~ y F u y P X u y X > u H y; + ~ για y > 0 ε + y / ~ > 0 και ~ + u. H ; ~ : καλείται γενικευένη κατανοή Pareto GPD ε έη τιή ~ /. - Όταν < 0 τότε η GPD έχει άνω όριο το u ~ / - Όταν > 0 τότε η GPD εκτείνεται δειά ως το άπειρο. - Όταν 0 δηλ. 0 τότε η GPD εκθετική κατανοή ε παράετρο / ~. Εποένως οι υπερβάεις ενός υψηλού κατωφλίου των X i ακολουθούν προεγγιτικά ια GPD ε παραέτρους ~. Etreme Value Theory slides Boutsikas Michael 8 /

29 Etreme Value Theory slides Boutsikas Michael 9 Παράδειγα α Έτω Χ Χ... Χ ~ Εκθετική κατανοή ε παράετρο λ. - Γνωρίζουε ότι X i MDAΛ και εποένως το M θα ακολουθεί προεγγιτικά την GEV ε 0. Αναενουε λοιπόν F u GPD ε 0. - Πράγατι θα είναι 0 > + + y e e e u F y u F y F y u y u u λ λ λ. - Δηλαδή η F u ακολουθεί ακριβώς την GPD ε 0 δηλ. και πάλι εκθετική για ο- ποιοδήποτε κατώφλι u ανήονη ιδιότητα της εκθετικής κατανοής.

30 Έτω Χ Χ... Χ ~ κατανοή Cauchy. Παράδειγα β - Οι X i MDAΦ και εποένως το M ακολουθεί προεγγιτικά την GEV ε. Αναένουε λοιπόν F u GPD ε. - Προκύπτει ότι για εγάλο u f R π + F u y F u + y F u π u + y π u + y u y > 0 οπότε πράγατι η F u ακολουθεί προεγγιτικά την GPD ε και ~ υψηλό κατώφλι u. u για ένα Etreme Value Theory slides Boutsikas Michael 30

31 Παράδειγα γ Έτω Χ Χ... Χ ~ Οοιόορφη το [0]. - Οι X i MDAΨ και εποένως το M ακολουθεί προεγγιτικά την GEV ε. Αναένουε λοιπόν F u GPD ε. - Πράγατι F u F u + y u y y y y 0 u F u u u και η F u ακολουθεί προεγγιτικά την GPD ε και κατώφλι u [0. ~ u για οποιοδήποτε Etreme Value Theory slides Boutsikas Michael 3

32 Η επιλογή του βέλτιτου κατωφλίου u Εάν το u δεν επιλεγεί αρκετά εγάλο τότε υπάρχει ο κίνδυνος η F u να ην προεγγίζεται ικανοποιητικά από την GPD. Αντίθετα αν πάρουε το u πολύ εγάλο τότε ενδέχεται οι υπερβάεις των X i να ην είναι αρκετές ώτε να κάνουε τη υνέχεια αφαλείς εκτιήεις. Θα πρέπει ως κατώφλι να επιλέουε το ικρότερο u ώτε F u GPD. Στη υνέχεια θα παρουιάουε δύο εθόδους επιλογής βέλτιτου u: Etreme Value Theory slides Boutsikas Michael 3

33 η έθοδος για την επιλογή του u: Μea residual life plot Βαίζεται το γεγονός ότι αν ένα κατώφλι u 0 είναι αρκετά εγάλο ώτε F u0 GPD τότε προφανώς και F u GPD για κάθε u > u 0. Άρα και οι έες τιές των F u και GPD θα πρέπει να είναι ίες δηλαδή mea ecess fuctio ~ + u eu E X u X > u u > u 0. Άρα αν το u 0 είναι το ικρότερο u ώτε F u GPD τότε η παραπάνω δεευένη έη τιή eu θα πρέπει να είναι γραική υνάρτηη του u για u > u 0. Η eu πορεί εύκολα να εκτιηθεί από την επειρική έη υπερβάλλουα υνάρτηη eˆ u k u i: X i X > u i u όπου ku είναι το πλήθος των X i που υπερβαίνουν το u. Το γράφηα των ηείων u eˆ u u [mix i max i ] θα πρέπει να είναι περίπου γραικό για u u 0. Etreme Value Theory slides Boutsikas Michael 33

34 Για παράδειγα δίνονται τα παρακάτω γραφήατα που κατακευάτηκαν ε βάη τα δεδοένα του Παραδείγατος : Etreme Value Theory slides Boutsikas Michael 34

35 η έθοδος για την επιλογή του u: Εκτιούε τις παραέτρους ~ της GPD για διάφορες τιές του u. Αν ιχύει ότι F u GPD θα πρέπει η εκτίηη του να ην επηρεάζεται από το u ενώ η εκτίηη του ~ + u να εταβάλλεται γραικά ως προς το u. Μπορούε και πάλι να επιλέουε το ικρότερο u που ικανοποιεί όλα τα παραπάνω. Π.χ. δίνονται τα παρακάτω γραφήατα που έγιναν από τα δεδοένα του Παραδ. : Etreme Value Theory slides Boutsikas Michael 35

36 Etreme Value Theory slides Boutsikas Michael 36

37 Εκτίηη των παραέτρων της GPD Μετά την επιλογή του κατάλληλου κατωφλίου u οι παράετροι της GPD πορούν να εκτιηθούν έω της εθόδου έγιτης πιθανοφάνειας. Συβολίζουε ε {Ζ Ζ Ζ k } {X i u: X i > u}. Σύφωνα ε τα παραπάνω πορούε να θεωρήουε ότι οι Z Z Z k είναι ανε. τ.. ~ F u GPD Η log-likelihood των Z Z Z k θα είναι 0 k k Z + + i l ~ k ~ l l + l I Z ~ ~ i. i i Το άθροια των liζ i ~ 0 αν τα ~ : + / > 0 z ~ για όλα τα Ζ i και διαφορετικά Etreme Value Theory slides Boutsikas Michael 37

38 Στην περίπτωη που 0 εκθετική κατανοή αντίτοιχα θα είναι l ~ 0 k l ~ ~ Z i. k i η οποία εγιτοποιείται το ˆ~ Z. Γενικότερα όως 0 οι ε..π. των ~ δεν πορούν να βρεθούν αναλυτικά. Δεδοένου όως ενός υγκεκριένου τυχαίου δείγατος z z k πορούε να βρούε τις τιές που εγιτοποιούν την l ~ χρηιοποιώντας και πάλι αριθητικές εθόδους βελτιτοποίηης π.χ. έθοδος Newto-Raphso. Etreme Value Theory slides Boutsikas Michael 38

39 Οι ε..π. ˆ~ ˆ θα ακολουθούν ία πολυδιάτατη κανονική ε έη τιή ~ Τ και πίνακα διαποράς τον αντίτροφο του πίνακα πληροφορίας ο οποίος εκτιάται από τον l ˆ~ l ˆ~ ~ ˆ ~ ˆ I ˆ~ ˆ ˆ~. l ˆ ~ l Αν s ii είναι το i-διαγωνιο τοιχείο του I - προεγγιτικά ιχύει ότι ˆ~ ~ N ~ s ˆ ~ N s και άρα τα ˆ~ ± s ˆ za / ± s33 za / είναι προεγγιτικά διατήατα επιτούνης υντελετού a για τις παραέτρους ~. 33 Όπως και την περίπτωη της GEV για την κατακευή δ.ε. πορούε εναλλακτικά να χρηιοποιήουε τις profile Deviace Fuctios D p ~ D p. Etreme Value Theory slides Boutsikas Michael 39

40 Εκτίηη της τάθης απόδοης m retur level για m παρατηρήεις. Στάθη απόδοης: Η τάθη που επερνά ία παρατήρηη X i ε πιθανότητα /m. Iοδύναα: Το κατώφλι m το οποίο υπερβαίνουν τα X i κατά έο όρο κάθε m παρατηρήεις. Το m θα πρέπει να ικανοποιεί την Από την GPD προκύπτει ότι PX > m /m. ˆ~ ˆ mk u ˆ + m u ˆ Από τις αυπτωτικές ιδιότητες των ε..π. πορούε να εκτιήουε τον πίνακα διαποράς των τριών εκτιητριών των ~ ku και ε τη έθοδο Δέλτα να κατακευάουε ένα διάτηα επιτούνης για το m. Etreme Value Theory slides Boutsikas Michael 40

41 Εναλλακτικά πορούε και πάλι να χρηιοποιήουε την profile deviace fuctio D p m για την κατακευή δ.ε. για το m κάνοντας ια νέα παραετροποίηη ώτε η m να είναι ια από τις παραέτρους της GPD. Etreme Value Theory slides Boutsikas Michael 4

42 Έλεγχος καλής προαρογής των δεδοένων την GPD Μπορεί να γίνει χρηιοποιώντας P-P plots ή Q-Q plots. Για παράδειγα το Q-Q plot των POT ως προς την GPD ˆ~ ˆ θα αποτελείται από τα ηεία ˆ~ ˆ ˆ~ i i ˆ Z i H k+ ˆ Z i k+ i k ˆ όπου Z < Z < < Z k είναι τα διατεταγένα POT. Εάν λοιπόν τα POT ακολουθούν ία GPD θα πρέπει τα k ηεία του Q-Q plot να βρίκονται κοντά την διαγώνιο. Etreme Value Theory slides Boutsikas Michael 4

43 Παράδειγα: Θα ελετήουε τη ορφή της δειάς ουράς της κατανοής από την οποία προέρχονται τα δεδοένα του Παραδ. αυτή τη φορά ε τη έθοδο POT. Από γράφηα έης υπολοιπόενης ζωής mea residual life plot που παρουιάζεται παραπάνω επιλέγουε u 0 θα πορούαε να είχαε πάρει και ικρότερο u Πάνω από αυτό το κατώφλι βρίκονται ku 3 από τις 0000 παρατηρήεις. Οι εκτιήεις των παραέτρων ~ γίνεται ύφωνα ε τα παραπάνω και υγκεκριένα βρίκουε ˆ~ ˆ ε και τις αντίτοιχες εκτιήεις των τυπικών αποκλίεών τους. προεγγιτικά δ.ε. υντελετού a ˆ~ ± s z ˆ ± s z. a / 33 a / Π.χ. για το το δ.ε. 95% θα είναι το Etreme Value Theory slides Boutsikas Michael 43

44 Επίης ένα δ.ε. υντελετού a 95% για το έω της profile Deviace Fuctio δίνεται από το ακόλουθο γράφηα Παρατηρούε ότι τα δ.ε. που παίρνουε ε τη έθοδο POT είναι εγαλύτερου εύρους από τα αντίτοιχα της εθόδου block maima. Αυτό προφανώς έχει να κάνει και ε την επιλογή του u. Αν επιλέγουε ικρότερο u ε κίνδυνο να ην ιχύει F u GPD θα πάρουε δ.ε. ικρότερου εύρους. Etreme Value Theory slides Boutsikas Michael 44

45 Εκτίηη της τάθης απόδοης για m παρατηρήεις: ˆ m ˆ ˆ~ mk u m u ˆ Επίης πορούε να εκτιήουε την τάθη απόδοης για m παρατηρήεις από την profile log-likelihood. Ζητάε εδώ λοιπόν τη τάθη απόδοης για 500/ και 5000/ χρόνια αντιτοιχούν ε 0 και 00 blocks Etreme Value Theory slides Boutsikas Michael 45

46 Τέλος πορούε και εδώ να κατακευάουε και τα διαγνωτικά γραφήατα για να εετάουε την καλή προαρογή των POT την κατανοή GPD Probability plot και Quatile plot. Etreme Value Theory slides Boutsikas Michael 46