ΑΡΙΣΟΣΕΛΕΙΟ ΠΑΝΕΠΙΣΘΜΙΟ ΘΕΑΛΟΝΙΚΘ ΣΜΘΜΑ ΘΛΕΚΣΡΟΛΟΓΩΝ ΜΘΧΑΝΙΚΩΝ ΚΑΙ ΜΘΧΑΝΙΚΩΝ ΤΠΟΛΟΓΙΣΩΝ ΣΟΜΕΑ ΘΛΕΚΣΡΟΝΙΚΘ ΚΑΙ ΤΠΟΛΟΓΙΣΩΝ

Transcript

1 ΑΡΙΣΟΣΕΛΕΙΟ ΠΑΝΕΠΙΣΘΜΙΟ ΘΕΑΛΟΝΙΚΘ ΣΜΘΜΑ ΘΛΕΚΣΡΟΛΟΓΩΝ ΜΘΧΑΝΙΚΩΝ ΚΑΙ ΜΘΧΑΝΙΚΩΝ ΤΠΟΛΟΓΙΣΩΝ ΣΟΜΕΑ ΘΛΕΚΣΡΟΝΙΚΘ ΚΑΙ ΤΠΟΛΟΓΙΣΩΝ ΑΝΑΠΣΤΞΗ ΕΝΟ ΓΡΗΓΟΡΟΤ ΑΛΓΟΡΙΘΜΟΤ ΓΙΑ ΣΟΝ ΑΝΘΕΚΣΙΚΟ (ROBUST) ΕΚΣΙΜΗΣΗ PTS (PENALIZED TRIMMED SQUARES) KAI ΕΥΑΡΜΟΓΗ ΣΗΝ ΟΠΣΙΚΗ ΡΟΗ ΔΙΠΛΩΜΑΣΙΚΘ ΕΡΓΑΙΑ ΣΟΤ ΚΟΤΣΟΚΩΣΑ ΖΑΧΑΡΙΑ ΕΠΙΒΛΕΠΩΝ ΚΑΘΘΓΘΣΘ ΖΙΟΤΣΑ ΓΕΩΡΓΙΟ ΘΕΑΛΟΝΙΚΘ,

2 Ευχαριςτίεσ Θα ικελα να ευχαριςτιςω, τον Κακθγθτι κ. Ηιοφτα Γεϊργιο για τθν ανάκεςθ τθσ διπλωματικισ εργαςίασ και τθν πολφτιμθ κακοδιγθςθ που μου προςζφερε κακ όλθ όλθ τθν διάρκεια εκπόνθςθσ τθσ. Επίςθσ ζνα μεγάλο ευχαριςτϊ ςτθν οικογζνεια μου, για τθν ςυμπαράςταςθ τθσ ςε όλα τα χρόνια των ςπουδϊν μου. 2

3 ΠΡΟΛΟΓΟ Θ ςτατιςτικι αποτελεί ζνα πολφτιμο και απαραίτθτο εργαλείο για τον μθχανικό που κζλει να να προβλζψει τθν επιτυχία τθσ δουλειάσ του, αλλά και να εκτιμιςει ι να τροποποιιςει διάφορεσ παραμζτρουσ τθσ. τθν εργαςία αυτι εξετάηονται μζκοδοι οι οποίεσ βοθκοφν προσ αυτιν τθν κατεφκυνςθ και διατθροφν τθν χρθςιμότθτα τουσ ακόμα και όταν υπάρχουν ςφάλματα. Παράλλθλα αναπτφςςεται και υλοποιείται μία νζα μζκοδοσ με ςκοπό τθν εφαρμογι ςε ζνα ςφγχρονο πρόβλθμα του μθχανικοφ, που είναι θ εκτίμθςθ τθσ οπτικισ ροισ. το κεφάλαιο 1 διατυπϊνεται ζνα από τα πιο γνωςτά προβλιματα τθσ ςτατιςτικισ, αυτό τθσ πρόβλεψθσ των δεδομζνων με παλινδρόμθςθ και περιγράφεται θ κλαςικι επίλυςθ του προβλιματοσ με τθ μζκοδο των ελαχίςτων τετραγϊνων. Ωςτόςο αποδεικνφεται ότι θ λφςθ αυτι δεν ενδείκνυται όταν ζχουμε περιπτϊςεισ όπου μερικά δεδομζνα δεν είναι ςωςτά. το κεφάλαιο 2 μελετάμε μεκόδουσ πρόβλεψθσ που είναι ανκεκτικζσ ςτα διάφορα ςφάλματα και δίνουν ικανοποιθτικι λφςθ για μικρό όμωσ αρικμό ςφαλμάτων. Αυτζσ οι μζκοδοι ςτθρίηονται ςτθν τροποποίθςθ των εςφαλμζνων δεδομζνων. το κεφάλαιο 3 παρουςιάηονται νζεσ μζκοδοι οι οποίεσ διατθροφν τθν ανκεκτικότθτα τουσ για μεγάλο εϊσ μζγιςτο αρικμό ςφαλμάτων. Θ λειτουργία τουσ ςτθρίηεται ςτθν ανίχνευςθ και διαγραφι των δεδομζνων που ζχουν υποςτεί ςφάλμα. Ιδιαίτερθ προςοχι δίνεται ςτθν μελζτθ του εκτιμθτι PTS που αποτελεί μία από αυτζσ τισ μεκόδουσ. το κεφάλαιο 4 υλοποιείται ο υπάρχων γριγοροσ αλγόρικμοσ του εκτιμθτι PTS ενϊ αναπτφςςεται και περιγράφεται ζνασ νζοσ αλγόρικμοσ αυτοφ του εκτιμθτι. το κεφάλαιο 5 παρουςιάηεται μία ςθμαντικι τροποποίθςθ ςτον αλγόρικμο του PTS, θ οποία παραδίδει ζναν νζο εκτιμθτι, τον IPTS. το κεφάλαιο 6 μελετάται το πρόβλθμα τθσ οπτικισ ροισ, το οποίο αφορά τθν εξαγωγι ενόσ μοντζλου κίνθςθσ με διανφςματα, όταν είναι γνωςτι μία ακολουκία εικόνων. Αναπτφςςεται και υλοποιείται ζνασ αλγόρικμοσ για τθν επίλυςθ του προβλιματοσ ο οποίοσ ςτθρίηεται ςτον νζο γριγορο αλγόρικμο του PTS. Σζλοσ ςτο κεφάλαιο 7 παρατίκενται οι μετριςεισ και τα ςυγκριτικά αποτελζςματα του νζου γριγορου αλγορίκμου και άλλων γνωςτϊν μεκόδων. Γίνεται επίςθσ μία εφαρμογι ςτο 3

4 πρόβλθμα τθσ οπτικισ ροισ και παρουςιάηεται το μεγάλο πλεονζκτθμα του νζου αλγορίκμου ςε μεικτά μοντζλα δεδομζνων. 4

5 Περιεχόμενα 1 ΣΟ ΠΡΟΒΛΗΜΑ ΣΗ ΠΑΛΙΝΔΡΟΜΗΗ Γενικά Θ μζκοδοσ των ελαχίςτων τετραγϊνων(ols) Outliers ςτθν παλινδρόμθςθ y-outliers x-outliers Κλαςςικζσ μζκοδοι διάγνωςθσ outliers O πίνακασ Hat matrix H απόςταςθ Mahalanobis Standarized, studentized και jackknifed residuals Διαγνωςτικά απλισ υπόκεςθσ(single case diagnostics) Διαγνωςτικά πολλαπλισ υπόκεςθσ(multiple case diagnostics) ΑΝΘΕΚΣΙΚΕ ΜΕΘΟΔΟΙ ΓΡΑΜΜΙΚΗ ΠΑΛΙΝΔΡΟΜΗΗ Γενικά Ποιοτικά κριτιρια ανκεκτικϊν εκτιμθτϊν Ανκεκτικότθτα Αποτελεςματικότθτα Μ-εκτιμθτζσ παλινδρόμθςθσ Εκτιμθτζσ περιοριςμζνθσ επίδραςθσ, GM-εκτιμθτζσ Γενικι διαδικαςία ανκεκτικισ παλινδρόμθςθσ Αλγόρικμοσ επίλυςθσ Μ και GM-εκτιμθτϊν Επίλυςθ των εκτιμθτϊν με QP

6 3 ΑΝΘΕΚΣΙΚΕ ΜΕΘΟΔΟΙ ΓΡΑΜΜΙΚΗ ΠΑΛΙΝΔΡΟΜΗΗ ΤΨΗΛΟΤ ΗΜΕΙΟΤ ΚΑΣΑΡΡΕΤΗ Γενικά O εκτιμθτισ LMS O εκτιμθτισ LTS O MM-εκτιμθτισ O S-εκτιμθτισ O εκτιμθτισ PTS Ανκεκτικότθτα του εκτιμθτι Αποκάλυψθ των πολλαπλϊν high leverage points Διαδικαςία επίλυςθσ του προβλιματοσ PTS Τπολογιςμόσ του εκτιμθτι PTS με QMIP AΛΓΟΡΙΘΜΟΙ ΤΛΟΠΟΙΗΗ ΣΟΤ ΕΚΣΙΜΗΣΗ PTS Γενικά Γριγοροσ αλγόρικμοσ PTS(fast PTS) Aνάλυςθ τθσ γενικισ διαδικαςίασ Aνάλυςθ τθσ μεκόδου Construction Aνάλυςθ τθσ μεκόδου Optimize Nζοσ γριγοροσ αλγόρικμοσ PTS Aνάλυςθ τθσ γενικισ διαδικαςίασ Eκτίμθςθ τθσ τυπικισ απόκλιςθσ ς Μ Aνάλυςθ τθσ μεκόδου Global Aνάλυςθ τθσ μεκόδου New-Optimize O ΕΚΣΙΜΗΣΗ IPTS Γενικά e-insensitive PTS Τλοποίθςθ του γριγορου αλγορίκμου IPTS

7 5.4 Eπίλυςθ του IPTS με QMIP EΚΣΙΜΗΗ ΟΠΣΙΚΗ ΡΟΗ Γενικά Εξίςωςθ οπτικισ ροισ Εκτίμθςθ οπτικισ ροισ με παλινδρόμθςθ Multiresolution ςχιματα-θ μζκοδοσ των πυραμίδων Θ πυραμίδα του Gauss Aλγόρικμοσ εκτίμθςθσ τθσ οπτικισ ροισ με fast-pts AΠΟΣΕΛΕΜΑΣΑ ΠΕΙΡΑΜΑΣΩΝ Γενικά Monte Carlo αποτελζςματα Ανάλυςθ των μετριςεων υμπεράςματα Μεικτά μοντζλα παρατθριςεων Εφαρμογι ςτθν οπτικι ροι Εφαρμογι με απουςία κορφβου Εφαρμογι με κόρυβο Αποτελζςματα μετριςεων ΒΙΒΛΙΟΓΡΑΦΙΑ 86 ΠΑΡΑΡΣΗΜΑ 1)Υινπνίεζε λένπ γξήγνξνπ αιγνξίζκνπ PTS c-step θαη IPTS ) Τλοποίθςθ γριγορου αλγορίκμου PTS όπωσ αναπτφχκθκε ςτο paper A Fast algorithm for robust regression with penalized trimmed squares (L.Pitsoulis ans G.Zioutas) ) Τλοποίθςθ ςυνδυαςτικοφ αλγορίκμου του fast-pts και τθσ μεκόδου των πυραμίδων για υπολογιςμό οπτικισ ροισ ςε τρία επίπεδα

8 ΚΕΦΑΛΑΙΟ 1 ΣΟ ΠΡΟΒΛΗΜΑ ΣΗ ΠΑΛΙΝΔΡΟΜΗΗ 1.1 Γενικά Θ ανάλυςθ παλινδρόμθςθσ είναι ζνα ςτατιςτικό εργαλείο για τθν κατανόθςθ και τθν μοντελοποίθςθ τθσ ςχζςθσ που διζπει ζνασ πλικοσ μεταβλθτϊν. Οι εφαρμογζσ τθσ είναι αναρίκμθτεσ και αφοροφν ςχεδόν κάκε πεδίο επιςτιμθσ όπωσ των κετικϊν επιςτθμϊν, τθσ πλθροφορικισ, τισ επιςτιμεσ των μθχανικϊν, τισ κοινωνικζσ, βιολογικζσ και οικονομικζσ επιςτιμεσ. Γι αυτόν ακριβϊσ το λόγο θ ανάγκθ βελτιςτοποίθςθσ τθσ μεκόδου παλινδρόμθςθσ είναι μεγάλθσ ςθμαςίασ, και ζχει κακοριςτικι επίδραςθ ςε πτυχζσ τθσ ηωισ μασ. Ζνα απλό υποκετικό παράδειγμα εφαρμογισ τθσ παλινδρόμθςθσ, κα μποροφςε να είναι θ εκτίμθςθ ενόσ πλθκυςμοφ βακτθρίων. υμβολίηοντασ με κάποια τυχαία χρονικι ςτιγμι, δειγματολθπτοφμε ζναν πλθκυςμό ςτον οποίο αποδίδουμε τθν μεταβλθτι. Επαναλαμβάνοντασ τθν διαδικαςία ςε τυχαίεσ χρονικζσ ςτιγμζσ, δθμιουργοφμε ηεφγθ μεταβλθτϊν και καταγράφουμε ζνα δείγμα μετριςεων όπωσ αυτό που απεικονίηεται ςτο ςχιμα 1.1, το οποίο ονομάηεται διάγραμμα διαςποράσ. Από το ςχιμα δθμιουργείται θ εντφπωςθ ότι υπάρχει ςυγκεκριμζνθ ςχζςθ μεταξφ των τιμϊν και των αντίςτοιχων. Ακόμα περιςςότερο, τα δεδομζνα φαίνεται να προςεγγίηουν μια ευκεία γραμμι και ζτςι θ ςχζςθ αυτι κα μποροφςε να είναι γραμμικι. Θ εξίςωςθ τθσ γραμμισ αυτισ είναι : Σα δεδομζνα όμωσ που καταγράψαμε δεν προςαρμόηονται απόλυτα ςτθ γραμμι και ζτςι υπάρχει θ ανάγκθ ειςαγωγισ ενόσ λάκουσ(error ), το οποίο κα ιςοφται για κάκε παρατιρθςθ με τθ διαφορά τθσ τεταγμζνθσ που προζρχεται από τθν γραμμι και τθσ τεταγμζνθσ αποκρίςεισ των πραγματικϊν δεδομζνων δίνονται από τθ ςχζςθ:. Ζτςι οι 8

9 Θ ςχζςθ 1.2 μασ δίνει τθν εξίςωςθ τθσ απλισ γραμμικισ παλινδρόμθςθσ διότι περιλαμβάνει μία μόνο ανεξάρτθτθ μεταβλθτι. Θ ανεξάρτθτθ μεταβλθτι καλείται αλλιϊσ μεταβλθτι πρόγνωςθσ, ενϊ θ εξαρτθμζνθ καλείται μεταβλθτι απόκριςθσ. τθ γενικότερθ περίπτωςθ όμωσ, ζχουμε περιςςότερεσ ανεξάρτθτεσ μεταβλθτζσ, και ζτςι θ εξίςωςθ μασ δίνεται από τθ ςχζςθ 1.3 ι διαφορετικά τθν εξίςωςθ τθσ πολλαπλισ γραμμικισ παλινδρόμθςθσ. ) (α) (β) χήμα 1.1 (α)διάγραμμα διαςποράσ, (β)ευκεία απλισ γραμμικισ παλινδρόμθςθσ. τθ γενικι περίπτωςθ τθσ παλινδρόμθςθσ με ανεξάρτθτεσ μεταβλθτζσ και παρατθριςεισ, θ εξίςωςθ του μοντζλου που προκφπτει είναι: κε ην δηάλπζκα ηεο εμαξηεκέλεο κεηαβιεηήο, ν πίλαθαο δηάζηαζεο ησλ αλεμάξηεησλ κεηαβιεηώλ κε ζεηξέο νη νπνίεο αληηζηνηρνύλ ζε κία εμαξηεκέλε, ην δηάλπζκα ησλ ζπληειεζηώλ, και το διάνυςμα των αποκλίςεων ι τα ςφάλματα που υποκζτουμε ότι ακολουκοφν κανονικι κατανομι με αναμενόμενθ ι μζςθ τιμι ίςθ με 0 και διακφμανςθ ς 2. κοπόσ τθσ ανάλυςθσ τθσ απλισ και πολλαπλισ γραμμικισ παλινδρόμθςθσ είναι θ εφρεςθ τθσ ευκείασ γραμμισ:, 9

10 θ οποία προςεγγίηει αυτιν τθσ ςχζςθσ 1.4, με το διάνυςμα των εκτιμιςεων των εξαρτθμζνων μεταβλθτϊν, ο πίνακασ των ανεξάρτθτων μεταβλθτϊν όπωσ ορίςτθκε προθγουμζνωσ, και το διάνυςμα των ςυντελεςτϊν που κακορίηουν τθν γραμμι. Είναι φανερό ότι για τον κακοριςμό τθσ ευκείασ γραμμισ αρκεί θ εφρεςθ των ςυντελεςτϊν. Βλζπουμε ότι θ 1.5 δεν περιζχει ςτακερό όρο, για το ςκοπό αυτό αν κζλουμε να διαφοροποιιςουμε τθν εξίςωςθ ϊςτε να περιζχει και αυτόν, μετακινοφμε τισ ςτιλεσ του κατά μια δεξιότερα ϊςτε να προκφψει ζνασ καινοφριοσ πίνακασ και ςτθ ςυνζχεια ειςάγουμε ωσ πρϊτθ ςτιλθ το μοναδιαίο διάνυςμα. Επίςθσ το διάνυςμα των ςυντελεςτϊν αυξάνεται κατά ζναν ςυντελεςτι δίνοντασ ζνα διάνυςμα. Επανερχόμενοι ςτο παράδειγμα τθσ εφαρμογισ για τθν πρόβλεψθ ενόσ πλθκυςμοφ βακτθρίων, μποροφμε να χρθςιμοποιιςουμε τθν γραμμικι εξίςωςθ τθσ ςχζςθσ 1.2 και να κάνουμε μία εκτίμθςθ τθσ τιμισ του πλθκυςμοφ ςε μελλοντικι χρονικι ςτιγμι. Θα πρζπει να ξεκακαρίςουμε ωςτόςο ότι θ ανάλυςθ παλινδρόμθςθσ μεταξφ κάποιων μεταβλθτϊν δεν ςθμαίνει ότι υπάρχει αναγκαςτικά ςχζςθ μεταξφ αυτϊν [1]. Αν και εμπειρικά ι διαιςκθτικά μποροφμε να δοφμε και να παράγουμε μια τζτοιου είδουσ ςχζςθ, δεν αποτελεί αυτό αποδεικτικό ςτοιχείο για τθν φπαρξθ τθσ. Για τθν απόδειξθ μιασ ςχζςθσ απαιτοφνται κεωρθτικζσ τεκμθριϊςεισ που δεν επιβεβαιϊνονται μόνο από ζνα διάγραμα διαςποράσ. Θ ανάλυςθ παλινδρόμθςθσ μπορεί να επιβεβαιϊςει μια ςχζςθ αλλά δεν μπορεί να αποτελζςει τθν βάςθ για τθν απόδειξθ τθσ. Eπίςθσ ςτισ περιςςότερεσ περιπτϊςεισ θ παλινδρόμθςθ μασ δίνει προςεγγιςτικά τθν πραγματικι ςχζςθ των δεδομζνων. Σζλοσ κα πρζπει να αναφζρουμε ότι ςθμαντικόσ παράγοντασ για τθν επιτυχθμζνθ ανάλυςθ είναι θ όςο το δυνατόν καλφτερθ ςυλλογι δεδομζνων-παρατθριςεων. Σα δεδομζνα πρζπει να είναι αντιπροςωπευτικά του ςυςτιματοσ που μελετάται, ςε διαφορετικι περίπτωςθ μπορεί να δθμιουργθκοφν λάκθ ςτθν ανάλυςθ, όπωσ κα εξθγιςουμε παρακάτω. 1.2 Η μζθοδοσ των ελαχίςτων τετραγϊνων(ols) Μια εκτιμιτρια ςυνάρτθςθ, θ οποία προςδιορίηει τθν γραμμι παλινδρόμθςθσ τθσ 1.2 με τθν μζκοδο των ελαχίςτων τετραγϊνων είναι θ εξισ [2]: 10

11 όπου ο αρικμόσ των παρατθριςεων και το κατάλοιπο(residual) τθσ i παρατιρθςθσ με ή. Για τθν εφρεςθ τϊν ςυντελεςτϊν(coefficients) τθσ γραμμισ γράφουμε τισ μερικζσ παραγϊγουσ τθσ ςυνάρτθςθσ ωσ προσ τουσ ςυντελεςτζσ ξεχωριςτά, και εξιςϊνουμε κάκε μία παράγωγο με το μθδζν. τθ περίπτωςθ αυτι παρουςιάηεται τοπικό ελάχιςτο ςτθ ςυνάρτθςθ. Αναλυτικότερα αν με S ςυμβολίςουμε τθν ςυνάρτθςθ τθσ 1.6, οι μερικζσ παράγωγοι δίνονται ωσ εξισ: Eπειδι ιςχφει: είναι οπότε ςτθν 1.7 κάνουμε τθν αντικατάςταςθ και εξιςϊνουμε με το μθδζν. Άρα θαη οπότε προκφπτει ο ηθτοφμενοσ πίνακασ των ςυντελεςτϊν:, όπνπ ο πίνακασ των πραγματικϊν τεταγμζνων του δείγματοσ. 11

12 Θ εκτιμιτρια ςυνάρτθςθ του ςυντελεςτι με τθν μζκοδο των ελαχίςτων τετραγϊνων, ι ο εκτιμθτισ OLS όπωσ κα τον ονομάηουμε ςτο εξισ, πλθρεί τισ βαςικζσ καλζσ ιδιότθτεσ ενόσ εκτιμθτι [3] όπωσ : Αμερολθψία. Θ μζςθ τιμι του ςυντελεςτϊν. Δθλαδι: ιςοφται με το διάνυςμα των πραγματικϊν υνζπεια. Κακϊσ ο αρικμόσ των δεδομζνων αυξάνεται, θ τιμι του διάνυςμα των πραγματικϊν ςυντελεςτϊν. Δθλαδι: ιςοφται με το Αποτελεςματικότθτα. Ο εκτιμθτισ χρθςιμοποιεί όλα τα δεδομζνα ςτθν ανάλυςθ τθσ ευκείασ παλινδρόμθςθσ. Ζτςι ο εκτιμθτισ OLS είναι αρκετά διαδεδομζνοσ και χρθςιμοποιείται ευρφτατα κυρίωσ κάτω από τισ εξισ προυποκζςεισ(gaussian υποκζςεισ *3+): Tα ςτοιχεία του διανφςματοσ των ςφαλμάτων του μοντζλου παλινδρόμθςθσ, ακολουκοφν κανονικι κατανομι με μζςθ τιμι 0 και διαςπορά ς 2. Σο δείγμα χαρακτθρίηεται από ομοςκεδαςτικότθτα, δθλαδι τα ςφάλματα δεν εξαρτϊνται από τθν τιμι και ζτςι θ διακφμανςθ τουσ γφρω από τθν ευκεία παλινδρόμθςθσ είναι ςτακερι. Ωςτόςο ςε περιπτϊςεισ που δεν ικανοποιοφνται οι προυποκζςεισ αυτζσ, ο OLS δεν είναι ο βζλτιςτοσ όπωσ κα δοφμε και παρακάτω. 1.3 Outliers ςτην παλινδρόμηςη Ατυχϊσ, πολλζσ φορζσ τα δεδομζνα του δείγματοσ δεν πλθροφν τισ Gaussian υποκζςεισ ι ενδεχομζνωσ είναι «μολυςμζνα» με χονδροειδι ςφάλματα(outliers) τα οποία επθρεάηουν δυςμενϊσ τθν γραμμι των ελαχίςτων τετραγϊνων. Σζτοια ςθμεία τα οποία είναι μακρυά από τθν εκτιμϊμενθ γραμμι(outliers), τθν προςελκφουν περιςςότερο από όςο πρζπει, κάνοντασ ζτςι τον OLS εκτιμθτι ευαίςκθτο ςε αυτά(huber 1981,Hampel 1978). Aυτζσ οι τιμζσ των παρατθριςεων μποροφν να προκφψουν από: 12

13 Mικτά ςφάλματα, όπωσ ςφάλματα καταγραφισ ι απρόςεκτεσ παρατθριςεισ ςτοιχείων άλλων πλθκυςμϊν. Φυςιολογικζσ ακραίεσ παρατθριςεισ. Οι 2 τφποι outliers που μπορεί να υπάρξουν είναι: x-outliers(ςτθν x-μεταβλθτι) και y- outliers(ςτθν y-μεταβλθτι) y-outliers Σα ςυγκεκριμζνα outliers είναι παρατθριςεισ οι οποίεσ αποκλίνουν από τθν πλθκϊρα των παρατθριςεων επειδι παρουςιάηουν μθ φυςιολογικι τιμι ςτθν εξαρτθμζνθ μεταβλθτι. Αυτόσ ο τφποσ των outliers ςυχνά παρατθρείται όταν οι τιμζσ των ανεξάρτθτων μεταβλθτϊν ζχουν ςίγουρα τισ φυςιολογικζσ τουσ τιμζσ [4]. Επίδραςη. Σζτοια outliers επιδροφν ςτθν εκτίμθςθ τθσ παλινδρόμθςθσ και ςτο μζγεκοσ των residuals, αλλά δεν επιφζρουν κάποια ςυνταρακτικι μεταβολι ςτθν εκτίμθςθ των παραμζτρων τθσ. Για παράδειγμα το y-outlier ςτο ςχιμα 1.2 ζχει μικρι επίδραςθ ςτθν κλαςςικι εκτίμθςθ τθσ γραμμισ των ελαχίςτων τετραγϊνων. Με κυκλάκι ςθμειϊνεται θ ςωςτι κζςθ του ςθμείου. (α) (β) χήμα 1.2 (α) Αρχικι ευκεία παλινδρόμθςθσ και (β) νζα ευκεία με y-residual x-outliers Σζτοια outliers ςυμβαίνουν όταν θ τιμι μίασ παρατιρθςθσ τθσ ανεξάρτθτθσ μεταβλθτισ απζχει κατά πολφ από τθν πλθκϊρα των τιμϊν τθσ ανεξάρτθτθσ μεταβλθτισ. δθλαδι θ απόςταςθ 13

14 μίασ παρατιρθςθσ του διανφςματοσ των ανεξάρτθτων μεταβλθτϊν απζχει κατά πολφ από τον πίνακα των τιμϊν των ανεξάρτθτων μεταβλθτϊν. Σα x-outliers ονομάηονται αλλιϊσ και ωσ μοχλοί(leverage points), κακϊσ τραβοφν τθ γραμμι προσ το μζροσ τουσ. Επιδράςεισ. υνικωσ θ επίδραςθ ενόσ x-outlier, ανάλογα και με το μζγεκοσ του, μπορεί να είναι καταςτροφικι για τθ γραμμι παλινδρόμθςθσ. Αυτά διακρίνονται ςε 2 κατθγόριεσ [4] οι οποίεσ είναι: Good leverage points. τθν περίπτωςθ αυτι τα ςθμεία αυτά ςυμβάλλουν ςτθν εκτίμθςθ τθσ γραμμισ τθσ παλινδρόμθςθσ, όπωσ φαίνεται και ςτο ςχιμα 1.3. Όπωσ βλζπουμε υπάρχει μικρι επίδραςθ ςτθν ευκεία παλινδρόμθςθσ. Εάν ζνα good leverage point απομακρυνκεί από τισ παρατθριςεισ θ γραμμι των ελαχίςτων τετραγϊνων δεν μεταβάλλεται ςθμαντικά. (α) (β) χήμα 1.3 α) Αρχικι ευκεία παλινδρόμθςθσ και (β) νζα ευκεία με good leverage point. Bad leverage points. Αντίκετα με τα good leverage points τα ςθμεία αυτά δεν ςυμφωνοφν με τθν πλθκϊρα των παρατθριςεων, μεταβάλλουν ςθμαντικά τθν γραμμι, και είναι κακοί μοχλοί. Όπωσ φαίνεται και από το ςχιμα 1.4 θ νζα γραμμι αλλάηει ςθμαντικά κατεφκυνςθ. 14

15 (α) (β) χήμα 1.4 α) Αρχικι ευκεία παλινδρόμθςθσ και (β) νζα ευκεία με bad leverage point. υμπεραςματικά λοιπόν, τα outliers ζχουν μεγάλθ επίδραςθ ςτθν ευκεία παλινδρόμθςθσ, ςτα διαςτιματα εμπιςτοςφνθσ, ςτουσ ελζγχουσ κακϊσ και άλλα. Εξ αυτϊν πιο επικίνδυνα είναι τα bad leverage points(x-outliers) διότι μεταβάλλουν ριηικά τθν πρόβλεψθ των παρατθριςεων που προκφπτει με τθν μζκοδο OLS. 1.4 Κλαςςικζσ μζθοδοι διάγνωςησ outliers Οι κλαςςικζσ μζκοδοι διάγνωςθσ των outliers ι αλλιϊσ διαγνωςτικά των outliers είναι οι τεχνικζσ εκείνεσ οι οποίεσ μασ επιτρζπουν να ανιχνεφουμε τισ παρατθριςεισ που ζχουν μεγάλθ επίδραςθ ςτον εκτιμθτι OLS όπωσ είδαμε. Μερικζσ από τισ μεκόδουσ αυτζσ [5] ζχουν ςχεδιαςτεί με ςκοπό τθν ανίχνευςθ μεμονωμζνων περιπτϊςεων, ενϊ άλλεσ ςτοχεφουν ςτθν αναγνϊριςθ ομάδων δεδομζνων που είναι outliers. Αρχικά κα μποροφςε να υποκζςει κανείσ ότι μια πικανι τάξθ διαγνωςτικϊν είναι τα residuals που προκφπτουν από τθν ΟLS ανάλυςθ. Σα residuals ωςτόςο τθσ μεκόδου αυτισ, δεν προςφζρονται για αυτό το ςκοπό [5], [6] εξαιτίασ του γεγονότοσ ότι θ γραμμι OLS προςελκφεται από τα outliers και ζτςι τα residuals είναι παραπλανθτικά. Ωσ αποτζλεςμα μία παρατιρθςθ που αντιςτοιχεί ςε outlier μπορεί να ζχει μικρό residual. Aναλυτικότερα,οι κφριεσ διαγνωςτικζσ μζκοδοι των outliers είναι: 15

16 1.4.1 O πίνακασ Hat matrix Θ κλαςςικότερθ τάξθ διαγνωςτικϊν που χρθςιμοποιείται [5], [6] είναι τα διαγϊνια ςτοιχεία του πίνακα (Hat matrix). Για τον πίνακα, υποκζτουμε ότι ιςχφει. Θ διαδικαςiα επίλυςθσ του πίνακα Hat matrix προκφπτει με αντικατάςταςθ τθσ 1.12 ςτθν 1.5. Ζτςι ζχουμε: και Σα διαγϊνια ςτοιχεία του πίνακα που ςυμβολίηονται ωσ, αποτελοφν ζνα είδουσ κριτιριο για τθν επίδραςθ κάκε μία παρατιρθςθσ ςτθν ςτθ διαφορά των και. Βαςικά χαρακτθριςτικά του πίνακα είναι: Αποδεικνφεται ότι για κάκε διαγϊνιο ςτοιχείο του πίνακα, ιςχφει. Είναι ςυμμετρικόσ με. Σο ίχνοσ του πίνακα, δθλαδι το άκροιςμα των ςτοιχείων τθσ κυρίασ διαγωνίου του είναι ίςο με τον αρικμό των ανεξάρτθτων μεταβλθτϊν του δείγματοσ. Ο βακμόσ του πίνακα είναι και αυτόσ ίςοσ με τον αρικμό των ανεξάρτθτων μεταβλθτϊν του δείγματοσ. Θ μζςθ τιμι των διαγϊνιων ςτοιχείων του hat matrix είναι. Αυτό που είναι πολφ ςθμαντικό να αναφερκεί, είναι το γεγονόσ ότι υπάρχει μια ιδιαίτερθ ςχζςθ ανάμεςα ςτα διαγϊνια ςτοιχεία του hat matrix και ςτισ εξαρτθμζνεσ μεταβλθτζσ του δείγματοσ. Πιο ςυγκεκριμζνα τα που ικανοποιοφν τθν εξίςωςθ κακορίηουν ζνα ελλειψοειδζσ ςτον χϊρο (Montgomery and Peck 1982) που περικλείει όλεσ τισ παρατθριςεισ, και προςδιορίηει τθν περιοχι τιμϊν των ανεξάρτθτων μεταβλθτϊν. υνεπϊσ αν υπάρχουν άλλεσ παρατθριςεισ που θ τιμι των διαγϊνιων ςτοιχείων του hat matrix ξεπερνά το είναι μακρυά από αυτόν τον χϊρο, ενϊ αν ζχουν μικρι τιμι τότε είναι πολφ κοντά ςτθν περιοχι τιμϊν των υπόλοιπων. Για αυτό τον λόγο τα διαγϊνια ςτοιχεία του hat matrix αποτελοφν μια πολφ καλι τάξθ διαγνωςτικϊν, ςυγκεκριμζνα για ςθμεία που είναι bad leverage points. Μεγάλθ τιμι του ςυνεπάγεται «bad» leverage point με μεγάλθ επίδραςθ, ενϊ μικρό ςυνεπάγεται ςθμείο με μικρι επίδραςθ ςτθν ευκεία παλινδρόμθςθσ, δθλαδι 16

17 good leverage point. Όταν τα διαγϊνια ςτοιχεία είναι μθδζν τότε οι αντίςτοιχεσ παρατθριςεισ δεν επθρεάηουν κακόλου τθν ευκεία παλινδρόμθςθσ. Αρκετοί ερευνθτζσ προςπακοφν να προςδιορίςουν τα ςθμεία των bad leverage points εξετάηοντασ τισ παρατθριςεισ για τισ οποίεσ:. Πρζπει επίςθσ να αναφζρουμε ότι ενϊ ο πίνακασ hat matrix αποτελεί μια πολφ καλι τάξθ διαγνωςτικϊν των x-outliers, δεν προςφζρεται για τα y-outliers όπου ζχουμε το ίδιο πρόβλθμα που δθμιουργείται με τα residuals, δθλαδι θ μεταβολι μεταξφ των και είναι ιδθ αλλοιωμζνθ, αφοφ ζχει προθγθκεί ο OLS, ο οποίοσ όπωσ είδαμε δεν είναι ανκεκτικόσ ςτθν παρουςία y-residuals. Σζλοσ ζνα ακόμθ μειονζκτθμα είναι ότι τα διαγϊνια ςτοιχεία του hat matrix, είναι ευαίςκθτα και μεταβάλλονται ζντονα εξαιτίασ του φαινομζνου τησ επικάλυψησ(masking effect) [5]. To φαινόμενο αυτό ςυμβαίνει όταν ζχουμε ομάδεσ παρατθριςεων που όλεσ μαηί είναι ςυγκεντρωμζνεσ μακρυά από τθν περιοχι τιμϊν των ανεξάρτθτων μεταβλθτϊν. Όπωσ γνωρίηουμε αν ζχουμε μία μόνο παρατιρθςθ με ανεξάρτθτεσ μεταβλθτζσ μακρυά από τον χϊρο των ανεξάρτθτων μεταβλθτϊν των υπόλοιπων παρατθριςεων, τότε κα ζχει μεγάλθ τιμι το αντίςτοιχο διαγϊνιο ςτοιχείο του hat matrix και ωσ επακόλουκο κα αναγνωριςτεί ωσ x- outlier. τθν περίπτωςθ που όμωσ ζχουμε πολλζσ τζτοιεσ ομαδοποιθμζνεσ παρατθριςεισ το ελλειψοειδζσ που ςχθματίηεται και προςδιορίηει τον χϊρο των ανεξάρτθτων μεταβλθτϊν του δείγματοσ, μετατοπίηεται προσ το μζροσ αυτϊν των παρατθριςεων, και άρα μειϊνει για κάκε μία από αυτζσ τθν τιμι του διαγϊνιου ςτοιχείου του hat matrix. Ζτςι οι παρατθριςεισ που είναι bad leverage points, δεν μποροφν να αναγνωριςτοφν και ζχουμε το φαινόμενο τθσ επικάλυψθσ Η απόςταςη Mahalanobis Ζνα άλλο διαγνωςτικό των x-outliers αποτελεί θ απόςταςθ Mahalanobis(Prasanta Chandra Mahalanobis 1936) [5]. Υπνζέησληαο πώο αλεμάξηεηεο κεηαβιεηέο κηάο παξαηήξεζεο ηνπ πξνζαξκνζκέλνπ πίλαθα θαη δηάζηαζεο είλαη νη 17

18 θ μζςθ τιμι των τότε το τετράγωνο τθσ απόςταςθσ Μahalanobis δίνεται από τον τφπο: όπου Θ Mahalanobis απόςταςθ υπολογίηει πόςο απομακρφνεται το διάνυςμα από το, και για αυτό τον λόγο είναι ζνα μζτρο διάγνωςθσ των x-outliers. Aποδεικνφεται ότι υπάρχει μία 1-1 ςχζςθ του τετραγϊνου τθσ απόςταςθσ Mahalanobis και των διαγωνίων ςτοιχείων του πίνακα hat matrix. Πράγματι ιςχφει: ι ωσ προσ το διαγϊνιο ςτοιχείο: Σζλοσ αξίηει να αναφζρουμε ότι όπωσ και ςτθ περίπτωςθ του hat matrix, θ Mahalanobis απόςταςθ δεν προςφζρεται για διάγνωςθ των y-outliers αλλά είναι και αρκετά ευαίςκθτθ ςτο φαινόμενο τθσ επικάλυψθσ Standarized, studentized και jackknifed residuals Θ αδυναμία των προθγοφμενων διαγνωςτικϊν να εντοπίςουν y-outliers, ϊκθςε τουσ ερευνθτζσ ςτθν χρθςιμοποίθςθ τεχνικϊν που βαςίηονται ςτα residuals που προκφπτουν από τθν OLS ανάλυςθ, κακϊσ πίςτευαν ότι αν και δεν προςφζρονται για διαγνωςτικά, εντοφτοισ περιζχουν όλεσ τισ χριςιμεσ πλθροφορίεσ που βοθκοφν ςτον εντοπιςμό των outliers[5], [6]. Αρχικά χρθςιμοποιικθκε το standardized residual που ορίηεται ωσ: 18

19 με θ εκτίμθςθ τθσ τυπικισ απόκλιςθσ ς των y μεταβλθτϊν του δείγματοσ (robust scale). Αργότερα αρκετοί ερευνθτζσ(cook 1977,Hoaglin and Welsch 1978,Draper and John 1981) πρότειναν και χρθςιμοποίθςαν τα studentized και jackknifed residuals που περιγράφονται αντίςτοιχα από τουσ τφπουσ: και όπου ςτον τφπο του jackknifed residual είναι το robust scale που υπολογίηεται από τθν ςχζςθ 1.25 χωρίσ τθν παρατιρθςθ. Δυςτυχϊσ και τα 3 residuals απζτυχαν ςτον ςκοπό τουσ,κακϊσ ζνα y-residual οδθγεί ςε μεγάλο robust scale και κατ επζκταςθ ςε μικρά standarized,studentized και jackknifed residuals. Επιπλζον διατθρείται το πρόβλθμα του φαινομζνου τθσ επικάλυψθσ και εδϊ Διαγνωςτικά απλήσ υπόθεςησ(single case diagnostics) Μια άλλθ πικανι τάξθ διαγνωςτικϊν βαςίηεται ςτθ διαγραφι μιασ παρατιρθςθσ τθ φορά (single-case diagnostics) [5], [6]. Για παράδειγμα ζςτω τα coefficients χωρίσ τθ παρατιρθςθ και με όλεσ τισ παρατθριςεισ. Σότε θ διαφορά των αντίςτοιχων τιμϊν των και είναι ενδεικτικι τθσ επιρροισ τθσ παρατιρθςθσ ςτα πραγματικά coefficients του δείγματοσ. Ο Cook το 1977 πρότεινε το τετράγωνο τθσ απόςταςθσ Cook που ορίηεται ωσ: όπου και. Όςο μεγαλφτερθ είναι θ απόςταςθ Cook για μία παρατιρθςθ τόςο μεγαλφτερθ επίδραςθ ζχει αυτι ςτθν ευκεία παλινδρόμθςθσ, ςυνεπϊσ προςφζρεται για τθν διάγνωςθ και των leverage points,αλλά και των y-outliers. Εναλλακτικά θ 1.28 γράφεται: 19

20 όπου το studentized residual. Αργότερα προτάκθκαν από τον Belsey (1980) ζνα ακόμθ ςθμαντικό single case diagnostic, που ορίηεται παρακάτω. Σα single case diagnostics αν και κατάφεραν να λφςουν το πρόβλθμα τθσ διάγνωςθσ των y-ouliers και ιταν εξίςου αποτελεςματικά όταν υπιρχε και ζνα x-outlier, εντοφτοισ παρουςίαςαν ευαιςκθςία ςτο φαινόμενο τθσ επικάλυψθσ και ζδιναν λάκοσ αποτελζςματα όταν υπιρχαν ςυγκεντρωμζνεσ ομάδεσ με leverage points Διαγνωςτικά πολλαπλήσ υπόθεςησ(multiple case diagnostics) τα διαγνωςτικά πολλαπλισ υπόκεςθσ [5] διαγράφουμε ομάδεσ παρατθριςεων τθ φορά και όχι μόνο μία παρατιρθςθ. Όπωσ και ςτα single case diagnostics το πιο ςθμαντικό διαγνωςτικό είναι θ απόςταςθ Cook(Cook and Weisberg 1982) το τετράγωνο τθσ οποίασ είναι: όπου το διάνυςμα Ι αντιπροςωπεφει τισ παρατθριςεισ που ζχουν αφαιρεκεί από το δείγμα για να προκφψουν τα coefficients. Σα multiple case diagnostics γριγορα εγκαταλείφκθκαν κυρίωσ διότι δθμιουργοφνται ερωτιματα ςχετικά με τουσ ςυνδυαςμοφσ των παρατθριςεων που διαγράφονται(ςε μεγάλο πλικοσ παρατθριςεων αυξάνεται θ πολυπλοκότθτα ςτον υπολογιςμό των ςυντελεςτϊν) αλλά και εξαιτίασ του γεγονότοσ ότι οριςμζνα ςθμεία από μόνα τουσ δεν ζχουν μεγάλθ επιρροι ςτθ γραμμι, ενϊ ομάδεσ αυτϊν τθν μεταβάλλουν ςθμαντικά,δθλαδι και πάλι ιςχφει το φαινόμενο τθσ επικάλυψθσ. 20

21 ΚΕΦΑΛΑΙΟ 2 ΑΝΘΕΚΣΙΚΕ ΜΕΘΟΔΟΙ ΓΡΑΜΜΙΚΗ ΠΑΛΙΝΔΡΟΜΗΗ 2.1 Γενικά Όπωσ είδαμε, με τα διαγνωςτικά παλινδρόμθςθσ μποροφμε να ανιχνεφςουμε μερικά outliers και ςτθ ςυνζχεια να τα αφαιρζςουμε από το ςφνολο των παρατθριςεων ( ) και να ξανακάνουμε ανάλυςθ με τον εκτιμθτι OLS. Αν και αυτό δίνει μια καλι προςζγγιςθ ςτο πρόβλθμα τθσ παλινδρόμθςθσ δεδομζνου ότι θ ευκεία γραμμι δεν επθρεάηεται πλζον από τα outliers, εντοφτοισ θ λφςθ αυτι ςτερείται πλθρότθτασ δεδομζνων, αφοφ ζχουμε διαγράψει παρατθριςεισ του δείγματοσ *5+. Σο γεγονόσ αυτό δθμιοφργθςε τθν ανάγκθ για νζεσ τεχνικζσ παιηλδξόκεζεο οι οποίεσ χρθςιμοποιοφν κάποια από τα διαγνωςτικά που αναφζρκθκαν, δεν επθρεάηονται από τισ τιμζσ των outliers που ανιχνεφουν και κατϋ επζκταςθ διατθροφν ανκεκτικι τθν ευκεία παλινδρόμθςθσ με όςο το δυνατόν περιςςότερεσ παρατθριςεισ μζςα ςτο δείγμα. Ζτςι εξαςφαλίηεται και μεγαλφτερθ μεγαλφτερθ αποτελεςματικότθτα όπωσ αυτι ορίςτθκε ςτο κεφάλαιο 1. Οι τεχνικζσ αυτζσ ονομάηονται ανκεκτικζσ μζκοδοι παλινδρόμθςθσ. Ζτςι, ςκοπόσ των ανκεκτικϊν μεκόδων είναι να δϊςουν ςτακερζσ εκτιμιςεισ με τθν παρουςία θ απουςία των outliers. Προκειμζνου να επιτφχουμε αυτιν τθν ςτακερότθτα ςτισ εκτιμιςεισ, οι ανκεκτικζσ διαδικαςίεσ περιορίηουν τθν επίδραςθ των outliers με διάφορουσ τρόπουσ ςφμφωνα και με τον τφπο του προβλιματοσ για το οποίο ζχουν ςχεδιαςκεί. Αυτζσ οι μζκοδοι αναπτφχκθκαν για τθν αντιμετϊπιςθ τριϊν ειδϊν προβλθμάτων *4+: Προβλιματα με y-outiers. Θ πιο ςυνθκιςμζνθ ανκεκτικι μζκοδοσ για αυτά τα outliers, ςτθρίηεται ςτθν Huber-type εκτίμθςθ(μ-εκτιμθτζσ). Προβλιματα κυρίωσ με x-outliers ι leverage points. Για αυτά τα outliers μποροφμε να χρθςιμοποιιςουμε τουσ GM-εκτιμθτζσ οι οποίοι μπορεί να είναι Mallowstype,Schweppe-type,Welsh-type,Hampel-type και αρκετοί άλλοι οι οποίοι καλοφνται και εκτιμθτζσ περιοριςμζνθσ επίδραςθσ. Οι εκτιμθτζσ αυτοί αναπτφχκθκαν για πρϊτθ φορά από τον Hampel και ολοκλθρϊκθκαν το

22 Προβλιματα όπου θ παρουςία των outliers(και τϊν 2 τφπων) ςτο δείγμα μπορεί να είναι μεγάλθ(μζχρι 50%). Για αυτά τα προβλιματα χρθςιμοποιοφμε τουσ εκτιμθτζσ High Break-down point οι οποίοι αναπτφχκθκαν αρχικά από τουσ Rousseeuw και Leroy (1987), ενϊ ακολοφκθςακ και άλλοι (Yohai, Welsch). το κεφάλαιο αυτό, παρατίκενται αρχικά οριςμζνα χαρακτθριςτικά των ανκεκτικϊν μεκόδων παλινδρόμθςθσ ζτςι ϊςτε να γίνεται ευκολότερθ θ μελζτθ αλλά και θ ςφγκριςθ τουσ. Οφείλουμε να αναφζρουμε ότι αν και οι ανκεκτικοί εκτιμθτζσ ζχουν μικρότερθ αποτελεςματικότθτα ςε ςφγκριςθ με τον εκτιμθτι OLS όταν τα δεδομζνα πλθροφν τισ κανονικζσ ςυνκικεσ, εντοφτοισ βελτιϊνεται θ μερολθψία τθσ ευκείασ παλινδρόμθςθσ *4+ και για αυτό το λόγο είναι πολφ χριςιμοι ςτθν πρόβλεψθ. 2.2 Ποιοτικά κριτήρια ανθεκτικϊν εκτιμητϊν Δφο βαςικζσ ιδιότθτεσ που ςυντελοφν ςτθν ποιότθτα ενόσ ανκεκτικοφ εκτιμθτι είναι *8+: H ανκεκτικότθτα(robustness), θ οποία κακορίηεται από το ςθμείο κατάρρευςθσ (breakdown point). H αποτελεςματικότθτα(efficiency), θ οποία κακορίηεται από τθ ςχετικι διακφμανςθ ωσ προσ τον OLS εκτιμθτι Ανθεκτικότητα Mε τον όρο ανκεκτικότθτα περιγράφουμε τθν ικανότθτα ενόσ εκτιμθτι να είναι όςο το δυνατόν ανεπθρζαςτοσ ςτον προςδιοριςμό τθσ ευκείασ παλινδρόμθςθσ υπό τθν παρουςία των outliers *8+. αν κριτιριο τθσ ανκεκτικότθτασ χρθςιμοποιοφμε το ςθμείο κατάρρευςθσ(bp), το οποίο προςδιορίηει το μζγιςτο ποςοςτό των outliers ςτα οποία αντζχει ο εκτιμθτισ, ζτςι ϊςτε θ ευκεία παλινδρόμθςθσ να είναι χριςιμθ. Για τθν μακθματικι εξίςωςθ που προςδιορίηει το ςθμείο κατάρρευςθσ υποκζtουμε ότι, είναι το δείγμα μασ που αποτελείται από κακαρά δεδομζνα, χωρίσ residuals, και μία εκτιμιτρια ςυνάρτθςθ παλινδρόμθςθσ, με ςκοπό τθν εφρεςθ τθσ ευκείασ παλινδρόμθςθσ. Ζτςι ιςχφει [8]:. 22

23 Aν αντικαταςτιςουμε τυχαίεσ παρατθριςεισ του δείγματοσ με residuals, και υποκζςουμε ότι είναι το νζο δείγμα, τότε μποροφμε να παραςτιςουμε με τθν απόκλιςθ των νζων ςυντελεςτϊν από τουσ αρχικοφσ. Δθλαδι:. τθ ςυνζχεια από το ςφνολο όλων των πικανϊν αντικαταςτάςεων που προκφπτουν, επιλζγουμε το ωσ τθν μεγαλφτερθ απόκλιςθ ςυντελεςτϊν που μπορεί να προκφψει. Αν θ τιμι τθσ ςυνάρτθςθσ δεν είναι πραγματικόσ αρικμόσ, αλλά άπειρο, αυτό ςθμαίνει ότι θ γραμμι μασ ζχει «καταρρεφςει» και καταςτραφεί. Ο μακθματικόσ τφποσ του ςθμείου κατάρρευςθσ είναι: Όςο μεγαλφτερο είναι το ςθμείο κατάρρευςθσ τόςο πιο ανκεκτικι είναι θ μζκοδοσ που χρθςιμοποιείται. Από τθν άλλθ είναι λογικό τα residuals να αποτελοφν το πολφ το 50% του δείγματοσ που ζχουμε, διότι ςε αντίκετθ περίπτωςθ δεν μποροφμε να κάνουμε γραμμικι ανάλυςθ παλινδρόμθςθσ ςε δεδομζνα που θ πλειοψθφία τουσ ζχει μεγάλθ απόκλιςθ από τα κακαρά δεδομζνα [8]. Γίνεται ζτςι κατανοθτό ότι το ιδανικό ςθμείο κατάρρευςθσ μιασ μεκόδου είναι ίςο με 0,5 ι αλλιϊσ 50% [5], [6], [8]. τθν μζκοδο OLS όπωσ είδαμε ζνα και μόνο residual αρκεί για να μεταβάλλει τθν ευκεία παλινδρόμθςθσ, ςυνεπϊσ το ςθμείο κατάρρευςθσ τθσ είναι: και για μεγάλο πλικοσ δεδομζνων προςεγγίηει το 0%, γεγονόσ που τθν κακιςτά ανεπαρκι για το πρόβλθμα ανάλυςθσ με outliers Αποτελεςματικότητα Με τον όρο αποτελεςματικότθτα περιγράφουμε τθν ικανότθτα τθσ μεκόδου να ςυμπεριλάβει ςτθν ανάλυςθ παλινδρόμθςθσ όςο το δυνατόν περιςςότερεσ παρατθριςεισ του δείγματοσ που δεν είναι outliers. υχνά χρθςιμοποιείται και ο όροσ αςυμπτωτικι αποτελεςματικότθτα (asymptotic convergence) [5] για να δθλϊςει τθν αποτελεςματικότθτα ςτθν οποία ςυγκλίνει μια μζκοδοσ όταν ο αρικμόσ των παρατθριςεων είναι μεγάλοσ(προςεγγίηει το άπειρο). Αποτελεςματικόσ είναι ζνασ εκτιμθτισ όταν ζχει όςο το δυνατόν μικρότερθ διακφμανςθ. Για να εκτιμιςουμε τθν διακφμανςθ ενόσ εκτιμθτι, τθν ςυγκρίνουμε με αυτι του OLS εκτιμθτι όταν 23

24 τα δεδομζνα ακολουκοφν κανονικι κατανομι χωρίσ outliers. Θ εξίςωςθ τθσ αποτελεςματικότθτασ για ζναν εκτιμθτι δίνεται παρακάτω [3]: Παρατήρηςη: Αξίηει να αναφζρουμε ότι θ αποτελεςματικότθτα και το ςθμείο κατάρρευςθσ ενόσ εκτιμθτι είναι μεγζκθ αντιςτρόφωσ ανάλογα [5]. Αυτό ςθμαίνει ότι όςεσ περιςςότερεσ παρατθριςεισ περιλαμβάνουμε ςτθν ανάλυςθ τθσ ευκείασ παλινδρόμθςθσ τόςο μεγαλφτερθ αποτελεςματικότθτα ζχουμε αλλά ταυτόχρονα χάνουμε ςε ανκεκτικότθτα, αφοφ μικραίνει το ςθμείο κατάρρευςθσ. Ομοίωσ θ απόρριψθ κακϊν παρατθριςεων από ζναν εκτιμθτι αυξάνει τθν ανκεκτικότθτα του, άρα και το ςθμείο κατάρρευςθσ, ενϊ φυςικά θ αποτελεςματικότθτα μειϊνεται. 2.3 Μ-εκτιμητζσ παλινδρόμηςησ Μια φθμιςμζνθ ανκεκτικι μζκοδοσ αφορά τουσ Μ-εκτιμθτζσ παλινδρόμθςθσ(θuber 1981). κοπόσ τουσ είναι θ ελαχιςτοποίθςθ τoυ ακροίςματοσ τθσ ςυνάρτθςθσ που παρακζτουμε παρακάτω *7+: όπου μία λιγότερθ αυξανόμενθ ςυνάρτθςθ των residuals *7+, και θ εκτίμθςθ τθσ τυπικισ απόκλιςθσ του δείγματοσ. Ανάλογα με τθν ςυνάρτθςθ υπάρχουν διαφορετικοί τφποι Μ- εκτιμθτϊν, και ο περιςςότεροσ γνωςτόσ είναι ο Huber-type. τθ ςυγκεκριμζνθ περίπτωςθ θ ςυνάρτθςθ δίνεται ωσ: όπου τα residual που προκφπτουν με τθν εφαρμογι του εκτιμθτι OLS ςτο δείγμα μασ. Παραγωγίηοντασ τθν 2.5 ωσ προσ τουσ ςυντελεςτζσ παίρνουμε: 24

25 όπου θ παράγωγοσ του δθλαδι: Βλζπουμε ότι οι Μ-εκτιμθτζσ τφπου Θuber κάνουν χριςθ του διαγνωςτικοφ standardized residual και για τιμζσ του μεγαλφτερεσ ι μικρότερεσ από μία ςτακερά χρθςιμοποιοφν διαφορετικζσ εκφράςεισ τθσ ςτθν 2.5, όπωσ δίνονται ςτθν 2.6. Αυτό γίνεται με ςκοπό τθν αντικατάςταςθ τθσ τιμισ του standardized residual ςτθν 2.5 από μια μικρότερθ τιμι για τα ςθμεία που είναι outliers. Γραφικά οι παρατθριςεισ με μεγάλο standarized residual «προςελκφονται» *4+ από τθν γραμμι που ζχει προκφψει με τον εκτιμθτι OLS όπωσ φαίνεται και παρακάτω: χήμα 2.1 Προςζλκυςθ ενόσ outlier ςτθν ευκεία OLS με τον Μ-εκτιμθτι τφπου Huber. Παρόλο που με αυτόν τον τρόπο περιορίηεται θ επίδραςθ των y-outlier, δεν ςυμβαίνει το ίδιο και με ζνα ςθμείο με μεγάλθ ανεξάρτθτθ μεταβλθτι(x-outlier) λόγω του παλλαπλαςιαςμοφ αυτισ με τθν όπωσ φαίνεται ςτθ ςχζςθ

26 2.4 Εκτιμητζσ περιοριςμζνησ επίδραςησ, GM-εκτιμητζσ Σο 1975 ο Schweppe πρότεινε τον εκτιμθτι που ικανοποιεί τθν εξίςωςθ 2.8 [7]: ι διαφορετικά τθν ελαχιςτοποίθςθ του ακροίςματοσ: όπου τα residual που προκφπτουν από τον εκτιμθτι OLS και, με τα διαγϊνια ςτοιχεία του πίνακα hat matrix. Όπωσ ζχουμε δεί τα ςτοιχεία αυτά είναι ενδεικτικά τθσ απομάκρυνςθσ μιασ παρατιρθςθσ από το υπόλοιπο ςζτ παρατθριςεων κατά τον άξονα των ανεξάρτθτθσ μεταβλθτισ. Δθλαδι προςφζρονται ςτθν διάγνωςθ των x-outliers. Ζτςι αν μία παρατιρθςθ αντιςτοιχεί ςε x-outlier θ τιμι του μειϊνεται αιςκθτά και ωσ επακόλουκο μειϊνεται θ επίδραςθ του outlier ςτθν 2.9. Ο Μallows(1975) πρότεινε τθν ελαχιςτοποίθςθ τθσ ςυνάρτθςθσ *7+: ι διαφορετικά τθν εξίςωςθ: όπου είναι ςυγκεκριμζνα προκακοριςμζνα βάρθ, εξαρτϊμενα από τθν απόςταςθ τθσ ανεξάρτθτθσ μεταβλθτισ των παρατθριςεων από το κζντρο των ανεξάρτθτων μεταβλθτϊν του δείγματοσ. Παρόλο που θ ςυγκεκριμζνθ μζκοδοσ προςφζρεται για τθν ανίχνευςθ των x- outliers θ ελαχιςτοποίθςθ που προτείνει ο Scheppe είναι αποτελεςματικότερθ, εξαιτίασ και τθσ επίδραςθσ τθσ ςυνάρτθςθσ ςτο standardized residual. Ο Hill(1977)πρότεινε ζνα ςυνδυαςμό τθσ κατά Schweppe ελαχιςτοποίθςθσ και των βαρϊν τθσ μεκόδου του Μallows [7]. Θ εξίςωςθ που ικανοποιεί τον ςυνδυαςμό αυτόν είναι: 26

27 Πειραματικά ζχει αποδειχκεί ότι θ ςυγκεκριμζνθ υλοποίθςθ ςυνδυάηει τα πλεονεκτιματα των άλλων δφο εκτιμθτϊν και για αυτό τον λόγο χρθςιμοποιείται ςυχνότερα ςαν GM-εκτιμθτισ *7+. Οι υλοποιιςεισ αυτζσ, παρόλα τα πλεονεκτιματα τουσ ςτθν ελάττωςθ τθσ επίδραςθσ των bad leverage points, ενδζχεται να προκαλζςουν και μείωςθ τθσ επίδραςθσ ςτα ςθμεία με μικρι τιμι και μικρό residual, δθλαδι των good leverage points. τα χρόνια που ακολοφκθςαν αναπτφχκθκαν διάφορεσ παραλλαγζσ των προαναφερκζντων GM-εκτιμθτϊν όπωσ του Welsch ο οποίοσ πρότεινε τθν κανονικοποίθςθ τθσ ςυνάρτθςθσ ωσ εξισ: Είναι ςθμαντικό να αναφζρουμε ότι θ πλειοψθφία αυτϊν των εκτιμθτϊν μποροφν επιλυκοφν με τθν απλι εξίςωςθ τθσ ςχζςθσ 2.7 για ςυγκεκριμζνθ τιμι τθσ παραμζτρου c(huber, 1983) [7]. Διαφορετικι επιλογι τθσ ςυγκεκριμζνθσ παραμζτρου οδθγεί ςε διαφορετικό GMεκτιμθτι(Krasker and Welsch 1982). Για παράδειγμα ο εκτιμθτισ τφπου Schweppe χρθςιμοποιεί τθν τιμι. Σο γεγονόσ αυτό καταδεικνφει ότι υπολογιςτικά δεν ζχουμε καμία άλλθ διαφορά μεταξφ των εκτιμθτϊν. 2.5 Γενική διαδικαςία ανθεκτικήσ παλινδρόμηςησ Πολλαπλαςιάηοντασ τουσ όρουσ τθσ ςχζςθσ 2.6 με παραλαμβάνουμε [7]: για κάκε εκτιμθτι με όπου είναι θ απόςταςθ προςζλκυςθσ(pulling distance) ενόσ outlier ςτθν ευκεία γραμμι παλινδρόμθςθσ, όπωσ φαίνεται και ςτο ςχιμα 2.1. Θ απόςταςθ αυτι δίνεται από τον τφπο: υνδυάηοντασ τισ εξιςϊςεισ 2.15 και 2.16 ορίηεται ζνα νζο πρόβλθμα ελαχιςτοποίθςθσ για ζναν ανκεκτικό εκτιμθτι που είναι: 27

28 όπου είναι τα τροποποιθμζνα residuals, τα οποία καλοφμε Winsorized residuals, και μποροφν να κεωρθκοφν οι τιμζσ ποινικοποίθςθσ για τθν προςζλκυςθ μίασ παρατιρθςθσ ςτθν ευκεία γραμμι. Σα Winsorized residuals δίνονται ωσ : Για x-leverage points, θ αντίςτοιχθ τιμι του ορίηεται να είναι μικρι οπότε υπάρχει μικρι τιμι ποινικοποίθςθσ για αυτά τα ςθμεία και δραςτικότερθ προςζλκυςθ ςτθν ευκεία γραμμι. Οι παραπάνω εξιςϊςεισ αποτελοφν τθ βάςθ των ανκεκτικϊν εκτιμθτϊν που υλοποιοφνται. Αξίηει να αναφζρουμε ότι αυτοί χρθςιμοποιοφν το μικρότερο άκροιςμα των αποςτάςεων προςζλκυςθσ *7+, και γι αυτό ονομάηονται minimax ανκεκτικοί εκτιμθτζσ(minimax theory, Huber, 1981). Γενικά, οι minimax ανκεκτικοί εκτιμθτζσ ελαχιςτοποιοφν το residual μιασ παρατιρθςθσ ανάλογα με τθν τιμι τθσ ςτακεράσ και θ λφςθ που δίνουν ικανοποιεί τθν εξίςωςθ: ι διαφορετικά τθν: με βάςθ τα Winsorized residuals. 2.6 Αλγόριθμοσ επίλυςησ Μ και GΜ-εκτιμητϊν Για να εκτιμιςουμε τον πίνακα των ςυντελεςτϊν πρζπει να λφςουμε το ςφςτθμα των κανονικϊν εξιςϊςεων του εκτιμθτι όπωσ αυτό τθσ ςχζςθσ 2.7. Θ λφςθ δεν μπορεί να επιτευχκεί αναλυτικά όπωσ ςτο ςφςτθμα κανονικϊν εξιςϊςεων τθσ μεκόδου OLS. Μπορεί όμωσ να λυκεί αρικμθτικά με τθν γνωςτι επαναλθπτικι μζκοδο IRLS(iteratively re-weighted least squares). Σα βαςικότερα βιματα τθσ επαναλθπτικισ μεκόδου είναι: Ο αλγόρικμοσ ξεκινά με μία αρχικι εκτίμθςθ των ςυντελεςτϊν με τθν μζκοδο OLS. 28

29 Θ ςυνάρτθςθ προςελκφει τισ τιμζσ των residuals που προκφπτουν ςτθν ευκεία παλινδρόμθςθσ. Θ μζκοδοσ OLS εφαρμόηεται ςτα τροποποιθμζνα δεδομζνα για νζα εκτίμθςθ των ςυντελεςτϊν. Eπαναλαμβάνονται τα βιματα μζχρι ςφγκλιςθσ. Είναι ςθμαντικό να αναφερκεί ότι θ τιμι ς του robust scale, που είναι θ εκτίμθςθ τθσ τυπικισ απόκλιςθσ, μπορεί: να είναι εκ των προτζρων γνωςτι και δεδομζνθ. να υπολογιςτεί θ τιμι τθσ από κάποιον άλλον ανκεκτικό εκτιμθτι. να υπολογίηεται ταυτόχρονα ςε κάκε επανάλθψθ(iteration) τθσ επαναλθπτικισ διαδικαςίασ που περιγράψαμε, όπωσ για παράδειγμα ςτον εκτιμθτι του Huber: 2.7 Επίλυςη των εκτιμητϊν με QP Ο τετραγωνικόσ προγραμματιςμόσ(quadratic programming) [8] είναι μία από τισ τεχνικζσ του μακθματικοφ προγραμματιςμοφ όπου βελτιςτοποιείται με μεγιςτοποίθςθ ι ελαχιςτοποίθςθ μία μθ γραμμικι ςυνάρτθςθ δευτζρου βακμοφ με κάποιουσ περιοριςμοφσ που πρζπει να πλθροφν οι άγνωςτεσ μεταβλθτζσ. Προκειμζνου να μοντελοποιιςουμε το πρόβλθμα του Μ- εκτιμθτι τθσ ςχζςθσ 2.17 ςαν ζνα πρόβλθμα τετραγωνικοφ προγραμματιςμοφ(qp), παρόμοια με τουσ Barrodale και Roberts(170,1973) [7], Mangasarian και Musicant(2000), προτείνεται το ακόλουκο μακθματικό πρότυπο: 29

30 - - με μθ μθδενικά διανφςματα μεταβλθτϊν, με να είναι θ λφςθ που προκφπτει επιλφοντασ τθσ O ςυγκεκριμζνοσ QP προγραμματιςμόσ ζχει μία ςυνεχι και κυρτι ςυνάρτθςθ ελαχιςτοποίθςθσ (Arthanari and Dodge, 1993, G.Zioutas et al. 1997). Για αυτό τον λόγο κατά τθν διάρκεια ελαχιςτοποίθςθσ τθσ λφςθσ αυτι είναι μοναδικι και επιηθτείται ςτα ακραία ςθμεία και ςτα ςθμεία των περιοχϊν κυρτότθτασ. Σζλοσ οι εξιςϊςεισ των περιοριςμϊν τθσ 2.23 μποροφν να είναι και γραμμικοί, χωρίσ αυτό να επθρεάηει τθν ελαχιςτοποίθςθ τθσ ςυνάρτθςθσ αλλά και τθν λφςθ τθσ. Ο υπολογιςμόσ ενόσ Μ ι GM εκτιμθτι με τον τετραγωνικό προγραμματιςμό είναι πιο γριγοροσ από τθν επαναλθπτικι μζκοδο IRLS για πολφ μεγάλο ςφνολο δεδομζνων, [Mangasarian and Musicant 2000]. 30

31 ΚΕΦΑΛΑΙΟ 3 ΑΝΘΕΚΣΙΚΕ ΜΕΘΟΔΟΙ ΓΡΑΜΜΙΚΗ ΠΑΛΙΝΔΡΟΜΗΗ ΤΨΗΛΟΤ ΗΜΕΙΟΤ ΚΑΣΑΡΡΕΤΗ 3.1 Γενικά το δεφτερο κεφάλαιο είδαμε ανκεκτικζσ μεκόδουσ οι οποίεσ όμωσ διατθροφν τθν ανκεκτικότθτα τουσ για πολφ μικρό αρικμό outliers ςτο δείγμα. υνεπϊσ θ χριςθ τουσ είναι αποτελεςματικι και προτείνεται ςε δείγματα όπου υποπτευόμαςτε τθν παρουςία μερικϊν μόνο τζτοιων ςθμείων. Όμωσ για μοντζλα κυρίωσ πολυμεταβλθτισ παλινδρόμθςθσ τα οποία είναι ςφνθκεσ φαινόμενο υπό τθν παρουςία μεγαλφτερου αρικμοφ outliers, θ ανάλυςθ με τισ ςυγκεκριμζνεσ μεκόδουσ(μ-εκτιμθτζσ) είναι καταςτροφικι για τθν ευκεία παλινδρόμθςθσ. Ζτςι αναπτφχκθκαν κάποιεσ μζκοδοι που αποβλζπουν πρωτίςτωσ να εξαςφαλίςουν ζνα μζγιςτο ςθμείο κατάρρευςθσ(θβp), και ζπειτα να ζχουν μεγαλφτερθ αποτελεςματικότθτα. Επίςθσ θ παρουςία ομάδων παρατθριςεων με outliers ςτθν ανεξάρτθτθ μεταβλθτι τα οποία είναι bad leverage points, δθμιουργεί το φαινόμενο τθσ επικάλυψθσ και δυςκολεφει τθν αναγνϊριςθ τουσ, δίνοντασ καταςτροφικά αποτελζςματα για τθν ανάλυςθ. Οι υπάρχουςεσ ανκεκτικζσ μζκοδοι παλινδρόμθςθσ που περιγράψαμε, αδυνατοφν να αντιμετωπίςουν αυτό το φαινόμενο. το κεφάλαιο αυτό κα αναφζρουμε αρχικά τισ πιο ςυχνά χρθςιμοποιοφμενεσ μεκόδουσ υψθλοφ ςθμείου κατάρρευςθσ, ενϊ κα επικεντρωκοφμε και κα μελετιςουμε τον εκτιμθτι PTS. 3.2 Ο εκτιμητήσ LMS Θ πιο απλι μζκοδοσ ανκεκτικισ παλινδρόμθςθσ με υψθλό ςθμείο κατάρρευςθσ, χρθςιμοποιεί τα τετράγωνα των residuals, όπωσ τα είδαμε ςτθν μζκοδο OLS, όχι όμωσ για να ελαχιςτοποιιςει το άκροιςμα τουσ, αλλά τθν μεςαία τιμισ τουσ(median). Θ μζκοδοσ αυτι γνωςτι ωσ LMS(least median of squares) προτάκθκε το 1984 από τον Rousseeuw και περιγράφεται *5+ από τθν ςχζςθ (3.1). 31

32 Αποδεικνφεται ότι ο LMS είναι ανκεκτικόσ ωσ προσ τα y-outliers αλλά και ωσ προσ τα leverage points, ενϊ το ςθμείο κατάρρευςθσ του αγγίηει το 50% για μεγάλο πλικοσ παρατθριςεων. Πιο ςυγκεκριμζνα *5+: Αποδεικνφεται ότι θ ςχζςθ 3.1 ζχει πάντοτε λφςθ. Αν υπάρχουν περιςςότερεσ από μία ανεξάρτθτεσ μεταβλθτζσ το ςθμείο κατάρρευςθσ τθσ μεκόδου είναι: και κακϊσ είναι Παρόλο όμωσ που θ μζκοδοσ αυτι,παρουςιάηει το ηθτοφμενο ςθμείο κατάρρευςθσ, ζχει αργό ρυκμό ςφγκλιςθσ(convergence rate). Ωσ ρυκμό ςφγκλιςθσ εννοοφμε τον ρυκμό με τον οποίο προςεγγίηεται θ λφςθ, είναι ενδεικτικόσ του χρόνου τθσ λφςθσ, και ανάλογοσ με τισ επαναλιψεισ του αλγορίκμου τθσ μεκόδου. 3.3 Ο εκτιμητήσ LTS Για να βελτιϊςει το μζγεκοσ του convergence rate ο Rousseeuw πρότεινε τον ίδιο χρόνο τθν μζκοδο LTS(least trimmed squares). κοπόσ τθσ μεκόδου [10] είναι θ ελαχιςτοποιιςθ ενόσ ςυγκεκριμζνου αρικμοφ τετραγϊνων των residuals, και πιο ςυγκεκριμζνα εκείνων των παρατθριςεων με τα μικρότερα residuals. Δθλαδι: όπου είναι τα διατεταγμζνα τετράγωνα των residuals, από το μικρότερο ςτο μεγαλφτερο. O LTS εκτιμθτισ ςτθν ουςία αφαιρεί τισ παρατθριςεισ με τα μεγαλφτερα residuals που προκφπτουν από τον εκτιμθτι OLS, και ξαναεφαρμόηει OLS μόνο για τισ, τισ μικρότερεσ. Ο ρυκμόσ ςφγκλιςθσ τθσ μεκόδου είναι πιο γριγοροσ από αυτόν τθσ LMS, ενϊ το ςθμείο κατάρρευςθσ κακορίηεται από τθν τιμι του, και αποδεικνφεται [5] ότι: 32

33 για. Για ιςχφει το ιδανικό ςθμείο κατάρρευςθσ του 50%. Θ επίλυςθ του προβλιματοσ τθσ ςχζςθσ 3.3 είναι ιδιαίτερα δφςκολθ, αφοφ πρζπει να βρεκεί θ ομάδα παρατθριςεων από το ςφνολο παρατθριςεων θ οποία οδθγεί ςε ζναν OLS εκτιμθτι με τθ καλφτερθ προςαρμογι(fitting). Αυτό είναι ζνα πρόβλθμα ςυνδυαςτικισ, πραγμάτων ανά και για μεγάλο είναι πολφ δφςκολο να επιλυκεί, κακϊσ ο χρόνοσ επίλυςθσ αυξάνει εκκετικά. Οι Roussseeuw και Driesen(2001) πρότειναν ζναν γριγορο αλγόρικμο FAST-LTS όπου για τθν επίλυςθ του εφαρμόηουμε τα εξισ βιματα *10]: Γίνεται μια αρχικι ανάλυςθ του δείγματοσ με τθν μζκοδο OLS, οπότε προκφπτει θ γραμμι παλινδρόμθςθσ, τα coefficients και τα residuals. Tα residuals ταξινομοφνται κατ αφξουςα ςειρά, και επιλζγονται τα μικρότερα.με βάςθ αυτά ξαναεφαρμόηουμε τθν OLS για να προκφψει νζα γραμμι, νζα coefficients, και νζα residuals. Εξετάηουμε αν υπάρχει ςφγκλιςθ γραμμϊν(ίδια coefficients). Αν όχι επιςτρζφουμε ςτο προθγοφμενο βιμα και επαναλαμβάνουμε τθν διαδικαςία.oι επαναλιψεισ αυτζσ μζχρι ςφγκλιςθσ, ονομάηονται iterations και είναι ςυχνι πρακτικι ςτισ ανκεκτικζσ μεκόδουσ παλινδρόμθςθσ. Είναι φανερό ότι θ μζκοδοσ αυτι,επειδι αφαιρεί δεδομζνα από το δείγμα και εφαρμόηει ανάλυςθ παλινδρόμθςθσ χωρίσ αυτά, ζχει μικρι αποτελεςματικότθτα, ωςτόςο ςε μεγάλο πλικοσ δεδομζνων προτιμάται ςε ςχζςθ με τθν LMS, λόγω του μικρότερου convergence rate. 3.4 O ΜΜ-εκτιμητήσ Ο ΜΜ-εκτιμθτισ(Τohai 1987) ορίηεται *6+ ϊσ ζνασ εκτιμθτισ που ικανοποιεί τθν εξίςωςθ: ενϊ δίνει λφςθ ςτο και ςφςτθμα των παρακάτω εξιςϊςεων: 33

34 Επιπλζον ικανοποιείται θ ανιςότθτα: όπου είναι πλζον μία φραγμζνθ ςυνάρτθςθ ςε αντίκεςθ με αυτι των Μ-εκτιμθτϊν, και θ παράγωγοσ ενϊ είναι θ λφςθ ενόσ αρχικοφ high breakdown point εκτιμθτι. Θ εκτίμθςθ τθσ τυπικισ απόκλιςθσ που χρθςιμοποιείται πρζπει επίςθσ να είναι τφπου Μ. Αυτό ςθμαίνει ότι πρζπει να ικανοποιείται θ εξίςωςθ: Μια αρκετά γνωςτι bisquare ςυνάρτθςθ ΜΜ-εκτιμθτι δίνεται ωσ εξισ [6]: με Οι ΜΜ εκτιμθτζσ βαςίηονται ςτθν αρχικι ανάλυςθ του δείγματοσ με ζναν άλλον ανκεκτικό εκτιμθτι παλινδρόμθςθσ υψθλοφ ςθμείου κατάρρευςθσ, ενϊ χρθςιμοποιοφν μια παρόμοια επαναλθπτικι μζκοδο με τθν IRLS των Μ-εκτιμθτϊν για τθν λειτουργία τουσ. Πιο ςυγκεκριμζνα: Γίνεται αρχικι ανάλυςθ του δείγματοσ με ζναν εκτιμθτι υψθλοφ ςθμείου κατάρρευςθσ. Με βάςθ τον εκτιμθτι αυτόν, βρίςκουμε τα residuals, τα coefficients αλλά και ποια ςθμεία κα κρατιςουμε ςτο δείγμα μασ ωσ κακαρά(όχι outliers). Ζςτω το διάνυςμα το ςυντελεςτϊν που προκφπτει. Τπολογίηεται ο Μ-εκτιμθτισ ανκεκτικισ κλίμακασ με βάςθ τα residual τθσ αρχικισ ανάλυςθσ. Τπολογίηεται θ νζα λφςθ με βάςθ τισ εξιςϊςεισ που παρακζςαμε πιο πάνω. 34

35 Ελζγχεται αν υπάρχει ςφγκλιςθ των δφο λφςεων. Αν όχι τότε θ διαδικαςία επαναλαμβάνεται από το 2 ο βιμα με. Αποδεικνφεται ότι οι ΜΜ-εκτιμθτζσ ζχουν υψθλό ςθμείο κατάρρευςθσ, ίςο με 50% για μεγάλα δείγματα, λόγω αρχικισ ανάλυςθσ με ζναν high break-down estimator, ενϊ είναι και μεγάλθσ αποτελεςματικότθτασ [6]. 3.5 Ο S-εκτιμητήσ Ζνασ επίςθσ αποτελεςματικόσ εκτιμθτισ με αςυμπτωτικό ςθμείο κατάρρευςθσ ίςο με 50% είναι ο S εκτιμθτισ(roussseeuw and Yohai 1984). O S-εκτιμθτισ αποςκοπεί ςτθν εφρεςθ εκείνων των ςυντελεςτϊν *12+.Δθλαδι: που επιτυγχάνουν τθ μικρότερθ εκτίμθςθ τθσ τυπικισ απόκλιςθσ ς με ς ζνα τφπου Μ-robust scale που ικανοποιεί τθν ςχζςθ Θ λφςθ προκφπτει από το ίδιο ςφςτθμα εξιςϊςεων των ΜΜ-εκτιμθτϊν, ςχζςεισ 3.5 και 3.6. Ο αλγόρiκμοσ υλοποίθςθσ του S-εκτιμθτι ορίηεται ωσ εξισ [11]: Yπολογιςμόσ μίασ αρχικισ λφςθσ με ζναν εκτιμθτι υψθλοφ ςθμείου κατάρρευςθσ και προςδιοριςμόσ του που αντιςτοιχεί ς αυτιν. Με βάςθ το ς που προζκυψε, υπολογίηεται με OLS μία νζα λφςθ θ οποία παραδίδει ζνα νζο μικρότερο. Ελζγχεται αν ιςχφει. Αν όχι θ διαδικαςία επαναλαμβάνεται. Ο ςυγκεκριμζνοσ αλγόρικμοσ ςυγκλίνει ςτο μικρότερο κάνοντασ χριςθ ενόσ λιματτοσ [11], το οποίο αποδεικνφει ότι είναι αν θ ςυνάρτθςθ : είναι περιττι, δεν είναι αφξουςα, ζχει ςυνεχι παράγωγο ωσ προσ, 35

36 παραδίδει μια φκίνουςα ςυνάρτθςθ για τότε κάκε υπολογιςμόσ του νζου ς, όπωσ αυτό περιγράφεται ςτο 2 ο βιμα του παραπάνω αλγορίκμου, κα προςφζρει μικρότερο ς από το προθγοφμενο. Ωςτόςο o εκτιμθτισ αυτόσ, αν και προτιμότεροσ από τον LTS, δεν μπορεί να επιτφχει ταυτόχρονα ιδανικό ςθμείο κατάρρευςθσ και μεγάλθ αποτελεςματικότθτα, κάτι το οποίο προςφζρει ο ΜΜ-εκτιμθτισ * Ο εκτιμητήσ PTS Ο εκτιμθτισ PTS(penalized trimmed squares) που αναπτφχκθκε από τουσ G.Ziouta και L.Pitsouli [8] είναι μία ανκεκτικι, υψθλοφ ςθμείου κατάρρευςθσ μζκοδοσ, θ οποία παρουςιάηει μικρότερθ ευαιαςκθςία ςτο masking effect. Όπωσ είδαμε ςτθν μζκοδο LTS, ςε κάκε iteration κρατάμε μόνο ςυγκεκριμζνα ςθμεία με μικρά residuals αγνοϊντασ τα υπόλοιπα, τα οποία πλζον δεν ςυμμετζχουν ςτθν διαδικαςία παλινδρόμθςθσ. Σο γεγόνόσ όμωσ αυτό προςδίδει μείωςθ αποτελεςματικότθτασ όπωσ και είδαμε. Ο PTS αντίκετα αγνοεί παρατθριςεισ που το residual τουσ είναι μεγαλφτερο από μία τιμι ποινικοποίθςθσ(penalty) θ οποία διαφζρει από παρατιρθςθ ςε παρατιρθςθ. Παρόλο που ζτςι αγνοοφνται παρατθριςεισ ςτθν ανάλυςθ τθσ γραμμισ παλινδρόμθςθσ, τα penalties των τιμϊν αυτϊν ςυμμετζχουν ςτθν loss function και προςτίκονται ςε αυτιν, με αποτζλεςμα να ζχουν κακοριςτικό ρόλο ςτθν ελαχιςτοποίθςθ τθσ. Ζτςι για τον κακοριςμό τθσ ευκείασ παλινδρόμθςθσ δεν ςυμμετζχουν όλεσ οι παρατθριςεισ αλλά όλεσ κακορίηουν ποια ςθμεία κα επιλεγοφν για τθν ανάλυςθ τθσ. Παρακάτω κα εξθγιςουμε αναλυτικότερα πϊσ ακριβϊσ γίνεται αυτό. Επιπλζον δεν χρειάηεται να κακορίςουμε το αρικμό των μικρότερων residuals, όπωσ τον όριςε ωσ ο LTS, αλλά αυτόσ ο αρικμόσ ορίηεται αυτόματα μζςα από τα iteration του PTS. υνεπϊσ ο PTS κατορκϊνει να πετφχει το μζγιςτο breakdown point του LTS, βελτιϊνοντασ όμωσ τθν λφςθ λόγο τθσ επίδραςθσ των ςθμείων που απορρίψαμε ςτθν loss function. κοπόσ τθσ μεκόδου PTS είναι θ ελαχιςτοποίθςθ τθσ ςυνάρτθςθσ [8]: 36

37 όπου είναι ο αρικμόσ των μικρότερων residual του δείγματοσ που δεν ξεπερνοφν τθν τιμι ποινικοποίθςθσ τουσ, και είναι το διάνυςμα με τισ τιμζσ ποινικοποίθςθσ κάκε μίασ παρατιρθςθσ, οι οποίεσ αντικακιςτοφν τα τετράγωνα των residuals όπου αυτά είναι μεγάλα, όπωσ φαίνεται και ςτθν ςχζςθ Πρζπει να προςζξουμε ότι θ ευκεία παλινδρόμθςθσ, δθλαδι οι ςυντελεςτζσ προκφπτουν από τθν OLS ανάλυςθ των τελικϊν παρατθριςεων. Αρχικά ορίηουμε θ τιμι του να είναι ςτακερι για όλεσ τισ παρατθριςεισ και να δίνεται ϊσ: με ζνα μικρό κετικό πραγματικό αρικμό ο οποίοσ ορίηεται εξ αρχισ, το robust scale που χρθςιμοποιείται ςτθν ανάλυςθ του αλγορίκμου και όπωσ αναφζραμε είναι ενδεικτικό του αρικμοφ των κακαρϊν παρατθριςεων, κακορίηει τον αρικμό, και διαφοροποιείται ανάμεςα ςτισ παρατθριςεισ, ενϊ είναι θ παράμετροσ αποκοπισ(cut-off parameter) που κακορίηει το εφροσ του robust scale, άρα και τον αρικμό. Μια υποκετικι ςφγκριςθ για το αν κα ςυμπεριλθφκοφν τα residuals ι τα penalties των παρατθριςεων ςτθν 3.13 κα μποροφςε να είναι θ εξισ : αν τότε επιλζγεται το residual ςτθν loss function, ενϊ με θ τιμι του penalty τθσ. Αυτι θ υπόκεςθ είναι αρκετά ευαίςκθτθ ςτα leverage points, οπότε χρθςιμοποιοφνται τα προςαρμοςμζνα κατάλοιπα(adjusted residuals) που είναι ίςα με: όπου τα διαγϊνια ςτοιχεία του hat matrix, ενδεικτικά των ςθμείων leverage points. υνεπϊσ μία παρατιρθςθ με μεγάλο ζχει μεγάλθ απομάκρυνςθ από τθν περιοχι τιμϊν των ανεξάρτθτων μεταβλθτϊν και κατά επζκταςθ αυξάνει τθν τιμι του ςτθ ςφγκριςθ. Άρα για τον κακοριςμό των κακαρϊν ςθμείων(αυτϊν που ζχουν μικρότερα α i απ ότι penalties) ελζγχουμε τθν ανιςότθτα: Διαφορετικά θ 3.16 γράφεται ωσ : 37

38 οπότε το νζο διαμορφωμζνο penalty που διαφζρει από παρατιρθςθ ςε παρατιρθςθ πλζον είναι: και είναι αυτό που χρθςιμοποιείται ςτθν Θ υλοποίθςθ του εκτιμθτι PTS βαςίηεται ςε κάποια χαρακτθριςτικά του, που είναι ςθμαντικό να αναφζρουμε [8]. Αυτά είναι: Για οποιαδιποτε διάνυςμα, για το οποίο ζχουμε μία ευκεία παλινδρόμθςθσ και ζναν αρικμό κακαρϊν δεδομζνων, υπάρχει τζτοιοσ αρικμόσ ϊςτε: Ωσ επακόλουκο υπάρχει μοναδικι λφςθ για τον αρικμό κ. Για τυχοφςα λφςθ ( ) του εκτιμθτι ιςχφει: Δθλαδι ο εκτιμθτισ PTS παραδίδει εκείνθ τθ γραμμι θ οποία κα προζκυπτε από τον εκτιμθτι OLS αν ιταν κ το ςφνολο των δεδομζνων του δείγματοσ Ανθεκτικότητα του εκτιμητή Αποδεικνφεται ότι το breakdown point του εκτιμθτι [8] για μεγάλο δείγμα παρατθριςεων είναι ε * n =50%. H αποτελεςματικότθτα του εκτιμθτι εξαρτάται από τον ςυνδυαςμό τθσ παραμζτρου αποκοπισ και του robust scale που κα χρθςιμοποιθκοφν ςτθν ανάλυςθ. Ζτςι όταν το γινόμενο των 2 αυτϊν παραμζτρων είναι μεγάλο, αυξάνεται θ πικανότθτα τα residuals των παρατθριςεων να είναι μικρότερα από αυτό, και κατά επζκταςθ να περιζχονται περιςςότερεσ παρατθριςεισ ςτθν τελικι ανάλυςθ τθσ ευκείασ παλινδρόμθςθσ. Τποκζτωντασ ότι τα δεδομζνα μασ ακολουκοφν κανονικι κατανομι επιλζγουμε ζνα τζτοιο c τζτοιο ϊςτε 2<c<3 [8] Αποκάλυψη των πολλαπλϊν high leverage points τθν παράγραφο 3.1 ειςάγαμε τθν ζννοια του adjusted residual που βοθκά όπωσ είδαμε ςτθν ανίχνευςθ των ςθμείων που είναι leverage points. Ωςτόςο το φαινόμενο τθσ επικάλυψθσ διατθρείται διότι πολλαπλά high leverage points του δείγματοσ μετατοπίηουν το κζντρο των ανεξάρτθτων μεταβλθτϊν και μειϊνεται ζτςι το τελικό residual τουσ. Για τθν αντιμετϊπιςθ του προβλιματοσ μεταβάλλουμε τα διαγϊνια ςτοιχεία του πίνακα hat matrix, ςτο adjusted residual με βάςθ τθν διαδικαςία MCD(Minimum Covariance Determinant) των Rousseew και Van Driessen (1999) [13]. Θ διαδικαςία αυτι μεταξφ άλλων παραδίδει για δεδομζνο αρικμό ενόσ 38

39 δείγματοσ τθ κζςθ του κζντρου των ανεξάρτθτων μεταβλθτϊν των παρατθριςεων, τισ αποςτάςεισ των παρατθριςεων απ αυτό, και τα κοντινότερα ςθμεία. Θεωρϊντασ φυςικά ότι τα κακαρά δεδομζνα κα είναι τουλάχιςτον το 50% των παρατθριςεων αρχικά εφαρμόηουμε και θ μζκοδοσ MCD παραδίδει αυτόν τον αρικμό των παρατθριςεων. Σα διαγϊνια ςτοιχεία του πίνακα hat matrix των ςθμείων αυτϊν δίνεται από τθν νζα εξίςωςθ *8+: όπνπ είλαη κέξνο ηνπ πίλαθα ρσξίο ηηο παξαηεξήζεηο πνπ απέξξηςε ε κέζνδνο MCD. Γηα ηηο ππόινηπεο παξαηεξήζεηο νξίδνληαη ηα δηαγώληα ζηνηρεία από ηελ εμίζσζε: με ανεξάρτθτεσ μεταβλθτζσ. Σα νζα διαγϊνια ςτοιχεία κακορίηουν ξεχωριςτά για κάκε leverage point τθν επίδραςθ που κα ζχουν αυτά ςτο κακαρό δείγμα των κ ςτοιχείων. Ζτςι ανάγουμε το πρόβλθμα των πολλαπλϊν leverage points ςε ξεχωριςτι ανάλυςθ κάκε ενόσ από αυτά, μειϊνοντασ αιςκθτά το φαινόμενο τθσ επικάλυψθσ. Tα νζα adjusted residuals κα είναι ίςα με: και οι νζεσ τιμζσ των διαμορφωμζνων τιμϊν ποινικοποίθςθσ: Πρζπει να ςθμειϊςουμε ότι αυτι θ μζκοδοσ αντιμετϊπιςθσ του φαινομζνου τθσ επικάλυψθσ μπορεί να αφαιρζςει και good leverage points, μειϊνοντασ ζτςι τθν αποτελεςματικότθτα τθσ λφςθσ και αυτό είναι το τίμθμα για να κάνουμε ανκεκτικότερθ τθν ευκεία παλινδρόμθςθσ Διαδικαςία επίλυςησ του προβλήματοσ PTS Θ μζκοδοσ που ακολουκείται για τθν εφρεςθ τθσ ευκείασ παλινδρόμθςθσ μζςω του εκτιμθτι PTS είναι θ εξισ [8]: 39

40 Γίνεται εκτίμθςθ τθσ τυπικισ απόκλιςθσ ς του δείγματοσ, με βάςθ τθν οποία κα προςδιοριςκεί το εφροσ των παρατθριςεων που κα δϊςουν τθν λφςθ. Γίνεται εκτίμθςθ των διαγϊνιων ςτοιχείων του πίνακα hat matrix χρθςιμοποιϊντασ τθν απόςταςθ των παρατθριςεων από το κζντρο των ανεξάρτθτων μεταβλθτϊν. Θ απόςταςθ αυτι δίνεται από τθ μζκοδο MCD. Τπολογίηονται τα penalties από τθ εξίςωςθ 3.24 Με τετραγωνικό προγραμματιςμό υπολογίηεται θ λφςθ των ςυντελεςτϊν Τπολογιςμόσ του PTS εκτιμητή με QMIP Για τθν ελαχιςτοποίθςθ τθσ ςυνάρτθςθσ ελαχιςτοποίθςθσ,οι G.Zioutas και Avramidis [8] πρότειναν επίλυςθ του εκτιμθτι με τθ φόρμα QMIP(Quadratic mixed integer programming) όπωσ ορίηεται από τισ παρακάτω εξιςϊςεισ: όπνυ s i θ απόςταςθ προςζλκυςθσ όπωσ ορίςτθκε ςτο 2 ο κεφάλαιο για τουσ Μ-εκτιμθτζσ, δ i μια μεταβλθτι θ οποία λαμβάνει τθν τιμι 1 αν αποφαςιςτεί θ παρατιρθςθ να διαγραφεί από τθν ανάλυςθ τθσ ευκείασ παλινδρόμθςθσ και τθν τιμι 0 διαφορετικά, και M είναι ζνασ αρκετά μεγαλφτεροσ αρικμόσ από το μζγιςτο residual. Eξαιτίασ τθσ μεταβλθτισ, θ φόρμα 3.25 παρουςιάηει αυξθμζνθ πολυπλοκότθτα, θ δε λφςθ του προβλιματοσ είναι ζνα πρόβλθμα ςυνδυαςτικισ και ολοκλθρϊνεται ςε μεγάλο χρονικό διάςτθμα το οποίο αυξάνει εκκετικά ςε ςχζςθ με το μζγεκοσ του ςυνόλου των δεδομζνων. 40

41 ΚΕΦΑΛΑΙΟ 4 ΑΛΓΟΡΙΘΜΟΙ ΤΛΟΠΟΙΗΗ ΣΟΤ ΕΚΣΙΜΗΣΗ PTS 4.1 Γενικά Όπωσ αναπτφχκθκε ςτο 3 ο κεφάλαιο, θ διαδικαςία επίλυςθσ του προβλιματοσ PTS μοντελοποιείται με QMIP και επιτυγχάνεται θ ακριβισ βζλτιςτθ λφςθ, δθλαδι θ βζλτιςτθ ανκεκτικι εκτίμθςθ για τον ςυντελεςτι. Όμωσ, θ υπολογιςτικι διαδικαςία για τθν επίλυςθ ενόσ QMIP προβλιματοσ απαιτεί πολφ χρόνο και είναι εφικτι μόνο για μικρό ι μζτριο αρικμό παρατθριςεων. αυτό το κεφάλαιο αναπτφςςονται ταχφτατοι αλγόρικμοι για τθν επίλυςθ του PTS προβλιματοσ. 4.2 Γρήγοροσ αλγόριθμοσ PTS(fast PTS) Ο γριγοροσ αλγόρικμοσ PTS των G.Ziouta και L.Pitsouli *8+, αναπτφχκθκε με ςκοπό τθν βελτίωςθ του χρόνου υπολογιςμοφ τθσ λφςθσ του προβλιματοσ PTS. Θ υλοποίθςθ του αλγορίκμου ζγινε ςτο προγραμματιςτικό περιβάλλον Matlab και θ παρατίκεται ςτο παράρτθμα. υνοπτικά τα βιματα επίλυςθσ που ακολουκοφνται είναι: 1. Επιλζγονται τυχαίεσ περιοχζσ του δειγματοχϊρου, ο αρικμόσ των οποίων κακορίηεται από μία παράμετρο ειςόδου. 2. ε κάκε περιοχι, ξεκινϊντασ από μία αρχικι λφςθ ςυντελεςτϊν, βρίςκεται με επαναλθπτικι διαδικαςία θ βζλτιςτθ τοπικι λφςθ παλινδρόμθςθσ που ελαχιςτοποιεί τθ ςυνάρτθςθ loss function ςε αυτι τθν περιοχι. 3. Από όλεσ τισ βζλτιςτεσ τοπικζσ λφςεισ ςυντελεςτϊν επιλζγεται εκείνθ με τθν μικρότερθ τιμι τθσ ςυνάρτθςθσ ελαχιςτοποίθςθσ που αποτελεί τθ κακολικι βζλτιςτθ λφςθ. Αναλυτικότερα, ςκοπόσ του fast PTS είναι θ ελαχιςτοποίθςθ τθσ loss function: όπου: 41

42 το ςζτ όλων των παρατθριςεων του δείγματοσ, το ςφνολο των παρατθριςεων για τα οποία ιςχφει, O/T: το ςφνολο των υπόλοιπων παρατθριςεων, με, Ανάλυςη τησ γενικήσ διαδικαςίασ : θ λφςθ του εκτιμθτι OLS για τισ παρατθριςεισ του. Ο αλγόρικμοσ παρουςιάηεται ςε μορφι ψευδοκϊδικα ςτο ςχιμα 4.1. Όπωσ φαίνεται δζχεται ςαν είςοδο τουσ πίνακεσ και των παρατθριςεων, τον αρικμό τουσ, τον αρικμό των ανεξάρτθτων μεταβλθτϊν, τθν τιμι r που είναι ακζραιοσ αρικμόσ και προςδιορίηει τον αρικμό των τοπικϊν βζλτιςτων λφςεων και τζλοσ το robust scale. H παράμετροσ rand κα μελετθκεί αργότερα. Procedure Fast-PTS(,,,, r, ){ 1 =,1, }; 2 do =1, r { 3 : =Construction(,,, ); 4 : =Optimize(,,,, 5 : =Optimize(,,,, 6 while( ) and go to 5; 7 If( < then = ; 8 } 9 return( =Coeff(,,,, )); 10 } 11} Σχήμα 4.1 Ο γριγοροσ αλγόρικμοσ PTS. Αρχικά ορίηεται ωσ το ςφνολο όλων των παρατθριςεων του δείγματοσ (ςειρά 1). τθ ςυνζχεια ςε κάκε iteration του αλγορίκμου καταςκευάηεται με τθ μζκοδο Construction μια αρχικι τοπικι λφςθ κακαρϊν ςθμείων ςε τυχαία περιοχι του δείγματοσ(ςειρά 3). Ωσ κακαρά ςθμεία ορίηουμε εκείνα τα οποία ζχουν adjusted residual, μικρότερο των αντίςτοιχων penalties. Ακολουκείται μία διαδικαςία βελτιςτοποίθςθσ τθσ αρχικισ αυτισ λφςθσ (ςειρά 4), όπου γίνεται αποτελεςματικότερθ με τθν βοικεια τθσ ςυνάρτθςθσ Optimize. 42

43 Ελζγχεται αν θ τοπικι λφςθ επιδζχεται επιπλζον βελτίωςθ (ςειρά 5). Αν όχι τότε ζχουμε ςφγκλιςθ των λφςεων μεταξφ δφο διαδοχικϊν βελτιςτοποιιςεων (ςειρά 6) και παραλαμβάνουμε τθν βζλτιςτθ τοπικι λφςθ. Τπολογίηεται θ τιμι του loss function τθσ τοπικισ αυτισ λφςθσ. Αν θ τιμι του loss function που υπολογίςαμε είναι μικρότερθ από τθν τιμι τθσ loss function του προθγοφμενου iteration, τότε κρατείται το μικρότερο loss function κακϊσ και το ςφνολο των δεδομζνων που αντιςτοιχοφν ςε αυτό (ςειρά 7). To τζλοσ των iterations παραδίδει τθν μικρότερθ τιμι τθσ loss function και το ςφνολο για το οποίο επιτυγχάνεται και ςτθ ςυνζχεια εφαρμόηοντασ τον εκτιμθτι OLS παραλαμβάνουμε τθν λφςθ (ςειρά 9) Ανάλυςη τησ μεθόδου Construction Για τθ μζκοδο καταςκευισ μίασ τοπικισ λφςθσ ακολουκείται ςυνοπτικά θ διαδικαςία: 1. Επιλζγονται κακαρά τυχαία ςθμεία τθσ περιοχισ όπου αναηθτοφμε τθν καταςκευι μιάσ αρχικισ λφςθσ. Επειδι είναι κακαρά, τα residual από τθν ανάλυςθ με τον εκτιμθτι OLS κα είναι μικρότερα από τα penalties. 2. Εξετάηονται όλα τα υπόλοιπα ςθμεία του δείγματοσ και ελζγχονται, για να διαπιςτωκεί αν μποροφν να προςαρτθκοφν 1 προσ 1 ξεχωριςτά ςτα ςθμεία, για να προκφψει νζο ςφνολο κακαρϊν ςθμείων. Για όλα αυτά τα ςθμεία, που δίνουν τζτοιο ςφνολο κρατάμε τθν τιμι του loss function που προκφπτει με τθ προςάρτθςθ τουσ ςτο ςφνολο. 3. Επιλζγεται το ςθμείο ςτο οποίο αντιςτοιχεί θ μικρότερθ τιμι του loss function από τισ παραπάνω και τελικά προςτίκεται ςτο αρχικό ςφνολο. Εναλλακτικά μποροφμε να ειςάγουμε μία παράμετρο τυχαιότθτασ που ορίηει μία τυχαία επιλογι ενόσ ςθμείου από αυτζσ με τα μικρότερα loss function. 4. Eπιςτροφι ςτο δεφτερο βιμα όπου πλζον ι γενικά για κάκε επανάλθψθ. Αν δεν υπάρχουν υποψιφια ςθμεία που να ικανοποιοφν το 2 ο βιμα ο αλγόρικμοσ τελειϊνει και τα ςθμεία που προςτζκθκαν ςυνολικά μαηί με τα αρχικά, αποτελοφν ζνα αρχικό ςφνολο, το οποίο ςτθν ςυνζχεια με μία διαδικαςία βελτίωςθσ, κα παραδϊςει τθ λφςθ των ςυντελεςτϊν με εφαρμογι του εκτιμθτι OLS. Αναλυτικά ο ψευδοκϊδικασ τθσ διαδικαςίασ και θ περιγραφι του παρατίκενται παρακάτω : 43

44 Procedure Construction( ){ 1 =ConstructRandom( ); 2 while(c( )!=0){ 3 C( )=0; 4 do j { 5 if( <, ){ 6 C( )=C( ) j; 7 L( )= 8 inheap(l( ), ); 9 } 10 } 11 =outheap( ); 12 = + = ; 13 } 14 return( ); 15} Σχήμα 4.2 H μζκοδοσ Construction. Αρχικά επιλζγονται ςθμεία, με τθ μζκοδο ConstructRandom (ςειρά 1) τα οποία ζχουν το adjusted residual τουσ μικρότερο από τα αντίςτοιχα penalties ( κακαρό ςφνολο). Ζτςι κακορίηεται το ςφνολο. τθ ςυνζχεια ςτο ςφνολο αυτό προςτίκενται, με διαδοχικι ζρευνα κακενόσ ςθμείου ξεχωριςτά, ςθμεία που επίςθσ παραδίδουν ζνα κακαρό ςφνολο. Πιο ςυγκεκριμζνα και με δεδομζνο ζνα ςφνολο, το ςφνολο όλων των πικανϊν ςθμείων που μποροφν να προςτεκοφν ςτο είναι (ςειρά 2): υνεπϊσ ελζγχονται όλεσ οι παρατθριςεισ ζξω από το ςφνολο για να προςδιοριςκοφν αυτζσ που ικανοποιοφν τθν ςχζςθ (4.2) (ςειρζσ 4, 5). Επειτα για κάκε ςφνολο επαυξθμζνο με μία μόνο παρατιρθςθ του υπολογίηονται και αποκθκεφονται τα αντίςτοιχα loss function (ςειρζσ 7, 8). Πρζπει να τονιςκεί και να προςεχκεί ιδιαίτερα, το γεγονόσ ότι δεν ζχει ςυμβεί κάποια προςκικθ παρατιρθςθσ ακόμθ ςτο Από όλα τα υποψιφια ςθμεία τθσ, επιλζγεται ζνα ποςοςτό των καλφτερων(με τθν μικρότερθ τιμι loss function) το οποίο κακορίηεται από 44

45 τθν μεταβλθτι ειςόδου. Από αυτό το ποςοςτό επιλζγεται τυχαία μία παρατιρθςθ θ οποία και τελικά προςτίκεται ςτο ςφνολο (ςειρζσ 11, 12). Θ μεταβλθτι κακορίηει τθν τυχαιότθτα τθσ διαδικαςίασ, είναι ςαφζσ ότι για επιλζγεται θ καλφτερθ παρατιρθςθ για να προςαρτθκεί ςτο ςφνολο. Σο αρχικό ςφνολο είναι προςαυξθμζνο με μία παρατιρθςθ και θ διαδικαςία επαναλαμβάνεται μζχρι να προκφψει το μεγαλφτερο δυνατό κακαρό ςφνολο Ανάλυςη τησ μεθόδου Optimize Ακολοφκωσ θ μζκοδοσ Optimize βελτιϊνει τθν λφςθ που παραλαμβάνεται από τθν Construction, κάνοντασ τθν πιο αποτελεςματικι. υνοπτικά: 1. Με βάςθ το κακαρό ςφνολο δεδομζνων που προζκυψε από τθν Construction καταςκευάηεται θ ευκεία παλινδρόμθςθσ με τον εκτιμθτι OLS. 2. Ελζγχονται με βάςθ αυτιν τθν ευκεία γραμμι ποια ςθμεία όλου του δείγματοσ ζχουν adjusted residual μικρότερα από penalty. Δθμιουργείται ζτςι ζνα νεό ςφνολο παρατθριςεων. Είναι προφανζσ ότι το ςφνολο αυτό περιλαμβάνει το ςφνολο που προζκυψε με τθν διαδικαςία Construction επαυξθμζνο με κάποια άλλα ςθμεία, άρα βελτιϊνεται θ αποτελεςματικότθτα τθσ λφςθσ. 3. Θ τελικι βζλτιςτθ τοπικι λφςθ είναι θ ευκεία παλινδρόμθςθσ που καταςκευάηεται για το παραπάνω ςφνολο με τθ βοικεια του εκτιμθτι OLS. Αναλυτικά ο ψευδοκϊδικασ τθσ διαδικαςίασ είναι αυτόσ του ςχιματοσ 4.3. Procedure Optimize(,,,, { =Coeff(,,,, ); 2 3 do i 4 if( < ){ 5 = +I; 6 } 7 } 8 return ( =Coeff(,,,, )); 9} χήμα 4.3 Θ μζκοδοσ Optimize. 45

46 Aρχικά υπολογίηονται οι ςυντελεςτζσ τθσ ευκείασ που προκφπτει με τθ μζκοδο Construction (ςειρά 1). Ζπειτα ελζγχονται όλα αυτά τα ςθμεία και αυτά που είναι κακαρά αποτελοφν το νζο ςφνολο(ςειρζσ 3-7). το τζλοσ υπολογίηεται θ νζα βελτιωμζνθ λφςθ (ςειρά 8). 4.3 Νζοσ γρήγοροσ αλγόριθμοσ PTS Ο γριγοροσ αλγόρικμοσ που περιγράψαμε, επιδζχεται βελτίωςθ τόςο ςτθν πολυπλοκότθτα του όςο και ςτο αποτελεςματικότθτα τθσ. Ζτςι για το ςκοπό αυτό κατά τθ διάρκεια τθσ εργαςίασ αναπτφχκθκε και υλοποιικθκε ζνασ νζοσ γριγοροσ αλγόρικμοσ του εκτιμθτι PTS ο οποίοσ αποτελεί ςυνδυαςμό του fast-pts των G.Ziouta και L.Pitsouli, και τθσ μεκόδου C-Step που αναπτφχκθκε από τον Rousseeuw [10]. O νζοσ αλγόρικμοσδιατθρεί τθν ςχεδιαςτικι μζκοδο του διαίρει και βαςίλευε όπωσ τθν περιγράψαμε παραπάνω, αλλά διαφζρει ςθμαντικά ςε κάκε φάςθ τθσ. Πιο ςυγκεκριμζνα οι διαφορζσ αφοροφν: 1. Σθ μζκοδο καταςκευισ μίασ βζλτιςτθσ τοπικισ λφςθσ. Επιλζγεται ζνασ αλγόρικμοσ μικρότερθσ πολυπλοκότθτασ ς αυτιν τθ φάςθ μειϊνοντασ ςε πολφ μεγάλο βακμό τον χρόνο υπολογιςμοφ τθσ τελικισ λφςθσ. 2. Σθν εκτίμθςθ τθσ νζασ ανκεκτικισ τυπικισ απόκλιςθσ ς. Όπωσ είδαμε και προθγουμζνωσ θ παράμετροσ ς αποτελεί παράμετρο ειςόδου ςτον γριγορο αλγόρικμο και αποτελεί μία εκτίμθςθ τθσ τυπικισ απόκλιςθσ, με βάςθ τθν οποία προςδιορίηεται θ λφςθ. υνεπϊσ ζχει μεγάλθ ςθμαςία θ τιμι που ειςάγουμε. τον νζο αλγόρικμο υπολογίηεται ταυτόχρονα θ πραγματικι τιμι τθσ τυπικισ απόκλιςθσ εφαρμόηοντασ αναδρομικι διαδικαςία εφρεςθσ τθσ κακολικισ βζλτιςτθσ λφςθσ Ανάλυςη τησ γενικήσ διαδικαςίασ υνοπτικά : 1. Αναηθτοφμε ςε τυχαίεσ περιοχζσ του δείγματοσ τοπικζσ λφςεισ του προβλιματοσ όπωσ και ςτον προθγοφμενο αλγόρικμο. 2. Επιλζγεται θ καλφτερθ λφςθ απ όλεσ θ οποία προςφζρει τθν μικρότερθ τιμι τθσ ςυνάρτθςθσ ελαχιςτοποίθςθσ. 46

47 3. Θ λφςθ βελτιϊνεται με τθν βοικεια ενόσ νζου διαγνωςτικοφ των outlier. 4. Τπολογίηεται θ νζα εκτίμθςθ τθσ τυπικισ απόκλιςθσ. Αν αυτι δεν ιςοφται με τθν αρχικι, γίνεται επιςτροφι ςτο 1 ο βιμα. Θ διαδικαςία επαναλαμβάνεται μζχρι ςφγκλιςθσ. Ο ψευδοκϊδικασ τθσ γενικισ διαδικαςίασ του αλγορίκμου παρουςιάηεται παρακάτω: Procedure Fast-PTS2(,,,, r, ){ 1 =C-step( ); 2 : =Global(,,, ); 3 =Coeff(,,,, ); 4 =get_s( ) 5 while( ){ 6 ; 7 repeat the process in lines 1-3; 8 } 9 =New_Optimize(,,, ); 10 return ( =Coeff(,,,, )); 11} χήμα 4.4 Νζοσ γριγοροσ αλγόρικμοσ PTS. Σο πρϊτο βιμα του νζου αλγορίκμου είναι θ εκτίμθςθ τθσ τυπικισ απόκλιςθσ, το οποίο κακορίηει τα penalties. Γενικά ςε ζνα εκτιμθτι, θ τιμι του που ειςάγεται, προκφπτει με ζναν από τουσ παρακάτω τρόπουσ: Σο ς να είναι γνωςτό εξαρχισ. Να ζχει υπολογιςτεί ι εκτιμθκεί με βάςθ ζναν άλλον ανκεκτικό εκτιμθτι. Ο ανκεκτικόσ εκτιμθτισ μασ δίνει ζνα δείγμα παρατθριςεων και με βάςθ αυτό υπολογίηεται θ τιμι του με το οποίο κα γίνει θ ανάλυςθ ςτο fast-pts. τθ ςυνζχεια υπολογίηεται το καινοφριο με βάςθ τισ τελικζσ παρατθριςεισ του fast-pts, και ελζγχεται αν υπάρχει ςφγκλιςθ των δφο. Αν όχι τότε θ διαδικαςία επαναλαμβάνεται. Να υπολογίηεται ταυτόχρονα με το εςωτερικό iteration. Ειςάγεται αρχικά ζνα γνωςτό ι υπολογιςμζνο με άλλθ μζκοδο robust scale, και αυτό ανανεϊνεται κάκε φορά που προκφπτει ζνα τυχαίο δείγμα μζςα ςτθν ανάλυςθ του αλγορίκμου. Δθλαδι υπολογίηεται καινοφριο robust scale ςε κάκε iteration του fast-pts που κακορίηεται από το ςτθ διάρκεια του αλγορίκμου. 47

48 τθν υλοποίθςθ μασ χρθςιμοποιικθκε θ δεφτερθ μζκοδοσ για τον υπολογιςμό τθσ πραγματικισ τυπικισ απόκλιςθσ του δείγματοσ. Ετςι: Αρχικά εκτιμάται ζνα αρχικό (από το 50% των καλφτερων παρατθριςεων) με τθ διαδικαςία C-step (ςειρά 1). Τπολογίηεται μετά με τθ ςυνάρτθςθ Global θ καλφτερθ λφςθ για τα κακαρά ςθμεία του δείγματοσ(ςειρά 2). Με βάςθ αυτά τα ςθμεία βρίςκονται οι ςυντελεςτζσ του εκτιμθτι OLS και υπολογίηεται το νζο robust scale. Αν αυτό δεν είναι ίςο με το αρχικό τότε θ διαδικαςία επαναλαμβάνεται(ςειρζσ 5, 6, 7, 8). Όταν τελικά υπάρξει ςφγκλιςθ εφαρμόηουμε μία διαδικαςία βελτίωςθσ του επιλεγόμενου ςυνόλου(ςειρά 9). Με βάςθ το τελικό υποςφνολο του δείγματοσ που προκφπτει, υπολογίηουμε τθ λφςθ με εφαρμογι του εκτιμθτι OLS (ςειρά 10). Είναι πολφ ςθμαντικό να ςυμβεί ςφγκλιςθ του ςτθν διαδικαςία που ορίςαμε παραπάνω. ε διαφορετικι περίπτωςθ το αρχικό που ειςάγαμε ςτθν ςυνάρτθςθ Global είναι διαφορετικό από αυτό που υπολογίηεται από τθν λφςθ τθσ, άρα δεν ζχουμε ακριβι αποτελζςματα. Για το λόγο αυτό ακολουκεί θ επαναλθπτικι διαδικαςία μζχρι ςφγκλιςθσ των robust scale Εκτίμηςη τυπικήσ απόκλιςησ τφπου ς Μ Ο νζοσ αλγόρικμοσ όπωσ αναφζραμε, επεκτάκθκε για να υλοποιιςει τθν εκτίμθςθ του. Αυτό ςθμαίνει ότι δεν χρειάηεται να ειςαχκεί ςαν παράμετροσ ςτο πρόβλθμα μασ. Επιπλζον ανικει ςτθν τάξθ των Μ-εκτιμθτϊν τυπικισ απόκλιςθσ, δθλαδι ιςχφει: Σο robust scale που υπολογίηεται από τισ τελικζσ παρατθριςεισ κάκε εκτιμθτι διαφζρει ωσ προσ τον μακθματικό του τφπο μεταξφ των εκτιμθτϊν. Ζτςι για OLS ζχουμε: ενϊ για τον LTS εκτιμθτι είναι: 48

49 με τον αρικμό των κακαρϊν παρατθριςεων και μία ςτακερά κανονικοποίθςθσ. Για τθν περίπτωςθ του PTS εκτιμθτι το robust scale με βάςθ τθν τελικι λφςθ και το ςφνολο των παρατθριςεων του είναι: με τον τελικό αρικμό των παρατθριςεων που ζχουν adjusted residuals μικρότερα από τα penalties τουσ. Ζτςι γίνεται αντιλθπτό ότι το robust scale δεν μπορεί να υπολογιςτεί ςτθν αρχι του εκτιμθτι PTS, αφοφ πρζπει να γνωρίηουμε τθν λφςθ του. Για το λόγο αυτό χρθςιμοποιοφμε ζνα ζτοιμο αρχικό robust scale κάποιασ μεκόδου και αυτό μεταβάλλεται ςτο τζλοσ ι ςτθ διάρκεια του αλγορίκμου fast-pts όπωσ εξθγιςαμε παραπάνω. Όπωσ ζχουμε τονίςει οι κακαρζσ παρατθριςεισ ενόσ δείγματοσ αποτελοφν τουλάχιςτον το 50% του ςυνόλου του, ςυνεπϊσ χρειάηομαςτε ζνα αρχικό που να παραδίδει τουλάχιςτον τισ μιςζσ παρατθριςεισ. Αυτό βρίςκεται με τον αλγόρικμο του C-step που ανζπτυξε ο Rousseeuw [10]. υνοπτικά τα βιματα για τον υπολογιςμό του του δείγματοσ είναι: 1. Τπολογίηεται ζνα αρχικό από τον εκτιμθτι LTS που αντιςτοιχεί ςτο 50% των παρατθριςεων του δείγματοσ, με τα μικρότερα adjusted residual. 2. Τπολογίηεται μία κακολικι λφςθ του προβλιματοσ με τθν βαςικι λειτουργία του νζου εκτιμθτι. Ακολοφκωσ εφαρμόηεται ο εκτιμθτισ OLS και υπολογίηονται τα νζα residuals κακϊσ και το νζο 3. Ελζγχεται αν υπάρχει ςφγκλιςθ των δφο. Αν όχι, θ διαδικαςία επαναλαμβάνεται. Ο ψευδοκϊδικασ του αλγορίκμου δίνεται παρακάτω: 49

50 Πιο αναλυτικά: Procedure C-step( ){ 1 do =1,, { 2 =ConstructRandom( ); 3 =Coeff(,,,, ); 4 =get_s( ) ; 5 sort( ); 6 for (i 50% smaller residuals) 7 ; 8 } 9 =Coeff(,,,, ); 10 =get_s( ) ; 11 while( ){ 12 ; 13 repeat the process 1-9; 14 } 15 inheap( ); 16 } 17 return(min ); 18} χήμα 4.5 C-step διαδικαςία που παραδίδει το αρχικό βζλτιςτο robust scale. ε κάκε μία περιοχι του δείγματοσ που κακορίηεται από το καταςκευάηουμε, με βάςθ ςθμεία, μία τυχαία λφςθ με τον εκτιμθτι OLS(ςειρζσ 2,3). Ακολοφκωσ υπολογίηουμε το των παρατθριςεων αυτϊν με τθν εξίςωςθ τθσ ςχζςθσ 4.5 (ςειρά 4) και ταξινομοφμε τα residuals που προκφπτουν(ςειρά 5). Επιλζγουμε το 50% των παρατθριςεων του δείγματοσ με τα μικρότερα residuals(ςειρζσ 6,7,8) και με βάςθ τισ παρατθριςεισ αυτζσ ξανακάνουμε ανάλυςθ OLS (ςειρά 9) και προκφπτει νζα λφςθ και νζο (ςειρά 10). Εξετάηεται αν υπάρχει ςφγκλιςθ(ςειρά 11). Αν όχι θ διαδικαςία επαναλαμβάνεται μζχρι ςφγκλιςθσ των robust scale. Όταν υπάρξει ςφγκλιςθ τότε καταλιγουμε να ζχουμε το μικρότερο δυνατό robust scale του 50% των καλφτερων παρατθριςεων για κάκε μία περιοχι. Επιλζγεται το 50

51 μικρότερο από αυτά (ςειρά 17) το οποίο κα ειςάγουμε ςτθ βαςικι λειτουργία του νζου εκτιμθτι. Όπωσ φαίνεται ςτο παρακάτω ςχιμα κεωρϊντασ κανονικι κατανομι των μεταβλθτϊν, αρχίηουμε από το προαναφερκζν του 50% των καλφτερων παρατθριςεων και χρθςιμοποιοφμε μία ςτακερά αποκοπισ τθν οποία πολλαπλαςιάηουμε ςτο για να πάρουμε τα penalties. Σο ςφνολο των κακαρϊν παρατθριςεων που προκφπτουν από τθν λφςθ τθσ βαςικισ ςυνάρτθςθσ Global του νζου εκτιμθτι, περιλαμβάνει όπωσ είναι λογικό περιςςότερεσ παρατθριςεισ από το 50%. Από τθν λφςθ αυτι υπολογίηεται το νζο που είναι επίςθσ μεγαλφτερο του προθγοφμενου. Θ διαδικαςία αυτι επαναλαμβάνεται, και ζτςι διαρκϊσ αυξάνεται το, προςκζτει νζεσ παρατθριςεισ ςτθ λφςθ και άρα αυτι γίνεται πιο αποτελεςματικι. Σελικά μετά από κάποιο μικρό αρικμό επαναλιψεων επιτυγχάνεται ςφγκλιςθ των. χήμα 4.6 Επαναλθπτικι διαδικαςία του fast-pts για τον υπολογιςμό του ςωςτοφ robust scale Ανάλυςη τησ μεθόδου Global Με τθ μζκοδο Global υπολογίηεται θ καλφτερθ λφςθ του δείγματοσ. Θ διαδικαςία ακολουκεί τα βιματα τθσ ανάπτυξθ τθσ C-step που περιγράφθκε προθγουμζνωσ. υνοπτικά: 51

52 1. Σο δείγμα διαιρείται ςε τυχαία υποςφνολα με βάςθ τθν παράμετροα Επιλζγονται ςθμεία ςε μία τυχαία περιοχι του δείγματοσ. Με βάςθ αυτά προκφπτει θ λφςθ των ςυντελεςτϊν με τον εκτμθτι OLS. 2. Τπολογίηονται τα adjusted residuals και ελζγχονται ποια από αυτά είναι μικρότερα των αντίςτοιχων penalties. Για το ςφνολο των ςθμείων που ικανοποιοφν αυτιν τθν ςυνκικθ, υπολογίηεται θ νζα λφςθ με βάςθ τον εκτιμθτι OLS. 3. Ελζγχεται αν υπάρχει ςφγκλιςθ των δφο λφςεων, δθλαδι αν ζχουν τουσ ίδιουσ ςυντελεςτζσ. Αν όχι, θ διαδικαςια επαναλαμβάνεται μζχρι ςφγκλιςθσ. 4. Επαναλαμβάνεται θ διαδικαςία ςε όλα τα υποςφνολα και ζτςι προκφπτουν τοπικζσ λφςεισ. Επιλζγεται θ τοπικι λφςθ με τθ μικρότερθ τιμι τθσ ςυνάρτθςθσ ελαχιςτοποίθςθσ και αποτελεί τθ λφςθ του προβλιματοσ PTS για όλο το δείγμα. O ψευδοκϊδικασ τθσ μεκόδου δίνεται παρακάτω: Procedure Global(,,, )){ 1 do =1,, { 2 =ConstructRandom( ); 3 =Coeff(,,,, ); 4 if( < ){ 5 ; 6 } 7 =Coeff(,,,, ); 8 while( ){ 9 ; 10 repeat the process 1-8; 11 } 12 inheap(l( )= ); 13 } 14 return(min L( )); 15} χήμα 4.7 H μζκοδοσ Global. Θ μζκοδοσ ConstructRandom καταςκευάηει μία τοπικι αρχικι λφςθ με τον εκτιμθτι OLS λαμβάνοντασ υπόψθ ςθμεία(ςειρζσ 2,3). Τπολογίηονται τα νζα adjusted residuals και ελζγχεται ποια από αυτά είναι μικρότερα από το αντίςτοιχο penalty(ςειρά 4). 52

53 Με βάςθ τισ νζεσ παρατθριςεισ προκφπτει νζα λφςθ με τον εκτιμθτι OLS(ςειρά 7). Σζλοσ ελζγχεται αν ζχει προκφψει ςφγκλιςθ των δφο λφςεων, ςε διαφορετικι περίπτωςθ θ διαδικαςία επαναλαμβάνεται(ςειρζσ 8,9,10). Για κάκε τοπικι λφςθ κρατάμε τθν τιμι τθσ ςυνάρτθςθσ ελαχιςτοποίθςθσ(ςειρά 12). το τζλοσ και αφοφ επαναλάβουμε τθν διαδικαςία για όλεσ τισ περιοχζσ, θ μζκοδοσ επιςτρζφει το ςφνολο που παραδίδει τθν μικρότερθ τιμι τθσ loss function(ςειρά 14) Ανάλυςη τησ μεθόδου New_Optimize Με τθν μζκοδο New_Optimize κζτουμε ζνα νζο διαγνωςτικό ανίχνευςθσ tτων good leverage points τα οποία κζλουμε να προςκζςουμε ςτθ λφςθ μασ για να αυξιςουμε τθν αποτελεςματικότθτα τθσ. υνοπτικά: 1. Για τα ςθμεία που ζμειναν ζξω από το τελικό ςφνολo τθσ μεκόδου Global, υπολογίηονται νζα διαγϊνια ςτοιχεία. 2. Ελζγχεται ποια από αυτά τα ςθμεία ικανοποιοφν μία ανιςότθτα θ οποία περιζχει τα νζα διαγϊνια ςτοιχεία. 3. Σα ςθμεία που ικανοποιοφν τθν ανιςότθτα προςαρτίηονται ςτο τελικό ςφνολο με βάςθ το οποίο, κα βρεκεί θ τελικι λφςθ του προβλιματοσ με τον εκτιμθτι OLS. Ο ψευδοκϊδικασ παρατίκεται παρακάτω: Procedure New_Optimize(,,, )){ 1 for O/T 2 =new_leverage_points(); 3 } 4 if ( if( < ){ 5 6 } 7 return =Coeff(,,,, ); 8 } χήμα 4.8 H μζκοδοσ New_Optimize 53

54 Πιο αναλυτικά: Για τα ςθμεία που ζμειναν ζξω από το ςφνολο που ορίηει θ μζκοδοσ Global ορίηουμε τα νζα ωσ: με τον αρικμό των παρατθριςεων του ςυνόλου. Από τα ςθμεία αυτά επαναφζρουμε μζςα ςτο ςφνολο που κα παραδϊςει τθν τελικι λφςθ, εκείνα για τα οποία ιςχφει θ παρακάτω ςχζςθ(ςειρά 4): < Ο όροσ αποτελεί τθ μζςθ τιμι τθσ κανονικισ κατανομισ των predicted error. Ζτςι αν για μία παρατιρθςθ ιςχφει θ ςχζςθ 4.8 για m=1, τότε το predicted error τθσ ανικει εντόσ τθσ κατανομισ αυτισ και προςτίκεται ςτο ςφνολο που κα δϊςει τθ τελικι λφςθ. Eεπειδι όμωσ υπάρχει περίπτωςθ να προςτεκεί με αυτό τον τρόπο και bad leverage point πολλαπλαςιάηουμε τα διαγϊνια ςτοιχεία με τον ςυντελεςτι κανονικοποίθςθσ m, με 0<m<1. Mε αυτόν τον τρόπο μειϊνουμε τθν πικανότθτα ζνταξθσ ενόσ τζτοιου ςθμείου, ενϊ εμπειρικά αποδεικνφεται ότι αυξάνουμε τθν αποτελεςματικότθτα τθσ λφςθσ. το νζο ςφνολο που προκφπτει (ςειρά 5), εφαρμόηουμε τον εκτιμθτι OLS και παίρνουμε τθν τελικι λφςθ του προβλιματοσ (ςειρά 7). 54

55 ΚΕΦΑΛΑΙΟ 5 Ο ΕΚΣΙΜΗΣΗ ΙPTS 5.1 Γενικά Ο εκτιμθτισ ΙPTS ςτθρίηεται ςτθ χριςθ τθσ e-insensitive loss function από τθν τεχνικι SVR(support vector regression),θ οποία προτάκθκε από τον Vapnik, κεωρείται μια εναλλακτικι ανκεκτικι μζκοδοσ όταν ζχουμε δεδομζνα με κόρυβο και ζχει πολλζσ εφαρμογζσ ςτθν πρόβλεψθ δεδομζνων(mangasarian and Musicant 2000) [14]. τόχοι τθσ SVR τεχνικισ είναι: θ ελάττωςθ τθσ πολυπλοκότθτασ του μοντζλου παλινδρόμθςθσ. να αγνοιςει τισ μικρζσ παρατθριςεισ με residuals μικρότερο από μια μία ςυγκεκριμζνθ τιμι,προςαρμόηοντασ ζναν ςωλινα ακτίνασ όπωσ κα δοφμε και παρακάτω. τθν ςυγκεκριμζνθ περίπτωςθ, ςτθν ςυνάρτθςθ ελαχιςτοποίθςθσ δεν ςυμμετζχουν παρατθριςεισ με μικρι απόκλιςθ από τθν ευκεία παλινδρόμθςθσ, ενϊ ςτισ μεγαλφτερεσ παρατθριςεισ αφαιροφμε από τα residuals τουσ μια ςτακερι τιμι. Πιο ςυκεκριμζνα: Όπωσ φαίνεται και ςτο ςχιμα 5.1 θ γραμμι εκτίμθςθσ αντικακίςταται πλζον από ζναν ςωλινα ακτίνασ. H διαδικαςία επίλυςθσ του προβλιματοσ με QΜΙP είναι [14]: όπου C ζνασ όροσ κανονικοποίθςθσ που βοθκά ςτθ αποφυγι του overfittiing [14], δθλαδι ςτθν επιρροι των residuals ςτο μοντζλο παλινδρόμθςθσ. 55

56 χήμα 5.1 Παλινδρόμθςθ με χριςθ τθσ -insensitive loss function. Είναι δυνατόν να γενικεφςουμε τθν SVR τεχνικι με οποιαδιποτε ςυνάρτθςθ ελαχιςτοποίθςθσ. Ζτςι για τθ ςυνάρτθςθ ιςχφει: και το QMIP πρόβλθμα γίνεται: 5.2 e-insensitive PTS Όπωσ είδαμε με τθν τεχνικι SVR μποροφμε να αγνοιςουμε παρατθριςεισ με μικρά λάκθ, τα οποία ςυνικωσ αντιςτοιχοφν ςε δεδομζνα κορφβου, ενϊ ελαττϊνουμε ςθμαντικά τον χρόνο υπολογιςμοφ των αποτελεςμάτων και τθν πολυπλοκότθτα. Παρόλα αυτά θ τεχνικι αυτι δεν μπορεί να αναγνωρίςει και να απαλείψει ομάδεσ των outliers [14]. Για τον ςκοπό αυτό 56

57 ςυνδυάηουμε τον εκτιμθτι PTS με τθν e-insensitive loss function, ζτςι ϊςτε να προκφψει ζνασ πιο γριγοροσ εκτιμθτισ. Θ ςυνάρτθςθ ελαχιςτοποίθςθσ που προτείνουμε *14+ ειςάγει : το τετράγωνο των residual των παρατθριςεων που βρίςκονται μεταξφ του ςωλινα ε και του ςωλινα των penalties, το penalty εκείνων των παρατθριςεων που βρίςκονται ζξω από τον ςωλινα των penalties, τθν τιμι ε 2 για εκείνεσ τισ παρατθριςεισ που βρίςκονται εντόσ του ςωλινα ακτίνασ ε. Πιο αναλυτικά: με και ςχθματικά: χήμα 5.2 Θ περιοχι ζνταξθσ των παρατθριςεων κακορίηει τθν τιμι που αντιςτοιχεί ςτθν ςυνάρτθςθ ελαχιςτοποίθςθσ. 57

58 Είναι πολφ ςθμαντικό να αναφζρουμε ότι θ τιμι που επιλζγεται ελζγχει το μζγεκοσ του ςωλινα και κατά επζκταςθ τθν αναλογία μιασ γριγορθσ λφςθσ με μία που είναι πιο αργι αλλά πιο ακριβισ *14+. υνεπϊσ για μεγάλο μετζχουν λιγότερεσ παρατθριςεισ ςτθν ςφνκεςθ τθσ ςυνάρτθςθσ ελαχιςτοποίθςθσ, θ λφςθ είναι λιγότερο ακριβισ και αποτελεςματικι αλλά και πιο γριγορθ. Αντίκετα για μικρό θ λφςθ είναι περιςςότερο ακριβισ με περιςςότερεσ παρατθριςεισ να μετζχουν ςτθν loss function, ο ςωλινασ προςεγγίηει τθν ευκεία παλινδρόμθςθσ αλλά χάνουμε ςε χρόνο. Φυςικά εξυπακοφεται ότι για θ λφςθ ςυμπίπτει με αυτιν του PTS. 5.3 Τλοποίηςη του γρήγορου αλγορίθμου IPTS Τποκζτωντασ κανονικι κατανομι του δείγματοσ αποδεικνφεται ςφμφωνα με τουσ Scholkopf και Smola ότι μια καλι, γριγορθ και ςχετικά ακριβισ λφςθ προκφπτει για ε=0.612ς [14]. Από τα εμπειρικά μασ αποτελεςμάτα ςτθν υλοποίθςθ του αλγορίκμου χρθςιμοποιοφμε ε=ς. Θ υλοποίθςθ του IPTS βαςίηεται ςτον εναλλακτικό γριγορο αλγόρικμο PTS που παρουςιάςαμε με βάςθ τθν τεχνικι C-step. Σα διαφορετικά ςθμεία τθσ υλοποίθςθσ είναι θ διαφορετικι ςυνάρτθςθ ελαχιςτοποίθςθσ που χρθςιμοποιείται, και που αναφζραμε παραπάνω, αλλά και το ζτοιμο robust scale ς που λαμβάνουμε από τθν λφςθ του αλγορίκμου PTS με βάςθ τθν μζκοδο C-step. Πιο ςυγκεκριμζνα, όπωσ και ςτον γριγορο αλγόρικμο PTS που περιγράψαμε ςτο προθγοφμενο κεφάλαιο: κακορίηουμε τυχαίεσ περιοχζσ του δείγματοσ με βάςθ τθν παράμετρο ειςόδου. ε κάκε περιοχι υπολογίηεται θ βζλτιςτθ τοπικι λφςθ θ οποία ζχει τθ μικρότερθ τιμι του loss function τθσ ςχζςθσ 5.5. Από όλεσ τισ τοπικζσ λφςεισ επιλζγεται εκείνθ με το μικρότερο loss function. Αναλυτικά ο ψευδοκϊδικασ τθσ διαδικαςίασ είναι: 58

59 Procedure IPTS(,,, )){ 1 do =1,, { 2 =ConstructRandom( ); 3 =Coeff(,,,, ); 4 if( < ){ 5 ; 6 } 7 =Coeff(,,,, ); 8 while( ){ 9 ; 10 repeat the process 1-8; 11 } 12 inheap(l( )= ); 13 } 14 return(min L( )); 15 =New_Optimize(,,, ); 16 return( =Coeff(,,,, )); χήμα 5.3 Ψευδοκϊδικασ υλοποίθςθσ του IPTS εκτιμθτι. Ακολουκείται θ ίδια διαδικαςία με τθν μζκοδο Global, που περιγράψαμε ςτο προθγοφμενο κεφάλαιο, για τον υπολογιςμό μίασ τοπικισ λφςθσ(ςειρζσ 1-11). Τπολογίηεται το νζο loss function (ςειρά 12), όπου penalties και του ςωλινα, το ςφνολο παρατθριςεων που βρίςκεται μεταξφ του ςωλινα των το ςφνολο παρατθριςεων που βρίςκεται ζξω από τον ςωλινα των penalties και το ςφνολο παρατθριςεων που βρίκεται εντόσ του ςωλινα ε. το τζλοσ επιλζγεται θ περιοχι που παραδίδει τθν μικρότερθ τιμι τθσ ςυνάρτθςθσ ελαχιςτοποίθςθσ(ςειρά 14) και ς αυτιν προςτίκενται επιπλζον παρατθριςεισ με τθ μζκοδο New_Optimize, που περιγράψαμε ςτο προθγοφμενο κεφάλαιο(ςειρά 15). Με βάςθ το τελικό ςφνολο που προκφπτει υπολογίηουμε τθν λφςθ των ςυντελεςτϊν με τον εκτιμθτι OLS. 5.4 Επίλυςη του IPTS με QMIP Σο μοντζλο επίλυςθσ του IPTS με QMIP προκφπτει με τροποποίθςθ του μοντζλου τθσ εξίςωςθσ 5.4. Αρχικά προτείνεται το παρακάτω μοντζλο του SVR μοντζλου: 59

60 To μοντζλο του IPTS τότε δίνεται με αντικατάςταςθ τθσ ςχζςθσ 3.25 ςτθν 5.7 και είναι: όπου επιλζγεται C=1. Πρζπει να τονιςκεί ότι τα ςθμεία που βρίςκονται εντόσ του ςωλινα ακτίνασ ε, δεν ςυμμετζχουν ςτθν λφςθ. Μια αποτελεςματικι λφςθ του προβλιματοσ προκφπτει για ε=0.612ς όπωσ τονίςαμε και παραπάνω, ενϊ ςφμφωνα με τα δικά μασ εμπειρικά αποτελζςματα ςυνίςταται ε=ς. Σζλοσ θ τιμι του ε κα πρζπει να είναι αρκετά μικρι ϊςτε να υπάρχουν τουλάχιςτον p+1 ςθμεία εκτόσ του ςωλινα *14+, και αυτό εξαςφαλίηεται με τθν εξίςωςθ 5.9: με τθ ςυνάρτθςθ πικανότθτασ τθσ τυποποιθμζνθσ κανονικισ κατανομισ. Για παράδειγμα ςε ζνα πρόβλθμα παλινδρόμθςθσ με παρατθριςεισ και ανεξάρτθτεσ μεταβλθτζσ, είναι και πιο ςυγκεκριμζνα ι από ζτοιμουσ ςτατιςτικοφσ πίνακεσ ε=2.75ς. 60

61 ΚΕΦΑΛΑΙΟ 6 ΕΚΣΙΜΗΗ ΟΠΣΙΚΗ ΡΟΗ 6.1 Γενικά Μία βαςικι περιοχι ζρευνασ τθσ επιςτιμθσ των υπολογιςτϊν αςχολείται με τισ τεχνικζσ και τουσ τρόπουσ εκείνουσ με τουσ οποίουσ ζνασ υπολογιςτισ-μθχανι παραλαμβάνει δεδομζνα από αιςκθτιρεσ ι άλλεσ ςυςκευζσ και με τθ βοικεια τουσ προςδιορίηει τον περιβάλλοντα χϊρο του(computer vision) [15]. θμαντικό πρόβλθμα τθσ κατθγορίασ αυτισ αποτελεί ο υπολογιςμόσ τθσ οπτικισ ροισ των δεδομζνων(optical flow) θ οποία ορίηεται ωσ θ κίνθςθ των ςωμάτων και των επιφανειϊν ςε ςχζςθ με ζναν παρατθρθτι [16]. Σο πρόβλθμα τθσ οπτικισ ροισ ςυνοψίηεται ςτισ τεχνικζσ εκείνεσ οι οποίεσ χρθςιμοποιοφνται και παραδίδουν τθν κίνθςθ του τριςδιάςτατου χϊρου των ςωμάτων, ςε μία επιφάνεια δφο διαςτάςεων. Πιο ςυγκεκριμζνα όταν ζχουμε λάβει διαδοχικζσ εικόνεσ(frames) ενόσ χϊρου ςε διαφορετικζσ χρονικζσ ςτιγμζσ, ο υπολογιςμόσ τθσ οπτικισ ροισ αφορά τθν προςζγγιςθ τθσ κίνθςθσ που υπάρχει ανάμεςα ςτισ τριςδιάςτατεσ εικόνεσ με τθν χριςθ ενόσ διαγράμματοσ διανυςμάτων. Σα διάνυςματα αντιςτοιχοφν ςτισ ταχφτθτεσ των ςθμείων του χϊρου(pixels) με βάςθ τα διαφορετικά frames των εικόνων που ζχουν λθφκεί, όπωσ φαίνεται και από τα ςχιματα 6.1 και 6.2. Σχήμα 6.1. Δηάλπζκα ταχφτθτασ ενόσ ζσκαηηδίνπ κε βάζε 5 δηαδνρηθά frames. 61

62 Σχήμα 6.2. υνολικό διάγραμμα δηαλπζκάησλ νπηηθήο ξνήο κίαο αθνινπζίαο εηθόλσλ. Θ εκτίμθςθ τθσ οπτικισ ροισ ςυνικωσ γίνεται με διάφορεσ τεχνικζσ όπωσ [16] : phase correlation methods οι οποίεσ χρθςιμοποιοφν ζνα κανονικοποιθμζνο φάςμα(cross-power spectrum) που ςυςχετίηει τα διαφορετικά frames. Block-based methods που βαςίηονται ςτθν ελλάτωςθ του ακροίςματοσ των τετραγϊνων ι των απόλυτων τιμϊν των διαφορϊν ανάμεςα ςτα δεδομζνα των frames. Gradient based methods οι οποίεσ βαςίηονται ςτθν χριςθ μερικϊν παραγϊγων των διάφορων τιμϊν των pixels, ειδικότερα τθσ ζνταςθσ τθσ φωτεινότθτασ τουσ(intensity). Πιο διαδεδομζνεσ μζκοδοι αυτισ τθσ κατθγοριασ είναι οι Lucas-Kanade και Horn- Schunck. Matching methods οι οποίεσ αποβλζπουν ςτθν ταφτιςθ των pixels των εικόνων και με βάςθ διάφορουσ αλγορίκμουσ δίνουν τθν οπτικι ροι. 62

63 O εφαρμογζσ τθσ οπτικισ ροισ αφοροφν προβλιματα αναδεικνφουν το πόςο ςθμαντικι είναι [16]. Μερικζσ από αυτζσ είναι: χρθςιμοποιείται ςτθν εκτίμθςθ των τριςδιάςτατων χϊρων με βάςθ τισ παραμζτρουσ και τα δεδομζνα που λαμβάνονται από ζναν κινοφμενο αιςκθτιρα ενόσ ρομπότ ι μιασ οποιαδιποτε μθχανισ. ςυμμετζχει ςτθν τμθματοποίθςθ(segmentation) των ψθφιακϊν εικόνων και ςτθν κωδικοποίθςθ τουσ. βοθκά ςτον υπολογιςμό του χρόνου ςφγκρουςθσ δφο ςωμάτων που αφείλεται ςτθν ςχετικι τουσ κίνθςθ. 6.2 Εξίςωςη οπτικήσ ροήσ αν αρχικι υπόκεςθ για τθν επίλυςθ του προβλιματοσ τθσ οπτικισ ροισ, λαμβάνουμε το γεγονόσ ότι ςυμβαίνει μία μικρι μετακίνθςθ( ςε ζνα τυχαίο pixel μιασ εικόνασ, ςτο χρονικό διάςτθμα. Aν ςυμβολίςουμε με τθ ςυνάρτθςθ που μετράει τθν ζνταςθ τθσ φωτεινότθτασ του ςυγκεκριμζνου pixel τότε ιςχφει: Αναπτφςςοντασ το αριςτερό μζλοσ τθσ εξίςωςθσ ςε ςειρά Σaylor ζχουμε: με H.O.T. να είναι οι μερικζσ παράγωγοι 2 θσ ι και μεγαλφτερθσ τάξθσ οι οποίεσ όμωσ είναι πολφ μικρζσ και μποροφν να αγνοθκοφν. Θ εξίςωςθ 6.2 λόγω τθσ 6.1 γίνεται: Διαιρϊντασ με ζχουμε: ι Θ εξίςωςθ 6.5 είναι γνωςτι και ωσ εξίςωςθ οπτικισ ροισ και κζτει ζνα περιοριςμό ςτο 63

64 μζτρο τθσ ταχφτθτασ ενόσ pixel, όπωσ και φαίνεται ςτο ςχιμα 6.3. Για τον προςδιοριςμό τθσ ταχφτθτασ του pixel είναι αναγκαίοσ ο υπολογιςμόσ των 2 μεταβλθτϊν και. Ωςτόςο αυτόσ δεν μπορεί να επιτευχκεί μόνο με τθν εξίςωςθ τθσ οπτικισ ροισ,κάτι το οποίο είναι γνωςτό κα ωσ πρόβλημα aperture και ζτςι χρθςιμοποιοφνται ςτθν πράξθ επιπρόςκετοι περιοριςμοί ςε κάκε μζκοδο *17+. Παρατήρηςη: Θ επίλυςθ του προβλιματοσ τθσ οπτικισ ροισ με βάςθ τθν ςχζςθ 6.5 προυποκζτει τθν φπαρξθ πολφ μικρισ μετατόπιςθσ των pixels, μικρότερθ και από μζγεκοσ ζνόσ pixel [17+. Αυτι είναι απαραίτθτθ προυπόκεςθ για τθν επζκταςθ με ςειρά Taylor. χήμα 6.3. Απεικόνιςθ τθσ εξίςωςθσ οπτικισ ροισ και διάνυςμα τθσ ταχφτθτασ. 6.3 Εκτίμηςη οπτική ροήσ με παλινδρόμηςη Οι εκτιμθτζσ παλινδρόμθςθσ χρθςιμοποιοφνται ςυχνά ςτθν εκτίμθςθ τθσ οπτικισ ροισ κάνοντασ χριςθ μίασ βαςικισ υπόκεςθσ τθσ Lucas-Kanade μεκόδου*16+. φμφωνα με αυτιν, θ κίνθςθ μιάσ ομάδασ γειτονικϊν pixel είναι ςτακερι και ζτςι κάκε pixel τθσ ομάδασ αυτισ ζχει το ίδιο διάνυςμα ταχφτθτασ με τα υπόλοιπα. Με βάςθ αυτιν τθν υπόκεςθ και για μία ομάδα γειτονικϊν pixels θ ςχζςθ τθσ εξίςωςθσ 6.5 γίνεται: όπου είναι το διάνυςμα των οριηόντιων μερικϊν παραγϊγων πρϊτθσ τάξθσ των pixels, το διάνυςμα των κατακόρυφων μερικϊν παραγϊγων, και το διάνυςμα των μερικϊν παραγϊγων ωσ προσ το χρόνο. Θ ςχζςθ αυτι όπωσ γίνεται αντιλθπτό 64

65 ανάγεται ςτθν βαςικι εξίςωςθ του προβλιματοσ παλινδρόμθςθσ, με το διάνυςμα των ανεξάρτθτων μεταβλθτϊν, το διάνυςμα τθσ εξαρτθμζνθσ μεταβλθτισ και. υνεπϊσ αν υποκζςουμε ότι ζχουμε ζνα frame με ανάλυςθ 200x250 pixels, και δθμιουργιςουμε ομάδεσ των 25 γειτονικϊν pixels τότε ζχουμε 2000 τζτοιεσ ομάδεσ και το πρόβλθμα τθσ οπτικισ ροισ ανάγεται ςε πρόβλθμα τθσ παλινδρόμθςθσ ςε αυτά τα γκροφπ δεδομζνων. Οι μερικζσ παράγωγοι, μποροφν να υπολογιςτοφν με ςυνζλιξθ των δεδομζνων μίασ ψθφιακισ εικόνασ με ζναν πυρινα(kernel) ςυντελεςτϊν κάποιου φίλτρου, όπωσ κα εξθγθκεί και παρακάτω. Ο πίνακασ υπολογίηεται ωσ θ διαφορά των εντάςεων τθσ φωτεινότθτασ των αντιςτοίχων pixels ανάμεςα ςτα δφο frames. Σζλοσ αξίηει να ςθμειϊςουμε ότι θ τεχνικι επίλυςθσ που παρουςιάςαμε, επειδι κάνει χριςθ τθσ εξίςωςθσ οπτικισ ροισ, εφαρμόηεται για μικρι μετατόπιςθ των pixels και αποτυγχάνει για μεγαλφτερθ κίνθςθ. 6.4 Multiresolution ςχήματα-η μζθοδοσ των πυραμίδων Για να αντιμετωπιςτεί το πρόβλθμα τθσ μεγάλθσ ροισ ανάμεςα ςε δφο εικόνεσ μίασ ακολουκίασ, υιοκετείται μία τεχνικι επεξεργαςίασ ςε επίπεδα, όπου κάκε επίπεδο κα περιλαμβάνει μία ςυγκεκριμζνθ ανάλυςθ ςε pixels των εικόνων, και κα γίνεται θ εκτίμθςθ τθσ οπτικισ ροισ. Θ τεχνικι αυτι είναι γνωςτι ωσ Coarse-to-fine [17], και παριςτάνεται γραφικά με τθ μορφι μίασ πυραμίδασ όπωσ ςτο ςχιμα 6.4. Θ πυραμίδα περιλαμβάνει ζναν αρικμό επιπζδων μίασ εικόνασ όπου ςε κάκε επίπεδο υπάρχει διαφορετικι ανάλυςθ τθσ εικόνασ και πιο ςυγκεκριμζνα κάκε επίπεδο είναι το ¼ τθσ ανάλυςθσ του αμζςωσ χαμθλότερου επιπζδου. Θ βάςθ τθσ πυραμίδασ είναι θ εικόνα τθσ ακολουκίασ(fine) με τθν μεγαλφτερθ ανάλυςθ ενϊ θ κορυφι(coarse) με τθ μικρότερθ. Ζτςι όταν ζχουμε 2 εικόνεσ μίασ ακολουκίασ καταςκευάηουμε τθν πυραμίδα για κάκε μία από αυτζσ και επιλφουμε το πρόβλθμα τθσ οπτικισ ροισ με παλινδρόμθςθ, όπωσ και περιγράφθκε παραπάνω διότι εξαςφαλίηεται μικρι οπτικι ροι ςε κάκε ζνα επίπεδο *17+. Τπάρχουν διάφορεσ τεχνικζσ καταςκευισ τζτοιων πυραμίδων εκ των οποίων πιο γνωςτι είναι θ πυραμίδα του Gauss. 65

66 χήμα 6.4. Θ δομι μίασ πυραμίδασ ςτθν επεξεργαςία των ψθφιακϊν εικόνων Η πυραμίδα του Gauss H πιο διαδεδομζνθ τεχνικι για τθν καταςκευι των πυραμίδων είναι θ πυραμίδα του Gauss. Σα βιματα που ακολουκοφνται ςε κάκε επίπεδο για τθν καταςκευι του αμζςωσ υψθλότερου επιπζδου είναι τα εξισ *17+: H διαδικαςία εξομάλυνςθσ(smoothing) των υψθλϊν ςυχνοτιτων τθσ εικόνασ. Θ δειγματολθψία ςε περιοχζσ τθσ εικόνασ με βάςθ τθν οποία προκφπτουν τα pixels του υψθλότερου επιπζδου. Αρχικά ςε κάκε επίπεδο θ εικόνα περνά από ζνα χαμθλοπερατό φίλτρο Gauss, και ζτςι ςτο επόμενο επίπεδο δεν ςυμμετζχουν όλα τα pixels. Αυτό επιτυγχάνεται με τθν ςυνζλιξθ(convolution) τθσ εικόνασ με το φίλτρο δφο διαςτάςεων του Gauss που δίνεται από τον τφπο: Θ τυπικι απόκλιςθ ς κακορίηει το εφροσ των δεδομζνων που κα ςυμμετζχουν ςτο επόμενο επίπεδο όπωσ φαίνεται ςτο ςχιμα

67 χήμα 6.5. Κατανομι του Gauss για διαφορετικζσ τιμζσ του ς. Όςο μεγαλφτερο είναι αυτό, τόςο μεγαλφτερο είναι και το εφροσ τθσ κατανομισ. το δεφτερο βιμα, τα επιλεγόμενα ςιμεια που προζκυψαν κακορίηουν ζνα ςθμείο του επόμενου επιπζδου ςτθν εικόνα. Πιο ςυγκεκριμζνα αν είναι θ κζςθ ενόσ pixel ςτο χαμθλότερο επίπεδο τθσ πυραμίδασ και ςε ζνα τυχαίο υψθλότερο επίπεδο, τότε αυτό κακορίηεται ωσ εξισ [18]: με μία ςυνάρτθςθ βάρουσ και τον αρικμό των pixels που ςυμβάλουν ςτθν τιμι του pixel του επόμενου επιπζδου. Σα δφο βιματα που περιγράψαμε παραπάνω, μποροφν να ενςωματωκοφν ςε ζνα και μοναδικό, ςτο οποίο γίνεται ςυνζλιξθ τθσ εικόνασ με ζναν τετραγωνικό πίνακα, του οποίου τα ςτοιχεία είναι οι τιμζσ τθσ ςυνάρτθςθσ. Ο πίνακασ αυτόσ ονομάηεται πυρινασ του φίλτρου και πρζπει να ζχει τισ εξισ ιδιότθτεσ για να κεωρείται πυρινασ του φίλτρου Gauss[18]: Να είναι ςυμμετρικόσ Να είναι τετραγωνικόσ. Να ζχει περιττό αρικμό ςειρϊν και ςτθλϊν. Για παράδειγμα θ διαδοχικι εφαρμογι ςε κάκε επίπεδο τθσ παρακάτω εξίςωςθσ μασ δίνει το αποτζλεςμα του ςχιματοσ

68 χήμα 6.6. Πυραμίδα του Gauss που προκφπτει με διαδοχικι εξομάλυνςθ και δειγματολθψία. Εκτόσ από τθν διαδικαςία διαδοχικισ μείωςθσ τθσ ανάλυςθσ μίασ εικόνασ ςε μία πυραμίδα, μποροφμε να ακολουκιςουμε και τθν αντίςτροφθ διαδικαςία, κακϊσ από τθν κορυφι τθσ πυραμίδασ μποροφμε με διαδοχικά βιματα να καταλιξουμε ςτθν αρχικι τθσ ανάλυςθ. Αυτό γίνεται με τθν ςχζςθ [18]: Ωςτόςο θ εικόνα που κα προκφψει κα είναι πιο κολι από τθν αρχικι εξαιτίασ του γεγονότοσ ότι ζχουν αφαιρεκεί τιμζσ των pixels, οι οποίεσ δεν ανακτϊνται. (α) (β) χήμα 6.7. (α)αρχικι εικόνα ςτθν βάςθ τθσ πυραμίδασ, (β)εικόνα ςτθν βάςθ τθσ πυραμίδασ που ζχει προκφψει με επζκταςθ τθσ κορυφισ ςε πζντε επιπζδα. 68

69 6.5 Αλγόριθμοσ εκτίμηςησ τησ οπτικήσ ροήσ με fast-pts Για τθν εκτίμθςθ τθσ οπτικισ ροισ ςε μία ακολουκία εικόνων, υλοποιικθκε ζνασ αλγόρικμοσ *17+ ο οποίοσ ςτθρίηεται ςτθν μζκοδο των πυραμίδων που αναπτφξαμε προθγουμζνωσ. Ο αλγόρικμοσ υλοποιικθκε ςε περιβάλλον MATLAB και παρατίκεται ςτο παράρτθμα. υνοπτικά τα βιματα που ακολουκοφμε είναι τα εξισ: 1. Οι δφο εικόνεσ τθσ ακολουκίασ που κζλουμε να εξετάςουμε μετατρζπονται ςε τφπου grayscale. Οι τιμζσ των pixels μίασ grayscale εικόνασ, είναι ενδεικτικζσ τθσ ζνταςθσ τθσ φωτεινότθτασ τουσ. 2. Με διαδοχικι εφαρμογι εξομάλυνςθσ και δειγματολθψίασ για κάκε μία εικόνα, δθμιουργοφμε δφο πυραμίδεσ, με κορυφι ζνα επίπεδο που ορίηεται εξ αρχισ. 3. Εφαρμόηοντασ τθν μζκοδο που αναπτφξαμε ςτθν παράγραφο 6.2 υπολογίηουμε τθν οπτικι ροι μεταξφ των δφο εικόνων που ανικουν ςτθν κορυφι των πυραμίδων. 4. Με βάςθ το διάνυςμα των ταχυτιτων που προκφπτει για κάκε γκροφπ των pixels ανακζτουμε ςε κάκε pixel τθν ταχφτθτα που αντιςτοιχεί ς αυτό. 5. Επεκτείνουμε το διάνυςμα των ταχυτιτων ςτθν ανάλυςθ του αμζςωσ κατϊτερου επιπζδου. Θ επζκταςθ γίνεται με διγραμμικι παρεμβολι, όπωσ κα εξθγιςουμε παρακάτω. 6. Σροποποιοφμε τθν δεφτερθ εικόνα τθσ ακολουκίασ με βάςθ το διάνυςμα των ταχυτιτων που βρικαμε. 7. Βρίςκουμε τθν νζα εκτίμθςθ τθσ οπτικισ ροισ, θ οποία προςτίκεται ςτθν αρχικι και τθν διορκϊνει. 8. Επιςτροφι ςτο 5 ο βιμα και επανάλθψθ τθσ διαδικαςίασ μζχρι να πάρουμε το διάνυςμα ταχυτιτων των βάςεων,των δφο πυραμίδων. 69

70 Ο ψευδοκϊδικασ τθσ διαδικαςίασ δίνεται παρακάτω: Procedure Optic(img1,img2,level){ 1 img1=gray(img1); 2 img2=gray(img2); 3 [img1 top_level,img1 top_level+1 img1 top_level+n]=get_levels(img1); 4 [img2 top_level,img2 top_level+1 img2 top_level+n ]=get_levels(img2); 5 =getflowpts(img1 top_level, img2 top_level); 6 =expand( ); 7 =2*Gaussian_expand( ); 8 img2 top_level+1 = img2 top_level+1 - ; 9 = getflowpts(img1 top_level+1, img2 top_level+1); 10 = + ; 11 while(top_level+1!=fine_level) 12 goto 6 13 } 14 return( ); 15} χήμα 6.8. Ο αλγόρικμοσ εκτίμθςθσ τθσ οπτικισ ροισ ςε επίπεδα. Αναλυτικότερα: Οι δφο εικόνεσ παραλαμβάνονται ςε μορφι RGB(red,green,blue) με τθ μορφι ενόσ τριςδιάςτατου πίνακα, του οποίου τα ςτοιχεία είναι ενδεικτικά τθσ αναλογίασ κόκκινο,πράςινο,μπλζ ςε κάκε pixel. Ζπειτα μετατρζπονται ςε ζναν διδιάςτατο τφπου grayscale όπου θ τιμι κάκε pixel είναι ενδεικτικι τθσ φωτεινότθτασ του(ςειρζσ 1,2). Θ κλίμακα τθσ φωτεινότθτασ είναι από με το 0 να αντιςτοιχεί ςτο μαφρο και το 255 ςτο άςπρο. 70

71 Με τθν μζκοδο get_levels λαμβάνουμε τα επίπεδα τθσ πυραμίδασ με τισ αντίςτοιχεσ εικόνεσ(ςειρζσ 3,4). Ο αρικμόσ των επιπζδων ορίηεται από τον χριςτθ με μία παράμετρο ειςόδου. Με τθν ςυνάρτθςθ getflowpts κάνουμε μία εκτίμθςθ τθσ οπτικισ ροισ με βάςθ τθν μζκοδο που ανατπφξαμε ςτθν παράγραφο 6.3(ςειρά 5). Οι μερικζσ παράγωγοι των εντάςεων και υπολογίηονται από τθν ςυνζλιξθ τθσ εικόνασ με τουσ αντίςτοιχουσ πυρινεσ του φίλτρου Prewitt [19]. Αντίκετα ο πίνακασ υπολογίηεται από τθν διαφορά των αντίςτοιχων pixels, των εικόνων τθσ ακολουκίασ. Σο φίλτρο Prewitt εφαρμόηεται όταν κζλουμε να ανιχνεφςουμε τα όρια μεταξφ δφο διαφορετικϊν ςωμάτων ςε μία εικόνα. Οι πυρινεσ φαίνονται ςτο παρακάτω ςχιμα: (α) Σχήμα 6.9. (α) νξηδόληηνο θαη (β) θάζεηνο ππξήλαο ζπληειεζηώλ ηνπ θίιηξνπ Prewitt (β) Αφοφ υπολογιςτοφν οι ταχφτθτεσ των pixels ακολουκεί μία επζκταςθ τθσ ανάλυςθσ (ςειρά 6) ςτο αμζςωσ χαμθλότερο επίπεδο θσ πυραμίδασ, όπωσ φαίνεται ςτο ςχιμα: χήμα Eπζκταςθ τθσ κζςθσ των διανυςμάτων ταχφτθτασ ςτο αμζςωσ ανϊτερο 71

72 Γίνεται κατανοθτό οτi το νζο διάγραμμα ταχυτιτων περιζχει κενζσ κζςεισ που αντιςτοιχοφν ςε μθδενικι ταχφτθτα. Για να λυκεί το πρόβλθμα αυτό εφαρμόηεται διγραμμικι παρεμβολι(bilinear interpolation) ζτςι ϊςτε να προςδιοριςκοφν τα διανφςματα ταχφτθτασ και ςτισ κενζσ κζςεισ. Αν υποκζςουμε ότι γνωρίηουμε τισ τιμζσ τεςςάρων ςθμείων του διδιάςτατου χϊρου και αναηθτιςουμε τθν τιμι ενόσ ςθμείου που βρίςκεται ςτθν περιοχι που ορίηουν αυτά, τότε αυτι δίνεται από τθν εξίςωςθ [20]: με και χήμα Γραφικι απεικόνιςθ τθσ διγραμμικισ παρεμβολισ. 72

73 Κατόπιν διπλαςιάηονται οι τιμζσ των ταχυτιτων λόγω τθσ επζκταςθσ ςε επίπεδο υψθλότερθσ ανάλυςθσ(ςειρά 7). τθ ςυνζχεια και με βάςθ το διάγραμμα ταχυτιτων που ζχει προκφψει για το χαμθλότερο επίπεδο με τθν διπλάςια ανάλυςθ, αφαιροφμε από κάκε pixel τθσ δεφτερθσ εικόνασ μίασ ακολουκίασ, το αντίςτοιχο διάνυςμα ταχφτθτασ που ζχουμε βρεί(ςειρά 8). Με αυτι τθ διαδικαςία μετακινοφνται τα pixels ςτθν εικόνα και ζτςι προςεγγίηεται περιςςότερο θ αρχικι εικόνα τθσ ακολουκίασ. Είναι πολφ ςθμαντικό να αναφζρουμε ότι επειδι θ κίνθςθ των pixels γίνεται για πολφ μικρζσ ταχφτθτεσ, προκφπτουν μετατοπίςεισ μικρότερεσ ςε μζτρο του ενόσ pixel. Τπολογίηουμε τθν οπτικι ροι ανάμεςα ςτισ 2 δφο εικόνεσ του νζου επιπζδου(ςειρά 9). Επειδι ςτθν δεφτερθ εικόνα τα pixels ζχουν μετακινθκεί ςε κζςεισ που αντιςτοιχοφν ςε δεκαδικοφσ αρικμοφσ, εφαρμόηουμε διγραμμικι παρεμβολι ςτθν πρϊτθ εικόνα ϊςτε να πάρουμε τισ τιμζσ τθσ φωτεινότθτασ των pixels ςτισ αντίςτοιχεσ δεκαδικζσ κζςεισ. Κατόπιν υπολογίηονται οι πίνακεσ των μερικϊν παραγϊγων με βάςθ τισ δεκαδικζσ κζςεισ των pixels. Σο νζο διάγραμμα των ταχυτιτων που προκφπτει προςτίκεται ςτο αρχικό διάγραμμα και το διορκϊνει(ςειρά 10). Αυτό ςυμβαίνει διότι με τθν τροποποίθςθ τθσ δεφτερθσ εικόνασ και τθν μετακίνθςθ των pixel που ζχει προθγθκεί, θ δεφτερθ εικόνα τθσ ακολουκίασ προςεγγίηει τθν πρϊτθ. Οι μικρζσ πλζον διαφορζσ των δφο εικόνων γίνονται αντιλθπτζσ με το νζο διάγραμμα ταχυτιτων το οποίο προςτίκεται ςτο αρχικό που βρικαμε ϊςτε να προςεγγιςτεί θ ταφτιςθ των δφο εικόνων ακόμα περιςςότερο. Ακολουκεί επζκταςθ των 2 εικόνων ςτα αμζςωσ επόμενα χαμθλά επίπεδα τθσ πυραμίδασ και επανάλθψθ των βθμάτων που περιγράφθκαν(ςειρζσ 11, 12, 13). Θ επαναλθπτικι διαδικαςία ςταματά με τον υπολογιςμό τθσ οπτικισ ροισ ςτο χαμθλότερο επίπεδο των πυραμίδων. 73

74 ΚΕΦΑΛΑΙΟ 7 ΑΠΟΣΕΛΕΜΑΣΑ ΠΕΙΡΑΜΑΣΩΝ 7.1 Γενικά Αρχικά, ςτο κεφάλαιο αυτό παρακζτουμε τα ςυγκεντρωτικά αποτελζςματα των εκτιμθτϊν PTS με βάςθ μετριςεισ που ζγιναν πάνω ςε τυχαία δείγματα δεδομζνων. Σα αποτελζςματα ςυγκρίνονται με αποτελζςματα υλοποιιςεων των πιο γνωςτϊν HBP εκτιμθτϊν. Κατόπιν εξετάηουμε μία ιδιαίτερθ περίπτωςθ εφαρμογισ του νζου εκτιμθτι που αναπτφχκθκε,ςε μεικτά μοντζλα παρατθριςεων. Σζλοσ παρουςίαηονται τα αποτελζςματα και οι μετριςεισ των εκτιμθτϊν, πάνω ςτο πρόβλθμα τθσ εξαγωγισ του διαγράμματοσ διανυςμάτων από δφο διαδοχικά frames, χρθςιμοποιϊντασ μία ακολουκία ςυνκετικϊν texture εικόνων. Για τα αποτελζςματα των HBP εκτιμθτϊν, πζρα από τον PTS, χρθςιμοποιικθκαν ζτοιμοι γριγοροι αλγόρικμοι. Οι μετριςεισ ζγιναν ςε AMD ATHLON 64, 1.7 GHz, και 1GB RAM ενϊ τα προγράμματα των υπολογιςμϊν αλλά και των εκτιμθτϊν κωδικοποιικθκαν ςε περιβάλλον MATLAB. 7.2 Monte carlo αποτελζςματα Για τθν εξαγωγι ςυμπεραςμάτων ςχετικά με τθν χρθςιμότθτα των αλγορίκμων που υλοποιιςαμε, ζγινε εφαρμογι και ςφγκριςθ των νζων εκτιμθτϊν ςε τυχαία δείγματα τα οποία κατατάςςουμε ςε 3 κατθγορίεσ και είναι: 150 δείγματα των 50 δεδομζνων που περιζχουν μόνο κάποιο ποςοςτό bad leverage points. 150 δείγματα των 50 δεδομζνων που περιζχουν ζνα ποςοςτό bad leverage points αλλά και good leverage points. 150 δείγματα των 50 δεδομζνων που περιζχουν μόνο good leverage points. 74

75 7.2.1 Aνάλυςη των μετρήςεων Όλα τα δείγματα προιλκαν από μόλυνςθ ενόσ δείγματοσ χωρίσ outliers, ςτο οποίο υποκζτουμε ότι Ο αρικμόσ των ανεξάρτθτων μεταβλθτϊ είναι p=2. O ςυντελεςτισ λάκουσ τθσ εκτίμθςθσ του μοντζλου παλινδρόμθςθσ ακολουκεί κανονικι κατανομι ϊσ εξισ Οι ανεξάρτθτεσ μεταβλθτζσ ακολουκοφν κανονικι κατανομι με και αντίςτοιχα. Σα δείγματα προζκυψαν με τζτοια επιλογι ϊςτε να ικανοποιείται το μοντζλο παλινδρόμθςθσ με ςυντελεςτζσ Για τθν εξαγωγι ςυμπεραςμάτων υπολογίςτθκαν: H μζςη τιμή(mean) των ςυντελεςτϊν,, για τισ 3 κατθγορίεσ που προαναφζρκθκαν. Δθλαδι: όπου είναι ο αρικμόσ των δειγμάτων για κάκε μία από τισ 3 κατθγορίεσ. Σο μζςο τετραγωνικό ςφάλμα(mean squared error) των ςυντελεςτϊν,,. Ο τφποσ του μζςου τετραγωνικοφ ςφάλματοσ(mse) δίνεται από τθ ςχζςθ: Σο mse είναι ενδεικτικό τθσ διαςποράσ των λφςεων από τθν πραγματικι τιμι των ςυντελεςτϊν. Σο τετραγωνικό ςφάλμα προςαρμογήσ(squared fitting error) κάκε εκτιμθτι για κάκε κατθγορία δειγμάτων. Ο τφποσ του ςφάλματοσ δίνεται ωσ εξισ: To δείχνει το κατά πόςο καλά προςαρμόηεται το μοντζλο παλινδρόμθςθσ ενόσ δείγματοσ με outliers, ςτo αντίςτοιχo κακαρό δείγμα. 75

76 Mean bad leverage detection success, το οποίο προςδιορίηει τον μζςο ποςοςτό των bad leverage points που ανιχνεφει και εκδιϊχνει κάκε εκτιμθτισ, για κάκε μία από τισ 3 κατθγορίεσ που προαναφζραμε. Φυςικά ο υπολογιςμόσ του mean bad leverage detection success ζγινε μόνο για τουσ εκτιμθτζσ που θ λειτουργία τουσ βαςίηεται ςτθν ανίχνευςθ και ςτθν απομάκρυνςθ outliers. CPU time(sec) το οποίο προςδιορίηει τον μζςο χρόνο που ζκανε κάκε ζνασ εκτιμθτισ για κάκε μία από τισ 3 κατθγορίεσ των δειγμάτων. τουσ παρακάτω πίνακεσ αναφζρονται τα ςυγκριτκά αποτελζςματα των γριγορων αλγορίκμων PTS, κακϊσ και άλλων HBP εκτιμθτϊν. Πίνακασ ςετ τεχνθτϊν δεδομζνων με 50 παρατθριςεισ το κακζνα με 20% μόλυνςθ με bad leverage outliers και 12% με y-outliers. Εθηηκεηήο Mean Mean Mean Mse Mse Mse Fitting error Mean bad leverarage detection success LTS % 3.13 PTS % 7.24 PTS c-step % 3.68 IPTS ε=σ % 3.30 ΜΜ S Cpu time (sec) Πίνακασ ςετ τεχνθτϊν δεδομζνων με 50 παρατθριςεισ το κακζνα, 12%μόλυνςθ με bad leverage outliers, 8% με good leverage points και 12% με y-outliers. Εθηηκεηήο Mean Mean Mean Mse Mse Mse Fitting error Mean bad leverarage detection success LTS % 3.64 PTS % 8.11 PTS c-step % 4.26 IPTS ε=ζ % 3.64 ΜΜ S Cpu Time (sec) 76

77 Πίνακασ ςετ τεχνθτϊν δεδομζνων με 50 παρατθριςεισ το κακζνα, 12% μόλυνςθ με good leverage points και 12% με y-outliers. Εθηηκεηήο Mean Mean Mean Mse Mse Mse Fitting error LTS PTS PTS c-step IPTS ε=ζ ΜΜ S Cpu time (sec) υμπεράςματα Δείγματα με bad leverage points Όπωσ φαίνεται από τον πίνακα 1 οι τρείσ αλγόρικμοι του εκτιμθτι PTS μποροφν και ανιχνεφουν πολφ μεγάλο ποςοςτό από τα bad leverage points από το δείγμα, κάτι που δεν κάνει ο LTS εκτιμθτισ αλλά και οι άλλοι δφο HBP εκτιμθτζσ οι οποίοι δεν δίνουν καλά ςυγκριτικά αποτελζςματα. Πιο ςυγκεκριμζνα οι τρείσ εκτιμθτζσ που υλοποιιςαμε ζχουν μικρότερθ διακφμανςθ από τισ πραγματικζσ τιμζσ των ςυντελεςτϊν(mse) ενϊ και το fitting error είναι μικρότερο και τονίηει τθν καλι προςαρμογι των εκτιμθτϊν ςτα δείγματα. Προτιμότεροσ εκτιμθτισ φαίνεται να είναι ο IPTS, για ε=ς κακϊσ ζχει τα μικρότερα error και τον καλφτερο χρόνο υπολογιςμοφ των λφςεων, ενϊ και θ ανίχνευςθ των bad leverage points προςεγγίηει αυτιν τθν του αρχικοφ γριγορου αλγορίκμου PTS. O αρχικόσ γριγοροσ αλγόρικμοσ PTS αν και ζχει το μεγαλφτερο detection success, ζχει αρκετά μεγάλο χρόνο υπολογιςμοφ τθσ λφςθσ, ενϊ και θ προςαρμογι του ςτο αντίςτοιχο κακαρό δείγμα είναι χειρότερθ από τουσ IPTS και PTS με το C-Step. Ο εκτιμθτισ PTS με C-Step παραδίδει και αυτόσ αποτελζςματα που πλθςιάηουν αυτά του IPTS και διαφζρουν για πολφ λίγο. Αντίκετα οι ΜΜ και S εκτιμθτζσ παρόλο που υπερζχουν ςε κζμα ταχφτθτασ παραδίδουν κακι εκτίμθςθ ανάλογθ με τουσ LTS. Δείγματα με bad και good leverage points τθ ςυγκεκριμζνθ περίπτωςθ όλοι οι εκτιμθτζσ παραδίδουν παρόμοιεσ λφςεισ. Ο LTS παραδίδει τα μικρότερα λάκθ, ζνα πολφ μεγάλο ποςοςτό ανίχνευςθσ των bad leverage points, ενϊ ζχει ζναν αρκετό καλό μζςο χρόνο υπολογιςμοφ τθσ λφςθσ. Οι ΜΜ και S παραδίδουν και αυτοί μία καλι λφςθ με μικρά ςφάλματα και πολφ μικρό μζςο χρόνο 77

78 υπολογιςμοφ.οι τρείσ αλγόρικμοι του PTS παρουςιάηουν τα μεγαλφτερα ςφάλματα, κακυςτεροφν ςτθν λφςθ, αλλά δίνουν και πάλι αρκετά καλό ποςοςτό ανίχνευςθσ bad leverage points το οποίο είναι περίπου ίςο με αυτό του LTS. Ειδικότερα ο αρχικόσ αλγόρικμοσ PTS παραδίδει και πάλι το μεγαλφτερο ποςοςτό ανίχνευςθσ των bad leverage points. Δείγματα με good leverage points Οταν το δείγμα περιζχει μόνο καλοφσ μοχλοφσ, τότε όπωσ φαίνεται από τον πίνακα 3, ο ΜΜ και ο LTS παραδίδουν κατά μζςο όρο, λφςεισ με πολφ μικρά ςφάλματα. Ο ΜΜ ωςτόςο, είναι προτιμότεροσ λόγω και τθσ πολφ μικρισ του μζςθσ ταχφτθτασ. Ο εκτιμθτισ S δίνει τα μεγαλφτερα ςφάλματα από όλουσ τουσ εκτιμθτζσ ενϊ οι τρείσ αλγόρικμοι του PTS παραδίδουν μία εξίςου ανταγωνςιτικι λφςθ με τουσ υπόλοιπουσ εκτιμθτζσ. Γενικό ςυμπζραςμα: Όπωσ φαίνεται από τουσ τρείσ πίνακεσ οι νζοι αλγόρικμοι που αναπτφξαμε δίνουν πολφ καλά αποτελζςματα τόςο ςε μολυςμζνα δεδομζνα όπου υπερζχουν ζναντι των υπόλοιπων εκτιμθτϊν που μελετιςαμε, όςο και ςε δεδομζνα μόνο με good leverage points όπου παραμζνουν ανταγωνιςτικοί. Παρατθροφμε επίςθσ ότι οι αλγόρικμοι PTS c-step και PTS ε=ς είναι πιο γριγοροι από τον προκάτοχο τουσ. 7.3 Μεικτά μοντζλα παρατηρήςεων τα μεικτά μοντζλα παρατθριςεων υπάρχουν περιςςότερα από ζνα μοντζλα παλινδρόμθςθσ που προςαρμόηονται ςτα δεδομζνα, όπωσ ςτο ςχιμα 7.1. χήμα 7.1 Διάγραμμα διαςποράσ μεικτοφ μοντζλου παρατθριςεων 78

79 Μία αξιόλογθ ιδιότθτα του γριγορου εκτιμθτι PTS ο οποίοσ αναπτφχκθκε κατά τθ διάρκεια τθσ διπλωματικισ, είναι ο προςδιοριςμόσ και μετζπειτα θ αφαίρεςθ ενόσ κυρίαρχου γραμμικοφ ςετ παρατθριςεων ανάμεςα ςε πολλαπλζσ τζτοιεσ ομάδεσ δεδομζνων. Αυτό επιτυγχάνεται χάρθ ςτθ νζα προςζγγιςθ τθσ εκτίμθςθσ του robust scale που παρουςιάςτθκε ςτο κεφάλαιο 4, με τθν υπόκεςθ βζβαια ότι κάκε ζνα από τα διαφορετικά ςφνολα παρατθριςεων πλθρεί τισ Gaussian υποκζςεισ. Ο νζοσ αλγόρικμοσ μπορεί να ξεκινιςει για παράδειγμα με ζνα scale που αντιςτοιχεί ςτο 20% των καλφτερων παρατθριςεων και ςτθ ςυνζχεια να διερευνιςει το δείγμα μζχρι ςφγκλιςθσ. Ζνα παράδειγμα που αναδεικνφει τθν ιδιότθτα του εκτιμθτι μασ είναι για το ςφνολο παρατθριςεων που παρατίκεται ςτο ςχιμα 7.1. Διακρίνουμε 3 ομάδεσ παρατθριςεων, οι οποίεσ προςαρμόηονται ςε διαφορετικζσ γραμμζσ. Εφαρμόηοντασ τουσ εκτιμθτζσ που MM, LTS, S, OLS και PTS όπωσ αναπτφχκθκε με τθ διαδικαςία C-step παίρνουμε το παρακάτω ςχιμα Σχήμα 7.2 Επζείεο παιηλδξόκεζεο εθηηκεηώλ. 79

80 Οι ευκείεσ αντιςτοιχοφν ςτα εξισ μοντζλα: (μπλζ), με ςυντελεςτζσ:. LTS(πράςινο), με ςυντελεςτζσ ΜΜ(κίτρινο), με ςυντελεςτζσ. S(μαφρο), με ςυντελεςτζσ OLS(κόκκινο), με ςυντελεςτζσ το ςχιμα βλζπουμε ότι όλοι οι ανκεκτικοί εκτιμθτζσ εκτόσ του PTS, προςαρμόηονται ςτο ςφνολο των δεδομζνων, ςε αντίκεςθ με τον PTS ο οποίοσ λόγω τθσ ανκεκτικότθτασ του, προςαρμόηεται ςτο κυρίαρχο γραμμικό ςφνολο παρατθριςεων, αυτό με τισ περιςςότερεσ παρατθριςεισ. Θ ιδιότθτα αυτι είναι πολφ ςθμαντικι διότι ο PTS όπωσ είδαμε, κρατάει ςτο τζλοσ τθσ διαδικαςίασ του ζνα ςφνολο δεδομζνων με βάςθ το οποίο βρίςκονται οι ςυντελεςτζσ του μοντζλου παλινδρόμθςθσ. τθ προκειμζνθ περίπτωςθ το ςφνολο αυτό είναι το κυριάρχο γραμμικό ςετ δεδομζνων. Ζτςι γνωρίηοντασ πλζον αυτά τα ςθμεία μποροφμε να τα εξάγουμε από το δείγμα και να ακολουκιςει θ ίδια διαδικαςία και για τα υπόλοιπα ςφνολα. Θ ίδια εφαρμογι μπορεί να γίνει και ςε διαςταυρωμζνα μεικτά ςφνολα παρατθριςεων. Παρατήρηςη: Σο κυρίαρχο μοντζλο ενόσ τζτοιου δείγματοσ μπορεί να περιζχει λιγότερεσ από τισ μιςζσ παρατθριςεισ του δείγματοσ. Για τον λόγο αυτό ο πρϊτοσ γριγοροσ αλγόρικμοσ που υλοποιικθκε με παράμετρο ειςόδου το ς, αλλά και ο IPTS αδυνατοφν να το ανιχνεφςουν, διότι το ς το οποίο ειςάγεται ςυνικωσ αντιςτοιχεί ςε περιςςότερεσ από τισ μιςζσ παρατθριςεισ. Ζτςι κα λθφκοφν υπόψθ ςτθν εφρεςθ του μοντζλου παλινδρόμθςθσ και άλλεσ παρατθριςεισ του δείγματοσ, με αποτζλεςμα να μθν γίνεται προςαρμογι ςτο κυρίαρχο. Αντίκετα προςαρμόηοντασ κατάλλθλα τον εκτιμθτι του PTS, ο οποίοσ υλοποιικθκε με C-Step, μποροφμε να εξάγουμε το βαςικό μοντζλο. Αυτό γίνεται αρχίηοντασ από ζνα πολφ μικρό ς του C-Step που να αντιςτοιχεί ςε μικρό ποςοςτό παρατθριςεων και όχι ςτο 50% αυτϊν, όπωσ είχαμε κάνει ςτο κεφάλαιο 4. Κατόπιν ακολουκείται θ ίδια επαναλθπτικι διαδικαςία αφξθςθσ του ς, και των τελικϊν παρατθριςεων του εκτιμθτι. 80

81 7.4 Εφαρμογή ςτην οπτική ροή αυτιν τθν παράγραφο κα γίνει μία εφαρμογι του υπολογιςμοφ τθσ οπτικισ ροισ ςφμφωνα με τθ μεκοδολογία που αναπτφξαμε ςτο 6 ο κεφάλαιο. Για το ςκοπό αυτό καταςκευάςτθκε μια ςυνκετικι εικόνα 3 texture images, ανάλυςθσ 98x98 pixels, όπωσ φαίνεται ςτο ςχιμα 7.3. Σο πλεονζκτθμα αυτοφ του είδουσ των ςυνκετικϊν εικόνων ςε ςχζςθ με μία πραγματικι εικόνα μίασ ψθφιακισ φωτογραφικισ μθχανισ ι κάμερασ είναι ότι απουςιάηει ο κόρυβοσ του αιςκθτιρα τθσ μθχανισ που ακολουκεί ομοιόμορφθ κατανομι και επθρεάηει τα αποτελζςματα τθσ παλινδρόμθςθσ. Επίςθσ ςε μία ακολουκία πραγματικισ εικόνασ δεν μποροφμε να γνωρίηουμε το ακριβζσ αλθκινό διάγραμμα διανυςμάτων των ταχυτιτων ανάμεςα ςτισ εικόνεσ με αποτζλεςμα να μθν μποροφμε να κάνουμε ςυγκριτικζσ μετριςεισ. Για τισ ανάγκεσ τθσ εφαρμογισ υπολογίςτθκε θ οπτικι ροι με βάςθ τουσ εκτιμθτζσ OLS και LMS οι οποίοι χρθςιμοποιοφνται ευρφτατα ςε τζτοιου είδουσ διαδικαςίεσ. Σα αποτελζςματα του διαγράμματοσ ταχυτιτων που παραδίδουν ςυγκρίκθκαν με τα αντίςτοιχα του PTS c-step. χήμα 7.3 υνκετικι εικόνα τριϊν κινοφμενων textures Εφαρμογή με απουςία θορφβου Για τισ ανάγκεσ του παραδείγματοσ μασ κάνουμε τισ εξισ υποκζςεισ: H βαςικι μεγάλθ texture εικόνα κινείται 1 pixel/sec προσ τα αριςτερά. Θ κεντρικι texture εικόνα κινείται επίςθσ 1pixel/sec με φορά διάγωνια και αριςτερά. Θ μικρότερθ εικόνα κινείται 1pixel/sec προσ τα κάτω. Σα pixels διατθροφν τθν κίνθςθ τουσ ςτακερι ςε ομάδεσ των 49 παρατθριςεων. Ζτςι ο εκτιμθτισ PTS c-step εφαρμόηεται ςε block ανάλυςθσ 7x7 pixels. 81

82 τθ ςυγκεκριμζνθ υλοποίθςθ χρθςιμοποιικθκε μία πυραμίδα 2 επιπζδων και τα αποτελζςμαα των ςχθμάτων που παρατίκενται αφοροφν το 2 ο επίπεδο. (α) (β) (γ) χήμα 7.4 Διάγραμμα διανυςμάτων ταχυτιτων. (α) OLS, (β) LMS, (γ) PTS c-step Εκ πρϊτθσ όψεωσ φαίνεται ότι οι εκτιμθτζσ OLS και PTS c-step προςδιορίηουν το διάγραμμα διανυςμάτων ταχυτιτων με επιτυχία, ενϊ ο εκτιμθτισ LMS δεν παρουςιάηει ομοιομορφία ςτο κεντρικό texture με αποτζλεςμα να υπάρχει απόκλιςθ των ταχυτιτων των pixels, από τισ αντίςτοιχεσ πραγματικζσ. Ζνα πλεονζκτθμα τθσ μεκόδου PTS c-step όπωσ και εξθγιςαμε προθγουμζνωσ είναι θ προςαρμογι ςτο κυρίαρχο γραμμικό μοντζλο δεδομζνων. Θ ιδιότθτα αυτι γίνεται αντιλθπτι ςτο ςυγκεκριμζνο παράδειγμα όπου φαίνεται ότι ο εκτιμθτισ OLS δυςκολεφεται να προςδιορίςει τισ ταχφτθτεσ ςτα ςθμεία που αντιςτοιχοφν ςτισ διαχωριςτικζσ 82

83 επιφάνειεσ των textures. Αυτό ςυμβαίνει επειδι ςτισ περιοχζσ αυτζσ οι μερικζσ παράγωγοι,, ςυνκζτουν ζνα διάγραμμα διαςποράσ αντίςτοιχο με αυτό του ςχιματοσ 7.1, αλλά ςτον τριςδιάςτατο φυςικά χϊρο. Κάκε μοντζλο αντιπροςωπεφει και μία διαφορετικι κίνθςθ ςτθν εικόνα. Ο εκτιμθτισ OLS αδυνατεί να προςαρμοςτεί ςε μια από αυτζσ, όπωσ είδαμε ςτο ςχιμα 7.2. Αντίκετα ο εκτιμθτισ PTS c-step προςαρμόηεται και δίνει το διάνυςμα τθσ ταχφτθτασ για τθν κυρίαρχθ κίνθςθ, περιγράφοντασ πιο ομαλά τα όρια των texture εικόνων όπωσ φαίνεται ςτο ςχιμα Εφαρμογή με θόρυβο το ίδιο παράδειγμα προςκζτουμε ομοιόμορφα 6% κόρυβο τθσ κατθγορίασ salt and pepper και ζτςι τυχαίεσ τιμζσ των pixels αλλάηουν και παίρνουν τισ τιμζσ 255(άςπρο) ι 0(μαφρο). Σα αποτελζςματα φαίνονται παρακάτω: (α) (β) (γ) χήμα 7.5 Διάγραμμα διανυςμάτων ταχυτιτωνμε 6% κόρυβο. (α) OLS, (β) LMS, (γ) PTS c-step 83