ΥΨΗΛΟΥ ΣΗΜΕΙΟΥ ΚΑΤΑΡΡΕΥΣΗΣ ΚΑΙ ΑΠΟΤΕΛΕΣΜΑΤΙΚΗ ΠΑΛΙΝΔΡΟΜΗΣΗ ΜΕ PENALIZED TRIMMED SQUARES

Transcript

1 Ελληνικό Στατιστικό Ινστιτούτο Πρακτικά 0 ου Πανελληνίου Συνεδρίου Στατιστικής (007), σελ ΥΨΗΛΟΥ ΣΗΜΕΙΟΥ ΚΑΤΑΡΡΕΥΣΗΣ ΚΑΙ ΑΠΟΤΕΛΕΣΜΑΤΙΚΗ ΠΑΛΙΝΔΡΟΜΗΣΗ ΜΕ PENALIZED TRIMMED SQUARES Αντώνης Αβραμίδης και Γιώργος Ζιούτας Γενικό Τμήμα Πολυτεχνικής Σχολής Α.Π.Θ. aavram@gen.auth.gr ΠΕΡΙΛΗΨΗ Η εκτίμηση στην πολλαπλή γραμμική παλινδρόμηση αποτελεί ένα δύσκολο πρόβλημα εξαιτίας του φαινομένου της επικάλυψης (maskng effect) των ακραίων παρατηρήσεων (outlers). Η εκτιμήτρια PTS (Penalzed Trmmed Squares) των αγνώστων παραμέτρων β της παλινδρόμησης βασίζεται στην εισαγωγή κόστους τιμωρίας (penalty cost) στην συνάρτηση αποκοπής. Συνδυάζει την υψηλή ανθεκτικότητα και αποτελεσματικότητα της εκτιμήτριας. Στην παρούσα εργασία, η διαδικασία του εκτιμητή PTS ολοκληρώνεται σε δύο φάσεις. Η πρώτη φάση αφιερώνεται για υψηλή ανθεκτικότητα, όπου επιλέγονται μικρά κόστη τιμωρίας για διευκόλυνση της απόρριψης των ακραίων παρατηρήσεων. Αυτό επιτυγχάνεται με την μικρότερη δυνατή κλίμακα των καταλοίπων της παλινδρόμησης και έντονη ελάφρυνση των πολλαπλών σημείων υψηλής επίδρασης (multple hgh leverage ponts). Η δεύτερη φάση ξεκινά με το καθαρό δείγμα που προέκυψε από την πρώτη φάση και επανεξετάζει με τη χρήση των τυποποιημένων υπολοίπων την είσοδο κάποιων καλών απορριπτέων παρατηρήσεων προκειμένου να αυξηθεί η αποτελεσματικότητα της προτεινόμενης εκτιμήτριας PTS. 1. ΕΙΣΑΓΩΓΗ Θεωρούμε το μοντέλο γραμμικής παλινδρόμησης με p ανεξάρτητες μεταβλητές y = Xβ + u (1) ) όπου y = ( y 1, y,..., y Τ n είναι το nx1 διάνυσμα της εξαρτημένης μεταβλητής, Τ Τ Τ ( 1 X= x, x,..., x n ) Τ ο nxp πίνακας των p ανεξάρτητων μεταβλητών, ( 1,,..., p ) β = β β β Τ το px1 διάνυσμα των αγνώστων παραμέτρων και ( u 1 u u =,,..., u n ) Τ το διάνυσμα των τυχαίων σφαλμάτων με μέση τιμή μηδέν και διακύμανση σ (όταν στο μοντέλο περιέχεται σταθερός όρος θέτουμε στον πίνακα Χ την τελευταία στήλη ίση με 1). Ως γνωστό, η εκτιμήτρια ελαχίστων τετραγώνων του Τ 1 β, ˆ=( ) Τ β Χ Χ Χ y, δεν ικανοποιεί τις προϋποθέσεις της ανθεκτικότητας, αφού αρκεί μία μόνο ακραία παρατήρηση για να καταστρέψει την εκτιμήτρια. Το διάνυσμα των εκτιμόμενων τιμών δίνεται από την σχέση yˆ = Χβˆ = Ηy ενώ των υπολοίπων από την

2 uˆ = y Xβˆ = ( Ι Η) y, όπου H X ΧΧ Τ 1 = ( ) Τ Χ. Το μέσο τετραγωνικό σφάλμα των T υπολοίπων δίνεται από την ˆ σ = SSE/(n-p), όπου SSE = uu ˆ ˆ το άθροισμα τετραγώνων των υπολοίπων. Αφαιρώντας την παρατήρηση από το δείγμα, το άθροισμα των τετραγώνων των υπολοίπων μειώνεται κατά SSE SSE = u /(1 h) () όπου το () h (0 < < 1) μετράει τη μοχλότητα (leverage) της παρατήρησης και h T T 1 δίνεται από τα διαγώνια στοιχεία του πίνακα Η, h = x ( X X) x. Από την () είναι φανερό ότι η διαγραφή μίας παρατήρησης με υψηλή επίδραση (μεγάλο ) οδηγεί σε μείωση του SSE πολύ μεγαλύτερη από.. Η ΑΝΤΙΚΕΙΜΕΝΙΚΗ ΣΥΝΑΡΤΗΣΗ PTS u Οι περισσότερες ανθεκτικές μέθοδοι στηρίζονται στην εύρεση μιας υποομάδας των αρχικών δεδομένων η οποία αποτελείται από καθαρές παρατηρήσεις και στη συνέχεια στον έλεγχο των υπολοίπων σημείων με βάση την ομάδα αυτή. Η εκτιμήτρια PTS όπως έχει οριστεί από τους Zoutas, Avramds and Ptsouls (007), ελαχιστοποιεί το άθροισμα των k τετραγωνικών υπολοίπων των καθαρών δεδομένων, (το k δε δίνεται εξ αρχής), και το άθροισμα του κόστους τιμωρίας για τη διαγραφή των υπόλοιπων n-k παρατηρήσεων k n ελαχιστοποίηση S ( ) ( ) ( ) ( ˆ ) n β = Sk β + Sn k β = u 1 + c k 1 σ = = +, k. (3) β Στην παραπάνω αντικειμενική συνάρτηση, το μέγεθος k της ομάδας των καθαρών δεδομένων είναι άγνωστο ενώ η παράμετρος σ είναι μία ανθεκτική εκτιμήτρια κλίμακας των υπολοίπων από τη μέθοδο LTS (Least Trmmed Squares), Rousseeuw and Leroy (1987) ή τη μέθοδο LMS (Least Medan Squares), Rousseeuw (1984) ή τη μέθοδο MM (Modfed Maxmum lkelhood estmator), Yoha (1987). Η ποσότητα ( cσ ˆ ) η οποία καθορίζει το κόστος τιμωρίας για την απομάκρυνση της παρατήρησης και η οποία ορίζεται εξ αρχής, ρυθμίζει την ανθεκτικότητα και την αποτελεσματικότητα της μεθόδου και η σημασία της επιλογής της αναλύεται παρακάτω..1 1 η φάση PTS Το κλειδί της επιτυχίας της εκτιμήτριας PTS είναι η χρησιμοποίηση μιας ανθεκτικής κλίμακας ˆ σ. Η ανθεκτικότητα της μεθόδου PTS βασίζεται στην ελαχιστοποίηση της ανθεκτικής κλίμακας ˆ σ, διαφορετικά το κόστος τιμωρίας ( cσ ˆ ) αυξάνεται τόσο ώστε οι μικρές σχετικά ακραίες παρατηρήσεις δεν μπορούν να απομακρυνθούν από το σύνολο των δεδομένων. Από τις διάφορες αμερόληπτες εκτιμήτριες του ˆ σ (όπως ˆ σ LMS, ˆ σ LTS, ˆ σ MM κλπ), προτιμούμε τη μικρότερη η οποία μπορεί να είναι η ˆ σ LTS. Ο λόγος της συγκεκριμένης επιλογής είναι ότι η εκτιμήτρια ˆ σ LMS θεωρείται κατώτερη για τον προσδιορισμό του εύρους των υπολοίπων της παλινδρόμησης στο σύνολο των καθαρών δεδομένων, με την έννοια ότι στην h

3 περίπτωση της μόλυνσης της τάξης του 49% με μεγάλα σφάλματα στα αρχικά δεδομένα, η εκτιμήτρια σ πιθανό να εντάξει το μεγαλύτερο υπόλοιπο των ˆ LMS καθαρών δεδομένων στην εκτίμηση, επομένως το διάστημα ( 3 ˆ σ, 3ˆ σ ) είναι πιθανό να περιέχει ακραίες παρατηρήσεις. Η διαδικασία της εύρεσης της ανθεκτικής παραμέτρου κλίμακας χωρίζεται σε δύο φάσεις. Στην πρώτη φάση, τα δεδομένα χωρίζονται σε μια ομάδα από k καθαρά σημεία και σε μια άλλη από n-k τα οποία περιέχουν τα πιθανά ακραία σημεία. Προσαρμόζοντας το μοντέλο παλινδρόμησης στα k σημεία, η αρχική ανθεκτική εκτιμήτρια κλίμακας ˆ σ k υπολογίζεται από τα υπόλοιπα. Στη δεύτερη φάση, βελτιώνουμε την αποτελεσματικότητα της εκτιμήτριας ˆ σ k από την πρώτη φάση. Όλες οι παρατηρήσεις της ομάδας με τα n-k σημεία ελέγχονται ένα προς ένα χρησιμοποιώντας τα τυποποιημένα εκτιμώμενα υπόλοιπα βασιζόμενοι στο βασικό σύνολο των k σημείων. Οι παρατηρήσεις με μεγάλα τυποποιημένα υπόλοιπα εξαλείφονται, οι υπόλοιπες εισέρχονται στο βασικό υποσύνολο των k καθαρών σημείων. Η τελική εκτιμήτρια κλίμακας των υπολοίπων υπολογίζεται από τη μέθοδο των ελαχίστων τετραγώνων στο τελικό καθαρό δείγμα. Η πιο συχνά χρησιμοποιούμενη ανθεκτική εκτιμήτρια των υπολοίπων, αφού προηγουμένως αφαιρεθούν n-k σημεία ως οι πιθανές ακραίες παρατηρήσεις, είναι η ˆk σ που προκύπτει από το μοντέλο παλινδρόμησης. Για προκαθορισμένη τιμή του k, το κριτήριο της μεθόδου LTS υποδεικνύει ότι τα n-k σημεία που θα διαγραφούν είναι εκείνα τα οποία ελαχιστοποιούν το άθροισμα τετραγώνων των υπολοίπων της παλινδρόμησης στις εναπομείναντες k παρατηρήσεις. Εφόσον ο αριθμός των ακραίων παρατηρήσεων ήταν γνωστός, η ποσότητα n-k θα προέκυπτε από αυτόν. Για την εύρεση της αρχικής ανθεκτικής εκτιμήτριας της διακύμανσης των σφαλμάτων, η τιμή του k είναι περίπου ίση με n ώστε να αυξηθεί η ισχύς της διαδικασίας. Επομένως, αποκόπτοντας τις μισές παρατηρήσεις από το αρχικό δείγμα δηλαδή όλες τις πιθανές ακραίες παρατηρήσεις, η αρχική ανθεκτική εκτιμήτρια των υπολοίπων ˆ σ k υπολογίζεται. Όπως αναφέρουν οι Atknson and Ran (000), η μείωση στο άθροισμα T τετραγώνων των υπολοίπων όταν αφαιρείται μία παρατήρηση ( x, y ), ισούται με το τετράγωνο του προσαρμοσμένου υπόλοιπου, u 1 h LMS LMS, όπου h, (0 < h < 1) μετρά την T T 1 επίδραση της παρατήρησης, h = x ( X X) x. Η γενική αρχή της εκτιμήτριας PTS είναι να διαγράφει μία παρατήρηση εάν η μείωση στο άθροισμα τετραγώνων των υπολοίπων είναι μεγαλύτερη από το αντίστοιχο κόστος τιμωρίας u (1 ) ( ˆ h > cσ ), Zoutas, Avramds and Ptsouls (007). Επομένως, στη λύση του προβλήματος ελαχιστοποίησης (3), κάθε υπόλοιπο στο τελικό σύνολο δεδομένων έχει άνω φράγμα u < c ˆ σ 1 h, 0 k. Όπως όμως είναι γνωστό, η επίδραση διαστρεβλώνεται από την παρουσία ομάδας σημείων καθένα από τα οποία ξεχωριστά εμφανίζει μικρή επίδραση, συνολικά όμως δημιουργούν ομάδα με μεγάλη επίδραση. Οι Pena and h

4 Yoha (1995) τονίζουν ότι η επίδραση h μιας ακραίας παρατήρησης μπορεί να είναι μικρή ενώ και το τελικό υπόλοιπο u είναι δυνατό να εμφανίζεται κοντά στο 0, το οποίο είναι γνωστό ως το πρόβλημα της επικάλυψης. Σε μια ομάδα από παρόμοια ακραία σημεία υψηλής επίδρασης, η επίδραση κάθε τέτοιου σημείου επικαλύπτεται. Πιο αναλυτικά, για την επίδραση h του σημείου ισχύει h << 1, οπότε η μείωση στο άθροισμα των τετραγώνων των υπολοίπων με την απομάκρυνση του σημείου είναι u (1 ) ( ˆ h << cσ ). Ως αποτέλεσμα, το επικαλυπτόμενο ακραίο σημείο μεγάλης επίδρασης δε θα απομακρυνθεί από το σύνολο των δεδομένων. Για να ξεπεραστεί το παραπάνω πρόβλημα, προτείνουμε την εισαγωγή των βαρών σχεδιασμού { h } w = mn 1, 1, = 1,..., n, (4) όπου T T 1 = x ( X X ) x, = k+ 1,..., n, είναι η ανθεκτική επίδραση κάθε πιθανού h k + 1 k + 1 T y ακραίου σημείου ( x, ) καθώς εισέρχεται στο υποσύνολο των καθαρών δεδομένων το οποίο προκύπτει για παράδειγμα από τη μέθοδο MCD (Mnmum Covarance k = ( n+ p)/. Determnant) των Rousseeuw and Van Dressen (1999) με κάλυψη [ ] Επομένως, τα ελαφρούμενα υπόλοιπα για τις παρατηρήσεις στο τελικό σύνολο μεγέθους k υπολογίζονται από την u < c ˆ σ 1 h, = 1,..., k. (5) Πρέπει να τονιστεί στο σημείο αυτό ότι επειδή τα ακραία σημεία υψηλής επίδρασης έχουν απομακρυνθεί από τον πίνακα, ο οποίος αποτελείται από καθαρά σημεία, με τη μέθοδο MCD, οι νέες επιδράσεις των επικαλυπτόμενων σημείων θα έχουν πολύ μεγαλύτερες τιμές από τις αρχικές επιδράσεις. Ως συνέπεια, τα βάρη σχεδιασμού 1 h X k h είναι μικρά, τα κόστη τιμωρίας cσ ˆ ελαφρύνονται από την ποσότητα h ( c ˆ σ ) και οι επικαλυπτόμενες ακραίες παρατηρήσεις διαγράφονται 1 εκτός αν τα υπόλοιπά τους είναι μικρά, δηλαδή αν u < 1 h ( c ˆ σ ). Να σημειωθεί εδώ ότι τα βάρη σχεδιασμού ( ) h w x = 1 h για το άνω φράγμα cσ ˆ των υπολοίπων, εξαρτώνται μόνο από τις συντεταγμένες των ανεξάρτητων μεταβλητών. Η εκτιμήτρια PTS ορίζεται από την επίλυση του προβλήματος (3). Χρησιμοποιώντας φόρμουλα μικτού ακέραιου τετραγωνικού προγραμματισμού QMIP (Quadratc Mxed Integer Programmng), οι Zoutas and Avramds (005), Zoutas, Avramds and Ptsouls (007), πρότειναν την ελαχιστοποίηση της αντικειμενικής συνάρτησης n (u ( ) 1 1,,,, + δ cσ ) = β β u ε δ ελαχιστοποίηση (6) - 7 -

5 T T x β1 x β + u y ε T T x β1 x β u y + ε σύμφωνα με τους περιορισμούς ε δ M δ :(0, 1) μεταβλητή β1, β, u, ε 0 για = 1,..., n όπου δ είναι (0,1) μεταβλητή και υποδεικνύει ποιες παρατηρήσεις πρέπει να διαγραφούν, ε η απόσταση προσέλκυσης μιας ακραίας παρατήρησης προς τη εκτιμώμενη γραμμή παλινδρόμησης και M ένα άνω φράγμα για τα υπόλοιπα. Η εκτιμήτρια PTS δίνει ένα βάρος σχεδιασμού για το μέγιστο επιτρεπτό υπόλοιπο. Το σχήμα ελάφρυνσης αυτό με τις ανθεκτικές επιδράσεις h προσδίδει την ιδιότητα της περιορισμένης επίδρασης στην εκτιμήτρια. Χρησιμοποιώντας τα βάρη σχεδιασμού της σχέσης (4) για τα κόστη τιμωρίας, η εκτιμήτρια PTS ταυτίζεται με την εκτιμήτρια των ελαχίστων τετραγώνων στο τελικό υποσύνολο των k δεδομένων, όπου όλα τα υπόλοιπα έχουν άνω φράγμα όπως στη σχέση (5).. η φάση PTS Ακολουθώντας την πρόταση του Rousseeuw (1984), η αρχική ανθεκτική εκτιμήτρια των υπολοίπων ˆ σ k πρέπει να γίνει συνεπής στο αρχικό δείγμα μεγέθους n με σκοπό την αύξηση της αποτελεσματικότητας της εκτιμήτριας ˆβ, Pena and Yoha (1999). Αυτό επιτυγχάνεται με τον έλεγχο μίας προς μίας των αρχικά υποδεικνυόμενων απομακρυσμένων n-k παρατηρήσεων με σκοπό την επανένταξη των καθαρών σημείων στην καθαρή ομάδα μεγέθους k, όπως έχουν προτείνει και οι Had and Smonoff (1993), Pena and Yoha (1999). Ο έλεγχος πραγματοποείται χρησιμοποιώντας τα τυποποιημένα εκτιμώμενα υπόλοιπα. Η τελική ανθεκτική εκτιμήτρια των υπολοίπων ˆ σ k υπολογίζεται με τη μέθοδο των ελαχίστων τετραγώνων χρησιμοποιώντας το τελικό και καθαρό από ακραίες παρατηρήσεις δείγμα. Πιο αναλυτικά, υπολογίζουμε τα υπόλοιπα των σημείων, βασιζόμενοι στο υποσύνολο των k καθαρών δεδομένων ˆ T e = y β ( k) x, = k + 1,..., n, την αρχική PTS εκτιμήτρια κλίμακας των υπολοίπων ˆ σ k των e, = 1,..., k και τα τυποποιημένα ˆ T y βpts ( k) x υπόλοιπα t =, = k + 1,..., n, όπου T T 1 h = x [ X k X k ] x. Όταν ˆ σ 1+ h k ισχύουν οι υποθέσεις της κανονικότητας των υπολοίπων, τα t ακολουθούν την T Student s t κατανομή με k βαθμούς ελευθερίας. Επομένως, η παρατήρηση ( x, y ), = k + 1,..., n επανέρχεται στο υποσύνολο των καθαρών δεδομένων εάν t t α, k. Από το τελικό καθαρό υποσύνολο, υπολογίζουμε την επιθυμητή εκτιμήτρια κλίμακας ˆ σ LTS. Ως κρίσιμη τιμή t α,k λαμβάνεται μια σχετικά μικρή τιμή ώστε να αυξηθεί η

6 ισχύς της διαδικασίας και αποκτώντας όσο το δυνατό μικρότερη εκτιμήτρια κλίμακας σ. Για μικρού μεγέθους δείγματα, έχουμε διαπιστώσει ότι η τιμή t α, = ˆ LTS λειτουργεί ικανοποιητικά. Για μεγαλύτερου μεγέθους δείγματα, προτείνεται η αύξηση της κρίσιμης τιμής. Παρατήρηση. Στην περίπτωση ενός αρχικού δείγματος που αποτελείται από καθαρές παρατηρήσεις (μόλυνση 0%) ή σε παρατηρήσεις με συνθήκες κανονικότητας, ξεκινώντας από το βασικό υποσύνολο μεγέθους k, σχεδόν όλες από τις υπόλοιπες n-k παρατηρήσεις αναμένουμε να επανέλθουν στο τελικό σύνολο. Επομένως, η τελική εκτιμήτρια κλίμακας ˆ σ k είναι η επιθυμητή (σχήμα 1α). Από την άλλη πλευρά, στην περίπτωση αρχικού δείγματος με 49% μόλυνση, κατά τη διαδικασία της επανένταξης αναμένουμε να μην εισέλθουν στο βασικό υποσύνολο καμία από τις υπόλοιπες n-k παρατηρήσεις, αφού οι περισσότερες είναι ακραίες παρατηρήσεις με αντίστοιχα μεγάλα υπόλοιπα. Επομένως, η τελική εκτιμήτρια κλίμακας ˆ σ k στηρίζεται στο αρχικό βασικό υποσύνολο μεγέθους k το οποίο πιθανότατα αποτελείται από καθαρές παρατηρήσεις (σχήμα 1β). k 49% ˆk σ 51% ˆk σ k = n k= 51% n 51% n k = 49% n 49% ˆ σ k ˆ σ k 3 ˆ σ k 3 ˆ σ k Σχήμα 1α. k=n καθαρά δεδομένα, ακραίες παρατηρήσεις n-k=0 Σχήμα 1β. k=51%n καθαρά δεδομένα, ακραίες παρατηρήσεις n-k=49%n Το όριο 1 h ( ˆ c σ ) μπορεί να θεωρηθεί ως η ελάφρυνση στον Χ-χώρο, όμως μία παρατήρηση δεν απομακρύνεται αν το υπόλοιπό της είναι σχετικά μικρό. Επομένως, χρησιμοποιώντας την εκτιμήτρια PTS, εάν ένα σημείο υψηλής επίδρασης έχει μικρό υπόλοιπο δε διαγράφεται με συνέπεια να συνεισφέρει θετικά στη προσαρμογή του μοντέλου παλινδρόμησης και επομένως να βελτιώνει την αποτελεσματικότητα της εκτιμήτριας. Παρολαυτά, σύμφωνα με τα αποτελέσματα από τη μέθοδο MCD, κάποια καλά σημεία υψηλής επίδρασης πιθανό να εμφανιστούν επίσης ως ακραίες παρατηρήσεις με υψηλές επιδράσεις και το βάρος σχεδιασμού που προκύπτει w = 1 h να είναι έντονα μικρό. Συνεπώς, για κάποια από τα καλά σημεία υψηλής επίδρασης, το κόστος τιμωρίας πιθανό να είναι πολύ μικρό προκαλώντας την απομάκρυνση από το σύνολο των δεδομένων, εκτός εάν το υπόλοιπό τους είναι μικρό. Αυτό επηρρεάζει την αποτελεσματικότητα της εκτιμήτριας μόνο κατά την πρώτη φάση και διορθώνεται με τον έλεγχο της δεύτερης φάσης της διαδικασίας, όπως περιγράφτηκε παραπάνω, κατά την οποία οι πιθανές h

7 ακραίες παρατηρήσεις ελέγχονται μία προς μία για την επανένταξή τους στο τελικό καθαρό σύνολο των δεδομένων. Συμπερασματικά, βασιζόμενοι σε ανθεκτική εκτιμήτρια κλίμακας ˆ σ και τις επιδράσεις h, η εκτιμήτρια PTS επιτυγχάνει ταυτόχρονα τους τρεις στόχους της ανθεκτικής παλινδρόμησης, σύμφωνα με τους Yoha and Zamar (1988), δηλαδή, (α) υψηλό σημείο κατάρρευσης, (β) περιορισμένη επίδραση, (γ) υψηλή αποτελεσματικότητα (περίπου 0.95) όταν τα δεδομένα ακολουθούν κανονική κατανομή. 3. ΠΑΡΑΔΕΙΓΜΑ Το παράδειγμα που ακολουθεί, περιγράφει ακριβώς τις δύο φάσεις της διαδικασίας PTS. Στον Πίνακα 1 δίνεται ένα δείγμα από 50 παρατηρήσεις με δύο ανεξάρτητες μεταβλητές. Οι ανεξάρτητες μεταβλητές x 1 και x προέρχονται από κανονικές κατανομές με μέσες τιμές 0, 30 και διακυμάνσεις 36, 64 αντίστοιχα. Το μοντέλο που χρησιμοποιήθηκε είναι όπως στην (1) με συντελεστές παλινδρόμησης β 1 = 1.0, β = 0.80, β 0 = 0.0, ενώ το διάνυσμα των σφαλμάτων ακολουθεί κανονική κατανομή με μέση τιμή 0 και διακύμανση 56. Οι ακραίες παρατηρήσεις έχουν παραχθεί προσθέτοντας μία τιμή από την ομοιόμορφη κατανομή U( a= 80, b= 0) στις ανεξάρτητες μεταβλητές ή στην εξαρτημένη. Οι δύο πρώτες στήλες είναι οι ανεξάρτητες μεταβλητές, η 3 η είναι η εξαρτημένη, στην 4 η δίνονται οι η επιδράσεις h στο σύνολο των δεδομένων, στην 5 οι επιδράσεις των n-k παρατηρήσεων καθώς εισέρχονται στο υποσύνολο των k καθαρών δεδομένων, στην 6 η στήλη τα βάρη σχεδιασμού της 1 ης φάσης και στην προτελευταία στήλη τα κόστη τιμωρίας για την απομάκρυνση καθεμιάς παρατήρησης στην αντικειμενική συνάρτηση της 1 η φάσης. Τα σημεία 1-3 και 6-8 είναι καταστροφικά σημεία υψηλής επίδρασης (bad leverage), τα σημεία 4-5 και 9-30 είναι καλά σημεία υψηλής επίδρασης (good leverage), ενώ τα σημεία 15, 0-1, 46-47, 50 είναι ακραία σημεία ως προς την y-κατεύθυνση (y-outlers). Εφαρμόζοντας τη διαδικασία PTS, στην πρώτη φάση παρατηρούμε ότι απομακρύνονται όλα τα bad leverage σημεία όπως επίσης και όλα τα good leverage (τα y-outlers απομακρύνονται κάτι που συμβαίνει με όλες τις ανθεκτικές μεθόδους). Το μοντέλο παλινδρόμησης που προκύπτει είναι το yˆ = 1.66x 0.83x Οι πραγματικές τιμές του β είναι β 1 = 1.0 και 1 β = 0.80, άρα η διαδικασία αποτυγχάνει στην πρώτη φάση ως προς την αποτελεσματικότητα, επιτυγχάνει όμως την αναγνώριση όλων των σημείων υψηλής επίδρασης δείχνοντας ότι αποτελεί εκτιμήτρια υψηλού σημείου κατάρρευσης και ανθεκτικότητας. Στη δεύτερη φάση παρόλαυτά, όπως φαίνεται από την τελευταία στήλη του Πίνακα 1, η διαδικασία του ελέγχου καθενός σημείου ξεχωριστά με το καθαρό υποσύνολο επαναφέρει τα good leverage σημεία, αφού οι τιμές των στατιστικών t της τελευταίας στήλης είναι μικρότερες του, αυξάνοντας έτσι και την αποτελεσματικότητα της εκτιμήτριας

8 Το τελικό μοντέλο είναι το yˆ = 1.6x1 0.88x 0.8, στο οποίο παρατηρούμε ότι η εκτιμήτρια ˆβ βρίσκεται πολύ κοντά στην πραγματική τιμή του β. ABSTRACT Estmaton n multple lnear regresson s a dffcult problem because of the maskng effect of outlers. The PTS estmator (Penalzed Trmmed Squares) of the unknown parameters β of regresson s based on the nserton of penalty costs n the loss functon. It combnes hgh robustness and effcency of the estmator. In ths work, the procedure of the PTS estmator s mplemented n two stages. The frst stage s dedcated to hgh robustness, where small penalty costs are chosen for the convenence of the reecton of outlers. Ths s acheved by choosng the smallest possble scale estmate of the resduals and strong down weght of multple hgh leverage ponts. The second stage starts wth the clean data set provded by the frst stage and examnes the rencluson of good hgh leverage ponts usng the studentzed resduals n order to mprove the effcency of the proposed PTS estmator. ΑΝΑΦΟΡΕΣ Atknson, A. and Ran, M. (000), Robust Dagnostc Regresson Analyss, John Wley, Berln. Had, A.S. and Smonoff, J.S. (1993), Procedures for the dentfcaton of multple outlers n lnear models, JASA, 88, Pena, D. and Yoha, V.J. (1995), The detecton of nfluental subsets n lnear regresson usng an nfluence matrx, J. R. Statst. Soc., 47, Pena, D. and Yoha, V.J. (1999), A Fast Procedure for Outler Dagnostcs n Large Regresson Problems, JASA, 94, Rousseeuw, P.J. (1984), Least Medan of Squares Regresson, JASA, 79, Rousseeuw, P.J. and Leroy, A.M. (1987), Robust Regresson and Outler Detecton, Wley: New York. Rousseeuw, P.J. and Van Dressen, K. (1999), A Fast Algorthm for the Mnmum Covarance Determnant Estmator, Technometrcs, 41, 1-3. Yoha, V.J. (1987), Hgh Breakdown-pont and Hgh Effcency Robust Estmates for Regresson, Annals of Statstcs 15, Yoha, V.J. and Zamar, R.H. (1988), Hgh Breakdown Pont Estmates of Regresson by Means of the Mnmzaton of an Effcent Scale, JASA, 83, Zoutas, G. and Avramds, A. (005), Deletng Outlers n Robust Regresson wth Mxed Integer Programmng, Acta Mathematcae Applcatae Snca, Englsh Seres, 1, Zoutas, G., Avramds, A. and Ptsouls, L. (007), Penalzed Trmmed Squares and a Modfcaton of Support Vectors for Unmaskng Outlers n Lnear Regresson, REVSTAT, 5,

9 x 1 x Πίνακας 1. Δείγμα με 6 bad leverage, 4 good leverage, 6 y-outlers. y h h w 1 h σ 1 t = ( ˆ h )

10