ΑΝΙΧΝΕΥΣΗ ΕΚΤΟΠΩΝ ΜΕΤΡΗΣΕΩΝ, ΙΑΓΝΩΣΤΙΚΗ ΚΑΙ ΑΝΘΕΚΤΙΚΗ ΕΚΤΙΜΗΣΗ: ΑΝΑΣΚΟΠΗΣΗ

Ελληνικό Στατιστικό Ινστιτούτο Πρακτικά 7 ου Πανελληνίου Συνεδρίου Στατιστικής (2004), σελ. 93-20 ΑΝΙΧΝΕΥΣΗ ΕΚΤΟΠΩΝ ΜΕΤΡΗΣΕΩΝ, ΙΑΓΝΩΣΤΙΚΗ ΚΑΙ ΑΝΘΕΚΤΙΚΗ ΕΚΤΙΜΗΣΗ: ΑΝΑΣΚΟΠΗΣΗ Ζαχαροπούλου Χριστίνα και Γεώργιος Πιτσέλης Πανεπιστήµιο Πειραιώς ΠΕΡΙΛΗΨΗ O πρωταρχικός στόχος της ανθεκτικής στατιστικής είναι να αναπτύξει µεθόδους που να εφαρµόζονται στην περίπτωση ύπαρξης έκτοπων παρατηρήσεων. Ο έλεγχος της ακρίβειας και της σταθερότητας των εκτιµητών µέσω των ανθεκτικών µεθόδων είναι απαραίτητος. Συνεπώς το ενδιαφέρον µας επικεντρώνεται στην αναγκαιότητα των ανθεκτικών εκτιµητών προκειµένου να δείξουµε την αδυναµία της µεθόδου ελαχίστων τετραγώνων να χειριστεί τις έκτοπες παρατηρήσεις. Πιο συγκεκριµένα γίνεται αναφορά στους πιο γνωστούς εκτιµητές ανθεκτικής όπως Μ, GM, S, LMS, LTS και ΜΜ-εκτιµητές και δίνεται ένα παράδειγµα εφαρµογής αυτών. ΕΙΣΑΓΩΓΗ Προκειµένου να αντιµετωπιστεί το πρόβληµα των έκτοπων παρατηρήσεων, αναπτύχθηκαν νέες στατιστικές µέθοδοι οι οποίες δεν επηρεάζονται σε µεγάλο βαθµό από τις έκτοπες παρατηρήσεις και είναι σε θέση να τις αντιµετωπίσουν και να τις ανιχνεύσουν. Αναφερόµαστε στις ανθεκτικές µεθόδους τα αποτελέσµατα των οποίων είναι αξιόπιστα, ακόµα και αν ένα συγκεκριµένο ποσοστό δεδοµένων είναι αλλοιωµένο. Πάνω στη θεµελίωση, ανάπτυξη και επιδιώξεις της ανθεκτικής στατιστικής, µεταξύ άλλων αναφέρονται εκτεταµένα οι Ηuber (973, 98), Hampel et al. (986), Rousseeuw και Yoha (984), και Yoha (987). ΑΝΘΕΚΤΙΚΗ ΣΤΑΤΙΣΤΙΚΗ ΚΑΙ ΟΙ ΣΤΟΧΟΙ ΤΗΣ Ανθεκτική Στατιστική είναι το σύνολο των γνώσεων και τεχνικών που σχετίζονται µε τις αποκλίσεις από τις υποθέσεις που γίνονται στη στατιστική. Η ανθεκτική στατιστική επιδιώκει να µελετήσει και να περιγράψει τη συµπεριφορά στατιστικών διαδικασιών σε περιοχές 93

παραµετρικών µοντέλων, να προτείνει ανθεκτικές διαδικασίες καλύτερες από τις ήδη υπάρχουσες για γνωστά προβλήµατα χωρίς διαθέσιµες διαδικασίες επεξεργασίας τους, να οδηγήσει σε τεχνικές βαθύτερης µελέτης των δεδοµένων, να παράγει σύστηµα αξιολόγησης και σύγκρισης των στατιστικών διαδικασιών µε βάση την ανθεκτικότητά τους. ΈΚΤΟΠΕΣ ΠΑΡΑΤΗΡΗΣΕΙΣ Έκτοπη παρατήρηση µεταξύ των υπολοίπων είναι εκείνη που κατά απόλυτη τιµή είναι αρκετά µεγαλύτερη από τις υπόλοιπες και ίσως βρίσκεται σε απόσταση τριών ή τεσσάρων τυπικών αποκλίσεων από τη µέση τιµή των υπολοίπων. Στο επόµενο σχήµα σηµειώνονται τρία σύνολα έκτοπων παρατηρήσεων. Το πρώτο σύνολο των έκτοπων παρατηρήσεων αποτελείται από τις κάθετες έκτοπες παρατηρήσεις (vertcal outlers) οι οποίες βρίσκονται εµφανώς µακριά από την γραµµική σχέση που καθορίζεται από το σύνολο των δεδοµένων. Το δεύτερο σύνολο αποτελείται από τα θετικά σηµεία µόχλευσης (good leverage pots) τα οποία ικανοποιούν τη γραµµική σχέση που ορίζεται από τον όγκο των δεδοµένων, αλλά οι τιµές των x βρίσκονται έξω από το συνηθισµένο εύρος. Το τρίτο σύνολο έκτοπων παρατηρήσεων αποτελείται από τα αρνητικά σηµεία µόχλευσης (bad leverage pots) τα οποία έχουν αποκλίνουσες x τιµές και δεν προσαρµόζονται στη γραµµική σχέση όπως αυτή ορίζεται από τα δεδοµένα. ΜΕΤΡΑ ΑΝΘΕΚΤΙΚΟΤΗΤΑΣ Για να προσδιοριστεί ο βαθµός ανθεκτικότητας µιας διαδικασίας έχουν εισαχθεί διάφορα µέτρα ανθεκτικότητας [Hampel et al. (986)]. Τα πιο διαδεδοµένα είναι η Συνάρτηση Επίδρασης (Ifluece Fucto - ΣΕ), το Σηµείο Κατάρρευσης (Breakdow Pot - ΣΚ), η Καµπύλη Ευαισθησίας (Sestvty Curve - ΚΕ) και η Ευαισθησία Γενικού Σφάλµατος (Gross Error Sestvty - ΕΓΣ). 94

Ορισµός : Η συνάρτηση επίδρασης ενός εκτιµητή Τ της κατανοµής F που καταµετρά την επίδραση των απειροστών αναταραχών στον εκτιµητή δίνεται από τη σχέση: IF(x ;T,F)= Τ(( t) F + tδx) T( F) lm t 0 t, όπου δ x είναι η συνάρτηση πιθανότητας που τοποθετεί µάζα πιθανότητας στο σηµείο x. Oρισµός 2: Το σηµείο κατάρρευσης του εκτιµητή Τ στο δείγµα x ορίζεται ως εξής: * ε = x, T ) = f{ ε : b( ε, x, T ) = }, όπου b( ε, x, T ) = sup { T x `A) T ( ) } και ( % % % x% `A ( % x% A x ` % ένα ε- αλλοιωµένο δείγµα που προέρχεται από το αρχικό µε αντικατάσταση 00ε% παρατηρήσεων από αυθαίρετες τιµές. Ορισµός 3: Η ευαισθησία του γενικού σφάλµατος του εκτιµητή Τ στην κατανοµή F ορίζεται γ * = sup IF( x, T, F) από τη σχέση και περιγράφει τη µέγιστη επίδραση που έχει στην x τιµή του εκτιµητή µια µικρή αλλοίωση της κατανοµής. Oρισµός 4: οθέντος ενός τυχαίου δείγµατος x,,x - η ΚΕ ενός εκτιµητή T σε ένα σηµείο x ορίζεται ως εξής: SC (X;T )=T (x,,x -,x) - T - (x,,x - )) και µετρά την επίδραση που θα ασκηθεί στον εκτιµητή από µία και µόνο επιπρόσθετη παρατήρηση x. ΑΝΘΕΚΤΙΚΟΙ ΕΚΤΙΜΗΤΕΣ Oι M-εκτιµητές θεµελιώθηκαν από τον Huber (973) και θεωρούνται από τις πιο απλές προσεγγίσεις τόσο θεωρητικά όσο και υπολογιστικά. Παρά το γεγονός ότι δεν είναι ανθεκτικοί αναφορικά µε τα σηµεία µόχλευσης εξακολουθούν να χρησιµοποιούνται ευρέως στην ανάλυση δεδοµένων για την οποία µπορεί να υποτεθεί ότι η αλλοίωση είναι κυρίως στην κατεύθυνση των y. Κάθε εκτιµητής Τ που ορίζεται από το πρόβληµα ελαχιστοποίησης του τύπου: mmze ρ ( X, T ) ή από µία έµµεση εξίσωση ψ ( X, T ) = 0, = όπου ρ είναι µια αυθαίρετη συνάρτηση και έχει ως παράγωγο ψ(t)= ) t ρ(t, ονοµάζεται Μ- εκτιµητής ή τύπος εκτίµησης µεγίστης πιθανοφάνειας. Οι γενικευµένοι Μ-εκτιµητές (GM-estmators) εισήχθηκαν από τον Mallows [Maroa et al. (979)] έχοντας ως βασικό σκοπό να φράξουν τις έκτοπες παρατηρήσεις στη κατεύθυνση των x χρησιµοποιώντας τη συνάρτηση βάρους w και ικανοποιώντας την ακόλουθη σχέση: = w( x ) ψ ( r / σ ) x = 0 όπου w(x ) είναι η συνάρτηση βάρους και σ είναι η παράµετρος κλίµακας. Οι γενικευµένοι εκτιµητές έχουν σηµείο κατάρρευσης του οποίου η τιµή µειώνεται ανάλογα µε τον αριθµό των συντελεστών. = 95

Η S-εκτίµηση είναι µία µέθοδος υψηλού σηµείου κατάρρευσης η οποία εισήχθηκε από τον Rousseeuw & Yoha (984). H S-εκτίµηση βασίζεται στην ελαχιστοποίηση του ανθεκτικού M- εκτιµητή της κλίµακας των σφαλµάτων. Με το ίδιο σηµείο κατάρρευσης ο εκτιµητής έχει υψηλότερη στατιστική αποτελεσµατικότητα σε σχέση µε τον εκτιµητή ελαχίστων περικεκοµµένων τετραγώνων. Ορίζεται από την ελαχιστοποίηση της διαφοράς των σφαλµάτων: mmze s ( r ( β ),..., r ( β )) µε τελική εκτίµηση κλίµακας σ = s( r ( β ),..., ( β )). r Η διασπορά s( r ( β ),..., r ( β )) ορίζεται από τη λύση του: ρ( ) = K, όπου το Κ ισούται s µε Ε Φ [ρ] και Φ είναι η τυπική κανονική κατανοµή. Η εκτίµηση ελαχίστων διαµέσων τετραγώνων (Ε Τ - least meda squares) εισήχθηκε από 2 τον Rousseeuw (984) και δίνεται από τη σχέση: mmze med r Είναι µια µέθοδος πολύ ανθεκτική µε υψηλό σηµείο κατάρρευσης, της τάξης του %. Η µέθοδος αυτή θεωρείται ότι είναι ένας S-εκτιµητής ο οποίος ελαχιστοποιεί έναν τύπο ανθεκτικής M-εκτίµησης κλίµακας επί των σφαλµάτων. Η εκτίµηση ελαχίστων περικεκοµµένων τετραγώνων (ΕΠΤ - least trmmed squares) είναι µια µέθοδος µε υψηλό σηµείο κατάρρευσης [Rousseeuw & Leroy (987)]. Η εκτίµηση ΕΠΤ - ένας άλλος ευρύτατα διαδεδοµένος S-εκτιµητής- προσεγγίζει τη µέθοδο ελαχίστων τετραγώνων αν και στην προκειµένη περίπτωση αφαιρούµε το τµήµα των µεγαλύτερων τετραγωνικών σφαλµάτων. Ο συγκεκριµένος εκτιµητής δίνεται από τη σχέση: β =. r mmze β h = ( r ), 2 : όπου (r) 2 : (r) 2 :: είναι τα διατεταγµένα τετράγωνα των σφαλµάτων και h = ½ + αν το είναι άρτιος. Οι MM-εκτιµητές που εισήχθηκαν από τον Yoha (987) συνδυάζουν την εκτίµηση υψηλού σηµείου κατάρρευσης και την Μ-εκτίµηση. Οι ΜΜ-εκτιµητές θεωρούνται εκτιµητές µε υψηλό σηµείο κατάρρευσης και υψηλή αποτελεσµατικότητα, όπου η αρχική εκτίµηση επιτυγχάνεται µέσω ενός S-εκτιµητή, ο οποίος στη συνέχεια βελτιώνεται µέσω ενός Μ-εκτιµητή. Στην ΜΜ-εκτίµηση, ένας ανθεκτικός Μ-εκτιµητής δίνεται από τη y = s T x β σχέση: ρ ( ), όπου s είναι µία ανθεκτική εκτίµηση κλίµακας των σφαλµάτων και ρ είναι µια πραγµατική συνάρτηση. ΕΦΑΡΜΟΓΗ ΑΝΘΕΚΤΙΚΩΝ ΕΚΤΙΜΗΤΩΝ Στη συνέχεια µέσω της χρήσης του S-PLUS παρατίθεται ένα παράδειγµα τα δεδοµένα του οποίου είναι γνωστά ως δεδοµένα των Dael & Wood (97), που υπάρχουν και στο βιβλίο 96

του Rousseeuw & Leroy. Η εξαρτηµένη µεταβλητή αντιστοιχεί στην περιεκτικότητα οξέως που προσδιορίζεται από τον καθορισµό πυκνότητας µίγµατος (y ) και η ανεξάρτητη µεταβλητή είναι η οργανική ποσότητα οξέως που προσδιορίζεται από την απόσταξη (x ). Eφαρµόζοντας στα δεδοµένα µας τόσο την µέθοδο ελαχίστων τετραγώνων όσο και τις ανθεκτικές µεθόδους, διαπιστώνουµε κατά πόσο η ευθεία γραµµικής επηρεάζεται από καµία έκτοπη παρατήρηση (ΕΠ), ένα αρνητικό σηµείο µόχλευσης (ΑΣΜ), ένα θετικό σηµείο µόχλευσης (ΘΣΜ), µία κάθετη έκτοπη παρατήρηση (ΚΕΠ) καθώς επίσης και από όλους τους δυνατούς συνδυασµούς των ΕΠ. Ας υποθέσουµε ότι η x-τιµή της έκτης παρατήρησης παίρνει την τιµή 370 αντί της τιµής 37. Αυτή η παρατήρηση παράγει ένα αρνητικό σηµείο µόχλευσης. ( ιάγρ. 2). Το ζεύγος (x, y)=(59, 88) παίρνει την τιµή (220, 00). Αυτή η παρατήρηση παράγει ένα θετικό σηµείο µόχλευσης. ( ιάγρ. 3). Η y-τιµή της πρώτης παρατήρησης παίρνει την τιµή 200 αντί της τιµής 76. Αυτό το σηµείο παράγει µια κάθετη έκτοπη παρατήρηση. ( ιάγρ. 4). Η x-τιµή της έκτης παρατήρησης παίρνει την τιµή 370 αντί της τιµής 37 και η y-τιµή της πρώτης παρατήρησης παίρνει την τιµή 200 αντί της τιµής 76. Αυτές οι δύο παρατηρήσεις παράγουν ένα αρνητικό σηµείο µόχλευσης και µία κάθετη έκτοπη παρατήρηση ( ιάγρ.5). Η y-τιµή της πρώτης παρατήρησης παίρνει την τιµή 200 αντί της τιµής 76 και το ζεύγος (x, y)=(59, 88) παίρνει την τιµή (220, 00). Αυτές οι δύο παρατηρήσεις παράγουν µία κάθετη έκτοπη παρατήρηση και ένα θετικό σηµείο µόχλευσης ( ιάγρ. 6). Η x-τιµή της έκτης παρατήρησης παίρνει την τιµή 370 αντί της τιµής 37 και το ζεύγος (x, y)=(59, 88) παίρνει την τιµή (220, 00). Αυτές οι δύο παρατηρήσεις παράγουν ένα αρνητικό καθώς και ένα θετικό σηµείο µόχλευσης ( ιάγρ. 7). Παρατήρηση () 2 3 4 5 6 7 8 Απόσταξη (x ) 23 09 62 04 57 37 44 00 Καθορισµός πυκνότητας (y ) 76 70 55 7 55 48 66 () 9 0 2 3 4 5 6 7 8 9 20 (x ) 6 28 38 05 59 75 88 64 69 67 49 67 (y ) 4 43 82 68 88 58 64 88 89 88 84 88 ιάγραµµα ιάγραµµα διασποράς χωρίς ΕΠ Πίνακας χωρίς ΕΠ 90 80 70 60 40 0 25 75 00 25 75 ΕΤ (LS) 35,458 0,32 Μ-εκτιµητές 35,458 0,32 ΕΠΤ (LTS) 35,473 0,39 Ε Τ (LMS) 35,638 0,35 ΜΜ-εκτιµητές 35,458 0,322 97

ιάγραµµα 2 ιάγραµµα διασποράς µε ΑΣΜ Πίνακας 2 µε ΑΣΜ 90 80 70 60 40 ΕΤ (LS) 58,939 0,08 ΜΜ-εκτιµητές 35,37 0,323 ΕΠΤ (LTS) 35,335 0,32 Ε Τ (LMS) 36,343 0,34 Μ-εκτιµητές 36,436 0,32 0 00 200 300 400 ιάγραµµα 3 ιάγραµµα διασποράς µε ΘΣΜ Πίνακας 3 µε ΘΣΜ 00 80 60 40 ΕΤ (LS) 36,474 0.308 ΜΜεκτιµητές 35,565 0,39 ΕΠΤ (LTS) 35,586 0,38 Ε Τ (LMS) 35,638 0,35 Μ-εκτιµητές 35,958 0,34 0 00 200 ιάγραµµα 4 ιάγραµµα διασποράς µε ΚΕΠ Πίνακας 4 ιάγραµµα διασποράς µε ΚΕΠ 00 200 60 70 80 90 00 ΕΤ (LS) 36,459 0,372 ΜΜ-εκτιµητές 35,449 0,32 ΕΠΤ (LTS) 35,557 0,39 Ε Τ (LMS) 35,639 0,35 Μ-εκτιµητές 35,468 0,322 Ftted : 98

ιάγραµµα 5 ιάγραµµα διασποράς µε ΑΣΜ & ΚΕΠ Πίνακας 5 ιάγραµµα διασποράς µε ΑΣΜ & ΚΕΠ 200 00 0 00 200 300 400 ΕΤ (LS) 64,695 0,084 ΜΜ-εκτιµητές 35,304 0,322 ΕΠΤ (LTS) 35,062 0,324 Ε Τ (LMS) 36,343 0,34 Μ-εκτιµητές 36,52 0,3 ιάγραµµα 6 ιάγραµµα διασποράς µε ΚΕΠ & ΘΣΜ Πίνακας 6 µε ΚΕΠ & ΘΣΜ 200 00 ΕΤ (LS) 38,93 0,344 ΜΜ-εκτιµητές 35,562 0,39 ΕΠΤ (LTS) 35,62 0,39 Ε Τ (LMS) 35,638 0,35 Μ-εκτιµητές 35,969 0,34 0 00 200 ιάγραµµα 7 ιάγραµµα διασποράς µε ΑΣΜ & ΘΣΜ Πίνακας 7 µε ΑΣΜ 00 90 80 70 60 40 ΕΤ (LS) 57,558 0.095 ΜΜ-εκτιµητές 35,432 0,32 ΕΠΤ (LTS) 35,375 0,32 Ε Τ (LMS) 36,343 0,34 Μ-εκτιµητές 37,89 0,295 0 00 200 300 400 99

ιάγραµµα 8 ιάγραµµα 9 ιάγραµµα 0 Από το διάγραµµα διαπιστώνουµε ότι υπάρχει µία ισχυρή στατιστική σχέση ανάµεσα στην εξαρτηµένη και στην ανεξάρτητη µεταβλητή. Παρατηρώντας προσεκτικά το διάγραµµα διαπιστώνουµε ότι δεν υπάρχουν έκτοπες παρατηρήσεις. Συνεπώς µεταξύ των ανθεκτικών εκτιµητών και των εκτιµητών ελαχίστων τετραγώνων υπάρχουν µόνο πολύ µικρές διαφορές. Από τα διαγράµµατα διασποράς 2, 5, 7 διαπιστώνουµε ότι η ευθεία έχει επηρεαστεί σε µεγάλο βαθµό από το αρνητικό σηµείο µόχλευσης, από την κάθετη έκτοπη παρατήρηση και το αρνητικό σηµείο µόχλευσης καθώς και από το αρνητικό και το θετικό σηµείο µόχλευσης µε αποτέλεσµα η ευθεία να µετατοπίζεται προς την κατεύθυνση του αρνητικού σηµείου µόχλευσης. Τα αποτελέσµατα που προκύπτουν από τα νέα αλλοιωµένα δείγµατα είναι ότι οι συντελεστές µεταβάλλονται στην περίπτωση των ελαχίστων τετραγώνων. Αντιθέτως οι ευθείες που προκύπτουν από τις ανθεκτικές µεθόδους παραµένουν αναλλοίωτες. Από τα διαγράµµατα 3, 4, 6 παρατηρούµε ότι η ύπαρξη ενός θετικού σηµείου µόχλευσης δεν προκαλεί καµία µεταβολή στην ευθεία. ιαπιστώνουµε ότι τα αποτελέσµατα που προκύπτουν από τα νέα δείγµατα (Πίνακες 2, 5, 7) δεν διαφέρουν σηµαντικά µεταξύ τους. Συνεπώς η ύπαρξη ενός θετικού σηµείου µόχλευσης, µιας κάθετης έκτοπης παρατήρησης, καθώς και µιας κάθετης έκτοπης παρατήρησης και ενός θετικού σηµείου µόχλευσης στο δείγµα µας αλλοιώνουν ελάχιστα το αποτέλεσµα. Τα 200

αποτελέσµατα που προκύπτουν από τα νέα αλλοιωµένα δείγµατα (Πίνακες 3,4,6) είναι ότι οι συντελεστές µεταβάλλονται στην περίπτωση των ελαχίστων τετραγώνων. Αντιθέτως, οι ευθείες που προκύπτουν από τις ανθεκτικές µεθόδους παραµένουν αναλλοίωτες. Από τα διαγράµµατα 9, 0, διαπιστώνουµε ότι στο συγκεκριµένο παράδειγµα η ευθεία ελαχίστων τετραγώνων µετατοπίζεται προς την κατεύθυνση του αρνητικού σηµείου µόχλευσης. Αντιθέτως οι ευθείες των ανθεκτικών εκτιµητών βρίσκονται πολύ κοντά µεταξύ τους και σε µεγάλη απόσταση από την ευθεία ελαχίστων τετραγώνων παραµένοντας ανεπηρέαστες από το αρνητικό σηµείο µόχλευσης. ABSTRACT Α major goal of robust statstcs s to develop methods that are robust agast the possblty that oe or several outlers may occur aywhere the data. It s therefore mportat to check the accuracy ad stablty of estmates usg robust estmato methods. Our terest wll be focused o the mportace of robust estmators order to preset the problem of least squares method to hadle outlers. I specfc, the most kow techques of robust regresso such as M, GM, S-estmators, LMS, LTS ad MM-estmators are referred. ΑΝΑΦΟΡΕΣ Hampel, F. R., Rochett, E. M., Rousseeuw, P. J., ad Stahel, W. A. (986). Robust statstcs: The approach based o Ifluece Fuctos, Wley, New York. Huber, P. J. (98). Robust Statstcs. Wley, New York. Huber, P. J. (973). Robust regresso: Asymptotcs, cojectures ad Mote Carlo, The Aals of Mathematcal Statstcs,, 799-82. Mallows, C. L. (979). Robust methods-some examples of ther use. Joural of the Amerca Statstcal Assocato, 33, 79-84. Maroa, R. A., Bustos, O., ad Yoha, V. (979). Bas- ad effcecy- robustess of geeral M-estmators for regresso wth radom carrers, Smoothg Techques for Curve Estmato, edted by T. Gasser ad M. Roseblatt, Spger Verlag, New York, pp.9-6. Rousseeuw, P., ad Yoha, V. (984). Robust regresso by meas of S-estmators, J. Frake, W. Haerdle, ad D. Mart, eds, Robust ad No lear Tme Seres Aalyss. Sprger-Verlag (Berl; New-York), 256-272. Rousseeuw, P. J. ad Leroy, A.M. (987). Robust Regresso ad Outler Detecto. Wley, New York. Yoha, V. J. (987). Hgh breakdow-pot ad hgh effcecy robust estmates for regresso. The Aals of statstcs., 20,642-6. 20