ΣΧΟΛΗ ΕΠΙΣΤΗΜΩΝ & ΤΕΧΝΟΛΟΓΙΑΣ ΤΗΣ ΠΛΗΡΟΦΟΡΙΑΣ ΤΜΗΜΑ ΣΤΑΤΙΣΤΙΚΗΣ ΜΕΤΑΠΤΥΧΙΑΚΟ ΜΙΑ ΑΝΑΘΕΩΡΗΣΗ ΤΩΝ ΣΤΑΤΙΣΤΙΚΩΝ ΜΕΘΟΔΩΝ ΣΕ ΜΕΤΑ-ΑΝΑΛΥΣΗ

Transcript

1 ΣΧΟΛΗ ΕΠΙΣΤΗΜΩΝ & ΤΕΧΝΟΛΟΓΙΑΣ ΤΗΣ ΠΛΗΡΟΦΟΡΙΑΣ ΤΜΗΜΑ ΣΤΑΤΙΣΤΙΚΗΣ ΜΕΤΑΠΤΥΧΙΑΚΟ ΜΙΑ ΑΝΑΘΕΩΡΗΣΗ ΤΩΝ ΣΤΑΤΙΣΤΙΚΩΝ ΜΕΘΟΔΩΝ ΣΕ ΜΕΤΑ-ΑΝΑΛΥΣΗ Μαρία Ιωάννη Μαυροειδή ΕΡΓΑΣΙΑ Που υποβλήθηκε στο Τμήμα Στατιστικής του Οικονομικού Πανεπιστημίου ΑΘηνών ως μέρος των απαιτήσεων για την απόκτηση Μεταπτυχιακού Διπλώματος Συμπληρωματικής Ειδίκευσης στη Στατιστική Μερικής Παρακολούθησης (Part-time) Αθήνα Ιανουάριος 2015

2

3 ΑΦΙΕΡΩΣΗ Αφιερώνω την εργασία μου στην οικογένειά μου, και ιδιαίτερα στην ενός έτους Ιωάννα μου που κατά την διάρκεια του μεταπτυχιακού προγράμματος βρίσκονταν κοντά μου.

4

5 ΕΥΧΑΡΙΣΤΙΕΣ Ευχαριστώ την μικρή Ιωάννα που μου έκανε την ζωή ομορφότερη ερχόμενη στη ζωή. Επίσης, ευχαριστώ τον σύζυγό μου Δημήτρη για την ηθική υποστήριξή και την κατανόησή του, ιδιαίτερα κατά τη διάρκεια των τελευταίων μηνών της προσπάθειάς μου. Τέλος, ευχαριστώ θερμά τον Καθηγητή Κύριο Βασίλειο Βασδέκη για την καθοδήγηση και την πολύτιμη βοήθεια που μου προσέφερε καθ όλη τη διάρκεια της εκπόνησης της παρούσας εργασίας. Μαρία Μαυροειδή I

6 II

7 ΒΙΟΓΡΑΦΙΚΟ ΣΗΜΕΙΩΜΑ Ονομάζομαι Μαυροειδή Μαρία και είμαι 27 ετών. Είμαι απόφοιτη του Πανεπιστημίου Πατρών, σχολή Φαρμακευτικής. Αυτήν την στιγμή εργάζομαι ως Φαρμακοποιός. III

8 IV

9 ABSTRACT Maria Mauroeidi A review of statistical methods in meta-analysis November 2014 The Peto method for obtaining highly aggregated estimates gives biased results when applied to unbalanced data. The method Mantel-Haenszel, can be applied in place of the method Peto when the total number of events is adequate. Both methods lead to similar conclusions when the results of individual studies are quite homogeneous. In the present work the methods Peto and Mantel-Haenzel to analyze events using the statistical package R. V

10 VI

11 ΠΕΡΙΛΗΨΗ Μαρία Μαυροειδή ΜΙΑ ΑΝΑΘΕΩΡΗΣΗ ΤΩΝ ΣΤΑΤΙΣΤΙΚΩΝ ΜΕΘΟΔΩΝ ΣΕ ΜΕΤΑ-ΑΝΑΛΥΣΗ Νοέμβριος 2014 Η μέθοδος Peto για την απόκτηση συγκεντρωτικών εκτιμήσεων δίνει εξαιρετικά προκατειλημμένα αποτελέσματα όταν εφαρμόζεται σε μη ισορροπημένα δεδομένα. Η μέθοδος Mantel-Haenszel, μπορεί να εφαρμοστεί στη θέση της μεθόδου Peto όταν ο συνολικός αριθμός των γεγονότων είναι επαρκής. Και οι δύο μέθοδοι οδηγούν σε παρόμοια συμπεράσματα, όταν τα αποτελέσματα των μεμονωμένων μελετών είναι αρκετά ομοιογενή. Στην παρούσα εργασία έγινε εφαρμογή των μεθόδων Peto και Mantel- Haenzel για την ανάλυση γεγονότων με χρήση του στατιστικού πακέτου R. VIII

12 VIII

13 ΚΑΤΑΛΟΓΟΣ ΠΕΡΙΕΧΟΜΕΝΩΝ ΚΕΦΑΛΑΙΟ 1. ΘΕΩΡΗΤΙΚΟ ΥΠΟΒΑΘΡΟ ΕΙΣΑΓΩΓΗ Η ΕΚΤΙΜΗΣΗ ONE-STEP ΚΑΙ Η ΑΠΟΚΛΙΣΗ ΤΗΣ... 2 ΚΕΦΑΛΑΙΟ 2. ΕΙΣΑΓΩΓΗ ΣΤΗ ΓΛΩΣΣΑ R... 5 ΚΕΦΑΛΑΙΟ 3. ΕΦΑΡΜΟΓΗ ΤΗΣ ΜΕΘΟΔΟΥ MANTEL - HAENSZEL ΚΕΦΑΛΑΙΟ 4. ΕΦΑΡΜΟΓΗ ΤΗΣ ΜΕΘΟΔΟΥ PETO ΚΕΦΑΛΑΙΟ 5. ΣΥΜΠΕΡΑΣΜΑΤΑ ΠΑΡΑΡΤΗΜΑ Α. ΚΩΔΙΚΑΣ R ΓΙΑ ΤΗΝ ΜΕΘΟΔΟ MANTEL-HAENSZEL ΠΑΡΑΡΤΗΜΑ Β. ΚΩΔΙΚΑΣ R ΓΙΑ ΤΗΝ ΜΕΘΟΔΟ PETO ΒΙΒΛΙΟΓΡΑΦΙΑ IX

14 X

15 ΚΑΤΑΛΟΓΟΣ ΓΡΑΦΗΜΑΤΩΝ Εικόνα 1: Το περιβάλλον της γλώσσας R... 7 Εικόνα 2: Εξαγωγή διαγραμμάτων στο R Εικόνα 3: Εκτέλεση εντολών για το παράδειγμα 1 με τη μέθοδο M-H Εικόνα 4: Εκτέλεση εντολών για το παράδειγμα 2 με τη μέθοδο Μ-Η Εικόνα 5: Εκτέλεση εντολών για το παράδειγμα 1 με τη μέθοδο Peto Εικόνα 6: Εκτέλεση εντολών για το παράδειγμα 2 με τη μέθοδο Peto Εικόνα 7: Εκτέλεση εντολών για το παράδειγμα 3 με τη μέθοδο Peto XII

16 XII

17 ΚΑΤΑΛΟΓΟΣ ΠΙΝΑΚΩΝ Πίνακας 1: Αποτελέσματα για το παράδειγμα 1 με τη μέθοδο Μ-Η Πίνακας 2: Αποτελέσματα για το παράδειγμα 2 με τη μέθοδο Μ-Η Πίνακας 3: Αποτελέσματα για το παράδειγμα 3 με τη μέθοδο Μ-Η Πίνακας 4: Αποτελέσματα των παραδειγμάτων 1-3 με τη μέθοδο Μ-Η Πίνακας 5: Βάρη για τα παραδείγματα 1-3 με τη μέθοδο Μ-Η Πίνακας 6: Αποτελέσματα των παραδειγμάτων 1-3 με τη μέθοδο Peto Πίνακας 7: Βάρη για τα παραδείγματα 1-3 με τη μέθοδο Peto XIII

18 XIV

19 ΚΕΦΑΛΑΙΟ 1. ΘΕΩΡΗΤΙΚΟ ΥΠΟΒΑΘΡΟ Η μέθοδος ενός σταδίου (Peto) για την απόκτηση συγκεντρωτικών εκτιμήσεων μπορεί να δώσει εξαιρετικά προκατειλημμένα αποτελέσματα όταν εφαρμόζεται σε μη ισορροπημένα δεδομένα. Ακόμη και σε ισορροπημένες μελέτες, η μέθοδος ενός σταδίου μπορεί να ενσωματώσει έναν απαράδεκτο βαθμό μεροληψίας. Στη θέση της εκτίμησης ενός-σταδίου, προτείνουμε τη χρήση των συνήθων μεθόδων Mantel-Haenszel, σταθμισμένων ελαχίστων τετραγώνων, ή εκτίμηση μέγιστης πιθανοφάνειας όποτε ο συνολικός αριθμός των γεγονότων είναι επαρκής για τις μεθόδους αυτές. Αν ο συνολικός αριθμός των γεγονότων είναι μικρός, προτείνουμε ακριβείς μεθόδους. 1.1 ΕΙΣΑΓΩΓΗ Πρόσφατα, οι Berlin et al. (1989) συνέκριναν δύο μεθόδους για το συνδυασμό αποτελεσμάτων από κλινικές δοκιμές. Μία μέθοδος ήταν η επέκταση των Dersimonian και Laird της μεθόδου Cochran, που βασίζεται στο μοντέλο τυχαίων επιδράσεων για τη μελέτη των ειδικών διαφορών επικινδυνότητας που σχετίζονται με την εφαρμογή. Η άλλη ήταν η τροποποίηση Petο της μεθόδου Mantel-Haenszel, που βασίζεται σε ένα ομοιογενές μοντέλο σταθερών επιδράσεων για τη μελέτη του λόγου σχετικής πιθανότητας. Οι Berlin et al. (1989) παρατήρησαν ότι οι μέθοδοι οδήγησαν σε παρόμοια συμπεράσματα, όταν τα αποτελέσματα των μεμονωμένων μελετών ήταν αρκετά ομοιογενή. Τα κριτήριά τους βασίζονταν όμως σε μεγάλο βαθμό στα ποιοτικά συμπεράσματα των μεθόδων, παρά από την εξέταση της ακρίβειας ισχύος εκτίμησης. Υπήρξε επίσης κάποιο πρόσφατο ενδιαφέρον (Greeland 1987, Risch 1988) σε συγκεντρωτικά δεδομένα παρατήρησης από επιδημιολογικές Σελίδα 1 από 37

20 μελέτες. Σε αυτό το πλαίσιο η μέθοδος Petο μπορεί να φαίνεται μια φυσική εναλλακτική λύση, δεδομένου ότι ο λόγος σχετικού κινδύνου είναι ένα μέτρο εκτίμησης στην επιδημιολογία. Δυστυχώς, έχουμε διαπιστώσει ότι η εκτίμηση πιθανοτήτων ενός σταδίου με τη μέθοδο Peto μπορεί να είναι εξαιρετικά μεροληπτική όταν η κατανομή των δεδομένων είναι εξαιρετικά μη ισορροπημένη, όπως συμβαίνει συνήθως σε παρατηρησιακά δεδομένα. Εάν οι επιδράσεις υπό μελέτη είναι μεγάλες, μπορεί να ενσωματώνει απαράδεκτη μεροληψία ακόμη και αν τα δεδομένα είναι απολύτως ισορροπημένα. Το φαινόμενο της μεροληψίας παρατηρήθηκε και στη μελέτη δεδομένων κλινικών μελετών όπως θα παρουσιαστούν στη συνέχεια. 1.2 Η ΕΚΤΙΜΗΣΗ ONE-STEP ΚΑΙ Η ΑΠΟΚΛΙΣΗ ΤΗΣ Ας υποθέσουμε ότι θέλουμε να έχουμε μια συγκεντρωτική εκτίμηση από μια σειρά από μελέτες με δείκτη k, και ότι τα δεδομένα στη μελέτη k είναι χωρισμένα σε υποπίνακες που αναπροσαρμόζονται ανά j, που παράγουν βασικά δεδομένα ως εξής. Ας υποθέσουμε ότι ο αναμενόμενος αριθμός των περιπτώσεων που εκτίθενται υπό τη μηδενική υπόθεση (που υποστηρίζει ότι δεν υπάρχει σχέση µεταξύ των µεταβλητών που μελετώνται) είναι: και η υπεργεωμετρική διακύμανση της υπό την μηδενική υπόθεση είναι: 1. (1) Σελίδα 2 από 37

21 Επίσης, ένα + να δηλώνει το άθροισμα πάνω από ένα δείκτη. Η συγκεντρωτική εκτίμηση Petο (ενός σταδίου) της κοινής αναλογίας πιθανοτήτων σε όλες τις μελέτες, που προσαρμόζεται για τους παράγοντες στρωματοποίησης, είναι: exp, ό log αυτό χρησιμοποιείται με την εκτίμηση της διακύμανσης ενός σταδίου για το, 1. Ο όρος «εκτίμηση ενός σταδίου» προέρχεται από το γεγονός ότι η είναι η εκτίμηση της κοινής αναλογίας πιθανοτήτων καταγραφής που λαμβάνεται στο πρώτο βήμα μιας διαδικασίας Newton-Raphson για να μεγιστοποιήσει την υπό όρους λογαριθμική πιθανότητα, όταν η τιμή εκκίνησης για το λόγο λογαριθμικής απόδοσης είναι μηδέν (βλέπε McCullagh και Nelder,1983, 6 p. 89). Αν υποθέσουμε ότι είναι ο λογάριθμος του λόγου σχετικής πιθανότητας ενός βήματος από τη μελέτη k, μπορεί να γράψουμε το συγκεντρωτικό λογάριθμο του λόγου σχετικής πιθανότητας, ως μέσο όρο που σταθμίζεται με το : Υπό τη μηδενική υπόθεση, 1 είναι η διακύμανση της, και, είναι ένας σταθμισμένος μέσος όρος αντίστροφης διακύμανσης του. Σελίδα 3 από 37

22 Τα, και, πρέπει να αντιπαραβληθουν με τις συνοπτικές πιθανότητες Mantel-Haenzel, όπου,, (2) Μια εκτίμηση της διακύμανσης για το log δίνεται από τους Robins et al. ως 2R 2R 2S, όπου Αν είναι ο λόγος πιθανοτήτων Mantel-Haenszel από τη μελέτη k, μπορούμε να γράψουμε την συγκεντρωμένη αναλογία πιθανοτήτων ως μέσο όρο του, σταθμισμένη με τον : Υπό τη μηδενική υπόθεση, το1 είναι ίσο με τη διακύμανση του, και το, είναι ένας σταθμισμένος μέσος όρος του αντίστροφης διακύμανσης (με εκτιμώμενα βάρη). Σελίδα 4 από 37

23 ΚΕΦΑΛΑΙΟ 2. ΕΙΣΑΓΩΓΗ ΣΤΗ ΓΛΩΣΣΑ R Η γλώσσα R είναι ένα πακέτο λογισμικού με το οποίο μπορούμε να κάνουμε στατιστική ανάλυση δεδομένων. Διατίθεται δωρεάν και μπορεί να επεκταθεί εισάγοντας δικές μας συναρτήσεις. Η γλώσσα R είναι ένα δωρεάν λογισμικό με γλώσσα προγραμματισμού και το λογισμικό περιβάλλον για στατιστικούς υπολογισμούς και γραφικά. Η γλώσσα R χρησιμοποιείται ευρέως μεταξύ των Ερευνητών της στατιστικής για την ανάπτυξη στατιστικού λογισμικού και την ανάλυση των δεδομένων. Δημοσκοπήσεις και έρευνες δείχνουν ότι η δημοτικότητα του R έχει αυξηθεί σημαντικά τα τελευταία χρόνια. Η γλώσσα R είναι μια υλοποίηση της γλώσσας προγραμματισμού S σε συνδυασμό με λεξιλογική σημασιολογία οριοθέτησης εμπνευσμένη από τη Scheme. Η S δημιουργήθηκε από τον John Chambers, στο Bell Labs. Η R δημιουργήθηκε από τον Ross Ihaka και Robert Gentleman το Πανεπιστήμιο του Όκλαντ, Νέα Ζηλανδία, (Ihaka, Ross (1998). R : Past and Future History. Interface98) και αυτή τη στιγμή αναπτύσσονται από την κεντρική ομάδα ανάπτυξης του R. Το όνομα R δόθηκε εν μέρει μετά από τα πρώτα ονόματα των δύο πρώτων συγγραφέων της R και εν μέρει ως ένα παιχνίδι στο όνομα της S. Η γλώσσα R είναι ένα έργο GNU. Ο πηγαίος κώδικας για το περιβάλλον του λογισμικού R είναι γραμμένα κυρίως σε C, Fortran, και R. Το R είναι ελεύθερα διαθέσιμο υπό την GNU General Public License, και προ-μεταγλωττισμένο δυαδικό. Οι εκδόσεις παρέχονται για διάφορα λειτουργικά συστήματα. Το R χρησιμοποιεί ένα περιβάλλον γραμμής εντολών. Ωστόσο, αρκετές γραφικές διεπαφές χρήστη είναι διαθέσιμες για χρήση με τη γλώσσα R. Σελίδα 5 από 37

24 Η γλώσσα R παρέχει μια μεγάλη ποικιλία στατιστικών και γραφικών τεχνικών, συμπεριλαμβανομένων των γραμμικών και μη γραμμικών μοντέλων, κλασικούς στατιστικούς ελέγχους, ανάλυση χρονοσειρών, ταξινόμηση, ομαδοποίηση, και άλλα. Η γλώσσα R είναι εύκολα επεκτάσιμη μέσω των λειτουργιών και των επεκτάσεων, και η κοινότητα R έχει ενεργό συμβολή στον τομέα των πακέτων λογισμικού. Υπάρχουν μερικές σημαντικές διαφορές, αλλά μεγάλο μέρος του κώδικα της S έχει προστεθεί αυτούσιο. Πολλές από τις τυπικές λειτουργίες της R είναι γραμμένες στην ίδια την R, γεγονός που καθιστά εύκολο για τους χρήστες να ακολουθούν τις αλγοριθμικές επιλογές. Για υπολογιστικά εντατικές εργασίες, C, C ++, και Fortran κώδικες μπορούν να συνδέονται. Οι προχωρημένοι χρήστες μπορούν να γράψουν C, C ++, Java, ή Python κώδικα για να χειραγωγήσουν τα αντικείμενα R άμεσα. Εγκαθιστούμε το λογισμικό R στον υπολογιστή μας και τρέχουμε το λογισμικό με διπλό κλικ στο μπλε εικονίδιο και βλέπουμε το περιβάλλον της γλώσσας R: Σελίδα 6 από 37

25 Εικόνα 1: Το περιβάλλον της γλώσσας R Αρχικά θα πληκτρολογούμε τις εντολές μας στο λευκό παράθυρο. Αργότερα θα αποθηκεύουμε σειρές εντολών σε ξεχωριστά αρχεία, ώστε να έχουμε πρόσβαση σε προηγούμενες εργασίες. Το πακέτο της γλώσσας R, όπως και όλα τα προγράμματα του είδους του, χρησιμοποιεί μεταβλητές. Στις μεταβλητές αυτές μπορούμε να δώσουμε τιμές, αριθμητικές ή και κατηγορικές. Για να αποθηκεύσουμε την τιμή 8 στη μεταβλητή a, γράφουμε την εξής εντολή: > a <- 8 > Σελίδα 7 από 37

26 Το σύμβολο <- (αποτελείται από μία παύλα και το μαθηματικό μικρότερο ) δείχνει πως στην μεταβλητή a βάζουμε τον αριθμό 8. Μπορούμε να γράψουμε πρώτα την τιμή αλλά να αλλάξουμε τη φορά του βέλους: > 8 -> a > Τα ονόματα μεταβλητών τα καθορίζουμε εμείς. Στο παρακάτω παράδειγμα υπολογίζουμε τον δείκτη μάζας σώματος. > ypsos < > varos <- 85 > BMI <- varos / ypsos^2 > BMI [1] > Όπου χρησιμοποιήσαμε τη μεταβλητή με όνομα ypsos για το ύψος (σε μέτρα), τη μεταβλητή με όνομα varos για το βάρος (σε κιλά), και τη μεταβλητή με όνομα BMI για το δείκτη μάζας σώματος. Προσοχή χρειάζεται στο ότι η υποδιαστολή των δεκαδικών αριθμών είναι τελεία, όχι κόμμα. Σελίδα 8 από 37

27 Η γλώσσα R έχει συναρτήσεις έτοιμες στο βασικό πακέτο και άλλες μέσα σε πακέτα που μπορούμε να εγκαταστήσουμε επιλεκτικά και ξεχωριστά από την εγκατάσταση της R. Οι υπάρχουσες συναρτήσεις είναι προκαθορισμένες αντιστοιχίες ή λειτουργίες που εφαρμόζονται σε μία ή περισσότερες μεταβλητές και παράγουν κάποιο αποτέλεσμα. Ένα απλό παράδειγμα είναι η τετραγωνική ρίζα. > sqrt(16) [1] 4 > Η στρογγυλοποίηση δεκαδικών ψηφίων των αριθμών γίνεται με τη συνάρτηση round. > round(bmi,1) [1] 25.9 > Για δύο δεκαδικά ψηφία, γράφουμε round(bmi,2). Η συνδυαστική συνάρτηση c, δημιουργεί μία σταθερή ακολουθία από μία ομάδα αριμθών και η σύνταξή της είναι: > omada <- c(5,2,6,8,3) > omada [1] > Χρησιμοποιούμε απευθείας τη συνάρτηση sum για να πάρουμε το άθροισμα της ομάδας: > sum(omada) [1] 24 > Σελίδα 9 από 37

28 Εικόνα 2: Εξαγωγή διαγραμμάτων στο R Σελίδα 10 από 37

29 ΚΕΦΑΛΑΙΟ 3. ΕΦΑΡΜΟΓΗ ΤΗΣ ΜΕΘΟΔΟΥ MANTEL - HAENSZEL Δημιουργούμε τον πίνακα με τα δεδομένα για κάθε παράδειγμα. Αποθηκεύουμε τα δεδομένα στην μεταβλητή ex1. Η μεταβλητή ex1 είναι τύπου array και περιλαμβάνει δεδομένα ως ακολουθία. Ο πίνακας χωρίζεται σε τρεις υποπίνακες με 2 σειρές και 2 στήλες, και δίνονται τα κατάλληλα ονόματα σε κάθε στήλη και κάθε σειρά. Στη συνέχεια εφαρμόζουμε τη συνάρτηση mantelhaen.test(~) για κάθε μεταβλητή τύπου array και παίρνουμε τα αποτελέσματα. Ο κώδικας που δημιουργήθηκε στη γλώσσα R παρατίθεται στο Παράρτημα Α. Τα δεδομένα που περιλαμβάνονται στην ανάλυση της παρούσας εργασίας είναι πραγματικά και υποβλήθηκαν από τον Δρ. Jesse Berlin στους Greenland και Salvan (1990) οι οποίοι υπολόγισαν τον λόγο πιθανοτήτων με τη μέθοδο Mantel-Haenszel για αρκετές από τις 22 κλινικές παρατηρήσεις της εργασίας των Berlin et al. και βρήκαν σημαντικές διαφορές μεταξύ του λόγου πιθανοτήτων με τη μέθοδο Mantel-Haenszel και τη μέθοδο Peto. Θα εξετασθεί η συμπεριφορά και τα αποτελέσματα των δύο αυτών μεθόδων σε σχέση με τον τρόπο διεξαγωγής και τον σκοπό των πειραμάτων. Έτσι, έχουμε τρεις ομάδες δεδομένων (Παραδείγματα 1, 2 και 3 αντίστοιχα). Στην πρώτη, έχουμε δεδομένα από τρεις υποθετικές μελέτες κοινωνικών ομάδων, που δείχνουν ανοδική τάση στην εκτιμήτρια ενός σταδίου. Στην δεύτερη ομάδα δεδομένων, έχουμε την επίδραση της οριακής ανισορροπίας στην μεροληψία στην εκτίμηση onestep, ενώ στην τρίτη ομάδα έχουμε δεδομένα από τρεις υποθετικές δοκιμές κατά ζεύγος, δείχνοντας καθοδική μεροληψία στην εκτιμήτρια ενός σταδίου (οι υποπίνακες αντιστοιχίζονται κατά ζεύγος). Σελίδα 11 από 37

30 Στόχος μας είναι λοιπόν να εφαρμόσουμε τις μεθόδους Mantel- Haenszel και Peto σε κάθε παράδειγμα και να μελετήσουμε τα αποτελέσματα σχετικά με τη μεροληψία της κάθε μεθόδου. Εικόνα 3: Εκτέλεση εντολών για το παράδειγμα 1 με τη μέθοδο M-H Σελίδα 12 από 37

31 Στη συνέχεια παρατίθενται, υπό μορφή πινάκων, τα τρία παραδείγματα που εξετάστηκαν με τη μέθοδο M-H και στη συνέχεια με την μέθοδο Peto. Στο παρόν κεφάλαιο θα σχολιαστούν τα αποτελέσματα για τη μέθοδο Μ-Η. ΠΑΡΑΔΕΙΓΜΑ 1 Study = 1 Exposed Unexposed Cases 2 8 Non-cases Study = 2 Exposed Unexposed Cases 3 5 Non-cases Study = 3 Exposed Unexposed Cases 3 12 Non-cases Πίνακας 1: Αποτελέσματα για το παράδειγμα 1 με τη μέθοδο Μ-Η Σελίδα 13 από 37

32 Εικόνα 4: Εκτέλεση εντολών για το παράδειγμα 2 με τη μέθοδο Μ-Η ΠΑΡΑΔΕΙΓΜΑ 2 Study = Balanced subtable Exposed Unexposed Cases 2 8 Non-cases Study = Unbalanced subtable Exposed Unexposed Cases 3 5 Non-cases Πίνακας 2: Αποτελέσματα για το παράδειγμα 2 με τη μέθοδο Μ-Η Σελίδα 14 από 37

33 ΠΑΡΑΔΕΙΓΜΑ 3 Study = 1 Died Survived Died Survived Study = 2 Died Survived Died Survived Study = 3 Died Survived Died Survived Πίνακας 3: Αποτελέσματα για το παράδειγμα 3 με τη μέθοδο Μ-Η Αναλύοντας με το R τα δεδομένα των παραδειγμάτων 1-3 λήφθηκαν τα παρακάτω αποτελέσματα. ΑΠΟΤΕΛΕΣΜΑΤΑ OR(M-H) όρια εμπιστοσύνης 95% Παράδειγμα 1 4,43 1,86 και 10,5 Παράδειγμα 2 2,5 1,89 και 3,3 Παράδειγμα 3 5,42 37,4 και 106,74 Πίνακας 4: Αποτελέσματα των παραδειγμάτων 1-3 με τη μέθοδο Μ-Η Σελίδα 15 από 37

34 ΠΑΡΑΔΕΙΓΜΑ 1 ΒΑΡΗ Υποπίνακας 1 0,4 Υποπίνακας 2 0,47 Υποπίνακας 3 0,71 ΠΑΡΑΔΕΙΓΜΑ 2 Υποπίνακας 1 0,4 Υποπίνακας 2 0,47 ΠΑΡΑΔΕΙΓΜΑ 3 Υποπίνακας 1 0,52 Υποπίνακας 2 0,29 Υποπίνακας 3 0,73 Πίνακας 5: Βάρη για τα παραδείγματα 1-3 με τη μέθοδο Μ-Η Οι λόγοι πιθανοτήτων για κάθε μία από τις μελέτες σταθμίζεται και προκύπτει η περίληψη Mantel-Haenszel (η οποία είναι ένας σταθμισμένος μέσος όρος των τριών λόγων πιθανοτήτων) που ισούται με 4,43, με 95% διάστημα εμπιστοσύνης (1.86, 105) για το πρώτο παράδειγμα. Οι αντίστοιχες τιμές για κάθε παράδειγμα δίνονται αναλυτικά στον παραπάνω πίνακα. Στον πίνακα με τα βάρη είναι εμφανές ποιοι υποπίνακες βαραίνουν περισσότερο στο αποτέλεσμα του λόγου πιθανοτήτων. Ο υπολογισμός των βαρών έγινε με χρήση της σχέσεως (2) του Κεφαλαίου 1. Σελίδα 16 από 37

35 ΚΕΦΑΛΑΙΟ 4. ΕΦΑΡΜΟΓΗ ΤΗΣ ΜΕΘΟΔΟΥ PETO Δημιουργούμε, όπως και στην προηγούμενη μέθοδο, τον πίνακα με τα δεδομένα για κάθε παράδειγμα. Αποθηκεύουμε τα δεδομένα στην μεταβλητή ex1. Η μεταβλητή ex1 είναι τύπου array και περιλαμβάνει δεδομένα ως ακολουθία. Ο πίνακας χωρίζεται σε τρεις υποπίνακες με 2 σειρές και 2 στήλες, και δίνονται τα κατάλληλα ονόματα σε κάθε στήλη και κάθε σειρά. Στη συνέχεια εφαρμόζουμε τη συνάρτηση rma.peto(~) για κάθε μεταβλητή τύπου array και παίρνουμε τα αποτελέσματα. Η συνάρτηση rma.peto βρίσκεται στην βιβλιοθήκη metafor, την οποία θα πρέπει να κατεβάσουμε και να εγκαταστήσουμε στο R. Ο κώδικας που δημιουργήθηκε στη γλώσσα R παρατίθεται στο Παράρτημα Β. Εικόνα 5: Εκτέλεση εντολών για το παράδειγμα 1 με τη μέθοδο Peto Σελίδα 17 από 37

36 Η μέθοδος Peto δίνει το μέσο λόγο σχετικού κινδύνου (summary) OR, = 11.93, τιμή η οποία δεν είναι ακόμη εντός του διαστήματος εμπιστοσύνης της Mantel-Haenszel. Μπορούμε εύκολα να δούμε ότι μόνο ο λόγος σχετικού κινδύνου Peto παρουσιάζει μεροληψία σε αυτό το παράδειγμα, και ότι η προκατάληψη του, είναι ανεξάρτητη από το μέγεθος του δείγματος, καθώς η μεροληψία δεν μεταβάλλεται αν πολλαπλασιάσουμε τις τιμές του παραδείγματος με έναν μεγάλο αριθμό. Εικόνα 6: Εκτέλεση εντολών για το παράδειγμα 2 με τη μέθοδο Peto Αναλύοντας με το R τα δεδομένα των παραδειγμάτων 1-3 λήφθηκαν τα παρακάτω αποτελέσματα. OR(Ρ) όρια εμπιστοσύνης 95% Παράδειγμα 1 11,93 3,03 και 41,5 Παράδειγμα 2 3,24 1,89 και 3,3 Παράδειγμα 3 3,96 2,78 και 5,65 Πίνακας 6: Αποτελέσματα των παραδειγμάτων 1-3 με τη μέθοδο Peto Σελίδα 18 από 37

37 Όπως προκύπτει από τη θεωρητική διατύπωση της, η εκτίμηση ενός σταδίου θα είναι ασυμπτωτικά αμερόληπτη υπό την μηδενική υπόθεση, αλλά θα γίνει μεροληπτική, όταν οι τιμές του λόγου σχετικού κινδύνου ξεπεράσουν κατά πολύ τη μονάδα. Από την αριθμητική ερεύνηση, έχουμε παρατηρήσει ότι η μεροληψία στον λόγο σχετικού κινδύνου, μπορεί να είναι θετική ή αρνητική, και είναι ευαίσθητη στις περιθωριακές διαμορφώσεις των υποπινάκων. Η μεροληψία είναι πιο εμφανής όταν όλες οι μελέτες έχουν μεγάλη ανισορροπία στα δύο περιθώρια (όπως στο παράδειγμα 1), φαινόμενο που εμφανίζεται πολύ συχνά στον τομέα της επαγγελματικής και περιβαλλοντικής επιδημιολογίας. Από τον πίνακα των βαρών βλέπουμε ότι τα αποτελέσματα είναι διαφορετικά σε σχέση με τη μέθοδο Mantel-Haenszel όσον αφορά τα νούμερα των βαρών αλλά και πάλι οι ίδιοι υποπίνακες είναι αυτοί που βαραίνουν περισσότερο τα αποτελέσματα του λόγου πιθανοτήτων. Ο υπολογισμός των βαρών έγινε με χρήση της σχέσεως (1) του Κεφαλαίου 1. Οι διαφορές στις τιμές των βαρών που προκύπτουν οφείλονται στη διαφορετική μέθοδο υπολογισμού, όπως προκύπτει από τους Greenland και Salvan (1990). ΠΑΡΑΔΕΙΓΜΑ 1 ΒΑΡΗ Υποπίνακας 1 0,54 Υποπίνακας 2 0,78 Υποπίνακας 3 0,92 ΠΑΡΑΔΕΙΓΜΑ 2 Υποπίνακας 1 0,54 Υποπίνακας 2 0,78 ΠΑΡΑΔΕΙΓΜΑ 3 Υποπίνακας 1 4,83 Υποπίνακας 2 3,94 Υποπίνακας 3 9,11 Πίνακας 7: Βάρη για τα παραδείγματα 1-3 με τη μέθοδο Peto Σελίδα 19 από 37

38 Εικόνα 7: Εκτέλεση εντολών για το παράδειγμα 3 με τη μέθοδο Peto Το τελευταίο παράδειγμα απεικονίζει πώς η εκτίμηση ενός βήματος είναι ιδιαίτερα ακατάλληλη για ασύμμετρα δεδομένα, ο εκτιμητής μπορεί επίσης να ενσωματώσει μη-αμελητέα μεροληψία σε απόλυτα ισορροπημένες καταστάσεις, αν τα αποτελέσματα που μελετώνται είναι μεγάλης έκτασης. Το παράδειγμα 3 παρουσιάζει τα δεδομένα από τρεις τυχαιοποιημένες μελέτες υποθετικών-ζεύγος της επίδρασης μιας θεραπείας στην επιβίωση του ασθενούς. Η μέθοδος Mantel-Haenszel υπολογίζει με καλή προσέγγιση το λόγο σχετικού κινδύνου, ενώ η μέθοδος Peto υποτιμά την επίδραση της θεραπείας σε όλες τις μελέτες, και το αντίστοιχο διάστημα εμπιστοσύνης αποκλείει δύο από τις τρεις μελέτες. Σελίδα 20 από 37

39 ΚΕΦΑΛΑΙΟ 5. ΣΥΜΠΕΡΑΣΜΑΤΑ Η μέθοδος Peto για την απόκτηση συγκεντρωτικών εκτιμήσεων δίνει εξαιρετικά μεροληπτικά αποτελέσματα όταν εφαρμόζεται σε μη ισορροπημένα δεδομένα. Ακόμη και σε ισορροπημένες μελέτες, η μέθοδος ενός βήματος μπορεί να ενσωματώσει έναν απαράδεκτο βαθμό μεροληψίας. Η μέθοδος Mantel-Haenszel, μπορεί να εφαρμοστεί στη θέση της μεθόδου Peto όταν ο συνολικός αριθμός των γεγονότων είναι επαρκής. Και οι δύο μέθοδοι οδηγούν σε παρόμοια συμπεράσματα, όταν τα αποτελέσματα των μεμονωμένων μελετών είναι αρκετά ομοιογενή. Τα κριτήρια βασίζονται όμως σε μεγάλο βαθμό στα ποιοτικά συμπεράσματα των μεθόδων, παρά από την εξέταση της ακρίβειας ισχύος εκτίμησης. Ο Πίνακας Ι αντιπροσωπεύει τρεις μελέτες ομάδων με ένα στρώμα. Οι λόγοι πιθανοτήτων από τις μελέτες είναι 4.50, 5.40 και 3.75, και η εκτίμηση Mantel-Haenszel (που είναι ο σταθμισμένος μέσος όρος των τριών λόγων πιθανοτήτων) είναι 4,43, με 95 τοις εκατό διάστημα εμπιστοσύνης (1.86, 105). Αντίθετα, η μέθοδος Petο δίνει λόγο πιθανοτήτων 11,2 που δεν είναι εντός του διαστήματος της Mantel-Haenszel και το διάστημα εμπιστοσύνης 95 τοις εκατό είναι (3.03, 4.5). Κάποιος μπορεί εύκολα να δει ότι υπάρχει μεροληψία στον λόγο πιθανοτήτων με τη μέθοδο Peto και όχι με τη μέθοδο Mantel-Haenszel σε αυτό το παράδειγμα, και ότι το σφάλμα της πρώτης είναι ανεξάρτητο από το μέγεθος του δείγματος, σημειώνοντας ότι κανένας λόγος πιθανοτήτων δεν αλλάζει αν οι αριθμοί στον πίνακα πολλαπλασιαστούν με μία αυθαίρετα μεγάλη σταθερά. Καθώς ο λόγος πιθανοτήτων με τη μέθοδο Peto είναι εντελώς έξω από το εύρος των αναλογιών πιθανοτήτων για τη συγκεκριμένη μελέτη, δεν μπορεί να είναι συνεπής για οποιοδήποτε μέσο όρο των αντίστοιχων παραμέτρων σχετικών με τη μελέτη. Μόνο ελαφρά τροποποίηση του παραπάνω Σελίδα 21 από 37

40 παραδείγματος θα δείξει ότι αυτή η μεροληψία παραμένει αμείωτη ακόμα και εάν οι λόγοι πιθανοτήτων της μελέτης είναι σταθεροί. Η μεροληψία φαίνεται πιο ακραία όταν όλες οι μελέτες έχουν μεγάλη ανισορροπία στα δύο περιθώρια (όπως στο Παράδειγμα Ι), μια κοινή κατάσταση στον τομέα της επαγγελματικής και περιβαλλοντικής επιδημιολογίας. Στο Παράδειγμα 2 εξετάζουμε την εκτίμηση ενός βήματος όταν εφαρμόζεται σε μία μελέτη με ένα μόνο στρώμα. Το Παράδειγμα 2 δείχνει δύο τέτοιες καταστάσεις, το καθένα με αναλογίες πιθανοτήτων 2,50. Ο πρώτος υποπίνακας είναι καλά ισορροπημένος στο περιθώριο της έκθεσης (όπως συνήθως είναι η περίπτωση σε μια κλινική δοκιμή), και η εκτίμηση ενός σταδίου είναι αρκετά κοντά με το λόγο πιθανοτήτων. Σε αντίθεση, ο δεύτερος υποπίνακας είναι δραματικά άνισος, και η εκτίμηση ενός σταδίου υπερεκτιμά σημαντικά τη σύνδεση. Αν και το τελευταία παράδειγμα απεικονίζει πώς η εκτίμηση ενός σταδίου είναι ιδιαίτερα ακατάλληλη για ασύμμετρα δεδομένα (όπως κυριαρχεί σε μελέτες παρατήρησης), ο εκτιμητής μπορεί επίσης να ενσωματώσει μη-αμελητέα μεροληψία σε απόλυτα ισορροπημένες καταστάσεις, αν τα φαινόμενα υπό μελέτη είναι σημαντικά. Στο Παράδειγμα 3 παρουσιάζονται στοιχεία από τρεις τυχαιοποιημένες μελέτες υποθετικών ζευγών της επίδρασης μιας θεραπείας για την επιβίωση του ασθενούς. Σε αυτόν τον πίνακα, οι λόγοι πιθανοτήτων και με τις δύο μεθόδους υπολογίζονται κατά τρόπο που διατηρεί την αντιστοίχιση. Ως αποτέλεσμα, ο λόγος πιθανοτήτων Peto ισούται με το λόγο πιθανοτήτων Mantel-Haenszel σε κάθε μελέτη. Εδώ, ο λόγος πιθανοτήτων Peto υποτιμά την επίδραση της θεραπείας σε όλες τις μελέτες, καθώς και το αντίστοιχο διάστημα εμπιστοσύνης αποκλείει δύο από τις τρεις μελέτες. Σελίδα 22 από 37

41 ΠΑΡΑΡΤΗΜΑ Α. ΚΩΔΙΚΑΣ R ΓΙΑ ΤΗΝ ΜΕΘΟΔΟ MANTEL-HAENSZEL >ex1<array(c(2,10,8,180,3,12,5,108,3,18,12,270),dim=c(2,2,3),dimna mes = list(study1 = c("cases", "Non-Cases"), Response = c("exposed", "Unexposed"), Study = c("1","2","3"))) > ex1 Study = 1 Response Study1 Exposed Unexposed Cases 2 8 Non-Cases ,, Study = 2 Response Study1 Exposed Unexposed Cases 3 5 Non-Cases ,, Study = 3 Response Study1 Exposed Unexposed Cases 3 12 Non-Cases > mantelhaen.test(ex1) Σελίδα 23 από 37

42 Mantel-Haenszel chi-squared test with continuity correction data: ex1 Mantel-Haenszel X-squared = , df = 1, p-value = alternative hypothesis: true common odds ratio is not equal to 1 95 percent confidence interval: sample estimates: common odds ratio > ex2<array(c(150,5100,60,5100,10,200,200,10000),dim=c(2,2,2),dimnames = list(study = c("cases", "Non-Cases"), Response = c("exposed", "Unexposed"), Study = c("balanced subtable","unbalanced subtable"))) > ex2,, Study = Balanced subtable Response Study Exposed Unexposed Cases Non-Cases ,, Study = Unbalanced subtable Response Study Exposed Unexposed Cases Σελίδα 24 από 37

43 Non-Cases > mantelhaen.test(ex2) Mantel-Haenszel chi-squared test with continuity correction data: ex2 Mantel-Haenszel X-squared = , df = 1, p-value = 3.483e-11 alternative hypothesis: true common odds ratio is not equal to 1 95 percent confidence interval: sample estimates: common odds ratio 2.5 > ex3<array(c(31,6,29,271,28,4,23,257,61,9,51,509),dim=c(2,2,3),dimnames = list(study = c("died", "Survived"), Tested = c("died", "Survived"), Study = c("1","2","3"))) > ex3,, Study = 1 Tested Study Died Survived Died Survived 6 271,, Study = 2 Σελίδα 25 από 37

44 Tested Study Died Survived Died Survived 4 257,, Study = 3 Tested Study Died Survived Died Survived > mantelhaen.test(ex3) Mantel-Haenszel chi-squared test with continuity correction data: ex3 Mantel-Haenszel X-squared = , df = 1, p-value < 2.2e-16 alternative hypothesis: true common odds ratio is not equal to 1 95 percent confidence interval: sample estimates: common odds ratio Σελίδα 26 από 37

45 ΠΑΡΑΡΤΗΜΑ Β. ΚΩΔΙΚΑΣ R ΓΙΑ ΤΗΝ ΜΕΘΟΔΟ PETO > install.packages("metafor", depend=t) Installing package into C:/Users/Eva/Documents/R/win-library/3.1 (as lib is unspecified) --- Please select a CRAN mirror for use in this session --- also installing the dependencies zoo, Rcpp, mvtnorm, sfsmisc, TH.data, sandwich, digest, R.methodsS3, R.oo, R.utils, R.cache, lme4, numderiv, polycor, BiasedUrn, Epi, minqa, multcomp, plyr, igraph, testthat, CompQuadForm, R.rsp, nloptr trying URL ' Content type 'application/zip' length bytes (857 Kb) opened URL downloaded 857 Kb... Trying URL' Content type 'application/zip' length bytes (1.9 Mb) opened URL downloaded 1.9 Mb package zoo successfully unpacked and MD5 sums checked package Rcpp successfully unpacked and MD5 sums checked package mvtnorm successfully unpacked and MD5 sums checked Σελίδα 27 από 37

46 package sfsmisc successfully unpacked and MD5 sums checked package TH.data successfully unpacked and MD5 sums checked package sandwich successfully unpacked and MD5 sums checked package digest successfully unpacked and MD5 sums checked package R.methodsS3 successfully unpacked and MD5 sums checked package R.oo successfully unpacked and MD5 sums checked package R.utils successfully unpacked and MD5 sums checked package R.cache successfully unpacked and MD5 sums checked package lme4 successfully unpacked and MD5 sums checked package numderiv successfully unpacked and MD5 sums checked package polycor successfully unpacked and MD5 sums checked package BiasedUrn successfully unpacked and MD5 sums checked package Epi successfully unpacked and MD5 sums checked package minqa successfully unpacked and MD5 sums checked package multcomp successfully unpacked and MD5 sums checked package plyr successfully unpacked and MD5 sums checked package igraph successfully unpacked and MD5 sums checked package testthat successfully unpacked and MD5 sums checked package CompQuadForm successfully unpacked and MD5 sums checked package R.rsp successfully unpacked and MD5 sums checked package nloptr successfully unpacked and MD5 sums checked package metafor successfully unpacked and MD5 sums checked The downloaded binary packages are in C:\Users\User1\AppData\Local\Temp\RtmpwzRw3c\downloaded_pack ages Σελίδα 28 από 37

47 Στη συνέχεια, για να χρησιμοποιήσουμε τις συναρτήσεις του πακέτου θα πρέπει να φορτώσουμε την βιβλιοθήκη του metafor: > library(metafor) Loading required package: Formula Loading required package: Matrix Loading 'metafor' package (version 1.9-4). For an overview and introduction to the package please type: help(metafor). Warning messages: 1: package metafor was built under R version : package Formula was built under R version Τώρα μπορούμε να δώσουμε τα δεδομένα των μετρήσεων: > rma.peto(2, 10, 8, 180, 10, 190, + add=1/2, to="only0", drop00=true, + level=95, digits=4, verbose=false) Fixed-Effects Model (k = 1) Test for Heterogeneity: Q(df = 0) = , p-val = Model Results (log scale): estimate se zval pval ci.lb ci.ub Σελίδα 29 από 37

48 Model Results (OR scale): estimate ci.lb ci.ub > rma.peto (3, 12, 5, 108, 8, 120, + add=1/2, to="only0", drop00=true, + level=95, digits=4, verbose=false) Fixed-Effects Model (k = 1) Test for Heterogeneity: Q(df = 0) = , p-val = Model Results (log scale): estimate se zval pval ci.lb ci.ub Model Results (OR scale): estimate ci.lb ci.ub > rma.peto (3,18,12,270, 15, 288, + add=1/2, to="only0", drop00=true, + level=95, digits=4, verbose=false) Fixed-Effects Model (k = 1) Σελίδα 30 από 37

49 Test for Heterogeneity: Q(df = 0) = , p-val = Model Results (log scale): estimate se zval pval ci.lb ci.ub Model Results (OR scale): estimate ci.lb ci.ub > rma.peto (150,5100,60,5100, 210,10200, + add=1/2, to="only0", drop00=true, + level=95, digits=4, verbose=false) Fixed-Effects Model (k = 1) Test for Heterogeneity: Q(df = 0) = , p-val = Model Results (log scale): estimate se zval pval ci.lb ci.ub < Model Results (OR scale): estimate ci.lb ci.ub Σελίδα 31 από 37

50 > rma.peto (10,200,200,10000, 210,10200, + add=1/2, to="only0", drop00=true, + level=95, digits=4, verbose=false) Fixed-Effects Model (k = 1) Test for Heterogeneity: Q(df = 0) = , p-val = Model Results (log scale): estimate se zval pval ci.lb ci.ub Model Results (OR scale): estimate ci.lb ci.ub > rma.peto (31,6,29,271,60,277, add=1/2, to="only0", drop00=true, level=95, digits=4, verbose=false) Fixed-Effects Model (k = 1) Test for Heterogeneity: Q(df = 0) = , p-val = Σελίδα 32 από 37

51 Model Results (log scale): estimate se zval pval ci.lb ci.ub < Model Results (OR scale): estimate ci.lb ci.ub > rma.peto (28,4,23,257,51,261, add=1/2, to="only0", drop00=true, level=95, digits=4, verbose=false) Fixed-Effects Model (k = 1) Test for Heterogeneity: Q(df = 0) = , p-val = Model Results (log scale): estimate se zval pval ci.lb ci.ub < Model Results (OR scale): estimate ci.lb ci.ub rma.peto (61,9,51,509,112,518, add=1/2, to="only0", drop00=true, level=95, digits=4, verbose=false) Σελίδα 33 από 37

52 Fixed-Effects Model (k = 1) Test for Heterogeneity: Q(df = 0) = , p-val = Model Results (log scale): estimate se zval pval ci.lb ci.ub < Model Results (OR scale): estimate ci.lb ci.ub Σελίδα 34 από 37

53 ΒΙΒΛΙΟΓΡΑΦΙΑ Ihaka, Ross (1998). R : Past and Future History. Interface98 (Technical report). Statistics Department, The University of Auckland, Auckland, New Zealand. Fox, John and Andersen, Robert (January 2005). Using the R Statistical Computing Environment to Teach Social Statistics Courses (PDF). Department of Sociology, McMaster University. Retrieved Vance, Ashlee ( ). "Data Analysts Captivated by R's Power". New York Times. Retrieved "R is also the name of a popular programming language used by a growing number of data analysts inside corporations and academia. It is becoming their lingua franca..." David Smith (2012). R Tops Data Mining Software Poll, Java Developers Journal, May 31, Karl Rexer, Heather Allen, & Paul Gearan (2011). Data Miner Survey Summary, presented at Predictive Analytics World, Oct Robert A. Muenchen (2012). "The Popularity of Data Analysis Software". Gentleman, Robert (9 December 2006). "Individual Expertise profile of Robert Gentleman". Archived from the original on 23 July Kurt Hornik. The R FAQ: Why is R named R?. ISBN "GNU R". Free Software Foundation (FSF) Free Software Directory. 19 July Retrieved 13 November "Wrathematics" (27 August 2011). "How Much of R Is Written in R". librestats. Eddelbuettel, Dirk; Francois, Romain (2011). "Rcpp: Seamless R Σελίδα 35 από 37

54 and C++ Integration". Journal of Statistical Software 40 (8). Temple Lang, Duncan (6 November 2010). "Calling R from Java". Nuiton. Jackman, Simon (Spring 2003). "R For the Political Methodologist" (PDF). The Political Methodologist (Political Methodology Section, American Political Science Association) 11 (1): Archived from the original on CRAN Task View. "Graphic Displays & Dynamic Graphics & Graphic Devices & Visualization". The Comprehensive R Archive Network. Dalgaard, Peter (2002). Introductory Statistics with R. New York, Berlin, Heidelberg: Springer-Verlag. Ihaka, Ross; Gentlman, Robert (Sep 1996). "R: A Language for Data Analysis and Graphics". Journal of Computational and Graphical Statistics (American Statistical Association) 5 (3): doi: / SciView, "Speed comparison of various number crunching packages (version 2)". Σελίδα 36 από 37

55 Σελίδα 37 από 37