Τι είναι τα repor-ng guidelines; Απόστολος Τσάπας Επίκ. Καθηγητής Μονάδα κλινικής έρευνας & τεκμηριωμένης ιατρικής Β Παθολογική Κλινική ΑΠΘ
Ερευνητικό άρθρο Το ερευνητικό άρθρο είναι το τελικό προϊόν μιας διαδικασίας Πρωτογενής έρευνα Σχεδιασμός Διενέργεια Δημοσίευση και πρώτη ύλη άλλων διαδικασιών Χρήση σε περαιτέρω έρευνα Δημοσίευση Συστηματική ανασκόπηση Cκατευθυντήριες οδηγίες Καθορίζει τις πολιτικές υγείας και την κλινική πράξη 2
Ερευνητικό άρθρο: ανάλογα με το σκοπό Το δημοσιευμένο ερευνητικό άρθρο είναι κάτι μόνιμο Θα χρησιμοποιηθεί από διαφορετικούς χρήστες για διαφορετικούς σκοπούς, γεγονός που σημαίνει διαφορετικές ανάγκες παρουσίασης Από απλό ξεφύλλισμα για πληροφορίες Μέχρι σχολαστικό έλεγχο της μεθοδολογίας και των ευρημάτων για πιθανή σύγκριση μεταξύ των μελετών στις συστηματικές ανασκοπήσεις Το δημοσιευμένο άρθρο πρέπει να ταιριάζει ανάλογα με αυτούς τους πολλαπλούς σκοπούς Τα νέα χαρακτηριστικά των δημοσιεύσεων (πχ online suppl) μπορούν να αυξήσουν την αναγνωσιμότητα χωρίς να αποκλείσουν σημαντικές πληροφορίες 3
Συνήθη τμήματα ενός ιατρικού άρθρου Τίτλος θα τραβήξει τον αναγνώστη στα βασικά σημεία της μελέτης Περίληψη συνοψίζει τη μελέτη, και με τον τίτλο, βοηθάει τον αναγνώστη να κα- ταλάβει το περιεχόμενο και εν τάχει και τα αποτελέσματα της μελέτης Εισαγωγή εξηγεί γιατί έγινε η μελέτη και τι ερώτημα τέθηκε Μέθοδοι περιγράφει πώς έγινε η μελέτη Αποτελέσματα παρουσιάζει τι βρήκαμε Συζήτηση συζητά τι μπορούν να σημαίνουν τα ευρήματα Συμπεράσματα αν υπάρχουν, δίνουν μία σύντομη περίληψη των κύριων ευρημάτων 4
Καλό ερευνητικό άρθρο Βασίζεται σε καλοσχεδιασμένη και καλοεκτελεσμένη μελέτη Συνδυάζει: Καλή λογική δομή Πλήρη και ακριβή περιγραφή των βασικών στοιχείων των μελετών Σαφές και περιεκτικό γράψιμο 5
Καλό ερευνητικό άρθρο Βασίζεται σε καλά σχεδιασμένη και εκτελεσμένη έρευνα Συνδυάζει: Καλή λογική δομή Πλήρη και ακριβή περιγραφή των βασικών στοιχείων της μελέτης Σαφές και περιεκτικό γράψιμο Οδηγίες επιστημονικής συγγραφής 6
Καλό ερευνητικό άρθρο Βασίζεται σε καλά σχεδιασμένη και εκτελεσμένη έρευνα Συνδυάζει: Καλή λογική δομή Πλήρη και ακριβή περιγραφή των βασικών στοιχείων της μελέτης Σαφές και περιεκτικό γράψιμο Repor-ng guidelines Οδηγίες επιστημονικής συγγραφής 7
Συνήθη προβλήματα στη δημοσίευση της έρευνας Μη παρουσίαση ή καθυστερημένη παρουσίαση μελετών Παράλειψη ή κακή παρουσίαση αποτελεσμάτων στις περιλήψεις Μέθοδοι και αποτελέσματα Παράλειψη βασικών πληροφοριών στην περιγραφή των ερευνητικών μεθόδων και παρεμβάσεων Ασυμφωνία μεταξύ πρωτοκόλλου (ή μητρώου) και δημοσίευσης Παρουσίαση ελλιπών στοιχείων (τα δεδομένα δεν μπορούν να συμπεριληφθούν σε SR / MA) Επιλεκτική παρουσίαση μεμονωμένων εκβάσεων ή αναλύσεων Ανεπαρκής παρουσίαση της βλάβης Ανεπαρκής παρουσίαση στατιστικής επεξεργασίας Παρουσίαση που μπερδεύει ή παραπλανά (π.χ. Παρουσίαση δεδομένων & γραφημάτων με τρόπο που μπερδεύει ή παραπλανά ιδιαίτερα σημαντικό για την παρουσίαση οφέλους και ζημίας) Κακή ερμηνεία των ευρημάτων της μελέτης (spin) 8
Επίπτωση μίας ερευνητικής δημοσίευσης Τα επιστημονικά άρθρα πρέπει να παρουσιάζουν αρκετά στοιχεία ώστε ο αναγνώστης να μπορεί να αξιολογήσει πλήρως τις πληροφορίες και να βγάλει τα δικά του συμπεράσματα από τα αποτελέσματα ώστε να αποφασίσει για την αξιοπιστία και χρησιμότητα Οι αναγνώστες πρέπει να μπορούν να καταλάβουν ξεκάθαρα τι έγινε Κλινικοί γιατροί Ερευνητές Συγγραφείς συστηματικών ανασκοπήσεων Σχεδιαστές συστημάτων υγείας Πολιτικοί
Διαφάνεια και αξία Η έρευνα αξίζει μόνο αν Οι ερευνητικές μέθοδοι είναι έγκυρες Τα ερευνητικά ευρήματα δημοσιεύονται σε μορφή που να μπορεί να χρησιμοποιηθεί
Τι θα πρέπει να αναφέρουν; Θα πρέπει να περιγράφουν τις στατιστικές μεθόδους επαρκώς ώστε να επιτρέπουν την επαλήθευση των αποτελεσμάτων από έναν έμπειρο αναγνώστη με πρόσβαση στα πρωτότυπα δεδομένα. [Internavonal Commixee of Medical Journal Editors] Αντίστοιχα ισχύουν για όλα τα μέρη της μελέτης, δηλαδή Την επιλογή συμμετεχόντων, τις παρεμβάσεις, τις εκβάσεις κλπ. Ο στόχος είναι διαφάνεια Δεν πρέπει να παραπλανά Θα πρέπει να επιτρέπει την αναπαραγωγή Θα πρέπει να μπορεί να συμπεριληφθεί σε συστηματική ανασκόπηση και μετα- ανάλυση
Τι εννοούμε όταν λέμε κακογραμμένη έρευνα; Βασικά Σημαντικές πληροφορίες λείπουν, είναι ελλιπείς ή γραμμένες αμφισημικά Μέθοδοι Αποτελέσματα Επίσης Επιλεκτική παρουσίαση Όλη η μελέτη ή μέρος της Παραπλανητική ερμηνεία κλπ
Παραδείγματα καλής (ξεκάθαρης) παρουσίασης Sequence genera-on Independent pharmacists dispensed either acvve or placebo inhalers according to a computer generated randomizavon list.... The randomizavon code was developed using a computer random number generator to select random permuted blocks. The block lengths were 4, 8, and 10 varied randomly... 13
Παράδειγμα κακής (ασαφούς) παρουσίασης Pavents were assigned to either the intervenvon or control group, by selecvon of a card from a pile of equal numbers of cards for each group. [Lancet 2002; 360: 1455 61.] 14
Καλή παρουσίαση, κακή μεθοδολογία Randomizavon was alternated every 10 pavents, such that the first 10 pavents were assigned to early atropine and the next 10 to the regular protocol, etc. To avoid possible bias, the last 10 were also assigned to early atropine. 15
Repor-ng vs conduct: study methods Παρουσιάζεται πλήρως (μπορεί να αναπαραχθεί) Παρουσιάζεται ανεπαρκώς ή αμφισημικά Δεν παρουσιάζεται Έγινε καλά Δεν έγινε καλά Δεν έγινε 16
Repor-ng vs conduct: results Παρουσιάζεται πλήρως (μπορεί να συμπεριληφθεί σε μετα- ανάλυση) Παρουσιάζεται ανεπαρκώς ή αμφισημικά Δεν παρουσιάζεται Ακριβώς όπως είχε προ- αποφασισθεί Ξεκάθαρο ότι δεν είχε προ- αποφασισθεί Post hoc εύρημα, αυτό όμως δεν περιγράφεται 17
Στοιχεία κακής παρουσίασης Υπάρχει πλήθος στοιχείων που αποδεικνύει ότι πολλά άρθρα που δημοσιεύονται παραλείπουν σημαντικές πληροφορίες Εκατοντάδες ανασκοπήσεις δημοσιευμένων ερευνητικών άρθρων Συχνά δεν μπορούμε να πούμε πώς ακριβώς έγινε η έρευνα
Το μέγεθος του προβλήματος... Από τις 519 δημοσιευμένες RCTs (Δεκέμβριος 2000) ανέφεραν στοιχεία για: τον υπολογισμό του μεγέθους του δείγματος 27% τον ορισμό του πρωτεύοντος καταληκτικού σημείου 45% αν περιελάμβαναν τυφλοποίηση 40% τη μέθοδο παραγωγής τυχαίας σειράς αριθμών 21% την απόκρυψη της κατανομής 18% Chan et al. Lancet. 2005; 365(9465): 1159-62
Selec-ve repor-ng Ανεπιθύμητες ενέργειες (AE) σε 49 δημοσιευμένες RCTs για HAART (Highly Acvve Anv- Retroviral Therapy) μεταξύ 2000 και 2008: τρόπο συλλογής AE ανέφερε μόνο 1 μελέτη 26 μελέτες ανέφεραν μόνο AE που αποδόθηκαν στο φάρμακο (οι 9 μόνο ανέφεραν πως ορίζεται αυτό) αναφορά AE συνήθως με κριτήριο τη σοβαρότητά τους ή τη συχνότητά τους οι περισσότερες μελέτες που χρηματοδοτούνταν από τη φαρμακευτική βιομηχανία ανέφεραν μόνο AE πάνω από μία ορισμένη συχνότητα (30/31) σε σχέση με αυτές που χρηματοδοτούνταν από μη κερδοσκοπικούς οργανισμούς (3/18) Chowers et al. J AnPmicrob Chemother. 2009; 64(2): 239-50
Selec-ve repor-ng (συνέχεια...) Σύγκριση του πρωτοκόλλου με τα αντίστοιχα δημοσιευμένα άρθρα για 102 RCTs: στο 62% των μελετών διαπιστώθηκε διαφορά στο πρωτεύον καταληκτικό σημείο! 86% των ερευνητών που ρωτήθηκαν αρνήθηκαν ότι παρέλειψαν κάποιο καταληκτικό σημείο παρά τις ισχυρές ενδείξεις περί του αντιθέτου στατιστικά σημαντικά αποτελέσματα είχαν μεγαλύτερη πιθανότητα να δημοσιευθούν Chan et al. JAMA. 2004; 291(20): 2457-65
Δημοσιεύσεις RCTs στο PubMed Δεκ 2000 (Ν=519) Δεκ 2006 (Ν=616) Ορίζανε επαρκώς το πρωτεύον καταληκτικό σημείο 45% 53% Υπολογισμός μεγέθους δείγματος 27% 45% Μέθοδος τυχαιοποίησης 21% 34% Μέθοδος απόκρυψης κατανομής 18% 25% Χρήση τυφλοποίησης 40% 41% Chan & Altman, Lancet 2005; Hopewell et al, BMJ 2010 22
Παρουσίαση έρευνας Στο 37% των δημοσιεύσεων τα στοιχεία των ασθενών παρουσιάζονταν ανεπαρκώς. 20% των μελετών παρουσίαζαν στα αποτελέσματα καινούριες στατιστικές μεθόδους που δεν είχαν προηγουμένως περιγραφείσ τις μεθόδους, και 23% των δημοσιεύσεων δεν παρουσίαζαν στοιχεία για το μέγεθος του πιθανού σφάλματος στην εκτίμηση του πρωτεύοντος καταληκτικού σημείου. [Parsons et al, J Bone Joint Surg Br 2011]
Μελέτες ασθενών μαρτύρων Bias in psychiatric case- control studies: literature survey. [Lee et al, Br J Psychiatry 2007] ΑΠΟΤΕΛΕΣΜΑΤΑ Η παρουσίαση των αποτελεσμάτων στις 408 δημοσιεύσεις που βρήκαμε ήταν κακή, και λείπανε συχνά βασικές πληροφορίες για τη στρατολόγηση των συμμετεχόντων ΣΥΜΠΕΡΑΣΜΑΤΑ Η κακή παρουσίαση των στρατηγικών στρατολόγησης μειώνει την εγκυρότητα των αποτελεσμάτων και τη δυνατότητα γενίκευσης των συμπερασμάτων τους.
Επιπτώσεις της κακής παρουσίασης / δημοσίευσης Οι δημοσιεύσεις που σωρεύονται είναι παραπλανητικές Οι μεθοδολογικές αδυναμίες μπορεί να μην είναι εμφανείς Τα αποτελέσματα μπορεί να έχουν συστηματικό σφάλμα(bias) Η αξιολόγηση της αξιοπιστίας των δημοσιεύσεων υποσκάπτεται από την πλημμελή παρουσίαση Οι κλινικοί δεν μπορούν να αποφασίσουν αν θα πρέπει να χρησιμοποιήσουν μία θεραπεία Τα δεδομένα δεν μπορούν να συμπεριληφθούν σε συστηματικές ανασκοπήσεις Ανεπιθύμητες ενέργειες σε Άλλους ερευνητές Κλινικούς Ασθενείς
Τίνος σφάλμα είναι η κακή παρουσίαση / δημοσίευση; Η κακή παρουσίαση παραπέμπει σε ένα συλλογικό σφάλμα των συγγραφέων, των κριτών και των editors σε τεράστια κλίμακα Επίσης, το ίδιο ισχύει και για τους χρηματοδότες, τους καθηγητές των ιατρικών σχολών, τις επιτροπές ηθικής κλπ Οι ερευνητές (συγγραφείς) μπορεί να μη γνωρίζουν ποιες πληροφορίες θα πρέπει να συμπεριλάβουν στην παρουσίαση / δημοσίευση της έρευνάς τους Οι editors μπορεί να μη γνωρίζουν ποιες πληροφορίες θα πρέπει να συμπεριληφθούν Πώς μπορούμε να βοηθήσουμε τους συγγραφείς/ερευνητές;
Repor-ng guidelines (RG) Καθορίζουν τα ελάχιστα αντικείμενα που απαιτούνται για την σαφή και με διαφάνεια παρουσίαση του τι έγινε και τι βρέθηκε σε μία επιστημονική μελέτη, εστιάζοντας σε συγκεκριμένα θέματα που θα μπορούσαν να εισάγουν συστηματικό σφάλμα (bias) στην έρευνα Στηρίζονται σε στοιχεία και το consensus πολλαπλών εμπλεκόμενων, συναφών αντικειμένων (mulvdisciplinary group) Οφέλη από τη χρήση RGs: Βελτιωμένη ακρίβεια και διαφάνεια των δημοσιεύσεων Πιο εύκολη αξιολόγηση των δημοσιεύσεων ως προς την ποιότητα και συνάφειά τους Αυξημένη αποτελεσματικότητα στην αναζήτηση της βιβλιογραφίας Moher et al. PLoS Med 2010
Διαφορετικά είδη RG (1) ΕΙΔΟΣ ΜΕΛΕΤΗΣ / ΜΕΘΟΔΟΛΟΓΙΑ Γενικές αρχές, βασικά μεθοδολογικά χαρακτηριστικά, χωρίς λεπτομέρειες ειδικά για τη νόσο κλπ Βασικό RG ( Must ) Γενικό πλαίσιο παρουσίασης βασικών στοιχείων: Βασικών ειδών μελετών (γενικές οδηγίες) Πιο εξειδικευμένα είδη μελετών Συγκεκριμένες μέθοδοι, αξιολογήσεις, αναλύσεις 28
Παραδείγματα: γενικές οδηγίες 29
The CONSORT Statement for Repor-ng RCTs [Schulz et al, JAMA 2010] Στη δημοσίευση θα πρέπει να παρουσιάζονται 25 αντικείμενα Επίσης, στη δημοσίευση θα πρέπει να υπάρχει ένα διάγραμμα ροής που περιγράφει την πορεία των ασθενών στη μελέτη Τα πιο σημαντικά γενικά ιατρικά ιατρικά περιοδικά και πολλά εξειδικευμένα περιοδικά έχουν ήδη υιοθετήσει τις συστάσεις του CONSORT Οι συγγραφείς δεν μπορούν να κρύψουν ανεπάρκειες της μελέτης παραλείποντας σημαντικές πληροφορίες διαφάνεια
Παραδείγματα: εξειδικευμένη μελέτη 31
Άλλα repor-ng guidelines Άλλα είδη μελετών το CONSORT ως πρότυπο PRISMA (Συστηματικές ανασκοπήσεις RCTs) STARD (μελέτες διαγνωστικής ακρίβειας) STROBE (μελέτες παρατήρησης) REMARK (προγνωστικές μελέτες καρκινικών δεικτών) GRIPS (προγνωστικές μελέτες γενετικού κινδύνου) Οι περισσότερες οδηγίες δεν έχουν υιοθετηθεί ευρέως από τα ιατρικά περιοδικά ή τους ερευνητές Η δυνητική επίδρασή τους είναι περιορισμένη
Παραδείγματα: μέθοδοι 33
Διαφορετικά είδη RG (2) ΣΥΓΚΕΚΡΙΜΕΝΟ ΑΝΤΙΚΕΙΜΕΝΟ / ΚΛΙΝΙΚΗ ΠΕΡΙΟΧΗ Εξειδίκευση διαφορετικού βαθμού Μπορεί και να μην ασχολούνται με αντικείμενα ευρύτερης μεθοδολογίας Θα πρέπει να χρησιµοποιούνται σε συνδυασµό µε οδηγίες ευρύτερης µεθοδολογίας καθώς συχνά εστιάζουν σε συγκεκριµένα αντικείµενα Μπορεί να εστιάζουν σε ολόκληρη τη μελέτη ή μόνο σε ένα τμήμα της 34
Παραδείγματα 35
Παραδείγματα 36
Research repor-ng guidelines Είδος μελέτης Συστηματικές ανασκοπήσεις & μετα- αναλύσεις Τυχαιοποιημένες ελεγχόμενες δοκιμές Πρωτόκολλα κλινικών δοκιμών Μελέτες διαγνωστικής ακρίβειας Μελέτες παρατήρησης Περιγραφή περίπτωσης (case reports) Έρευνα σε ζώα Κατευθυντήριες οδηγίες PRISMA CONSORT Statement SPIRIT STARD STROBE CARE ARRIVE Τα σημαντικότερα ιατρικά περιοδικά (π.χ. Lancet, NEJM, JAMA, BMJ, κ.α.) απαιτούν συμμόρφωση με τις παραπάνω κατευθυντήριες οδηγίες και απαιτούν οι αντίστοιχες checklists να υποβάλλονται μαζί με το άρθρο
Κατάσταση σήμερα Δε δημοσιεύεται όλη η έρευνα Οι ερευνητικές δημοσιεύσεις είναι ανεπαρκείς Η βελτίωση στο χρόνο είναι αργή Υπάρχουν οδηγίες για τα περισσότερα είδη δημοσίευσης και φάνηκε ότι Βελτιώνουν τις δημοσιεύσεις Η υιοθέτηση από τα περιοδικά είναι καλή για το CONSORT, ανεπαρκής όμως για τις υπόλοιπες Η συμμόρφωση δεν είναι καλή Οι ερευνητές δεν έχουν κίνητρο να συμμορφωθούν
Cobo et al, BMJ 2011 Επιπρόσθετες κρίσεις, βασισμένες σε οδηγίες παρουσίασης είχαν ως αποτέλεσμα βελτίωση της ποιότητας των εργασιών, μολονότι το αποτέλεσμα δεν ήταν βέβαιο, και ήταν μικρότερο απ ότι είχε αρχικά υποτεθεί.
Επίπτωση πρότασης CONSORT Sequence generavon is approximately 56% bexer reported in the 673 trial reports in endorsing journals compared to the 1231 trials published in non- endorsing journals (RR = 1.56; 95%CI: 1.36, 1.80) 45
Επίπτωση πρότασης CONSORT 46
Επίπτωση πρότασης CONSORT
Τι χρειάζεται; Οι συγγραφείς πρέπει να είναι ενήμεροι της ηθικής υποχρέωσης που έχουν να δημοσιεύσουν τα ευρήματά τους Τίμια και με διαφάνεια Οι συγγραφείς, editors και κριτές πρέπει να είναι ενήμεροι των αναγκών των αναγνωστών Αρχής της δυνατότητας αναπαραγωγής των ευρημάτων Να μπορούν να συμπεριληφθούν σε μελλοντικές συστηματικές ανασκοπήσεις Να είναι ενήμεροι, και να ακολουθούν τις μείζονες οδηγίες δημοσίευσης
Σημασία της ορθής παρουσίασης/δημοσίευσης της έρευνας Για να είναι μία δημοσίευση καλή δε φτάνει μόνο η ακριβής, διαφανής δημοσίευση. Εντούτοις, γνωρίζοντας εκ των προτέρων ότι οι editors απαιτούν υψηλή ακρίβεια και διαφάνεια στις παρουσιάσεις της έρευνας, οι ερευνητές συχνά είναι καλύτεροι στο σχεδιασμό και την εκτέλεση των ερευνών τους. Η ακριβής και διαφανής παρουσίαση είναι σαν να ανάβεις το φως στο δωμάτιο πριν καθαρίσεις: το δωμάτιο δεν καθαρίζει από μόνο του, εσύ ξέρεις όμως πλέον πού πρέπει να καθαρίσεις και πού είναι τα προβλήματα. [Davidoff, Ann Intern Med 2000]
Σημασία της ορθής παρουσίασης/δημοσίευσης της έρευνας Οι ερευνητικές δημοσιεύσεις θα πρέπει να παρουσιάζουν επαρκή στοιχεία ώστε να επιτρέπουν την πλήρη αξιολόγηση των δεδομένων που παρουσιάζονται και την περαιτέρω χρήση αυτών των ευρημάτων Η ορθή παρουσίαση/δημοσίευση είναι σημαντικό κομμάτι της ορθής έρευνας
Authors contribu-on statement Κάθε συγγραφέας πρέπει να πληροί όλα τα παρακάτω κριτήρια: Σημαντική συνεισφορά στο σχεδιασμό του έργου ή τη συλλογή, ανάλυση και ερμηνεία των δεδομένων Συγγραφή του προσχεδίου ή ουσιαστική συνεισφορά στην αναθεώρησή του Έγκριση της τελικής έκδοσης προς δημοσίευση Συμφωνεί ότι είναι υπόλογος για την ακρίβεια του έργου Internavonal Commixee of Medical Journal Editors
Σύγκρουση συμφερόντων (COI Conflicts of interest) Κάθε συγγραφέας δηλώνει: οικονομικές σχέσεις με εταιρίες που χρηματοδοτούν το έργο οικονομικές σχέσεις (την τελευταία τριετία) με εταιρίες τα συμφέροντα των οποίων θα μπορούσαν να σχετίζονται με το έργο αντίστοιχες οικονομικές σχέσεις του/της συζύγου και των παιδιών μη οικονομικές σχέσεις Τυποποιημένη φόρμα www.icmje.org/coi_disclosure.pdf
Έρευνα υποστηριζόμενη από τη βιομηχανία Μελέτες προερχόμενες από τη βιομηχανία καταλήγουν συχνότερα σε ευνοϊκά αποτελέσματα για την αποτελεσματικότητα και την ασφάλεια των φαρμάκων Τέτοιες συστηματικές ανασκοπήσεις καταλήγουν σε πιο ευνοϊκά συμπεράσματα και έχουν περισσότερες μεθοδολογικές αστοχίες σε σχέση με αυτές της Cochrane Jorgensen et al. BMJ 2006; 333: 782 Lundh et al. Cochrane Database Syst Rev 2012; 12(12): MR000033
Μητρώα κλινικών δοκιμών Απαιτείται η καταχώρηση όλων των παρεμβατικών μελετών σε μητρώα κλινικών δοκιμών (clinical trial registries) πριν τη στρατολόγηση του πρώτου ασθενή Αποδεκτά μητρώα κλινικών δοκιμών θεωρούνται αυτά που περιλαμβάνονται στο ICTRP (Internavonal Clinical Trials Registry Pla orm) του ΠΟΥ ClinicalTrials.gov, EU Clinical Trials Register, κ.α.
Πρωτόκολλα συστηματικών ανασκοπήσεων PROSPERO Database (University of York, Centre for Reviews and Disseminavon) καταχώρηση της συστηματικής ανασκόπησης πριν την ολοκλήρωση του data extracvon Cochrane Library μόνο για τις συστηματικές ανασκοπήσεις Cochrane
Για περισσότερες πληροφορίες: www.equator- network.org 56
EQUATOR website 57
Library for health research repor-ng 58
Repor-ng guidelines database 59