Η έρευνα αξιολόγησης: θεωρητικό πλαίσιο και βασικές έννοιες Σοφία Καζαντζίδου Υπεύθυνη Έρευνας ΚΕΘΕΑ ΙΘΑΚΗ research@kethea-ithaki.gr 12-13 Δεκεμβρίου 2016
Ορισμός Μία συστηματική τεχνική διαδικασία με σαφή πολιτικό χαρακτήρα, γιατί περιλαμβάνει σχεδιασμένες ενέργειες, που συνδέονται (άμεσα ή έμμεσα) με την κατανομή και ανακατανομή δύναμης και πόρων. (Ιατρίδης, 2009) μία διαδικασία διαρκούς διερεύνησης και συλλογής πληροφοριών που αφορά τις δράσεις, τα χαρακτηριστικά και τα αποτελέσματα του προγράμματος, επιτρέπει την αποτίμηση και βελτίωσή του ή/και τη διαμόρφωση αποφάσεων για τη μελλοντική ανάπτυξη του. (WHO, 2000)
Χρειάζεται η εγκαθίδρυση μιας υγειούς κουλτούρας, ευνοϊκής των διαδικασιών αξιολόγησης στο πρόγραμμα που να επιτρέπει την ανάπτυξη μιας στάσης διαρκούς διερεύνησης και απόκτησης πληροφοριών για την εφαρμογή των συστατικών και των αποτελεσμάτων του προγράμματος. (WHO, 2000)
Σε πολλές χώρες η ανάπτυξη προγραμμάτων θεραπείας βασίστηκε κυρίως στην προσωπική εμπειρία, απόψεις και μαρτυρίες και όχι σε ερευνητικά δεδομένα ή δημοσιευμένες μελέτες. Δημιουργία προγραμμάτων αμφιβόλου αποτελεσματικότητας και επάρκειας. Η έρευνα αξιολόγησης μπορεί να βοηθήσει στην αναγνώριση των αναγκαίων υπηρεσιών θεραπείας και την αποτελεσματικότητα αυτών που ήδη είναι διαθέσιμες.
Ανάπτυξη Ερευνητικού Σχεδίου Αρχικά σημεία διερεύνησης - των αποτελεσμάτων από προηγούμενες έρευνες - της βασικής ερώτησης που χρειάζεται να απαντηθεί - του μεγέθους και της προσέγγισης της έρευνας - του ανθρώπινου δυναμικού που θα χρειαστεί - των απαιτούμενων δεξιοτήτων των ερευνητών - των απαιτούμενων οικονομικών πόρων - του χρονοδιαγράμματος της έρευνας
Η επικοινωνία με όλους τους ενδιαφερόμενους (πάροχους υπηρεσίας, εξυπηρετούμενους, φορείς χρηματοδότησης) είναι καταλυτικής σημασίας - στη διερεύνηση της διαθέσιμης υποστήριξης και διάθεσης για συνεργασία - την κατεύθυνση που χρειάζεται να πάρει - ενημέρωση για πρακτικά ζητήματα σχετικά με την εφαρμογή της
Σκοπός να γίνουν ξεκάθαρα ποιος θέλει να ξέρει τι μέχρι πότε το βαθμό ακρίβειας το κόστος Διαφορετικές ομάδες έχουν διαφορετικές ιδέες ή προτεραιότητες σχετικά με το αντικείμενο της αξιολόγησης Επιλογή του πιο σημαντικού
Σημαντικοί άλλοι που ίσως να ενδιαφέρονται - Το σύστημα υγείας - Το σύστημα ασφάλισης - Κυβερνητικοί οργανισμοί - ΜΚΟ - Εργοδοτικοί Φορείς - η κοινωνία
Ζητήματα Ηθικής - Σωστή ενημέρωση των συμμετεχόντων - Γραπτή συγκατάθεση συμμετοχής - Εμπιστευτικότητα - Ενημέρωση για ενδεχόμενο παραβίασης απορρήτου
Πέντε είδη αξιολόγησης Αξιολόγηση αναγκών Αξιολόγηση διαδικασίας Ικανοποίηση πελατών Αξιολόγηση αποτελέσματος Οικονομική αξιολόγηση
Αξιολόγηση Αναγκών Σκοπός της είναι να εκτιμήσει την τρέχουσα και/ή μελλοντική φύση και διάδοση των συνδεόμενων με τη χρήση ουσιών διαταραχών σε συγκεκριμένους πληθυσμούς. Βοηθά στην ανάπτυξη υποστηρικτών υπηρεσιών και υπηρεσιών θεραπείας. Χρειάζεται να προηγείται από το σχεδιασμό και την εφαρμογή μιας υπηρεσίας.
Ενδεικτικές ερωτήσεις: ποια είναι η φύση και η έκταση της κατάχρησης ουσιών στην πόλη; Πόσο καλά οι υπάρχουσες υπηρεσίες καλύπτουν τις ανάγκες του πληθυσμού που βρίσκεται σε κίνδυνο;
Αξιολόγηση της Διαδικασίας Αφορά το πώς μια θεραπεία ή ένα πρόγραμμα λειτουργεί. ερευνά το αν εφαρμόστηκε το αρχικό σχέδιο λειτουργίας. εντοπίζει τους τομείς που χρήζουν βελτίωσης.
Ενδεικτικές ερωτήσεις Τι αναμένεται από το πρόγραμμα/υπηρεσία/σύστημα να πετύχει; Σε ποιο βαθμό εφαρμόζεται η θεραπεία όπως σχεδιάστηκε; Είναι οι υπηρεσίες καλής ποιότητας; Ποιες είναι οι απόψεις του προσωπικού σχετικά με την αξία και την ποιότητα της υπηρεσίας; Πόσοι από τον πληθυσμό στόχου προσεγγίσθηκαν; Ποιοι πελάτες δεν ολοκληρώνουν τη θεραπεία;
Ικανοποίηση πελατών - Χρησιμοποιούνται τακτικά ή περιοδικά με στόχο την αξιολόγηση της θεραπείας από την πλευρά του εξυπηρετούμενου. - Δεν αποτελεί από μόνη της επαρκή αξιολόγηση της αποτελεσματικότητας της θεραπείας. - Σημαντικό να λαμβάνονται υπόψη οι πολιτισμικές διαφορές
Ενδεικτικές ερωτήσεις Αισθάνονται οι εξυπηρετούμενοι ότι ικανοποιούνται οι ανάγκες τους; Τι αρέσει στους εξυπηρετούμενους λιγότερο ή θεωρούν λιγότερο βοηθητικό; Γιατί κάποιοι διακόπτουν από το πρόγραμμα;
Αξιολόγηση Αποτελέσματος Εξετάζει τα άμεσα και μακροπρόθεσμα αποτελέσματα της θεραπείας. Ενδεικτικές ερωτήσεις - Ποιο είναι το ποσοστό των εξυπηρετούμενων που ολοκλήρωσαν τη θεραπεία; - Σε τι ποσοστό οι εξυπηρετούμενοι μείωσαν τη χρήση ναρκωτικών μετά τη θεραπεία; - Είναι η θεραπεία καλύτερη από άλλες θεραπείες; - Γιατί το πρόγραμμα πετυχαίνει αυτά τα αποτελέσματα;
Οικονομικές Αξιολογήσεις Εξετάζουν τους πόρους που απαιτούνται για την παροχή της υπηρεσίας και τα παραγόμενα οφέλη. Τρία είδη: - Ανάλυση κόστους (cost analysis) - Ανάλυση κόστους αποτελεσματικότητας (cost-effectiveness analysis) - Ανάλυση κόστους-οφέλειας (cost-utility and cost benefit analysis)
Ενδεικτικές ερωτήσεις Ποιο είναι το μέσο κόστος ανά εξυπηρετούμενο; (ανάλυση κόστους) Πώς δύο ή περισσότερες θεραπείες συγκρίνονται αναφορικά με το κόστος ανά μονάδα του αποτελέσματος; (ανάλυση κόστουςαποτελεσματικότητας) Δεδομένου του σχετικού κόστους, πώς δύο ή περισσότερες θεραπείες συγκρίνονται με βάση την ποιότητα και την ποσότητα της ζωής των εξυπηρετούμενων μετά τη θεραπεία; (ανάλυση κόστους-οφέλειας)
Μέθοδοι έρευνας: Ποσοτικές ή/και Ποιοτικές Διαφέρουν ως προς Το φιλοσοφικό υπόβαθρο Το επιστημονικό υπόβαθρο Τους σκοπούς Τις μεθόδους Τα δυνατά σημεία Τα περιοριστικά στοιχεία Τα κριτήρια αξιολόγησης
Επικρατούσα η ποσοτική μεθοδολογία Βασικές προϋποθέσεις ενός εργαλείου είναι να μετρά αυτό που διατείνεται ότι μετρά (εγκυρότητα/validity) και το κάνει με συνέπεια (αξιοπιστία /reliability), καθώς και η ευαισθησία του εργαλείου, το να μετρά δηλαδή σημαντικές αλλαγές. Κριτήρια ποιοτικής μεθοδολογίας - Συνέπεια - Αντανάκλαση - Διαφάνεια Κοινό κριτήριο αξιολόγησης ποσοτικών και ποιοτικών ερευνών είναι η χρηστικότητά τους
Μέθοδοι έρευνας: Ποσοτικές ή/και Ποιοτικές Η επιλογή μεθόδου εξαρτάται από - το ερευνητικό ερώτημα - την τεχνογνωσία των εμπλεκόμενων ερευνητών - τους διαθέσιμους πόρους - το χρονοδιάγραμμα - Ζητήματα ηθικής και δεοντολογίας
Η περίπτωση της ενδυναμωτικής αξιολόγησης Αποτελεί μία νέα κατεύθυνση έρευνας στις κοινωνικές επιστήμες, που ενθαρρύνει τη συμμετοχή των αξιολογουμένων στην αξιολόγηση ενός οργανισμού. Στόχος της είναι η ενδυνάμωση των συμμετεχόντων μέσω της αυτό-αξιολόγησης, της εκπαίδευσης και της ενεργοποίησής τους μέσω της αξιολόγησης. Άλλες ονομασίες Συμμετοχική αξιολόγηση, αξιολόγηση με ισχύ, συν-αξιολόγηση, Ενισχυτική αξιολόγηση.
Ενισχύοντας την επίδραση της αξιολόγησης Η προώθηση των αποτελεσμάτων της έρευνας είναι μια εξίσου σημαντική δουλειά Χρειάζεται στρατηγική παρουσίασης των αποτελεσμάτων της αξιολόγησης Ενδυνάμωση και υποστήριξη όσων θα χρειαστεί να υλοποιήσουν τις αλλαγές (π.χ. παροχή εκπαιδευτικών προγραμμάτων, εκπαιδευτικού οδηγού) Καλή επικοινωνία μεταξύ αυτών που παρουσιάζουν την τεκμηριωμένη θεωρία και αυτών που καλούνται να υλοποιήσουν τις αλλαγές.
Η αξιολόγηση/έρευνα αποτελεσματικότητας. Αποσαφήνιση παραμέτρων και ανάπτυξη ερευνητικών σχεδίων μελετά την αλλαγή των εξυπηρετούμενων και των δεδομένων τους καθώς και το αν η θεραπευτική εμπειρία ήταν ένας αιτιακός παράγοντας της αλλαγής αυτής.
Μέθοδοι αξιολόγησης του αποτελέσματος - Σχέδιο τυχαίας ελεγχόμενης δοκιμασίας (randomised controlled trial design): Τυχαία τοποθέτηση στο πρόγραμμα ή και σε κάποια άλλη εναλλακτική δύο ή περισσότερων ομάδων εξυπηρετούμενων και χρησιμοποίηση των ίδιων ερευνητικών εργαλείων πριν και μετά τη θεραπεία. - Σχέδιο σύγκρισης ομάδων (comparison group design): στοχευμένη επιλογή η ομοιότητα των συμμετεχόντων στις ομάδες - Σχέδιο σύγκρισης μετρήσεων πριν και μετά τη θεραπεία στον ίδιο πληθυσμό (Pre-post design)
Μερικά μεθοδολογικά ζητήματα Η επιλογή των εξυπηρετούμενων που θα συμμετάσχουν το μέγεθος του δείγματος ο προγραμματισμός και η συχνότητα της επανεξέτασης προετοιμάζοντας και εντοπίζοντας τους εξυπηρετούμενους για τις συνεντεύξεις επανεξέτασης Η διεξαγωγή των συνεντεύξεων επιλογή και εκπαίδευση των συνεντευκτών
Βασικά κριτήρια αξιολόγησης - η χρήση ουσιών (συχνότητα, ποσότητα, τρόπος) - η προσωπική και κοινωνική λειτουργικότητα (οικογενειακές και κοινωνικές σχέσεις, απασχόληση, εκπαίδευση) - η δημόσια υγεία και οι κίνδυνοι ασφάλειας (παραβατική συμπεριφορά, σωματική και ψυχική υγεία, συμπεριφορές υψηλού κινδύνου)
Εργαλεία Ερωτηματολόγια (με κλειστές ή/και ανοιχτές ερωτήσεις) Συνεντεύξεις (πρόσωπο με πρόσωπο, τηλεφωνικές) Εστιασμένες ομαδικές συνεντεύξεις Παρατήρηση Αρχειακό υλικό Εργαστηριακές εξετάσεις Μίξη μεθόδων έρευνας
Αξιολόγηση αποτελέσματος σε επίπεδο συστήματος Ευρείες έρευνες που βασίζονται στη συλλογή δεδομένων ρουτίνας Σχέδιο σύγκρισης μετρήσεων πριν και μετά τη θεραπεία στον ίδιο πληθυσμό δυσκολία σύγκρισης αποτελεσμάτων μεταξύ προγραμμάτων λόγω διαφορετικού πλαισίου, πληθυσμού και στόχων Απειλή η αξιοποίηση των αποτελεσμάτων με στόχο το κλείσιμο ή τη συρρίκνωση προγραμμάτων. Ευκαιρία η ενδυνάμωση των προγραμμάτων με καλές πρακτικές.
Κύριες Πηγές - Evaluation of Psychoactive Substance Use Disorder Treatment. Outcome Evaluations. (WHO,2000) - Marsden et al, 2000. International guidelines for the evaluation of treatment services and systems for psychoactive substance use disorders. WHO, UNDCP & EMCDDA. - Ιατρίδης, Δ. (2009). Οργανισμοί κοινωνικής Φροντίδας. Σχεδιασμός Κοινωνικής Πολιτικής. Ελληνικά Γράμματα, Αθήνα.