ΕΝΑ ΜΟΝΤΕΛΟ ΑΞΙΟΛΟΓΗΣΗΣ ΑΝΑΠΤΥΞΙΑΚΩΝ ΠΡΟΓΡΑΜΜΑΤΩΝ: Η περίπτωση των ΠΕΠ

Transcript

1 ΕΝΑ ΜΟΝΤΕΛΟ ΑΞΙΟΛΟΓΗΣΗΣ ΑΝΑΠΤΥΞΙΑΚΩΝ ΠΡΟΓΡΑΜΜΑΤΩΝ: Η περίπτωση των ΠΕΠ ρ. Σαµαθρακής Βαγής ΤΕΙ Θεσσαλονίκης ΠΕΡΙΛΗΨΗ εδοµένης της σηµασίας που απέκτησαν τα κοινοτικά αναπτυξιακά προγράµµατα από τα τέλη της δεκαετίας του 80, είναι αρκετά ενδιαφέρον να εκτιµηθούν τα αποτελέσµατα και οι επιπτώσεις τους. Για την αντιµετώπιση του τόσο απλού και συνάµα τόσο δύσκολου ερωτήµατος έχουν γραφτεί πολλά και έχουν χρησιµοποιηθεί πολλές µέθοδοι. Στην εισήγηση αυτή θα παρουσιαστεί ένα µοντέλο το οποίο, βάσει µιάς συγκεκριµένης µεθοδολογίας, επιχειρεί να αξιολογήσει τέτοιου είδους προγράµµατα. ΕΙΣΑΓΩΓΗ Ολες οι συζητήσεις οι οποίες διεξάγονται εδώ και πολλά χρόνια αναφορικά µε τα αναπτυξιακά προγράµµατα των ΚΠΣ, χαρακτηρίζονται από το "σύνδροµο της απορροφητικότητας". Για να υπάρξει αναπτυξιακή ώθηση, δεν αρκεί µόνο η απορρόφηση των πόρων, ούτε βέβαια η κατασκευαστική δραστηριότητα καθώς και η αυξηµένη εργασιακή απασχόληση που παρατηρείται κατά τη διάρκεια εκτέλεσης των έργων. Αντίθετα, αυτό που επηρεάζει την αναπτυξιακή διαδικασία είναι η αποδοτικότητα και αποτελεσµατικότητα αυτών των προγραµµάτων καθώς και οι επιπτώσεις τους. Για το λόγο αυτό στην εισήγηση αυτή θα απαγγιστρωθούµε από το σύνδροµο αυτό και θα ασχοληθούµε µε την ουσία του πράγµατος. ηλαδή θα προτείνουµε µία µεθοδολογία αξιολόγησης των Περιφερειακών Αναπτυξιακών Προγραµµάτων, η οποία σε κάποιο βαθµό εκφράζει και την επιτυχία ή αποτυχία τους. Η εισήγηση θα ακολουθήσει την παρακάτω δοµή. Αρχικά θα αναφερθούν οι απαιτήσεις των κανονισµών για εκτίµηση και αξιολόγηση των προγραµµάτων των ΚΠΣ, στη συνέχεια 1

2 θα παρουσιασθούν οι διάφοροι τρόποι αξιολόγησης που έχουν προταθεί από διάφορους και τέλος θα αναλυθεί το προτεινόµενο µοντέλο για την αξιολόγηση τέτοιων προγραµµάτων. 1. ΓΕΝΙΚΑ ΠΕΡΙ ΑΞΙΟΛΟΓΗΣΗΣ Τα τελευταία χρόνια το θέµα της αξιολόγησης προγραµµάτων που συγχρηµατοδοτούνται από τα ιαρθρωτικά Ταµεία της Ευρωπαϊκής Ενωσης αποτέλεσε αντικείµενο έντονου προβληµατισµού. Συγκεκριµένα, η αξιολόγηση συµβάλλει στη διαµόρφωση της στρατηγικής και στην επιλογή των στόχων και προτεραιοτήτων, ακόµη βοηθάει στην προσαρµογή τους σε περίπτωση αποκλίσεων και τέλος παρέχει ένα τεκµηριωµένο απολογισµό του προγράµµατος και µια ανάλυση των αποτελεσµάτων και επιπτώσεών του. Με την πρόσφατη αναθεώρηση των κανονισµών των ιαρθρωτικών Ταµείων, η εκτίµηση και αξιολόγηση των προγραµµάτων συνδέεται πια άµεσα και µε την απόφαση συγχρηµατοδότησής τους. 2. ΤΟ ΓΕΝΙΚΟ ΜΟΝΤΕΛΟ ΑΞΙΟΛΟΓΗΣΗΣ 2.1. ΟΙ ΕΙΚΤΕΣ ΤΟΥ ΓΕΝΙΚΟΥ ΜΟΝΤΕΛΟΥ ΑΞΙΟΛΟΓΗΣΗΣ Οπως είναι αυτονόητο πριν από οποιαδήποτε προσπάθεια αξιολόγησης του προγράµµατος βρίσκονται και ορίζονται κατάλληλοι δείκτες οι οποίοι και αποτελούν το αρχικό υλικό για την παραπέρα αξιολόγηση. Οι δείκτες αυτοί επιτρέπουν την αξιολόγηση της πορείας του προγράµµατος, της αποτελεσµατικότητας του, της αποδοτικότητας του, των αποτελεσµάτων και των επιπτώσεων του είκτες αξιολόγησης της πορείας του προγράµµατος Για την αξιολόγηση της πορείας του προγράµµατος υπολογίζονται δείκτες χρηµατοοικονοµικής ολοκλήρωσης (.Χ.Ο), καθώς και δείκτες φυσικής ολοκλήρωσης (.Φ.Ο.) όπου είναι δυνατόν είκτες αξιολόγησης της αποτελεσµατικότητας Ο δείκτης αποτελεσµατικότητας (.Αλ.) εκφράζει τον µέσο αριθµό φυσικών µονάδων που προκύπτουν ανά µέτρο από τη χρησιµοποίηση µιας µονάδας χρηµατικών εισροών είκτες αξιολόγησης της αποδοτικότητας 2

3 Η ποσοτική εκτίµηση της έννοιας της γενικής αποδοτικότητας πραγµατοποιείται µέσω της συνεκτίµησης στοιχείων µοναδιαίου κόστους και συνολικής Φυσικής Ολοκλήρωσης των µέτρων. Ο δείκτης αυτός εκφράζει το κατά πόσο υλοποιήθηκε το µεγαλύτερο δυνατό µέρος του Φυσικού Αντικειµένου µε τους ευνοϊκότερους όρους κόστους είκτες εκτίµησης επιπτώσεων του προγράµµατος Για την ποσοτική προσέγγιση των επιπτώσεων εκτιµάται ένας αριθµητικός δείκτης επίπτωσης µέτρου, ο οποίος προκύπτει βάσει των παρακάτω δεικτών: είκτη βαρύτητας του µέτρου στο στόχο είκτη προσθετικότητας του µέτρου (Αύξηση υναµικότητας) είκτη επίτευξης του στόχου στον οποίο προσβλέπει το µέτρο είκτες εκτίµησης αποτελεσµάτων του προγράµµατος Για την ποσοτική προσέγγιση των αποτελεσµάτων εκτιµώνται και για τις δύο περιπτώσεις οι παρακάτω δείκτες: Ο αριθµός των επωφελούµενων από τα µέτρα Η αύξηση της δυναµικότητας Η δηµιουργηθείσα απασχόληση Οι παραπάνω δείκτες µπορούν να ποσοτικοποιηθούν σχετικά εύκολα και µπορούν να αποτελέσουν µια αξιόπιστη βάση για την προσέγγιση των αποτελεσµάτων. 3. ΤΟ ΠΡΟΤΕΙΝΟΜΕΝΟ ΜΟΝΤΕΛΟ ΑΞΙΟΛΟΓΗΣΗΣ ΤΩΝ ΠΕΠ 3.1. ΓΕΝΙΚΑ Τα ΠΕΠ είναι ολοκληρωµένα προγράµµατα τα οποία σκοπεύουν στην καλυτέρευση των κοινωνικοοικονοµικών δοµών των περιοχών, αλλά δεν είναι σχεδιασµένα για να επηρεάσουν τουλάχιστον αισθητά και βραχυπρόθεσµα τα µακροοικονοµικά µεγέθη. Αλλωστε οι περιορισµένοι προϋπολογισµοί τους δεν θα µπορούν να έχουν σηµαντικές µακροοικονοµικές επιπτώσεις. Συνεπάγεται λοιπόν ότι τα µακροοικονοµικά εργαλεία δεν είναι τα πιο κατάλληλα για να εκτιµηθούν οι επιπτώσεις τους. Γι'αυτό λοιπόν η προσέγγιση της εκτίµησης των επιπτώσεων θα γίνει µε τρόπο που να εκτιµάται η συνεισφορά των παρεµβάσεων του προγράµµατος στην καλυτέρευση των 3

4 κοινωνικοοικονοµικών δοµών. Η προσέγγιση αυτή θα πρέπει πρωταρχικά να λάβει υπόψη της το βαθµό επίτευξης των ποσοτικοποιηµένων στόχων, ο οποίος βέβαια είναι ένας έµµεσος δείκτης που επιτρέπει να εκτιµηθεί αυτή η συνεισφορά. Είναι αυτονόητο ότι όσο πιο µικρός είναι ο δείκτης της επίτευξης των στόχων τόσο πιο µικρή είναι και η επίπτωση του προγράµµατος Η ΕΠΙΤΕΥΞΗ ΤΩΝ ΣΤΟΧΩΝ ΤΟΥ ΠΡΟΓΡΑΜΜΑΤΟΣ Αφού κάθε πρόγραµµα θέτει εξ'αρχής σαφείς και συγκεκριµένους στόχους, αυτό που ενδιαφέρει είναι να εκτιµηθεί το κατά πόσο αυτοί οι στόχοι επιτεύχθηκαν. Για να επιτευχθεί ένας στόχος θα πρέπει να ολοκληρωθούν µέσα στον προβλεπόµενο χρονικό ορίζοντα όλα τα µέτρα που τον εξυπηρετούν και ολοκλήρωση ενός µέτρου σηµαίνει: είτε απορρόφηση όλων των δεσµεύσεων που του είχαν διατεθεί και ταυτόχρονη ολοκλήρωση του προβλεφθέντος φυσικού αντικειµένου είτε ολοκλήρωση του φυσικού αντικειµένου µε τους οικονοµικότερους όρους 3.3. ΟΙ ΕΙΚΤΕΣ ΤΟΥ ΜΟΝΤΕΛΟΥ ΑΞΙΟΛΟΓΗΣΗΣ Η προτεινόµενη µεθοδολογία βασίζεται σε ένα συνεκτικό πλέγµα δεικτών, βάσει των οποίων εκτιµάται η επίτευξη των στόχων. Κατ'αρχάς γίνεται η στοχοθεσία σε επίπεδο υποπρογράµµατος δηλ. σε κάθε στόχο αντιστοιχούνται όλα τα µέτρα τα οποία τον εξυπηρετούν. Στη συνέχεια για καθένα από τα µέτρα που στοχεύουν στον ίδιο στόχο υπολογίζεται ο είκτης Επίτευξης των Στόχων Υποπρογράµµατος (.Ε.Σ.ΥΠ.), ο οποίος µπορεί να προσεγγισθεί µε δύο τρόπους, είτε λαµβάνοντας υπόψη την χρηµατοοικονοµική ολοκλήρωση, είτε την φυσική. Υπολογίζεται βάσει κεντροβαρικού τύπου ο σταθµικός µέσος όρος της χρηµατοοικονοµικής ολοκλήρωσης, εφαρµόζοντας αφενός το είκτη Χρηµατοοικονοµικής Ολοκλήρωσης (.Χ.Ο.) και αφετέρου το συντελεστή βαρύτητας (Σ.Β.) του µέτρου στις δεσµεύσεις του υποπρόγραµµατος..ε.σ.υπ.χ.ο.= Σ{(.Χ.Ο.)i*(Σ.Β. Μέτρου στο Υπ.)i} Βάσει κεντροβαρικού τύπου υπολογίζεται ο σταθµικός µέσος όρος της φυσικής ολοκλήρωσης, εφαρµόζοντας αφενός το είκτη Γενικής Αποδοτικότητας (.Γ.Α.) και 4

5 αφετέρου το συντελεστή βαρύτητας (Σ.Β.) του µέτρου στις δεσµεύσεις του υποπρόγραµµατος..ε.σ.υπ.φ.ο.= Σ{(.Γ.Αδ.)i*(Σ.Β. Μέτρου στο Υπ.)i} όπου (.Γ.Αδ.)i =(.Φ.Ο.)i*(.Αδ.)i και (.Αδ.)i= (Co/C)i Επειδή ώς γνωστόν το πρόγραµµα εκτός από τους στόχους σε επίπεδο υποπρογραµµάτων διαθέτει και στόχους σε επίπεδο προγράµµατος, ενδιαφέρει και η εκτίµηση της επίτευξης των στόχων σε επίπεδο προγράµµατος. Η διαδικασία η οποία ακολουθείται για την εκτίµηση του είκτη Επίτευξης των Στόχων σε επίπεδο Προγράµµατος (.Ε.Σ.Π) είναι παρόµοια µε την προηγούµενη µε τη µόνη διαφορά ότι ο συντελεστής βαρύτητας κάθε µέτρου που συµβάλλει στην επίτευξη του στόχου, υπολογίσθηκε επί του συνόλου των δεσµεύσεων του προγράµµατος. Μία βασική αδυναµία των παραπάνω εκτιµήσεων είναι ότι δεν είναι γνωστή η βαρύτητα του κάθε µέτρου στην επίτευξη του κάθε επιµέρους στόχου, ώστε να µπορέσουν να υπολογισθούν µε µεγαλύτερη ακρίβεια οι δείκτες. ηλαδή στις συγκεκριµένες εκτιµήσεις γίνεται η σιωπηρή υπόθεση ότι κάθε µέτρο εξυπηρετεί κάθε στόχο µε την ίδια βαρύτητα. Παρόλο τον κάποιο βαθµό λάθους που εµπεριέχει αυτή η υπόθεση, εντούτοις υιοθετήθηκε σαν η καλύτερη, αντί της προσφυγής σε αυθαίρετους δείκτες σηµαντικότητας των στόχων ΠΑΡΟΥΣΙΑΣΗ ΤΩΝ ΑΠΟΤΕΛΕΣΜΑΤΩΝ ΤΟΥ ΜΟΝΤΕΛΟΥ ΓΙΑ ΤΗΝ ΠΕΡΙΠΤΩΣΗ ΤΟΥ ΠΕΡΙΦΕΡΕΙΑΚΟΥ ΠΡΟΓΡΑΜΜΑΤΟΣ ΤΩΝ ΠΕΡΙΦΕΡΕΙΩΝ ΘΕΣΣΑΛΙΑΣ ΚΑΙ ΣΤΕΡΕΑΣ Τα αποτελέσµατα που θα παρουσιασθούν αφορούν την εφαρµογή του µοντέλου στο περιφερειακό πρόγραµµα που περικλείει τις Περιφέρειες Θεσσαλίας και Στερεάς Ελλάδας Επίτευξη των στόχων των υποπρογραµµάτων Για να εκτιµηθεί η επίτευξη των στόχων ανά υποπρόγραµµα οι απαραίτητοι υπολογισµοί έγιναν και µε τις δύο προσεγγίσεις που προαναφέρθηκαν. Τα αποτελέσµατα τα οποία προέκυψαν, παρά τις µικρές διαφοροποιήσεις από υποπρόγραµµα σε υποπρόγραµµα, είναι σαφή για την υπερκτίµηση των στόχων βάσει των υπολογισµών της πρώτης µεθόδου, σε αντίθεση µε τη δεύτερη, βάσει της οποίας η επίτευξη των στόχων φαίνεται να είναι περισσότερο πραγµατική. 5

6 Επίτευξη των στόχων του προγράµµατος στο σύνολό του Οι στόχοι του προγράµµατος οµαδοποιήθηκαν σε δύο κατηγορίες: στους Μακροοικονοµικούς και στους ειδικούς και στη συνέχεια έγιναν όλοι οι προαναφερθέντες υπολογισµοί. Τα αποτελέσµατα του µοντέλου είναι εύγλωττα. Οι µακροοικονοµικοί στόχοι επιτυγχάνονται, ενώ οι ειδικοί στόχοι παρουσιάζουν υστέρηση. Και εδώ είναι εµφανής η διαφοροποίηση των υπολογισµών του πρώτου τρόπου υπολογισµού έναντι του άλλου. Τέλος πρέπει να σηµειωθεί ότι από εδώ προκύπτει και η χρησιµότητα των αποτελέσµατων του προταθέντος µοντέλου. Ενώ δηλαδή όλοι οι υπολογισµοί οι οποίοι έγιναν βάσει των τύπων του γενικού µοντέλου αξιολόγησης παρουσίαζαν ικανοποιητικά αποτελέσµατα, γεγονός το οποίο θα µπορούσε να µας οδηγήσει στο να διατυπώσουµε "λανθασµένες" απόψεις αναφορικά µε την επιτυχία του προγράµµατος, εντούτοις η εκτίµηση της επίτευξης των στόχων του προγράµµατος έθεσε τα αποτελέσµατα στη "σωστή" τους θέση. 4. ΣΥΜΠΕΡΑΣΜΑΤΑ Από την προηγηθείσα ανάλυση της αξιολόγησης, καθώς και την παρουσίαση του προταθέντος µοντέλου αξιολόγησης προκύπτουν τα παρακάτω συµπεράσµατα: Η αξιολόγηση των περιφερειακών ή εθνικών και γενικά των αναπτυξιακών προγραµµάτων αποκτά όλο και µεγαλύτερη σηµασία, καθόσον είναι πια προαπαιτούµενο για την έγκρισή τους από την Ε.Ε. Τα αποτελέσµατα του γενικού µοντέλου αξιολόγησης είναι ένας δείκτης για να εκφράσουµε άποψη για τα προγράµµατα, αλλά δεν µας επιτρέπουν να κρίνουµε µε σαφήνεια την επιτυχία ή αποτυχία τους. Αντίθετα το προτεινόµενο µοντέλο µας παρέχει ένα επιπλέον εργαλείο, την δυνατότητα να εκφράσουµε κάποια άποψη για την επιτυχία ή αποτυχία των προγραµµάτων. Παρόλα αυτά και το προτεινόµενο µοντέλο έχει ένα µειονέκτηµα ότι δίνει έµφαση αποκλειστικά στα ποσοτικά χαρακτηριστικά των προγραµµάτων και καθόλου στα ποιοτικά. 6

7 Κατά συνέπεια, αναφορικά µε την ερµηνεία των αποτελεσµάτων της αξιολόγησης των προγραµµάτων, θα πρέπει να είµαστε επιφυλακτικοί, γιατί η επιτυχία ή αποτυχία τους είναι συνάρτηση και πολλών άλλων παραγόντων. ABSTRACT Given the importance of European development programmes implemented in Greece, it is interesting to evaluate their impacts and results. Many papers and articles have been written and many methodologies have been implemented, with good or not results. In this paper we will present a model which, on the basis of a particular methodology, attempts to evaluate such kind of programmes. ΒΙΒΛΙΟΓΡΑΦΙΑ Alkin M.C., Coyle K. (1988): Thoughts on evaluation misutilazation and associated topics. USA, New Orleans, Louisoana, April Beutel J. (1990): The Economic Impacts of the Community Support Frameworks Internal Rapport CCE, Brussels. C.E.C. (1989): Eurotechnet-Procedures d evaluation utilisees dans les projets. Eurotechnet, No 10. C.E.C. (1989): Reglement du Conseil CEE No 4253/88, titre VII: Suivi et evaluation, guide des indicateurs pour le suivi et l evaluation de la mise en oeuvre de la reforme des fonds structurels. CEE, Bruxelles. Commission of the European Communities, (1990): Proceedings of the Seminar on Evaluation and Community Support Framework. Brussels. Γετίµης Π., Καυκαλάς Γ. (1994): Aξιολόγηση Αναπτυξιακών Προγραµµάτων: Μεθοδολογία και αξιακό πλαίσιο.τόπος, Νο 7/94, Επιτροπή των Ευρωπαϊκών Κοινοτήτων Γ.. XVI (1990): Η Αξιολόγηση των Μεσογειακών Ολοκληρωµένων Προγραµµάτων. ιεθνές Σεµινάριο, Τόµος Α'. Βρυξέλλες. Ebbutt D. (1988): An outline of methods mainly in relation to the case study element of the evaluation. Cambridge Journal of Education, vol. 18, No 3. 7

8 Franzmeyer, F., Hrubesch, P., Seidel, B., Weise, Chr., and Schweiger, I. (1991): Οι επιπτώσεις των Κοινοτικών Πολιτικών στην Περιφέρεια. Ευρωπαϊκό Κοινοβούλιο, Γ.. Μελετών, Σειρά:"Ερευνα και Τεκµηρίωση" και "Περιφερειακή Πολιτική και Μεταφορές", Τεύχος 17, Λουξεµβούργο. Greene J.C. (1988): Toward a conceptual framework for mixed-method evaluation designs. Paper presented at the 1988 annual meetig of the American Evaluation Association, New Orleans. Herman l. John, Morris Lyons Lynn, Taylor Carol, Gibbon Fitz: Evaluator's Handbook, London. Lodewijks S.J. (1988): Effective evaluation: an empirical study of the effectineness of guidelines for evaluation. Rion Institute for Ecucational Research, Recent Dutch publications on the evaluation of educational programmes, Groningen. Mertens D.M. (1989): Factors influencing utilization of evaluation results. AERA, San Fransisco. Μπουγάς Α. (1994): Η Aξιολόγηση των Κοινοτικών ιαρθρωτικών Πολιτικών. Τόπος, Νο 7/94, , Αθήνα. Οικονόµου., Μαλούτας Θ. (1992): Το Κοινοτικό Πλαίσιο Στήριξης για την Ελλάδα. Εµπειρίες και προοπτικές. Συνέδριο Εθνικού Κέντρου ηµόσιας ιοίκησης-ι Ε, Ρόδος. Office of the Comptroller General (1981): Guide on the Program Evaluation Function, Ottawa. Office of the Comptroller General (1981): Principles for the Evaluation of Programs, Ottawa. Patton, Quinn Michael (1986): Creative Evaluation. Sage Publications, London. Patton, Quinn Michael (1978): Utilisation focused evaluation. Sage Publications, London. Patton, Quinn Michael (1980): Qualitative evaluation methods. Sage Publications, London. Πυλαρινός. (1993): Μέθοδοι και Μεθοδολογίες της Αξιολόγησης Προγραµµάτων, Βιβλιογραφική Ανασκόπηση. ΑΠΘ/ΕΚΤ, Θεσσαλονίκη. 8

9 Σαµαθρακής Βαγής (1996): Κοινοτικά Πλαίσια Στήριξης για την Ελλάδα: Ενα µοντέλο αξιολόγησής τους. Συνέδριο Εταιρίας Οικονοµολόγων Θεσσαλονίκης, Θεσσαλονίκη. Σαµαθρακής Βαγής κ.ά. ( ): Εκθέσεις Αξιολόγησης ΜΟΠ-ΑΚΕ. ΥΠΕΘΟ, Ε.Ε. Αθήνα. United States General Accounting Office (1989) : Programm evaluation and methodology division-programm evaluation: A workbook, USA,. Woolthuis T. (1984): Review of evaluation practice, the programmme s evaluation network. Draft International Working provided by Ifaplan on behalf of the Commission of the European Community, Brussels. Worthen B.R. (1990): Programm evaluation. The International Encyclopedia of Educational Evaluation, Pergamon Press, pp