ιαδικασία αξιολόγησης από την πλευρά του αξιολογητή Αντρέας Αναγιωτός Τεχνολογικό Πανεπιστήµιο Κύπρου

Transcript

1 Ευκαιρίες Χρηµατοδότησης ραστηριοτήτων Έρευνας και Ανάπτυξης στους Κλάδους της Μηχανικής ιαδικασία αξιολόγησης από την πλευρά του αξιολογητή Αντρέας Αναγιωτός Τεχνολογικό Πανεπιστήµιο Κύπρου

2 οµή Παρουσίασης - Εµπειρίες από οργανισµούς χρηµατοδότησης - Οργάνωση και διαδικασίες αξιολόγησης - Κριτήρια Αξιολόγησης Αξιοπιστία Αξιολόγησης - Ατέλειες αξιολόγησης - Τιπεριµένειναδειοαξιολογητήςσεµιαπρόταση - Συνήθη λάθη που γίνονται από τους αξιολογούµενους - Είσηγήσεις αξιολογητή για την κατάθεση της ιδανικής πρότασης

3 Εµπειρίες από Επιτροπές Αξιολόγησης European Commission FP7-SΜΕ 2010, 2011, 2012, 2013 (Onsite Evaluation 2011) FP7-NMP-SME5 Nanotechnologies and Nano-sciences 2008, FP7-NMP Cardiovascular Imaging Modalities 2007 FP6-NMP-SME4 Nanotechnologies and Nano-sciences 2005 FP6 Erasmus Mundus 2004 FP6 Marie Curie Initial Training Networks 2003 FP5 Marie Curie The High-Level Scientific Conferences- Improving Human Research Potential 2000, 2001, 2002 FP5 On site evaluation of INFOSO Projects MISSIMU and COPHIT (Imaging, Anatomic model construction, Computational Fluid Dynamics, Pharmacokinetics, Surgical simulation)

4 Εµπειρίες από Επιτροπές Αξιολόγησης (con) European Research Council Starting grants 2008 EUREKA Eurostars Program Independent Evaluation Panel January and June 2011 ( final stage: evaluation meeting, ranking and funding of proposals)

5 Εµπειρίες από Επιτροπές Αξιολόγησης (con) US Federal Funding Agencies National Institutes of Health (NIH) National Heart, Lung and Blood Institute, Department of Health and Human Services 2006,2007 National Science Foundation (NSF) Biomedical Engineering Devices and Instruments Small Business Innovation Research Grants (SBIR) 2004, 2007, 2008 Bioengineering and Research for persons with Disabilities Panel 2001, 2003 Graduate Student Fellowship Program Mechanical Engineering Panel 2008, 2009 Bioengineering Panel (Panel Chair 2005, 2006)

6 Λόγοι και κίνητρα για να είσαι αξιολογητής 1. Μαθαίνεις περισσότερα για το πώς λειτουργούν τα πάνελς αξιολόγησης για να σε βοηθήσει να γράφεις καλύτερες προτάσεις 2. Η οικονοµική αµοιβή ~ 450/µέρα + αµοιβή για την εξ αποστάσεως αξιολόγηση 3. Είναιίσωςοκαλύτεροςτρόποςγιαναείσαιενήµεροςγιανέες τεχνολογίες και κατευθύνσεις έρευνας στον τοµέα σου 4. ηµιουργία γνωριµιών µε άλλους επαγγελµατίες του τοµέα καθώς επίσης και υπεύθυνους τµηµάτων οργανισµών χρηµατοδότησης έρευνας (ΕU, EUREKA etc)

7 EU FP7 ιαδικασίες Aξιολόγησης - Επιλογή αξιολογητών (από βάσεις δεδοµένων) - Κατανοµή προτάσεων σε αξιολογητές 1 η ΦΑΣΗ - Αξιολόγηση εξ αποστάσεως RIVET αξιολογητές ανά πρόταση Βαθµολογίες και Σχόλια (IAR) - σύµφωνα µε τα κριτήρια Raporteur- Consensus report 2 η ΦΑΣΗ - Σύγκριση αποτελεσµάτων (Consensus meetings) - Συζήτηση σε περιπτώσεις που υπάρχουν µεγάλες διαφορές στη βαθµολογία ή άλλα θέµατα (αλλαγές βαθµολογίας, τέταρτος αξιολογητής) - Τελικό Consensus report (µε διορθώσεις από την διεύθυνση) - Κατάταξη των προτάσεων - Απόφαση για χρηµατοδότηση προτάσεων σύµφωνα µε τον Προϋπολογισµό - Επιλαχούσες προτάσεις - Απόρριψη προτάσεων κάτω του threshold

8 ΓενικάΚριτήριαΑξιολόγησης FP7 FOR THE BENEFIT OF THE SMEs Scientific and Technological Excellence (relevant to the topics/activities addressed in the call) Implementation (Quality and efficiency of the implementation and the management) Impact (Potential impact through the development dissemination and use of the project results) EUROSTARS PROGRAM (ΕUREKA) Basic Assessment: (technical, financial and managerial capacities, consortium balance, deliverables and milestones) Technology and Innovation Market and Competition

9 Οι βάσεις της αξιοπιστίας στην αξιολόγηση Αριστεία ιαφάνεια Αδιάλειπτη διαδικασία και ακριβοδίκαιη κρίση Εχεµύθεια Αποδοτικότητα και ταχύτητα στην διαδικασία Τήρηση κανόνων ασφάλειας και δεοντολογίας

10 Οι βάσεις της αξιοπιστίας στην αξιολόγηση (con Αντικειµενικότητα Κάθεπρότασηνααξιολογείται σύµφωναµετοτι παρουσιάζεται στο κείµενο (Ατεκµηρίωτη απαρίθµηση επιτευγµάτων στο κείµενο δεν πρέπει να θεωρείται απόδειξη εµπειρίαςτουσυντονιστή/δικτύου/ερευνητών) Aκρίβεια Κρίση σύµφωνα µε τα κριτήρια αξιολόγησης του προγράµµατος και όχι µε οτιδήποτε άλλο. Συνέπεια Εφαρµόζονται τα ίδια κριτήρια στην αξιολόγηση της κάθε πρότασης

11 ιλήµµατα και περιορισµοί που αντιµετωπίζουν οι αξιολογητές Έλλειψη ποσού για χρηµατοδότηση όλων των αξιόλογων προτάσεων: Χρηµατοδότηση καινοτόµου έρευνας σε ένα νέο και ανεξερεύνητο τοµέα χωρίς προηγούµενα αποτελέσµατα έρευνας από άλλους ερευνητές VS Χρηµατοδότηση έρευνας µε οριακή βελτίωσης σε ένα υπάρχοντα τοµέα Προκατειληµµένοι προς τη µεριά γνωστών αναγνωρισµένων ερευνητών και συνεργασίες µεταξύ γνωστών ερευνητικών κέντρων/πανεπιστηµίων

12 Προσδοκίες Αξιολογούµενου από την διαδικασία αξιολόγησης - ίκαιη αξιολόγηση όλων των προτάσεων - Αξιολόγηση από ειδικούς εµπειρογνώµονες του τοµέα - Οι αξιολογητές να αφιερώσουν τον απαιτούµενο χρόνο στη µελέτη και αξιολόγηση της κάθε πρότασης - Εχεµύθεια - Λεπτοµερή σχόλια για τους λόγους που µια πρόταση δεν χρηµατοδοτείται

13 Προσδοκίες αξιολογούµενου από την διαδικασία αξιολόγησης ( con) Σχόλια και εισηγήσεις για βελτίωση τουλάχιστο στις περιπτώσεις που η πρόταση εξασφάλισε ψηλή βαθµολογία αλλά δεν χρηµατοδοτήθηκε Αν ο ερευνητής υποβάλει εκ νέου τεκµηριωµένη πρόταση µε όλες τις αλλαγές και απαντήσεις στα σχόλια των αξιολογητών, τότε η πρότασή του να πρέπει πάρει καλύτερη βαθµολογία και να έχει περισσότερες πιθανότητες χρηµατοδότησης

14 Ατέλειες στην Αξιολόγηση Λόγω υπερβολικού αριθµού προτάσεων και έλλειψης αξιολογητών σε εξειδικευµένους τοµείς, πολύ πιθανό η πρόταση σας να αξιολογείταικαιαπόαξιολογητέςπουδενείναι (απόλυτα) εξειδικευµένοι στον τοµέα σας Πχοι 3 αξιολογητέςτηςπρότασηςσας: 1) Εξειδικευµένος εµπειρογνώµονας στο συγκεκριµένο θέµα 2) Γνώστης του γενικού τοµέα αλλά όχι του εξειδικευµένου θέµατος της πρότασής σας 3)? Οι αξιολογητές δεν έχουν απεριόριστο χρόνο να διαβάσουν την πρότασή σας (αποφασίζουν αν τους αρέσει η πρόταση σας από την πρώτη σελίδα) - Abstract το πιο σηµαντικό µέρος της πρότασης σας - Objectives Υπάρχουν αυστηροί αξιολογητές και επιεικείς αξιολογητές

15 ιάφορες άλλες ατέλειες στην Αξιολόγηση ικηγόρος του ιαβόλου Πιθανόναδιαβάζειτηνπρότασήσαςοσυναγωνιστήςσαςκαιθασας την απορρίψει. Πιθανό κάποιος να πάρει τις ιδέες σας και να τις χρησιµοποιήσει

16 Πιο ιδανική η ιαδικασία Αξιολόγησης στο ΝΙΗ (USA) Υπάρχουν study sections / review panels (rosters) για διάφορες ειδικότητες µε 25 εµπειρογνώµονες και αναπληρωµατικούς Τα µέλη των επιτροπών αυτών είναι διακεκριµένοι επιστήµονες και απόλυτα σχετικοί µε το αντικείµενο. 2-3 χρόνια θητεία στην επιτροπή και δίνουν εισηγήσεις για βελτίωση Η ίδια Επιτροπή αξιολογεί προτάσεις που κατατίθενται εκ νέου και βλέπει τις βελτιώσεις και απαντήσεις στα σχόλιά της Επιτροπή Αξιολόγησης µε «Μνήµη» Χρηµατοδότηση µετά από 2-3 καταθέσεις (για καλές προτάσεις)

17 Συνηθισµένα λάθη που βλέπουν οι οι αξιολογητές (a)η πρόταση δεν ανταποκρίνεται επαρκώς στους σκοπούς του προγράµµατος (b)η πρόταση δεν είναι καινοτόµος / δεν είναι ο τοµέας αιχµής του ερευνητικού πεδίου στο οποίο επιδίδεται ή δεν δείχνει ότι έχει πλήρη εικόνα του τοµέα αιχµής (c) Η πρόταση είναι υπερβολικά φιλόδοξη, πολύ γενική στους σκοπούς της και υπόσχεται πολλά στα οποία δεν φαίνεται να µπορεί να ανταποκριθεί στο χρονοδιάγραµµα του προγράµµατος (d) Ηερευνητικήµεθοδολογίαδενπαρουσιάζεταισωστά. ( δέσµεςεργασίας, παραδοτέα, κατανοµή WPs και ανθρωποµήνες στους συνεργάτες (e)οσυντονιστήςδενφαίνεταιναέχειτηναπαιτούµενηερευνητικήεµπειρίαστοντοµέα. Το consortium δεν έχει την απαιτούµενη εµπειρία ή η εµπειρογνωµοσύνη του κάθε συνεργαζόµενου φορέα δεν είναι συµπληρωµατική για τους σκοπούς του προγράµµατος (f)ο προϋπολογισµός είναι ή αδικαιολόγητα ψηλός ή υπερβολικά χαµηλός για τις ανάγκες του προγράµµατος (g)τα ευρύτερα οφέλη των αποτελεσµάτων της πρότασης είναι περιορισµένα

18 Τιθέλειναδειοαξιολογητής a) Επιµελές, και οργανωµένο κείµενο εύκολο στο διάβασµα του που αντικατοπτρίζει τον ενθουσιασµό, αφοσίωση και µοναδικότητα του ερευνητή (b) Απόκριση στην ανακοίνωση και ενδιαφέροντα του προγράµµατος µε ειδικές αναφορές και επιχειρήµατα που δείχνουν πως το προτεινόµενο ερευνητικό project θα πετύχει τους σκοπούς και στόχους του προγράµµατος (c) Καινοτοµία Νέες ιδέες και πρωτοποριακές µέθοδοι στην λύση ενός σηµαντικού προβλήµατος (d) υνατό δίκτυο συνεργασίας µε συµπληρωµατική εµπειρογνωµοσύνη και καθαρές ενδείξεις ότι ο συντονιστής γνωρίζει τον τοµέα της ερευνητικής πρότασης (e) Λογικό σχέδιο εκπόνησης του προγράµµατος και µεθοδολογίας µε δέσµες εργασίας, ορόσηµα (milestones), παραδοτέα µε ένα ισορροπηµένο προϋπολογισµόκαιεναλλακτικάσχέδια (contingency plans). (f) Πειστικά προκαταρκτικά αποτελέσµατα

19 Εισηγήσεις από την πλευρά του αξιολογητή (a) ιαβάστε- ιαβάστε- ιαβάστε την ανακοίνωση/περιγραφή του προγράµµατος (b) Γράψετε την πρότασή σας έτσι ώστε να διαβάζεται εύκολα. - καλή οργάνωση κειµένου απλές προτάσεις - αποφυγή «συµφόρησης» πληροφοριών στο κείµενο (πυκνό γράψίµο) -αποφυγήορθογραφικών, γραµµατικών/συντακτικώνλαθών (c) Αρχίστε να προετοιµάζετε την πρότασή σας πολύ πολύ νωρίς. Πολλούς µήνες (ανείναιδυνατό) πριντηνηµεροµηνίακατάθεσης. - Θα αποφύγετε τα λάθη της συλλογής στοιχείων την τελευταία στιγµή - Θα έχετε χρόνο να κάνετε τις τελευταίες διορθώσεις αλλά και «κοσµητικές» αλλαγές που θα κάνουν την διαφορά

20 Εισηγήσειςαπότηνπλευράτουαξιολογητή (cοn) (d) Να αναφέρετε τι έχει ήδη γίνει στην «διεθνή ερευνητική αρένα» (e) Γράψτε την πρόταση ώστε να µπορεί να είναι κατανοητή από κάποιον που δεν είναι εµπειρογνώµονας στον τοµέα σας. Μην γράψτε την πρόταση σαν ένα άρθρο σε έγκριτο περιοδικό (f) Μην απογοητεύεστε Βελτιώστε - Ξανακαταθέστε την πρότασή σας

21 Σαςευχαριστώ Αντρέας Αναγιωτός Tεχνολογικό Πανεπιστήµιο Κύπρο Τµήµα Μηχανολόγων Μηχανικών και Μηχανικών Υλικών Τηλ Φαξ

22 ΚριτήριαΑξιολόγησης EUROSTARS PROGRAM FP7 for the benefit of the SMEs Scientific and Technological Excellence (relevant to the topics/activities addressed in the call) Implementation (Quality and efficiency of the implementation and the management) Impact (Potential impact through the development dissemination and use of the project results)

23 ΕπιµέρουςΤίτλος / Θέµα.. 1. Eligibility 2. Reading and Individual Assesment + 1st draft of Consensus Report 3. Consensus Meetings 4. Drafting of Consensus Reports (CRs) 5. Quality check of CRs 6. Final version of CR and draft ESR 7. Panel Review (One day): Final ranked list REMOTE CENTRAL