6 ο ΠΑΝΕΛΛΗΝΙΟ ΣΥΝΕΔΡΙΟ ΓΙΑ ΤΗΝ ΤΥΠΟΠΟΙΗΣΗ, ΤΑ ΠΡΟΤΥΠΑ ΚΑΙ ΤΗΝ ΠΟΙΟΤΗΤΑ

6 ο ΠΑΝΕΛΛΗΝΙΟ ΣΥΝΕΔΡΙΟ ΓΙΑ ΤΗΝ ΤΥΠΟΠΟΙΗΣΗ, ΤΑ ΠΡΟΤΥΠΑ ΚΑΙ ΤΗΝ ΠΟΙΟΤΗΤΑ Με κύρια θεματική ενότητα «Ποιότητα και Πρότυπα στην Εκπαίδευση, την Επαγγελματική Κατάρτιση και τη Δια Βίου Μάθηση» ΥΠΟ ΤΗΝ ΑΙΓΙΔΑ ΤΗΣ ΠΟΛΥΤΕΧΝΙΚΗΣ ΣΧΟΛΗΣ ΑΠΘ ΚΑΙ ΤΟΥ ΤΜΗΜΑΤΟΣ ΜΗΧΑΝΟΛΟΓΩΝ ΜΗΧΑΝΙΚΩΝ ΠΡΑΚΤΙΚΑ Επιμέλεια έκδοσης Γκιώση Στέλλα Τσιάφης Ιωάννης Θεσσαλονίκη, 27-29 Μαΐου 2016 Αίθουσα Γενικών Συνελεύσεων Κτιρίου Δ, Πολυτεχνική Σχολή ΑΠΘ

ΕΚΤΙΜΗΣΗ ΕΡΕΥΝΗΤΙΚΟΥ ΕΡΓΟΥ ΜΕ ΤΥΠΟΠΟΙΗΜΕΝΟΥΣ ΒΙΒΛΙΟΜΕΤΡΙΚΟΥΣ ΔΕΙΚΤΕΣ Βαξεβανίδης Νικόλαος Τμήμα Εκπαιδευτικών Μηχανολόγων Μηχανικών, ΑΣΠΑΙΤΕ vaxev@aspete.gr Ψυλλάκη Πανδώρα Τμήμα Μηχανολόγων Μηχανικών Τ.Ε., Α.Ε.Ι. Πειραιά Τ.Τ. psyllaki@teipir.gr Προκοπίου Ελένη 5 ο Γυμνάσιο Γαλατσίου, 111 46, Γαλάτσι, Αθήνα mail@tgym-galats.att.sch.gr Αστερής Παναγιώτης Τμήμα Εκπαιδευτικών Πολιτικών Μηχανικών, ΑΣΠΑΙΤΕ asteris@aspete.gr Χατζαράκης Γεώργιος Τμήμα Εκπαιδευτικών Ηλεκτρολόγων Μηχανικών και Εκπ/κών Ηλεκτρονικών Μηχανικών, ΑΣΠΑΙΤΕ gea.xatz@apete.gr Περίληψη Τα τελευταία χρόνια οι ποσοτικές βιβλιομετρικές μέθοδοι έχουν όλο και μεγαλύτερη διάδοση και εφαρμογή για την αξιολόγηση του ερευνητικού έργου σε εθνική κλίμακα, σε ιδρυματική (ΑΕΙ, Τμήματα, Τομείς, Εργαστήρια) ή ακόμα και ατομική (για μεμονωμένους ερευνητές). Η ίδια μέθοδος μπορεί να εφαρμοσθεί για τη σύγκριση της ερευνητικής επίδοσης χωρών σε συγκεκριμένη(ες) γνωστική(ές) περιοχή(ές). Στη διεθνή βιβλιογραφία αναφέρεται ένας μεγάλος αριθμός βιβλιομετρικών δεικτών από τους πλέον απλούς έως σταθμισμένους πολυσύνθετους. Στην παρούσα μελέτη, με σκοπό τον συνδυασμό της αξιοπιστίας με την λελογισμένη χρήση πόρων, προτείνεται η χρήση βιβλιομετρικών δεικτών σε τέσσερις άξονες: παραγωγικότητα, συνολική απήχηση, αποδοτικότητα, συνδυασμός παραγωγικότητας και απήχησης, που έχουν ήδη χρησιμοποιηθεί σε προηγούμενες παρόμοιες μελέτες (αριθμός δημοσιεύσεων και αναφορών, δείκτης-h και μέσος αριθμός αναφορών ανά δημοσίευση). Στην εργασία γίνεται ανασκόπηση των ελληνικών εργασιών στο θέμα, συζητούνται τα πλεονεκτήματα και τα μειονεκτήματα της μεθόδου και παρουσιάζονται εφαρμογές που αφορούν την εκτίμηση του ερευνητικού έργου 135

τεχνολογικών τμημάτων τριτοβάθμιας εκπαίδευσης και την αποτίμηση της έρευνας στις χώρες της Ν.Α. Ευρώπης στην περιοχή της διοίκησης ποιότητας. Ως πηγή άντλησης δεδομένων χρησιμοποιείται η βάση Scopus. Διαπιστώνεται ότι η βιβλιομετρική εκτίμηση του ερευνητικού έργου είναι απλή, αποτελεσματική, γρήγορη και διαφανής και επιτρέπει τη συγκριτική αξιολόγηση (benchmarking). Λέξεις κλειδιά: ανάλυση αναφορών, αξιολόγηση έρευνας, βιβλιομετρικοί δείκτες, παραγωγικότητα, απήχηση έργου, αποδοτικότητα. EVALUATION OF THE RESEARCH OUTPUT BY BIBLIOMETRIC INDICES Vaxevanidis Nikolaos Department of Mechanical Engineering Educators, School of Pedagogical & Technological Education (ASPETE) vaxev@aspete.gr Psyllaki Pandora Mechanical Engineering Department, Piraeus University of Applied Sciences psyllaki@teipir.gr Prokopiou Eleni 5 th Gymnasium of Galatsi, Athens mail@tgym-galats.att.sch.gr Asteris Panagiotis Department of Civil Engineering Educators, School of Pedagogical & Technological Education (ASPETE) asteris@aspete.gr Chatzarakis Georgios Department of Electrical and Electronic Engineering Educators, School of Pedagogical & Technological Education (ASPETE) gea.xatz@apete.gr Abstract Nowadays, as far as the assessment of the quality of research and the scientific contribution of Higher Education Institutions (HEIs) is concerned, a movement towards bibliometric measures and indices is evident. Bibliometrics is a useful tool for quantification of the research performance and it offers a relatively impartial way to compare the research activity (productivity and impact) between researchers, universities departments and even countries in the same scientific discipline. In the present report after an overview of the previous Greek researches on the topic the evaluation of the research output by bibliometric 136

ΕΚΠΑΙΔΕΥΤΙΚΗ ΕΡΕΥΝΑ, ΔΙΔΑΚΤΙΚΗ ΜΕΘΟΔΟΛΟΓΙΑ ΚΑΙ ΕΚΠΑΙΔΕΥΤΙΚΗ ΑΞΙΟΛΟΓΗΣΗ indices is discussed. It is concluded that despite the inherent limitations of the bibliometric analysis, the proposed method for evaluating the scientific performance of either higher education departments or countries (at the same scientific sector) is effective in terms of robustness, validity, functionality, cost and time effectiveness. The useful results obtained suggest that such an approach could be used in a broader context. Key words: citation analysis, evaluation of research, bibliometric indices, productivity, impact, efficiency. Εισαγωγή Το θέμα της αξιολόγησης τόσο της εκπαιδευτικής διαδικασίας όσο και της επιστημονικής δραστηριότητας του Προσωπικού (μέλη ΔΕΠ ή ΕΠ) που στελεχώνει τα ΑΕΙ είναι ιδιαίτερα καίριο σήμερα. Με βάση τους Ν.3374/2005και N.4009/2011 είναι πλέον και απαίτηση (Vaxevanidis et al., 2011). Κρίσιμο χαρακτηριστικό μιας τέτοιας διαδικασίας αξιολόγησης πέρα από την εγκυρότητα και την αξιοπιστία της είναι και η αποδοτικότητά της (δυνατότητα εξαγωγής συμπερασμάτων με τη χρήση σχετικά περιορισμένων πόρων). Όπως είναι γνωστό, τα κριτήρια για την αξιολόγηση αφορούν : α) Την ποιότητα του διδακτικού έργου, β) Την ποιότητα του ερευνητικού έργου, γ) Την ποιότητα των προγραμμάτων σπουδών, δ) Την ποιότητα των λοιπών υπηρεσιών. Στην παρούσα εισήγηση συζητείται η αξιολόγηση του ερευνητικού έργου με χρήση βιβλιομετρικών δεικτών και παρουσιάζονται δύο διαφορετικές εφαρμογές της μεθόδου αυτής. Δεν συζητούνται θέματα που αφορούν τα συστήματα / προσεγγίσεις σχετικά με την ποιότητα που εφαρμόστηκαν, εφαρμόζονται ή απαιτείται νομικά να εφαρμοστούν, στην Τριτοβάθμια Εκπαίδευση, βλέπε ενδεικτικά Harvey 2005, Roza et al. 2012 και Vaxevanidis 2012. 1. Θεωρητικό υπόβαθρο Τα τελευταία χρόνια οι ποσοτικές, βιβλιομετρικές μέθοδοι για την αξιολόγηση του ερευνητικού έργου σε εθνική κλίμακα αλλά και σε ιδρυματική (ΑΕΙ, Τμήματα, Τομείς, Εργαστήρια) ή ακόμα και ατομική (για μεμονωμένους ερευνητές) έχουν όλο και μεγαλύτερη διάδοση. Από την άλλη πλευρά οι ποιοτικές μέθοδοι για την αποτίμηση του ερευνητικού έργου, με βασικότερη την «αξιολόγηση από ομοτίμους» (peer review) εξακολουθούν να έχουν μια ευρεία αποδοχή στην επιστημονική κοινότητα. Ενδεικτικά, στην «αξιολόγηση από ομοτίμους» βασίζεται και το μοντέλο εκλογής μελών ΔΕΠ στις περισσότερες χώρες του κόσμου (Ζωντανός & Κατρανίδης 2009, Vaxevanidis et al. 2011, Altanopoulou et al. 2012). Η προσέγγιση αυτή, όμως, δεν στερείται μειονεκτημάτων: α) Απαιτεί σημαντικούς ανθρώπινους πόρους, β) Η διαδικασία αυτή πιθανά επηρεάζεται από τις αντιλήψεις και τη συγκεκριμένη ερευνητική στόχευση των κριτών και γ) Ενδεχομένως να υπάρχει ατελής ενημέρωση για κάθε υπό κρίση εξειδικευμένο ερευνητικό έργο. 137

Για τις βιβλιομετρικές μεθόδους και ειδικότερα για την ανάλυση αναφορών ως πλεονεκτήματα θεωρούνται (Wallin 2005, Ζωντανός & Κατρανίδης 2009, Βαξεβανίδης & Αστερής 2012): α) Η ανεξαρτησία των μετρήσεων (δεν απαιτούνται δεδομένα από τρίτους), β) Η αμεροληψία και η αντικειμενικότητα των μετρήσεων, γ) Η ταχύτητα και το χαμηλό κόστος, δ) Η διαβαθμισιμότητα από το μικρο-επίπεδο (άτομα) στο μακρο-επίπεδο (παγκόσμιες μετρήσεις), και ε) Διαπιστώνεται θετική συσχέτιση μεταξύ της αξιολόγησης από ομότιμους και των βιβλιομετρικών μετρήσεων. Θα πρέπει εδώ να σημειωθεί ότι επειδή οι βάσεις δεδομένων αναφορών αφορούν κυρίως δημοσιεύσεις σε περιοδικά όχι βιβλία, κεφάλαια βιβλίων, τεχνικές αναφορές κλπ. κάθε αποτίμηση του ερευνητικού έργου με βιβλιομετρικές μεθόδους στηρίζεται στην εξής βασική παραδοχή: «κάθε επιστήμονας που έχει να πει κάτι σημαντικό, δημοσιεύει τα ευρήματά του σε επιστημονικά περιοδικά με διεθνή απήχηση» (van Raan, 2005). Έχει ωστόσο, επισημανθεί ότι στις κοινωνικές και στις ανθρωπιστικές επιστήμες βιβλία και κεφάλαια βιβλίων αποτελούν μια πρακτική δημοσίευσης ερευνητικών εργασιών. Τα περισσότερα, όμως, και μεγαλύτερα προβλήματα της ανάλυσης αναφορών σχετίζονται με τις πηγές άντλησης δεδομένων (Web of Science, Scopus, Google Scholar ) και αφορούν περιορισμούς στην κάλυψη των βάσεων δεδομένων (ευρετηριάζεται ένας μικρός αριθμός του συνόλου των επιστημονικών περιοδικών, με χρονολογικά κενά), στην ομοιογένεια κάλυψης (διαφορετική κάλυψη μεταξύ των επιστημονικών πεδίων, μεταξύ των γλωσσών και του τύπου των δημοσιεύσεων καθώς και των χωρών προέλευσης των συγγραφέων) και σε λάθη που οφείλονται στην ανυπαρξία καθιερωμένων τύπων για τα ονόματα συγγραφέων και συλλογικών οργάνων. Εξ όσων γνωρίζουν οι συγγραφείς, οι μελέτες για την αξιολόγηση Πανεπιστημιακών Τμημάτων με βιβλιομετρικές μεθόδους στην Ελλάδα είναι μάλλον ολιγάριθμες. Η πρώτη χρονολογικά (1991) αφορούσε δύο Τμήματα Μαθηματικών (Zachos, 1991). Μια έρευνα το 2008 αφορούσε Τμήματα Επιστήμης των Υπολογιστών και χρησιμοποίησε τη βάση δεδομένων Google Scholar και το λογισμικό Publish or Perish (Katsaros et al., 2008). Το 2010 αξιολογήθηκαν Τμήματα Χημείας, Χημικών Μηχανικών, Επιστήμης των Υλικών και Φυσικής με την χρήση του δείκτη-h (h-index) και της βάσης δεδομένων Web of Science (Lazaridis, 2010). Συγκριτική αξιολόγηση Τμημάτων Πολυτεχνικών Σχολών παρουσίασαν πρόσφατα οι εργασίες Kazakis (2014) για Τμήματα Πολιτικών Μηχανικών και Kazakis (2015) για Τμήματα Χημικών Μηχανικών, αντίστοιχα. Προηγουμένως, 93 Πανεπιστημιακά Τμήματα διαφόρων ειδικοτήτων αξιολογήθηκαν με τη χρήση του δείκτηh (h-index) και της βάσης δεδομένων Google Scholar από ερευνητική ομάδα του Παν. Πατρών (Altanopoulou et al., 2012). Οι Ιατρικές Σχολές αξιολογούνται στην εργασία Kazakis et al. (2014) και τα Τμήματα Οικονομικών Σπουδών στην εργασία Katranidis et al. (2014). Εδώ, επισημαίνεται και η συγκριτική αξιολόγηση του ερευνητικού έργου Τμημάτων Οικονομικής Επιστήμης των Πανεπιστημίων Ελλάδας και Κύπρου που εκπονήθηκε από την ΜΟΔΙΠ του Παν. Μακεδονίας (Ζωντανός & Κατρανίδης 2009). Όσον αφορά τα ΤΕΙ, η αποτίμηση του ερευνητικού έργου επιλεγμένων τεχνολογικών τμημάτων παρουσιάσθηκε στις εργασίες Βαξεβανίδης & Αστερής 2012, Vaxevanidis et al. 2011 και Vaxevanidis et al. 2013. 138

ΕΚΠΑΙΔΕΥΤΙΚΗ ΕΡΕΥΝΑ, ΔΙΔΑΚΤΙΚΗ ΜΕΘΟΔΟΛΟΓΙΑ ΚΑΙ ΕΚΠΑΙΔΕΥΤΙΚΗ ΑΞΙΟΛΟΓΗΣΗ 2. Βιβλιομετρικοί δείκτες Στη διεθνή συναφή βιβλιογραφία προτείνεται ένας μεγάλος αριθμός βιβλιομετρικών δεικτών από τους πλέον απλούς έως σταθμισμένους πολυσύνθετους, βλέπε ενδεικτικά Rehn et al. 2007. Για το σκοπό της αξιολόγησης του ερευνητικού έργου Τμημάτων ΑΕΙ με αξιόπιστο τρόπο και με λελογισμένη χρήση πόρων προτείνεται η χρήση βιβλιομετρικών δεικτών σε τέσσερις άξονες: παραγωγικότητα, συνολική απήχηση, αποδοτικότητα, συνδυασμός παραγωγικότητας και απήχησης. Σημειώνεται ότι παρόμοια μεθοδολογία προτείνεται και στη βιβλιογραφική παραπομπή Ζωντανός & Κατρανίδης 2009. 1. Παραγωγικότητα (Productivity) Ο άξονας αυτός αφορά τον αριθμό των δημοσιεύσεων. Ως δείκτες χρησιμοποιούνται: P: απόλυτος αριθμός δημοσιεύσεων (σε επίπεδο Τμήματος) Pf: αριθμός δημοσιεύσεων ανά μέλος ΔΕΠ/ΕΠ Pav: μέσος αριθμός δημοσιεύσεων ανά μέλος ΔΕΠ/ΕΠ (σε επίπεδο Τμήματος) Οι μετρήσεις των δημοσιεύσεων (απόλυτος αριθμός δημοσιεύσεων, αριθμός δημοσιεύσεων ανά ερευνητή) αποτελούν τα κύρια δεδομένα επί των οποίων στηρίζεται όλη η ανάλυση αναφορών. Είναι ενδεικτικές της παραγωγικότητας και του όγκου του παραγόμενου ερευνητικού έργου. Κύρια μειονεκτήματά είναι: α) η μη διαφοροποίησή τους ως προς την «ποιότητα» (απήχηση) των δημοσιεύσεων, β) η παράβλεψη του μεγέθους της ακαδημαϊκής μονάδας (στην εκδοχή του απόλυτου αριθμού δημοσιεύσεων μιας ακαδημαϊκής μονάδας), γ) η αγνόηση δημοσιεύσεων που δεν περιέχονται στη βιβλιογραφική βάση που χρησιμοποιείται. 2. Συνολική απήχηση αναγνώριση ερευνητικού έργου (Impact) Ο άξονας αυτός αφορά τον αριθμό των αναφορών. Ως δείκτες χρησιμοποιούνται: C: απόλυτος αριθμός ετερο-αναφορών (σε επίπεδο Τμήματος) Cs: απόλυτος αριθμός αναφορών (περιλαμβάνονται και οι αυτο-αναφορές) Cf: απόλυτος αριθμός ετερο-αναφορών ανά μέλος ΔΕΠ/ΕΠ, Cfs: απόλυτος αριθμός αναφορών ανά μέλος ΔΕΠ/ΕΠ, Cav: μέσος αριθμός ετερο-αναφορών ανά μέλος ΔΕΠ/ΕΠ. Ο αριθμός των αναφορών (citations) ενός σώματος δημοσιευμένου έργου είναι ενδεικτικές της απήχησης και της επίδρασης. Μειονεκτήματά αποτελούν: α) η μη διαφοροποίηση ως προς το χρόνο δημοσίευσης (οι παλαιότερες δημοσιεύσεις είναι αναμενόμενο να λαμβάνουν περισσότερες αναφορές από τις νεότερες), β) η επίσης μη διαφοροποίησή τους ως προς τον τύπο της δημοσίευσης και τη θεματική περιοχή (π.χ. άρθρα επισκόπησης συνήθως λαμβάνουν περισσότερες αναφορές από ερευνητικά άρθρα), γ) η παράβλεψη του μεγέθους της ακαδημαϊκής μονάδας (στην απόλυτη εκδοχή του αριθμού αναφορών μιας 139

ακαδημαϊκής μονάδας). Σημειώνεται. ότι σχετικά με την συμπερίληψη των αυτοαναφορών, στη βιβλιογραφία υπάρχουν αντικρουόμενες απόψεις. 3. Αποδοτικότητα (Efficiency) - αριθμός αναφορών αναδημοσίευση c: Μέσος αριθμός ετερο-αναφορών ανά δημοσίευση (Pf/Cf) ανά μέλος ΔΕΠ/ΕΠ cav: Μέσος αριθμός ετερο-αναφορών ανά δημοσίευση (σε επίπεδο Τμήματος, C/P) Ο αριθμός αναφορών ανά δημοσίευση είναι ένας βασικός δείκτης απήχησης του παραχθέντος ερευνητικού έργου μιας ακαδημαϊκής μονάδας. Ο δείκτης αυτός αντιμετωπίζει μερικά τουλάχιστον το πρόβλημα της μη ποιοτικής διαφοροποίησης των περιοδικών που περιλαμβάνονται στη βάση δεδομένων. Διαθέτει το πλεονέκτημα ότι δεν επηρεάζεται από το μέγεθος της ακαδημαϊκής μονάδας. Τα κύρια μειονεκτήματά του είναι: α) η μη διαφοροποίηση ως προς το χρόνο δημοσίευσης ιδιαίτερα σε συνολικές αναδρομικές μετρήσεις (δεν λαμβάνει υπόψη πως οι παλαιότερες δημοσιεύσεις είναι αναμενόμενο να έχουν περισσότερες αναφορές από τις νεότερες), β) η μη διαφοροποίηση ως προς τον τύπο της δημοσίευσης και τη θεματική περιοχή (άρθρα επισκόπησης συνήθως λαμβάνουν περισσότερες αναφορές από ερευνητικά άρθρα) και γ) η αλλοίωσή του σε περιπτώσεις Τμημάτων με χαμηλή παραγωγικότητα, όπου ένας μικρός αριθμός δημοσιεύσεων με μεγάλη απήχηση μπορεί να αλλοιώσει την τελική τιμή του δείκτη. 4. Συνδυαστικοί δείκτες [Hybrid (productivity + impact)] h-index: δείκτης h (Hirsch index) λαμβάνοντας υπόψη μόνο τις ετερο-αναφορές, hs-index: δείκτης h λαμβάνοντας υπόψη όλες τις αναφορές. Oι συνδυαστικοί (υβριδικοί) δείκτες επιχειρούν να συνδυάσουν τόσο την παραγωγικότητα όσο και την απήχηση των δημοσιεύσεων ενός, κατ αρχήν, επιστήμονα. Ο πλέον δημοφιλής και ευρύτερα χρησιμοποιούμενος δείκτης αυτής της κατηγορίας είναι ο δείκτης h που προτάθηκε από τον J.E. Hirsch και ορίζει ότι: «ένας επιστήμονας έχει h-index ίσο με h, εάν h από σύνολο Np των δημοσιεύσεών του έχει τουλάχιστον h αναφορές η κάθε μία, και οι υπόλοιπες δημοσιεύσεις (Νp-h) έχουν το μέγιστο h αναφορές η κάθε μία» (Hirsch, 2005). Οι δείκτες h και hs μπορούν να υπολογισθούν είτε σε ατομικό επίπεδο είτε ως μέσοι όροι σε επίπεδο Τμήματος ή και ευρύτερης ομάδας π.χ με βάση την εθνικότητα (country affiliation). Μειονεκτήματα του h-index είναι ότι δεν λαμβάνει υπόψη του: την ηλικία και τον τύπο των δημοσιεύσεων, το μέγεθος της ακαδημαϊκής μονάδας και τη θεματική περιοχή. Ένα επιπλέον μειονέκτημα είναι ότι ως φυσικός αριθμός δεν παρέχει δυνατότητα μεγάλης διαβάθμισης (ευαισθησίας). Για να αντιπαρέλθουν το πρόβλημα αυτό, διάφοροι ερευνητές πρότειναν είτε τον λεγόμενο g-index είτε μια σειρά από ρητούς (rational) διαδοχικούς (successive) h-indices (h1+, h1δ, h1*) είτε τον λεγόμενο contemporary h-index (hc-index) που δίνει μεγαλύτερη έμφαση στην πρόσφατη ερευνητική παραγωγή, είτε τον λεγόμενο g-index, βλέπε ενδεικτικά: Hu et al. 2010, Katsaros et al. 2008 και Schubert 2007. 140

ΕΚΠΑΙΔΕΥΤΙΚΗ ΕΡΕΥΝΑ, ΔΙΔΑΚΤΙΚΗ ΜΕΘΟΔΟΛΟΓΙΑ ΚΑΙ ΕΚΠΑΙΔΕΥΤΙΚΗ ΑΞΙΟΛΟΓΗΣΗ 3. Μεθοδολογία 3.1. Επιλογή βάσης δεδομένων Μια συγκριτική αναζήτηση στις τρεις κύριες βάσεις δεδομένων (Web of Science, Scopus, Google Scholar ) και η κριτική ανασκόπηση προηγούμενων συναφών εργασιών οδηγεί στο συμπέρασμα ότι η Scopus παρουσιάζει ευρύτερη κάλυψη από την ISI/Web of Science ενώ δεν παρουσιάζει τα «εγγενή» προβλήματα της Google Scholar (αδιαφανής κάλυψη πηγών, ανάκτηση πολλαπλών εγγραφών για την ίδια δημοσίευση κ.λπ). Κατά συνέπεια, για την παρούσα έρευνα, η οποία έχει χρονικό εύρος, κατά το μέγιστο, την τελευταία δεκαετία, αποφασίστηκε η χρήση της Scopus ως πηγής άντλησης των βιβλιογραφικών δεδομένων. Αντίθετα, για βιβλιομετρική έρευνα χωρίς χρονολογικούς περιορισμούς θεωρείται απαραίτητη η συνδυαστική χρήση των Scopus και Web of Science, βλέπε Ζωντανός & Μπαλτά (2008). 3.2 Επιλογή βιβλιομετρικών δεικτών Χρησιμοποιήθηκαν οι δείκτες που προτείνονται στην ενότητα 2. Οι δείκτες αυτοί ικανοποιούν την εφαρμογή πολλαπλών παραμέτρων (Martin, 1996) και δεν απαιτούν χρήση αυξημένων πόρων και εξειδικευμένων γνώσεων. Η συνδυασμένη χρήση δεικτών και από τους τέσσερις άξονες οδηγεί σε μια, κατά το δυνατόν, ολοκληρωμένη και πληρέστερη ανάλυση. 4. Αποτελέσματα Μελέτες εφαρμογής Εφαρμογή 1: Βιβλιομετρικοί δείκτες Τμημάτων ΤΕΙ Η πρώτη εφαρμογή αφορά στην αποτίμηση των τριών «τυπικών» τεχνολογικών τμημάτων (Μηχανολόγοι, Ηλεκτρολόγοι, Δομικοί) ΤΕΙ. Επιλέχθηκαν τα ΤΕΙ Πειραιά (τώρα, ΑΕΙ Πειραιά Τ.Τ.), ΤΕΙ Θεσσαλίας και η ΑΣΠΑΙΤΕ. Για κάθε Τμήμα καταγράφηκε από το διαδίκτυο το μόνιμο ΕΠ και εν συνεχεία από τη βάση Scopus αντλήθηκαν τα βιβλιομετρικά στοιχεία. Τα στοιχεία αυτά ελέγχθηκαν στη συνέχεια ως προς τη συνωνυμία και την ενδεχόμενη πολλαπλή γραφή στα Αγγλικά. Σημειώνεται ότι τα στοιχεία ανά Τμήμα καταγράφηκαν για όλα τα μέλη ΕΠ, η παρουσίαση των αποτελεσμάτων και η αναγωγή σε μέσες τιμές έγιναν με βάση τον αριθμό των μελών που κατέχουν Διδακτορικό 1. Ενδεικτικοί πίνακες αυτού του τύπου είναι οι πίνακες 1 και 2, στη συνέχεια. Πίνακας 1: Βιβλιομετρικοί δείκτες Τμήματος Εκπαιδευτικών Μηχανολόγων Μηχανικών AΣΠΑΙΤΕ Μέλη ΕΠ Βιβλιομετρικοί δείκτες 2011-2015 Σύνολο «ερευνητικού βίου» έως 2015 P f5 C fs5 C f5 Υ 0* P f C fs C f h s h- index Καθηγ. 1 25 28 16 1988 59 460 372 12 12 6.3 c f 1 Μέλη ΕΠ. χωρίς διδακτορικό είναι, σχεδόν αποκλειστικά, οι «παλαιοί» Καθηγ. Εφαρμογών που κατέχουν προσωποπαγή θέση. 141

Αν. Καθηγ. 1 - - - 1985 13 212 190 7 7 14.6 Αν. Καθηγ. 2 9 15 6 1999 27 169 128 7 6 4.7 Επικ. Καθηγ. 1 1 - - 2015 1 - - - - - Ετος 1 ης δημοσίευσης Σημ: Ο δείκτης «5» υποδηλώνει αναφορά στην πενταετία 2011-2015. Πίνακας 2: Βιβλιομετρικοί δείκτες Τμήματος Μηχανολόγων Μηχανικών AEI Πειραιά Τ.Τ. Μέλος Ε.Π. Βιβλιομετρικοί δείκτες 2011-2015 Σύνολο «ερευνητικού βίου» έως 2015 P f5 C fs5 C f5 Υ 0 * P f C fs C f h s h c f 1 58 1902 1524 1987 165 2681 1834 31 26 11.1 2 17 567 503 1993 43 1159 1048 15 13 24.4 ΚΑΘΗΓΗΤΗΣ 3 3 148 144 1996 17 240 226 10 9 13.3 4 5 162 132 2000 21 231 174 7 7 8.3 5 0 28 23 1986 25 141 122 8 7 4.9 6 19 9 2 1995 22 9 2 1 1 0.1 7 0 58 57 2006 1 80 79 1 1 79.0 ΑΝΑΠΛΗΡΩΤΗΣ ΚΑΘΗΓΗΤΗΣ 8 2 411 352 2000 49 934 695 18 16 14.2 9 10 173 140 1996 38 378 301 11 10 7.9 10 1 98 95 1987 9 253 235 5 5 26.1 11 7 501 435 1996 43 822 689 16 15 16.0 ΕΠΙΚΟΥΡΟΣ ΚΑΘΗΓΗΤΗΣ 12 16 194 150 1992 26 344 284 9 8 10.9 13 7 153 131 1996 20 211 157 9 8 7.9 14 11 19 13 2002 17 18 13 3 3 0.8 15 1 0 0 2015 1 0 0 0 0 0.0 * Ετος 1 ης δημοσίευσης Σημ: Ο δείκτης «5» υποδηλώνει αναφορά στην πενταετία 2011-2015. Στους Πίνακες αυτούς τα αποτελέσματα παρουσιάζονται είτε για ολόκληρο τον «ερευνητικό βίο» (χρονική περίοδος από την πρώτη, χρονολογικά, δημοσίευση μέχρι σήμερα) είτε για την τελευταία πενταετία (2011-2015), όπως ζητείται από την ΑΔΙΠ. Οι δείκτες Hirsch καταγράφονται για όλον τον ερευνητικό βίο. Εργασίες με συ-συγγραφείς πιστώνονται σε καθένα από τους συ-συγγραφείς, αλλά προφανώς σε επίπεδο τμήματος 142

ΕΚΠΑΙΔΕΥΤΙΚΗ ΕΡΕΥΝΑ, ΔΙΔΑΚΤΙΚΗ ΜΕΘΟΔΟΛΟΓΙΑ ΚΑΙ ΕΚΠΑΙΔΕΥΤΙΚΗ ΑΞΙΟΛΟΓΗΣΗ λογίζονται ως μια εργασία. Οι πίνακες τύπου πίνακα 1 (συνολικά καταστρώθηκαν 9 πίνακες) αποτελούν τη βάση για την εκτίμηση του ερευνητικού έργου μελών ΔΕΠ συγκεκριμένου τμήματος και στην περίπτωση ικανού αριθμού μελών ΔΕΠ επιτρέπουν και τη σύγκριση ανά ακαδημαϊκή βαθμίδα, βλέπε ενδεικτικά Kazakis (2014). Από τους πίνακες αυτούς προκύπτει μια σαφής ανομοιογένεια στην απόδοση των μελών ΕΠ των Τμημάτων που μελετήθηκαν. Ενδεικτικά, στο Τμήμα Μηχανολογίας του AEI Πειραιά Τ.Τ. το 60 % των εργασιών της τελευταίας 5ετίας προέρχεται από 2 (από τα 15) μέλη Ε.Π., βλέπε πίνακα 2. Στα περισσότερα από τα Τμήματα η κατανομή των εργασιών των μελών ΕΠ ακολουθεί ένα τύπο κατανομής κατά Pareto. Οι παρατηρήσεις της παρούσας μελέτης συμφωνούν με τις διαπιστώσεις προηγουμένων εργασιών (Vaxevanidis et al. 2013) ότι τα Τμήματα των ΤΕΙ, από την άποψη της ερευνητικής δραστηριότητας, είναι έντονα ετερογενή και περιλαμβάνουν «νησίδες αριστείας» αλλά και δομές μέτριας απόδοσης. Από τους πίνακες βιβλιομετρικών δεικτών ανά Τμήμα προκύπτουν τρείς διακριτοί τύποι ερευνητικης δραστηριότητας: Μέλη ΕΠ τα οποία φαίνονται να έχουν σταθερή συγγραφική/ ερευνητική συμπεριφορά καθόλη τη διάρκεια της καταγεγραμμένης επιστημονικής τους «διαδρομής». Κατά κανόνα τα μέλη αυτά έχουν και τους υψηλότερους δείκτες παραγωγικότητας και απήχησης. Μέλη ΕΠ τα οποία φαίνεται να εμφανίζουν εστιασμένες περιόδους «συγγραφικής κινητικότητας», χωρίς ωστόσο η απήχηση των αποτελεσμάτων να έχει μεγάλη αποδοχή από τη διεθνή επιστημονική κοινότητα. Μέλη ΕΠ που παρουσιάζουν περιορισμένη έως και οριακή επιστημονική δραστηριότητα. Αφού συγκροτηθούν πίνακες για όλα τα υπό μελέτη Τμήματα, γίνεται δυνατή η συγκρότηση ενός συγκεντρωτικού, συγκριτικού Πίνακα για όλα τα Τμήματα, βλέπε τον Πίνακα 3 στη συνέχεια. Ο Πίνακας αυτός επιτρέπει την σύγκριση Τμημάτων δεδομένου ΤΕΙ ή/και την σύγκριση ομοειδών Τμημάτων διαφορετικών Ιδρυμάτων. Μεταξύ των εννέα Τμημάτων, το Τμήμα Μηχανολόγων Μηχανικών του AEI Πειραιά Τ.Τ. υπερέχει ως προς όλους τους δείκτες. Αντίθετα, το Τμήμα Πολιτικών Μηχανικών του ΤΕΙ Θεσσαλίας έχει τη χαμηλότερη παραγωγή και απήχηση ερευνητικής δραστηριότητας. Tα Τμήματα Πολιτικών και Ηλεκτρολόγων της ΑΣΠΑΙΤΕ υπερτερούν σαφώς ως προς την παραγωγικότητα (σύνολο και μέση τιμή ανά μέλος ΕΠ) από τα ομοειδή Τμήματα των δύο άλλων Ιδρυμάτων. Οι βιβλιογραφικοί δείκτες του πίνακα 3 συνεισφέρουν στη δημιουργία μιας εποπτικής εικόνας, όταν συγκρίνονται ομοειδή Τμήματα διαφορετικών Ιδρυμάτων, τα οποία θα έπρεπε να λειτουργούν υπό τις αυτές απαιτήσεις ως προς την «ποιότητα» του προσωπικού. Πρέπει όμως να επισημανθεί ότι σε επίπεδο Τμήματος, σημαντικές διαφοροποιήσεις σε ατομικό επίπεδο, μπορεί να οδηγήσουν σε μια «μέση» εικόνα που δεν είναι απολύτως αντιπροσωπευτική της ολικής, πραγματικής απόδοσης. Δεν πρέπει, επίσης, να λησμονείται το γεγονός ότι η δημοσίευση ερευνητικών εργασιών είναι μόνο ένα από τα αποτελέσματα 143

της διαδικασίας διάδοσης γνώσης που επιτελείται σε ένα ΑΕΙ (Schmoch & Schubert 2009). Επιπρόσθετα, η σύγκριση με αντίστοιχα Πολυτεχνικά Τμήματα, βλέπε Kazakis (2014) και Vaxevanidis et al. (2011), οδηγεί στο συμπέρασμα ότι οι μέσοι δείκτες των τμημάτων ΤΕΙ είναι γενικά, συστηματικά χαμηλότεροι, Το γεγονός αυτό οφείλεται στις εγγενείς διαφορές των δύο τύπων Ιδρυμάτων και στη διαδικασία δημιουργίας και διαχρονικής τους εξέλιξης, βλέπε ενδεικτικά Vaxevanidis (2012). Πίνακας 3: Συγκεντρωτικοί βιβλιομετρικοί δείκτες Τεχνολογικών Τμημάτων πενταετίας 2011-2015. Ίδρυμα ΑΣΠΑΙΤΕ Α.Ε.Ι. Πειραιά Τ.Τ. Τ.Ε.Ι. Θεσσαλίας Τμήμα* Α Β Γ A B Γ A B Γ Μέλη Ε.Π. 4 8 8 15 10 7 8 8 6 P 5 34 54 41 128 29 7 24 12 9 C s5 291 187 236 4005 659 241 450 164 159 C 5 249 142 181 3422 499 187 381 157 140 P av 8.5 6.8 5.1 8.5 2.9 1.0 3.0 1.5 1.5 C sav 72.75 23.38 29.50 267.00 65.90 34.43 56.25 20.50 26.50 C av 62.25 17.75 22.63 228.13 49.90 26.71 47.63 19.63 23.30 * Α: Τμήματα Μηχανολόγων Μηχανικών Β: Τμήματα Ηλεκτρολόγων Μηχανικών Γ: Τμήματα Πολιτικών Μηχανικών Εφαρμογή 2: Βιβλιομετρικοί δείκτες χωρών στην περιοχή «Διαχείριση Ποιότητας» Η βιβλιομετρική ανάλυση έχει αποδειχθεί χρήσιμη για την άντληση και την ανάλυση πληροφοριών σχετικά με το ερευνητικό έργο που διεξάγεται σε συγκεκριμένη γεωγραφική περιοχή ή/και συγκεκριμένο επιστημονικό πεδίο, βλέπε ενδεικτικά De Battisti & Salini (2013) και Zyoud et al. (2014). Από την περιορισμένη σχετική βιβλιογραφία αναφέρουμε τις μελέτες για τη φυσική στις χώρες της Μέσης Ανατολής (Uzun 1996), τις θετικές επιστήμες στη Σκανδιναβία (Glänzel 2000), τα συστήματα κατεργασιών και τις τεχνολογίες παραγωγής στην Ευρώπη (Franceschini & Maisano 2012) και την τριβολογία στη Ν.Α. Ευρώπη (Vaxevanidis et al. 2015). Στην παρούσα εργασία επιχειρείται μια βιβλιομετρική ανάλυση του διεπιστημονικού θέματος της διαχείρισης ποιότητας (quality management) στις χώρες τις Ν.Α. Ευρώπης. Τα αποτελέσματα αφορούν την τελευταία δεκαετία (2006-σήμερα). Ακολουθείται η μεθοδολογία που εφαρμόσθηκε στη βιβλ. αναφορά Vaxevanidis et al. (2015). Χρησιμοποιήθηκε η βάση δεδομένων Scopus και οι δείκτες της ενότητας 2 εφαρμόζονται σε επίπεδο χώρας (οι συγγραφείς μια χώρας θεωρούνται «ένας» συγγραφέας). 144

ΕΚΠΑΙΔΕΥΤΙΚΗ ΕΡΕΥΝΑ, ΔΙΔΑΚΤΙΚΗ ΜΕΘΟΔΟΛΟΓΙΑ ΚΑΙ ΕΚΠΑΙΔΕΥΤΙΚΗ ΑΞΙΟΛΟΓΗΣΗ Λαμβάνοντας υπόψη και τη διαχρονική εξέλιξη του όρου «ποιότητα» ως όροι-κλειδιά, εκτός από τους όρους διαχείριση / διασφάλιση ποιότητας, χρησιμοποιήθηκαν οι φράσεις «ποιοτικός έλεγχος», «ολική ποιότητα» και «σειρά ISO 9000». Επιγραμματικά σημειώνεται εδώ, ότι η Διοίκηση Ολικής Ποιότητας (ΔΟΠ) είναι μια φιλοσοφία διοίκησης και ένα σύστημα τεχνικών και εργαλείων που στοχεύει στη συνεχή βελτίωση μιας επιχείρησης, ώστε να ικανοποιεί τους πελάτες της και συνεπώς να καθίσταται βιώσιμη και ανταγωνιστική. Το πρότυπο ISO 9001:2008 προδιαγράφει με τη μορφή απαιτήσεων ένα σύνολο καλών πρακτικών για τη διαχείριση της ποιότητας και αποτελεί το πιο διαδεδομένο πρότυπο διαχείρισης ποιότητας στον κόσμο. Το πρότυπο ISO 9001:2008 καθορίζει τις απαιτήσεις ενός συστήματος διαχείρισης ποιότητας που πρέπει να εφαρμόζει ένας δημόσιος οργανισμός ή μια ιδιωτική επιχείρηση, ανεξαρτήτως του κλάδου δραστηριοποίησής τους, όταν επιθυμεί να αποδείξει την ικανότητά τους να παρέχει σε σταθερή βάση, προϊόντα ή υπηρεσίες που ικανοποιούν τις απαιτήσεις του πελάτη αλλά και απαιτήσεις που προκύπτουν από τη νομοθεσία, βλέπε ενδεικτικά Στεφανάτος (2000). Οι όροι αναζήτησης που τέθηκαν είναι οι ακόλουθοι: (TITLE (quality control) OR TITLE (quality management) OR TITLE (quality assurance) OR TITLE (total quality) OR TITLE (ISO 900*) AND AFFILCOUNTRY (κάθε μια από τις 13 επιλεγμένες χώρες) AND PUBYEAR > 2005 AND PUBYEAR < 2016; DOCUMENT TYPE (ALL). Τα αποτελέσματα αφορούν στην τελευταία δεκαετία (2006-2015) και συνοψίζονται στον πίνακα 4. Στον πίνακα αυτό, για λόγους σύγκρισης συμπεριλήφθηκαν και οι μεσογειακές χώρες Γαλλία, Ισπανία και Ιταλία. Ακολουθείται η μεθοδολογία που εφαρμόσθηκε στη βιβλ. αναφορά Vaxevanidis et al (2015). Πίνακας 4: Συγκεντρωτικά βιβλιογραφικά στοιχεία στην επιστημονική περιοχή «διαχείριση ποιότητας» (2006-2015). Χώρα Αριθμός άρθρων Αριθμός αναφορών Αριθμός ετεροαναφορών Δείκτης h (με αυτόαναφ.) h-index (χωρίς αυτοαναφ.) Μέσος αριθμός άρθρων ανά έτος C s10 / P 10 P 10 C s10 C 10 h s10 h 10 P av10 c avs10 Αλβανία 7 16 11 2 1 0.7 2.28 Βουλγαρία 53 129 66 6 4 5.3 2.43 Κροατία 103 268 175 8 7 10.3 2.60 Κύπρος 35 117 91 6 5 3.5 3.34 Ελλάδα 285 2475 2105 27 23 28.5 8.68 Ρουμανία 311 384 274 9 8 31.1 1.23 Σερβία 85 178 104 7 5 8.5 2.09 Σλοβενία 79 467 372 12 12 7.9 5.91 Τουρκία 249 1515 1299 19 17 24.9 6.08 Ιταλία 907 8971-40 - 90.7 9.89 Ισπανία 975 8930-43 - 97.5 9.16 Γαλλία 872 7801-42 - 87.2 8.95 Σημ: Ο δείκτης «10» υποδηλώνει αναφορά στη δεκαετία 2006-2015. Με απλή ανάγνωση του Πίνακα 4, φαίνεται ότι σε χώρες προηγμένες βιομηχανικά, όπως είναι η Γαλλία, η Ισπανία και η Ιταλία, υπάρχει εντονότερη δημοσιευμένη ερευνητική δραστηριότητα (Pav10: 87.2 97.5) σε σχέση με χώρες χαμηλότερης έντασης του 145

βιομηχανικού κλάδου, όπως είναι η Αλβανία, η Βουλγαρία ή η Κροατία (Pav10: 0,7-10,3). Ενδιάμεσα, εμφανίζεται μια ομάδα τριών χωρών, - Ελλάδα, Ρουμανία, Τουρκία,- με αξιόλογη παραγωγή συναφούς με το θέμα ερευνητικού έργου (Pav10: 24.9-31.1). Η Ελλάδα, από τις χώρες της Ν.Α. Ευρώπης, εμφανίζει τη δεύτερη μεγαλύτερη παραγωγικότητα και μακράν, τη μεγαλύτερη απήχηση. Η μέση απήχηση των άρθρων των Ελλήνων ερευνητών προσεγγίζει αυτή των άρθρων που προέρχονται από τη Γαλλία. Αντίθετα, η Ρουμανία που έχει τη μεγαλύτερη παραγωγικότητα χαρακτηρίζεται και από τη χαμηλότερη μέση απήχηση. Για όλες τις χώρες της Ν.Α. Ευρώπης διαπιστώνεται ότι η πλειοψηφία των άρθρων προέρχεται από ακαδημαϊκά Ιδρύματα και ερευνητικά Κέντρα - η συνεισφορά της «βιομηχανίας» παρά τη φύση και τον προσανατολισμό της επιστημονικής αυτής περιοχής είναι πολύ μικρή έως αμελητέα. Δύο ενδιαφέροντα θέματα που δεν συζητούνται εξ αιτίας του περιορισμένου χώρου είναι η συνεργασία / συν-συγγραφή με ερευνητές τρίτων χωρών και η επιλογή περιοδικών προς δημοσίευση, βλέπε ενδεικτικά Vaxevanidis et al, 2015. Επισημαίνεται τέλος ότι για την εξαγωγή ασφαλών συμπερασμάτων και την αξιόπιστη ερμηνεία των βιβλιομετρικών αυτών δεικτών σε επίπεδο χωρών, θα πρέπει να εισαχθούν και άλλοι δείκτες που σχετίζονται αφ ενός με τον αριθμό των στοιχειωδών κυττάρων ακαδημαϊκής δραστηριότητας σχετικής με το πεδίο έρευνας και αφ ετέρου με εθνικούς οικονομικούς δείκτες (π.χ. ΑΕΠ, ποσοστό ΑΕΠ για έρευνα και ανάπτυξη κ.λπ). Συμπεράσματα Στην παρούσα εργασία προτείνεται μια σειρά βιβλιογραφικών δεικτών, οι οποίοι μπορούν να εξαχθούν με απλή και σύντομη αναζήτηση σε βάσεις δεδομένων όπως η Scopus. Με τη συναξιολόγηση των δεικτών αυτών μπορούν να εξαχθούν αξιόπιστα συμπεράσματα για την αξιολόγηση της ερευνητικής δραστηριότητας διακριτών συνόλων, καθώς και της απήχησης που αυτή έχει στη διεθνή επιστημονική κοινότητα. Η μεθοδολογία εφαρμόσθηκε σε δύο περιπτώσεις αξιολόγησης: (α) ομοειδών Τμημάτων της Τεχνολογικής 3-βάθμιας εκπαίδευσης στην Ελλάδα και (β) χωρών της Βαλκανικής και της Μεσογείου ως προς την ερευνητική τους δραστηριότητα σε θέματα Διαχείρισης και Ελέγχου Ποιότητας. Τα κύρια συμπεράσματα συνοψίζονται στα ακόλουθα: 1. Η βιβλιομετρική ανάλυση με χρήση διαδικτυακών βάσεων δεδομένων είναι ανεξάρτητη, αντικειμενική, απλή, διαφανής, γρήγορη και χαμηλού κόστους. Βασίζεται στην παραδοχή ότι «κάθε επιστήμονας που έχει να πει κάτι σημαντικό, δημοσιεύει τα ευρήματά του σε επιστημονικά περιοδικά με διεθνή απήχηση». 2. Χαρακτηρίζεται από υψηλή διαβαθμισιμότητα: από το μικρο-επίπεδο (άτομα) στο μακρο-επίπεδο (παγκόσμιες μετρήσεις). 3. Αγνοεί, συνήθως, συγγραφική δραστηριότητα που αφορά σε βιβλία, κεφάλαια βιβλών και τεχνικές εκθέσεις, κατά συνέπεια, ενδεχομένως, είναι μειωμένης αξιοπιστίας σε σχέση με την όλη ερευνητική δραστηριότητα ενός ατόμου. 4. Η βιβλιομετρική ανάλυση αποδεικνύεται μια αξιόπιστη μέθοδος για συγκριτικές μελέτες. 146

ΕΚΠΑΙΔΕΥΤΙΚΗ ΕΡΕΥΝΑ, ΔΙΔΑΚΤΙΚΗ ΜΕΘΟΔΟΛΟΓΙΑ ΚΑΙ ΕΚΠΑΙΔΕΥΤΙΚΗ ΑΞΙΟΛΟΓΗΣΗ Βιβλιογραφία Altanopoulou, P., Dontsidou, M. & Tselios, N. (2012), Evaluation of ninety-three major Greek university departments using Google Scholar, Quality in Higher Education, 18(1), 111-137. Βαξεβανίδης, Ν. & Αστερής, Π. (2012). Αξιολόγηση ερευνητικού έργου Τμημάτων ΤΕΙ με βιβλιομετρικούς δείκτες, Η Ποιότητα στην Εκπαίδευση: Τάσεις και Προοπτικές -Πανελλήνιο Συνέδριο με διεθνή συμμετοχή, Παιδαγωγικό Τμήμα Δ.Ε. Πανεπιστημίου Αθηνών, 11-13 Μαΐου 2012, Πρακτικά Συνεδρίου, τόμος Β, σελ. 711-722. De Battisti, F. & Salini, S. (2013), Robust analysis of bibliometric data, Statistical Methods and Applications, 22(2), 269-283. Franceschini, F. & Maisano, D. (2012), Publication and patent analysis of European researchers in the field of production technology and manufacturing systems, Scientometrics, 93(1), 89-100. Glänzel, W. (2000), Science in Scandinavia: A bibliometric approach, Scientometrics, 48(2), 121-150. Harvey, L. (2005), A history and critique of quality evaluation in the UK, Quality Assurance in Education, 13(4), 263-276. Hirsch, J.E. (2005), An index to quantify an individual s scientific research output, Proceedings of the National Academy of Sciences of the United States of America, 102(46), 16569-16572. Hu, X., Rousseau, R. & Chen, J. (2010), In those fields where multiple authorship is the rule, the h-index should be supplemented by role-based h-indices, Journal of Information Science, 36(1), 73-85. Katranidis, S., Panagiotidis, T. & Zontanos, C. (2014), An Evaluation of the Greek Universities Economics Departments, Bulletin of Economic Research, 66(2), 173-182. Katsaros, D., Matsoukas, V. & Manolopoulos, Y. (2008). Evaluating Greek departments of computer science & engineering using bibliometric indices. In Proceedings Panhellenic Conference in Informatics. Kazakis, N. A., Diamantidis, A. D., Fragidis, L. L. & Lazarides, M. K. (2014), Evaluating the research performance of the Greek medical schools using bibliometrics, Scientometrics, 98(2), 1367-1384. Kazakis, N. A. (2014), Bibliometric evaluation of the research performance of the Greek civil engineering departments in National and European context, Scientometrics, 101(1), 505-525. Kazakis, N. A. (2015), The research activity of the current faculty of the Greek chemical engineering departments: a bibliometric study in national and international context, Scientometrics, 103(1), 229-250. Lazaridis, T. (2010). Ranking university departments using the mean h-index. Scientometrics, 82(2), 211-216. Martin, B.R., (1996). The use of multiple indicators in the assessment of basic research, Scientometrics, 36(3) 343-362. Rosa, M. J., Amaral, A. & Sarrico, C. S. (2012). Implementing quality management systems in higher education institutions. In Quality Assurance and Management, InTech Publications, 2012, 129-146. Schmoch, U., Schubert, T. (2009). When and how to use bibliometrics as a screening tool for research performance, Science and Public Policy, 36(10), 753-762. Schubert, A. (2007), Successive h-indices, Scientometrics, 70(1), 201-205. Στεφανάτος, Σ, (2000). Ολική Ποιότητα. Πάτρα: ΕΑΠ. Uzun, A. (1996), A bibliometric analysis of physics publications from Middle Eastern countries, Scientometrics, 36(2), 259-269. Van Raan, AFJ (2005), Fatal attraction: Conceptual and methodological problems in the ranking of universities by bibliometric methods, Scientometrics, 62, 133-143. 147

Vaxevanidis, N.M., Despotidi, H., Prokopiou, H. & Koutsomichalis, A. (2011), On the evaluation of the quality of research in Greek HEIs using bibliometric indices, International Journal for Quality Research, 5(4), 247-254. Vaxevanidis, N. M. (2012). Quality Assurance in Greek HEIs: Convergence or Divergence with European Models?. Mechanical Engineering Education, 1-60. Vaxevanidis, N. M., Despotidi, H., Asteris, P. G., & Typas, G. (2013). Evaluation of research in a Greek pedagogical and technological higher education institution. In International Working Conference Total Quality Management Advanced and Intelligent Approaches, Belgrade, Serbia, June 2013, pp. 323-332. Vaxevanidis, N. M., Vencl, A. & Psyllaki, P. (2015), Research on Tribology in Southeastern Europe: A Bibliometric Study, FME Transactions, 43 (3), 259-268. Wallin, J.A. (2005), Bibliometric methods: pitfalls and possibilities, Basic & clinical pharmacology & toxicology, 97(5), 261-275. Zachos, G. (1991), Research output evaluation of two university departments in Greece with the use of bibliometric indicators, Scientometrics, 21(2), 195-221. Zyoud, S. E. H., Al-Jabi, S. W., Sweileh, W. M. & Awang, R. (2014), A bibliometric analysis of toxicology research productivity in Middle Eastern Arab countries during a 10-year period (2003-2012), Health Research Policy & Systems, 12(1). Ζωντανός, K. & Κατρανίδης, Σ. (2009). Συγκριτική Αξιολόγηση Ερευνητικού Έργου Τμημάτων Οικονομικής Επιστήμης Πανεπιστημίων Ελλάδας και Κύπρου. Θεσσαλονίκη: Παν. Μακεδονίας. Ζωντανός, Κ. & Μπαλτά, Κ. (2008). Ο ρόλος της Βιβλιοθήκης στην αξιολόγηση του ερευνητικού έργου του Πανεπιστημίου Μακεδονίας, ανακτήθηκε 22-02-2016 από https://lekythos.library.ucy.ac.cy/ 148