Ιόνιο Πανεπιστήµιο Τµήµα Αρχειονοµίας Βιβλιοθηκονοµίας Μεταπτυχιακό πρόγραµµα σπουδών στην Επιστήµη της Πληροφορίας Αξιολόγηση πληροφοριακών συστηµάτων και υπηρεσιών 2004 2005 ιάλεξη 2: Αξιολόγηση γενικά γιατί και τι αξιολογούµε ιστορική εξέλιξη αξιολόγηση πληροφοριακών συστηµάτων, πληροφοριακών πόρων και συλλογών, κριτήρια
Μερικές ερωτήσεις για τo Σύστηµα 1 2
Μερικές ερωτήσεις για τo Σύστηµα 2 Πoιoί άvθρωπoι αvήκoυv στo σύστηµα καιπώς επικoιvωvoύvµεταξύ τoυς; Τι πρoβλήµατα υπάρχoυv αvάµεσα στα άτoµα; Πoιός είvαι o σκoπός ύπαρξης τoυσυστήµατoς; Πoιές είvαι oι αvάγκες σε αλλαγές και πώς θα γίvoυv; Τι επιπτώσεις θα έχoυv; 3
Πλαίσιο αξιολόγησης 1 Κοινωνικό πλαίσιο (κατανόηση, ενηµέρωση κοινού, πολιτικά και ηθικά ζητήµατα) Επαγγελµατικό πλαίσιο (επαγγελµατικές οδηγίες, πρότυπα, πολιτικές) Οργανωσιακό πλαίσιο (ιδιαιτερότητες οργανισµού που ανήκει) 4
Πλαίσιο αξιολόγησης 2 ιοικητικό πλαίσιο (σχετίζεται µε διοίκηση, διαχείριση ποιότητας) Λειτουργικό πλαίσιο (σχετίζεται µε λήψη αποφάσεων, αλλαγές) Τεχνολογικό πλαίσιο (επίδραση τεχνολογίας, ρόλος τεχνολογίας) Πλαίσιο χρηστών (βασικός σκοπός) 5
Εννοιες αξιολόγησης Αξίες (values) γεωγραφία, ιστορία, οικονοµία, κουλτούρα Όφελος (benefit) οικονοµικό, κοινωνικό, ανάλυση κόστους/οφέλους Στόχοι (goals) αντιµετώπιση διαφορετικών αντιλήψεων για αξίες και οφέλη Ποιότητα (quality) πόσο «καλό» είναι αυτό που αξιολογείται Ποσότητα (quantity) µετρήσεις, συγκρίσεις 6
Η αξιολόγηση αφορά την οργάνωση και διοίκηση τους χρήστες 7
Χρήστες του συστήµατος Προσωπικό Ερευνητές Παραγωγοί Προµηθευτές ιαθέτες Τελικοί χρήστες 8
Γιατί χρειάζεται η αξιολόγηση; Για την παροχή καλύτερων προϊόντων και υπηρεσιών Για τη δικαιολόγηση της υπάρχουσας κατάστασης Για την κατανόηση λειτουργίας του πληροφοριακού συστήµατος Για να πειστούν οι φορείς που εποπτεύουν αλλά και οι χρήστες της (αξιολογούµενης) υπηρεσίας ότι παρέχονται τα προσδοκώµενα οφέλη Για να επιβεβαιωθεί ότι οι πόροι χρησιµοποιούνται αποδοτικά και αποτελεσµατικά. 9
Συµβολή της αξιολόγησης: Στηλήψηαποφάσεων Στη διασφάλιση της ποιότητας της παρεχόµενης υπηρεσίας Στην εκτίµηση της έκτασης που µπορούν να λυθούν τα προβλήµατα (π.χ. λόγω περιορισµού πόρων, δυσκολιών από τρίτους κλπ) Στον προσδιορισµό των αναγκών διαφορετικών οµάδων χρηστών Στο σχεδιασµό δηµόσιων σχέσεων και υπηρεσιών διάχυσης των πληροφοριών Στην αποτίµηση της χρήσης και των προµηθευτών Στη συµµετοχή των χρηστών στην οργάνωση του συστήµατος 10
Προσεγγίσεις στην αξιολόγηση Όταν χρειαστεί έκτακτες περιπτώσεις, συγκεκριµένο χρονοδιάγραµµα, δεν συνδέεται µε το σχεδιασµό και τον προγραµµατισµό του συστήµατος Εξωτερική υποχρέωση στατιστικά δεδοµένα σε εξωτερικό φορέα (π.χ. Στατιστική Υπηρεσία), σύγκριση µε άλλα συστήµατα Εσωτερική υποχρέωση µελέτη ιδιαιτεροτήτων συστήµατος, αντιµετώπιση εσωτερικών προβληµάτων, λήψη αποφάσεων, ποιότητα Για ερευνητικούς σκοπούς εφαρµογή µεθόδων έρευνας, χρήση από άλλες αντίστοιχες υπηρεσίες 11
Τι αξιολογούµε; 1 Συστατικά στοιχεία του συστήµατος (π.χ. ανθρώπους, εξοπλισµό, προγράµµατα) Πληροφοριακές διεργασίες (διατύπωση ερωτήµατος, αποτελέσµατα εκτύπωσης) Προϊόντα και υπηρεσίες (π.χ. αυτοµατοποιηµένα συστήµατα) Πληροφοριακές λειτουργίες (π.χ. αναζήτηση πληροφοριών) Ολόκληρο πληροφοριακό σύστηµα (π.χ. βιβλιοθήκη) Περιβάλλον του πληροφοριακού συστήµατος (ο οργανισµός και ο πληθυσµός που εξυπηρετείται) Bawden, D. (1990). User-Oriented Evaluation of Information Systems and Services. Aldershot, Uk.: Gower. 12
Τι αξιολογούµε; 2 Πληροφοριακός πόρος (information resource), η βασική µονάδα προς αξιολόγηση, όπως το βιβλίο, το περιοδικό, µία συλλογή, µία βιβλιογραφική βάση δεδοµένων κλπ. Μπορεί να αξιολογηθεί και ανεξάρτητα από συγκεκριµένη χρήση ή χρήστη (π.χ. κάλυψη, επικάλυψη µε άλλους πόρους κλπ). Πληροφοριακό σύστηµα (information system), το σύστηµα που παρέχει πρόσβαση στις πληροφορίες, π.χ. ένα σύστηµα ανάκτησης πληροφοριών, ένας κατάλογος βιβλιοθήκης, ένα σύστηµα διάθεσης τεκµηρίων κλπ. Πληροφοριακή υπηρεσία (information service), είναι το σύνολο των πόρων και των συστηµάτων. 13
Ενδεικτική Βιβλιογραφία ACRL Standards and Guidelines for Libraries Ennis, K. ed. (1995). Guidelines for College Libraries: Recommendations for Performance and Resourcing. London: Library Association. Library Association(1981). Guidelines for Reference and Information Services in Public Libraries. London: Library Association. Available from WWW: www.la-hq.org.uk/directory/prof_issues/lasg.rtf 14
Ιστορική εξέλιξη 1 Το 1957 έγινε έρευνα από το Cranfield Institute of Aeronautics, προκειµένου να συγκριθούν 4 ταξινοµικά συστήµατα (το ιεραρχικής δοµής δεκαδικό σύστηµα UDC, ένας αλφαβητικός θεµατικός κατάλογος, ένα µη-ιεραρχικό ταξινοµικό σύστηµα µε θεµατικές κατηγορίες φασέτες και το συνδυασµένο σύστηµα ευρετηρίασης Uniterm). Αντίστοιχη έρευνα έγινε το 1963 για να διερευνηθούν τα χαρακτηριστικά των γλωσσών ευρετηρίασης και η επίδραση στην ανάκτηση πληροφοριών. Το 1969 έγινε από το Medlars έρευνα αξιολόγησης συστηµάτων αναζήτησης προκειµένου να εξεταστούν παράγοντες όπως κάλυψη, επικαιρότητα, εξαντλητικότητα, διεπαφή, εξειδίκευση γλώσσας ευρετηρίασης κλπ. 15
Ιστορική εξέλιξη 2 Το 1970 και το 1973 έγινε έρευνα αξιολόγησης 5 γλωσσών ευρετηρίασης για να βρεθεί η πιο κατάλληλη προκειµένου να χρησιµοποιηθεί στη βάση δεδοµένων INSPEC. Το 1972 και 1973 έγιναν έρευνες αξιολόγησης των υπηρεσιών που παρήγαγαν τις βάσεις δεδοµένων Chemical Abstracts, Index Chemicus, Epilepsy Abstracts, προκειµένου να µελετηθεί η υπηρεσία επιλεκτικής διάχυσης πληροφοριών (SDI Selective Dissemination of Information). 16
Ιστορική εξέλιξη 3 Το 1981 έγινε από την INSPEC έρευνα προκειµένου να βρεθεί η κατάλληλη στρατηγική αναζήτησης για αυτοµατοποιηµένη υπηρεσία επιλεκτικής διάχυσης πληροφοριών SDI. Ερευνες χρηστών είχαν ξεκινήσει από τη δεκαετία του 60 ως κοινωνικές έρευνες µελέτης οµάδων χρηστών, χρησιµοποιώντας συνεντεύξεις και ερωτηµατολόγια. Από τη δεκαετία του 80 γίνονταν πολλές έρευνες συγκριτικής αξιολόγησης των βάσεων δεδοµένων Από τη δεκαετία του 80 επίσης άρχισαν έρευνες αξιολόγησης της απόδοσης των υπηρεσιών πληροφόρησης, µε οικονοµικούς όρους 17
Αξιολόγηση πληροφοριακών συστηµάτων Περιλαµβάνονται ζητήµατα: Αξιολόγησης των πληροφοριακών πόρων (µε κριτήρια όπως κάλυψη, επικάλυψη, επικαιρότητα, ποιότητα και καταλληλότητα των πληροφοριών). Παραδείγµατα: θεµατική αναζήτηση σε διάφορες πηγές και εξέταση των επιπέδων κάλυψης και επικάλυψης ανάµεσα στις πηγές αυτές, εξέταση της κάλυψης ενός θέµατος από συγκεκριµένηβάσηδεδοµένων, ταχύτητα ενηµέρωσης βάσεων δεδοµένων και σύγκριση µεταξύ τους. Αξιολόγησης των πληροφοριακών συστηµάτων (µε κριτήρια την αποδοτικότητα και αποτελεσµατικότητα που οι ζητούµενες πληροφορίες φτάνουν στους χρήστες). 18
Αξιολόγηση πληροφοριακών συστηµάτων Περιλαµβάνονται η ευρετηρίαση και η ανάκτηση, µε έµφαση στο δεύτερο, δεδοµένου ότι αποτελεί την εκροή (output) του συστήµατος. Παραδείγµατα αξιολόγησης του ευρετηρίου είναι η εξέταση των διαφορετικών όρων που χρησιµοποιούνται και η κατανοµή τους και η σύγκριση όρων ευρετηρίασης που χρησιµοποιούνται σε διαφορετικές βάσεις δεδοµένωνγιαταίδιαάρθρα. Από την πλευρά του χρήστη, η αξιολόγηση της ευρετηρίασης σχετίζεται µε την αξιολόγηση των συστηµάτων αναζήτησης και ανάκτησης. Εδώ εντάσσονται επίσης και τα ζητήµατα αξιολόγησης των πληροφορικών συστηµάτων (υλικό, λογισµικό, δίκτυα). 19
Αξιολόγηση πληροφοριακών πόρων και συλλογών 1 Συλλογή είναι ένα σύνολο πληροφοριακών πόρων Παραδείγµατα µέτρων αξιολόγησης είναι: οι µετρήσεις (χωρισµένες σε θεµατικές κατηγορίες) οι ποσοτικές έρευνες χρήσης οι έρευνες αξιολόγησης της ικανοποίησης των χρηστών ορυθµός επιτυχίας ο αριθµός αιτήσεων δανεισµού η σύγκριση της συλλογής της βιβλιοθήκης έναντι υπάρχουσας αντιπροσωπευτικής συλλογής κλπ. 20
Αξιολόγηση πληροφοριακών πόρων και συλλογών 2 Ζητήµατα για εξέταση: Σκοπός της αξιολόγησης Μέθοδοι αξιολόγησης (ποσοτικές, ποιοτικές, βασισµένες στη συλλογή, βασισµένες στους χρήστες) Κριτήρια αξιολόγησης Πλεονεκτήµατα και µειονεκτήµατα των µεθόδων αξιολόγησης Κριτήρια για την αξιολόγηση της πρόσβασης σε πληροφοριακούς πόρους Γιατί είναι σηµαντικές οι µέθοδοι συντήρησης και διατήρησης των συλλογών 21
Αξιολόγηση πληροφοριακών πόρων και συλλογών 3 Ζητήµατα για εξέταση: * Η αξιολόγηση γίνεται για βελτίωση της συλλογής (σε σύγκριση µε άλλες, µε βάση ορισµένα κριτήρια) και για προσδιορισµό των αδύνατων σηµείων (προκειµένου να ξεπεραστούν) Πνευµατική υπευθυνότητα Πληρότητα στην κάλυψη του θέµατος Ακρίβεια και αξιοπιστία Καταλληλότητα και επίπεδο κάλυψης Οργάνωση του υλικού Σηµεία πρόσβασης (ευρετήρια κλπ) Επικαιρότητα Μοναδικότητα ή σύγκριση µε άλλες πηγές Μορφή 22
Κριτήρια επιλογής Επίπεδο (π.χ. ίδρυµα, σχολή, τµήµα ) Χρήστες (π.χ. ΕΠ, φοιτητές) Αναγνωστικό επίπεδο (π.χ. προσχολική ηλικία, έφηβοι κλπ) Βάθος κάλυψης ανεισµός, διαδανεισµός Υψος προϋπολογισµού, κόστος Περιορισµοί, λογοκρισία Ποιότητα (περιεχόµενο, φυσική εµφάνιση) Γλώσσα και χώρα προέλευσης Επικαιρότητα Επιβραβεύσεις, συστάσεις 23