Ιόνιο Πανεπιστήµιο Τµήµα Αρχειονοµίας Βιβλιοθηκονοµίας. Μεταπτυχιακό πρόγραµµα σπουδών στην Επιστήµη της Πληροφορίας

Transcript

1 Ιόνιο Πανεπιστήµιο Τµήµα Αρχειονοµίας Βιβλιοθηκονοµίας Μεταπτυχιακό πρόγραµµα σπουδών στην Επιστήµη της Πληροφορίας Αξιολόγηση πληροφοριακών συστηµάτων και υπηρεσιών Κατερίνα Τοράκη

2 Αξιολόγηση πληροφοριακών συστηµάτων και υπηρεσιών Περιεχόµενα µαθήµατος Ορισµοί και ιδιότητες της πληροφορίας αξία της πληροφορίας Τι είναι ένα πληροφοριακό σύστηµα - Οι βιβλιοθήκες ως πληροφοριακά συστήµατα - Σκοποί ενός πληροφοριακού συστήµατος Πληροφοριακοί πόροι πληροφοριακά συστήµατα υπηρεσίες πληροφόρησης Μέθοδοι και τεχνικές αξιολόγησης - ποσοτικές και ποιοτικές µέθοδοι έρευνας, αξιολόγηση πληροφοριακών πόρων, συστηµάτων και υπηρεσιών

3 Αξιολόγηση πληροφοριακών συστηµάτων και υπηρεσιών Περιεχόµενα µαθήµατος Χρήστες ανάγκες, επιθυµίες και απαιτήσεις χρηστών (user needs, user requirements, user wants) Συµπεριφορά χρηστών (user behaviour) Ικανοποίηση χρηστών (user satisfaction) Ερευνες χρηστών (user surveys) Χρήση πληροφοριών (information use) Απόδοση (efficiency) Αποτελεσµατικότητα (effectiveness)

4 Αξιολόγηση πληροφοριακών συστηµάτων και υπηρεσιών Περιεχόµενα µαθήµατος Μετρήσεις (measurements) είκτες απόδοσης (performance indicators) Επιτυχία και αποτυχία πληροφορικών συστηµάτων (success failure) Ποιότητα (quality) Αξιολόγηση συστηµάτων πληροφορικής Αξιολόγηση συλλογών

5 Αξιολόγηση πληροφοριακών συστηµάτων και υπηρεσιών Περιεχόµενα µαθήµατος Αξιολόγηση δικτυακών τόπων Αλληλεπίδραση ανθρώπου-µηχανής / χρηστικότητα (usability) / ευρετική αξιολόγηση (heuristic evaluation) Ανάλυση κόστους οφέλους (cost-benefit analysis)

6 Αξιολόγηση πληροφοριακών συστηµάτων και υπηρεσιών Περιεχόµενα µαθήµατος Εµφαση στους χρήστες στο ρόλο, στη θέση και στις σχέσεις τους µε τα συστήµατα και τις υπηρεσίες πληροφόρησης

7

8 Βασικές έννοιες εδοµένα είναι οµάδες συµβόλων. Αποτελούν την πρώτη ύλη για την πληροφορία. Πληροφορία είναι τα επεξεργασµένα δεδοµένα, ώστε να παρέχουν νόηµα στο δέκτη και να συµβάλουν στην τρέχουσα ή στην προοπτική δράση λήψης αποφάσεων. I had already spent several years in the library profession, but it was not until I became an evaluator that I realized the essential difference between records abstracts, articles, books, things and what the reader got from them, what they told the reader got from them, what they told the reader information. (Tague- Sutcliffe, J. (1995). Measuring Information: An Information Services Perspective. New York: Academic Press. )

9 Βασικές έννοιες Σύστηµα είναι το σύνολο στοιχείων και σχέσεων µεταξύ αυτών των στοιχείων, έτσι ώστε να αποτελούν ένα σύνολο. Πληροφοριακό Σύστηµα είναι ο µηχανισµός εκείνος που παρέχει τα µέσα για τη συλλογή, αποθήκευση, παραγωγή και διανοµή των πληροφοριών που εξυπηρετούν τις πληροφοριακές ανάγκες ενός οργανισµού και κατ' επέκταση υποστηρίζουν τις δραστηριότητές του, τόσο στο επίπεδο διαχείρισης και λειτουργίας, όσο και στο επίπεδο σχεδιασµού και λήψης αποφάσεων.

10 Βασικές έννοιες Επικοινωνία είναι η σχέση ανάµεσα σε δύο συστατικά (ποµπό και δέκτη) - η µετάδοση µηνύµατος από ένα σηµείο σε ένα άλλο Shannon, C.; Weaver W. (1963). The Mathematical Theory of Communication. Urbana: The University of Illinois Press.

11 Επικοινωνία κατά Shannon και Weaver

12 Επικοινωνία

13 Ιδιότητες της πληροφορίας Μειώνει την αβεβαιότητα (αταξία εντροπία) Μπορεί να είναι αληθής ή ψευδής Μπορεί να είναι νέα ή αυξητική Μπορεί να διορθώνει ψευδή πληροφορία Μπορεί να επιβεβαιώνει και/ή να συµπληρώνει υπάρχουσα πληροφορία Έχει αξία όσον αφορά το περιεχόµενο και την επικαιρότητα

14 Χαρακτηριστικά της πληροφορίας Ποιότητα (σε σχέση µε την ορθότητα, την αντικειµενικότητα, την επικαιρότητα) Ποσότητα (έµφαση στη σχετικότητα και όχι στον όγκο) Επικαιρότητα (εξυπηρέτηση των αναγκών σχεδιασµού, ελέγχου, λήψης αποφάσεων) Ταχύτητα (ρόλος στην λήψη αποφάσεων οικονοµική αποτίµηση η βραδύτητα µπορεί να καταστήσει την πληροφορία άχρηστη) Ελεγχος σφαλµάτων (αντιµετώπιση προβληµατικών περιοχών) Παρουσίαση (συσχέτιση µε επικοινωνία) Σχετικότητα (δυσκολία στην αξιολόγηση)

15 Θεωρία Συστηµάτωv Η Θεωρία Συστηµάτωv εµφαvίσθηκε τη δεκαετία τoυ '50 αρχικά στις θετικές επιστήµες (φυσική, χηµεία). Είχε σκoπό vα διερευvήσει oµoιότητες σε έvvoιες, µovτέλα και vόµoυς πoυ απαvτoύv σε διαφoρετικoύς επιστηµovικoύς κλάδoυς, vα συµβάλει στηv αvάπτυξη αvάλoγωv θεωρητικώv µovτέλωv, vα ελαχιστoπoιήσει τις επικαλύψεις ερευvητικώv δραστηριoτήτωv και vα πρoωθήσει τηv εvιαία αvτίληψη στις επιστήµες και τηv επικoιvωvία αvάµεσα στoυς επιστήµovες.

16 Θεωρία Συστηµάτωv Αvαπτύχθηκαv τα παρακάτω χαρακτηριστικά: ιαίρεση τωv συστηµάτωv σε κατηγoρίες (π.χ. αvθρώπιvo, ζωικό, κλπ) ώστε vα διερευvώvται και ελέγχovται τα ειδικά χαρακτηριστικά τoυς Αvτιµετώπιση εvός συστήµατoς ως σύvoλo για τη λύση τωv πρoβληµάτωv τoυ Αvάπτυξη µovτέλωv (σκεφτόµαστε και αvαλύoυµε πώς λειτoυργεί έvα σύστηµα) υvαµική παρέµβαση στo σύστηµα (πρoσδιoρισµός όχι µόvo τι είvαι αλλά και πως λειτoυργεί). Στη δεκαετία τoυ '60 αvαπτύχθηκε η Κυβερvητική µε στόχo τov έλεγχo τωv ζώvτωv συστηµάτωv µε τη βoήθεια µovτέλωv.

17 Σύστηµα Σύστηµα είvαι τo σύvoλo διασυvδεδεµέvωv µερώv πoυ εvεργoύv ως σύvoλo για έvα κoιvό στόχo. Εvα σύστηµα ovoµάζεται αvoικτό εάv επικoιvωvεί µε τo περιβάλλov τoυ. π.χ. oι διάφoρες επιστήµες απoτελoύv αvoικτά συστήµατα, εφόσov αλληλεπιδρoύv, όπως για παράδειγµα συµβαίvει µε τη βιoλoγία και τη χηµεία.

18 Σύστηµα

19 Σύστηµα Παράδειγµα: σε έvαv oργαvισµό, εισρoές µπoρεί vα είvαι άvθρωπoι, υλικά, πληρoφoρίες, oικovoµικoί πόρoι κλπ, διαδικασίες µετατρoπής είvαι oι µηχαvισµoί σχεδιασµoύ, oργάvωσης και ελέγχoυ, oι δραστηριότητες παραγωγής και εµπoρίας, η έρευvα και αvάπτυξη κ.ά για vα καταλήξoυv σε εκρoές όπως πρoιόvτα, υπηρεσίες, ιδέες

20 Σύστηµα Εvα σύστηµα χωρίζεται σε επί µέρoυς υπoσυστήµατα, πoυτo καθέvα µπoρεί vα εξετασθεί ως έvα αvεξάρτητo σύστηµα. π.χ. σε µία βιoµηχαvία υπάρχoυv τα υπoσυστήµατα λoγιστήριo, πρoσωπικό, πρoµήθειες, απoθήκη, παραγωγή, πωλήσεις, βιβλιoθήκη, εvώ σε έvα υπoυργείo θα υπάρχoυv π.χ. λoγιστήριo, πρoσωπικό, πρoµήθειες, τεχvική υπηρεσία, βιβλιoθήκη κλπ. Κάθε υπoσύστηµα µε τη σειρά τoυ διαιρείται σε άλλα υπoσυστήµατα κι έτσι αvαπτύσσεται µία ιεραρχική δoµή όπoυ σε κάθε επίπεδo αvήκoυv (υπo)συστήµατα, λειτoυργικά αvεξάρτητα, αλλά σε στεvή σχέση µε τα αvτίστoιχα (υπo)συστήµατα τoυ παραπάvω και παρακάτω επιπέδoυ.

21 Μεθoδoλoγίες µελέτης τωv συστηµάτωv µέθoδoς κύκλoυ ζωής τoυ συστήµατoς 1) Κίvητρo 2) Πρoκαταρκτική Αvάλυση 3) Πρoµελέτη 4) Μελέτη σκoπιµότητας 5) Σχεδιασµός τoυ συστήµατoς 6) Υλoπoίηση 7) Συvτήρηση 8) Αξιολόγηση

22 Μεθoδoλoγίες µελέτης τωv συστηµάτωv SSM (Soft Systems Methodology µε ιδρυτή τo Βρεταvό Peter Checkland) πoυ ασχoλείται σε βάθoς περισσότερo µε τov εvτoπισµό τoυ πρoβλήµατoς και λιγότερo ίσως µε τηv εύρεση της κατάλληλης λύσης SSADM (µεθoδoλoγία πoυ παρακoλoυθεί έvα σύστηµα σε δoµηµέvη µoρφή) εργαλεία βασισµέvα στις γλώσσες 4ης γεvεάς (τεχvητή voηµoσύvη και έµπειρα συστήµατα) µovτελoπoίηση (prototyping) ανασχεδιασµός (reengineering, redesign)

23 Μερικές ερωτήσεις για τo Σύστηµα Πως ovoµάζεται τo σύστηµα πoυ εξετάζεται; Από πoιά µέρη απoτελείται; Πoιά στoιχεία από τo περιβάλλov επηρεάζoυv τo σύστηµα; Πoιές είvαι oι εισρoές και εκρoές τoυ συστήµατoς; Πoιά είvαι η ρoή πληρoφoριώv αvάµεσα στα υπoσυστήµατα; Πoιoί άvθρωπoι αvήκoυv στo σύστηµα και πώς επικoιvωvoύv µεταξύ τoυς; Τι πρoβλήµατα υπάρχoυv αvάµεσα στα άτoµα; Πoιός είvαι o σκoπός ύπαρξης τoυ συστήµατoς; Πoιές είvαι oι αvάγκες σε αλλαγές και πώς θα γίvoυv; Τι επιπτώσεις θα έχoυv;

24 Η αξιολόγηση αφορά Την οργάνωση και διοίκηση Τουςχρήστες

25 Χρήστες του συστήµατος Προσωπικό Ερευνητές Παραγωγοί Προµηθευτές ιαθέτες Τελικοί χρήστες

26 Γιατίχρειάζεταιηαξιολόγηση; Για την παροχή καλύτερων προϊόντων και υπηρεσιών Για τη δικαιολόγηση της υπάρχουσας κατάστασης Για την κατανόηση λειτουργίας του πληροφοριακού συστήµατος Για να πειστούν οι φορείς που εποπτεύουν αλλά και οι χρήστες της (αξιολογούµενης) υπηρεσίας ότι παρέχονται τα προσδοκώµενα οφέλη Για να επιβεβαιωθεί ότι οι πόροι χρησιµοποιούνται αποδοτικά και αποτελεσµατικά.

27 Συµβολή της αξιολόγησης: Στηλήψηαποφάσεων Στη διασφάλιση της ποιότητας της παρεχόµενης υπηρεσίας Στην εκτίµηση της έκτασης που µπορούν να λυθούν τα προβλήµατα (π.χ. λόγω περιορισµού πόρων, δυσκολιών από τρίτους κλπ) Στον προσδιορισµό των αναγκών διαφορετικών οµάδων χρηστών Στο σχεδιασµό δηµόσιων σχέσεων και υπηρεσιών διάχυσης των πληροφοριών Στην αποτίµηση της χρήσης και των προµηθευτών Στη συµµετοχή των χρηστών στην οργάνωση του συστήµατος

28 Τι αξιολογούµε; Συστατικά στοιχεία του συστήµατος (π.χ. ανθρώπους, εξοπλισµό, προγράµµατα) Πληροφοριακές διεργασίες (διατύπωση ερωτήµατος, αποτελέσµατα εκτύπωσης) Προϊόντα και υπηρεσίες (π.χ. αυτοµατοποιηµένα συστήµατα) Πληροφοριακές λειτουργίες (π.χ. αναζήτηση πληροφοριών) Ολόκληρο πληροφοριακό σύστηµα (π.χ. βιβλιοθήκη) Περιβάλλον του πληροφοριακού συστήµατος (ο οργανισµός και ο πληθυσµός που εξυπηρετείται) Bawden, D. (1990). User-Oriented Evaluation of Information Systems and Services. Aldershot, Uk.: Gower.

29 Τι αξιολογούµε; Πληροφοριακός πόρος (information resource), η βασική µονάδα προς αξιολόγηση, όπως το βιβλίο, το περιοδικό, µία συλλογή, µία βιβλιογραφική βάση δεδοµένων κλπ. Μπορεί να αξιολογηθεί και ανεξάρτητα από συγκεκριµένη χρήση ή χρήστη (π.χ. κάλυψη, επικάλυψη µε άλλους πόρους κλπ). Πληροφοριακό σύστηµα (information system), το σύστηµα που παρέχει πρόσβαση στις πληροφορίες, π.χ. ένα σύστηµα ανάκτησης πληροφοριών, ένας κατάλογος βιβλιοθήκης, ένα σύστηµα διάθεσης τεκµηρίων κλπ. Πληροφοριακή υπηρεσία (information service), είναι το σύνολο των πόρων και των συστηµάτων.

30 Ιστορική εξέλιξη Το 1957 έγινε έρευνα από το Cranfield Institute of Aeronautics, προκειµένου να συγκριθούν 4 ταξινοµικά συστήµατα (το ιεραρχικής δοµής δεκαδικό σύστηµα UDC, ένας αλφαβητικός θεµατικός κατάλογος, ένα µη-ιεραρχικό ταξινοµικό σύστηµα µε θεµατικές κατηγορίες φασέτες και το συνδυασµένο σύστηµα ευρετηρίασης Uniterm). Αντίστοιχη έρευνα έγινε το 1963 για να διερευνηθούν τα χαρακτηριστικά των γλωσσών ευρετηρίασης και η επίδραση στην ανάκτηση πληροφοριών. Το 1969 έγινε από το Medlars έρευνα αξιολόγησης συστηµάτων αναζήτησης προκειµένου να εξεταστούν παράγοντες όπως κάλυψη, επικαιρότητα, εξαντλητικότητα, διεπαφή, εξειδίκευση γλώσσας ευρετηρίασης κλπ. Το 1970 και το 1973 έγινε έρευνα αξιολόγησης 5 γλωσσών ευρετηρίασης για να βρεθεί η πιο κατάλληλη προκειµένου να χρησιµοποιηθεί στη βάση δεδοµένων INSPEC. Το 1972 και 1973 έγιναν έρευνες αξιολόγησης των υπηρεσιών που παρήγαγαν τις βάσεις δεδοµένων Chemical Abstracts, Index Chemicus, Epilepsy Abstracts, προκειµένου να µελετηθεί η υπηρεσία επιλεκτικής διάχυσης πληροφοριών (SDI Selective Dissemination of Information).,

31 Ιστορική εξέλιξη Το 1981 έγινε από την INSPEC έρευνα προκειµένου να βρεθεί η κατάλληλη στρατηγική αναζήτησης για αυτοµατοποιηµένη υπηρεσία επιλεκτικής διάχυσης πληροφοριών SDI. Ερευνες χρηστών είχαν ξεκινήσει από τη δεκαετία του 60 ως κοινωνικές έρευνες µελέτης οµάδων χρηστών, χρησιµοποιώντας συνεντεύξεις και ερωτηµατολόγια. Από τη δεκαετία του 80 γίνονταν πολλές έρευνες συγκριτικής αξιολόγησης των βάσεων δεδοµένων Από τη δεκαετία του 80 επίσης άρχισαν έρευνες αξιολόγησης της απόδοσης των υπηρεσιών πληροφόρησης, µε οικονοµικούς όρους

32 Ενδεικτική Βιβλιογραφία ACRL Standards and Guidelines for Libraries Ennis, K. ed. (1995). Guidelines for College Libraries: Recommendations for Performance and Resourcing. London: Library Association. Library Association(1981). Guidelines for Reference and Information Services in Public Libraries. London: Library Association. Available from WWW:

33 Αξιολόγηση πληροφοριακών συστηµάτων Περιλαµβάνονται ζητήµατα: Αξιολόγησης των πληροφοριακών πόρων (µε κριτήρια όπως κάλυψη, επικάλυψη, επικαιρότητα, ποιότητα και καταλληλότητα των πληροφοριών). Παραδείγµατα: θεµατική αναζήτηση σε διάφορες πηγές και εξέταση των επιπέδων κάλυψης και επικάλυψης ανάµεσα στις πηγές αυτές, εξέταση της κάλυψης ενός θέµατος από συγκεκριµένη βάση δεδοµένων, ταχύτητα ενηµέρωσης βάσεων δεδοµένων και σύγκριση µεταξύ τους. Αξιολόγησης των πληροφοριακών συστηµάτων (µε κριτήρια την αποδοτικότητα και αποτελεσµατικότητα που οι ζητούµενες πληροφορίες φτάνουν στους χρήστες).

34 Αξιολόγηση πληροφοριακών συστηµάτων Περιλαµβάνονται η ευρετηρίαση και η ανάκτηση, µε έµφαση στο δεύτερο, δεδοµένου ότι αποτελεί την εκροή (output) του συστήµατος. Παραδείγµατα αξιολόγησης του ευρετηρίου είναι η εξέταση των διαφορετικών όρων που χρησιµοποιούνται και η κατανοµή τους και η σύγκριση όρων ευρετηρίασης που χρησιµοποιούνται σε διαφορετικές βάσεις δεδοµένων για τα ίδια άρθρα. Από την πλευρά του χρήστη, η αξιολόγηση της ευρετηρίασης σχετίζεται µε την αξιολόγηση των συστηµάτων αναζήτησης και ανάκτησης. Εδώ εντάσσονται επίσης και τα ζητήµατα αξιολόγησης των πληροφορικών συστηµάτων (υλικό, λογισµικό, δίκτυα).

35 Αξιολόγηση πληροφοριακών πόρων και συλλογών Συλλογή είναι ένα σύνολο πληροφοριακών πόρων Παραδείγµατα µέτρων αξιολόγησης είναι: οι µετρήσεις (χωρισµένες σε θεµατικές κατηγορίες) οι ποσοτικές έρευνες χρήσης οι έρευνες αξιολόγησης της ικανοποίησης των χρηστών ορυθµόςεπιτυχίας οαριθµόςαιτήσεωνδανεισµού ησύγκρισητηςσυλλογήςτηςβιβλιοθήκηςέναντιυπάρχουσας αντιπροσωπευτικής συλλογής κλπ.

36 Αξιολόγηση πληροφοριακών πόρων και συλλογών Ζητήµατα για εξέταση: Σκοπός της αξιολόγησης Μέθοδοι αξιολόγησης (ποσοτικές, ποιοτικές, βασισµένες στη συλλογή, βασισµένες στους χρήστες) Κριτήρια αξιολόγησης Πλεονεκτήµατα και µειονεκτήµατα των µεθόδων αξιολόγησης Κριτήρια για την αξιολόγηση της πρόσβασης σε πληροφοριακούς πόρους Γιατί είναι σηµαντικές οι µέθοδοι συντήρησης και διατήρησης των συλλογών

37 Αξιολόγηση πληροφοριακών πόρων και συλλογών Ζητήµατα για εξέταση: * Η αξιολόγηση γίνεται για βελτίωση της συλλογής (σε σύγκριση µε άλλες, µε βάση ορισµένα κριτήρια) και για προσδιορισµό των αδύνατων σηµείων (προκειµένου να ξεπεραστούν) Πνευµατική υπευθυνότητα Πληρότητα στην κάλυψη του θέµατος Ακρίβεια και αξιοπιστία Καταλληλότητα και επίπεδο κάλυψης Οργάνωση του υλικού Σηµεία πρόσβασης (ευρετήρια κλπ) Επικαιρότητα Μοναδικότητα ή σύγκριση µε άλλες πηγές Μορφή

38 Κριτήρια επιλογής Επίπεδο (π.χ. ίδρυµα, σχολή, τµήµα ) Χρήστες (π.χ. ΕΠ, φοιτητές) Αναγνωστικό επίπεδο (π.χ. προσχολική ηλικία, έφηβοι κλπ) Βάθος κάλυψης ανεισµός, διαδανεισµός Υψος προϋπολογισµού, κόστος Περιορισµοί, λογοκρισία Ποιότητα (περιεχόµενο, φυσική εµφάνιση) Γλώσσα και χώρα προέλευσης Επικαιρότητα Επιβραβεύσεις, συστάσεις

39 Κριτήρια επιλογής για ηλεκτρονικούς πόρους Περιεχόµενο Σχέση µε έντυπη µορφή Πρόσβαση Τρόποιδιάθεσης Τεχνικήυποστήριξη Κόστος Νοµικά ζητήµατα

40 Κριτήρια επιλογής για ηλεκτρονικούς πόρους Κριτήρια ως προς το περιεχόµενο: Θεµατική κάλυψη Τι πληροφορίες περιέχει (βιβλιογραφικές, πλήρες περιεχόµενο, αριθµητικά δεδοµένα κλπ) Παραλείψεις (π.χ. νοµοθεσία χωρίς σχέδια, διαγράµµατα κλπ) Επίπεδο χρηστών που απευθύνονται Τρέχουσα ενηµέρωση (επικαιρότητα) Ποιότητα (εµφάνιση, ευκολία και φιλικότητα χρήσης, αναφορά σε γνωστές επισκοπήσεις, έκδοση από αναγνωρισµένο εκδοτικό οίκο) Ευρετηρίαση Κόστος (τι περιλαµβάνει το αναφερόµενο κόστος και µε ποιους όρους : περιεχόµενα, περιλήψεις, πλήρες περιεχόµενο, µέρος της βάσης δεδοµένων, έναν ή πολλούς και πόσους ταυτόχρονους χρήστες, πρόσθετες υπηρεσίες, αφανές κόστος όπως ΦΠΑ κλπ)

41 Κριτήρια επιλογής για ηλεκτρονικούς πόρους Κριτήρια ως προς το λογισµικό (software) : Περιβάλλον διεπαφή (interface) (περιβάλλον λειτουργίας ως προς το λειτουργικό πρόγραµµα και λογισµικό εφαρµογής, π.χ. Dos, Windows, Unix, Web, Silverplatter, Dialog ) Φιλικό περιβάλλον Βοήθεια στους χρήστες υνατότητες αναζήτησης, εµφάνισης, εκτύπωσης, αποθήκευσης Ταχύτητα απόκρισης Συνοδευτικά προγράµµατα εµφάνισης και αποθήκευσης Ευκολίες εγκατάστασης, παραµετροποίησης ιαλειτουργικότητα (π.χ. συνδυασµό µε πρόγραµµα βιβλιοθήκης)

42 Κριτήρια επιλογής για ηλεκτρονικούς πόρους Κριτήρια ως προς τον τρόπο χρήσης και πρόσβασης Τρόποι πρόσβασης χρήση CDROM σε έναν υπολογιστή ή σε τοπικό δίκτυο ή σε δίκτυο ευρείας περιοχής) επιγραµµική (online) πρόσβαση σε συστήµατα διαθετών (hosts) συστήµατα πελάτη εξυπηρετητή (client-server) πρόσβαση µέσω ενδιάµεσου (µέσω εκδότη ή άλλη ηλεκτρονικής υπηρεσίας) ιαδίκτυο

43 Κριτήρια επιλογής για ηλεκτρονικούς πόρους Κριτήρια ως προς τον τρόπο χρήσης και πρόσβασης µορφή πρωτογενών πόρων (έντυπη, σε CDROM, στο ιαδίκτυο) επίπεδο χρήσης απαιτήσεις σε υλικό και λογισµικό καθεστώς ιδιοκτησίας, όροι συµβολαίων αναγνώριση/αυθεντικοποίηση χρηστών, τιµολογιακή πολιτική απαιτήσεις ε προσωπικό σχέσεις µε άλλες βιβλιοθήκες

44 Κριτήρια επιλογής για ηλεκτρονικούς πόρους Κριτήρια αγοράς των ηλεκτρονικών πόρων (ή/και των υπηρεσιών που παρέχουν) Κόστος αγοράς κόστος χρήσης Πάγιο κόστος αγοράς Κόστος αγοράς ανάλογα µε τον αριθµό των ταυτόχρονων χρηστών (per user) Κόστος αγοράς ανάλογα µε τον αριθµό των τόπων χρήσης (per site) Συνδροµή (µηνιαία ή ετήσια, ανεξάρτητα της χρήσης) Χρέωση ανάλογα µε τη χρήση (για συστήµατα πρόσβασης, ως προς τον αριθµό επισκέψεων ή/και ως προς τον αριθµό εγγραφών που ανακτώνται ή σελίδων που εκτυπώνονται) ιαπραγµατεύσεις, εκπτώσεις Κοινοπραξίες

45 Κριτήρια επιλογής για ηλεκτρονικούς πόρους Κριτήρια σχετικά µε τα νοµικά ζητήµατα Πνευµατικά δικαιώµατα συµβόλαια χρήσης και πρόσβασης (licences) συµβόλαια συντήρησης των προγραµµάτων εγκατάστασης (π.χ. προγράµµατα ERL, Ultranet για δίκτυα CDROM)

46 Κριτήρια επιλογής για ηλεκτρονικούς πόρους Κριτήρια διάθεσης στους χρήστες: Επιτόπου στις βιβλιοθήκες Ελεύθερα Με συνδροµή ή κάρτα χρήσης Χρέωση εκτύπωσης ή αποθήκευσης σε δισκέτα Στο ιαδίκτυο Ελεύθερα Με συνδροµή µηνιαία ή ετήσια Με χρέωση ειδικών υπηρεσιών (π.χ. εκτυπώσεων) ή ανάλογα µε τη χρήση (µε ή χωρίς πάγια συνδροµή ταυτόχρονα), ωςπροςτοναριθµόεπισκέψεωνή/καιωςπροςτοναριθµόεγγραφών που ανακτώνται ή σελίδων που εκτυπώνονται

47 Κριτήρια επιλογής περιοδικών Γενικά κριτήρια: (αποστολή και στόχοι, ανάγκες χρηστών) Προτεραιότητες (εκπαιδευτική διαδικασία, ερευνητικές δραστηριότητες, λήψη αποφάσεων, επαγγελµατική ενηµέρωση κλπ) Προτάσεις (από διδακτικό προσωπικό, φοιτητές, χρήστες, διοίκηση φορέα, Επιτροπή βιβλιοθήκης, προσωπικό βιβλιοθήκης κλπ)

48 Κριτήρια επιλογής περιοδικών Ειδικά κριτήρια: ευρετήρια βάσεις δεδοµένων εφηµερίδες ηλεκτρονικές υπηρεσίες διαδανεισµός κόστος, συχνότητα αξιολόγηση στη βιβλιογραφία προτιθέµενη χρήση κοινό που απευθύνεται µορφή θεµατική κάλυψη αξιοπιστία προµηθευτή ηλεκτρονικής έκδοσης σχέση έντυπης και ηλεκτρονικής µορφής

49 Κριτήρια επιλογής οπτικοακουστικών και πολυµέσων Ποιους εξυπηρετούν Εάν µπορούν να τα χρησιµοποιήσουν οι χρήστες της βιβλιοθήκης Εάν υπάρχει υποδοµή στη βιβλιοθήκη για να χρησιµοποιηθούν Εάν υπάρχει υποδοµή στα σπίτια για να χρησιµοποιηθούν από τους χρήστες (σε σχέση µε το δανειζόµενο υλικό) Εάν µπορεί η βιβλιοθήκη να δανείζει και το σχετικό εξοπλισµό προκειµένου να χρησιµοποιηθούν Ευκολία χρήσης ιατήρηση/συντήρηση

50 Κριτήρια εκκαθάρισης συλλογών Λαµβάνονται υπόψη : το είδος της βιβλιοθήκης οι χρήστες που εξυπηρετεί η βιβλιοθήκη το περιεχόµενο (ανάλογα µε τους χρήστες και την αποστολή της βιβλιοθήκης) η χρήση (από στοιχεία δανεισµού) η φυσική κατάσταση (π.χ. φθαρµένα, βρώµικα κλπ)

51 Κριτήρια εκκαθάρισης συλλογών Και επίσης: ο φυσικός χώρος της βιβλιοθήκης και οι προοπτικές αύξησης (για τις ανάγκες εµπλουτισµού τα επόµενα 5 τουλάχιστον χρόνια αλλά και για αύξηση της πρόσκτησης υλικού σε ηλεκτρονική µορφή έναντι της έντυπης). η ύπαρξη πολλαπλών αντιτύπων (π.χ. στις ακαδηµαϊκές βιβλιοθήκες, η αποµάκρυνση πρέπει να γίνεται στο τέλος κάθε διδακτικής περιόδου) ηύπαρξηνεώτερωνεκδόσεων η υποκειµενική κρίση του προσωπικού που ασχολείται µε την εργασία αυτή

52 CREW (Continuous review, evaluation, weeding) MUSTIE M (misleading παραπλανητικό) U (ugly άσχηµο) S (superceded ξεπερασµένο) T (trivial χωρίς αξία) I (irrelevant άσχετο) E (elsewhere αλλού)

53 CREW (Continuous review, evaluation, weeding) Για την εκκαθάριση, χρησιµοποιούνται η ηλικία και τα στατιστικά χρήσης του τεκµηρίου, ανάλογα µε το είδος του υλικού και το θέµα. Ετσι, π.χ. στην ιατρική, αποµακρύνονται τα τεκµήρια που είναι πάνω από 5 ετών ενώ στην ιστορία λαµβάνεται ως όριο τα 15 χρόνια. Επίσης, τα µη λογοτεχνικά τεκµήρια που δεν έχουν δανειστεί τα τελευταία 3 χρόνια, αποµακρύνονται από τη συλλογή, ενώ για τα λογοτεχνικά, εάν δεν έχουν χρησιµοποιηθεί για 2 χρόνια, τίθενται υποψήφια προς εκκαθάριση. Γενικά, οι βιβλιοθήκες συχνά ακολουθούν τον κανόνα 5/3, δηλαδή 5 χρόνια είναι το όριο για την ηλικία (από το έτος έκδοσης) και 3 χρόνια το όριο για τη χρήση. Πάντως, τα κριτήρια τελικά διαµορφώνονται από τις βιβλιοθήκες και µε βάση τα ιδιαίτερα χαρακτηριστικά, τις ανάγκες, την κουλτούρα, τις δυνατότητες που έχουν.

54

55 Μέθοδοι - τεχνικές αξιολόγησης συλλογών Για τον εµπλουτισµό της συλλογής µε νέους τίτλους που δεν υπάρχουν: Φόρµες που συµπληρώνουν οι χρήστες Στοιχεία διαδανεισµού (τι ζητούν από άλλες συνεργαζόµενες βιβλιοθήκες) Στοιχεία από αναζητήσεις που κάνουν σε βάσεις δεδοµένων

56 Μέθοδοι - τεχνικές αξιολόγησης συλλογών Συγκέντρωση ποσοτικών (αριθµητικών) δεδοµένων και σύγκριση µε πρότυπα Κριτήρια: κατηγορία βιβλιοθήκης αριθµός τίτλων και αντιτύπων αριθµός συνδροµών σε περιοδικά και σε βάσεις δεδοµένων Πλεονεκτήµατα: ευκολία εφαρµογής συγκεκριµένα αποτελέσµατα Μειονεκτήµατα: δεν αξιολογείται η ποιότητα της συλλογής αγνοούνται οι ειδικές απαιτήσεις και ανάγκες των χρηστών

57 Μέθοδοι - τεχνικές αξιολόγησης συλλογών Σύγκριση µε αντίστοιχες βιβλιοθήκες Κριτήρια : εισροές (χρήµατα, χώρος, συλλογή, εξοπλισµός, προσωπικό) εκροές (ποσοτικοποίηση της παραγόµενης εργασίας, αριθµός τεκµηρίων που δανείζονται, αριθµός ερωτηµάτων που απαντώνται) αποτελέσµατα (στους χρήστες σε σχέση µε την επαφή τους µε τη βιβλιοθήκη)

58 Μέθοδοι - τεχνικές αξιολόγησης συλλογών Σύγκριση µε βάση δεδοµένο κατάλογο κριτηρίων (ποσοτικών και ποιοτικών) Πλεονεκτήµατα: λαµβάνονται υπόψη ποιοτικά και ποσοτικά κριτήρια προσδιορίζονται τα κενά της συλλογής Μειονεκτήµατα: είναι προσανατολισµένη στη συλλογή και όχι στους χρήστες µπορεί να χρησιµοποιούνται κατάλογοι µε δεδοµένα σύγκρισης ξεπερασµένα, υποκειµενικά, αυθαίρετα απαιτεί πολλή εργασία, κατάλληλη για µεγάλες συλλογές

59 Μέθοδοι - τεχνικές αξιολόγησης συλλογών Μέθοδοι που βασίζονται στις εργασίες της βιβλιοθήκης (δεδοµένα που εξάγονται από τις διαδικασίες στον ηλεκτρονικό κατάλογο) εδοµένα δανεισµού Ηλικία συλλογών Ανάπτυξη των συλλογών Πλεονέκτηµα: ευκολία υπολογισµού Μειονεκτήµατα: οι δείκτες συχνά είναι πρόχειροι η στατιστική ερµηνεία δεν είναι πάντα εύκολη

60 Μέθοδοι - τεχνικές αξιολόγησης συλλογών έρευνες χρηστών διερεύνηση αναγκών ερµηνεία και µέτρηση ικανοποίησης των χρηστών

61 Μέθοδοι - τεχνικές αξιολόγησης συλλογών ανάλυση διαδικασιών αναζήτησης (transaction logs)

62 Μέθοδοι - τεχνικές αξιολόγησης συλλογών Conspectus

63 Conspectus Είναι µεθοδολογία αξιολόγησης των συλλογών σε µία ακαδηµαϊκή βιβλιοθήκη. Αναπτύχθηκε στις ΗΠΑ στη δεκαετία του 70 από την RLG (Research Libraries Group) και εφαρµόζεται ευρύτατα στις ΗΠΑ, στον Καναδά, στη Μ. Βρετανία και στην Αυστραλία. Στόχος είναι η καταγραφή και σύγκριση της συλλογής µίας βιβλιοθήκης σε µία ορισµένη θεµατική περιοχή µε τη δυνατότητα πρόσκτησης υλικού στην περιοχή αυτή και µε το στόχο εµπλουτισµού της στην ίδια περιοχή ανάλογα µε τα εκπαιδευτικά και ερευνητικά προγράµµατα. Μπορεί επίσης να χρησιµοποιηθεί για την ανάπτυξη προγραµµάτων συνεργασίας µε άλλες βιβλιοθήκες. Η αξιολόγηση της συλλογής περιλαµβάνει σύγκριση µε αντίστοιχες συλλογές άλλων βιβλιοθηκών, βιβλιογραφική επισκόπηση.

64 Conspectus Χρησιµοποιούνται αριθµητικές τιµές για την εκτίµηση της τρέχουσας συλλογής σε κάθε θέµα και του επιθυµητού επιπέδου προσκτήσεων. Το περιεχόµενο της συλλογής (οι πληροφοριακοί πόροι) διαιρούνται σε βασικές θεµατικές κατηγορίες.

65 Conspectus Χρησιµοποιούνται 6 δείκτες εκτίµησης των συλλογών µιας βιβλιοθήκης : Επίπεδο 0 : εκτός ενδιαφέροντος (out of scope) Επίπεδο 1: ελάχιστο (minimal) Επίπεδο 2: βασικό (basic) Επίπεδο 3: εκπαιδευτικό Επίπεδο 4: ερευνητικό Επίπεδο 5: εξαντλητικό (comprehensive) * Οι δείκτες αυτοί χαρακτηρίζουν τρεις διαφορετικές πλευρές στη διαχείριση της συλλογής: Επίπεδο τρέχουσας συλλογής (CL current collection level) Υποχρέωση πρόσκτησης (AC acquisition commitment) Σκοπός συλλογής (GL collection goal)

66 Conspectus University of Manitoba Libraries conspectus_history.shtml The University of Queensland Libraries

67

68 Ενδεικτική Βιβλιογραφία Πρότυπο ISO 11620: 1998 Library Performance Indicators

69 Αξιολόγηση προµηθευτών Ποιοτικά κριτήρια Αποστολές (έγκαιρα, κανονικά) Τιµολόγηση (σωστά, πλήρη στοιχεία, σε σειρά που διευκολύνει, ανάλογα µε είδος ) Συσκευασία (σωστή διεύθυνση, σωστή τοποθέτηση περιεχοµένων) Προσωπική εξυπηρέτηση Εύκολη επικοινωνία Άµεση απόκριση στις κλήσεις και στις υποµνήσεις Σωστές καταστάσεις παραλαβών Άµεση απόκριση στις επιστροφές (από λάθη, κακέκτυπα κλπ) Ειδικές υπηρεσίες (π.χ. ηλεκτρονικά περιοδικά)

70 Αξιολόγηση προµηθευτών Ποσοτικά κριτήρια Περιγραφικές στατιστικές (ηµέρες παραλαβής, µέσο όρο - mean, µεσαία τιµή - median) Στατιστικές έρευνες (στοιχεία, δείγµα, χρόνος έρευνας) Στοιχεία έρευνας: ποσοστό εκπλήρωσης της υποχρέωσης (παραληφθέντες τίτλοι/παραγγελθέντες τίτλοι) ταχύτητα εκπλήρωσης της υποχρέωσης εκπτώσεις έξοδα άλλων υπηρεσιών αριθµός υποµνήσεων απόκριση σε υποµνήσεις ακυρώσεις παραγγελιών ηµέρες παραλαβής από ηµέρα παραγγελίας

71 Ενδεικτική Βιβλιογραφία American Library Association, Collection Management Development Committee. Guide to performance evaluation of library materials vendors. Chicago: American Library Association, 1988 Liang, C. Critical success factors for reinventing the academic library, Reference Services Review, 1999, Vol. 27 No. 2, pp McClure, C. R.; Lopata, C. Assessing the Academic Networked Environment: Strategies and Options. [Web Page] Report from the School of Information Studies, Syracuse University, [cited 21/4/1997]. Available from WWW: Slote, S. Weeding library collections: library weeding methods. 4 th ed. Englewood, Colorado: Libraries Unlimited Inc., Wood, R. and Strauch, K. Collection assessment: A look at the RLG Conspectus. New York: The Haworth Press Inc., 1992.

72 Αξιολόγηση συστηµάτων ανάκτησης πληροφοριών Περιλαµβάνονται έντυπα ευρετήρια, κατάλογοι, βάσεις δεδοµένων, ιστοσελίδες, συστήµατα επιλεκτικής διάχυσης πληροφοριών. Κριτήρια: κάλυψη κατηγορίες πηγών πληροφόρησης πεδίο εφαρµογής θεµατική κάλυψη µοναδικότητα επικάλυψη

73 Αξιολόγηση συστηµάτων ανάκτησης πληροφοριών ποιότητα πληρότητα αξιοπιστία ευκολία πρόσβασης και χρήσης περιβάλλον κριτήρια αναζήτησης

74 Αξιολόγηση συστηµάτων ανάκτησης πληροφοριών Ανάκληση (recall) ακρίβεια (precision) Εάν α=τοµή σχετικών και ανακτηθέντων β=σύνολο ανακτηθέντων γ=σύνολο σχετικών, τότε Ανάκληση=α/α+γ Ακρίβεια=α/α+β

75 Αξιολόγηση συστηµάτων ανάκτησης πληροφοριών υνατότητα να διερευνηθούν ζητήµατα όπως: αποτυχίες/σφάλµατα στην αναζήτηση και ανάκτηση αδυναµίες του θεµατικού ευρετηρίου που χρησιµοποιείται ανεπάρκεια ευρετηρίασης σύγκριση µε άλλα συστήµατα

76 From : FreeFind Staff Subject : Weekly search report Site ID : Account URL : Account toraki@tee.gr Most Recent Queries Day Time of Query Query Mon Nov 24 09:12: ΜΕΛΕΤΕΣ Mon Nov 24 04:48: Αντιρριο Mon Nov 24 04:47: Ριο Mon Nov 24 02:18: ΕΑΚ 2000 Mon Nov 24 02:04: Βάση εδοµένων Sat Nov 22 09:33: κατασκευαστικες Fri Nov 21 04:27: ΜΗ ΝΕΥΤΩΝΕΙΑ ΥΓΡΑ Wed Nov 19 09:00: υγρο λαστιχο Wed Nov 19 07:08: ασφάλεια µηχανηµάτων Tue Nov 18 13:50: συγκολλησεις Tue Nov 18 10:59: ΙΑΧΕΙΡΙΣΗ ΑΡ ΕΥΟΜΕΝΟΥ ΝΕΡΟΥ ΣΤΗΝ ΠΕ ΙΑ Α ΤΗΣ ΘΕΣΣΑΛΟΝΙΚΗΣ Tue Nov 18 10:49: ΙΑΧΕΙΡΙΣΗ ΑΡ ΕΥΟΜΕΝΟΥ ΝΕΡΟΥ ΠΕ ΙΑ Α ΤΗΣ ΘΕΣΣΑΛΟΝΙΚΗΣ Mon Nov 17 01:02: ΣΕΜΙΝΑΡΙΑ ΤΕΕ/ΤΚΜ Fri Nov 14 05:40: Ευρωκώδικας 2 Fri Nov 14 01:02: quality Tue Nov 11 05:43: ωφελιµισµός Mon Nov 10 23:52: Γ.Ο.Κ. Mon Nov 10 23:52: ΓΟΚ Mon Nov 10 11:13: κατ' όγκον εκµετάλευση Nov 07 00:04: συντελεστης αναθεωρησης Fri Nov 07 00:03: αντικειµενικες αξιες Wed Nov 05 00:22: ΧΥΤΑ

77 Αξιολόγηση συστηµάτων ανάκτησης πληροφοριών συστήµατα επιλεκτικής διάχυσης πληροφοριών (SDI): Ποιότητα έγκαιρη ενηµέρωση Μοναδικότητα ανάκληση/ακρίβεια κάλυψη (σχετικά/σηµαντικά)

78 Αξιολόγηση συστηµάτων διάθεσης τεκµηρίων και διαδανεισµού (document delivery) - (interlibrary loan) Εξετάζονται η διαθεσιµότητα των τεκµηρίων εκεί όπου βρίσκεται ο χρήστης και οι δυνατότητες παράδοσης από άλλες βιβλιοθήκες. Μερικά ζητήµατα: γιατί ο χρήστης δεν τα έχει (δεν ζητήθηκαν, είναι ήδη δανεισµένα σε άλλον, υπάρχει λανθασµένη αναφορά στον κατάλογο, βρίσκονται σε λάθος θέση ) ποιές βιβλιοθήκες τα έχουν µε ποιους όρους και διαδικασίες γίνονται διαθέσιµα πόσοσύντοµα µετικόστος.

79 Αξιολόγηση συστηµάτων πληροφορικής Στη διάρκεια υλοποίησης ενός συστήµατος, η αξιολόγηση συµβάλλει στη διερεύνηση εάν καλύπτονται οι στόχοι για τους οποίους έχει σχεδιαστεί. Τα κριτήρια που χρησιµοποιούνται είναι χρόνος, κόστος, απόδοση υλικού και λογισµικού, παραγωγικότητα, ακρίβεια, ασφάλεια, απόκριση χρηστών.

80 Αξιολόγηση συστηµάτων πληροφορικής Χρόνος : αφορά το χρόνο κατά τον οποίο γίνεται συνολικά µία εργασία στο σύστηµα ή το χρόνο κατά τον οποίο το σύστηµα απαντά σε ερώτηµα που τίθεται (π.χ χρόνος επιστροφής απάντησης σε ερώτηµα, χρόνος αποθήκευσης εγγραφών κλπ). Κόστος : αφορά το κόστος προσωπικού, πάγιο κόστος, κόστος λειτουργίας, κόστος συντήρησης (π.χ. ετήσια συντήρηση εξοπλισµού βάσει συµβολαίου), κόστος για αναλώσιµα, κόστος εκπαίδευσης (προσωπικού και χρηστών), κόστος για άδειες χρήσης (licensing), κόστος για εξωτερικές υπηρεσίες (outsourcing), διάφορα.

81 Αξιολόγηση συστηµάτων πληροφορικής Απόδοση υλικού (hardware) : ερευνώνται παράγοντες όπως ταχύτητα (κεντρικής µονάδας, εκτυπωτή, µετάδοσης δεδοµένων), αξιοπιστία, κόστος λειτουργίας και συντήρησης, εκπαίδευση/τεκµηρίωση. Απόδοση λογισµικού (software) : ταχύτητα επεξεργασίας και απόκρισης, ποιότητα και ποσότητα υπηρεσιών, ευκολία χρήσης, ακρίβεια, αξιοπιστία, συντήρηση και ανανέωση. Παραγωγικότητα : σύγκριση εισροών και εκροών στο σύστηµα, π.χ. εκροές σε σχέση µε το κόστος ή µε το προσωπικό.

82 Αξιολόγηση συστηµάτων πληροφορικής Ακρίβεια: µέτρο απουσίας σφαλµάτων ή προσέγγισης σε αληθή δεδοµένα (π.χ. αξιολόγηση συστήµατος οπτικής αναγνώρισης χαρακτήρων OCR). Ασφάλεια: βαθµός διατήρησης των ηλεκτρονικών αρχείων µε ασφάλεια, εµπιστοσύνη, έλεγχο (π.χ. προστασία από ιούς, από µη εξουσιοδοτηµένους χρήστες κλπ). Ερευνες χρηστών: καταγραφή και αξιολόγηση των αντιδράσεων των χρηστών για την απόδοση του συστήµατος (παράπονα, παρατηρήσεις, προτάσεις κλπ).