ΕΛΛΗΝΙΚΗ ΔΗΜΟΚΡΑΤΙΑ ΥΠΟΥΡΓΕΙΟ ΠΑΙΔΕΙΑΣ ΔΙΑ ΒΙΟΥ ΜΑΘΗΣΗΣ & ΘΡΗΣΚΕΥΜΑΤΩΝ

ΕΛΛΗΝΙΚΗ ΔΗΜΟΚΡΑΤΙΑ ΥΠΟΥΡΓΕΙΟ ΠΑΙΔΕΙΑΣ ΔΙΑ ΒΙΟΥ ΜΑΘΗΣΗΣ & ΘΡΗΣΚΕΥΜΑΤΩΝ ΕΠΙΧΕΙΡΗΣΙΑΚΑ ΠΡΟΓΡΑΜΜΑΤΑ «ΑΝΤΑΓΩΝΙΣΤΙΚΟΤΗΤΑ & ΕΠΙΧΕΙΡΗΜΑΤΙΚΟΤΗΤΑ» ΚΑΙ ΠΕΡΙΦΕΡΕΙΩΝ ΣΕ ΜΕΤΑΒΑΣΗ ΕΘΝΙΚΟ ΣΤΡΑΤΗΓΙΚΟ ΠΛΑΙΣΙΟ ΑΝΑΦΟΡΑΣ ΕΣΠΑ 2007-2013 Παραδοτέο Π5.6 Σχέδιο αξιολόγησης αποτελεσμάτων έργου Κωδικός Έργου: 09ΣΥΝ-72-922 Τίτλος του Έργου: IS-HELLEANA - Intelligent System for HELLEnic Audiovisual National Aggregator ΕΥΦΥΕΣ ΣΥΣΤΗΜΑ ΣΗΜΑΣΙΟΛΟΓΙΚΗΣ ΕΝΟΠΟΙΗΣΗΣ ΚΑΙ ΑΝΑΔΕΙΞΗΣ TΟΥ ΕΛΛΗΝΙΚΟΥ ΟΠΤΙΚΟΑΚΟΥΣΤΙΚΟΥ ΑΠΟΘΕΜΑΤΟΣ ΔΡΑΣΗ ΕΘΝΙΚΗΣ ΕΜΒΕΛΕΙΑΣ «ΣΥΝΕΡΓΑΣΙΑ» ΕΥΡΩΠΑΪΚΗ ΕΝΩΣΗ ΕΥΡΩΠΑΪΚΟ ΤΑΜΕΙΟ ΠΕΡΙΦΕΡΕΙΑΚΗΣ ΑΝΑΠΤΥΞΗΣ Υπουργείο Παιδείας, Δια Βίου Μάθησης και Θρησκευμάτων ΓΓΕΤ ΕΥΔΕ-ΕΤΑΚ (Ε. Π. Ανταγωνιστικότητα και Επιχειρηματικότητα (ΕΠΑΝ ΙΙ), ΠΕΠ Μακεδονίας Θράκης, ΠΕΠ Κρήτης και Νήσων Αιγαίου, ΠΕΠ Θεσσαλίας Στερεάς Ελλάδας Ηπείρου, ΠΕΠ Αττικής)

Πίνακας Περιεχομένων Πίνακας Περιεχομένων... 2 Κατάλογος Εικόνων... 4 Κατάλογος Πινάκων... 5 Συντομογραφίες... 6 1. Περιγραφή του έργου IS-HELLEANA... 7 1.1 Στόχοι του έργου... 8 2. Εισαγωγή... 9 2.1 Περίγραμμα Παραδοτέου... 9 3. Μεθοδολογία Αξιολόγησης... 11 3.1 GQM Φάσης Αξιολόγησης του IS HELLEANA... 12 3.2 Φάση Σχεδιασμού... 14 3.2.1 Προσδιορισμός των Ομάδων Αξιολόγησης του IS HELLEANA... 15 3.2.2 Αναγνώριση των Αντικειμένων Αξιολόγησης του IS-HELLEANA... 16 3.2.3 Προσδιορισμός των Προοπτικών Αξιολόγησης του IS HELLEANA... 16 3.2.4 Δημιουργία του Πλαισίου Αξιολόγησης του IS HELLEANA... 19 3.3 Η φάση Ορισμού... 19 3.3.1 Ορισμός των στόχων μέτρησης... 20 3.3.2 Ορισμός ερωτήσεων... 21 3.3.3 Ανασκόπηση ερωτήσεων... 21 3.3.4 Ορισμός μετρήσεων... 21 3.3.5 Επαλήθευση συνοχής και πληρότητας των μετρήσεων... 22 3.3.6 Παραγωγή σχεδίου GQM του IS HELLEANA... 22 3.4 Φάση Συλλογής Δεδομένων... 23 3.4.1 Εγχειρίδιο συλλογής δεδομένων... 23 3.4.2 Ηλεκτρονικά έντυπα συλλογής δεδομένων... 23 3.4.3 Εργαλεία αυτόματης συλλογής δεδομένων... 24 3.4.4 Φάση αποτελεσμάτων ερμηνείας... 24 4. Προσέγγιση και Μεθοδολογία του IS HELLEANA... 26

4.1 Επιχειρηματική αξία της πλατφόρμας... 26 4.2 Τεχνικό μέρος της πλατφόρμας... 26 4.3 Λειτουργικό μέρος της πλατφόρμας... 26 5. Αξιολόγηση Γενικής Αρχιτεκτονικής του IS-HELEANA... 28 6. Αξιολόγηση Ανάλυση Πρωτογενούς Υλικού... 29 7. Αξιολόγηση Σημασιολογικού Εμπλουτισμού των RDF triples... 31 8. Αξιολόγηση Πολύπλευρης Οπτικής Αναζήτησης... 33 9. Αξιολόγηση Γραφικής Διεπαφής Δημιουργίας σύνθετων SPARQL ερωτημάτων35 10. Επιχειρηματικοί στόχοι... 37 11. Συμπεράσματα... 38 1. References... 39

Κατάλογος Εικόνων Εικόνα 1: Το Παράδειγμα GQM (Basili and Weiss, 1984)... 12 Σχήμα 2: Οι τέσσερις φάσεις της μεθόδου GQM.... 13 Figure 3: Φάση Σχεδιασμού της μεθόδου αξιολόγησης GQM για το IS HELLEANA. 14 Σχήμα 4: Τα τρία χαρακτηριστικά βήματα κατά τη φάση Σχεδιασμού της αξιολόγησης του IS HELLEANA.... 14 Σχήμα 5: Ομάδες Αξιολόγησης του IS-HELLEANA... 15 Εικόνα 6: Τα βασικά χαρακτηριστικά Ποιότητας Λογισμικού του IEC/ISO 9126... 18 Εικόνα 8: Η φάση Ορισμού της μεθόδου αξιολόγησης GQM του IS HELLEANA... 20 Σχήμα 9: Ορισμός ερώτησης της GQM (Solingen, 1995)... 21 Σχήμα 10: Φάση συλλογής δεδομένων της μεθοδολογίας αξιολόγησης GQM του IS HELLEANA.... 23 Σχήμα 11: Φάση ερμηνείας της μεθοδολογίας αξιολόγησης GQM του IS HELLEANA... 24

Κατάλογος Πινάκων Table 1: Πίνακας Συντομογραφιών... 6 Table 2: Ορισμός περιγράμματος στόχου της GQM (Basili et al, 1994a)... 21 Table 3: Στόχοι Γενικής Αρχιτεκτονικής του IS-HELEANA... 29 Table 4: Στόχοι Ανάλυσης Πρωτογενού Υλικού... 30 Table 5: Στόχοι Σημασιολογικού Εμπλουτισμού RDF Triples... 33 Table 6: Στόχοι Πολύπλευρης Οπτικής Αναζήτησης... 34 Table 7: Στόχοι Γραφικής Διεπαφής Δημιουργίας Σύνθετων SPARQL ερωτημάτων 37 Table 8: Επιχειρηματικοί Στόχοι... 38

Συντομογραφίες GQM Goal/Question/Metric EAI Enterprise Application Integration BPEL Business Process Execution Language BPP Business Process Platform CRM Customer Relationship Management ERP Enterprise Resource Planning IT Information Technologies MIS Management Information System OWL-S Web Ontology Language for Services SE-SOA Semantically Enriched Service Oriented Architecture SFA Sales Force Automation SME Small and Medium Enterprise SOBA Service Oriented Business Applications WMS Warehouse Management System ROI Return On Investment TCO Total Cost of Ownership HR Human Resources WS Web Service FTY First Time Yield ANI Average Number of Iterations SOAP Simple Object Access Protocol SIL System Interoperability Layer SAL Semantic Adaptation Layer SAE System Adaptation Environment BPEL4WS Business Process Execution Language for Web Services WSDL Web Service Definition Language (WSDL) UDDI Universal Description Discovery and Integration UI User Interface Table 1: Πίνακας Συντομογραφιών

1. Περιγραφή του έργου IS-HELLEANA Αντικείμενο του έργου είναι η εφαρμογή σύγχρονων τεχνολογιών του Παγκοσμίου και του Σημασιολογικού Ιστού για την ανάπτυξη ολοκληρωμένου συστήματος με σκοπό την ενοποιημένη πρόσβαση, διαχείριση, αναζήτηση και διαδραστική παρουσίαση του Ελληνικού οπτικοακουστικού αποθέματος. Το εν λόγω σύστημα θα δίνει τη δυνατότητα στους παρόχους οπτικοακουστικού υλικού να προβάλλουν το ψηφιακό περιεχόμενό που διαθέτουν με ένα ενιαίο διαλειτουργικό τρόπο, έτσι ώστε αυτό να είναι διαθέσιμο τόσο στον ελληνικό χώρο, όσο και διεθνώς, δίνοντας τη δυνατότητα στους χρήστες να αναζητούν αποτελεσματικά το περιεχόμενο που επιθυμούν και να συμμετέχουν στις ηλεκτρονικές διαδραστικές υπηρεσίες που θα υποστηρίζονται. Το βασικό εργαλείο για την επίτευξη του ανωτέρω στόχου είναι μία διαδικτυακή πλατφόρμα σημασιολογικής ενοποίησης, διαχείρισης, εμπλουτισμού και προβολής του οπτικοακουστικού αποθέματος. Το προτεινόμενο έργο περιλαμβάνει την υλοποίηση ενός συστήματος που αντιμετωπίζει όλα τα στάδια της ροής εργασίας ενός παρόχου οπτικοακουστικού περιεχομένου. Το πρώτο στάδιο περιλαμβάνει τη διαμεσολάβηση για την παραλαβή και αποθήκευση του περιεχομένου και κυρίως των μεταδεδομένων που το συνοδεύουν. Στο δεύτερο στάδιο, η διαδικασία της σημασιολογικής ενοποίησης του υλικού αναδεικνύεται και αποκτά τον κεντρικό ρόλο στο σύστημα. Στο τρίτο στάδιο προτείνονται και υλοποιούνται τα τμήματα του συστήματος που αυτοματοποιούν την εξαγωγή και καταχώρηση αυτής της πληροφορίας, καθώς και τον εμπλουτισμό και τη διασύνδεση των υπαρχόντων μεταδεδομένων με εξωτερικούς θησαυρούς γνώσης. Το τελευταίο στάδιο, έχοντας εξασφαλίσει την αναπαράσταση του υλικού και της γνώσης που το συνοδεύει με διαφανή και διαλειτουργικό τρόπο, περιλαμβάνει την ανάπτυξη εργαλείων για την εκμετάλλευση της νέας αυτής δυναμικής.

1.1 Στόχοι του έργου Το προτεινόμενο έργο τεχνολογικά στοχεύει στην υλοποίηση των κατάλληλων εργαλείων για την ολοκληρωμένη εκτέλεση των διαδικασιών που αφορούν στη συγκέντρωση και καταχώρηση ετερογενούς υλικού και των μεταδεδομένων του, στο χειρισμό και εμπλουτισμό τους και τέλος, στη δυνατότητα επικοινωνίας και διάθεσής του στον εξειδικευμένο αλλά και στο γενικού τύπου χρήστη, μέσω σύγχρονων και νέων τεχνικών προσεγγίσεων για την ολοκληρωμένη διαχείριση των ακολούθων: 1. Ανάπτυξη ερευνητικών μεθοδολογιών σε περιοχές στις οποίες κρίνεται ότι η τεχνολογική στάθμη στο επίπεδο της βασικής έρευνας δεν βρίσκεται σε τέτοιο βαθμό ωρίμανσης ώστε να προσφέρει το απαραίτητο τεχνολογικό υπόβαθρο για την ανάπτυξη των προτεινόμενων υπηρεσιών. 2. Αυτόματη ανάλυση των οπτικοακουστικών δεδομένων με στόχο την εξόρυξη γνώσης για τον εμπλουτισμό των περιγραφικών μεταδεδομένων που συνοδεύουν το οπτικοακουστικό περιεχόμενο. 3. Αριστοποίηση των προσφερόμενων υπηρεσιών του έργου προς τους τελικούς χρήστες καθώς και η προώθηση στο μέγιστο δυνατό βαθμό του αρχειοποιημένου ψηφιακού υλικού των συνεργαζόμενων φορέων. 4. Δημιουργία υψηλότατης προστιθέμενης αξία τόσο στις κύριες ερευνητικές δραστηριότητες των συνεργαζόμενων φορέων όσο και στο εκτενές οπτικοακουστικό υλικό. 5. Δημιουργία ενός συνόλου νέων μεθόδων και παρεχόμενων υπηρεσιών (διαχείρισης, αναζήτησης και διάδοσης ψηφιοποιημένου οπτικοακουστικού υλικού) που θα αποτελέσουν έναυσμα για περαιτέρω εισαγωγή τους και χρήση τους στον Ελληνικό οπτικοακουστικό χώρο. 6. Ενίσχυση της γενικότερης κουλτούρας κριτικής διερεύνησης νέων τεχνολογιών, οι οποίες θα μπορούν - υπό τις κατάλληλες συνθήκες - να αποτελέσουν τον πυρήνα για την ανάπτυξη καινοτόμων λύσεων πληροφορικής, ικανών να ανταποκριθούν στις ανάγκες και τις απαιτήσεις της αγοράς τα επόμενα έτη. 7. Επίτευξη καλύτερων σχέσεων και επαφών μεταξύ ερευνητικών φορέων και εταιριών. 8. Ευρεία διάδοση των αποτελεσμάτων του έργου που θα αποτελέσουν το έναυσμα για την περαιτέρω ανάπτυξη και ανάδειξη ψηφιακού ελληνικού οπτικοακουστικού περιεχομένου, τόσο στον ελληνικό, όσο και στον Ευρωπαϊκό χώρο, με προφανές όφελος για την εθνική οικονομία, τον πολιτισμό και την κοινωνία. 9. Διατήρηση της ιστορικής μνήμης, διάδοση της πνευματικής κληρονομιάς, προβολή εθνικής ταυτότητας στο διεθνή χώρο, πρόσβαση στο δημιουργό, στον ερευνητή, στο σπουδαστή μέσω του μεγέθους του υπάρχοντος και παραγόμενου οπτικοακουστικού υλικού. 10. Χρήση των τεχνολογιών που θα υλοποιηθούν στο έργο από οργανισμούς που κατέχουν, διαχειρίζονται, διανέμουν ή συντελούν στην αναζήτηση οπτικοακουστικού υλικού.

Είναι άξιο αναφοράς το ότι τα περισσότερα οπτικοακουστικά αρχεία παγκοσμίως είναι ήδη στη διαδικασία ψηφιοποίησης του οπτικοακουστικού τους υλικού, υιοθετώντας ταυτόχρονα συστήματα καταχώρησης βασισμένα σε υπολογιστές. Δημόσιες ή ιδιωτικές κινηματογραφικές εταιρείες, οπτικοακουστικές αρχειοθήκες θα ωφεληθούν επίσης από το προτεινόμενο σύστημα καθώς οι πελάτες τέτοιων ιδρυμάτων ή εταιριών έχουν παρόμοιες ανάγκες. Σημαντικό μερίδιο της προβλεπόμενης αγοράς αφορά και στις εταιρείες ψηφιακού οπτικοακουστικού περιεχομένου. Στο πλαίσιο αυτό, το έργο μπορεί να υποστηρίξει με την τεχνολογική πρωτοτυπία του, αλλά και την οργανωτική και επιχειρηματική σπουδαιότητά του, την ανάπτυξη Εθνικού Σημείου αποτελεσματικής πρόσβασης στο Οπτικοακουστικό περιεχόμενο. 2. Εισαγωγή 2.1 Περίγραμμα Παραδοτέου Αυτό το παραδοτέο περιγράφει το πρωτόκολλο αξιολόγησης που χρησιμοποιείται για να αξιολογηθεί το έργο IS HELLEANA. Ο σκοπός αυτού του εγγράφου είναι να προτείνει ένα σχέδιο αξιολόγησης των αποτελεσμάτων του έργου. Συγκεκριμένα, το παραδοτέο αυτό σκοπεύει να καθορίσει μια περιεκτική μεθοδολογία αξιολόγησης και να προσδιορίσει ένα ολιστικό πλαίσιο αξιολόγησης συμπεριλαμβάνοντας διαφορά αντικείμενα αξιολόγησης, προοπτικές και φορείς. Ο τελικός σκοπός είναι να κατηγοριοποιηθούν συγκεκριμένοι στόχοι, ερωτήσεις και ποσοτικοί όροι στο πλαίσιο αξιολόγησης του IS HELLEANA. Το παρόν παραδοτέο διαιρείται στα ακόλουθα κεφάλαια τα οποία θα περιγραφούν παρακάτω. Κεφάλαιο 3 Μεθοδολογία Αξιολόγησης : παρουσιάζει τη γενική προσέγγιση αξιολόγησης του IS-HELLEANA με βάση τη μεθοδολογία του Στόχου/ Ερώτησης/ Ποσοτικού όρου. Η αρχή πίσω από τη μέθοδο Goal/Question/Metric (GQM) είναι ότι η αξιολόγηση και οι μεταγενέστερες μετρήσεις θα πρέπει να έχουν ως στόχο να είναι προσανατολισμένα σε βελτιωμένες επιχειρηματικές διαδικασίες και δραστηριότητες εκτέλεσης. Το πλαίσιο αξιολόγησης του IS-HELLEANA ορίζεται λαμβάνοντας υπόψη συναφής ομάδες αξιολόγησης, αντικείμενα και ειδικά μεθοδολογικά βήματα. Κεφάλαιο 4 - "Προσέγγιση και Μεθοδολογία του IS-HELLEANA": Παρουσιάζεται το γενικό πλάνο αξιολόγησης του IS-HELLEANA παρουσιάζοντας τους βασικούς στόχους του συστήματος (Goals). Οι στόχοι χωρίζονται "επιχειρηματικού", "τεχνικούς" και "λειτουργικούς" και για κάθε κατηγορία ορίζονται οι συγκεκριμένοι στόχοι τους οποίους οφείλει να επιτυγχάνει η πλατφόρμα του IS-HELLEANA. Με βάση τους στόχους, ορίζονται στα επόμενα κεφάλαια οι ερωτήσεις που αφορούν τα επιμέρους στοιχεία (components) του IS-HELLEANA (Questions). Για κάθε ερώτηση και η αντίστοιχη μετρική (metric) που καθορίζει το εύρος των πιθανών απαντήσεων καθώς και τις αποδεκτές τιμές.

Κεφάλαιο 5 Αξιολόγηση Γενικής Αρχιτεκτονικής του IS-HELLEANA : Το ελάχιστο των απαιτήσεων που οφείλει να εκπληρώνει μία αρχιτεκτονική, είναι η ενσωμάτωση όλων των λειτουργικοτήτων της πλατφόρμας του IS- HELEANA. Περεταίρω απαιτήσεις αφορούν την ύπαρξη αρθρωτών υποσυστημάτων με καθαρές διεπαφές και μηδενική αλληλοεπικάλυψη λειτουργιών, καθώς και τη δυνατότητα επεκτασιμότητάς της. Κεφάλαιο 6 "Αξιολόγηση Ανάλυσης Πρωτογενούς Υλικού": Το στάδιο και τα εργαλεία "Ανάλυσης Πρωτογενούς Υλικού" είναι υπεύθυνα για την εξαγωγή RDF triples από το πρωτογενές υλικό. Τα RDF triples πρέπει να είναι lossless, δηλαδή δεν πρέπει να χάνετε κρίσιμη πληροφορία από το πρωτογενές υλικό Κεφάλαιο 7 - "Αξιολόγηση Σημασιολογικού Εμπλουτισμού των RDF triples" Ο "Σημασιολογικός Εμπλουτισμός" προσθέτει περαιτέρω πληροφορίες στα RDF triples που έχουν εξαχθεί κατά την "Ανάλυση Πρωτογενούς Υλικού". Αυτές οι πληροφορίες προέρχονται από εξωτερικές πηγές (IMDB, DBpedia κλπ.) και θα πρέπει να αποθηκεύονται με τρόπο που να εξασφαλίζει την εγκυρότητα της τελικής πληροφορίας. Κεφάλαιο 8 - "Αξιολόγηση Πολύπλευρης Οπτικής Αναζήτησης" Η "Πολύπλευρη Οπτική Αναζήτηση" επιτρέπει στο χρήστη να αναζητήσει περιεχόμενο με βάση κριτήρια αναζήτησης και προβάλει το αποτέλεσμα με μορφή βίντεο. Κεφάλαιο 9 - "Αξιολόγηση Γραφικής Διεπαφής Δημιουργίας σύνθετων SPARQL ερωτημάτων" Με τη "Γραφική Διεπαφή Δημιουργίας σύνθετων SPARQL ερωτημάτων" ο χρήστης μπορεί να συνθέσει μέσω της κατάλληλης γραφικής διεπαφής πολύπλοκα SPARQL ερωτήματα. Κεφάλαιο 9 - "Επιχειρηματικοί Στόχοι" Στο κεφάλαιο αυτό θα τεθούν οι αρχικοί στόχοι που θα πρέπει να πληρεί η εφαρμογή Κεφάλαιο 10 Συμπεράσματα: Στο τελευταίο κεφάλαιο παρουσιάζονται τα συμπεράσματα αυτού του παραδοτέου.

3. Μεθοδολογία Αξιολόγησης Αν και υπάρχουν αρκετά ολοκληρωμένα προγράμματα αξιολόγησης μεθοδολογίας ενός συστήματος στη βιομηχανία και στον ακαδημαϊκό κόσμο, τα περισσότερα δεν λαμβάνουν υπόψη τον επιχειρηματικό τομέα. Από την επιχειρηματική σκοπιά, το λογισμικό και το επακόλουθο σύστημα ποιότητας είναι μόνο ένα μέσο για την επίτευξη άλλων οργανωτικών στόχων όπως η βελτίωση της παραγωγικότητας, η μείωση των ποσοστών σφάλματος, η μείωση του κόστους, η μεγιστοποίηση κερδών, κλπ. Η GQM αποτελεί μια συστηματική προσέγγιση για την προσαρμογή και την ενσωμάτωση των στόχων σε μοντέλα λογισμικού, τα προϊόντα και τις προοπτικές της ποιότητας που μας ενδιαφέρουν, με βάση τις ιδιαίτερες ανάγκες του έργου (Basili et al, 1994a). Το αποτέλεσμα της εφαρμογής της μεθόδου GQM είναι η προδιαγραφή ενός προγράμματος αξιολόγησης με στόχο ένα συγκεκριμένο σύνολο θεμάτων και ένα σύνολο κανόνων για την ερμηνεία των δεδομένων των μετρήσεων. Η αρχή πίσω από τη μέθοδο GQM είναι ότι η αξιολόγηση και η εν συνεχεία μέτρηση θα πρέπει να είναι ο στόχος προσανατολισμού. Η μέθοδος αξιολόγησης GQM του IS HELLEANA ορίζει ένα συγκεκριμένο στόχο, μετατρέπει αυτό το στόχο σε ερωτήσεις, και ορίζει τις παραμέτρους που απαιτούνται έτσι ώστε να απαντιούνται οι προαναφερθείσες ερωτήσεις. Απαντώντας στις ερωτήσεις, τα στοιχεία των μετρήσεων μπορούν να αναλυθούν για να διαπιστωθεί κατά πόσον έχουν επιτευχθεί οι στόχοι. Έτσι, η GQM καθορίζει τις μετρήσεις από μια top-down προοπτική και αναλύει και ερμηνεύει τη μέτρηση των δεδομένων από κάτω προς τα πάνω, όπως φαίνεται στο Σχήμα 1. Το μοντέλο GQM ξεκινά από πάνω προς τα κάτω με τον ορισμό ενός σαφούς στόχου μέτρησης. Αυτός ο στόχος έχει μετατραπεί σε διάφορες ερωτήσεις που χωρίζουν το θέμα στα βασικά στοιχεία του. Κάθε ερώτηση στη συνέχεια μετατρέπεται σε μετρήσεις οι οποίες θα παρέχουν τις απαιτούμενες πληροφορίες για να απαντηθούν τα ερωτήματα αυτά. Τα δεδομένα των μετρήσεων ερμηνεύονται από κάτω προς τα πάνω. Δεδομένου ότι οι μετρήσεις καθορίζονται με σαφή στόχο, οι πληροφορίες που παρέχονται από τις μετρήσεις ερμηνεύονται και αναλύονται σε σχέση με αυτόν τον στόχο, για να συμπεράνουν κατά πόσον έχει επιτευχθεί. Το διάγραμμα στόχων της GQM, οι ερωτήσεις και οι μετρήσεις συνήθως βασίζονται στη γνώση των εμπειρογνωμόνων.

Εικόνα 1: Το Παράδειγμα GQM (Basili and Weiss, 1984) 3.1 GQM Φάσης Αξιολόγησης του IS HELLEANA Η αξιολόγηση του IS-HELLEANA με βάση τη μέθοδο GQM περιλαμβάνει τέσσερις φάσεις: 1. Η φάση Σχεδιασμού, κατά την οποία επιλέγεται μια προσέγγιση υψηλού επιπέδου η οποία καθορίζεται, χαρακτηρίζεται, προγραμματίζεται με στόχο τη δημιουργία του πλαισίου αξιολόγησης του έργου. 2. Η φάση Ορισμού, κατά τη διάρκεια της οποίας ορίζεται το πρόγραμμα μέτρησης (ορίζονται οι στόχοι, οι ερωτήσεις και οι μετρήσεις) και τεκμηρίωσης. 3. Το στάδιο της Συλλογής Δεδομένων, κατά τη διάρκεια της οποίας λαμβάνει χώρα η πραγματική συλλογή δεδομένων. 4. Η φάση της Ερμηνείας, κατά την οποία τα δεδομένα που έχουν συλλεχθεί υποβάλλονται σε επεξεργασία σε σχέση με τις καθορισμένες μετρήσεις και προκύπτουν τα αποτελέσματα μετρήσεων που δίνουν απαντήσεις στα καθορισμένα ερωτήματα, μετά την οποία η επίτευξη του στόχου μπορεί να αξιολογηθεί. Οι τέσσερις φάσεις της μεθόδου GQM για το IS HELLEANA απεικονίζονται στο Σχήμα 2. Η φάση Σχεδιασμού πραγματοποιείται με στόχο να προβλεφθούν όλες οι απαιτήσεις έτσι ώστε να καταστεί το πρόγραμμα αξιολόγησης GQM του IS HELLEANA επιτυχές, συμπεριλαμβανομένου και τη δημιουργία ενός πλαισίου αξιολόγησης υψηλού επιπέδου. Η φάση Ορισμού εντοπίζει ένα στόχο, καθώς και όλες τις ερωτήσεις και τις ποσοτικές μετρήσεις. Όταν η διαδικασία του Ορισμού ολοκληρωθεί τότε ξεκινάνε οι μετρήσεις. Κατά τη διάρκεια αυτής της φάσης Συλλογής Δεδομένων τα έντυπα

συλλογής δεδομένων καθορίζονται, συμπληρώνονται και αποθηκεύονται. Τέλος, κατά τη φάση της Ερμηνείας, χρησιμοποιούνται οι μετρήσεις για να απαντηθούν οι ερωτήσεις που έχουν τεθεί, και αυτές οι απαντήσεις χρησιμοποιούνται και πάλι για να διαπιστωθεί αν οι δεδηλωμένοι στόχοι έχουν επιτευχθεί. Ο σκοπός του παρόντος παραδοτέου είναι να εφαρμόσει ρητά την πρώτη και τη δεύτερη φάση αξιολόγησης της GQM. Η τρίτη και τέταρτη φάση εφαρμόζονται ειδικά στο Παραδοτέο 6.2 (Πλατφόρμα πρωτοτύπου και έλεγχοι πρωτοτύπου.). Σχήμα 2: Οι τέσσερις φάσεις της μεθόδου GQM.

3.2 Φάση Σχεδιασμού Οι πρωταρχικοί στόχοι της φάσης Σχεδιασμού είναι να συγκεντρωθούν όλες οι πληροφορίες που απαιτούνται, να οριστούν όλες οι απαραίτητες ενέργειες που θα εμπλακούν στη διαδικασία αξιολόγησης με στόχο την προετοιμασία ενός υψηλού επιπέδου πλάνου αξιολόγησης. Το πλαίσιο αυτό θα λειτουργήσει ως κατευθυντήρια γραμμή για όλες τις επόμενες φάσεις και όλα τα ενδιαφερόμενα μέρη. Η θέση της φάσης σχεδιασμού της μεθόδου GQM απεικονίζεται στο ακόλουθο σχήμα. Figure 3: Φάση Σχεδιασμού της μεθόδου αξιολόγησης GQM για το IS HELLEANA. Η φάση Σχεδιασμού αποτελείται από τρία βήματα που παρουσιάζονται γραφικά στο Σχήμα 4. Αυτά τα συγκεκριμένα βήματα περιγράφονται στις ακόλουθες ενότητες. Σχήμα 4: Τα τρία χαρακτηριστικά βήματα κατά τη φάση Σχεδιασμού της αξιολόγησης του IS HELLEANA.

3.2.1 Προσδιορισμός των Ομάδων Αξιολόγησης του IS HELLEANA Δεδομένου ότι το έργο IS HELLEANA έχει επιστημονικό και επιχειρηματικό ενδιαφέρον, η μέθοδος GQM θεωρήθηκε ως ο πλέον κατάλληλος οδηγός για την αξιολόγηση των αποτελεσμάτων του έργου. Η ποιότητα και τα διδάγματα που θα προκύψουν από το ολοκληρωμένο σύστημα του IS HELLEANA θα πρέπει να επιτευχθούν συνδυάζοντας την εμπειρία και τη γνώση πολλών διαφορετικών επιστημονικών κλάδων και φορέων που συμμετέχουν στο έργο. Η ενσωμάτωση των κλάδων σημαίνει τη συνεργασία εμπειρογνωμόνων εξειδικευμένοι στην έρευνα και ανάπτυξη της ψηφιακής επεξεργασίας εικόνων, βίντεο και πολυμέσων, στην επεξεργασία λόγου, στην έρευνα και ανάπτυξη ευφυών συστημάτων περιεχομένου και αλληλεπίδρασης, στην επιχειρηματική στρατηγική, στη βελτίωση της διαδικασίας, κλπ. Αυτό το μίγμα εξασφαλίζεται από την εμπλοκή δύο διακριτών αλλά συμπληρωματικών στρώσεων στη διαδικασία αξιολόγησης Οι Τεχνικοί Εταίροι αποτελούν τον πυρήνα της ομάδας αξιολόγησης οι οποίοι κατέχουν ενδελεχή και σε βάθος γνώση με την οποία μπορούν να αξιολογήσουν την ποιότητα του λογισμικού και των επιχειρηματικών θεμάτων που θα προκύψουν από το ολοκληρωμένο σύστημα που θα αναπτυχθεί στο πλαίσιο του έργου IS HELLEANA. Οι τελικοί χρήστες, περιλαμβάνουν το βασικό στρώμα των εμπλεκόμενων φορέων αξιολόγησης του IS HELLEANA με ιδιαίτερη έμφαση στα μετρήσιμα αποτελέσματα. Σχήμα 5: Ομάδες Αξιολόγησης του IS-HELLEANA

3.2.2 Αναγνώριση των Αντικειμένων Αξιολόγησης του IS-HELLEANA Μετά τον ορισμό της ομάδας αξιολόγησης της μεθόδου GQM του IS HELLEANA, το επόμενο βήμα είναι ο προσδιορισμός και η επιλογή των κατάλληλων αντικειμένων αξιολόγησης. Αυτά πηγάζουν κυρίως από τα στοιχεία του IS-HELLEANA όπως αυτά ορίζονται στο Παραδοτέο 5.3 (Υπηρεσίες διάθεσης των μεταδεδομένων) και περιλαμβάνει πέντε (5) κύρια αντικείμενα αξιολόγησης. 1. Αρχιτεκτονική του IS-HELEANA 2. Ανάλυση Πρωτογενούς Υλικού 3. Σημασιολογικός Εμπλουτισμός RDF triples 4. Πολύπλευρη Οπτική Αναζήτηση 5. Γραφική Διεπαφή Δημιουργίας σύνθετων SPARQL ερωτημάτων Σύμφωνα με τη μέθοδο αξιολόγησης GQM, αυτά τα αντικείμενα πρέπει να αξιολογούνται σύμφωνα με έναν αριθμό στόχων που επιτρέπουν την εστίαση σε ορισμένες πτυχές της αξιολόγησης. Κάθε στόχος αναλύεται σε μία ή περισσότερες ερωτήσεις που δρουν σαν ένα όχημα για την αξιολόγηση των στόχων που έχουν οριστεί. Τέλος, προκειμένου να αναλυθούν και να ερμηνευθούν τα αποτελέσματα των ερωτήσεων πρέπει να καθοριστούν ειδικοί ποσοτικοί όροι. 3.2.3 Προσδιορισμός των Προοπτικών Αξιολόγησης του IS HELLEANA Το έργο IS HELLEANA αξιολογήθηκε λαμβάνοντας υπόψη δύο διαφορετικές προοπτικές: 1. Η μεθοδολογική προοπτική, με την οποία αξιολογήθηκε η υψηλού επιπέδου Προσέγγιση και Μεθοδολογία του IS HELLEANA. Τα όργανα για την αξιολόγηση της Προοπτικής Μεθοδολογίας αναπτύχθηκαν για τις ανάγκες του IS-HELLEANA. 2. Η Τεχνική Προοπτική, στην οποία η ποιότητα και η απόδοση του ολοκληρωμένου συστήματος του IS HELLEANA θα αξιολογηθούν (δηλαδή η οντολογία του IS HELLEANA, Σύστημα Προσαρμογής Περιβάλλοντος, Στοιχείο Διαμεσολάβησης, στρώμα διαλειτουργικότητας του συστήματος). Τα εργαλεία που θα χρησιμοποιηθούν εδώ έχουν εμπνευστεί από i) μια σειρά από μεθόδους και τεχνικές αξιολόγησης οντολογίας, για την αξιολόγηση της οντολογίας του IS HELLEANA, και ii) ISO 9126 Πρότυπο για Ποιότητα Λογισμικού, για τα στοιχεία συστήματος του IS HELLEANA Τα στοιχεία Συστήματος του IS HELLEANA αξιολογήθηκαν λαμβάνοντας υπόψη τα βασικά χαρακτηριστικά ποιότητας του προτύπου IEC / ISO 9126

για την Ποιότητα Λογισμικού, που απεικονίζεται στο σχήμα 6. Αυτά τα βασικά χαρακτηριστικά ποιότητας λογισμικού που ορίζονται από το πρότυπο IEC / ISO 9126 είναι: 1. Λειτουργικότητα: η ύπαρξη μιας σειράς λειτουργιών με ιδιότητες που ικανοποιούν εκφρασθείσες ή μη ανάγκες. Τα μέτρα που πρέπει να εξετασθούν μπορεί να περιλαμβάνουν λειτουργική καταλληλότητα, υπολογιστική ακρίβεια, διαλειτουργικότητα, ασφάλεια. 2. Αξιοπιστία: η ικανότητα του λογισμικού να διατηρήσει το επίπεδο απόδοσης κάτω από συγκεκριμένες συνθήκες. Τα μέτρα που πρέπει να εξετασθούν μπορεί να περιλαμβάνουν ωριμότητα, ανοχή σφαλμάτων, ικανότητα ανάκτησης. 3. Ευχρηστία: η προσπάθεια που απαιτείται για τη χρήση του συστήματος. Τα μέτρα που πρέπει να εξετασθούν μπορεί να περιλαμβάνουν την κατανόηση, την ικανότητα μάθησης, την λειτουργικότητα, την ελκυστικότητα του ολοκληρωμένου συστήματος. 4. Αποτελεσματικότητα: η σχέση μεταξύ του επιπέδου της απόδοσης του λογισμικού και το ποσό των πόρων που χρησιμοποιούνται, υπό δεδομένες συνθήκες. Τα μέτρα που πρέπει να εξετασθούν μπορεί να περιλαμβάνουν τον χρόνο που απαιτείται για τη λειτουργία του συστήματος, την αξιοποίηση των πόρων. 5. Συντηρησιμότητα: η προσπάθεια που απαιτείται για να γίνουν συγκεκριμένες τροποποιήσεις στο σύστημα. Τα μέτρα που πρέπει να εξετασθούν μπορεί να περιλαμβάνουν ικανότητα ανάλυσης, εναλλαξιμότητα, ελεγξιμότητα. 6. Φορητότητα: η ικανότητα του λογισμικού να μεταφέρεται από ένα περιβάλλον σε άλλο. Τα μέτρα που πρέπει να εξετασθούν μπορεί να περιλαμβάνουν προσαρμοστικότητα, ικανότητα εγκατάστασης, συνύπαρξη, ικανότητα αντικατάστασής.

Εικόνα 6: Τα βασικά χαρακτηριστικά Ποιότητας Λογισμικού του IEC/ISO 9126

3.2.4 Δημιουργία του Πλαισίου Αξιολόγησης του IS HELLEANA Αφού καθοριστούν οι φορείς αξιολόγησης, τα αντικείμενα αξιολόγησης και τα πλαίσια αξιολόγησης της GQM του IS HELLEANA, θα αναπτυχθεί μια πρόταση για ένα συνολικό πλαίσιο αξιολόγησης του IS HELLEANA στο οποίο το πρόγραμμα μέτρησης θα βασιστεί (Σχήμα 7). Σχήμα 7: Πλαίσιο Αξιολόγησης του IS HELLEANA Ο σκοπός αυτού του πλαισίου αξιολόγησης είναι να συνδυάσει όλα τα προαναφερόμενα στοιχεία (δηλαδή τις Ομάδες Αξιολόγησης, τα Αντικείμενα Αξιολόγησης και τις Προοπτικές Αξιολόγησης), προκειμένου να διαμορφώσει ένα ολοκληρωμένο πρόγραμμα αξιολόγησης του έργου, λαμβάνοντας υπόψη όσο το δυνατόν περισσότερες πτυχές των αποτελεσμάτων του έργου. 3.3 Η φάση Ορισμού Αυτή η ενότητα περιγράφει τη φάση Ορισμού του IS-HELLEANA σύμφωνα με τη μέθοδο GQM. Η φάση Ορισμού είναι η δεύτερη φάση της διαδικασίας

GQM, και αφορά όλες τις δραστηριότητες που θα πρέπει να γίνουν για να καθοριστεί ένα πρόγραμμα μέτρησης. Εικόνα 7: Η φάση Ορισμού της μεθόδου αξιολόγησης GQM του IS HELLEANA Για να ολοκληρωθεί η φάση Ορισμού, θα πραγματοποιηθεί μια διαδικασία έξι σταδίων. Οι επόμενες ενότητες περιγράφουν με περισσότερες λεπτομέρειες τα βήματα της φάσης Ορισμού με βάση τη μέθοδο GQM για το-is HELLEANA: 1. Ορισμός στόχων μέτρησης 2. Ορισμός ερωτήσεων 3. Ανασκόπηση ερωτήσεων 4. Ορισμός μετρήσεων 5. Επαλήθευση των μετρήσεων σχετικά με τη συνοχή και την πληρότητα 6. Παραγωγή πλάνου GQM 3.3.1 Ορισμός των στόχων μέτρησης Το πρώτο βήμα στη διαδικασία Ορισμού είναι ο ορισμός των μετρήσιμων στόχων. Όλες οι ενέργειες αξιολόγησης θα προέρχονται από τους στόχους που θα έχουν ήδη εντοπιστεί στην προηγούμενη φάση του Σχεδιασμού. Όλοι οι φορείς που θα συμμετέχουν στο πρόγραμμα αξιολόγησης του IS HELLEANA θα συμμετέχουν και στον καθορισμό των στόχων της μέτρησης. Όπως έχει ήδη περιγραφεί, οι ενδιαφερόμενοι που θα συμμετέχουν στο πρόγραμμα μέτρησης θα είναι οι Τεχνικοί Συνεργάτες του έργου και οι Τελικοί Χρήστες. Οι Στόχοι μέτρησης θα οριστούν με κατανοητό τρόπο και με σαφή δομή. Ο παρακάτω πίνακας στηρίζει τη γενική αξιολόγηση σκοπού των στόχων.

Table 2: Ορισμός περιγράμματος στόχου της GQM (Basili et al, 1994a) 3.3.2 Ορισμός ερωτήσεων Σε σχέση με τους στόχους μέτρησης, ορίστηκαν ερωτήσεις για την υποστήριξη της ερμηνείας των δεδομένων προς έναν στόχο μέτρησης. Καθώς οι στόχοι ορίστηκαν σε αρχικό επίπεδο, τα ερωτήματα ενήργησαν για να βελτιώσουν τους στόχους σε ένα πιο λειτουργικό επίπεδο, το οποίο είναι πιο κατάλληλο για την ερμηνεία. Απαντώντας στις ερωτήσεις, κάποιος θα μπορεί να είναι σε θέση να συμπεράνει κατά πόσον έχει επιτευχθεί ο στόχος. Σχήμα 8: Ορισμός ερώτησης της GQM 3.3.3 Ανασκόπηση ερωτήσεων Οι ερωτήσεις του προγράμματος αξιολόγησης IS HELLEANA αποτελούν τη βασική γέφυρα μεταξύ στόχων και μετρήσεων. Ως εκ τούτου, οι ερωτήσεις παίρνουν έναν κεντρικό ρόλο, όχι μόνο κατά το στάδιο της ανάλυσης, αλλά και κατά το στάδιο της ερμηνείας. Ως εκ τούτου, είναι σημαντικό αυτές οι ερωτήσεις να είναι σωστές. Για να βεβαιωθούμε ότι έχουν δημιουργηθεί οι σωστές ερωτήσεις και ότι έχουν διατυπωθεί σωστά, θα γίνει αξιολόγηση αυτών στις συναντήσεις που θα πραγματοποιηθούν όπου θα συμμετέχουν όλοι οι εμπλεκόμενοι εταίροι. Ως αποτέλεσμα, μερικές ερωτήσεις θα επαναδιατυπωθούν κατά τη διάρκεια των διαβουλεύσεων αυτών. 3.3.4 Ορισμός μετρήσεων Οι στόχοι της αξιολόγησης του IS HELLEANA θα αποτυπωθούν σε μορφή ερωτήσεων και θα καταρτιστεί λίστα με το σύνολο των ερωτήσεων. Παράλληλα θα καθοριστούν οι απαιτούμενες μετρήσεις με σκοπό να παρέχουν όλες τις ποσοτικές πληροφορίες για να απαντήσουν στις ερωτήσεις με τρόπο ικανοποιητικό. Επιπλέον, είναι πιθανό να εντοπιστούν παράγοντες

που θα μπορούσαν ενδεχομένως να επηρεάσουν την έκβαση των μετρήσεων. Οι παράγοντες που επηρεάζουν άμεσα τις μετρήσεις, επηρεάζουν επίσης τις απαντήσεις στα ερωτήματα που είναι σχετικά με τις μετρήσεις. Αν οι παράγοντες που επηρεάζουν δεν είχαν ληφθεί υπόψη κατά τον ορισμό του προγράμματος μετρήσεων, ορισμένα συμπεράσματα ή ερμηνείες των δεδομένων που θα συλλεχθούν μπορεί να μην είναι σωστά. 3.3.5 Επαλήθευση συνοχής και πληρότητας των μετρήσεων Οι καθορισμένοι στόχοι, οι ερωτήσεις, και οι μετρήσεις του σχεδίου αξιολόγησης IS HELLEANA πρέπει να είναι συνεπής και πλήρης σε σχέση με τα μοντέλα των αντικειμένων αξιολόγησης IS HELLEANA. Για να διασφαλιστεί αυτό, θα υπάρξει συνοχή και πληρότητα σε όλη τη φάση ορισμού στις συναντήσεις του έργου. Το μέτρο αυτό θα ληφθεί προκειμένου να αποφευχθούν απόντες, ελλιπείς ή ασυνεπείς ορισμοί. Αναμένεται ότι λίγοι ορισμοί και δείκτες θα χρειαστεί να αναπροσαρμοστούν ώστε να συνάδουν με τους αντίστοιχους στόχους αξιολόγησης, ερωτήσεις, και ορισμούς δεικτών του IS HELLEANA. 3.3.6 Παραγωγή σχεδίου GQM του IS HELLEANA Το σχέδιο GQM του IS HELLEANA θα είναι ένας οδικός χάρτης που θα περιέχει ενδεικτικούς στόχους, ερωτήσεις και μετρήσεις για το πρόγραμμα αξιολόγησης του IS HELLEANA, όπως θα περιγράφτηκε στα προηγούμενα βήματα. Το σχέδιο GQM του IS HELLEANA θα χρησιμεύσει ως κατευθυντήρια γραμμή για όλους τους εμπλεκόμενους φορείς και ως βάση για την ακόλουθη ανάπτυξη του σχεδίου μέτρησης και ανάλυσης των δράσεων.

3.4 Φάση Συλλογής Δεδομένων Αυτή η ενότητα περιγράφει τις βασικές ιδέες όσον αφορά τη συλλογή των στοιχείων της μεθοδολογίας αξιολόγησης GQM του IS HELLEANA. Σχήμα 9: Φάση συλλογής δεδομένων της μεθοδολογίας αξιολόγησης GQM του IS HELLEANA. Αυτή η ενότητα περιγράφει σε γενικές γραμμές τις διαδικασίες συλλογής δεδομένων του προγράμματος αξιολόγησης GQM του IS HELLEANA. Αυτό περιλαμβάνει τον τρόπο με τον οποίο θα καθοριστούν οι διαδικασίες, τον τρόπο με τον οποίο θα εφαρμοστούν τα έντυπα συλλογής δεδομένων, καθώς και τον τρόπο με τον οποίο τα εργαλεία θα υποστηρίξουν τη διαδικασία συλλογής δεδομένων. 3.4.1 Εγχειρίδιο συλλογής δεδομένων Τα εγχειρίδια συλλογής δεδομένων είναι ένα εύκολο, ευέλικτο και συχνά χρησιμοποιούνται ως εργαλείο για τη συλλογή δεδομένων στο πλαίσιο της GQM. Αυτά αποτελούνται από λίγες σελίδες στις οποίες έχουν εισαχθεί στοιχεία που αντιστοιχούν στις μετρήσεις που ορίζονται στο σχέδιο αξιολόγησης GQM του IS HELLEANA. Για να καταστεί δυνατή η επαλήθευση, το εγχειρίδιο συλλογής δεδομένων περιέχει ένα πεδίο εισόδου, το οποίο προσδιορίζει τον εντολέα των δεδομένων των μετρήσεων. 3.4.2 Ηλεκτρονικά έντυπα συλλογής δεδομένων Οι ηλεκτρονικές φόρμες συλλογής δεδομένων μπορούν να χειριστούν αυτόματα τη δραστηριότητα εισαγωγής δεδομένων και περιλαμβάνουν έναν αποτελεσματικό τρόπο συλλογής στοιχείων. Παρά το γεγονός ότι οι ηλεκτρονικές φόρμες απαιτούν την ίδια προσπάθεια από τα μέλη της ομάδας αξιολόγησης του IS HELLEANA όπως τα εγχειρίδια, το πλεονέκτημα τους είναι ότι τα δεδομένα δεν χρειάζεται να πληκτρολογηθούν εκ νέου στη βάση δεδομένων μέτρησης. Τα ηλεκτρονικά

έντυπα πλεονεκτούν έναντι των εγχειριδίων, γιατί τα εγχειρίδια θα πρέπει να είναι συνεχώς διαθέσιμα, να διανέμονται, να ενημερώνονται, κλπ. Οι ακόλουθες ηλεκτρονικές φόρμες θα χρησιμοποιηθούν για το πρόγραμμα αξιολόγησης του IS HELLEANA: Συλλογή δεδομένων μέσω E-mail Υπολογιστικά φύλλα (e.g. μοντέλο υπολογιστικού φύλλου χρηματοοικονομικής ανάλυσης) Βάσεις δεδομένων 3.4.3 Εργαλεία αυτόματης συλλογής δεδομένων Κατά τη διάρκεια του προγράμματος αξιολόγησης του IS HELLEANA θα χρησιμοποιηθούν τα αυτοματοποιημένα εργαλεία συλλογής δεδομένων. Τα αυτοματοποιημένα εργαλεία συλλογής δεδομένων θα υπολογίζουν συγκεκριμένες μετρήσεις σύμφωνα με ορισμένους προκαθορισμένους αλγορίθμους. 3.4.4 Φάση αποτελεσμάτων ερμηνείας Στην προηγούμενη ενότητα, έγινε περιγραφή της φάσης Συλλογής Δεδομένων. Αυτή η τελική φάση περιλάμβανε όλες τις δραστηριότητες που απαιτούνται για τη συγκέντρωση, την αποθήκευση και την επεξεργασία των δεδομένων των μετρήσεων. Στη φάση Ερμηνείας των δεδομένων θα επικεντρωθούμε στην εξαγωγή συμπερασμάτων σχετικά με το πρόγραμμα μέτρησης IS HELLEANA. Φυσικά, τα συμπεράσματα αυτά θα είναι συγκεκριμένα για κάθε αντικείμενο αξιολόγησης του IS HELLEANA. Αυτή είναι μια ουσιαστική φάση, δεδομένου ότι το βήμα αυτό προσπαθεί να βρει απαντήσεις στα ερωτήματα που διέπουν το πρόγραμμα μέτρησης. Σχήμα 10: Φάση ερμηνείας της μεθοδολογίας αξιολόγησης GQM του IS HELLEANA Η φάση Αποτελεσμάτων - Ερμηνείας αφορά κυρίως την επεξεργασία των στοιχείων που συλλέχθηκαν σε ευπαρουσίαστο και ερμηνεύσιμο υλικό. Το σχέδιο GQM παρέχει τη βάση για την προετοιμασία των feedback sessions:

το feedback material θα πρέπει να στηρίξει την απάντηση των ερωτημάτων, όπως ορίζεται στο σχέδιο GQM του IS HELLEANA, και με βάση αυτές τις απαντήσεις, θα πρέπει κανείς να είναι σε θέση να συμπεράνει κατά πόσον οι καθορισμένοι στόχοι μέτρησης έχουν επιτευχθεί. Η διαδικασία αυτή θα χρησιμοποιηθεί για καθένα από τα αντικείμενα αξιολόγησης του IS HELLEANA. Έχοντας περιγράψει τις τέσσερις φάσεις της αξιολόγησης GQM του IS HELLEANA, καθώς και το πλαίσιο αξιολόγησης του IS HELLEANA, συνεχίζουμε με το πρώτο αντικείμενο που πρέπει να αξιολογηθεί: η Προσέγγιση και Μεθοδολογία του IS HELLEANA.

4. Προσέγγιση και Μεθοδολογία του IS HELLEANA Ο καθορισμός συγκεκριμένων στόχων για τη μεθοδολογία αξιολόγησης του IS-HELEANA, προκύπτει από τα βασικά στοιχεία ποιότητας λογισμικού, όπως αυτά αναλύθηκαν στην ενότητα 3.2.3. Με βάση αυτά τα στοιχεία, Επιλέγονται τα στοιχεία λογισμικού ποιότητας λογισμικού που βρίσκουν εφαρμογή στο IS- HELEANA και γίνεται κατηγοριοποίηση των στόχων και ο καθορισμών αυτών για κάθε κατηγορία ξεχωριστά. Συγκεκριμένα, ορίζονται οι παρακάτω κατηγορίες στόχων. Στόχοι που αφορούν την επιχειρηματική αξία της πλατφόρμας. Στόχοι που αφορούν το τεχνικό κομμάτι της πλατφόρμας. Στόχοι που αφορούν το λειτουργικό κομμάτι της πλατφόρμας. Στα παρακάτω υποκεφάλαια θα δοθεί μία περιγραμματική επεξήγηση των παραπάνω κατηγοριών, καθώς και τους επιμέρους στόχους της κάθε κατηγορίας. Είναι προφανές ότι αυτοί οι στόχοι δεν ισχύουν για όλα τα υποσυστήματα τα οποία πρόκειται να αξιολογηθούν, για παράδειγμα δεν έχει νόημα να γίνεται λόγος για "χρησιμότητα" της Αρχιτεκτονικής του IS- HELEANA. Σε κάθε κεφάλαιο θα αναλύονται ξεχωριστά τους στόχους που πρέπει να επιτευχθούν και θα καταστρώνονται τα κατάλληλα ερωτήματα προς αξιολόγηση. 4.1 Επιχειρηματική αξία της πλατφόρμας Η πλατφόρμα θα πρέπει να έχει προστιθέμενη αξία (added value), με την έννοια ότι θα πρέπει να προσφέρει υπηρεσίες και λειτουργικότητες που είναι ένα βήμα πέρα από αυτές που προσφέρουν οι ήδη υπάρχουσες πλατφόρμες. Θα πρέπει επίσης να είναι κοστολογημένη με τρόπο που να ανταποκρίνεται στην προστιθέμενη αξία καθώς και που θα διασφαλίζει τη βιωσιμότητά της. 4.2 Τεχνικό μέρος της πλατφόρμας Όσον αφορά το τεχνικό κομμάτι η πλατφόρμα θα πρέπει στο ελάχιστο να εκπληρώνει τους παρακάτω στόχους: Ορθότητα (correctness). Η πλατφόρμα και τα επί μέρους συστήματά της θα πρέπει να βγάζουν σωστά αποτελέσματα, είτε με την έννοια της απόλυτης ορθότητας (σύμφωνα με την οποία δεν επιτρέπεται λάθος αποτέλεσμα) ή με την έννοια του μέγιστου αποδεκτού σφάλματος (π.χ. για υποσυστήματα που μπορεί να εκτελούν ευριστικές λειτουργίες). Απόκρισης. Η πλατφόρμα θα πρέπει να έχει λογικούς χρόνους απόκρισης. Επεκτασιμότητα. Νέες λειτουργίες θα πρέπει να μπορούν να προστεθούν χωρίς να χρειάζεται επανασχεδιασμός ή δραματικές αλλαγές σε άλλα υποσυστήματα της πλατφόρμας. 4.3 Λειτουργικό μέρος της πλατφόρμας Στο λειτουργικό κομμάτι, θα πρέπει να εξασφαλίζονται οι παρακάτω προϋποθέσεις:

Χρηστικότητα. Η πλατφόρμα καθώς και τα υποσυστήματά της θα πρέπει να μπορούν να χρησιμοποιήσουν τις διάφορες λειτουργικότητες εύκολα με τον ελάχιστο δυνατό αριθμό βημάτων. Ευκολία μάθησης. Ένας ειδικευμένος χρήστης (expert user) θα πρέπει να μπορεί να μάθει να λειτουργεί την πλατφόρμα σε ένα εύλογο χρονικό διάστημα. Τα διάφορα υποσυστήματα της αρχιτεκτονικής του IS-HELEANA θα πρέπει να εκπληρώνουν, ανάλογα με το υποσύστημα, διάφορους τεχνικούς και λειτουργικούς στόχους. Στο επιχειρηματικό επίπεδο ωστόσο, δεν έχει νόημα να γίνει αξιολόγηση του κάθε υποσυστήματος ξεχωριστά, μιας και πρέπει να αξιολογηθεί στο σύνολο η πλατφόρμα. Για τους επιχειρηματικούς στόχους συνεπώς, θα αναλυθεί η συνολική πλατφόρμα ως σύνολο σε ξεχωριστό κεφάλαιο. Για κάθε υποσύστημα θα καθοριστεί ένα σύνολο ερωτημάτων, ανάλογα με τους επιθυμητούς στόχους, η κατηγορία χρηστών για τις οποίες απευθύνεται το κάθε ερώτημα καθώς η ποιοτική ανάλυση των πιθανών απαντήσεων μέσω των καθορισμό των μετρικών (metrics). Από τις μετρικές, κάποιες μπορούν να καθοριστούν εκ των προτέρων, ενώ για κάποιες άλλες (ειδικά αυτές που αφορούν τεχνικά μέρη της πλατφόρμας) είναι αναγκαίο το feedback από τους χρήστες που θα εκτελέσουν τον έλεγχο ώστε να καθορίσουν για αυτές τις μετρικές ποιος είναι οι αποδεκτές τιμές. Η παρουσίαση των ερωτημάτων θα γίνεται ως εξής: Αρχικά θα δίνονται τα ερωτήματα ανά κατηγορία στόχου, ώστε να είναι διακριτή η ιεράρχησή τους σύμφωνα με την κατηγοριοποίηση τους. Η λίστα ερωτημάτων θα δίνεται και σε μορφή πίνακα όπου θα φαίνονται και τα στοιχεία της μετρικής καθώς και οι προτεινόμενες αποδεκτές τιμές.

5. Αξιολόγηση Γενικής Αρχιτεκτονικής του IS-HELEANA Οι στόχοι που πρέπει να πληρεί η Αρχιτεκτονικής του IS-HELEANA είναι τεχνικοί. Μία αρχιτεκτονική πρέπει να είναι ευέλικτη και αρθρωτή, ώστε μία πιθανή μελλοντική επέκταση να μπορεί να γίνει χωρίς ανάγκη για τροποποίηση των ήδη υπάρχοντών υποσυστημάτων. Θα πρέπει επίσης να είναι ορθή, με την έννοια ότι όλα τα πιθανά σενάρια χρήσης θα πρέπει να ανταποκρίνονται σε διαγράμματα ροής της αρχιτεκτονικής. Ως εκ τούτου, από τη λίστα στόχων που έχουν τεθεί στο Κεφάλαιο 4, θα πρέπει να επιτυγχάνεται η ορθότητα και η επεκτασιμότητα. Με αυτά κατά νου, δίνονται παρακάτω τα ερωτήματα αξιολόγησης για τους δύο στόχους της αρχιτεκτονικής. Ορθότητα: o Σε περίπτωση συνωνυμίας δύο διακριτών ταινιών, το σημασιολογικό μοντέλο διαχωρίζει τις εν λόγω οντότητες; o Έστω ότι τα στοιχεία ενός ηθοποιού στην DBpedia αλλάζουν. Τα σημασιολογικά εμπλουτισμένα δεδομένα της Βάσης Δεδομένων που αφορούν σκηνές με τον εν λόγω ηθοποιό, θα αλλάξουν; o Αν υπάρχει ασυμφωνία δεδομένων μεταξύ του imdb και της DBpedia για μία ταινία, με ποια δεδομένα θα εμπλουτιστούν τα RDF triples; Επεκτασιμότητα o Η αρχιτεκτονική υποστηρίζει την προσθήκη μίας νέας πηγής πρωτογενών δεδομένων; Στον πίνακα 3 φαίνονται συνοπτικά οι ερωτήσεις καθώς και οι πιθανοί τύποι απαντήσεων για κάθε ερώτημα. Ερώτημα Σε περίπτωση συνωνυμίας δύο διακριτών ταινιών, το σημασιολογικό μοντέλο διαχωρίζει τις εν λόγω οντότητες; Έστω ότι τα στοιχεία ενός ηθοποιού στην DBpedia αλλάζουν. Τα σημασιολογικά εμπλουτισμένα δεδομένα της Βάσης Δεδομένων που αφορούν σκηνές με τον εν λόγω ηθοποιό, θα αλλάξουν; Αν υπάρχει ασυμφωνία δεδομένων μεταξύ του imdb και της DBpedia για μία ταινία, με ποια δεδομένα θα εμπλουτιστούν τα RDF Κατηγορία Στόχου Τεχνικός - Ορθότητα Τεχνικός - Ορθότητα Τεχνικός - Ορθότητα Μετρική Απάντησης Ναι / Όχι Ναι / Όχι (IMDB, DBPedia, και τα δύο, κανένα) Αποδεκτές Τιμές Ναι Ναι Πρέπει να καθοριστεί από τους τεχνικούς εταίρους

triples; Η αρχιτεκτονική υποστηρίζει την προσθήκη μίας νέας πηγής πρωτογενών δεδομένων; Τεχνικός - Επεκτασιμότητα Ναι / Όχι Table 3: Στόχοι Γενικής Αρχιτεκτονικής του IS-HELEANA Ναι Όλα τα ερωτήματα απευθύνονται σε Τεχνικούς Χρήστες. Ικανοποιητική απάντηση για τα ερωτήματα με πιθανές απαντήσεις Ναι/Όχι, μπορεί να θεωρηθεί η απάντηση "Ναι". Για το 3ο ερώτημα, θα πρέπει να αξιολογήσουν οι Τεχνικοί Χρήστες αν η όποια απάντηση είναι αποδεκτή ή όχι. 6. Αξιολόγηση Ανάλυση Πρωτογενούς Υλικού Η Ανάλυση Πρωτογενούς Υλικού, όσον αφορά το τεχνικό κομμάτι, θα πρέπει να πληρεί τις προϋποθέσεις τυπικές για κάθε στοιχείο λογισμικού, όπως ευχρηστία, ικανοποιητική ταχύτητα και καλή απόκριση. Ειδικά για το συγκεκριμένο στοιχείο λογισμικού, απαιτείται η ακριβής και χωρίς απώλειες (lossless) μετα τροπή των πρωτογενών δεδομένων σε τριπλέτες (RDF triples). Όλες οι πληροφορίες που αφορούν σκηνές θα πρέπει να αναπαρίστανται στο RDF σχήμα. Οι ερωτήσεις αξιολόγησης κάθε στόχο και για κάθε κατηγορία δίνονται είναι οι εξής: Τεχνικοί στόχοι: o Ορθότητα: Έστω ότι στο πρωτογενές υλικό υπάρχει μία σκηνή στην οποία εμφανίζεται μία ταινία χωρίς Post Production Script (PPS). Για την πληροφορία "κατηγορία πλάνου" πόσα triples υπάρχουν στο RDF triple store; Έστω ότι στο πρωτογενές υλικό υπάρχει μία σκηνή και PPS που αναφέρει την ύπαρξη δύο ρόλων. Αν ένας εξειδικευμένος χρήστης εκτελέσει ερώτημα στο triple store αναζητώντας τους ρόλους για τη συγκεκριμένη σκηνή, πόσα triples θα λάβει; o Απόκριση: Για μία σκηνή που υπάρχει πλήρες PPS, όταν ένας εξειδικευμένος χρήστης εκτελέσει ερώτημα ανάκτησης όλων των triples που σχετίζονται με τη σκηνή και τα μεταδεδομένα της, σε πόσο χρόνο θα λάβει την πλήρη λίστα; Λειτουργικοί στόχοι: o Χρηστικότητα: Έστω ότι ο εξειδικευμένος χρήστης επιθυμεί να εξάγει τα RDF triples από δύο ταινίες που έχουν και οι δύο PPS. Πόσες φορές πρέπει να χρησιμοποιήσει τη λειτουργία "εισαγωγής στο triple store"; o Ευκολία Μάθησης:

Ένας χρήστης που κατέχει επαρκή γνώση της SPARQL, πόσο χρόνο χρειάζεται για να εκπαιδευτεί στην πλατφόρμα; Είναι δυνατόν ένας χρήστης που δε γνωρίζει τεχνολογίες σημασιολογικού ιστού και RDF να μάθει να χρησιμοποιεί το υποσύστημα; Τα ερωτήματα, μαζί με τις αντίστοιχες μετρικές εμφανίζονται συγκεντρωτικά στον Πίνακα 4. Ερώτημα Έστω ότι στο πρωτογενές υλικό υπάρχει μία σκηνή στην οποία εμφανίζεται μία ταινία χωρίς Post Production Script (PPS). Για την πληροφορία "κατηγορία πλάνου" πόσα triples υπάρχουν στο RDF triple store; Έστω ότι στο πρωτογενές υλικό υπάρχει μία σκηνή και PPS που αναφέρει την ύπαρξη δύο ρόλων. Αν ένας εξειδικευμένος χρήστης εκτελέσει ερώτημα στο triple store αναζητώντας τους ρόλους για τη συγκεκριμένη σκηνή, πόσα triples θα λάβει; Για μία σκηνή που υπάρχει πλήρες PPS, όταν ένας εξειδικευμένος χρήστης εκτελέσει ερώτημα ανάκτησης όλων των triples που σχετίζονται με τη σκηνή και τα μεταδεδομένα της, σε πόσο χρόνο θα λάβει την πλήρη λίστα; Έστω ότι ο εξειδικευμένος χρήστης επιθυμεί να εξάγει τα RDF triples από δύο ταινίες που έχουν και οι δύο PPS. Πόσες φορές πρέπει να χρησιμοποιήσει τη λειτουργία "εισαγωγής στο triple store"; Ένας χρήστης που κατέχει επαρκή γνώση της SPARQL, πόσο χρόνο χρειάζεται για να εκπαιδευτεί στην πλατφόρμα; Είναι δυνατόν ένας χρήστης που δε γνωρίζει τεχνολογίες σημασιολογικού ιστού και RDF να μάθει να χρησιμοποιεί το υποσύστημα; Κατηγορί α Στόχου Τεχνικός - Ορθότητα Τεχνικός - Ορθότητα Τεχνικός - Απόκριση Λειτουργικ ός - Λειτουργικ ός- Χρηστικότ ητα Λειτουργικ ός-ευκολία Μάθησης Λειτουργικ ός-ευκολία Μάθησης Table 4: Στόχοι Ανάλυσης Πρωτογενούς Υλικού Μετρική Απάντησ ης Αριθμός 0 Αποδεκτές Τιμές Αριθμός Τουλάχιστον 2 Αριθμός (χρόνος) Αριθμός (επαναλή ψεις εκτέλεσης ) Πρέπει να καθοριστεί από τους Τεχνικούς εταίρους Ιδανικά μία Οι τεχνικοί εταίροι με βάση τυχόν τεχνολογικούς περιορισμούς μπορεί να αναθεωρήσουν την παραπάνω τιμή Αριθμός Πρέπει να καθοριστεί από τους τεχνικούς εταίρους Ναι/Όχι Ναι

7. Αξιολόγηση Σημασιολογικού Εμπλουτισμού των RDF triples Για την αξιολόγηση του Σημασιολογικού Εμπλουτισμού θα πρέπει να ληφθεί υπόψιν ο βαθμός κατά τον οποίο πληροφορίες από τον ιστό και τα linked data, έχουν αντιστοιχηθεί με σωστό και πλήρη τρόπο στις οντότητες που περιγράφονται από το triple store. Καθώς ο χρήστης του διαδικτύου, έχει ήδη στη διάθεσή του πλήθος από εξωτερικές πηγές για να συλλέξει πληροφορίες σχετικά με ταινίες (IMDB, DBpedia), ο σημασιολογικός εμπλουτισμός θα πρέπει κατά ελάχιστη απαίτηση να εμπλουτίζει το περιεχόμενο με αυτές τις πληροφορίες. Αυτό άλλωστε είναι και προαπαιτούμενο ώστε η τελική πλατφόρμα να έχει προστιθέμενη αξία (added value). Καθώς είναι δυνατόν να χρειαστεί να εκτελεστούν πολύπλοκα ερωτήματα, θα πρέπει επίσης να εκτιμηθεί ο χρόνος απόκρισης τόσο για ερωτήματα που συνδυάζουν πολλαπλά κριτήρια όσο και για ερωτήματα που επιστρέφουν μεγάλο όγκο δεδομένων. Οι στόχοι που θα τεθούν ως προς τον "Σημασιολογικό Εμπλουτισμό" συνεπώς, κατά το τεχνικό μέρος αφορούν το κατά πόσο έχει επιτευχθεί οι παραπάνω σκοποί. Στο λειτουργικό κομμάτι ισχύει ότι ισχύει και για ένα τυπικό στοιχείο λογισμικού. Έχοντας υπόψιν τα παραπάνω τα ερωτήματα για την επίτευξη κάθε στόχου ορίζονται ως: Τεχνικοί στόχοι o Ορθότητα Αν επιλεχθούν τυχαία δέκα (10) ταινίες και γίνει αναζήτηση για τους ηθοποιούς που παίζουν στην κάθε ταινία σε πόσες από αυτές τις ταινίες το πλήθος των ηθοποιών διαφέρει από το αντίστοιχο πλήθος που εμφανίζεται στο IMDB; Αν επιλεχθούν οι ταινίες στις οποίες πρωταγωνιστούν δύο τυχαίοι ηθοποιοί (μαζί στην ίδια ταινία ή σε ξεχωριστές), ποια είναι η διαφορά του αριθμού των ταινιών που επιστρέφει το IMDB από τον αριθμό των ταινιών που έχει εμπλουτιστεί σημασιολογικά; Αν επιλεχθούν οι ταινίες στις οποίες συμπρωταγωνιστούν δύο τυχαίοι ηθοποιοί, ποια είναι η διαφορά του αριθμού των ταινιών που επιστρέφει το IMDB από τον αριθμό των ταινιών που έχει εμπλουτιστεί σημασιολογικά; o Απόκριση Αν επιλεχθούν πέντε (5) τυχαίοι ηθοποιοί, και γίνει αναζήτηση όλων των πλάνων στα οποία τουλάχιστον τρεις (3) από αυτούς εμφανίζονται μαζί, σε πόσο χρόνο θα ανακτηθούν όλα τα triples; Αν αναζητηθούν όλα τα πλάνα στα οποία εμφανίζονται εκατό (100) ηθοποιοί, σε πόσο χρόνο θα ανακτηθούν τα triples; o Επεκτασιμότητα

Αν προστεθεί μία νέα πηγή δεδομένων για σημασιολογικό εμπλουτισμό, πόσος χρόνος χρειάζεται για να γίνει επανεμπλουτισμός του υλικού με όλα τα δεδομένα της νέας πηγής από έναν έμπειρο χρήστη; Λειτουργικοί στόχοι o Χρηστικότητα: Πόσος χρόνος απαιτείται για να εμπλουτίσει ένας εξειδικευμένος χρήστης μία ταινία με όλα τα δεδομένα που διαθέτει για αυτήν την ταινία το IMDB; o Ευκολία μάθησης Πόσος χρόνος απαιτείται για έναν εξειδικευμένο χρήστη να μάθει όλες τις λειτουργίες του συστήματος; Τα ερωτήματα, μαζί με τις αντίστοιχες μετρικές εμφανίζονται συγκεντρωτικά στον Πίνακα 5. Ερώτημα Αν επιλεχθούν τυχαία δέκα (10) ταινίες και γίνει αναζήτηση για τους ηθοποιούς που παίζουν στην κάθε ταινία σε πόσες από αυτές τις ταινίες το πλήθος των ηθοποιών διαφέρει από το αντίστοιχο πλήθος που εμφανίζεται στο IMDB; Αν επιλεχθούν οι ταινίες στις οποίες πρωταγωνιστούν δύο τυχαίοι ηθοποιοί (μαζί στην ίδια ταινία ή σε ξεχωριστές), ποια είναι η διαφορά του αριθμού των ταινιών που επιστρέφει το IMDB από τον αριθμό των ταινιών που έχει εμπλουτιστεί σημασιολογικά; Αν επιλεχθούν οι ταινίες στις οποίες συμπρωταγωνιστούν δύο τυχαίοι ηθοποιοί, ποια είναι η διαφορά του αριθμού των ταινιών που επιστρέφει το IMDB από τον αριθμό των ταινιών που έχει εμπλουτιστεί σημασιολογικά; Αν επιλεχθούν πέντε (5) τυχαίοι ηθοποιοί, και γίνει αναζήτηση όλων των πλάνων στα οποία τουλάχιστον τρεις (3) από αυτούς εμφανίζονται μαζί, σε πόσο χρόνο θα ανακτηθούν όλα τα triples; Αν αναζητηθούν όλα τα πλάνα στα οποία εμφανίζονται εκατό (100) ηθοποιοί, σε πόσο χρόνο θα ανακτηθούν τα triples; Κατηγορία Στόχου Τεχνικός - Ορθότητα Τεχνικός - Ορθότητα Τεχνικός - Ορθότητα Λειτουργικός - Λειτουργικός- Απόκριση Τεχνικός- Απόκριση Μετρική Αποδεκτές Τιμές Απάντησης Αριθμός 0 (ιδανικά όλες οι πληροφορίες του IMDB θα πρέπει να έχουν εμπλουτίσει το triple store) Αριθμός 0 (ιδανικά θα πρέπει να υπάρχει συμφωνία) Αριθμός 0 (ιδανικά πρέπει υπάρχει συμφωνία) Αριθμός (χρόνος εκτέλεσης) θα να Οι τεχνικοί εταίροι θα πρέπει να καθορίσουν μία λογική τιμή. Αριθμός Οι τεχνικοί εταίροι θα πρέπει να καθορίσουν μία λογική τιμή

Είναι δυνατόν ένας χρήστης που δε γνωρίζει τεχνολογίες σημασιολογικού ιστού και RDF να μάθει να χρησιμοποιεί το υποσύστημα; Πόσος χρόνος απαιτείται για έναν εξειδικευμένο χρήστη να μάθει όλες τις λειτουργίες του συστήματος Λειτουργικός- Χρηστικότητα Λειτουργικός- Ευκολία Μάθησης Ναι/Όχι Αριθμός (χρόνος) Table 5: Στόχοι Σημασιολογικού Εμπλουτισμού RDF Triples Ναι Οι τεχνικοί εταίροι θα πρέπει να καθορίσουν μία λογική τιμή 8. Αξιολόγηση Πολύπλευρης Οπτικής Αναζήτησης Για τη γραφική διεπαφή της "Πολύπλευρης Οπτικής Αναζήτησης" αναζητούνται κυρίως λειτουργικοί στόχοι καθώς αφορά τους τελικούς χρήστες. Η ορθότητα αποτελεσμάτων δεν εξετάζεται καθώς αυτή βασίζεται στην ορθότητα των υποσυστημάτων κατώτερου επιπέδου ("Ανάλυση Πρωτογενών Δεδομένων" και "Σημασιολογικός Εμπλουτισμός"). Η ομάδα αξιολόγησης για το συγκεκριμένο υποσύστημα αποτελείται από τους τελικούς χρήστες μιας και το υποσύστημα είναι front end της εφαρμογής. Τεχνικοί στόχοι: o Απόκριση Πόσο χρόνο κάνει να ολοκληρωθεί η αναζήτηση του οπτικοακουστικού αποθέματος, όταν γίνεται χρήση όλων των επιλογών των κλειστών λιστών καθώς και παράλληλη εισαγωγή ελεύθερου κειμένου; Είναι η απόκριση είναι ικανοποιητική ανεξάρτητα από τον αριθμό των φίλτρων που έχουν συμπληρωθεί κατά την συντακτική αναζήτηση; Λειτουργικοί στόχοι: o Χρηστικότητα Υποστηρίζεται η λογική γρηγορότερης ανάσυρσης ερωτημάτων που έχουν ξανατεθεί στο πρόσφατο παρελθόν ή η αναζήτηση γίνεται εξαρχής κάθε φορά; Υποστηρίζεται η ιστορική αναζήτηση των ερωτημάτων και των αποτελεσμάτων αυτών; Κατά την εισαγωγή ελεύθερου κειμένου, προς αναζήτηση αντίστοιχου περιεχομένου υποστηρίζονται υπηρεσίες αυτόματης συμπλήρωσης κειμένου, ανίχνευσης συνώνυμων λέξεων ή/και αγνόηση τετριμμένων λέξεων; Τα αποτελέσματα αναζήτησης κατατάσσονται με βάση το κατά πόσο δημοφιλή ήταν σε προηγούμενες αναζητήσεις; o Ευκολία μάθησης Πόσο χρόνος απαιτείται για την εκμάθηση της χρήσης του συστήματος από κάποιον μη εξιδεικευμένο χρήστη; Τα ερωτήματα, μαζί με τις αντίστοιχες μετρικές εμφανίζονται συγκεντρωτικά στον Πίνακα 6.

Ερώτημα Πόσο χρόνο κάνει να ολοκληρωθεί η αναζήτηση του οπτικοακουστικού αποθέματος, όταν γίνεται χρήση όλων των επιλογών των κλειστών λιστών καθώς και παράλληλη εισαγωγή ελεύθερου κειμένου; Είναι η απόκριση είναι ικανοποιητική ανεξάρτητα από τον αριθμό των φίλτρων που έχουν συμπληρωθεί κατά την συντακτική αναζήτηση; Υποστηρίζεται η λογική γρηγορότερης ανάσυρσης ερωτημάτων που έχουν ξανατεθεί στο πρόσφατο παρελθόν ή η αναζήτηση γίνεται εξαρχής κάθε φορά; Υποστηρίζεται η ιστορική αναζήτηση των ερωτημάτων και των αποτελεσμάτων αυτών; Κατά την εισαγωγή ελεύθερου κειμένου, προς αναζήτηση αντίστοιχου περιεχομένου υποστηρίζονται υπηρεσίες αυτόματης συμπλήρωσης κειμένου, ανίχνευσης συνώνυμων λέξεων ή/και αγνόηση τετριμμένων λέξεων; Τα αποτελέσματα αναζήτησης κατατάσσονται με βάση το κατά πόσο δημοφιλή ήταν σε προηγούμενες αναζητήσεις; Πόσο χρόνος απαιτείται για την εκμάθηση της χρήσης του συστήματος από κάποιον μη εξιδεικευμένο χρήστη; Κατηγορία Στόχου Τεχνικός - Απόκριση Τεχνικός - Απόκριση Λειτουργικός- Χρηστικότητα Λειτουργικός- Χρηστικότητα Λειτουργικός- Χρηστικότητα Λειτουργικός- Χρηστικότητα Λειτουργικός- Ευκολία μάθησης Μετρική Απάντησ ης Αριθμός (χρόνος) Ναι/Όχι Ναι/Όχι Ναι/Όχι Ναι/Όχι Ναι/Όχι Αριθμός (ανθρωπ ομήνες) Αποδεκτές Τιμές Οι τελικοί χρήστες θα πρέπει να καθορίσουν μία ικανοποιητική τιμή Ναι Ναι Ναι Ναι Ναι Οι τελικοί χρήστες θα πρέπει να καθορίσουν μία ικανοποιητική τιμή Table 6: Στόχοι Πολύπλευρης Οπτικής Αναζήτησης