Παραδοτέο Π4.3 : Υπηρεσίες σημασιολογικής αναζήτησης οπτικοακουστικού υλικού

Transcript

1 ΕΛΛΗΝΙΚΗ ΔΗΜΟΚΡΑΤΙΑ ΥΠΟΥΡΓΕΙΟ ΠΑΙΔΕΙΑΣ ΔΙΑ ΒΙΟΥ ΜΑΘΗΣΗΣ & ΘΡΗΣΚΕΥΜΑΤΩΝ ΕΠΙΧΕΙΡΗΣΙΑΚΑ ΠΡΟΓΡΑΜΜΑΤΑ «ΑΝΤΑΓΩΝΙΣΤΙΚΟΤΗΤΑ & ΕΠΙΧΕΙΡΗΜΑΤΙΚΟΤΗΤΑ» ΚΑΙ ΠΕΡΙΦΕΡΕΙΩΝ ΣΕ ΜΕΤΑΒΑΣΗ ΕΘΝΙΚΟ ΣΤΡΑΤΗΓΙΚΟ ΠΛΑΙΣΙΟ ΑΝΑΦΟΡΑΣ ΕΣΠΑ Παραδοτέο Π4.3 : Υπηρεσίες σημασιολογικής αναζήτησης οπτικοακουστικού υλικού Κωδικός Έργου: 09ΣΥΝ Τίτλος του Έργου: IS-HELLEANA - Intelligent System for HELLEnic Audiovisual National Aggregator ΕΥΦΥΕΣ ΣΥΣΤΗΜΑ ΣΗΜΑΣΙΟΛΟΓΙΚΗΣ ΕΝΟΠΟΙΗΣΗΣ ΚΑΙ ΑΝΑΔΕΙΞΗΣ TΟΥ ΕΛΛΗΝΙΚΟΥ ΟΠΤΙΚΟΑΚΟΥΣΤΙΚΟΥ ΑΠΟΘΕΜΑΤΟΣ ΔΡΑΣΗ ΕΘΝΙΚΗΣ ΕΜΒΕΛΕΙΑΣ «ΣΥΝΕΡΓΑΣΙΑ» ΕΥΡΩΠΑΪΚΗ ΕΝΩΣΗ ΕΥΡΩΠΑΪΚΟ ΤΑΜΕΙΟ ΠΕΡΙΦΕΡΕΙΑΚΗΣ ΑΝΑΠΤΥΞΗΣ Υπουργείο Παιδείας, Δια Βίου Μάθησης και Θρησκευμάτων ΓΓΕΤ ΕΥΔΕ-ΕΤΑΚ (Ε. Π. Ανταγωνιστικότητα και Επιχειρηματικότητα (ΕΠΑΝ ΙΙ), ΠΕΠ Μακεδονίας Θράκης, ΠΕΠ Κρήτης και Νήσων Αιγαίου, ΠΕΠ Θεσσαλίας Στερεάς Ελλάδας Ηπείρου, ΠΕΠ Αττικής)

2 ΠΙΝΑΚΑΣ ΠΕΡΙΕΧΟΜΕΝΩΝ 1. Εισαγωγή Σύνοψη της δομής του οντολογικού δικτύου ScriptOntology MovieOntology EventOntology και NamedEntityOntology Αντιστοίχιση με γενικές οντολογίες του διαδικτύου Μηχανισμός Σημασιολογικής Απάντησης Ερωτημάτων Κατασκευή ερωτημάτων Αναγραφή ερωτημάτων Μετάφραση ερωτημάτων σε SPARQL Παραδείγματα Ερωτημάτων Συμπεράσματα Σελίδα 2 από 16

3 1. Εισαγωγή Το παρόν έργο στοχεύει στην ανάπτυξη ενός ολοκληρωμένου συστήματος για την ενοποιημένη πρόσβαση, διαχείριση, αναζήτηση και διαδραστική παρουσίαση οπτικοακουστικού υλικού, με χαρακτηριστική περίπτωση τις κινηματογραφικές ταινίες, αλλά και διάφορα ντοκιμαντέρ. Δεδομένου ότι ο προσανατολισμός του έργου είναι η σε σημασιολογική βάση αναπαράσταση και διαχείριση του περιεχομένου του οπτικοακουστικού υλικού, ένα βασικό στάδιο του έργου ήταν η κατασκευή της βάσης γνώσης των ταινιών και των ντοκιμαντέρ, ως μιας σημασιολογικά χαρακτηρισμένης βάσης γνώσης, με χρήση σύγχρονων τεχνολογιών που έχουν αναπτυχθεί στα πλαίσια του Σημασιολογικού Ιστού. Για το σκοπό αυτό αναπτύχθηκε κατ αρχάς το δίκτυο οντολογιών που παρουσιάστηκε αναλυτικά στα Π4.1 και Π4.2. Κατόπιν, με βάση την οντολογική περιγραφή των δεδομένων κατασκευάστηκε μια βάση τριάδων που περιέχει όλη την διατιθέμενη γνώση όπως περιγράφηκε αναλυτικά στο Π4.2. Με τα περιγραφόμενα στο παρόν παραδοτέο ολοκληρώνεται η ΕΕ4. Συγκεκριμένα, αντικείμενό του παραδοτέου είναι η περιγραφή του τρόπου με τον οποίο η δημιουργηθείσα βάση γνώσης χρησιμοποιείται από το σύστημα που αναπτύχθηκε ως πηγή για την απάντηση ερωτημάτων από τον τελικό χρήστη. Καθώς τα δεδομένα δεν έχουν την παραδοσιακή μορφή δεδομένων (δεν είναι π.χ. σχεσιακά δεδομένα) για την ανάκτηση των οποίων απαιτείται απλά η εκτέλεση κάποιων σχεσιακών ερωτημάτων, αλλά δεδομένα με καλά ορισμένη σημασιολογική δομή, όπως αυτή ορίζεται από το δίκτυο οντολογιών, απαιτήθηκε η κατασκευή της απαραίτητης προγραμματιστικής υποδομής η οποία παραλαμβάνει και κατόπιν μετασχηματίζει το ερώτημα του τελικού χρήστη σε ένα σύνολο νέων ερωτημάτων προς την σημασιολογική βάση γνώσης, τα οποία νέα ερωτήματα ενσωματώνουν πλήρως την υπονοούμενη γνώση που αναπαριστά η οντολογία και σχετίζεται με το αρχικό ερώτημα. Έτσι, ο χρήστης θέτει μεν τα ερωτήματά τους σε όρους της οντολογίας, αλλά προτού αποσταλούν στην βάση γνώσης για την ανάκτηση των αποτελεσμάτων μεσολαβεί μια διαδιακασία συλλογιστικής σκοπός της οποίας είναι να εξασφαλίσει ότι τα αποτελέσματα που θα ανακτηθούν να είναι πλήρη σε σχέση με την οντολογική γνώση. Στη συνέχεια του παραδοτέου, αρχικά θα συνοψίσουμε την περιγραφική δύναμη του δικτύου οντολογιών που αναπτύχθηκε, στη συνέχεια θα περιγράψουμε τον τρόπο μετασχηματισμού των ερωτημάτων του χρήστη σε ερωτήματα προς τη βάση γνώσης, και τέλος θα μελετήσουμε αναλυτικά πραγματικές περιπτώσεις χρήσης οι οποίες καταδεικνύουν τις δυνατότητες του συστήματος να απαντά σύνθετα ερωτήματα που συνδυάζουν τους διάφορους τρόπους περιγραφής των δεδομένων (δηλαδή των αποτελεσμάτων που προέκυψαν από την κειμενική, οπτική και ακουστική επεξεργασία του διατιθέμενου πρωτογενούς υλικού). 2. Σύνοψη της δομής του οντολογικού δικτύου Στο πακέτο εργασίας Π4.2 περιγράψαμε αναλυτικά τις οντολογίες που χρησιμοποιήθηκαν για να περιγραφούν σημασιολογικά τα μεταδεδομένα που συνόδευαν πρωτογενώς το διαθέσιμο οπτικοακουστικό υλικό, συγκεκριμένα τις κινηματογραφικές ταινίες και τα ντοκιμαντέρ, καθώς και το σύνολο των πληροφοριών που προέκυψαν ύστερα από την επεξεργασία του οπτικού υλικού και του κειμενικού υλικού που το συνόδευε. Το αποτέλεσμα της σημασιολογικής περιγραφής ήταν η κατασκευή ενός δικτύου οντολογιών, κάθε μία από τις οποίες επικεντρώνεται στην περιγραφή μιας διαφορετικής έποψης των δεδομένων. Ορισμένες από τις οντολογίες που συναποτελούν το οντολογικό δίκτυο κατασκευάστηκαν ειδικά για την περιγραφή των συγκεκριμένων δεδομένων και λαμβάνουν υπόψη τις ειδικές απαιτήσεις τους, άλλες είναι οντολογίες του Σημασιολογικού Ιστού που έχουν προταθεί από τρίτους φορείς για την περιγραφή γενικών ή ειδικής μορφής δεδομένων, και τέλος άλλες είναι οντολογίες που ανήκουν στο Open Linked Cloud, και παρέχουν ένα αρκετά καθιερωμένο τρόπο περιγραφής συγκεκριμένων τομέων γνώσης και χρησιμοποιούνται ευρύτατα καθώς υποστηρίζονται συνήθως από εκτενείς βάσεις δεδομένων που περιέχουν τεράστιο όγκο δεδομένων. Σελίδα 3 από 16

4 Έχοντας κατασκευάσει λοιπόν το δίκτυο αυτό των οντολογιών και έχοντας ορίσει όπου απαιτείται τις μεταξύ τους αντιστοιχίες, καλούμαστε να το χρησιμοποιήσουμε για να επιτύχουμε τον αρχικό σκοπό για τον οποίο κατασκευάστηκε, δηλαδή την παροχή των υπηρεσιών σημασιολογικής αναζήτησης. Πριν προχωρήσουμε σε αυτό, για την καλύτερη κατανόηση των όσων θα ακολουθήσουν στα οποία θα γίνει πρακτική χρήση των διαφόρων εννοιών που ορίζουν οι οντολογίες του συστήματος, είναι απαραίτητο συνοψίζουμε τις διάφορες συνιστώσες του δικτύου των οντολογιών. 2.1 ScriptOntology Το υλικό που συνοδεύει μία οπτικοακουστική παραγωγή και αφορά το σενάριο της παρέχει αναλυτική περιγραφή των σκηνών και των επιμέρους πλάνων που απαρτίζουν κάθε σκηνή καθώς και τους διαλόγους που λαμβάνουν χώρα σε κάθε πλάνο. Οι περιγραφές των πλάνων και των σκηνών είναι σύντομα κείμενα που περιγράφουν την τοποθεσία κάθε σκηνής ή πλάνου καθώς και τις πράξεις και τα γεγονότα που διαδραματίζονται σε αυτά. Η ScriptOntology κατασκευάστηκε για να αποτυπωθεί με σημασιολογικό τρόπο το περιεχόμενο των σεναρίων κάθε ταινίας. Βασισμένη στην δομή των σεναρίων, περιλαμβάνει έννοιες όπως οι Video (Οπτικοακουστική παραγωγή) με υποέννοιες τις Movie (Ταινία), Documentary (Ντοκιμαντέρ), Scene (Σκηνή), Shot (Πλάνο), Act (Πράξη), Person (Πρόσωπο). Έτσι, μια κινηματογραφική ταινία αποτελεί στιγμιότυπο της έννοιας Movie (αντίστοιχα ένα ντοκιμαντέρ αποτελεί στιγμιότυπο της έννοιας Documentary) και αποτελείται από σκηνές που είναι στιγμιότυπα της έννοιας Scene, τα οποία με τις σειρά τους αποτελούνται από πλάνα που είναι στιγμιότυπα της έννοιας Shot. Η σχέση «αποτελείται» από τον ρόλο haspart. Κάθε σκηνή και πλάνο είχε κάποια κειμενική περιγραφή (για την μοντελοποίηση της οποίας χρησιμοποιείται ο ρόλος τύπου δεδομένων description) και μια χρονική στιγμή έναρξης και λήξης (που μοντελοποιείται μέσω των ρόλων starttime και endtime αντίστοιχα). Τέλος, στα διάφορα πλάνα ή σκηνές της παραγωγής μπορεί να συμβαίνουν διάφορες πράξεις, οι οποίες είναι στιγμιότυπα της έννοιας Act, ενώ το σε ποια σκηνή ή πλάνο λαμβάνουν χώρα δηλώνεται μέσω του ρόλου happens. Κάθε πράξη έχει κάποιον δράστη, που είναι κάποιος χαρακτήρας της παραγωγής και μπορεί να επενεργεί σε κάποιον άλλο. Έτσι π.χ. μια φράση που λέγεται από κάποιον χαρακτήρα προς κάποιον άλλο, αποτελεί στιγμιότυπο της υπoέννοιας SpeakingAct της έννοιας Act, και εκτελείται από κάποιον χαρακτήρα (στιγμιότυπο της έννοιας MovieCharacter) το οποίο δηλώνεται από τον ρόλο performedby, και απευθύνεται σε κάποιον άλλο χαρακτήρα μέσω του ρόλου isaddressedto. Η ScriptOntology περιλαμβάνει επίσης τον ρόλο hasrole, που συσχετίζει μια ταινία με τους χαρακτήρες της, και τους ρόλους startswith και isnextof, που χρησιμοποιούνται για να δηλωθεί η πρώτη σκηνή μιας ταινίας και το πρώτο πλάνο κάθε σκηνής, καθώς και η χρονική διαδοχή τους. Επιπλέον, η ScriptOntology υποστηρίζει πολλές υποέννοιες των εννοιών Scene και Shot, διότι από την επεξεργασία του κειμένου που αφορά την περιγραφή μιας σκηνής ή πλάνου είναι δυνατόν να εξαχθεί κάποια ιδιαίτερη κατηγοριοποίηση της σκηνής ή του πλάνου. Έτσι μια σκηνή που είναι γυρισμένη την ημέρα ή τη νύχτα περιγράφεται από την ScriptOntology με χρήση των εννοιών NightScene και DayScene, αντίστοιχα. Τέλος, δεδομένου ότι οι οπτικοακουστικές παραγωγές και τα μεταδεδομένα που τις συνοδεύουν αποτέλεσαν αντικείμενο οπτικής, ακουστικής και κειμενικής επεξεργασίας, ώστε να αναγνωριστούν λέξεις κλειδιά από τους διαλόγους, εικόνες χαρακτηριστικών κτηρίων και τοποθεσιών, και αναφορές σε επώνυμες οντότητες αντίστοιχα, απαιτήθηκε η μοντελοποίηση και της επιπρόσθετης αυτής πληροφορίας. Για τον λόγο η ScriptOntology περιλαμβάνει τον ρόλο hasextracteddata σκοπός του οποίου είναι να συνδέσει κάποιο στοιχείο μιας παραγωγής (πλάνο, διάλογο, κτλ.) με κάποιο είδος πληροφορίας που εξήχθη αυτόματα. Η πληροφορία αυτή είναι κάποιο στιγμιότυπο της έννοιας ExtractedEntity, η οποία ως υποέννοιες έχει τις Εvent, NamedEntity, VideoImage, TextWord και AudioWord, οι οποίες αντιστοιχούν σε αντικείμενα που έχουν προκύψει μέσω των τεχνικών ανίχνευσης γεγονότων, επώνυμων οντοτήτων, χαρακτηριστικών εικόνων, και σημαντικών λέξεων από το κειμενικό και ακουστικό υλικό, αντίστοιχα. Σελίδα 4 από 16

5 2.2 MovieOntology Η MovieOntology περιγράφει σημασιολογικά την επιπρόσθετη πληροφορία σχετικά με οπτικοακουστική παραγωγή που παρέχεται από ήδη δομημένα μεταδεδομένα που συνόδευαν το διαθέσιμο υλικό, καθώς και από εξωτερικές πηγές. Βασική εξωτερική πηγή για τη συλλογή αυτής της επιπλέον πληροφορίας για το σύστημά μας αποτέλεσε για τις κινηματογραφικές ταινίες η διαδικτυακή βάση της IMDB. Έτσι, τα υπάρχονται μεταδεδομένα εμπλουτίστηκαν με πρόσθετες πληροφορίες που σχετίζονται με τα γενικά και τεχνικά χαρακτηριστικά μιας παραγωγής, όπως είναι τα ονόματα των συντελεστών και το ποιοι ηθοποιοί παίζουν τους διάφορους χαρακτήρες που συμμετέχουν στην παραγωγή, πληροφορία που εν γένει δεν περιλαμβάνεται στο σενάριο. Η ΜovieΟntology παρέχει αρκετά επίπεδα ιεράρχησης καθώς και πληθώρα στιγμιοτύπων που αφορούν στα είδη των ταινιών. Διαθέτει επίσης ρόλους που συσχετίζουν μεταξύ τους έννοιες όπως ο ρόλος hasactor, καθώς επίσης και ρόλους συσχέτισης έννοιας με τύπους δεδομένων όπως ο title που δηλώνει τον τίτλο μίας ταινίας. 2.3 EventOntology και NamedEntityOntology Από την επεξεργασία της κειμενικού και ακουστικού υλικού που συνοδεύει κάθε ταινία προέκυψαν πρόσθετα μεταδεδομένα, τα οποία εντάσσονται στην σημασιολογική περιγραφή της ταινίας μέσω της αντιστοίχισής τους με υποέννοιες της έννοιας ExtractedEntity που συμπεριλήφθηκε στην ScriptOntology ακριβώς για τον σκοπό αυτό. Δύο σημαντικές κατηγορίες εξαγόμενης πληροφορίας που επιδέχονται περισσότερης εξειδίκευσης, είναι τα γεγονότα και οι επώνυμες οντότητες, στις οποίες αφιερώθηκαν δύο διαφορετικές οντολογίες ώστε να περιγραφεί η ιεραρχική τους μορφή. Έτσι ορίστηκε αφενός η οντολογία EventOntology, βασική έννοια της οποίες είναι η Εvent, με υποέννοιες όπως οι Joy, Disappointment, Movement, Violence, Death, κλπ. που περιγράφουν σε ένα ευρύ φάσμα γενικών γεγονότων που μπορούν να ανιχνευθούν, και αφετέρου η NamedEntitiesOntology, η οποία ορίζει κατηγορίες για τα γενικά είδη των επώνυμων οντοτήτων που μπορούν να εξαχθούν από την επεξεργασία της κειμενικής πληροφορίες και είναι τα Person, Location, Facility, GPE, Organization. 2.4 Αντιστοίχιση με γενικές οντολογίες του διαδικτύου Κάποιες από τις πληροφορίες που έχουν εξαχθεί από τα δεδομένα και μοντελοποιούνται μέσω των οντολογιών ScriptOntology, MovieOntology, EventOntology και NamedEntityOntology έτυχαν περαιτέρω επεξεργασίας προκειμένου να διασυνδεθούν με γενικές αλλά πιο ειδικές οντολογίες του Διαδικτύου, συγκεκριμένα του Open Linked Data. Η διασύνδεση αυτή επιτρέπει στις εξαχθείσες πληροφορίες να ξεφύγουν από την στενή τοπική αναπαράστασή τους όπως υπαγορεύθηκε από τις αποτελέσματα της πρωτογενούς επεξεργασίας του υλικού, και να ενταχθούν σε ένα ευρύτερο σημασιολογικό δίκτυο που προσφέρει πολύ εκτενέστερες και πλούσιες πληροφορίες, οι οποίες μπορεί να χρησιμοποιηθούν για την κατασκευή και απάντηση εκφραστικών ερωτημάτων. Ο πρώτος τρόπος διασύνδεσης των δεδομένων των σεναρίων με εξωτερικές οντολογίες ήταν η διασύνδεση των ονοματισμένων οντοτήτων που αναγνωρίστηκαν στα σενάρια μέσω της επεξεργασίας τους από το ΙΕΛ. Η διασύνδεση έγινε με την εκτενή βάση της DBPedia και το αποτέλεσμα, όπως αναλυτικά περιγράφηκε στο παραδοτέο Π4.2 ήταν η αντιστοίχιση όσων ονοματισμένων οντοτήτων κατέστη δυνατό με το αντίστοιχο στιγμιότυπο της βάσης της DBPedia μέσω του ρόλου < Έτσι, ο ρόλος αυτός ουσιαστικά μας δίνει τη δυνατότητα να μεταπηδήσουμε από το αποτελέσματα της επεξεργασίας των σεναρίων στον κόσμο των διασυνδεδεμένων δεδομένων του Σημασιολογικού Ιστού και να αντλήσουμε από αυτά όσες πρόσθετες πληροφορίες επιθυμούμε. Στην απλούστερη περίπτωση, για παράδειγμα, μπορούμε να αντλήσουμε πληροφορίες για την κατηγοριοποίηση του συγκεκριμένου στιγμιοτύπου στα πλαίσια των εξωτερικών οντολογιών. Σελίδα 5 από 16

6 Με αντίστοιχο τρόπο διασυνδέθηκαν και οι επιμέρους λέξεις των περιγραφών των σεναρίων, με την οντολογία του WordNet, η οποία μας δίνει τη δυνατότητα να περιηγηθούμε στις σχέσεις συνωνυμίας, υπερωνυμίας, υπωνυμίας, κλπ. μεταξύ των διάφορων λέξεων. 3. Μηχανισμός Σημασιολογικής Απάντησης Ερωτημάτων Το οντολογικό δίκτυο που περιγράφηκε αναλυτικά στο πακέτο εργασίας Π4.2 και συνοπτικά στην προηγούμενη ενότητα κατασκευάστηκε για να αποτελέσει το σημασιολογικό πλαίσιο εντός του οποίο το σύστημα αναπαριστά και διαχειρίζεται το σύνολο της γνώσης που διαθέτει σχετικά με τις κινηματογραφικές ταινίες και τα ντοκιμαντέρ. Συνεπώς οι έννοιες και οι ρόλοι των οντολογιών αποτελούν ταυτόχρονα και την γλώσσα έκφρασης των ερωτημάτων των τελικών χρηστών προς το σύστημα. Στην ενότητα αυτή θα περιγραφεί το σύνολο της διαδικασίας διαχείρισης και εκτέλεσης των ερωτημάτων. 3.1 Κατασκευή ερωτημάτων Η εκφραστικότητα, επιπέδου OWL QL, των οντολογιών που εντάχθηκαν στο οντολογικό δίκτυο επιτρέπει την διαχείριση ερωτημάτων που εκφράζονται σε όρους των οντολογιών υπό την μορφή συζευκτικών ερωτημάτων. Ένα συζευκτικό ερώτημα έχει τη γενική μορφή Q(x) <- A 1(x 1),A 2(x 2),, A n(x n) όπου τα x, x 1, x 2,, x n είναι διανύσματα μεταβλητών ή σταθερών, και τα A 1, A 2,, A n είναι όροι της οντολογίας. Το x είναι το διάνυσμα των μεταβλητών οι οποίες θα λάβουν συγκεκριμένη τιμή κατά την απάντηση του ερωτήματος (οι τιμές αντιστοιχούν σε συγκεκριμένα στιγμιότυπα της βάσης γνώσης) και θα επιστραφούν στο χρήστη ως αποτελέσματα, ενώ τα υπόλοιπα διανύσματα, στα οποία συμμετέχουν υποχρεωτικά και όλες οι μεταβλητές του x χρησιμοποιούνται για να εκφραστούν οι ζητούμενες σχέσεις μεταξύ των στιγμιοτύπων. Για παράδειγμα, ένα πολύ απλό ερώτημα είναι το ακόλουθο Q(?movie,?scene,?shot) <- < (?movie), < (?movie,?scene), < < (?scene,?shot), < (?shot). Στην περίπτωση αυτή, το διάνυσμα μεταβλητών απάντησης x είναι το (?movie,?scene,?shot), δηλαδή τα αναγνωριστικά μιας ταινίας μιας σκηνής και ενός πλάνου, και όπως φαίνεται από το σώμα του ερωτήματος, ζητούμενο είναι να ευρεθούν όλες οι τριάδες της μορφής (ταινία, σκηνή, πλάνο) όπου το πλάνο ανήκει σε κάποια σκηνή και η σκηνή ανήκει σε κάποια ταινία. Παρότι η συντακτική μορφή των ερωτημάτων που μπορούν να υποβληθούν είναι πολύ συγκεκριμένη, η άμεση διατύπωσή τους από τον χρήστη στην μορφή αυτή είναι μάλλον δυσχερής και πολύπλοκη το τελικό σύστημα θα προσφέρει την κατάλληλη διεπιφάνεια εργασίας που θα επιτρέπει έναν απλό και κατά τον δυνατό γραφικό τρόπο κατασκευής των ερωτημάτων. 3.2 Αναγραφή ερωτημάτων Όπως αναφέρθηκε στο παραδοτέο Π1.2, η απάντηση συζευκτικών ερωτημάτων σε περιγραφικές λογικές εκφραστικότητας OWL QL, μπορεί να γίνει σχετικά αποδοτικά μέσω της αναγραφής του αρχικού ερωτήματος σε ένα σύνολο συζευκτικών ερωτημάτων, στα οποία έχει αποτυπωθεί η γνώση της οντολογίας. Ουσιαστικά, σύμφωνα με την μέθοδο αυτή, η υποβολή του ερωτήματος εκκινεί μια διαδικασία συλλογιστικής στην οποία συμμετέχουν αφενός το υποβληθέν ερώτημα και αφετέρου η Σελίδα 6 από 16

7 οντολογία παράγωγα της διαδικασίας αυτής είναι διάφορα νέα συζευκτικά ερωτήματα τα οποία δεν πρέπει να υπάγονται στο αρχικό ερώτημα (δηλαδή οι απαντήσεις τους δεν αποτελούν υποσύνολα των απαντήσεων του αρχικού ερωτήματος). Η πλέον πρόσφορη μέθοδος για την πραγματοποίηση της διαδικασίας μεταγραφής είναι διάφορες παραλλαγές της μεθόδου της ανάλυσης. Πράγματι, για γλώσσες εκφραστικότητας OWL-QL, αλλά και υψηλότερης εκφραστικότητας OWL-EL, έχουν προταθεί διάφορα συστήματα που επιχειρούν να βελτιστοποιήσουν την διαδικασία της μεταγραφής, ώστε αυτή να ολοκληρώνεται, στις συνήθεις πρακτικές περιπτώσεις, σε αποδεκτό για τον χρήστη χρόνο. Μεταξύ των συστημάτων μεταγραφής ερωτημάτων που αναφέρθηκαν αναλυτικά στο Π1.2, συμπεριλαμβάνεται και το Rapid, το οποίο έχει αναπτυχθεί από το εργαστήριο ΨΕΕ-ΕΜΠ και προσφέρει εξαιρετικά καλές επιδόσεις συγκρινόμενο με τα υπόλοιπα ανάλογα συστήματα. Η επίτευξη της καλής του απόδοσης οφείλεται σε μια σειρά βελτιστοποιήσεων που έχουν εισαχθεί προσεκτικά στα διάφορα στάδια εφαρμογής της μεθόδου της ανάλυσης, ώστε να αποφεύγεται η παραγωγή μεταγραφών που είναι βέβαιο ότι τελικά θα απορριφθούν καθώς οι απαντήσεις τους θα υπάγονται εξ ορισμού στις απαντήσεις κάποιων άλλων ήδη υπολογισμένων αναγραφών. Επιπλέον, η συλλογιστική πραγματοποιείται με εξαιρετικά ελεγχόμενο τρόπο ώστε να πραγματοποιούνται μόνο τα απαραίτητα στάδια της μεθόδου της ανάλυσης και έτσι αποφεύγεται η αδιάκριτη εφαρμογή της στο σύνολο της γνώσης. Ασφαλώς, οι χρόνοι απόκρισης του συστήματος, αν και συγκριτικά εξαιρετικά καλοί, εξαρτώνται από το μέγεθος των εμπλεκόμενων οντολογιών και των υποβαλλόμενων ερωτημάτων. Για παράδειγμα, στην περίπτωση ενός συζευκτικού ερωτήματος με πολλούς όρους, όπου ο κάθε όρος έχει μεγάλο αριθμό υποόρων στην οντολογία, κατά την αναγραφή θα πρέπει να υπολογιστεί το καρτεσιανό γινόμενο πολλών μεγάλων συνόλων. Στην πράξη ωστόσο, για μικρού και μετρίου μεγέθους οντολογίες, η περίπτωση μπορεί να αποτελέσει πρόβλημα μόνο όταν το μέγεθος των υποβαλλόμενων ερωτημάτων είναι αρκετά μεγάλο. Για παράδειγμα στο ερώτημα που αναφέρθηκε προηγουμένως, δεδομένου ότι υποέννοιες της έννοιας < είναι οι < < κλπ, και αντίστοιχα υποέννοιες της έννοιας < είναι οι < < κλπ, θα πρέπει να υπολογιστεί ένα μεγάλο πλήθος αναγεγραμμένων ερωτημάτων όπως π.χ. τα Q(?movie,?scene,?shot) <- < (?movie), < (?movie,?scene), < < (?scene,?shot), < (?shot). Q(?movie,?scene,?shot) <- < (?movie), < (?movie,?scene), < < (?scene,?shot), < (?shot). Το πλήθος των αναγραφών αυξάνεται πολυωνυμικά σε σχέση με το πλήθος των υποεννοιών των < και < Ωστόσο, οι αναγραφές αυτές πρέπει να συμπεριληφθούν στο αποτέλεσμα προκειμένου να εξασφαλιστεί η πληρότητα των αποτελεσμάτων, καθώς η βάση τριάδων δεν είναι πλήρης ως προς τη γνώση, για παράδειγμα τα στιγμιότυπα της έννοιας < δεν είναι δηλωμένα και ως στιγμιότυπα της έννοιας < Αυτή την μη πληρότητα των δεδομένων ως προς τη γνώση καλύπτει η μέθοδος της αναγραφών. Βελτιστοποιήσεις για ειδικές περιπτώσεις όπου είναι γνωστό ότι η βάση δεδομένων είναι πλήρης ως προς κάποιες Σελίδα 7 από 16

8 ιεραρχίες εννοιών, ή όπου κάποιες έννοιες δεν έχουν καθόλου στιγμιότυπα στην βάση δεδομένων μπορούν να ενσωματωθούν ώστε να βελτιωθεί η απόδοση του συστήματος. 3.3 Μετάφραση ερωτημάτων σε SPARQL Προκειμένου να ανακτηθούν και να παρουσιαστούν στον χρήστη τα αποτελέσματα του ερωτήματός του, τα συζευκτικά ερωτήματα που υπολογίστηκαν κατά την αναγραφή του αρχικού ερωτήματος πρέπει να μεταφραστούν σε ερωτήματα προς την υποκείμενη βάση δεδομένων, η οποία στην συγκεκριμένη περίπτωση, όπως αναλύθηκε στο παραδοτέο Π4.2 είναι μια βάση τριάδων RDF. Για την υποβολή ερωτημάτων προς βάσεις τριάδων RDF έχει αναπτυχθεί η γλώσσα SPARQL στην οποία πρέπει τελικά να μεταφραστούν τα συζευκτικά ερωτήματα. Έτσι, το σύστημα Rapid περιλαμβάνει ένα ακόμη υποσύστημα που καλείται αμέσως μετά το υποσύστημα μεταγραφής και παράγει ένα σύνολο ερωτημάτων SPARQL. Η λειτουργία αυτού του υποσυστήματος, το οποίο εν γένει υποστηρίζει και μετάφραση των συζευκτικών ερωτημάτων στην γλώσσα SQL, στην περίπτωση που η υποκείμενη βάση δεδομένων είναι σχεσιακή, στην περίπτωση των βάσεων τριάδων είναι αρκετά απλή καθώς η μετάφραση ενός συζευκτικού ερωτήματος σε SPARQL είναι άμεση: Για παράδειγμα το ερώτημα της ενότητα 3.1 θα μεταφραστεί στο εξής: SELECT?movie?scene?shot) WHERE {?movie a < < a < < a } Πρέπει να σημειωθεί ότι η άμεση μετάφραση των ερωτημάτων στη συγκεκριμένη περίπτωση (χωρίς π.χ. την εισαγωγή συνθηκών, φίλτρων, ή μετονομασιών όρων) είναι εφικτή διότι στο συγκεκριμένο σύστημα η βάση γνώσης δημιουργήθηκε εξ αρχής ώστε να χρησιμοποιηθεί με τις συγκεκριμένες οντολογίες, οπότε και στηρίχθηκε στην απευθείας χρήση των όρων των εμπλεκόμενων οντολογιών δεν υπάρχει δηλαδή η ανάγκη να προσαρμοστεί υπάρχουσα ήδη γνώσης σε διαφορετικούς τρόπους οντολογικής περιγραφής. Έτσι, κάθε συζευκτικό ερώτημα που περιλαμβάνεται στην αναγραφή, μεταφράζεται στο αντίστοιχο ερώτημα SPARQL και αυτό υποβάλλεται στην βάση τριάδων. Το τελικό βήμα είναι η συλλογή όλων των αποτελεσμάτων των διαφόρων ερωτημάτων, η απομάκρυνση των διπλοεγγραφών και η παρουσίαση των αποτελεσμάτων στον χρήστη. Το τελευταίο αποτελεί αντικείμενο της ενότητας εργασίας ΕΕ5. 4. Παραδείγματα Ερωτημάτων Έχοντας περιγράψει λεπτομερώς αφενός το δίκτυο οντολογιών που αναπτύχθηκε στα πλαίσια του έργου και τις εκφραστικές δυνατότητες και τους τομείς εφαρμογής καθεμιάς εκ των συμμετεχουσών οντολογιών, και αφετέρου τους μηχανισμούς απάντησης σε εκφραστικά ερωτήματα μέσω της σημασιολογικής αναγραφής τους, η οποία ουσιαστικά ενσωματώνει στο ερώτημα όλο τον σημασιολογικό πλούτων των χρησιμοποιούμενων οντολογιών, στην ενότητα αυτή θα παρουσιάσουμε ορισμένα παραδείγματα ερωτημάτων προς την βάση τριάδων που κατασκευάστηκε, σύμφωνα με όσα αναφέρθηκαν στον πακέτο εργασίας Π Εύρεση όλων των εσωτερικών, νυχτερινών σκηνών μιας συγκεκριμένης ταινίας. Σελίδα 8 από 16

9 Ένα τέτοιο ερώτημα προσφέρει στον χρήστη τη δυνατότητα να κατασκευάσει ενός είδους εστιασμένη (στις εσωτερικές, νυχτερινές σκηνές) οπτική περίληψη μιας ταινίας. Προκειμένου να απαντηθεί το συγκεκριμένο ερώτημα, χρησιμοποιούνται μόνο οι δομικές πληροφορίες σχετικά με την ταινία οι οποίες περιέχονται άμεσα στο σενάριο, δηλαδή η σημασιολογική πληροφορία που παρέχει η ScriptOntology. Έτσι, π.χ. για την ταινία «Death Defying Acts» το ζητούμενο ερώτημα είναι το εξής: Q1(?time,?descr) <- < (?movie), < (?movie,"death Defying Acts"), < (?movie,?scene), < (?scene), < < < Τα πρώτα οκτώ αποτελέσματα παρουσιάζονται στον ακόλουθο πίνακα. Λόγω του τρόπου κατασκευής της βάσης τριάδων RDF, τα παρουσιαζόμενα αποτελέσματα είναι ουσιαστικά το πρώτο πλάνο των σκηνών που απαντούν στο ερώτημα, και κάθε τέτοιο πλάνο συνοδεύεται από την χρονική στιγμή εμφάνισής τους στην ταινία, καθώς και από την περιγραφή της σκηνής. 1.Death Defying Acts, 00:07: Death Defying Acts, 00:13:16.56 MCTAVISH'S PALACE MUSIC HALL STAR PICTURE THEATRΕ 3. Death Defying Acts, 00:22: Death Defying Acts, 00:23:32.96 RECEPTION, SCOTTISH LION HOTEL HOUDINI'S DRESSING ROOM Σελίδα 9 από 16

10 5. Death Defying Acts, 00:24: Death Defying Acts, 00:26:31.56 HOUDINI'S DRESSING ROOM THEATRE ROYAL 7. Death Defying Acts, 00:29: Death Defying Acts, 00:30:26.36 BACKSTAGE THEATRE ROYAL BOTHY 2. Εύρεση των πλάνων όπου εμφανίζεται κάποιο όπλο. Η αναζήτηση στην προκειμένη περίπτωση σχετίζεται με το ίδιο το περιεχόμενο των πλάνων, όπως αυτό περιγράφεται από τα σενάρια των ταινιών. Δεδομένου όμως ότι η λέξη «όπλο» είναι ένας γενικός όρος που αναφέρεται σε διάφορα αντικείμενα που χρησιμοποιούνται για να επιτεθεί κάποιος σε κάποιον, είναι πολύ πιθανόν οι κειμενικές περιγραφές που περιέχονται στα σενάρια να αναφέρουν πιο συγκεκριμένους τύπου όπλου, όπως πιστόλι, βόμβα, κλπ. Συνεπώς, η δυνατότητα επιτυχούς απάντησης του συγκεκριμένου ερωτήματος εξαρτάται ουσιαστικά από την διασύνδεση της πληροφορίας που εξήχθη από τα σενάρια με την εννοιολογική ιεραρχία στην οποία κατατάσσει τις διάφορες λέξεις η οντολογία του WordNet. Έτσι το κατάλληλο ερώτημα, που διασυνδέει τα περιεχόμενα των σεναρίων με τις πληροφορίες που έχουν ληφθεί από το WordNet, είναι το ακόλουθο: Q(?title,?time,?word) <- < (?movie), < < < < < < < < Σελίδα 10 από 16

11 Μερικά ενδεικτικά αποτελέσματα παρουσιάζονται στον ακόλουθο πίνακα. Τα παρουσιαζόμενα αποτελέσματα είναι τα πλάνα που απαντούν στο ερώτημα και συνοδεύονται από τον τίτλο της ταινίας, τη χρονική στιγμή εμφάνισής τους, καθώς και από την ακριβή λέξη που υπήρχε στο σενάριο και είχε ως αποτέλεσμα την ανάκτηση του συγκεκριμένου πλάνου. Όπως αναμέναμε, τα περισσότερα αποτελέσματα ανακτώνται λόγω της παρουσίας κάποιου συγκεκριμένου είδους όπλου στην περιγραφή τους. 1. Youth Without Youth, 00:57: Bangkok Dangerous, 00:02:21.40 pistol bullet 3. Bangkok Dangerous, 00:02: Bangkok Dangerous, 00:21:50.64 rifle gun 5. Bangkok Dangerous, 01:23: In Her Line of Fire, 00:11:38.91 weapon bullet Σελίδα 11 από 16

12 7. In Her Line of Fire, 00:12: In Her Line of Fire, 00:14:15.51 gun machete 3. Εύρεση των πλάνων όπου εμφανίζεται κάποιο γνωστό κτήριο. Εντός του περιεχομένου μιας ταινίας, ένα γνωστό κτήριο μπορεί να έχει εντοπιστεί είτε μέσω της ανάλυσης του οπτικού υλικού, είτε μέσω της διαδικασίας αναγνώρισης ονοματισμένων οντοτήτων που εφαρμόστηκε στα σενάρια. Σε κάθε περίπτωση το αποτέλεσμα είναι μια τριάδα RDF που διασυνδέει ένα πλάνο με το σχετικό URI της DBPedia που αντιπροσωπεύει το κτήριο που εμφανίζεται σε αυτό. Το ερώτημα για την ανάκτηση των αποτελεσμάτων που προέρχονται από την ανάλυση της κειμενικής πληροφορίας των σεναρίων είναι το εξής: Q31(?time,?title,?info) <- < < < < < < < < < ενώ το ερώτημα για την ανάκτηση των αποτελεσμάτων που προέρχονται από την ανάλυση του οπτικού υλικού είναι το εξής: Q32(?time,?title,?info) <- < < < < < < < < < Όπως μπορούμε να διαπιστώσουμε, η μοντελοποίηση μας επιτρέπει, αντί των παραπάνω δύο ερωτημάτων, να υποβάλουμε ένα ενιαίο ερώτημα που να καλύπτει και τις δύο περιπτώσεις: αρκεί να παραλειφθούν τα τμήματα του ερωτήματος που προσδιορίζουν την πηγή του αποτελέσματος και είναι το < στο Q31 και το < στο Q32. Σελίδα 12 από 16

13 Μερικά ενδεικτικά αποτελέσματα παρουσιάζονται στους δύο ακόλουθους πίνακες, για τα ερωτήματα Q31 και Q32 αντίστοιχα. Κάθε αποτέλεσμα συνοδεύεται από τον τίτλο της ταινίας, την χρονική στιγμή εμφάνισης του πλάνου και το URI της DBpedia που αντιστοιχεί στο εντοπισμένο κτήριο. 1. In Her Line of Fire, 00:20: In Her Line of Fire, 01:10: Death Defying Acts, 00:37: Death Defying Acts, 01:05: In Her Line of Fire, 00:00: In Her Line of Fire, 01:20: Σελίδα 13 από 16

14 3. Death Defying Acts, 00:15: Five Minarets in New York, 01:22: Τα ερωτήματα Q31 και Q32 είναι χαρακτηριστικά ερωτήματα όπου για την απάντησή τους απαιτείται η πραγματοποίηση συλλογιστικής με βάση τις οντολογίες που περιγράφουν τη γνώση. Όπως βλέπουμε, στο ερώτημα αναζητούνται πλάνα όπου να έχει ανιχνευθεί κάποιο στιγμιότυπο της έννοιας < Η έννοια αυτή προφανώς είναι πολύ γενική και στόχο έχει να αποτελέσει την ριζική έννοια μιας ιεραρχίας υποεννοιών που αντιπροσωπεύουν πιο συγκεκριμένα είδη κτηρίων. Στην συγκεκριμένη περίπτωση, η συλλογιστική πραγματοποιήθηκε μέσω της οντολογίας της DBPedia που συμμετέχει στο δίκτυο οντολογιών του συστήματος και οδήγησε στην παραγωγή ενός συνόλου μεταγραφών των αρχικών ερωτημάτων, στα οποία ή αρχική έννοια < έχει αντικατασταθεί π.χ. από τις < < < οι οποίες είναι αυτές που οδήγησαν και στην ανάκτηση των τελικών αποτελεσμάτων. 4. Εύρεση των πλάνων όπου έχει εντοπιστεί η έκφραση κάποιου ανθρώπινου συναισθήματος και οι ηθοποιοί που συμμετέχουν στο συγκεκριμένο πλάνο. Εντός του περιεχομένου μιας ταινίας, τα συναισθήματα έχουν εντοπιστεί ως γεγονότα μέσω της επεξεργασίας του κειμενικού υλικού των σεναρίων που διενήργησε το ΙΕΛ. Για κάθε γεγονός που έχει εντοπιστεί, διατηρείται και η πληροφορία σχετικά με την ακριβή λέξη που οδήγησε στον εντοπισμό του συγκεκριμένου γεγονότος. Από την άλλη πλευρά, οι ηθοποιοί που συμμετέχουν σε μια σκηνή έχουν εντοπιστεί μέσω της διασύνδεσης των σεναρίων με της πληροφορίες που λήφθηκαν από την ΙΜDB. Συγκεκριμένα, τα σενάρια δίνουν πληροφορία για τους χαρακτήρες που εμφανίζονται στα διάφορα πλάνα μιας ταινίας, και από την IMDB έχει ληφθεί η πληροφορία που συσχετίζει τους χαρακτήρες με τους ηθοποιούς που συμμετέχουν στην ταινία. Έτσι, για την απάντηση του ερωτήματος αυτού, εκτελέστηκε το παρακάτω ερώτημα: Q4(?title,?time,?name,?word) <- < < < < < < < < < < < Σελίδα 14 από 16

15 < < < Μερικά ενδεικτικά αποτελέσματα παρουσιάζονται στον παρακάτω πίνακα. Κάθε αποτέλεσμα συνοδεύεται από τον τίτλο της ταινίας στο οποίο εντοπίστηκε, την χρονική στιγμή εμφάνισης του πλάνου, τα ονόματα των εμπλεκόμενων ηθοποιών, και τη λέξη που εκφράζει το συναίσθημα που ανιχνεύτηκε. Bangkok Dangerous, 00:41:59.32 Bangkok Dangerous, 00:48:47.04 Yamnarm, Shahkrit, Hemmanee, Panward Yeung, Charlie kiss kiss Bangkok Dangerous, 00:37:18.40 Death Defying Acts, 00:09:12.60 Cage, Nicolas Mason, Shaun disgust laugh Και στην περίπτωση του ερωτήματος Q4, η χρήση της συλλογιστικής είναι απαραίτητη για την ανάκτηση των αποτελεσμάτων ενός ερωτήματος που εμπεριέχει τον γενικό όρο < Αυτή τη φορά, άμεσα εμπλεκόμενη είναι η ιεραρχία γεγονότων της οντολογίας EventOntology, η οποία ορίζει ως υποέννοιες της γενικότερης έννοιας < διάφορες έννοιες που όμως αντιπροσωπεύουν πιο συγκεκριμένα συναισθήματα, όπως για παράδειγμα τις < < < με βάση τις οποίες κατέστη δυνατή η απάντηση ενός τόσο πλούσιου σημασιολογικά ερωτήματος. Σελίδα 15 από 16

16 5. Συμπεράσματα Στο παραδοτέο αυτό περιγράφηκε αναλυτικά ο τρόπος με τον οποίο το δίκτυο οντολογικής περιγραφής του οπτικοακουστικού υλικού του έργου χρησιμοποιήθηκε σε συνδυασμό με τις τεχνικές σημασιολογικής απάντησης ερωτημάτων που βασίζονται στην αναγραφή του αρχικού ερωτήματος. Αν και από μόνο του πλήθος και οι διαφορετικοί τομείς ενδιαφέροντος που καλύπτουν οι διάφορες οντολογίες που συμμετέχουν στο οντολογικό δίκτυο δίνουν τη δυνατότητα υποβολής αρκετά πλούσιων εκφραστικά ερωτημάτων, ο συνδυασμός τους με τις τεχνικές αναγραφής επεκτείνει το περιεχόμενο των απαντήσεων ώστε να είναι πλήρεις σε σχέση με την βάση γνώσης. Έτσι κάθε αρχικό ερώτημα του χρήση, που αποτελεί ένα συζευκτικό ερώτημα, με χρήση της μηχανής συλλογιστικής Rapid που αναπτύχθηκε από το εργαστήριο ΨΕΕ-ΕΜΠ, δίνει τη θέση του σε ένα σύνολο ερωτημάτων που εμπεριέχουν πλέον την σχετική με αυτό υπονοούμενη γνώση που προκύπτει από τις οντολογίες του δικτύου. Τα τελικά αυτά ερωτήματα, μετατρέπονται σε κατάλληλα ερωτήματα SPARQL, και αυτά με τη σειρά τους υποβάλλονται προς την βάση τριάδων RDF που περιέχει όλη τη γνώση του συστήματος για το σύνολο των ταινιών. Τα πειραματικά αποτελέσματα καταδεικνύουν την ισχύ του συστήματος που αναπτύχθηκε. Όπως φάνηκε στην σχετική ενότητα, η δόμηση της βάση γνώσης με βάση τις οντολογίες δίνει την δυνατότητα για την υποβολή μιας πληθώρας εξαιρετικά πλούσιων εκφραστικά ερωτημάτων που συνδυάζουν διάφορους τρόπους περιγραφής των σκηνών μιας ταινίας. Η ποιότητα των τελικά ανακτώμενων αποτελεσμάτων εξαρτάται ασφαλώς από την ποιότητα της βάσης γνώσης. Δεδομένου ότι η βάση αυτή έχει σε μεγάλο βαθμό κατασκευαστεί με αυτόματο τρόπο (επεξεργασία κειμένου, ήχου και οπτικού υλικού για την αυτόματη ανίχνευση ονοματισμένων οντοτήτων, λέξεων και γνωστών τοποθεσιών) είναι αναμενόμενη η ύπαρξη false positives και false negatives κατά την απάντηση των ερωτημάτων. Ωστόσο όπως αποδείχθηκε στην πράξη η καλή ποιότητα του πρωτογενούς υλικού (π.χ. τα αναλυτικά κείμενα σεναρίων) και των εργαλείων που χρησιμοποιήθηκαν για την αυτόματη επεξεργασία του εξασφάλισε υψηλή ποιότητα αποτελεσμάτων. Σελίδα 16 από 16