Αποτίμηση Αποτε εσματικότητας

Transcript

1 2 Αποτίμηση Αποτε εσματικότητας Περιε όμενα Κεφα αίου 2.1 Εισα ή Βασικά Μέτρα Αποτε εσματικότητας Ανάκ ηση, Ακρί εια και Αστο ία Παρά οντες Μετα ο ής Ανάκ ησης και Ακρί ειας Ενα ακτικά Μέτρα Αποτε εσματικότητας Μονότιμες Συνόψεις Αρμονικός Μέσος και E-Μετρική Συ ο ές Αναφοράς και Με έτες Αποτε εσματικότητας Πειράματα Cranfield Το Σύστημα SMART Οι Συ ο ές CACM και ISI Οι Συ ο ές TREC Σύνοψη και Περαιτέρ Με έτη Ασκήσεις

2 26 Κεφάλαιο 2. Αποτίμηση Αποτελεσματικότητας 2.1 Εισα ή Στο προη ούμενο κεφά αιο έ ει αναφερ εί ότι ενώ δύο ΣΔΒΔ που δια ειρίζονται την ίδια άση δεδομέν ν α δώσουν ακρι ώς την ίδια απάντηση στο ίδιο ερώτημα, κάτι τέτοιο δεν συμ αίνει πάντα στην περίπτ ση τ ν ΣΑΠ. Επομέν ς, τί εται αμέσ ς το ζήτημα της επάρκειας τ ν αποτε εσμάτ ν στα ερ τήματα τ ν ρηστών. Η επάρκεια τ ν αποτε εσμάτ ν κα είται αποτελεσματικότητα (effectiveness) του συστήματος και αποτε εί ένα σημαντικό τομέα της έρευνας που διεξά εται στην περιο ή της Ανάκτησης Π ηροφορίας. Στό ος αυτού του κεφα αίου είναι να παρουσιάσει τις ασικές μετρικές αποτίμησης της αποτε εσματικότητας ενός ΣΑΠ, οι οποίες έ ουν προτα εί στη ι- ιο ραφία. Οι μετρικές αυτές μας οη ούν να προσδιορίσουμε πότε ένα ΣΑΠ είναι κα ύτερο από κάποιο ά ο ή πότε μία μέ οδος ανάκτησης αποδίδει κα ύτερα από κάποια αντα νιστική μέ οδο. Τα πρά ματα όμ ς δεν είναι πάντοτε απ ά. Υπάρ ουν περιπτώσεις όπου σε κάποια ερ τήματα ένα ΣΑΠ είναι αποτε εσματικό και σε κάποια ά α ό ι. Η αποτε εσματικότητα του συστήματος εξαρτάται από πο ούς παρά οντες όπ ς: (α) τη συ ο ή ε ράφ ν που δια ειρίζεται το σύστημα, ( ) τα ερ τήματα τ ν ρηστών, και ( ) το μοντέ ο ανάκτησης που ρησιμοποιείται. Για το ό ο αυτό ρησιμοποιούνται ειδικές μέ οδοι σύ κρισης συστημάτ ν. Παρόμοια προσέ ιση ρησιμοποιείται και στην περιο ή τ ν Βάσε ν Δεδομέν ν (π.. TPC benchmarks), όμ ς ό ι ια τη μέτρηση της αποτε- εσματικότητας α ά της τα ύτητας στην επεξερ ασία τ ν ερ τημάτ ν. Αρ ικά περι ράφονται ανα υτικά οι ασικές μετρικές αποτίμησης και στη συνέ εια περι ράφονται μερικές συ ο ές ε ράφ ν που ρησιμοποιούνται ς άση ια τη διεξα ή πειραμάτ ν. 2.2 Βασικά Μέτρα Αποτε εσματικότητας Έστ ότι έ ουμε τη δυνατότητα να διαπιστώσουμε αν ένα έ ραφο d που ανήκει στη συ ο ή τ ν ε ράφ ν C είναι ή ό ι σ ετικό ς προς ένα ερώτημα q. Θε ρούμε ότι μετά την επεξερ ασία του ερ τήματος q, το ΣΑΠ επέστρεψε κάποια έ ραφα που αποτε ούν το σύνο ο απάντησης A. Έστ επίσης ότι το σύνο ο R περιέ ει ό α τα σ ετικά ς προς το ερώτημα έ ραφα της συ ο ής C. Τέ ος με A r συμ ο ίζουμε το υποσύνο ο του A που περιέ ει τα σ ετικά ς προς το q έ ραφα. Προφανώς το σύνο ο A r είναι η τομή τ ν συνό ν A και R. Στο Σ ήμα 2.1 δίνονται τα διαφορετικά σύνο α ε ράφ ν με ρήση δια ραμμάτ ν Venn, ενώ στο Σ ήμα 2.2 δίνονται οι τέσσερις δυνατοί αρακτηρισμοί

3 2.2. Βασικά Μέτρα Αποτελεσματικότητας 27 συλλογή εγγράφων (C) σχετικά έγγραφα (R) έγγραφα απάντησης (Α) σχετικά έγγραφα που ανακτήθηκαν (Ar) Σχήμα 2.1: Αναπαράσταση συνόλων εγγράφων με χρήση διαγραμμάτων Venn. ανακτηθέν µη ανακτηθέν σχετικό µη σχετικό Μη σχετικά έγγραφα που έχουν ανακτηθεί (A-Ar) Σχετικά έγγραφα που έχουν ανακτηθεί (Ar) Μη σχετικά έγγραφα που δεν έχουν ανακτηθεί (C -(R U A)) Σχετικά έγγραφα που δεν έχουν ανακτηθεί (R-A) Σχήμα 2.2: Κατηγοριοποίηση εγγράφων. τ ν ε ράφ ν ς προς ένα ερώτημα. Στην ιδανική περίπτ ση, τα έ ραφα α ανήκουν είτε στο κάτ αριστερό είτε στο επάν δεξί τεταρτημόριο, δη αδή όσα έ ραφα είναι σ ετικά ς προς το ερώτημα έ ουν ανακτη εί, ενώ δεν έ ει ανακτη εί κάποιο μη σ ετικό έ ραφο. Ωστόσο, στη ενική περίπτ ση, κάποια από τα έ ραφα που έ ουν ανακτη εί δεν α είναι σ ετικά ς προς το ερώτημα, ενώ κάποια σ ετικά έ ραφα δεν α έ ουν ανακτη εί Ανάκ ηση, Ακρί εια και Αστο ία Η προσπά εια ια ποσοτικοποίηση της επάρκειας τ ν αποτε εσμάτ ν που επιστρέφονται από ένα ΣΑΠ οδή ησε τους ερευνητές σε κάποια ασικά μέτρα αποτίμησης. Ορισμός 2.1. Η ανάκληση (recall) ορίζεται ως ο λόγος του αριθμού των σχετι-

4 28 Κεφάλαιο 2. Αποτίμηση Αποτελεσματικότητας κών εγγράφων που ανακτήθηκαν προς το συνολικό αριθμό σχετικών εγγράφων της συλλογής: recall(q) = αριθμός σχετικών εγγράφων που ανακτήθηκαν αριθμός σχετικών εγγράφων στη συλλογή = A r R (2.1) Η ανάκ ηση μετρά στην ουσία το ποσοστό τ ν σ ετικών ε ράφ ν που το σύστημα μπόρεσε να ανακτήσει σε σ έση με ό α τα σ ετικά έ ραφα που υπάρ- ουν στη συ ο ή. Είναι προφανές ότι η τέ εια ανάκ ηση είναι 100%. Κάτι που η ανάκ ηση δεν αμ άνει υπόψη είναι το π ή ος τ ν ε ράφ ν που ανακτή ηκαν α ά δεν είναι σ ετικά ς προς το ερώτημα. Πο ές φορές εμφανίζεται το φαινόμενο να έ ουν μεν ανακτη εί ό α τα σ ετικά έ ραφα, α ά μαζί με αυτά να έ ουν ανακτη εί και πο ά μη σ ετικά ς προς το ερώτημα. Ορισμός 2.2. Η ακρίβεια (precision) μετρά το ποσοστό των εγγράφων που είναι σχετικά μεταξύ αυτών που έχουν ανακτηθεί: precision(q) = αριθμός σχετικών εγγράφων που ανακτήθηκαν αριθμός εγγράφων που ανακτήθηκαν = A r A (2.2) Ορισμός 2.3. Η αστοχία (fallout) δίνει το ποσοστό των μη σχετικών εγγράφων που ανακτήθηκαν σε σχέση με το συνολικό αριθμό των μη σχετικών εγγράφων της συλλογής. fallout(q) = αριθμός μη σχετικών εγγράφων που ανακτήθηκαν αριθμός μη σχετικών εγγράφων στη συλλογή = A A r C R (2.3) Όπ ς και στην περίπτ ση της ανάκ ησης, η κα ύτερη δυνατή ακρί εια που μπορούμε να πετύ ουμε είναι 100%, ενώ η ιδανική αστο ία είναι 0%. Από τους ορισμούς της ανάκ ησης και της ακρί ειας παρατηρούμε ότι αυτό που α άζει είναι ο παρονομαστής στις δύο αντίστοι ες σ έσεις, ενώ ο αρι μητής είναι ίδιος. Με τη οή εια της ανάκ ησης και της ακρί ειας μπορούμε να αποτιμήσουμε κατά πόσον ένα ερώτημα απαντή ηκε ικανοποιητικά ή ό ι. Παράδει μα 2.1 Έστ ότι η επεξερ ασία ενός ερ τήματος q α πρέπει να επιστρέψει R =8 σ ετικά έ ραφα ς απάντηση. Υπο έστε ότι το σύστημα επιστρέφει A =12 έ - ραφα, από τα οποία σ ετικά είναι τα A r =6. Παρατηρούμε ότι από τα 8 σ ετικά έ ραφα που έπρεπε να επιστραφούν, πήραμε μόνο τα 6, επομέν ς recall(q) =

5 2.2. Βασικά Μέτρα Αποτελεσματικότητας 29 6/8 = 0.75 (75%). Εφόσον από τα 16 έ ραφα που πήραμε στην έξοδο σ ετικά είναι μόνο τα 6, η ακρί εια είναι precision(q) = 6/12 = 0.5 (50%). Όσο με α ύτερες είναι οι τιμές της ανάκ ησης και της ακρί ειας, τόσο πιο αποτε εσματικό είναι το σύστημα ια το συ κεκριμένο ερώτημα. Στην ιδανική περίπτ ση το σύστημα α μας επιστρέψει ό α τα σ ετικά έ ραφα (100% ανάκ ηση) και μόνο αυτά (100% ακρί εια). Ωστόσο, κάτι τέτοιο συμ αίνει πο ύ σπάνια (αν ό ι κα ό ου) και αυτό οφεί εται στο ε ονός ότι το ένα μέ ε ος έ ει την τάση να μειώνεται όταν αυξάνεται το ά ο. Αυτό μπορούμε να το κατανοήσουμε και διαισ ητικά. Όσο ζητούμε από το σύστημα να μας επιστρέψει περισσότερα σ ετικά έ ραφα, τόσο αυξάνουμε και τις πι ανότητες κάποια από τα έ ραφα που επιστρέφονται να είναι μη σ ετικά. Το φαινόμενο αυτό δυσκο- εύει κατά πο ύ την αποτίμηση της αποτε εσματικότητας. Στο Σ ήμα 2.3 παρουσιάζονται μερικοί αντιπροσ πευτικοί συνδυασμοί μεταξύ ανάκ ησης και ακρί ειας. Η περίπτ ση που α πρέπει να αποφεύ εται δίνεται στο Σ ήμα 2.3(α), και ανταποκρίνεται σε αμη ή ανάκ ηση και αμη ή ακρί εια. Στη ειρότερη περίπτ ση, το σύνο ο τ ν ε ράφ ν της απάντησης A και το σύνο ο τ ν σ ετικών ε ράφ ν R δεν α έ ουν κανένα κοινό στοι- είο. Αυτό σημαίνει ότι το σύστημα δεν κατάφερε να επιστρέψει στο ρήστη κανένα σ ετικό έ ραφο, κάτι που ε ρείται με ά η αποτυ ία. Μία δεύτερη ενδιαφέρουσα περίπτ ση παρουσιάζεται στο Σ ήμα 2.3( ) όπου η ακρί εια είναι στο 100% ενώ η ανάκ ηση είναι αμη ή. Στην περίπτ ση αυτή, το σύστημα κατάφερε να επιστρέψει πο ύ κα ής ποιότητας αποτε έσματα (ακρί εια 100%), α ά δεν κατάφερε να εντοπίσει πο ά από τα σ ετικά έ ραφα ( αμη ή ανάκ ηση). Το αντίστροφο ισ ύει ια την περίπτ ση του Σ ήματος 2.3( ) όπου η ανάκ ηση είναι πο ύ υψη ή (100%) α ά η ακρί εια είναι αμη ή, κα ώς εκτός από τα σ ετικά έ ραφα το σύστημα έ ει δώσει και πο ά που δεν είναι σ ετικά ( αμη ή ακρί εια). Τέ ος, στο Σ ήμα 2.3(δ) δίνεται η ιδανική περίπτ ση όπου τόσο η ανάκ ηση όσο και η ακρί εια είναι σε πο ύ υψη ά επίπεδα. Σε μία τυπική περίπτ ση, οι τιμές της ανάκ ησης και της ακρί ειας α έ ουν μία σ έση που κυμαίνεται μεταξύ τ ν περιπτώσε ν ( ) και ( ) του Σ ήματος 2.3. Ας παρατηρήσουμε πιο προσεκτικά τη σ έση ανάκ ησης-ακρί ειας με τη οή εια ενός παραδεί ματος. Συνή ς τα έ ραφα που προσδιορίζονται από το σύστημα εξαιτίας ενός ερ τήματος επιστρέφονται στο ρήστη με φ ίνουσα α μο ο ική σειρά, σύμφ να με την εκάστοτε μέ οδο ανάκτησης και α μο ό ησης. Για παράδει μα, τα αποτε έσματα μίας μη ανής αναζήτησης στον πα κόσμιο ιστό εμφανίζονται στο ρήστη κατά ομάδες και ό ι ό α μαζί. Με τον τρόπο αυτό, δίνεται

6 30 Κεφάλαιο 2. Αποτίμηση Αποτελεσματικότητας συλλογή εγγράφων συλλογή εγγράφων Α Ar Ar Α R R (α) αμη ή ανάκ ηση, αμη ή ακρί εια ( ) αμη ή ανάκ ηση, υψη ή ακρί εια συλλογή εγγράφων συλλογή εγγράφων Ar Α Ar Α R R ( ) υψη ή ανάκ ηση, αμη ή ακρί εια (δ) υψη ή ανάκ ηση, υψη ή ακρί εια Σχήμα 2.3: Συνδυασμοί ανάκλησης-ακρίβειας. η δυνατότητα στο ρήστη να σταματήσει την εξέταση τ ν αποτε εσμάτ ν διότι από ένα σημείο και μετά τα έ ραφα είναι μεν σ ετικά α ά έ ουν αμη ό α μό και επομέν ς μικρή σ ετικότητα ς προς το ερώτημα. Ας δούμε τη συμ αίνει στην περίπτ ση αυτή με την ανάκ ηση και την ακρί εια ρησιμοποιώντας ένα απ ό παράδει μα. Θε ρούμε ότι, ς προς ένα ερώτημα q, τα σ ετικά έ ραφα είναι τα d 1, d 4, d 5, d 8, και d 9. Έστ ότι το σύστημα μας επιστρέφει τα ακό- ου α έ ραφα που δίνονται με φ ίνουσα σειρά α μο ο ίας: d 4, d 5, d 2, d 3, d 7, d 9, d 8, d 6 και d 1. Συνο ικά το σύστημα επέστρεψε 9 έ ραφα. Κατα ράφουμε στη συνέ εια τις τιμές της ανάκ ησης και της ακρί ειας ια κά ε έ ραφο που παίρνουμε ς αποτέ εσμα. Οι τιμές αυτές παρουσιάζονται στον Πίνακα 2.1. Από την εξέταση του πίνακα παρατηρούμε τα εξής: όσο αυξάνει ο αρι μός τ ν ε ράφ ν που αμ άνουμε υπόψη, η ανάκ ηση

7 2.2. Βασικά Μέτρα Αποτελεσματικότητας 31 ακρίβεια (%) ανάκληση (%) ακρίβεια (%) ανάκληση (%) (α) αρ ική καμπύ η ( ) διαμορφ μένη καμπύ η Σχήμα 2.4: Καμπύλη ανάκλησης-ακρίβειας. έ ει την τάση να αυξάνεται ενώ η ακρί εια έ ει την τάση να μειώνεται, κά ε φορά που συναντούμε ένα σ ετικό έ ραφο η ανάκ ηση αυξάνεται, ενώ ια κά ε μη σ ετικό έ ραφο η ανάκ ηση παραμένει στα ερή και η ακρί εια μειώνεται. α/α έ ραφο σ ετικό ανάκ ηση ακρί εια 1 d 4 ΝΑΙ 20% 100% 2 d 5 ΝΑΙ 40% 100% 3 d 2 ΟΧΙ 40% 66% 4 d 3 ΟΧΙ 40% 50% 5 d 7 ΟΧΙ 40% 40% 6 d 9 ΝΑΙ 60% 50% 7 d 8 ΝΑΙ 80% 57% 8 d 6 ΟΧΙ 80% 50% 9 d 1 ΝΑΙ 100% 55% Πίνακας 2.1: Τιμές ανάκλησης και ακρίβειας. Με άση της τιμές της ανάκ ησης και της ακρί ειας του Πίνακα 2.1 κατασκευάζουμε το ράφημα του Σ ήματος 2.4(α). Η καμπύ η που σ ηματίζεται κα είται καμπύλη ανάκλησης-ακρίβειας και δεί νει τον τρόπο μετα ο ής της μίας μετρικής σε σ έση με την ά η. Συνή ς, η καμπύ η ποτέ δεν ρησιμοποιεί-

8 32 Κεφάλαιο 2. Αποτίμηση Αποτελεσματικότητας α/α ανάκ ηση ακρί εια 1 0% 0% 2 10% 100% 3 20% 100% 4 30% 100% 5 40% 100% 6 50% 50% 7 60% 50% 8 70% 57% 9 80% 57% 10 90% 55% % 55% Πίνακας 2.2: Τιμές ακρίβειας με παρεμβολή για τα 11 επίπεδα ανάκλησης. ται ς έ ει α ά διαμορφώνεται κατά η α, ρησιμοποιώντας 11 στα ερά σημεία ανάκ ησης τα οποία είναι: 0%, 10%,..., 100%. Στη συνέ εια, η καμπύ η σ ηματίζεται τοπο ετώντας τις αντίστοι ες τιμές της ακρί ειας ια αυτές τις τιμές της ανάκ ησης. Σε περιπτώσεις όπου δεν υπάρ ει αντίστοι η τιμή εφαρμόζουμε την τε νική της παρεμ ο ής (interpolation) ια να πάρουμε τη διαμορφ μένη καμπύ η ανάκ ησης-ακρί ειας ε ρώντας τη μέ ιστη τιμή της ακρί ειας που υπάρ- ει έ ς το επόμενο επίπεδο ανάκ ησης. Πιο συ κεκριμένα, αν συμ ο ίσουμε με r i το i-οστό επίπεδο ανάκ ησης, με p(r) την πρα ματική τιμή της ακρί ειας ια το επίπεδο ανάκ ησης r και με π(r i ) την παρεμ α όμενη τιμή της ακρί ειας ια το επίπεδο r i, τότε η τιμή π(r i ) υπο ο ίζεται ς εξής: π(r i ) = max {p(r)} (2.4) r i r r i+1 Οι τιμές της ακρί ειας ια τα 11 επίπεδα ανάκ ησης δίνονται στον Πίνακα 2.2, ενώ η νέα καμπύ η (μετά την εφαρμο ή της παρεμ ο ής) παρουσιάζεται στο Σ ήμα 2.4( ). Για παράδει μα, ια το επίπεδο ανάκ ησης 30% παρατηρούμε ότι δεν υπάρ ει αντίστοι η τιμή ακρί ειας στον Πίνακα 2.1, και επομέν ς πρέπει να εφαρμόσουμε την τε νική της παρεμ ο ής. Η μέ ιστη τιμή της ακρί ειας μεταξύ του επιπέδου 30% και του 40% είναι 100% και επομέν ς ρησιμοποιούμε αυτήν την τιμή. Στο προη ούμενο παράδει μα έ ουμε υπο έσει την ύπαρξη ενός μόνο ερ τήματος. Επομέν ς, ια κά ε ερώτημα μπορούμε να δημιουρ ήσουμε μία ξε ριστή καμπύ η ανάκ ησης-ακρί ειας. Αυτή η προσέ ιση όμ ς δεν είναι κα ό ου πρα-

9 2.2. Βασικά Μέτρα Αποτελεσματικότητας 33 κτική, διότι δυσκο εύει τη διαδικασία της σύ κρισης δύο διαφορετικών ΣΑΠ ή δύο διαφορετικών με όδ ν που επεξερ άζονται τα ίδια ερ τήματα στην ίδια συ - ο ή ε ράφ ν. Μία τε νική που ρησιμοποιείται είναι η ρήση της μέσης τιμής της ακρί ειας ια τα διαφορετικά επίπεδα ανάκ ησης. Με τον τρόπο αυτό παρά- εται μία μόνο καμπύ η και έτσι η σύ κριση μπορεί να πρα ματοποιη εί ευκο- ότερα. Έστ ότι έ ουμε N q διαφορετικά ερ τήματα τα οποία έ ουν εκτε εσ εί και επομέν ς ν ρίζουμε τις τιμές ακρί ειας ια το κα ένα (μετά την εφαρμο ή της διαδικασίας παρεμ ο ής) ια τα 11 επίπεδα ανάκ ησης. Αν συμ ο ίσουμε με P (r) τη μέση τιμή της ακρί ειας ια το επίπεδο ανάκ ησης r και με P j (r) την τιμή της ακρί ειας του j-οστού ερ τήματος ια το επίπεδο ανάκ ησης r τότε η μέση ακρί εια ορίζεται ς εξής: P (r) = N q j=1 P j (r) N q (2.5) Η σ έση μεταξύ ανάκ ησης και ακρί ειας έ ει με ετη εί σε ά ος από τους ερευνητές. Στη ραφική παράσταση του Σ ήματος 2.5(α) η κά ε κουκίδα προσδιορίζει την ανάκ ηση και την ακρί εια ια ένα ερώτημα. Η καμπύ η που σ ηματίζεται δεί νει τη μορφή που έ ει μία τυπική ραφική παράσταση της ακρί ειας σε σ έση με την ανάκ ηση. Στο Σ ήμα 2.5( ) δίνεται η σ έση ανάκ ησης-ακρί ειας ια δύο διαφορετικά ΣΑΠ. Παρατηρούμε ότι οι δύο καμπύ ες μοιάζουν με αυτή του Σ ήματος 2.5(α). Ωστόσο, οι δύο καμπύ ες διασταυρώνονται με αποτέ εσμα να μην είναι προφανές ποιο από τα δύο συστήματα παρουσιάζει ενικώς την κα ύτερη αποτε εσματικότητα. Αν και το πρώτο σύστημα εμφανίζει κα ύτερη ανάκ ηση σε μία περιο ή της καμπύ ης, εντούτοις υστερεί σε ακρί εια, ενώ το ακρίβεια ακρίβεια ΣΑΠ 1 ΣΑΠ 2 ανάκληση (α) σ έση ανάκ ησης-ακρί ειας ( ) σύ κριση συστημάτ ν ανάκληση Σχήμα 2.5: Σχέση μεταξύ ανάκλησης και ακρίβειας και σύγκριση συστημάτων.

10 34 Κεφάλαιο 2. Αποτίμηση Αποτελεσματικότητας αντί ετο συμ αίνει σε ά η περιο ή της καμπύ ης. Επομέν ς, η επι ο ή του κα- ύτερου συστήματος δεν είναι κα ό ου εύκο η υπό εση και πρέπει να ηφ ούν υπόψη και ά ες παράμετροι ώστε να προσδιοριστεί ο α μός αποτε εσματικότητας του κά ε συστήματος α ά και ποιο σύστημα είναι πιο αποτε εσματικό από το ά ο. Για το ό ο αυτό, έ ουν προτα εί ενα ακτικές μέ οδοι αποτίμησης της αποτε εσματικότητας οι οποίες παρουσιάζονται σε επόμενη ενότητα Παρά οντες Μετα ο ής Ανάκ ησης και Ακρί ειας Η ανάκ ηση και η ακρί εια, ς μέτρα αποτίμησης της αποτε εσματικότητας, είναι αρκετά διαδεδομένες μετρικές και ρησιμοποιούνται εκτενώς. Επομέν ς, είναι πο ύ σημαντικό να ν ρίζουμε τους παρά οντες που επηρεάζουν τα δύο αυτά μέτρα. Η νώση αυτών τ ν παρα όντ ν μπορεί να οδη ήσει σε κα ύτερα συστήματα που ανταποκρίνονται πιο αξιόπιστα στις απαιτήσεις τ ν ρηστών. Ένα από τα φαινόμενα που συναντούμε στα έ ραφα κειμένου είναι η συνωνυμία (synonymy) τ ν όρ ν. Δύο όροι ε ρούνται ς συνώνυμοι εάν ρησιμοποιούνται ενα ακτικά ια να περι ράψουν ένα αντικείμενο, μία ενέρ εια, μία έννοια. Για παράδει μα οι όροι "αυτοκίνητο" και "αμάξι" είναι συνώνυμοι. Το ασικό πρό ημα της συν νυμίας είναι ότι εάν υπάρ ουν πο οί όροι που αναφέρονται στην ίδια έννοια και ο ρήστης αναζητήσει έ ραφα σ ετικά ς προς τον έναν από αυτούς τους όρους, τότε έ ραφα που δεν περιέ ουν τον όρο α ά είναι σ ετικά ς προς το ερώτημα δεν α ανακτη ούν. Αυτό σημαίνει ότι η συν νυμία επηρεάζει αρνητικά την ανάκ ηση. Σ ετικά με την επίδραση της συν νυμίας στην ακρί εια, δεν είναι εφικτή η εξα ή κάποιου ασφα ούς συμπεράσματος. Το δεύτερο φαινόμενο που απαντάται συ νά στα έ ραφα κειμένου είναι η πολυσημία (polysemy), σύμφ να με την οποία η σημασία ενός όρου μπορεί να τε εί ς διαφορετική ανά ο α με το περιε όμενο του ε ράφου. Για παράδει μα ο όρος "ποντίκι" έ ει διαφορετικό νόημα ανά ο α με το περιε όμενο του ε ράφου (το ζώο ποντίκι ή το ποντίκι που ρησιμοποιούμε ια τη ρήση η εκτρονικού υπο ο ιστή). Εάν ένας ρήστης αναζητήσει έ ραφα σ ετικά με έναν όρο που έ ει πο απ ές ερμηνίες, τότε εκτός από τα έ ραφα που σ ετίζονται με την π ηροφοριακή ανά κη του ρήση α ανακτη ούν και έ ραφα που περιέ ουν μεν τον όρο, όμ ς αναφέρονται σε εντε ώς διαφορετικό έμα. Είναι προφανές ότι κάτι τέτοιο α επηρεάσει την ακρί εια ια το συ κεκριμένο ερώτημα. Για την επίδραση της πο υσημίας στην ανάκ ηση δεν μπορούμε να αναφέρουμε με ε αιότητα αν α αυξη εί, α μει εί η α παραμείνει ανα οί τη.

11 2.3. Εναλλακτικά Μέτρα Αποτελεσματικότητας 35 Παράδει μα 2.2 Θα εξετάσουμε την επίδραση της συν νυμίας στην ανάκ ηση και την ακρί- εια αντίστοι α με ένα απ ό παράδει μα. Έστ οι όροι άστρο και αστέρας. Είναι προφανές ότι και οι δύο όροι αναφέρονται στο ίδιο ακρι ώς ακτικείμενο. Υπο έτουμε ότι η συ ο ή τ ν ε ράφ ν αποτε είται από τα έ ραφα D = d 1, d 2, d 3, d 4, d 5, d 6, d 7. Από αυτά τα έ ραφα, ε ρήστε ότι τα d 1, d 2 αναφέρουν τον όρο άστρο οπότε αρακτηρίζονται ς σ ετικά. Θε ρήστε επίσης ότι τα έ - ραφα d 3, d 4 και d 5 αναφέρουν τον όρο αστέρας και αρακτηρίζονται και αυτά ς σ ετικά. Αν ο ρήστης ρησιμοποιήσει τον όρο άστρο ια να εκφράσει την π ηροφοριακή ανά κη, τότε στην κα ύτερη περίπτ ση το σύστημα α επιστρέψει τα έ ραφα d 1, d 2 ς σ ετικά. Η αντίστοι η ανάκ ηση στην περίπτ ση αυτή είναι 40%. Ομοί ς, αν ρησιμοποιη εί ο όρος αστέρας τότε η ανάκ ηση είναι 60%. Παρατηρούμε ότι σε καμία περίπτ ση η ανάκ ηση δεν μπορεί να φτάσει στο 100%, εκτός και αν ρησιμοποιη ούν και οι δύο όροι στο ερώτημα. 2.3 Ενα ακτικά Μέτρα Αποτε εσματικότητας Στη ι ιο ραφία έ ει διαπιστ εί ότι η ρήση της ανάκ ησης και της ακρί- ειας όπ ς έ ει περι ραφεί στις προη ούμενες παρα ράφους μπορεί να δημιουρ- ήσει προ ήματα στη μέτρηση της αποτε εσματικότητας [7, 10, 13]. Για παράδει μα, σε πο ές περιπτώσεις η μέ ιστη τιμή της ανάκ ησης μπορεί να μην είναι δια έσιμη, όπ ς συμ αίνει στον πα κόσμιο ιστό όπου η συ ο ή ε ράφ ν είναι τεράστια και μετα ά εται συνε ώς. Επιπ έον, η ανάκ ηση και η ακρί εια μετρούν διαφορές πτυ ές της αποτε εσματικότητας. Για τους ό ους αυτούς, οι ερευνητές με έτησαν ενα ακτικούς τρόπους αποτίμησης της αποτε εσματικότητας, είτε ρησιμοποιώντας μία μόνο τιμή που συνοψίζει την καμπύ η ανάκ ησηςακρί ειας, είτε συνδυάζοντας την ανάκ ηση και την ακρί εια με διάφορους τρόπους, δίνοντας την επι ο ή στο ρήστη να δώσει περισσότερη αρύτητα στη μία μετρική η την ά η. Επίσης, έ ουν προτα εί μετρικές που αμ άνουν υπόψη το ε ονός ότι διαφορετικοί ρήστες αντι αμ άνονται διαφορετικά τη σ ετικότητα τ ν ε ράφ ν ς προς το ερώτημα. Στη συνέ εια παρουσιάζουμε μερικές από τις πιο σημαντικές ενα ακτικές μετρικές Μονότιμες Συνόψεις Μία μονότιμη σύνοψη (single valued summary) είναι στην ουσία μία τιμή που προκύπτει από το συνδυασμό τιμών ακρί ειας σε συ κεκριμένα επίπεδα ανάκ ησης. Επειδή έ ουμε μία μόνο τιμή, η σύ κριση δύο διαφορετικών α ορί -

12 36 Κεφάλαιο 2. Αποτίμηση Αποτελεσματικότητας μ ν ή συστημάτ ν είναι ευκο ότερη. Ωστόσο, ρειάζεται προσο ή διότι με πο ύ απ οϊκά σ ήματα μπορεί να οδη η ούμε σε εσφα μένα συμπεράσματα. Μία μονότιμη σύνοψη που μπορούμε να ρησιμοποιήσουμε είναι η μέση τιμή της ακρί ειας ια τα επίπεδα ανάκ ησης όπου εμφανίζονται σ ετικά έ ραφα στο αποτέ εσμα. Με άση τις τιμές που εμφανίζονται στον Πίνακα 2.1, αν υπο ο ίσουμε τη μέση τιμής ακρί ειας στις περιπτώσεις που α άζει η ανάκ ηση έ ουμε: precision(q) = = Παρατηρούμε ότι η μετρική αυτή αμ άνει με α ύτερες τιμές όσο ν ρίτερα το σύστημα μας δώσει τα σ ετικά έ ραφα. Προφανώς, μπορεί το σύστημα να έ ει κα ή μέση ακρί εια ια το δεδομένο ερώτημα α ά η ακρί εια να μην είναι υψη ή αν ά ουμε υπόψη ό α τα επίπεδα ανάκ ησης. Μία δεύτερη μονότιμη σύνοψη που ρησιμοποιείται είναι η ε όμενη R- ακρί εια. Αν υπο έσουμε ότι R είναι το σύνο ο τ ν σ ετικών ε ράφ ν που πρέπει να ανακτη ούν, τότε R είναι το π ή ος αυτών. Η ιδέα είναι να μετρήσουμε την τιμή της ακρί ειας όταν ά ουμε ακρι ώς R έ ραφα στην έξοδο, ασ έτ ς αν αυτά είναι σ ετικά ή ό ι. Σύμφ να με τις τιμές του Πίνακα 2.1 η τιμής της R-ακρί ειας ια το ερώτημα του παραδεί ματος είναι 0.4 (40%) διότι τα σ ετικά έ ραφα ς προς το ερώτημα είναι 5 και η αντίστοι η ακρί εια στην 5η ραμμή του πίνακα είναι 40% Αρμονικός Μέσος και E-Μετρική Μία ενα ακτική μετρική που έ ει προτα εί στην ερ ασία [11] είναι ο αρμονικός μέσος (harmonic mean), ο οποίος δίνεται από τον ακό ου ο τύπο: F (i) = 2 1 r(i) + 1 p(i) (2.6) όπου το i δη ώνει το i-οστό έ ραφο στη διάταξη της απάντησης, r(i) είναι η τιμή της ανάκ ησης όταν έ ει ανακτη εί το i-οστό έ ραφο και p(i) η αντίστοι η τιμή της ακρί ειας. Είναι προφανές ότι η τιμή του αρμονικού μέσου κυμαίνεται μεταξύ 0 και 1. Αν F (i)=0 τότε κανένα σ ετικό έ ραφο δεν έ ει ανακτη εί, ενώ αν F (i)=1 τότε έ ουν ανακτη εί ό α τα σ ετικά έ ραφα. Επιπ έον, αν οι τιμές ανάκ ησης και ακρί ειας είναι με ά ες, τότε και ο αρμονικός μέσος αμ άνει με ά η τιμή. Ο αρμονικός μέσος ε ρεί ότι τόσο η ανάκ ηση όσο και η ακρί εια έ ουν την ίδια αρύτητα ια την αποτίμηση της αποτε εσματικότητας. Ωστόσο, σε ορισμένες περιπτώσεις μπορεί η μία μετρική να ε ρη εί περισσότερο σημαντική από

13 2.3. Εναλλακτικά Μέτρα Αποτελεσματικότητας 37 την ά η. Η E-μετρική επιτρέπει τη ρήση μίας παραμέτρου w που ρησιμοποιείται ια να προσδιορίσει αν ενδιαφερόμαστε περισσότερο ια την ανάκ ηση ή την ακρί εια. Ο μα ηματικός τύπος που δίνει την E-μετρική είναι ο ακό ου ος: E(i) = 1 1 w p(i) + 1 w r(i), w [0, 1] (2.7) Όπ ς και στον τύπο του αρμονικού μέσου, το i δη ώνει το i-οστό έ ραφο στη διάταξη της απάντησης, r(i) είναι η τιμή της ανάκ ησης όταν έ ει ανακτη εί το i- οστό έ ραφο και p(i) η αντίστοι η τιμή της ακρί ειας. Η παράμετρος w παίρνει τιμές από το διάστημα [0,1] και κα ορίζει τη σημαντικότητα της ανάκ ησης ή της ακρί ειας. Αν w = 0.5 τότε ε ρούμε ότι η ανάκ ηση και η ακρί εια έ ουν την ίδια αρύτητα, αν w > 0.5 τότε δίνουμε με α ύτερο άρος στην ακρί εια, ενώ αν w < 0.5 τότε δίνουμε με α ύτερο άρος στην ανάκ ηση. Σημειώνεται ότι όσο μικρότερη η τιμή της E-μετρικής τόσο κα ύτερη η αποτε εσματικότητα. Μία ενα ακτική μορφή της E-μετρικής δίνεται στον ακό ου ο τύπο: E(i) = w2 w 2 r(i) + 1 p(i), w [0, ] (2.8) Αν w = 1, τότε εύκο α διαπιστώνουμε ότι E(i) = 1 F (i). Αν w > 1 τότε δίνουμε με α ύτερη αρύτητα στην ακρί εια, ενώ αν w < 1 τότε η ανάκ ηση ε ρείται περισσότερο σημαντική. ανάκ ηση ακρί εια F E (w=1) E (w=0.2) E (w=2) 20% 100% % 100% % 66% % 50% % 40% % 50% % 57% % 50% % 55% Πίνακας 2.3: Τιμές ανάκλησης, ακρίβειας, αρμονικού μέσου και E-μετρικής. Στον Πίνακα 2.3 δίνονται οι τιμές ανάκ ησης, ακρί ειας, αρμονικού μέσου και E-μετρικής ια τα δεδομένα του Πίνακα 2.1. Για την E-μετρική έ ουμε ρησιμοποιήσει τη Σ έση 2.8, ενώ ο υπο ο ισμός της μετρικής πρα ματοποιή ηκε

14 38 Κεφάλαιο 2. Αποτίμηση Αποτελεσματικότητας ια τρεις διαφορετικές τιμές της παραμέτρου w (1, 0.2 και 2). Όπ ς είναι προφανές από τους προη ούμενους τύπους, όταν w=1 η τιμή της E-μετρικής είναι το συμπ ήρ μα του αρμονικού μέσου. Όταν w=0.2, τότε δίνουμε με α ύτερη αρύτητα στην ακρί εια και αυτό φαίνεται από τις αμη ές τιμές που αμ άνει η μετρική όταν έ ουμε με ά ες τιμές ακρί ειας. Κάτι αντίστοι ο παρατηρούμε και στην περίπτ ση w=2, όπου δίνεται με α ύτερη αρύτητα στην ανάκ ηση, επομέν ς η E-μετρική αμ άνει αμη ές τιμές ια υψη ές τιμές ανάκ ησης. 2.4 Συ ο ές Αναφοράς και Με έτες Αποτε εσματικότητας Οι μετρικές που με ετήσαμε έ ς τώρα αποτε ούν το ένα τμήμα της αποτίμησης αποτε εσματικότητας ενός συστήματος ή ενός α ορί μου. Το δεύτερο τμήμα που πρέπει να προσδιορισ εί είναι η συ ο ή ε ράφ ν και το σύνο ο τ ν ερ τημάτ ν που α εκτε εστούν. Βέ αια α μπορούσε κάποιος να ρησιμοποιήσει μία οποιαδήποτε συ ο ή ε ράφ ν και ένα οποιοδήποτε σύνο ο ερ τημάτ ν και να προσδιορίσει τις τιμές τ ν μετρικών. Αυτή η πρακτική δεν είναι η κα ύτερη δυνατή ια τους εξής ό ους: η συ ο ή ε ράφ ν και ο προσδιορισμός ερ τημάτ ν είναι ρονο όρες διαδικασίες, η επι ο ή τ ν ε ράφ ν και τ ν ερ τημάτ ν ενδέ εται να οδη ήσει σε εσφα μένα συμπεράσματα ια την αποτε εσματικότητα ενός συστήματος, η σ ετικότητα ενός ε ράφου ς προς ένα ερώτημα είναι πο ές φορές υποκειμενική, με αποτέ εσμα η σύ κριση διαφορετικών με όδ ν ή συστημάτ ν να μην είναι επαρκής. Τα προ ήματα αυτά έρ ονται να επι ύσουν οι συλλογές αναφοράς (reference collections). Πρόκειται ια συ ο ές ε ράφ ν και ερ τημάτ ν που ρησιμοποιούνται από ερευνητές και από κατασκευαστές συστημάτ ν με στό ο την αποτίμηση της αποτε εσματικότητας. Μαζί με κά ε ερώτημα δίνονται και τα σ ετικά ς προς το ερώτημα έ ραφα έτσι ώστε να είναι δυνατός ο υπο ο ισμός της ανάκ ησης και της ακρί ειας. Η διαδικασία που εφαρμόζεται ια τη διεξα ή τ ν πειραμάτ ν και τον προσδιορισμό τ ν μετρικών αποτε εσματικότητας παρουσιάζεται στο Σ ήμα 2.6.

15 2.4. Συλλογές Αναφοράς και Μελέτες Αποτελεσματικότητας 39 έγγραφα αναφοράς ερωτήµατα αναφοράς µέθοδος ή σύστηµα προς έλεγχο αποτελέσµατα αναφοράς αποτελέσµατα αναζήτήσεων σύγκριση αποτελεσµάτων και υπολογισµός µετρικών ανάκληση και ακρίβεια Σχήμα 2.6: Διεξαγωγή πειραμάτων με χρήση συλλογών αναφοράς Πειράματα Cranfield Η συ ο ή Cranfield είναι η πρώτη συ ο ή αναφοράς που δημιουρ ή ηκε ια την αποτίμηση αποτε εσματικότητας. Η συ ο ή άρ ισε να δημιουρ είται στη Με ά η Βρετανία στα τέ η της δεκαετίας του 1950 και αποτε είται από 1398 περι ήψεις άρ ρ ν που έ ουν δημοσιευ εί σε επιστημονικά περιοδικά αεροδυναμικής. Η συ ο ή συνοδεύεται από 225 ερ τήματα ια τα οποία έ ουν προσδιορισ εί τα σ ετικά έ ραφα κατόπιν εις ά ους με έτης της συ ο ής. Ο Cyril William Cleverdon ήταν ο πρώτος επιστήμονας που ρησιμοποίησε τις έννοιες της ανάκ ησης και της ακρί ειας ια την αποτίμηση της αποτε εσματικότητας τ ν ΣΑΠ. Εκτός από Π ηροφορικός, ο Cleverdon υπήρξε Βι ιο ηκονόμος στο κο έ ιο αεροναυτικής Cranfield της Με ά ης Βρετανίας. Τα πειράματα του Cleverdon είναι διε νώς ν στά ς πειράματα Cranfield. Ένα σημαντικό τμήμα της έρευνας του Cleverdon εστιάστηκε στη με έτη διαφορετικών με όδ ν δημιουρ ίας ευρετηρί ν (κατα ό ν) και τε νικών ανάκτησης με στό ο την αύξηση της αποτε εσματικότητας [3]. Με ετή ηκαν 33 στρατη ικές αναζήτησης συνδυάζοντας απ ά ευρετήρια, ευρετήρια φράσης, ρήση ησαυρού ια τον προσδιορισμό συν νύμ ν, ρήση αρών. Ένα σημαντικό αποτέ- εσμα της έρευνας ήταν το ε ονός ότι απ ά σ ήματα κατα ό ν εί αν κα ύτερη απόδοση από πιο πο ύπ οκα, κάτι που ε ρή ηκε αρκετά παράξενο από ά ους ερευνητές και εί ε ς συνέπεια να επικρι εί η έρευνα του Cleverdon από ορισμένους ερευνητές. Ωστόσο, ο Salton επι ε αί σε τα αποτε έσματα του Cleverdon με το σύστημα SMART.

16 40 Κεφάλαιο 2. Αποτίμηση Αποτελεσματικότητας Το Σύστημα SMART Το σύστημα SMART (Salton's Magic Automatic Retriever of Text) είναι ένα ΣΑΠ που αναπτύ ηκε στο Πανεπιστήμιο Cornell τ ν Η.Π.Α. τη δεκαετία του Ο Gerard Salton η ή ηκε της ομάδας ανάπτυξης. Το σύστημα SMART ε ρείται πο ύ σημαντικό διότι ς τμήμα της έρευνας και ανάπτυξης στα π αίσια του SMART προτά ηκαν σημαντικές τε νικές Ανάκτησης Π ηροφορίας όπ ς το Διανυσματικό μοντέ ο και η Ανάδραση Σ ετικότητας Οι Συ ο ές CACM και ISI Οι συ ο ές CACM και ISI έ ουν ρησιμοποιη εί από τον Fox [4, 6] και στη συνέ εια και από ά ους ερευνητές. Η συ ο ή ε ράφ ν CACM περιέ ει 3204 άρ ρα που έ ουν δημοσιευ εί το ρονικό διάστημα στο περιοδικό Communications of the ACM. Τα άρ ρα αυτά προέρ ονται από διαφορετικές περιο ές της Π ηροφορικής και έτσι κα ύπτεται ένα ευρύ φάσμα εννοιών. Ο συνο ικός αρι μός τ ν διαφορετικών όρ ν στα έ ραφα είναι 10446, ενώ αντιστοι ούν κατά μέσο όρο 40.1 όροι ανά έ ραφο. Η συ ο ή CACM συνοδεύεται από 52 ερ τήματα με 11.4 όρους το κα ένα (μέση τιμή), ενώ ο μέσος όρος τ ν σ ετικών ε ράφ ν ανά ερώτημα είναι Για παράδει μα, το 34ο ερώτημα έ ει ς εξής: Currently interested in isolation of root of polynomial; there is an old article by Heindel, L.E. in J. ACM, Vol. 18, I would like to find more recent material. Η συ ο ή ISI περι αμ άνει 1460 έ ραφα που έ ουν επι ε εί από τη συ - ο ή που δημιούρ ησε ο Small στο Ινστιτούτο Επιστημονικών Π ηροφοριών (Institute of Scientific Information). Τα έ ραφα που επι έ ηκαν ια τη συ - ο ή ISI είναι αυτά που έ ουν το με α ύτερο αρι μό αναφορών. Ο συνο ικός αρι μός όρ ν στα έ ραφα είναι 7392, ενώ αντιστοι ούν όροι ανά έ ραφο. Η συ ο ή ISI συνοδεύεται συνο ικά από 76 ερ τήματα διατυπ μένα σε φυσική ώσσα, ενώ ια τα 35 από αυτά υπάρ ουν αντίστοι ες ο ικές εκφράσεις. Κά ε ερώτημα αποτε είται κατά μέσο όρο από 8.1 έξεις, ενώ ο αρι μός τ ν σ ετικών ε ράφ ν ανά ερώτημα είναι κατά μέσο όρο Στη συνέ εια δίνουμε το 4ο ερώτημα της συ ο ής ISI σε φυσική ώσσα: Image recognition and any other methods of automatically transforming printed text into computer-ready form.

17 2.4. Συλλογές Αναφοράς και Μελέτες Αποτελεσματικότητας 41 Η αντίστοι η ο ική έκφραση ια το ερώτημα αυτό έτσι όπ ς δίνεται στο αρ είο που περιέ ει τις ο ικές εκφράσεις έ ει ς εξής: #q4= #or (#and ('image', 'recognition'), #and ( #or ('printed', 'text'), #or ('methods', 'automatically', 'transforming', #and ('computer', 'ready')) ) ); Οι Συ ο ές TREC Το 1992 διεξή η το πρώτο συνέδριο TREC (Text REtrieval Conference) στο NIST (National Institute of Standards and Technology) στο Maryland τ ν Η.Π.Α. Αφορμή ια την ορ άν ση του συνεδρίου ήταν η έ ειψη ενός συστηματικού τρόπου ε έ ου της απόδοσης τ ν με όδ ν Ανάκτησης Π ηροφορίας. Το συνέδριο TREC άνοιξε το δρόμο ια τη δημιουρ ία συ ο ών ε ράφ ν και ερ τημάτ ν με στό ο τη ρήση αυτών ια συστηματική αποτίμηση. Αν και πριν το TREC υπήρ αν συ ο ές αναφοράς (όπ ς έ ουμε αναφέρει σε προη ούμενες παρα ράφους), οι συ ο ές αυτές ήταν σ ετικά μικρές ια να εξα ούν ασφα ή συμπεράσματα σ ετικά με την απόδοση τ ν συστημάτ ν. Το συνέδριο TREC αποτε εί το κατά η ο περι ά ον όπου πο οί ερευνητές μπορούν να με ετήσουν τα προ ήματα της Ανάκτησης Π ηροφορίας σε πο ύ με ά ες και διαφορετικές συ ο ές ε ράφ ν. Στον Πίνακα 2.4 παρουσιάζονται μερικά αρακτηριστικά σύνο α δεδομέν ν που έ ουν ρησιμοποιη εί στα συνέδρια TREC. συ ο ή μέ ε ος π ή ος μέσος αρι μός έξε ν ε ράφ ν (MBytes) ε ράφ ν ανά έ ραφο Wall Street Journal Wall Street Journal Federal Register Federal Register Financial Times Associated Press Associated Press Associated Press Πίνακας 2.4: Μερικές συλλογές εγγράφων που έχουν χρησιμοποιηθεί στο TREC.

18 42 Κεφάλαιο 2. Αποτίμηση Αποτελεσματικότητας Το TREC ρίζεται σε διαφορετικές κατευ ύνσεις 1. Η κά ε κατεύ υνση εξειδικεύεται σε μία συ κεκριμένη κατη ορία προ ημάτ ν ή δεδομέν ν. Σημειώνεται ότι δεν πρα ματοποιούνται ό ες οι κατευ ύνσεις κά ε ρόνο. Με άση τα στοι εία τ ν συνεδρί ν που έ ουν διεξα εί [14], παρα έτουμε μερικές από τις κατυε ύνσεις: Filtering Track: Η κατεύ υνση αυτή στο εύει στη με έτη τε νικών φι τραρίσματος. Όπ ς έ ει περι ραφεί στο Κεφά αιο 1 το φι τράρισμα ρησιμοποιείται όταν έ ουμε ένα σύνο ο ερ τημάτ ν που παραμένουν στα ερά και η συ ο ή ε ράφ ν έ ει τη μορφή ροής (νέα έ ραφα είναι συνε- ώς δια έσιμα). Η κατεύ υνση ενερ οποιή ηκε τε ευταία φορά στο TREC Web Track: Η κατεύ υνση αυτή ενερ οποιή ηκε τε ευταία φορά στο TREC 2004 και έ ει ς στό ο τη με έτη αναζήτησης ε ράφ ν σε συ - ο ή που αποτε εί στι μιότυπο του πα κόσμιου ιστού. Terabyte Track: Βασικός σκοπός της κατεύ υνσης αυτής είναι η με έτη της ικανότητας τ ν συστημάτ ν ανάκτησης σ ετικά με την κ ιμάκ ση που μπορούν να επιτύ ουν ς προς το μέ ε ος της συ ο ής ε ράφ ν. Το ενδιαφέρον αυτής της κατεύ υνσης εστιάζεται σε συ ο ές πο ύ με- α ύτερες από αυτές που ρησιμοποιούνται στο TREC. Η κατεύ υνση ενερ οποιή ηκε τε ευταία φορά στο TREC Question Answering Track: Αυτή η κατεύ υνση του TREC ασ ο είται με τη με έτη της απάντησης ερώτησης, με στό ο η Ανάκτηση Π ηροφορίας να προ ρήσει ένα ήμα περισσότερο από την ανάκτηση ε ράφ ν. Novelty Track: Η κατεύ υνση αυτή με ετά την ικανότητα τ ν συστημάτ ν να εντοπίζουν νέα π ηροφορία. Η τε ευταία φορά που ενερ οποιή ηκε αυτή η κατεύ υνση ήταν στο συνέδριο TREC Legal Track: Η κατεύ υνση αυτή ενερ οποιή ηκε ια πρώτη φορά στο TREC Στό ος της είναι η ανάπτυξη με όδ ν αναζήτησης ια την αποτε εσματική Ανάκτηση Π ηροφορίας σε συ ο ές νομικών ε ράφ ν. SPAM Track: Στό ος της κατεύ υνσης αυτής είναι η αποτίμηση με όδ ν ια φι τράρισμα τ ν μηνυμάτ ν η εκτρονικού τα υδρομείου τύπου spam, που αρακτηρίζονται ανεπι ύμητα και πο ύ ενο ητικά. 1 Ο αντίστοι ος α ικός όρος είναι tracks.

19 2.5. Σύνοψη και Περαιτέρω Μελέτη 43 Video Track: Η κατεύ υνση αυτή στο εύει στη με έτη με όδ ν ια αυτόματη τμηματοποίηση, τη δημιουρ ία με όδ ν προσπέ ασης και την ανάκτηση video μα άση το περιε όμενο. Από το 2003 η κατεύ υνση αυτή αποκόπηκε από το TREC και είναι ν στή με το όνομα TRECVID [15]. Genomics Track: Όπ ς δη ώνει και ο τίτ ος της, η κατεύ υνση αυτή εστιάζει στη με έτη με όδ ν ανάκτησης π ηροφορίας σε δεδομένα ονιδί ν. Σημειώνεται ότι δεν εξετάζονται μόνο ακο ου ίες ονιδί ν α ά και ερευνητικές ερ ασίες και αναφορές. Cross-Language Track: Η κατεύ υνση αυτή εστιάζει στην Ανάκτηση Π ηροφορίας από μία συ ο ή ε ράφ ν που είναι ραμμένα στη ώσσα A ρησιμοποιώντας ερ τήματα που δίνονται στη ώσσα B. Η κατεύ υνση ενερ οποιή ηκε τε ευταία φορά στο TREC Τα έματα που αφορούν τη δια σσική Ανάκτηση Π ηροφορίας με ετώνται από το CLEF (Cross- Language Evaluation Forum) [2]. Κά ε φορά προσδιορίζεται ένα σύνο ο ε ράφ ν, ερ τημάτ ν και σ ετικών ε ράφ ν ια κά ε ερώτημα. Με άση τα δεδομένα αυτά οι ερευνητές εκτε ούν σειρές πειραμάτ ν. Στο Σ ήμα 2.7 δίνεται η περι ραφή δύο ερ τημάτ ν (στο TREC τα ερ τήματα κα ούνται topics) με κ δικούς 778 και 790 που έ ουν ρησιμοποιη εί στο Terabyte Track στο TREC Περισσότερα στοι εία σ ετικά με τις κατευ ύνσεις του TREC που ενερ οποιούνται κά ε ρόνο κα ώς επίσης και συ ο ές ε ράφ ν και ερ τημάτ ν ια τις διαφορετικές κατευ ύνσεις του TREC υπάρ ουν στον ιστότοπο του συνεδρίου TREC [14]. 2.5 Σύνοψη και Περαιτέρ Με έτη Στο κεφά αιο αυτό με ετήσαμε μερικά σημαντικά ζητήματα της περιο ής της Ανάκτησης Π ηροφορίας που σ ετίζονται με την αποτίμηση της αποτε εσματικότητας. Σε αντί εση με τα ΣΔΒΔ, στην περίπτ ση τ ν ΣΑΠ α πρέπει να υπάρ ουν συστηματικοί τρόποι μέτρησης της επάρκειας τ ν αποτε εσμάτ ν, κα ώς διαφορετικές μέ οδοι ανάκτησης ή διαφορετικά συστήματα ενδέ εται να δώσουν και διαφορετικά αποτε έσματα. Οι δύο ασικότερες μετρικές που ρησιμοποιούνται ια τη μέτρηση της αποτε εσματικότητας είναι η ανάκ ηση και η ακρί εια. Λό της δυσκο ίας να συ- κρίνουμε διαφορετικές με όδους με άση τις καμπύ ες ανάκ ησης-ακρί ειας, έ ουν προτα εί και ενα ακτικές μετρικές που είτε απ ά υπο ο ίζουν μέσες

20 44 Κεφάλαιο 2. Αποτίμηση Αποτελεσματικότητας <top> <num> Number: 778 <title> golden ratio <desc> Description: Golden ratio formula, description, or examples. <narr> Narrative: Documents must contain the Golden Ratio formula or a description of its development. References to works of art, design, or architecture are acceptable. Examples of the Golden Ratio appearing in nature are acceptable. Other terms, such as "Golden Mean" or "Golden Proportion", are acceptable and can be substituted for Golden Ratio. References to Fibonacci without specifying the Golden Ratio or its formula are not acceptable. Documents limited to web links, bibliographies, or tables of contents (without accompanying documents) are not acceptable. </top> <top> <num> Number: 790 <title> women's rights in Saudi Arabia <desc> Description: Provide any description of laws or restrictions affecting Saudi Arabian women's rights. <narr> Narrative: Acceptable documents must provide a narrative description of Saudi laws or restrictions affecting Saudi women. Relevance to women must be specifically mentioned; general laws affecting women only as a subset of the whole Population is not acceptable. Documents that allude to women's rights and restrictions are not acceptable unless they give an example, however vague. References to changes in the laws, improvements, etc. are all acceptable. The time period should be relatively current (past 50 years). </top> Σχήμα 2.7: Παραδείγματα ερωτημάτων από το TREC 2005 Terabyte Track. τιμές ακρί ειας σε κα ορισμένα επίπεδα ανάκ ησης, είτε συνδυάζουν τις τιμές ανάκ ησης και ακρί ειας. Η μέτρηση της αποτε εσματικότητας προϋπο έτει ότι εκτός από τον προσδιορισμό τ ν μετρικών αποτίμησης πρέπει να υπάρ ουν και οι κατά η ες συ ο ές ε ράφ ν και ερ τημάτ ν. Επειδή η κατασκευή νέ ν συ ο ών είναι πο ύ ρο-

21 2.6. Ασκήσεις 45 νο όρα διαδικασία οι ερευνητές ρησιμοποιούν συ ο ές που είναι δια έσιμες και ια κά ε ερώτημα το σύνο ο τ ν σ ετικών ε ράφ ν είναι ν στό. Μερικές από τις πιο ασικές και ευρέ ς ρησιμοποιούμενες συ ο ές είναι οι Cranfield, CACM, ISI, και TREC. Ο ανα νώστης που ενδιαφέρεται να εμ α ύνει στο πο ύ ενδιαφέρον ζήτημα της αποτίμησης αποτε εσματικότητας μπορεί να ανατρέξει σε π ή ος επιστημονικών άρ ρ ν που σ ετίζονται με το συ κεκριμένο πρό ημα. Μία πο ύ κα ή επισκόπηση της δου ειάς που έ ει ίνει πάν στο έμα της σ ετικότητας ε ράφ ν ρίσκεται στην ερ ασία [9]. Περισσότερες π ηροφορίες ια τις συ ο ές CACM και ISI υπάρ ουν στις ερ ασίες [4, 6], ενώ στη διδακτορική διατρι ή του Fox [1] ο ανα νώστης μπορεί να ρει και ά ο ρήσιμο σ ετικό υ ικό. Το σύστημα SMART είναι δια έσιμο στη διεύ υνση [7]. Στην ίδια διεύ υνση ο ενδιαφερόμενος μπορεί να ρει και μερικές από τις συ ο ές που έ ουν ρησιμοποιη εί από τους ερευνητές, μεταξύ τ ν ά ν και τις CACM και ISI. Σ ετικά με τα συνέδρια TREC ο ανα νώστης μπορεί να ξεκινήσει από τον αντίστοι ο ιστότοπο [14] και στη συνέ εια να με ετήσει τα αντίστοι α άρ ρα τ ν συνεδρί ν. Επίσης, εκτενής αναφορά σε έματα αποτίμησης αποτε εσματικότητας ίνεται στο 3ο κεφά αιο του ι ίου [3] και στο 8ο κεφά αιο του ι ίου [3]. 2.6 Ασκήσεις 2.1 Γιατί απαιτείται η σύ κριση συστημάτ ν ανάκτησης και ς προς την απόδοση και ς προς την αποτε εσματικότητα; 2.2 Πώς ορίζεται η ανάκ ηση, η ακρί εια και η αστο ία; 2.3 Να σ ο ιάσετε τη σ έση ανάκ ησης και ακρί ειας. 2.4 Ποιοί παρά οντες επηρεάζουν την ανάκ ηση ή την ακρί εια; Να δώσετε κατατοπιστικά παραδεί ματα. 2.5 Γιατί απαιτούνται ενα ακτικές μετρικές αποτίμησης αποτε εσματικότητας; 2.6 Ποιές συ ο ές ε ράφ ν έ ουν ρησιμοποιη εί κατά καιρούς από τους ερευνητές ια τη διεξα ή πειραμάτ ν; 2.7 Τι είναι το σύστημα SMART και ια ποιό ό ο ε ρείται σημαντικό; 2.8 Για ποιούς ό ους ε ρείτε ότι απαιτούνται ορ αν μένες συ ο ές ε ράφ ν ια τη διεξα ή πειραμάτ ν;

22 46 Κεφάλαιο 2. Αποτίμηση Αποτελεσματικότητας 2.9 Προσπα ήστε να προσδιορίσετε εφαρμο ές όπου η ανάκ ηση παίζει σημαντικότερο ρό ο από την ακρί εια και το ανάποδο Ποιά είναι η κα ύτερη δυνατή καμπύ η ανάκ ησης-ακρί ειας που α μπορούσαμε να έ ουμε; 2.11 Να αποδείξετε ότι με την ένα-προς-ένα εξέταση τ ν ε ράφ ν της απάντησης (α) η ανάκ ηση είτε αυξάνεται είτε παραμένει στα ερή και ( ) η ακρί εια μπορεί να μει εί, να αυξα εί ή να παραμείνει στα ερή Δίνεται συ ο ή ε ράφ ν που αποτε είται από N έ ραφα. Για ένα συ- κεκριμένο ερώτημα q έστ ότι R q < N είναι το π ή ος τ ν σ ετικών ε ράφ ν. Αν δια έξουμε R q τυ αία έ ραφα από τη συ ο ή, ποιά είναι η πι ανότητα να έ ουμε ανάκ ηση του ά ιστον 40% και ακρί εια του ά ιστον 30%; 2.13 Αν σας ζητη εί να εκτε έσετε ένα ερώτημα έτσι ώστε να έ ουμε την κα ύτερη δυνατή ανάκ ηση και ταυτό ρονα τη ειρότερη δυνατή ακρί εια, π ς α προ ρούσατε; 2.14 Να κατασκευάσετε πρό ραμμα που εκτε εί τα ακό ου α: (α) δια άζει τη συ ο ή ε ράφ ν CACM, ( ) δια άζει τα ερ τήματα που αφορούν στη συ ο ή αυτή, ( ) ια κά ε ερώτημα προσδιορίζει ς σ ετικά τα έ ραφα που περιέ ουν ό ους τους όρους του ερ τήματος, (δ) τυπώνει ια κά ε ερώτημα την ανάκ ηση και την ακρί εια. Να επανα ηφ εί η διαδικασία όταν επι έ ουμε τυ αία k όρους από το ερώτημα και αναφέρουμε ς σ ετικά τα έ ραφα που περιέ ουν και τους k όρους. Να δώσετε ια ό α τα ερ τήματα τις τιμές ανάκ ησης και ακρί ειας ια διαφορετικές τιμές του k Δίνεται μία συ ο ή ε ράφ ν που αποτε είται από 16 έ ραφα με κ δικούς d 1 έ ς d 16. Έ ουμε στη διά εσή μας δύο διαφορετικούς α ορί μους επεξερ ασίας ενός ερ τήματος q. Έστ ότι ο πρώτος α όρι μος αναφέρει ότι τα 5 περισσότερο σ ετικά έ ραφα είναι A 1 = {d 1, d 2, d 3, d 10, d 11 } ενώ ο δέυτερος επιστρέφει το σύνο ο ε ράφ ν A 2 = {d 9, d 1, d 3, d 2, d 5 }. Γν ρίζοντας ότι το σύνο ο τ ν σ ετικών ς προς το ερώτημα ε ράφ ν είναι το R q = {d 1, d 2, d 3, d 4, d 5 }: (i) να υπο ο ίζεται τη συνο ική ανάκ ηση και την ακρί εια ια τις δύο με όδους, (ii) να υπο ο ίσετε την ακρί εια κά ε φορά που α άζει η ανάκ ηση, και (iii) να συζητήσετε σ ετικά με την αποτε εσματικότητα τ ν δύο α ορί μ ν Δίνονται οι ακό ου ες δυο διατάξεις που αφορούν στην απάντηση ενός

23 2.6. Ασκήσεις 47 ερ τήματος από δύο μη ανές αναζήτησης: recall: precision: recall: precision: Να σημειώσετε ια κά ε αποτέ εσμα ποιά έ ραφα είναι σ ετικά και ποιά ό ι. Επίσης, να σ ο ιάσετε σ ετικά με το ποιά μη ανή είναι πιο αποτε εσματική ια την απάντηση του συ κεκριμένου ερ τήματος.

24

25 Βι ιο ραφία [1] R. Baeza-Yates and B. Ribeiro-Neto. Modern Information Retrieval. Addison Wesley, [2] CLEF. [3] C.W. Cleverdon. The effect of variations in relevance assessments in comparative experimental tests of index languages. Technical report, Cranfield Institute of Technology, UK, [4] E.A. Fox. Characterization of two new experimental collections in computer and information science containing textual and bibliographic concepts. Technical report, Cornell University, USA, [5] E.A. Fox. Extending the Boolean and Vector Space Models of Information Retrieval with P-Norm Queries and Multiple Concept Types. PhD thesis, Cornell University, [6] E.A. Fox and M.B. Koll. Practical enhanced boolean retrieval: Experiences with the smart and sire systems. Information Processing and Management, 24: , [7] R. Korfhage. Information Storage and Retrieval. John Wiley & Sons, [8] C.D. Manning, P. Raghavan, and H. Schutze. An Introduction to Information Retrieval (draft version). Cambridge University Press, [9] S. Mizzaro. Relevance: The whole history. Journal of the American Society for Information Sciences, 48(9): , [10] V.V. Raghavan and S.K.M. Wong. A critical investigation of recall and precision as measures of retrieval systems performance. ACM Transactions on Office and Information Systems, 7(3): ,

26 50 Βιβλιογραφία [11] W.M. Shaw, R. Burgin, and P. Howell. Performance standards and evaluation in ir test collections: Cluster-based retrieval methods. Information Processing and Management, 33(1):1-14, [12] SMART. ftp://ftp.cs.cornell.edu/pub/smart/. Cornell University. [13] J. Tague-Sutcliffe. Measuring the informativeness of a retrieval process. In Proceedings of the 15th Annual International ACM SIGIR Conference, pages 23-36, Copenhagen, Denmark, [14] TREC. [15] TRECVID.