Το Πι ανοκρατικό Μοντέ ο

Transcript

1 5 Το Πι ανοκρατικό Μοντέ ο Περιε όμενα Κεφα αίου 5.1 Εισα ή Βασικές Έννοιες Θε ρίας Πι ανοτήτ ν Υπο ο ισμός Σ ετικότητας Ε ράφ ν Μέτρο Ομοιότητας Υπο ο ισμός της Ομοιότητας Μέ οδος Okapi ΒΜ Ανάκτηση με Χρήση Δικτύ ν Bayes Μοντέ ο Δικτύου Συμπερασμάτ ν Μοντέ ο Δικτύου Πίστης Σύνοψη και Περαιτέρ Με έτη Ασκήσεις

2 94 Κεφάλαιο 5. Το Πιθανοκρατικό Μοντέλο 5.1 Εισα ή Στο κεφά αιο αυτό, εξετάζουμε το τρίτο μοντέ ο ανάκτησης της κατη ορίας τ ν Κ ασικών μοντέ ν το οποίο αρακτηρίζεται από τη μα ηματική του εμε ί ση με τη οή εια της Θε ρίας Πι ανοτήτ ν. Αυτός είναι και ο ασικός ό ος ια τον οποίο κα είται Πιθανοκρατικό (probabilistic) μοντέ ο ανάκτησης. Είναι το πρώτο προτεινόμενο μοντέ ο ανάκτησης που στηρίζεται σε πι ανότητες. Η ρήση της Θε ρίας Πι ανοτήτ ν στην ανάκτηση π ηροφορίας προτά ηκε ια πρώτη φορά από τους Maron και Kuhns το 1960 [4], ενώ η ερ ασία τ ν Robertson και Sparck Jones [8] ε ρείται στα μός ια την πιθανοκρατική ανάκτηση πληροφορίας (probabilistic information retrieval). Το κίνητρο ια την εφαρμο ή πι ανοτήτ ν είναι το ε ονός ότι η διαδικασία της ανάκτησης αρακτηρίζεται από ασάφεια (uncertainty). Ένα τμήμα της ασάφειας οφεί εται στο ότι με άση το ερώτημα του ρήστη δεν είναι δυνατόν να προσδιορίσουμε επακρι ώς την π ηροφοριακή του ανά κη. Το ά ο τμήμα της ασάφειας οφεί εται στον προσδιορισμό της ομοιότητας μεταξύ της αναπαράστασης ενός ερ τήματος και ενός ε ράφου της συ ο ής. Το Πι ανοκρατικό μοντέ ο προσπα εί να ποσοτικοποιήσει την ασάφεια, υπο ο ίζοντας πόσο πι ανό είναι το ε ονός ένα έ ραφο να είναι σ ετικό ς προς το ερώτημα του ρήστη. Το ασικό ερ α είο που δια έτουμε ια τον αρακτηρισμό ενός ε ράφου ς σ ετικού ή μη σ ετικού ς προς ένα ερώτημα είναι η συνάρτηση ομοιότητας. Για παράδει μα, μπορούμε να ορίσουμε κάποιο κατώφ ι στο α μό ομοιότητας έτσι ώστε τα έ ραφα που παρουσιάζουν ομοιότητα ( ς προς τη συνάρτηση ομοιότητας) με α ύτερη από το κατώφ ι να αρακτηρίζονται ς σ ετικά, ενώ τα υπό οιπα μη σ ετικά. Μία ενα ακτική μέ οδος δια ρισμού τ ν ε ράφ ν είναι να ε ρήσουμε ότι τα k έ ραφα με το με α ύτερο α μό ομοιότητας είναι τα σ ετικά, ενώ τα υπό οιπα είναι μη σ ετικά. Η επι ο ή της συνάρτησης ομοιότητας πρα ματοποιείται κυρί ς με άση πειραματικές μετρήσεις. Σε περίπτ ση που η συνάρτηση ομοιότητας προσφέρει υψη ές τιμές ανάκ ησης και ακρί ειας τότε επι έ εται. Αυτός ο τρόπος επι ο ής της συνάρτησης στόσο δε στηρίζεται σε κάποιο φορμα ισμό και μπορεί να ε ρη εί αυ αίρετη. Με τη ρήση του Πι ανοκρατικού μοντέ ου ανάκτησης, η επι ο ή της συνάρτησης ομοιότητας ασίζεται σε μία διαδικασία σύ κ ισης, με σκοπό τον προσδιορισμό τ ν τιμών τ ν παραμέτρ ν του μοντέ ου. Επομέν ς, η επι ο ή της συνάρτησης ομοιότητας πρα ματοποιείται με πιο φυσικό τρόπο που σί ουρα δεν είναι αυ αίρετος. Θα ξεκινήσουμε με το απ ού Πι ανοκρατικό μοντέ ο, ενώ στη συνέ εια α κα ύψουμε δύο ακόμη μοντέ α που ρησιμοποιούν πι ανότητες ια τον προσδιορισμό της ομοιότητας τ ν ε ράφ ν και στηρίζονται στα δίκτυα Bayes.

3 5.2. Βασικές Έννοιες Θεωρίας Πιθανοτήτων Βασικές Έννοιες Θε ρίας Πι ανοτήτ ν Στο σημείο αυτό ε ρείται σκόπιμο να παρατε εί μία συνοπτική παρουσίαση τ ν ασικών αρ ών της Θε ρίας Πι ανοτήτ ν, οι οποίες α ρησιμοποιη ούν ια την περι ραφή του Πι ανοκρατικού μοντέ ου. Αν a είναι κάποιο ε ονός, τότε η πι ανότητα να συμ εί το ε ονός αυτό συμ ο ίζεται με P (a). Με άση τη Θε ρία Πι ανοτήτ ν ισ ύει: 0 P (a) 1. Ακο ου ούν δύο σημαντικοί ορισμοί: Ορισμός 5.1. (ανεξάρτητα γεγονότα) Δύο γεγονότα θεωρούνται ανεξάρτητα όταν η εμφάνιση του ενός δεν επηρεάζεται από την εμφάνιση ή μη εμφάνιση του άλλου. Ορισμός 5.2. (υπό συνθήκη πιθανότητα) Η υπό συνθήκη πιθανότητα του γεγονότος a ως προς το γεγονός b συμβολίζεται με P (a b) και εκφράζει την πιθανότητα να συμβεί το γεγονός a δεδομένου ότι έχει συμβεί το γεγονός b. Θεώρημα 5.1. Δύο γεγονότα a και b είναι ανεξάρτητα αν και μόνο αν P (a b) = P (a) P (b). Θεώρημα 5.2. Τα γεγονότα a 1, a 2,..., a n είναι υπο συνθήκη ανεξάρτητα αν και μόνο αν a i, a j, P (a i a j ) = P (a i ). Παράδει μα 5.1 Στο Σ ήμα 5.1 δίνονται τα ε ονότα a και b. Με a και b συμ ο ίζονται οι αρνήσεις τ ν ε ονότ ν αυτών. Προφανώς ισ ύει ότι P ( a) = 1 - P (a) και P ( b) = 1 - P (b). Έστ γ 1, γ 2, γ 3 και γ 4 τα ε ονότα που σ ηματίζονται όπ ς φαίνεται στο Σ ήμα 5.1. Αν συμ ο ίσουμε με n(γ i ) το π ή ος τ ν στοι εί ν που ικανοποιούν το ε ονός γ i και N ο συνο ικός αρι μός τ ν στοι εί ν, τότε έ ουμε: P (a) = (n(γ 2 ) + n(γ 3 ))/N, P (b) = (n(γ 1 ) + n(γ 2 ))/N. Είναι προφανές ότι τα ε ονότα a και b δεν είναι ανεξάτητα. Για να το δούμε αυτό α υπο ο ίσουμε την υπό συν ήκη πι ανότητα να συμ εί το ε ονός a δεδομένου ότι έ ει συμ εί το ε ονός b. Σύμφ να με την προη ούμενη συζήτηση, η ποσότητα αυτή συμ ο ίζεται με P (a b). Είναι προφανές ότι: P (a b) = n(γ 2 )/(n(γ 1 ) + n(γ 2 )). Από την τε ευταία σ έση έ ουμε: P (a b) (n(γ 1 ) + n(γ 2 )) = n(γ 2 ) και επομέν ς ισ ύει ότι P (a b) P (b) = P (a b). Παράδει μα 5.2 Έστ ότι έ ουμε στη διά εσή μας δύο δίκαια ζάρια (η πι ανότητα να φέρουμε ένα

4 96 Κεφάλαιο 5. Το Πιθανοκρατικό Μοντέλο b b γ 1 γ 4 γ 2 γ 3 a a Σχήμα 5.1: Γεγονότα που δεν είναι ανεξάρτητα. από τα 6 νούμερα είναι ίδια). Είναι προφανές, ότι αν ρίξουμε διαδό ικά τα ζάρια, η τιμή του δεύτερου ζαριού δεν εξαρτάται από την τιμή του πρώτου. Για παράδει μα, αν συμ ο ίσουμε τα ζάρια με ζ 1 και ζ 2 τότε η πι ανότητα το δεύτερο ζάρι να φέρει 6 δεδομένου ότι το πρώτο ζάρι έφερε 4 είναι P (ζ 2 = 6 ζ 1 = 4) = P (ζ 2 = 6) = 1/6, εφόσον τα δύο ε ονότα είναι ανεξάρτητα. Έστ τώρα ζ = ζ 1 + ζ 2 το ά ροισμα τ ν τιμών τ ν δύο ζαριών. Η πι ανότητα το ά ροισμα τ ν τιμών να είναι 6 δεδομένου ότι το πρώτο ζάρι έ ει φέρει 4 είναι P (ζ = 6 ζ 1 = 4) = 1/6, αφού ια να πάρουμε το επι υμητό ά ροισμα α πρέπει το δεύτερο ζάρι να φέρει 2. Ομοί ς έ ουμε P (ζ = 4 ζ 1 = 3) = 1/6 ενώ P (ζ = 9 ζ 1 = 2) = 0. Θεώρημα 5.3. Έστω a και b δύο γεγονότα. Τότε οι ποσότητες P (a b), P (b a), P (a) και P (b) συνδέονται με την ακόλουθη σχέση που είναι γνωστή και ως νόμος ή κανόνας του Bayes: P (a b) = P (b a) P (a) P (b) (5.1) Σε περίπτ ση που ο ώρος ε ονότ ν μπορεί να διαμεριστεί στα ε ονότα γ 1, γ 2,..., γ n τότε ο κανόνας του Bayes παίρνει την ακό ου η μορφή: P (γ i b) = P (b γ i ) P (γ i ) n j=1 (P (b γ j) P (γ j )) (5.2) 5.3 Υπο ο ισμός Σ ετικότητας Ε ράφ ν Η α μο ό ηση τ ν ε ράφ ν με άση το Πι ανοκρατικό μοντέ ο ανάκτησης ασίζεται στην Αρχή Πιθανοκρατικής Βαθμολόγησης (probability ranking

5 5.3. Υπολογισμός Σχετικότητας Εγγράφων 97 principle) 1 η οποία αναφέρει ότι: εάν η απάντηση ενός συστήματος ανάκτησης σε κάθε ερώτημα είναι μία λίστα εγγράφων ταξινομημένη με φθίνουσα διάταξη ως προς την πιθανότητα σχετικότητας του κάθε εγγράφου ως προς το χρήστη, όπου οι πιθανότητες υπολογίζονται όσο γίνεται ακριβέστερα με βάση τα δεδομένα που είναι διαθέσιμα, η συνολική αποτελεσματικότητα του συστήματος θα είναι η καλύτερη δυνατή. Δο έντος ενός ερ τήματος q, η μέ οδος επεξε ασίας του ερ τήματος προσπα εί να εντοπίσει έ ραφα που είναι σ ετικά ς προς το q και να α νοήσει τα υπό οιπα. Συμ ο ίζουμε με R το σύνο ο τ ν σ ετικών ε ράφ ν ς προς κάποιο ερώτημα q και με R το σύνο ο τ ν μη σ ετικών ε ράφ ν. Βασικός στό ος του Πι ανοκρατικού μοντέ ου είναι ο προσδιορισμός της πι ανότητας ένα έ ραφο d να ανήκει στο σύνο ο τ ν σ ετικών ε ράφ ν R. Την πι ανότητα αυτή μπορούμε να την εκφράσουμε ς P (R d) που δη ώνει την πι ανότητα το έ ραφο d να ανήκει στο σύνο ο τ ν σ ετικών ε ράφ ν. Ομοί ς ορίζεται η πι ανότητα P ( R d). Προφανώς ισ ύει ότι P ( R d) = 1 P (R d). Στη συνέ εια, αναφέρουμε μερικές παραδο ές που απαιτούνται ια τη ειτουρ ία του Πι ανοκρατικού μοντέ ου: Η πι ανότητα ένα έ ραφο να είναι σ ετικό ς προς το ερώτημα ε ρείται ότι εξαρτάται μόνο από τους όρους που περιέ ονται στο έ ραφο και από τους όρους που περιέ ονται στο ερώτημα. Η σ ετικότητα ενός ε ράφου d ς προς το ερώτημα q δεν εξαρτάται από τη σ ετικότητα ά ν ε ράφ ν της συ ο ής. Για κάποιο ερώτημα q το σύνο ο τ ν σ ετικών ε ράφ ν R είναι το ιδανικό σύνο ο που μπορούμε να έ ουμε ς απάντηση. Στη συνέ εια, παρουσιάζεται ο τρόπος με τον οποίο μπορούμε να εκφράσουμε την ομοιότητα μεταξύ ενός ερ τήματος και ενός ε ράφου της συ ο ής, κα ώς επίσης και ο τρόπος που μπορούμε να υπο ο ίσουμε την ομοιότητα αυτή με άση τις αρ ές του Πι ανοκρατικού μοντέ ου ανάκτησης. Ο Πίνακας 5.1 περιέ ει τα ασικότερα σύμ ο α και τις αντίστοι ες περι ραφές τους. 1 Θε ρουμε σκόπιμο να δώσουμε και τον αρ ικό ορισμό της αρ ής, όπ ς παρουσιάζεται στην ερ ασία [10], και η οποία αποδίδεται στον W.S. Cooper αν και έ ει διατυπ εί ν ρίτερα από τον Maron [5]. Η αρ ή αναφέρει ότι: "If a reference retrieval system's response to each request is a ranking of the documents in the collection in order of decreasing probability of relevance to the user who submitted the request, where the probabilities are estimated as accurately as possible on the basis of whatever data have been made available to the system for this purpose, the overall effectiveness of the system to its user will be the best that is obtainable on the basis of those data".

6 98 Κεφάλαιο 5. Το Πιθανοκρατικό Μοντέλο σύμ ο ο περι ραφή N π ή ος ε ράφ ν της συ ο ής R σύνο ο σ ετικών ε ράφ ν ς προς το ερώτημα q R π ή ος σ ετικών ε ράφ ν (R = R ) t, t i ο όρος t, ο i-οστός όρος (t i ) d, d j το έ ραφο d, το j-οστό έ ραφο της συ ο ής (d j ) q έ ραφο ερ τήματος r i π ή ος σ ετικών ε ράφ ν που περιέ ουν τον όρο t i n i π ή ος ε ράφ ν που περιέ ουν τον όρο t i f t,d αρι μός εμφανίσε ν του όρου t στο έ ραφο d f t,q αρι μός εμφανίσε ν του όρου t στο ερώτημα q P (a) πι ανότητα να συμ εί το ε ονός a P (a b) πι ανότητα να συμ εί το a δεδομένου του b P (R d) πι ανότητα το έ ραφο d να είναι σ ετικό P ( R d) πι ανότητα το έ ραφο d να μην είναι σ ετικό P (d R) πι ανότητα τυ αίας επι ο ής του d από το σύνο ο R P (d R) πι ανότητα τυ αίας επι ο ής του d από το σύνο ο R L q, L d μήκος ερ τήματος και ε ράφου της συ ο ής C, C 1, C 2, C 3, b στα ερές S prob (q, d) συνάρτηση ομοιότητας απ ού πι ανοκρατικού μοντέ ου S BM25 (q, d) συνάρτηση ομοιότητας κατά BM25 S infer (q, d) συνάρτηση ομοιότητας μοντέ ου δικτύου συμπερασμάτ ν S belief (q, d) συνάρτηση ομοιότητας μοντέ ου δικτύου πίστης Πίνακας 5.1: Σύμβολα και περιγραφές Μέτρο Ομοιότητας Ο α μός ομοιότητας μεταξύ ενός ε ράφου d και ενός ερ τήματος q ορίζεται ς ο ό ος τ ν πι ανοτήτ ν το d να είναι σ ετικό προς την πι ανότητα το d να μην είναι σ ετικό. Ο ό ος ρησιμοποιείται ια να αμ ύνει τα αποτε έσματα κάποιας αν ασμένης πρό εψης [2, 7]. Πιο συ κεκριμένα, αν συμ ο ίσουμε με S prob (q, d) τη συνάρτηση που επιστρέφει την ομοιότητα μεταξύ q και d τότε: S prob (q, d) = πι ανότητα το d να είναι σ ετικό πι ανότητα το d να είναι μη σ ετικό = P (R d) P ( R d) (5.3) Με εφαρμο ή του ε ρήματος του Bayes στον αρι μητή και παρονομαστή του

7 5.3. Υπολογισμός Σχετικότητας Εγγράφων 99 κ άσματος της παραπάν σ έσης, η συνάρτηση ομοιότητας ράφεται ς εξής: S prob (q, d) = P (d R) P (R) P (d R) P ( R) (5.4) όπου P (d R) είναι η πι ανότητα να δια έξουμε τυ αία το d μέσα από το σύνο ο τ ν σ ετικών ε ράφ ν R. Με μία προσεκτική ματιά στην εξίσ ση 5.4 παρατηρούμε ότι το κ άσμα P (R)/P ( R) έ ει τιμή στα ερή ια κά ε ερώτημα, και εφόσον δεν επηρεάζει την τε ική κατάταξη τ ν ε ράφ ν δεν είναι απαραίτητο να υπο ο ιστεί. Επομέν ς, η συνάρτηση ομοιότητας επαναπροσδιορίζεται ς εξής: S prob (q, d) P (d R) P (d R) (5.5) Αρ ικά το Πι ανοκρατικό μοντέ ο ασίστηκε στο συνδυασμό της Αρ ής Πι- ανοκρατικής Βα μο ό ησης και της Ανάκτησης Δυαδικής Ανεξαρτησίας (binary independence retrieval). Η δεύτερη αναφέρει ότι τα άρη τ ν όρ ν είναι δυαδικά και ότι οι όροι είναι ανεξάρτητοι μεταξύ τους (η παρουσία ή μη κάποιου όρου δεν επηρεάζει τους υπό οιπους). Στην ουσία, αυτός είναι και ο τρόπος εώρησης του απ ού Λο ικού μοντέ ου. Το άρος ενός όρου σε ένα έ ραφο είναι είτε 1 (αν ο όρος περιέ εται στο έ ραφο) είτε 0 (σε διαφορετική περίπτ ση). Επομέν ς, ένα έ ραφο d μπορεί να εκφραστεί ς διάνυσμα αρών, όπου η κά ε συνιστώσα αναφέρεται στην παρουσία ή απουσία του όρου στο έ ραφο. Έτσι, αν συμ ο ίσουμε με d το διάνυσμα τ ν αρών του ε ράφου d, με M το π ή ος τ ν μοναδικών όρ ν της συ ο ής ε ράφ ν και με w ti,d το άρος του όρου t i στο έ ραφο d, τότε έ ουμε: d = (w t1,d, w t2,d,..., w tm,d) Το διάνυσμα d μπορεί να ρησιμοποιη εί ς προσέ ιση της π ηροφορίας που περιέ εται στο έ ραφο d και προσφέρει ένα ο ικό τρόπο ια να εκτιμήσουμε την ποσότητα P (d R) με ρήση της ποσότητας P ( d R). Από τη σ έση 5.6 έ ουμε: S prob (q, d) P ( d R) P ( d R) (5.6) Λαμ άνοντας υπόψη την ανεξαρτησία τ ν όρ ν ισ ύει ότι P ( d R) = P (w t1,d R) P (w t2,d R),..., P (w tm,d R). Ο τύπος υπο ο ισμού της ομοιότητας ίνεται:

8 100 Κεφάλαιο 5. Το Πιθανοκρατικό Μοντέλο S prob (q, d) M i=1 P (w ti,d R) P (w ti,d R) (5.7) Δια ρίζουμε τους όρους από t 1 έ ς t M σε δύο κατη ορίες, αυτούς που περιέ ονται στο έ ραφο d και σε αυτούς που δεν περιέ ονται στο έ ραφο d. Αντικα ιστώντας στην εξίσ ση 5.7 παίρνουμε: S prob (q, d) i,w ti,d=1 P (w ti,d = 1 R) P (w ti,d = 1 R) i,w ti,d=0 P (w ti,d = 0 R) P (w ti,d = 0 R) (5.8) Υπο έτουμε ότι οι όροι που δεν εμφανίζονται στο ερώτημα q έ ουν την ίδια πι ανότητα να ρίσκονται ή ό ι στα έ ραφα του R (σ ετικά έ ραφα). Χρησιμοποιώντας την υπό εση αυτή το μέτρο ομοιότητας ίνεται: S prob (q, d) i, w ti,d=1 w ti,q=1 P (w ti,d = 1 R) P (w ti,d = 1 R) i, w ti,d=0 w ti,q=1 1 P (w ti,d = 1 R) 1 P (w ti,d = 1 R) (5.9) Για να απ ούστευση της συνάρτησης ομοιότητας πρα ματοποιούνται οι αντικαταστάσεις p i = P (w ti,d = 1 R) και u i = P (w ti,d = 1 R), οπότε η συνάρτηση ομοιότητας παίρνει την ακό ου η μορφή: S prob (q, d) i, w ti,d=1 w ti,q=1 p i u i i, w ti,d=0 w ti,q=1 1 p i 1 u i (5.10) Από το δεύτερο ινόμενο δια ράφουμε τους όρους που δε ρίσκονται στο έ ραφο d ενώ ρίσκονται στο ερώτημα q. Αν ίνει αυτό, τότε στο ινόμενο α συμμετέ ουν κ άσματα της μορφής (1 p i )/(1 u i ) και ια τους όρους που περιέ ονται στο έ ραφο d και ια τους όρους που δεν περιέ ονται. Επειδή όμ ς το πρώτο ινόμενο περι αμ άνει τις περιπτώσεις που οι όροι εμφανίζονται στο έ ραφο, α πρέπει να μετα η εί το πρώτο ινόμενο όπ ς φαίνεται στην παρακάτ σ έση: S prob (q, d) i, w ti,d=1 w ti,q=1 p i (1 u i ) u i (1 p i ) i, w ti,q=1 1 p i 1 u i

9 5.3. Υπολογισμός Σχετικότητας Εγγράφων 101 Από την προη ούμενη σ έση παρατηρούμε ότι το δεύτερο ινόμενο εξαρτάται μόνο από το εκάστοτε ερώτημα, κα ώς αναφέρεται μόνο στους όρους που περιέ ονται στο ερώτημα. Επομέν ς, μπορούμε να α νοήσουμε το ινόμενο αυτό και να προ ρήσουμε με τον υπο ο ισμό του πρώτου ινομένου. Συνή ς, το ινόμενο τ ν πι ανοτήτ ν είναι ένας πο ύ μικρός πρα ματικός αρι μός. Για να αποφύ ουμε πο ύ μικρές τιμές ρησιμοποιείται ο αρί μηση: S prob (q, d) log S prob (q, d) i, w ti,d=1 w ti,q=1 p i (1 u i ) u i (1 p i ) log p i (1 u i ) u i (1 p i ) i, w ti,d=1 w ti,q=1 (5.11) Το ά ροισμα της σ έσης 5.11 αφορά σε ό ους τους όρους που εμφανίζονται και στο έ ραφο και στο ερώτημα. Αν συμ ο ίσουμε με T d το σύνο ο τ ν μοναδικών όρ ν του ε ράφου d, με T q το σύνο ο τ ν μοναδικών όρ ν του ερ τήματος q και με T q,d την τομή τ ν δύο συνό ν, τότε παίρνουμε την παρακάτ σ έση όπου w i είναι το άρος του όρου t i : S prob (q, d) log p i (1 u i ) u i (1 p i ) = i, t i T q,d i, t i T q,d w i (5.12) Υπο ο ισμός της Ομοιότητας Το ασικό πρό ημα που πρέπει να υ εί είναι ο υπο ο ισμός τ ν πι ανοτήτ ν p i = P (w ti,d = 1 R) και u i = P (w ti,d = 1 R). Οι πι ανότητες αυτές δεν είναι ν στές, αφού δεν ν ρίζουμε εκ τ ν προτέρ ν πιο είναι το σύνο ο R τ ν σ ετικών ς προς ερώτημα ε ράφ ν. Επομέν ς, α πρέπει να εκτιμήσουμε αρ ικά με κάποιον τρόπο αυτές τις πι ανότητες και στην συνέ εια να τις προσδιορίσουμε κα ύτερα. Ο Πίνακας 5.2 περιέ ει ό ες τις δυνατές περιπτώσεις σ ετικά με το αν ένα έ ραφο είναι σ ετικό ή μή σ ετικό, και αν το έ ραφο περιέ ει ή ό ι το συ κεκριμένο όρο t i. Με N συμ ο ίζουμε το π ή ος τ ν ε ράφ ν της συ ο ής, R είναι το π ή ος τ ν σ ετικών ς προς το ερώτημα ε ράφ ν (R = R ), r i

10 102 Κεφάλαιο 5. Το Πιθανοκρατικό Μοντέλο π ή ος σ ετικών π ή ος μη σ ετικών σύνο ο ε ράφ ν ε ράφ ν π ή ος ε ράφ ν που περιέ ουν τον όρο t i r i n i r i n i π ή ος ε ράφ ν που δεν περιέ ουν τον όρο t i R r i (N R) (n i r i ) N n i σύνο ο R N R N Πίνακας 5.2: Πίνακας περιπτώσεων σχετικότητας εγγράφων. είναι το π ή ος τ ν σ ετικών ε ράφ ν που περιέ ουν τον όρο t i, και n i είναι το π ή ος τ ν συνο ικών ε ράφ ν (σ ετικών και μή σ ετικών) που περιέ ουν τον όρο t i. Με άση τον Πίνακα 5.2 μπορούμε να εκτιμήσουμε τις ποσότητες p i και u i ς εξής: p i = r i /R και u i = (n i r i )/(N R). Οι δύο αυτές σ έσεις προϋπο έτουν ότι [12]: (α) η κατανομή τ ν όρ ν στα έ ραφα που έ ουν ανακτη εί είναι ίδια με την κατανομή τ ν όρ ν στο σύνο ο τ ν σ ετικών ε ράφ ν, και ( ) ό α τα έ ραφα που δεν έ ουν ανακτη εί ε ρούνται μή σ ετικά ς προς το ερώτημα. Με αντικατάσταση τ ν τιμών p i και u i στη σ έση που δίνει το w i έ ουμε: w i = log p i (1 u i ) u i (1 p i ) = log r i (N R n i r i ) (n i r i ) (R r i ) (5.13) Παρατηρήστε ότι η σ έση 5.13 είναι προ ηματική σε ορισμένες περιπτώσεις, π.., όταν R = r i όπου έ ουμε μηδενισμό του παρονομαστή. Για την αποφυ ή τ ν πα ο ο ικών καταστάσε ν έ ει προτα εί ή ρήση κάποιας στα εράς C η οποία προστί εται [8]. Η τιμή αυτή είναι συνή ς το 0.5 ή το n i /N. Με την προσ ήκη της στα εράς η σ έση υπο ο ισμού της ποσότητας w i ίνεται: w i = log (r i + C) (N R n i r i + C) (n i r i + C) (R r i + C) (5.14) Σύμφ να με αυτά που έ ουμε αναφέρει, η α μο ό ηση τ ν ε ράφ ν α ήταν απ ή υπό εση αν ν ρίζαμε το σύνο ο τ ν σ ετικών ε ράφ ν R. Κάτι τέτοιο όμ ς δε συμ αίνει, επομέν ς α πρέπει να ρησιμοποιήσουμε μία με οδο- ο ία προσδιορισμού του συνό ου R. Αρ ικά, πρα ματοποιείται ανάκτηση τ ν ε ράφ ν που περιέ ουν τους όρους του ερ τήματος. Στη συνέ εια, ρησιμοποιούμε τη συνάρτηση ομοιότητας 5.12 ια να α μο ο ήσουμε τα έ ραφα που έ ουν ανακτη εί, έτοντας p i = 0.5 και u i = n i /N ς αρ ικές εκτιμήσεις. Στη

11 5.3. Υπολογισμός Σχετικότητας Εγγράφων 103 συνέ εια, από το σύνο ο τ ν ε ράφ ν που έ ουν ανακτη εί και α μο ο η- εί επι έ ουμε ένα υποσύνο ο αυτών ( ια παράδει μα τα έ ραφα τ ν οποί ν ο α μός ομοιότητας είναι πάν από κάποιο κατώφ ι ή τα R έ ραφα με το με α ύτερο α μό). Στο σημείο αυτό α μπορούσε να οη ήσει και ο ρήστης στη διαδικασία επι ο ής τ ν ε ράφ ν. Μετά από αυτό το ήμα, μπορεί να ίνει μία νέα εκτίμηση τ ν ποσοτήτ ν p i και u i και επομέν ς της ποσότητας w i με άση τον τύπο Η διαδικασία αυτή εκτε είται είτε ια ένα στα ερό αρι μό επανα ήψε ν, είτε μέ ρι η μετα ο ή τ ν αποτε εσμάτ ν να μην είναι σημαντική Μέ οδος Okapi ΒΜ25 Το Okapi είναι ένα σύστημα ανάκτησης π ηροφορίας που αναπτύ ηκε στο Πανεπιστήμιο City του Λονδίνου από τον Robertson και τους συνερ άτες του και που έ ει ρησιμοποιη εί ς π ατφόρμα ια τη με έτη της αποτε εσματικότητας διαφόρ ν με όδ ν προσδιορισμού της ομοιότητας. Μία από τις πιο αποτε εσματικές με όδους υπο ο ισμού της ομοιότητας που έδ σε πο ύ κα ά αποτε έσματα στις συ ο ές ε ράφ ν TREC είναι η μέ οδος BM25 2 που με ετάται στην ερ ασία [11]. Στην ουσία, πρόκειται ια συνδυασμό τ ν συναρτήσε ν ομοιότητας BM11 και BM15 που εί αν με ετη εί στην ερ ασία [9]. Ακο ου εί μία συνοπτική περι ραφή της με όδου BM25. Η μέ οδος BM25 στηρίζεται στη ρήση δύο κατανομών Poisson. Σύμφ να με αυτήν, ένα έ ραφο ε ρείται ς μία τυ αία ροή εμφανίσε ν όρ ν. Κά ε εμφάνιση ενός όρου t ε ρείται ένα ε ονός που αφορά στον όρο t. Θε ρούμε ότι ο επόμενος όρος του ε ράφου α είναι ο όρος t με πι ανότητα p (επομέν ς 1-p είναι η πι ανότητα ο επόμενος όρος του ε ράφου να είναι διαφορετικός του t). Αν συμ ο ίσουμε με X την τυ αία μετα ητή που μας δίνει τον αρι μό τ ν εμφανίσε ν του όρου t στο έ ραφο, τότε η πι ανότητα να συμ ούν x εμφανίσεις του όρου t σε ένα έ ραφο που αποτε είται από k όρους προσδιορίζεται από την δι νυμική κατανομή, σύμφ να με τον τύπο: P [X = x] = ( ) k p x (1 p) k x x Για πο ύ μικρές τιμές της πι ανότητας p και πο ύ με ά ες τιμές του k, η δι νυμική κατανομή προσε ίζεται με ικανοποιητική ακρί εια από την κατανομή Poisson. Αν µ είναι η μέση τιμή της τυ αίας μετα ητής X, τότε έ ουμε: 2 Το BM προκύπτει από τις έξεις Best Match.

12 104 Κεφάλαιο 5. Το Πιθανοκρατικό Μοντέλο P [X = x] e µ µ x Για τη ρήση της συ νότητας εμφάνισης τ ν όρ ν στα έ ραφα ίνεται η υπό εση ότι η συ νότητα εμφάνισης ενός όρου t ακο ου εί επίσης την κατανομή Poisson. Τα έ ραφα που περιέ ουν τον όρο t δια ρίζονται σε δύο κατη ορίες: στα έ ραφα που ε ρούνται εκλεκτά ς προς τον όρο t (δη αδή αναφέρονται στο έμα στο οποίο αναφέρεται και ο t) και στα έ ραφα που ε ρούνται μη εκλεκτά ς προς τον όρο t. Υπο έτουμε οιπόν ότι η συ νότητα εμφάνισης του όρου t στις δύο κατη ορίες ε ράφ ν ακο ου εί την κατανομή Poisson α ά με διαφορετικές μέσες τιμές ια την κά ε περίπτ ση. Έστ Y η τυ αία μετα ητή που μας δίνει τη συ νότητα εμφάνισης του όρου t. Τότε έ ουμε: x! P [Y = y] = eλ1 λ y 1 y! P [Y = y] = eλ2 λ y 2 y! όπου λ 1 και λ 2 είναι η μέση τιμή της πι ανότητας ια την περίπτ ση τ ν εκ εκτών και μή εκ εκτών ε ράφ ν αντίστοι α. Με άση τη με έτη της ερ ασίας [11], δίνουμε στη συνέ εια τη συνάρτηση που υπο ο ίζει το α μό ομοιότητας μεταξύ ενός ερ τήματος q και ενός ε ράφου της συ ο ής d. S BM25 (q, d) = log (r i + 0.5) (N R n i r i + 0.5) (n i r i + 0.5) (R r i + 0.5) i,t i T q (C 1 + 1) f ti,d C 4 + f ti,d (C 3 + 1) f ti,q C 3 + f ti,q + C 2 q avdl dl d avdl + dl d (5.15) Στον παραπάν τύπο, οι C 1, C 2, C 3 και C 4 είναι στα ερές ρύ μισης. Η στα ερά C 4 ισούται με C 4 = C 1 ((1 b)+b (dl/avdl)), όπου b είναι μία ά η ρυ μιστική στα ερά. Επίσης, dl d είναι το μήκος του ε ράφου d και avdl είναι το μέσο μήκος τ ν ε ράφ ν της συ ο ής. Παρατηρήστε ότι η συνάρτηση ομοιότητας περιέ ει αρκετές ρυ μιστικές στα ερές. Για τον τρόπο παρα ής της με όδου BM25 κα ώς και ια τις τιμές τ ν στα ερών που έ ουν με ετη εί παραπέμπουμε τον ανα νώστη στις ερ ασίες [9, 11] όπου υπάρ ουν ό ες οι σ ετικές π ηροφορίες, κα ώς και πειραματικά αποτε έσματα αποτε εσματικότητας συ κριτικά με πα αιότερες προσε ίσεις.

13 5.4. Ανάκτηση με Χρήση Δικτύων Bayes Ανάκτηση με Χρήση Δικτύ ν Bayes Η ρήση τ ν δικτύων Bayes (Bayesian networks) στην ανάκτηση π ηροφορίας προτά ηκε ια πρώτη φορά από τους Turtle και Croft το 1990 [14]. Σύμφ να με το μοντέ ο αυτό, οι όροι, τα έ ραφα της συ ο ής και τα ερ τήματα αρακτηρίζονται ς γεγονότα και αναπαριστώνται ς κόμβοι ενός δικτύου Bayes. Το μοντέ ο αυτό κα είται μοντέλο δικτύου συμπερασμάτων (inference network model), και σύμφ να με τα πειραματικά αποτε έσματα έ ει κα ύτερη επίδοση από ά α πι ανοκρατικά μοντέ α ανάκτησης. Αρ ότερα, οι Ribeiro-Neto και Muntz [6] ενίκευσαν την προσέ ιση τ ν Turtle και Croft με αποτέ εσμα να προκύψει ένα νέο μοντέ ο, το οποίο κα είται μοντέλο δικτύου πίστης (belief network model). Τα δύο αυτά μοντέ α ασίζονται στη ε ρία τ ν δικτύ ν Bayes η οποία περι ράφεται συνοπτικά στη συνέ εια. Ένα δίκτυο Bayes είναι ένας κατευθυνόμενος άκυκλος γράφος (directed acyclic graph - DAG) όπου οι κόμ οι είναι τυ αίες μετα ητές ενώ οι ακμές δη ώνουν εξάρτηση μεταξύ τ ν τυ αί ν μετα ητών. Κά ε ακμή του ράφου έ ει ένα άρος που πρισδιορίζει το α μό εξάρτησης της μίας τυ αίας μετα ητής από την ά η. Εφόσον ο ράφος είναι κατευ υνόμενος και ρίς κύκ ους, δημιουρ είται μία ιεραρ ία από κόμ ους. Υπάρ ουν κόμ οι που δεν έ ουν κανένα πρό ονο (άρα οι αντίστοι ες τυ αίες μετα ητές δεν εξαρτώνται από ά ες) και κόμ οι που έ ουν έναν ή περισσότερους προ όνους. Ορισμός 5.3. Έστω v i και v j δύο κόμβοι ενός δικτύου Bayes. Αν υπάρχει ακμή από τον v i στον v j τότε ο v i καλείται άμεσος πρόγονος του v j, ενώ ο v j καλείται άμεσος απόγονος του v i. Έστ Π(v i ) το σύνο ο τ ν άμεσ ν προ όν ν του κόμ ου v i. Η επίδραση τ ν κόμ ν Π(v i ) στον κόμ ο v i μπορεί να προσδιοριστεί ρησιμοποιώντας μία συνάρτηση Φ i (v i, Π(v i )) η οποία έ ει τις ακό ου ες ιδιότητες: 0 Φ i (v i, Π(v i )) 1 v i Φ i (v i, Π(v i )) = 1 Αν έ ουμε n τυ αίες μετα ητές, τότε η κοινή συνάρτηση πυκνότητας πι ανότητας P (v 1,..., v n ) δίνεται από τον ακό ου ο τύπο: P (v 1,..., v n ) = n Φ i (v i, Π(v i )) i=1

14 106 Κεφάλαιο 5. Το Πιθανοκρατικό Μοντέλο Παράδει μα 5.3 Στο Σ ήμα 5.2 παρουσιάζεται ένα δίκτυο Bayes που αποτε είται από έξι τυ αίες μετα ητές. Παρατηρούμε ότι ο ράφος είναι κατευ υνόμενος και άκυκ ος και αποτε είται από έξι κόμ ους και έξι ακμές. Η συνάρτηση της κοινής πυκνότητας πι ανότητας είναι: P (v 1, v 2, v 3, v 4, v 5, v 6 ) = P (v 1 ) P (v 2 ) P (v 3 v 1 ) P (v 4 v 1 ) P (v 5 v 1, v 2 ) P (v 6 v 4, v 5 ) v 1 v 2 v 3 v 4 v 5 v 6 Σχήμα 5.2: Παράδειγμα δικτύου Bayes με έξι τυχαίες μεταβλητές. Στις επόμενες παρα ράφους περι ράφονται συνοπτικά οι δύο προσε ίσεις ια την εφαρμο ή τ ν δικτύ ν Bayes στην ανάκτηση π ηροφορίας, το μοντέ ο δικτύου συμπερασμάτ ν και το μοντέ ο δικτύου πίστης Μοντέ ο Δικτύου Συμπερασμάτ ν Το μοντέ ο δικτύου συμπερασμάτ ν είναι ένα δίκτυο Bayes, οι κόμ οι του οποίου σ ηματίζονται από τα έ ραφα της συ ο ής, του όρους και τα ερ τήματα, και δια ρίζεται σε δύο υποδίκτυα, το υποδίκτυο εγγράφων και το υποδίκτυο ερωτημάτων. Το υποδίκτυο τ ν ε ράφ ν αναπαριστά τη συ ο ή τ ν ε - ράφ ν ρησιμοποιώντας ποικί ες αναπαραστάσεις και κατασκευάζεται μία φορά ια την κά ε συ ο ή. Η δομή του υποδικτύου δε μετα ά εται κατά την επεξερ- ασία ενός ερ τήματος. Αντι έτ ς, το υποδίκτυο ερ τήματος κατασκευάζεται ια κά ε διαφορετικό ερώτημα και αποτε είται από έναν κόμ ο που δη ώνει την π ηροφοριακή ανά κη του ρήστη και ένα σύνο ο κόμ ν που αναπαριστούν το ερώτημα. Τα δύο υποδίκτυα συνδέονται με ακμές μεταξύ τ ν εννοιών αναπαράστασης τ ν ε ράφ ν και τ ν εννοιών του ερ τήματος.

15 5.4. Ανάκτηση με Χρήση Δικτύων Bayes 107 Στο Σ ήμα 5.3 δίνεται ένα παράδει μα ενός απ οποιημένου δικτύου συμπερασμάτ ν. Σύμφ να με τον Turtle [13] το δίκτυο συμπερασμάτ ν περιέ ει περισσότερες κατη ορίες κόμ ν, στόσο ρησιμοποιείται συνη έστερα στην απ οποιημένη του μορφή. Οι κόμ οι d 1 έ ς d N αναφέρονται στα έ ραφα της συ ο ής, ενώ οι κόμ οι t 1 έ ς t M στους όρους που ρησιμοποιούνται ια την αναπαράσταση τ ν ε ράφ ν. Ο κόμ ος I προσδιορίζει την π ηροφοριακή ανά κη του ρήστη, η αναπαράσταση της οποίας πρα ματοποιείται με τη ρήση του ερ τήματος q. Συνή ς, ο κόμ ος του ερ τήματος είναι ένας, α ά αν υπάρ ουν πο ές αναπαραστάσεις τότε μπορούν να ρησιμοποιη ούν και αυτές d 1 d 2 d j d N t t 2 t i t M q I Σχήμα 5.3: Παράδειγμα δικτύου συμπερασμάτων. Ο κά ε κόμ ος του δικτύου αναπαριστά μία τυ αία μετα ητή. Η τυ αία μετα ητή που σ ετίζεται με ένα έ ραφο d j αναπαριστά το ε ονός ότι παρατηρούμε το συ κεκριμένο έ ραφο (το μοντέ ο ε ρεί ότι τα έ ραφα παρατηρούνται κατά την αναζήτηση τ ν σ ετικών ε ράφ ν). Η παρατήρηση ενός ε ράφου έτει ένα βαθμό εμπιστοσύνης στις τυ αίες μετα ητές που σ ετίζονται με τους όρους που περιέ ονται στο έ ραφο. Επομέν ς, η παρατήρηση του ε ράφου είναι το αίτιο ια αύξηση της εμπιστοσύνης στις τυ αίες μετα ητές που σ ετίζονται με τους όρους. Όπ ς παρατηρούμε στο Σ ήμα 5.3, οι ακμές κατευ ύνονται από τους κόμ ους τ ν ε ράφ ν προς τους κόμ ους τ ν όρ ν. Μία τυ αία μετα ητή που σ ετίζεται με ένα ερώτημα αναπαριστά το ε ονός ότι η π ηροφοριακή ανά κη του ρήστη έ ει ικανοποιη εί. Η εμπιστοσύνη του κόμ ου του ερ τήματος είναι συνάρτηση της εμπιστοσύνης τ ν όρ ν που περιέ- ονται στο ερώτημα. Οι ακμές κατευ ύνονται από κόμ ους όρ ν προς τον κόμ ο του ερ τήματος.

16 108 Κεφάλαιο 5. Το Πιθανοκρατικό Μοντέλο Μία ασική υπό εση που ίνεται είναι ότι ό ες οι τυ αίες μετα ητές του μοντέ ου είναι δυαδικές, αμ άνουν δη αδή είτε την τιμή 0 (false) είτε την τιμή 1 (true). Αν και η υπό εση αυτή είναι αυ αίρετη, οη άει σημαντικά στην απ οποίηση του μοντέ ου ενώ ταυτό ρονα φαίνεται να μην άπτει τη διαδικασία της ανάκτησης. Στη συνέ εια, εξετάζουμε συνοπτικά τον τρόπο ρήσης ενός δικτύου συμπερασμάτ ν. Βασικός στό ος είναι η α μο ό ηση τ ν ε ράφ ν της συ ο ής ς προς το α μό ικανοποίησης της π ηροφοριακής ανά κης του ρήστη. Για την επίτευξη του στό ου αυτού α πρέπει να δώσουμε τιμές στις πι ανότητες που σ ετίζονται με τα έ ραφα και στις υπό συν ήκη πι ανότητες του δικτύου. Εάν κάποια στι μή η τιμή μίας τυ αίας μετα ητής ίνει ν στή, τότε μπορούμε να υπο ο ίσουμε εκ νέου το α μό τ ν ε ράφ ν αμ άνοντας υπόψη τα νέα δεδομένα. Έστ ότι έ ουμε ένα ερώτημα q που αναπαριστά την π ηροφοριακή ανά κη ενός ρήστη. Αρ ικά, προσδιορίζεται ο α μός εμπιστοσύνης του κά ε κόμ ου του υποδικτύου ερ τήματος. Η αρ ική τιμή του κόμ ου I είναι η πι ανότητα ικανοποίησης της π ηροφοριακής ανά κης δεδομένου ότι κανένα από τα έ ραφα δεν έ ει παρατηρη εί και ό α τα έ ραφα είναι ισοπί ανα. Εάν τώρα παρατηρήσουμε ένα έ ραφο d j και έσουμε την τιμή του αντίστοι ου κόμ ου σε 1 (true), ενώ οι τιμές τ ν ά ν ε ράφ ν είναι 0 (false), μπορούμε να υπο ο ίσουμε μία νέα τιμή ια κά ε κόμ ο ν ρίζοντας ότι d j = true. Πιο συ κεκριμένα, μπορούμε να υπο ο ίσουμε την πι ανότητα να ικανοποιείται η π ηροφοριακή ανά- κη δεδομένου ότι το έ ραφο d j έ ει παρατηρη εί. Στη συνέ εια, δια έ ουμε κάποιο ά ο έ ραφο d i και επανα αμ άνεται η ίδια διαδικασία, έ ς ότου α μο- ο η ούν ό α τα έ ραφα. Για να αποφύ ουμε τον έ ε ο ό ν τ ν ε ράφ ν, α μπορούσαμε να ρησιμοποιήσουμε ένα υποσύνο ο τ ν ε ράφ ν που με ιστοποιούν την πι ανότητα ικανοποίησης της π ηροφοριακής ανά κης. Επειδή το πρό ημα έ ει με ά η πο υπ οκότητα, στη ι ιο ραφία έ ουν προτα εί ευριστικές μέ οδοι ια το σκοπό αυτό. Εδώ ε ρούμε ότι δε ρησιμοποιείται κάποια τέτοια τε νική. Ορισμός 5.4. Έστω t ένα διάνυσμα με M συνιστώσες, όπου t = (t 1, t 2,..., t M ). Η κάθε συνιστώσα t i 3 αναπαριστά μία δυαδική τυχαία μεταβλητή (t i {0, 1}). Οι τυχαίες μεταβλητές ορίζουν τις 2 M διαφορετικές καταστάσεις του διανύσματος t. H i-οστή θέση του διανύσματος t συμβολίζεται με g i ( t). Ορισμός 5.5. Στο μοντέλου δικτύου συμπερασμάτων η συνάρτηση ομοιότητας ενός εγγράφου d και ενός ερωτήματος q συμβολίζεται με S infer (q, d) και προσδιο- 3 Χρησιμοποιούμε το ίδιο σύμ ο ο ια να δη ώσουμε τον όρο και την τυ αία μετα ητή που σ ετίζεται με αυτόν. Το ίδιο ε ρούμε ια τα έ ραφα και τα ερ τήματα. Από τα συμφραζόμενα α ίνεται κατανοητό αν αναφερόμαστε στο αντικείμενο η στην τυ αία μετα ητή που σ ετίζεται με αυτό.

17 5.4. Ανάκτηση με Χρήση Δικτύων Bayes 109 ρίζεται με την πιθανότητα του γεγονότος q d, δηλαδή την πιθανότητα η τυχαία μεταβλητή q να είναι 1 και η τυχαία μεταβλητή d να είναι επίσης 1. Η πιθανότητα αυτή συμβολίζεται με P (q d). Η πι ανότητα P (q d) υπο ο ίζεται ς εξής: P (q d) = t = t = t = t P (q d t) P ( t) P (q d t) P (q d t) P (d t) P (q t) P ( t d) P (d) (5.16) Έστ ότι ενερ οποιούμε τον κόμ ο που αναφέρεται σε ένα έ ραφο d της συ ο ής. Αυτό ισοδυναμεί με την παρατήρηση (εξέταση) του συ κεκριμένου ε ράφου. Η παρατήρηση του d έ ει ς αποτέ εσμα την ανεξαρτησία τ ν όρ ν που σ ετίζονται με το d. Επομέν ς, ο α μός εμπιστοσύνης που προσφέρει η παρατήρηση του ε ράφου σε κά ε όρο μπορεί να υπο ο ιστεί ια κά ε όρο ξε ριστά ( ό της ανεξαρτησίας). Άρα, η ποσότητα P ( t d) μπορεί να υπο ο- ιστεί ς εξής: P ( t d) = i,g i ( t)=1 P (t i d) Από τις δύο προη ούμενες σ έσεις έ ουμε: i,g i ( t)=0 P ( t i d) (5.17) P (q d) = t P (q t) P (t i d) P ( t i d) P (d) (5.18) i,g i ( t)=1 i,g i ( t)=0 Είναι προφανές ότι ια τον υπο ο ισμό της πι ανότητας P (q d) α πρέπει να δώσουμε κατά η ες τιμές στις πι ανότητες P (q t), P (t i d) και P (d). Χρησιμοποιώντας διαφορετικούς τρόπους υπο ο ισμού τ ν παραπάν ποσοτήτ ν παίρνουμε και διαφορετικές εκφράσεις ια τον προσδιορισμό του α μού

18 110 Κεφάλαιο 5. Το Πιθανοκρατικό Μοντέλο ομοιότητας του ε ράφου d ς προς το ερώτημα q. Επειδή οι κόμ οι τ ν ε - ράφ ν στο δίκτυο συμπερασμάτ ν δεν έ ουν εισερ όμενες ακμές, μπορούμε να ορίσουμε αυ αίρετα την πι ανότητα P (d) ια κά ε έ ραφο d. Επειδή δεν έ ουμε προη ούμενη π ηροφορία σ ετικά με την πι ανότητα παρατήρησης του κά ε ε - ράφου, συνή ς ρησιμοποιείται η ομοιόμορφη κατανομή P (d) = 1/N, όπου N είναι το π ή ος τ ν ε ράφ ν της συ ο ής. Ωστόσο, είναι σημαντικό να έσουμε τις πι ανότητες P (d) με τέτοιο τρόπο έτσι ώστε να εκμετα ευτούμε την οποιαδήποτε εκ τ ν προτέρ ν νώση υπάρ ει σ ετικά με την συ κεκριμένη εφαρμο ή. Στη συνέ εια, περι ράφουμε τον τρόπο προσδιορισμού τ ν πι ανοτήτ ν με σκοπό το δίκτυο συμπερασμάτ ν να ρησιμοποιη εί ια τη α μο ό ηση τ ν ε ράφ ν ς προς το Λο ικό μοντέ ο ανάκτησης. Θε ρούμε ότι η πι ανότητα P (d) υπο ο ίζεται με άση την ομοιόμορφη κατανομή: P (d) = 1 N και P ( d) = 1 P (d) Για τον υπο ο ισμό της υπό συν ήκης πι ανότητας P (t i d) έ ουμε: P (t i d) = { 1 εάν gi ( d) = 1 0 διαφορετικά P ( t i d) = 1 P (t i d) Ο τρόπος ορισμού της πι ανότητας P (t i d) δη ώνει ότι η παρατήρηση ενός ε - ράφου d έ ει ς αποτέ εσμα την ενερ οποίηση τ ν κόμ ν του δικτύου που σ ετίζονται με τους όρους που περιέ ονται στο d. Στη συνέ εια, δίνεται ο τρόπος υπο ο ισμού της πι ανότητας P (q t) που δη ώνει το κατά πόσον οι όροι που περιέ ονται στο υπό παρατήρηση έ ραφο ικανοποιούν την π ηροφοριακή ανά κη του ρήστη: { 1 εάν qcc q P (q t) = dnf t i, g i ( t) = g i ( q cc ) 0 διαφορετικά P ( q t) = 1 P (q t) Αντικα ιστώντας τις τιμές ια τις ποσότητες P (d), P (t i d) και P (q t) στην εξίσ ση 5.18 παίρνουμε μία συνάρτηση υπο ο ισμού ομοιότητας τ ν ε ράφ ν ς προς το ερώτημα που είναι ή ίδια με αυτήν του Λο ικού μοντέ ου. Υπεν υμίζεται ότι q dnf είναι η διαζευκτική κανονική μορφή (disjunctive normal form) του

19 5.4. Ανάκτηση με Χρήση Δικτύων Bayes 111 ερ τήματος q ενώ q cc είναι μία συζευκτική συνιστώσα (conjunctive component) της διαζευκτικής κανονικής μορφής. Οι έννοιες αυτές έ ουν περι ραφεί στο Κεφά αιο 3. Το μοντέ ο δικτύου συμπερασμάτ ν αν και μπορεί να παραμετροποιη εί έτσι ώστε να ρησιμοποιεί συναρτήσεις α μο ό ησης τύπου TF-IDF, δεν μπορεί να προσαρμοστεί ώστε να πρα ματοποιεί α μο ό ηση ε ράφ ν ακρι ώς όπ ς το Διανυσματικό μοντέ ο Μοντέ ο Δικτύου Πίστης Το μοντέ ο δικτύου πίστης αποτε εί ενίκευση του μοντέ ου δικτύου συμπερασμάτ ν και επομέν ς μπορεί να κα ύψει περισσότερες περιπτώσεις. Το μοντέ ο αυτό στηρίζεται στις ίδιες ασικές αρ ές τ ν δικτύ ν Bayes, όμ ς είναι αρκετά πιο ευέ ικτο σε σ έση με το μοντέ ο δικτύου συμπερασμάτ ν. Το κά ε έ ραφο αναπαρίσταται από ένα σύνο ο όρ ν. Ο κά ε όρος t i ε- ρείται ς βασική, ενώ το σύνο ο T = {t 1, t 2,..., t M } ό ν τ ν όρ ν που ρησιμοποιούνται ια την αναπαράσταση τ ν ε ράφ ν αποτε εί το δειγματοχώρο (sample space) και αρακτηρίζεται ς χώρος εννοιών (concept space). Ένα υποσύνο ο E του συνό ου T είναι μία έννοια (concept) που μπορεί να αναπαριστά ένα έ ραφο της συ ο ής ή κάποιο ερώτημα. Σε κά ε όρο t i αντιστοι εί μία δυαδική τυ αία μετα ητή v i. Εάν v i = 1 τότε ε ρούμε ότι ο αντίστοι ος όρος t i ανήκει στην έννοια E T. Συμ ο ίζουμε με g i (E) την τιμή της τυ αίας μετα- ητής v i σε σ έση με την παρουσία ή απουσία του όρου t i στην έννοια E. Αν M είναι το π ή ος τ ν όρ ν (M = T ) τότε υπάρ ουν 2 M έννοιες (υποσύνο α του T ). Τα έ ραφα της συ ο ής και τα ερ τήματα μπορούν να ε ρη ούν ς έννοιες (υποσύνο α όρ ν) που ορίζονται στο ώρο εννοιών. Ένα έ ραφο d αναπαρίσταται ς μία έννοια ( ρησιμοποιούμε το ίδιο σύμ ο ο d) που ορίζεται ς d = {v 1, v 2,..., v M }, όπου το v i αναφέρεται στην τυ αία μετα ητή που σ ετίζεται με τον όρο t i o οποίος σ ετίζεται με το έ ραφο d. Ομοί ς, ένα ερώτημα q αναπαρίσταται ς μία έννοια (συμ ο ίζεται με q), που στην ουσία πρόκειται ια ένα υποσύνο ο τ ν όρ ν. Εάν ένας όρος t i ρησιμοποιείται ια την περι ραφή του ε ράφου d τότε προφανώς g i (d) = 1 ενώ αν περι ράφει ένα ερώτημα q τότε g i (q) = 1. Εφόσον στό ος της διαδικασίας ανάκτησης είναι ο προσδιορισμός τ ν πιο σ ετικών ε ράφ ν ς προς την π ηροφοριακή ανά κη του ρήστη, ια να επιτευ εί ο στό ος αυτός α πρέπει να ρε εί μία μέ οδος συνδυασμού τ ν εννοιών που αναφέρονται στα έ ραφα της συ ο ής και και τ ν εννοιών που αναφέρονται στα ερ τήματα. Ορίζουμε μία συνάρτηση πυκνότητας πι ανότητας στο ώρο T ς εξής. Έστ

20 112 Κεφάλαιο 5. Το Πιθανοκρατικό Μοντέλο E μία έννοια του ώρου T που αναπαριστά ένα έ ραφο ή ένα ερώτημα. Τότε έ ουμε: P (E) = C T P (E C) P (C) (5.19) P (C) = 1 2 M (5.20) Οι πι ανότητα P (E) εκφράζει το α μό κά υψης του ώρου T από την έννοια E. Η κά υψη αυτή υπο ο ίζεται με τη οή εια τ ν υπό συν ήκη πι ανοτήτ ν P (E C) ια κά ε έννοια C. Εφόσον αρ ικά το σύστημα δεν μπορεί να ν ρίζει την πι ανότητα εμφάνισης μίας έννοιας, υπο έτουμε ότι κά ε έννοια C έ ει την ίδια πι ανότητα εμφάνισης. Αφού το συνο ικό π ή ος τ ν εννοιών είναι 2 M, η πι ανότητα εμφάνισης της κά ε έννοιας είναι 1/2 M. Με άση τη συζήτηση που προη ή ηκε, στο μοντέ ο δικτύου πίστης τα έ - ραφα της συ ο ής και τα ερ τήματα μοντε οποιούνται ς υποσύνο α τ ν όρ ν. Επομέν ς, ια κά ε έ ραφο ή ερώτημα προκύπτει μία μόνο αναπαράσταση. Στο Σ ήμα 5.4 παρουσιάζεται η τοπο ο ία ενός δικτύου πίστης. Παρατηρήστε τη διαφορά σε σ έση με το δίκτυο συμπερασμάτ ν του Σ ήματος 5.3. Τα έ η που συνδέουν τους κόμ ους τ ν όρ ν με τους κόμ ους τ ν ε ράφ ν έ ουν αντίστροφη κατεύ υνση. Η διαφορά αυτή, αν και μικρή φαινομενικά, επιφέρει σημαντικές α α ές στον τρόπο προσδιορισμού τ ν σ ετικών ε ράφ ν όπ ς α δούμε στη συνέ εια d 1 d 2 d j d N t t 2 t i t M q Σχήμα 5.4: Παράδειγμα δικτύου πίστης. Ορισμός 5.6. Στο μοντέλο δικτύου πίστης η συνάρτηση ομοιότητας ενός εγγράφου d σε σχέση με ένα ερώτημα q συμβολίζεται με S belief (q, d) και ορίζεται ως η πιθανότητα P (d q).

21 5.5. Σύνοψη και Περαιτέρω Μελέτη 113 Με εφαρμο ή του κανόνα του Bayes, έ ουμε ότι P (d q) = P (d q)/p (q). Η τιμή P (q) είναι ανεξάρτητη από τα έ ραφα της συ ο ής, οπότε ο α μός ομοιότητας του ε ράφου d ς προς το ερώτημα q είναι ανά ο ος της ποσότητας P (d q), και ράφουμε P (d q) P (d q). Με εφαρμο ή του τύπου 5.19 ια την πι ανότητα P (d q) παίρνουμε: P (d q) C T P (d q C) P (C) Χρησιμοποιώντας την ιδιότητα της ανεξαρτησίας τ ν κόμ ν τ ν ε ράφ ν και τ ν κόμ ν τ ν ερ τημάτ ν, έ ουμε: P (d q) C T P (d C) P (q C) P (C) (5.21) Εάν στον τύπο 5.21 έσουμε τις τιμές τ ν πι ανοτήτ ν P (d C) και P (q C) τότε μπορούμε να προσδιορίσουμε το α μό ομοιότητας του ε ράφου d ς προς το ερώτημα q. Προσδιορίζοντας με διαφορετικό τρόπο τις πι ανότητες αυτές υποστηρίζεται μία π η ώρα διαφορετικών με όδ ν α μο ό ησης τ ν ε ράφ ν. Ως παράδει μα, α με ετη εί ο τρόπος υπο ο ισμού τ ν πι ανοτήτ ν ώστε το μοντέ ο δικτύου πίστης να προσομοιώσει το Διανυσματικό μοντέ ο. 5.5 Σύνοψη και Περαιτέρ Με έτη Στο κεφά αιο αυτό με ετήσαμε με όδους ρήσης της Θε ρίας Πι ανοτήτ ν ια τον προσδιορισμό της ομοιότητας μεταξύ ενός ερ τήματος και τ ν ε ράφ ν της συ ο ής. Αρ ικά με ετή ηκε το απ ό Πι ανοκρατικό μοντέ ο ανάκτησης ενώ στη συνέ εια ανα ύ ηκαν τα ασικά συστατικά δύο μοντέ ν που στηρίζονται στα δίκτυα Bayes, το μοντέ ο δικτύου συμπερασμάτ ν και το μοντέ ο δικτύου πίστης. Τα μοντέ α ανάκτησης που ασίζονται σε πι ανοκρατική εώρηση ε ράφ ν, όρ ν και ερ τημάτ ν έ ουν με ετη εί διεξοδικά στη ι ιο ραφία. Παραπέμπουμε τον ανα νώστη που έ ει να εμ α ύνει περισσότερο στο ώρο στο ι ίο του Rijbergen [7] που αποτε εί ένα πο ύ ασικό σύ ραμα, στο ι ίο τ ν Baeza-Yates και Ribeiro-Neto [3] και στο πιο σύ ρονο ι ίο τ ν Manning, Raghavan και Schutze [3]. Περισσότερες επτομέρειες σ ετικά με το απ ό Πι ανοκρατικό μοντέ ο υπάρ ουν στις ερευνητικές ερ ασίες [2, 4, 5, 8, 12] ενώ στις ερ ασίες [9, 11] ανα ύεται ο τρόπος προσδιορισμού της ομοιότητας που ρησιμοποιείται στο σύστημα Okapi. Επίσης, εξαιρετικό ενδιαφέρον παρουσιάζουν η

22 114 Κεφάλαιο 5. Το Πιθανοκρατικό Μοντέλο ερ ασία τ ν Turtle και Croft [14] που ανα ύει το μοντέ ο δικτύου συμπερασμάτ ν και η ερ ασία τ ν Ribeiro-Neto και Muntz [6] που εστιάζει στο μοντέ ο δικύου πίστης. 5.6 Ασκήσεις 5.1 Να δώσετε τον κανόνα του Bayes και να σ ο ιάσετε το τι ακρι ώς αναφέρει. 5.2 Από ποιόν μα ηματικό τύπο δίνεται ο α μός ομοιότητας μεταξύ ενός ερ τήματος q και ενός ε ράφου d; 5.3 Να διατυπώσετε την Αρ ή Πι ανοκρατικής Βα μο ό ησης και την Αρ ή της Ανάκτησης Δυαδικής Ανεξαρτησίας. 5.4 Ποιά κατά τη νώμη σας πιστεύετε ότι είναι τα ασικά μειονεκτήματα του απ όυ Πι ανοκρατικού μοντέ ου; 5.5 Να περι ράψετε τα ασικά αρακτηριστικά ενός δικτύου συμπερασμάτ ν και ενός δικτύου πίστης. Ποιές είναι οι ασικές τους διαφορές;

23 Βι ιο ραφία [1] R. Baeza-Yates and B. Ribeiro-Neto. Modern Information Retrieval. Addison Wesley, [2] N. Fuhr. Probabilistic models in information retrieval. Computer Journal, 35(3): , [3] C.D. Manning, P. Raghavan, and H. Schutze. An Introduction to Information Retrieval (draft version). Cambridge University Press, [4] M.E. Maron and J.L. Kuhns. On relevance, probabilistic indexing and information retrieval. Journal of the ACM, 7: , [5] M.E. Maron. Mechanized documentation: The logic behind a probabilistic interpretation. In Statistical Association Methods for Mechanized Documentation, pages 9-13, National Bureau of Standards, Washington, USA, [6] B. Ribeiro-Neto and R. Muntz. A belief network model for ir. In Proceedings of the 19th Annual International ACM SIGIR Conference, pages , Zurich, Switzerland, [7] C.J. van Rijsbergen. Information Retrieval. Butterworths, [8] S.E. Robertson and K. Sparck Jones. Relevance weighting of search terms. Journal of the American Society for Information Sciences, 27(3): , [9] S.E. Robertson and S. Walker. Some simple effective approximations to the 2-poisson model for probabilistic weighted retrieval. In Proceedings of the 17th Annual International ACM SIGIR Conference, pages , Dublin, Ireland,

24 116 Βιβλιογραφία [10] S.E. Robertson. The probability ranking principle in ir. Journal of Documentation, 33: , [11] S.E Robertson, S. Walker, S. Jones, M.M. Hancock-Beaulieu, and M. Gatford. Okapi at trec-3. In Proceedings of the 3rd Text Retrieval Conference (TREC), pages , Gaithersburg, MD, [12] G. Salton and C. Buckley. Improving retrieval performance by relevance feedback. Journal of the American Society for Information Sciences, 41(4): , [13] H. Turtle. Inference Networks for Document Retrieval. PhD thesis, Computer and Information Science Department, University of Massachusetts, USA, [14] H.R. Turtle and W.B. Croft. Inference networks for document retrieval. In Proceedings of the 13th Annual International ACM SIGIR Conference, pages 1-24, Brussels, Belgium, 1990.