Χοmπαρινγ εξπλιχιτ ανδ ιmπλιχιτ φεεδβαχκ τεχηνιθυεσ φορ ωεβ ρετριεϖαλ: ΤΡΕΧ 10 ιντεραχτιϖε τραχκ ρεπορτ

Transcript

1 White, R.W. and Jose, J.M. and Ruthven, I. (2002) Comparing explicit and implicit feedback techniques for web retrieval : TREC-10 interactive track report. In: Proceedings of the Tenth Text Retrieval Conference (TREC- 10), , This version is available at Strathprints is designed to allow users to access the research output of the University of Strathclyde. Unless otherwise explicitly stated on the manuscript, Copyright and Moral Rights for the papers on this site are retained by the individual authors and/or other copyright owners. Please check the manuscript for details of any other licences that may have been applied. You may not engage in further distribution of the material for any profitmaking activities or any commercial gain. You may freely distribute both the url ( and the content of this paper for research or private study, educational, or not-for-profit purposes without prior permission or charge. Any correspondence concerning this service should be sent to the Strathprints administrator: strathprints@strath.ac.uk The Strathprints institutional repository ( is a digital archive of University of Strathclyde research outputs. It has been developed to disseminate open access research outputs, expose data about those outputs, and enable the management and persistent access to Strathclyde's intellectual output.

2 Χοmπαρινγ εξπλιχιτ ανδ ιmπλιχιτ φεεδβαχκ τεχηνιθυεσ φορ ωεβ ρετριεϖαλ: ΤΡΕΧ 10 ιντεραχτιϖε τραχκ ρεπορτ Ρψεν W. Wηιτε 1, ϑοεmον Μ. ϑοσε 1 ανδ Ι. Ρυτηϖεν 2 1 Dεπαρτmεντ οφ Χοmπυτινγ Σχιενχε Υνιϖερσιτψ οφ Γλασγοω, Γλασγοω, Γ12 8ΘΘ. Σχοτλανδ ωηιτερ, ϕϕ δχσ.γλα.αχ.υκ 2 Dεπαρτmεντ οφ Χοmπυτερ ανδ Ινφορmατιον Σχιενχεσ Υνιϖερσιτψ οφ Στρατηχλψδε, Γλασγοω Γ1 1ΞΗ. Σχοτλανδ Ιαν.Ρυτηϖεν χισ.στρατη.αχ.υκ 1. Ιντροδυχτιον Ιν τηισ παπερ ωε εξαmινε τηε εξτεντ το ωηιχη ιmπλιχιτ φεεδβαχκ (ωηερε τηε σψστεm αττεmπτσ το εστιmατε ωηατ τηε υσερ mαψ βε ιντερεστεδ ιν) χαν αχτ ασ α συβστιτυτε φορ εξπλιχιτ φεεδβαχκ (ωηερε σεαρχηερσ εξπλιχιτλψ mαρκ δοχυmεντσ ρελεϖαντ). Τηερεφορε, ωε αττεmπτ το σιδε στεπ τηε προβλεm οφ γεττινγ υσερσ το εξπλιχιτλψ mαρκ δοχυmεντσ ρελεϖαντ βψ mακινγ πρεδιχτιονσ ον ρελεϖανχε τηρουγη αναλψσινγ τηε υσερ σ ιντεραχτιον ωιτη τηε σψστεm. Σπεχιφιχαλλψ, ωε ηψποτηεσισεδ τηατ ιmπλιχιτ ανδ εξπλιχιτ φεεδβαχκ ωερε ιντερχηανγεαβλε ασ σουρχεσ οφ ρελεϖανχε ινφορmατιον φορ ρελεϖανχε φεεδβαχκ. Τηρουγη δεϖελοπινγ α σψστεm τηατ υτιλισεδ εαχη τψπε οφ φεεδβαχκ ωε ωερε αβλε το χοmπαρε τηε τωο αππροαχηεσ ιν τερmσ οφ σεαρχη εφφεχτιϖενεσσ. 2. Σψστεmσ Ουρ βασιχ εξπεριmενταλ σψστεm ισ α γενεριχ ιντερφαχε τηατ χαν χοννεχτ το ανψ ωεβ σεαρχη ενγινε. Ιν ουρ εξπεριmεντσ ωε υσε τηε ιντερφαχε το χοννεχτ το τηε Γοογλε σεαρχη ενγινε. Τηε ιντερφαχε ισ βασεδ ον α συmmαρισατιον ιντερφαχε δεϖελοπεδ φορ ινϖεστιγατινγ ωεβ σεαρχη βεηαϖιουρ, [WϑΡ01, WΡϑ01]. Τηε σψστεm ωε δεϖελοπεδ φορ τηε εξπεριmεντσ ιν τηισ παπερ αλσο ινχορπορατεσ α χοmπονεντ τηατ δισπλαψσ σεντενχεσ φροm τηε ρετριεϖεδ σετ οφ ωεβ παγεσ. Τηεσε σεντενχεσ αρε ονεσ τηατ ηαϖε α ηιγη δεγρεε οφ mατχη ωιτη τηε υσερ σ θυερψ. Τηε σετ οφ σεντενχεσ ανδ τηε ρανκινγ οφ τηε σεντενχεσ αυτοmατιχαλλψ υπδατεσ ιν τηε πρεσενχε οφ ρελεϖανχε ινφορmατιον φροm τηε υσερ (ρελεϖανχε φεεδβαχκ). Τηατ ισ τηε χοντεντ οφ τηε συmmαρψ ισ υσεδ το φορm α νεω θυερψ ωηιχη ισ υσεδ το χρεατε α νεω λιστ οφ ιmπορταντ σεντενχεσ φορ δισπλαψ το τηε υσερ. Τωο ιντερφαχεσ ωερε δεϖελοπεδ; ονε ωηιχη υσεσ εξπλιχιτ φεεδβαχκ ανδ ονε ωηιχη υσεσ ιmπλιχιτ φεεδβαχκ. Τηε εξπλιχιτ φεεδβαχκ ιντερφαχε ηαδ χηεχκβοξεσ το αλλοω υσερσ το εξπλιχιτλψ mαρκ δοχυmεντσ ρελεϖαντ; τηε ιmπλιχιτ ιντερφαχε ασσυmεδ τηατ ανψ δοχυmεντ φορ ωηιχη α συmmαρψ ωασ ρεθυεστεδ ωασ οφ ιντερεστ το τηε υσερ. Ουρ εξπεριmενταλ ηψποτηεσισ ωασ τηε δεγρεε το ωηιχη τηε ιmπλιχιτ ιντεραχτιον χουλδ συβστιτυτε φορ τηε εξπλιχιτ ρελεϖανχε ασσεσσmεντσ. Dεταιλσ οφ τηε σψστεmσ χαν βε φουνδ ιν [WΡϑ02]. 1

3 3. Εξπεριmενταλ δεταιλσ Ιν τοταλ, 16 συβϕεχτσ παρτιχιπατεδ ιν ουρ εξπεριmεντσ. Αλλ συβϕεχτσ ωερε εδυχατεδ το γραδυατε λεϖελ ιν α νον χοmπυτινγ, νον ΛΙΣ δισχιπλινε, ωιτη τηρεε εξχεπτιονσ, αλλ ουρ συβϕεχτσ ωερε ρεχρυιτεδ φροm τηε Ινφορmατιον Τεχηνολογψ χουρσε ατ τηε Υνιϖερσιτψ οφ Γλασγοω. Αλλ υσερσ, ωιτη ονε εξχεπτιον, υσεδ τηε Ιντερνετ ον α ρεγυλαρ βασισ. Τηε αϖεραγε αγε οφ τηε συβϕεχτσ ωασ ωιτη α ρανγε οφ 11 ψεαρσ. Μοστ υσερσ υσεδ χοmπυτερσ ανδ τηε Ιντερνετ φρεθυεντλψ τηε αϖεραγε τιmε σπεντ ονλινε περ ωεεκ ωασ 14 ηουρσ. Wιτη τηρεε εξχεπτιονσ, αλλ υσερσ χιτεδ Γοογλε ασ αmονγστ τηειρ φαϖουριτε σεαρχη ενγινεσ. Φιγυρε 1 σηοωσ τηε τασκσ ωε υσεδ ιν τηε εξπεριmεντσ. Μεδιχαλ Φινδ α ωεβσιτε λικελψ το χονταιν ρελιαβλε ινφορmατιον ον τηε εφφεχτ οφ σεχονδ ηανδ σmοκε. Τελλ mε τηρεε χατεγοριεσ οφ πεοπλε ωηο σηουλδ ορ σηουλδ νοτ γετ α φλυ σηοτ ανδ ωηψ. Λιστ τωο οφ τηε γενεραλλψ ρεχοmmενδεδ τρεατmεντσ φορ στοmαχη υλχερσ. Ιδεντιφψ τωο προσ ορ χονσ οφ τακινγ λαργε δοσεσ οφ ςιταmιν Α. Βυψινγ Γετ τωο πριχε θυοτεσ φορ α νεω διγιταλ χαmερα (3 ορ mορε mεγαπιξελσ ανδ 2ξ ορ mορε ζοοm). Φινδ τωο ωεβσιτεσ τηατ αλλοω πεοπλε το βυψ σοψ mιλκ ονλινε. Ναmε τηρεε φεατυρεσ το χονσιδερ ιν βυψινγ α νεω ψαχητ. Φινδ τωο ωεβσιτεσ τηατ ωιλλ λετ mε βυψ α περσοναλ ΧD πλαψερ ονλινε. Τραϖελ Ι ωαντ το ϖισιτ Ανταρχτιχα. Φινδ α ωεβσιτε ωιτη ινφορmατιον ον οργανιζεδ τουρσ/τριπσ τηερε. Ιδεντιφψ τηρεε ιντερεστινγ τηινγσ το δο δυρινγ α ωεεκενδ ιν Κψοτο, ϑαπαν. Ιδεντιφψ τηρεε ιντερεστινγ πλαχεσ το ϖισιτ ιν Τηαιλανδ. Ι δ λικε το γο ον α σαιλινγ ϖαχατιον ιν Αυστραλια, βυτ Ι δον τ κνοω ηοω το σαιλ. Τελλ mε ωηερε χαν Ι γετ σοmε ινφορmατιον αβουτ οργανιζεδ σαιλινγ χρυισεσ ιν τηατ αρεα. Προϕεχτ Φινδ τηρεε αρτιχλεσ τηατ α ηιγη σχηοολ στυδεντ χουλδ υσε ιν ωριτινγ α ρεπορτ ον τηε Τιτανιχ. Τελλ mε τηε ναmε οφ α ωεβσιτε ωηερε Ι χαν φινδ mατεριαλ ον γλοβαλ ωαρmινγ. Φινδ τηρεε διφφερεντ ινφορmατιον σουρχεσ τηατ mαψ βε υσεφυλ το α ηιγη σχηοολ στυδεντ ιν ωριτινγ α βιογραπηψ οφ ϑοην Φ. Κεννεδψ. Λοχατε α σιτε ωιτη λοτσ οφ ινφορmατιον φορ α ηιγη σχηοολ ρεπορτ ον τηε ηιστορψ οφ τηε Ναπολεονιχ ωαρσ. Φιγυρε 1 : Τασκσ υσεδ ιν ΤΡΕΧ 10 ιντεραχτιϖε τραχκ εξπεριmεντσ Υσερσ ωερε αλλοωεδ α mαξιmυm οφ 10 mινυτεσ φορ εαχη τασκ. Τηεψ ωερε ασκεδ το υσε τηε σψστεm πρεσεντεδ το τηεm (ειτηερ ιmπλιχιτ ορ εξπλιχιτ, δεπενδινγ ον τηε παρτιχυλαρ Γρεχο 2

4 Λατιν σθυαρε αλλοχατιον) το σεαρχη τηε Ιντερνετ ανδ αττεmπτ το φινδ αν ανσωερ το τηε τασκ σετ. Υσερσ ωερε αλλοωεδ το βροωσε αωαψ φροm τηε ρεσυλτ λιστ το ανψ δεγρεε. 4. Ρεσυλτσ & Αναλψσισ Μοστ οφ τηε δατα υσεδ το ασσεσσ σεαρχη εφφεχτιϖενεσσ χαmε φροm τηε λογσ γενερατεδ βψ τηε σψστεm δυρινγ τηε εξπεριmεντσ. 4.1 Νυmβερ οφ Ρεσυλτσ Παγεσ ςιεωεδ Τηε τοταλ νυmβερ οφ ρεσυλτ παγεσ ϖιεωεδ ανδ θυεριεσ συβmιττεδ δυρινγ αλλ τηε εξπεριmεντσ ωασ ρεχορδεδ. Ταβλε 1 σηοωσ τηε αϖεραγε ρεσυλτσ περ υσερ οβταινεδ. ςαριατιον Νυmβερ οφ ρεσυλτ παγεσ Νυmβερ οφ θυερψ ιτερατιονσ Ιmπλιχιτ Εξπλιχιτ υσερσ οχχασιοναλλψ ρεφινεδ θυερψ βεφορε ρεσυλτ παγε αππεαρεδ, σο ρεσυλτ παγεσ θυερψ ιτερατιονσ Ταβλε 1: Αϖεραγε ρεσυλτ παγε ϖιεωσ ανδ θυερψ ιτερατιονσ περ υσερ Τηεσε διφφερενχεσ αρε νοτ σιγνιφιχαντ υσινγ α Μανν Wηιτνεψ Τεστ ατ π 0.05 (π = 0.234). Ουρ σψστεm γαϖε αχχεσσ το τηε φιρστ 30 δοχυmεντσ ρετριεϖεδ βψ τηε υνδερλψινγ σεαρχη ενγινε, ανδ ιν mανψ χασεσ τηισ ωασ συφφιχιεντ το χοmπλετε τηε τασκσ. Τηισ mεαντ τηατ τηερε ωασ νο ρεαλ νεεδ φορ υσερσ το βροωσε το τηε νεξτ 30 ρεσυλτσ (ι.ε. ρεσυλτσ 30 το 60 ιν στανδαρδ σεαρχη ενγινεσ). Τηε λαχκ οφ α σιγνιφιχαντ διφφερενχε βετωεεν τηε ιmπλιχιτ ανδ εξπλιχιτ σψστεmσ σηοωσ τηατ τηε τψπε οφ σψστεm υσεδ δοεσ νοτ αφφεχτ τηε νυmβερ οφ ρεσυλτ παγεσ ϖιεωεδ ορ θυερψ ιτερατιονσ νεεδεδ. 4.2 Τασκ Χοmπλετιον Ασ παρτ οφ τηε ποστ τασκ θυεστιονναιρε υσερσ ωερε ασκεδ ωηετηερ τηεψ φελτ τηεψ ηαδ συχχεσσφυλλψ χοmπλετεδ τηε τασκ ϕυστ αττεmπτεδ, ιτ ισ τηεσε ρεσυλτσ τηατ αρε πρεσεντεδ ιν Ταβλε 2. Τηε χηοιχε οφ ωηετηερ α τασκ ωασ χοmπλετε ωασ λεφτ υπ το τηε υσερ. Ιτ ωασ τηουγητ τηατ τηισ βεστ ρεφλεχτεδ ρεαλ ωορλδ ρετριεϖαλ σιτυατιονσ. Ηοωεϖερ, τηε εξπεριmεντερ ωασ οχχασιοναλλψ ασκεδ το ϖεριφψ τηε χορρεχτνεσσ οφ τηε ρεσυλτσ οβταινεδ. Ταβλε 2 σηοωσ τηεσε ρεσυλτσ (ουτ οφ 64). Αγαιν τηεσε ρεσυλτσ αρε νοτ σιγνιφιχαντ υσινγ α Μανν Wηιτνεψ Τεστ ατ π 0.05 (π = 0.361). Τηερε ισ νο σιγνιφιχαντ διφφερενχε βετωεεν τηε νυmβερ οφ τασκσ τηατ υσερσ χοmπλετεδ ον τηε ιmπλιχιτ ανδ τηε εξπλιχιτ σψστεmσ. 3

5 ςαριατιον Ιmπλιχιτ Εξπλιχιτ Νυmβερ οφ τασκσ χοmπλετεδ Ταβλε 2: Νυmβερ οφ τασκσ χοmπλετεδ 4.3 Τασκ Τιmεσ Τηε τιmε τακεν το χοmπλετε τασκσ ον βοτη σψστεmσ ωασ mεασυρεδ. Wηεν α τασκ ωασ ινχοmπλετε, α φιγυρε οφ 600 σεχονδσ (10 mινυτεσ) ωουλδ βε ρεχορδεδ βψ τηε σψστεm. Τηισ ωασ τηε τιmε λιmιτ ιmποσεδ ον εαχη τασκ ανδ υσερσ ωερε νοτ αλλοωεδ το ωορκ παστ τηισ. Ιν Ταβλε 3 ωε χαν σεε τηεσε ρεσυλτσ. ςαριατιον Ιmπλιχιτ Εξπλιχιτ Αϖεραγε τιmε περ τασκ (σεχσ) Ταβλε 3: Αϖεραγε τιmε περ τασκ Αγαιν τηεσε αρε νοτ σιγνιφιχαντ υσινγ α Μανν Wηιτνεψ Τεστ ατ π 0.05 (π = 0.228). Φροm αν αναλψσισ οφ τηε λογ φιλεσ ωε ωερε αβλε το εσταβλιση τηατ νο σιγνιφιχαντ διφφερενχε εξιστεδ βετωεεν τηε τωο ϖαριατιονσ. Τηισ αππεαρσ το αδδ α λιττλε ωειγητ το ουρ χλαιm τηατ περηαπσ τηε ιmπλιχιτ ανδ εξπλιχιτ φεεδβαχκ αρε ατ λεαστ το σοmε δεγρεε συβστιτυταβλε, αλτηουγη φαχτορσ συχη ασ τηε σιmιλαριτψ οφ τηε ιντερφαχε δεσιγν mαψ βε ιmπορταντ τοο. Ιφ τηε ρεσυλτσ οβταινεδ ωερε σιγνιφιχαντ ωε χουλδ συγγεστ τηατ ονε τψπε οφ σψστεm προmοτεσ σεαρχη εφφεχτιϖενεσσ mορε τηαν τηε οτηερ. Ιν τηισ χασε, τηερε ισ νο σιγνιφιχαντ διφφερενχε, ανδ ιτ ισ σαφε το ασσυmε τηατ σοmε δεγρεε οφ συβστιτυταβιλιτψ δοεσ ινδεεδ εξιστ. Φυρτηερ ρεσυλτσ ανδ αναλψσισ αρε ρεπορτεδ ιν [WΡϑ02]. Αχκνοωλεδγεmεντσ Wε ωουλδ λικε το τηανκ φελλοω mεmβερσ οφ τηε Ινφορmατιον Ρετριεϖαλ γρουπ φορ τηειρ τηουγητσ ανδ ασσιστανχε. Wε ωουλδ αλσο λικε το τηανκ τηοσε ωηο παρτιχιπατεδ ιν τηε εξπεριmεντσ, τηειρ χοmmεντσ ανδ εντηυσιασm ωερε γρεατλψ αππρεχιατεδ. Ρεφερενχεσ [WϑΡ01] Wηιτε, Ρ., ϑοσε, ϑ.μ. ανδ Ρυτηϖεν, Ι. Θυερψ Βιασεδ Wεβ Παγε Συmmαρισατιον: Α Τασκ Οριεντεδ Εϖαλυατιον. Ποστερ Παπερ. Προχεεδινγσ οφ τηε 24τη Αννυαλ Ιντερνατιοναλ 4

6 ΑΧΜ ΣΙΓΙΡ Χονφερενχε ον Ρεσεαρχη ανδ Dεϖελοπmεντ ιν Ινφορmατιον Ρετριεϖαλ (ΣΙΓΙΡ 01) Νεω Ορλεανσ, ΥΣΑ, 9 13 Σεπτεmβερ [WΡϑ01] Wηιτε, Ρ., Ρυτηϖεν, Ι. ανδ ϑοσε, ϑ.μ. Wεβ δοχυmεντ συmmαρισατιον: α τασκ οριεντεδ εϖαλυατιον. Ιντερνατιοναλ Wορκσηοπ ον Dιγιταλ Λιβραριεσ. Προχεεδινγσ οφ τηε 12τη Ιντερνατιοναλ Dαταβασε ανδ Εξπερτ Σψστεmσ Αππλιχατιονσ Χονφερενχε (DΕΞΑ 2001) Μυνιχη, Γερmανψ, 3 7 Σεπτεmβερ [WΡϑ02] Wηιτε, Ρ., Ρυτηϖεν, Ι. ανδ ϑοσε, ϑ.μ. Τηε υσε οφ ιmπλιχιτ εϖιδενχε φορ ρελεϖανχε φεεδβαχκ ιν ωεβ ρετριεϖαλ. Προχεεδινγσ οφ τηε Τωεντψ Φουρτη Ευροπεαν Χολλοθυιυm ον Ινφορmατιον Ρετριεϖαλ Ρεσεαρχη (ΕΧΙΡ 02). Λεχτυρε Νοτεσ ιν Χοmπυτερ Σχιενχε. Γλασγοω ιν πρεσσ. 5