Προχωρημένες Λειτουργίες Επερώτησης Advanced Query Operations

Σχετικά έγγραφα
Προχωρημένες Λειτουργίες Επερώτησης Advanced Query Operations

ΚΥΠΡΙΑΚΗ ΕΤΑΙΡΕΙΑ ΠΛΗΡΟΦΟΡΙΚΗΣ CYPRUS COMPUTER SOCIETY ΠΑΓΚΥΠΡΙΟΣ ΜΑΘΗΤΙΚΟΣ ΔΙΑΓΩΝΙΣΜΟΣ ΠΛΗΡΟΦΟΡΙΚΗΣ 19/5/2007

CHAPTER 25 SOLVING EQUATIONS BY ITERATIVE METHODS

C.S. 430 Assignment 6, Sample Solutions

EE512: Error Control Coding

The Simply Typed Lambda Calculus

Homework 3 Solutions

Section 8.3 Trigonometric Equations

Phys460.nb Solution for the t-dependent Schrodinger s equation How did we find the solution? (not required)

Approximation of distance between locations on earth given by latitude and longitude

Ανάκτηση Πληροφορίας

Inverse trigonometric functions & General Solution of Trigonometric Equations

2 Composition. Invertible Mappings

Other Test Constructions: Likelihood Ratio & Bayes Tests

Finite Field Problems: Solutions

Matrices and Determinants

Lecture 2: Dirac notation and a review of linear algebra Read Sakurai chapter 1, Baym chatper 3

Partial Differential Equations in Biology The boundary element method. March 26, 2013

Math 6 SL Probability Distributions Practice Test Mark Scheme

ΕΙΣΑΓΩΓΗ ΣΤΗ ΣΤΑΤΙΣΤΙΚΗ ΑΝΑΛΥΣΗ

The challenges of non-stable predicates

Example Sheet 3 Solutions

Statistical Inference I Locally most powerful tests

ΚΥΠΡΙΑΚΗ ΕΤΑΙΡΕΙΑ ΠΛΗΡΟΦΟΡΙΚΗΣ CYPRUS COMPUTER SOCIETY ΠΑΓΚΥΠΡΙΟΣ ΜΑΘΗΤΙΚΟΣ ΔΙΑΓΩΝΙΣΜΟΣ ΠΛΗΡΟΦΟΡΙΚΗΣ 6/5/2006

PARTIAL NOTES for 6.1 Trigonometric Identities

Fractional Colorings and Zykov Products of graphs

Μηχανική Μάθηση Hypothesis Testing

Numerical Analysis FMN011

ST5224: Advanced Statistical Theory II

Main source: "Discrete-time systems and computer control" by Α. ΣΚΟΔΡΑΣ ΨΗΦΙΑΚΟΣ ΕΛΕΓΧΟΣ ΔΙΑΛΕΞΗ 4 ΔΙΑΦΑΝΕΙΑ 1

Section 7.6 Double and Half Angle Formulas

derivation of the Laplacian from rectangular to spherical coordinates

HOMEWORK 4 = G. In order to plot the stress versus the stretch we define a normalized stretch:

Ordinal Arithmetic: Addition, Multiplication, Exponentiation and Limit

Fourier Series. MATH 211, Calculus II. J. Robert Buchanan. Spring Department of Mathematics

Lecture 2. Soundness and completeness of propositional logic

Every set of first-order formulas is equivalent to an independent set

Στο εστιατόριο «ToDokimasesPrinToBgaleisStonKosmo?» έξω από τους δακτυλίους του Κρόνου, οι παραγγελίες γίνονται ηλεκτρονικά.

3.4 SUM AND DIFFERENCE FORMULAS. NOTE: cos(α+β) cos α + cos β cos(α-β) cos α -cos β

Προχωρημένες Λειτουργίες Επερώτησης Advanced Query Operations

2. THEORY OF EQUATIONS. PREVIOUS EAMCET Bits.

Προχωρημένες Λειτουργίες Επερώτησης Advanced Query Operations

Econ 2110: Fall 2008 Suggested Solutions to Problem Set 8 questions or comments to Dan Fetter 1

SCITECH Volume 13, Issue 2 RESEARCH ORGANISATION Published online: March 29, 2018

Chapter 3: Ordinal Numbers

Section 1: Listening and responding. Presenter: Niki Farfara MGTAV VCE Seminar 7 August 2016

SCHOOL OF MATHEMATICAL SCIENCES G11LMA Linear Mathematics Examination Solutions

TMA4115 Matematikk 3

Chapter 6: Systems of Linear Differential. be continuous functions on the interval

ΚΥΠΡΙΑΚΗ ΕΤΑΙΡΕΙΑ ΠΛΗΡΟΦΟΡΙΚΗΣ CYPRUS COMPUTER SOCIETY ΠΑΓΚΥΠΡΙΟΣ ΜΑΘΗΤΙΚΟΣ ΔΙΑΓΩΝΙΣΜΟΣ ΠΛΗΡΟΦΟΡΙΚΗΣ 24/3/2007

6.3 Forecasting ARMA processes

4.6 Autoregressive Moving Average Model ARMA(1,1)

Bayesian statistics. DS GA 1002 Probability and Statistics for Data Science.

ΑΓΓΛΙΚΑ Ι. Ενότητα 7α: Impact of the Internet on Economic Education. Ζωή Κανταρίδου Τμήμα Εφαρμοσμένης Πληροφορικής

Πανεπιστήμιο Κρήτης, Τμήμα Επιστήμης Υπολογιστών Άνοιξη HΥ463 - Συστήματα Ανάκτησης Πληροφοριών Information Retrieval (IR) Systems

ANSWERSHEET (TOPIC = DIFFERENTIAL CALCULUS) COLLECTION #2. h 0 h h 0 h h 0 ( ) g k = g 0 + g 1 + g g 2009 =?

( ) 2 and compare to M.

Second Order RLC Filters

6.1. Dirac Equation. Hamiltonian. Dirac Eq.

Αλγόριθμοι και πολυπλοκότητα NP-Completeness (2)

Πρόβλημα 1: Αναζήτηση Ελάχιστης/Μέγιστης Τιμής

Srednicki Chapter 55

k A = [k, k]( )[a 1, a 2 ] = [ka 1,ka 2 ] 4For the division of two intervals of confidence in R +

Exercises 10. Find a fundamental matrix of the given system of equations. Also find the fundamental matrix Φ(t) satisfying Φ(0) = I. 1.

Section 9.2 Polar Equations and Graphs

Concrete Mathematics Exercises from 30 September 2016

Συστήματα Διαχείρισης Βάσεων Δεδομένων

Instruction Execution Times

Reminders: linear functions

Math221: HW# 1 solutions

Nowhere-zero flows Let be a digraph, Abelian group. A Γ-circulation in is a mapping : such that, where, and : tail in X, head in

CE 530 Molecular Simulation

Mean bond enthalpy Standard enthalpy of formation Bond N H N N N N H O O O

Calculating the propagation delay of coaxial cable

5.4 The Poisson Distribution.

Problem Set 3: Solutions

DESIGN OF MACHINERY SOLUTION MANUAL h in h 4 0.

Bounding Nonsplitting Enumeration Degrees

Ανάκτηση Πληροφορίας (Information Retrieval IR) ιδακτικό βοήθηµα 2. Πανεπιστήµιο Θεσσαλίας Πολυτεχνική Σχολή Τµήµα Μηχ. Η/Υ, Τηλ/νιών & ικτύων

Ανάκτηση Πληροφορίας (Information Retrieval IR)

Example of the Baum-Welch Algorithm

Solutions to Exercise Sheet 5

9.09. # 1. Area inside the oval limaçon r = cos θ. To graph, start with θ = 0 so r = 6. Compute dr

Abstract Storage Devices

Overview. Transition Semantics. Configurations and the transition relation. Executions and computation

Lecture 34 Bootstrap confidence intervals

ΕΛΛΗΝΙΚΗ ΔΗΜΟΚΡΑΤΙΑ ΠΑΝΕΠΙΣΤΗΜΙΟ ΚΡΗΤΗΣ. Ψηφιακή Οικονομία. Διάλεξη 7η: Consumer Behavior Mαρίνα Μπιτσάκη Τμήμα Επιστήμης Υπολογιστών

Tridiagonal matrices. Gérard MEURANT. October, 2008

Potential Dividers. 46 minutes. 46 marks. Page 1 of 11

b. Use the parametrization from (a) to compute the area of S a as S a ds. Be sure to substitute for ds!

ΠΑΝΕΠΙΣΤΗΜΙΟ ΚΥΠΡΟΥ ΤΜΗΜΑ ΠΛΗΡΟΦΟΡΙΚΗΣ. ΕΠΛ342: Βάσεις Δεδομένων. Χειμερινό Εξάμηνο Φροντιστήριο 10 ΛΥΣΕΙΣ. Επερωτήσεις SQL

EPL 603 TOPICS IN SOFTWARE ENGINEERING. Lab 5: Component Adaptation Environment (COPE)

CHAPTER 48 APPLICATIONS OF MATRICES AND DETERMINANTS

Advanced Subsidiary Unit 1: Understanding and Written Response

Models for Probabilistic Programs with an Adversary

Assalamu `alaikum wr. wb.

ΙΠΛΩΜΑΤΙΚΗ ΕΡΓΑΣΙΑ. ΘΕΜΑ: «ιερεύνηση της σχέσης µεταξύ φωνηµικής επίγνωσης και ορθογραφικής δεξιότητας σε παιδιά προσχολικής ηλικίας»

Απόκριση σε Μοναδιαία Ωστική Δύναμη (Unit Impulse) Απόκριση σε Δυνάμεις Αυθαίρετα Μεταβαλλόμενες με το Χρόνο. Απόστολος Σ.

ΚΥΠΡΙΑΚΟΣ ΣΥΝΔΕΣΜΟΣ ΠΛΗΡΟΦΟΡΙΚΗΣ CYPRUS COMPUTER SOCIETY 21 ος ΠΑΓΚΥΠΡΙΟΣ ΜΑΘΗΤΙΚΟΣ ΔΙΑΓΩΝΙΣΜΟΣ ΠΛΗΡΟΦΟΡΙΚΗΣ Δεύτερος Γύρος - 30 Μαρτίου 2011

Transcript:

Πανεπιστήμιο Κήτης, Τμήμα Επιστήμης Υπολογιστών Άνοιξη 2008 HΥ463 - Συστήματα Ανάκτησης Πληοφοιών Information Retrieval (IR) Systems Ποχωημένες Λειτουγίες Επεώτησης Advanced Query Operations Γιάννης Τζίτζικας ιάλεξη : 11 Ημεομηνία : CS463 - Information Retrieval Systems Yannis Tzitzikas, U. of Crete 1 Διάθωση Διάλεξης Κίνητο Ανάδαση Συνάφειας (Relevance Feedback) Αναδιατύπωση Επεωτήσεων (Query Reformulation) Αναβάυνση Όων (Term Reweighting) Επέκταση (Διαστολή) Επεώτησης (Query Expansion), Αναδιατύπωση Επεωτήσεων για το Διανυσματικό Μοντέλο Optimal Query, Rocchio Method, Ide Method, DeHi Method Η έννοια του Optimal (or Best) Query Αξιολόγηση Ψευδο-ανάδαση συνάφειας (Pseudo relevance feedback) Επέκταση Επεωτήσεων Αυτόματη Τοπική (Επιτόπια) Ανάλυση (Automatic Local Analysis) Καθολική Ανάλυση Επέκταση Επεώτησης βάσει Θησαυού (Thesaurus-based Query Expansion) Αυτόματη Καθολική Ανάλυση (Automatic Global Analysis) Στατιστικοί Θησαυοί (Statistical Thesaurus) Κατασκευή Θησαυών //Γενετικοί Αλγόιθμοι CS463 - Information Retrieval Systems Yannis Tzitzikas, U. of Crete 2

Κίνητο Έχει παατηηθεί ότι οι χήστες των ΣΑΠ δαπανούν πολύ χόνο αναδιατυπώνοντας την αχική τους επεώτηση ποκειμένου να βουν ικανοποιητικά έγγαφα Πιθανές αιτίες ο χήστης δεν γνωίζει το πειεχόμενο των υποκείμενων εγγάφων το λεξιλόγιο του χήστη μποεί να διαφέει από αυτό της συλλογής η αχική επεώτηση μποεί να είναι πιο γενική ή πιο ειδική από αυτή που θα έπεπε (καταλήγοντας είτε σε πάα πολλά ή σε πολύ λίγα έγγαφα) Η αχική επεώτηση μποεί να θεωηθεί ως η πώτη ποσπάθεια έκφασης της πληοφοιακής ανάγκης του χήστη Ανάγκη για τεχνικές αντιμετώπισης αυτού του ποβλήματος CS463 - Information Retrieval Systems Yannis Tzitzikas, U. of Crete 3 Τόποι Αντιμετώπισης (1) Βελτίωση της αχικής επεώτησης (2) Χήση Ποφίλ Χήστη (3) Βελτίωση παάστασης κειμένων (4) Βελτίωση αλγοίθμου (μοντέλου) ανάκτησης Παατηήσεις Τα (2),(3),(4) έχουν πιο μόνιμο αποτέλεσμα (επηεάζουν την απάντηση και των επόμενων επεωτήσεων) Εδώ θα εστιάσουμε στο (1) CS463 - Information Retrieval Systems Yannis Tzitzikas, U. of Crete 4

Τεχνικές Βελτίωσης της Αχικής Επεώτησης Κατηγοίες: (α) τεχνικές που απαιτούν είσοδο από τον χήστη (β) τεχνικές που δεν απαιτούν είσοδο (β1) που βασίζονται στα κουφαία έγγαφα που ανακτήθηκαν (β2) που βασίζονται σε όλα τα έγγαφα της συλλογής Ανάδαση Συνάφειας (Relevance Feedback): Η βασική ιδέα Βήματα: 1/ Μετά την παουσίαση των αποτελεσμάτων, επιτέπουμε στο χήστη να κίνει (θετικά ή ανητικά) την συνάφεια ενός ή πεισσότεων εγγάφων της απάντησης 2/ Αξιοποιούμε αυτήν την πληοφοία για να αναδιατυπώσουμε την επεώτηση 3/ Κατόπιν δίδουμε στο χήστη την απάντηση της αναδιατυπωμένης επεώτησης 4/ Πήγαινε στο βήμα 1/ CS463 - Information Retrieval Systems Yannis Tzitzikas, U. of Crete 6

Ανάδαση Συνάφειας (Relevance Feedback): Η βασική ιδέα Αχική Επεώτηση Αναθεωη μένη Επεώτηση Rankings Σύστημα Ανάκτησης Πληοφοιών Αναδιαβαθμισμένα Έγγαφα Ανατοφοδότηση Επαναδιατύπωση Επεώτησης 1. Doc1 2. Doc2 3. Doc3.. Διαβαθμισμένα Έγγαφα 1. Doc1 2. Doc2 3. Doc3.. 1. Doc2 2. Doc4 3. Doc5 CS463 - Information Retrieval Systems Yannis Tzitzikas, U. of Crete 7 Τμήματα της Αχιτεκτονικής που Εμπλέκονται user need User Interface Text user feedback query retrieved docs logical view Query Operations Searching Text Operations logical view Indexing inverted file Index Text Corpus ranked docs Ranking CS463 - Information Retrieval Systems Yannis Tzitzikas, U. of Crete 8

q=bike Παάδειγμα ανατοφοδότησης συνάφειας σε σύστημα ανάκτησης εικόνων (http://nayana.ece.ucsb.edu/imsearch/imsearch.html) CS463 - Information Retrieval Systems Yannis Tzitzikas, U. of Crete 9 Παάδειγμα ανατοφοδότησης συνάφειας σε σύστημα ανάκτησης εικόνων Answer( bike )= CS463 - Information Retrieval Systems Yannis Tzitzikas, U. of Crete 10

Παάδειγμα ανατοφοδότησης συνάφειας σε σύστημα ανάκτησης εικόνων Μακάισμα των Συναφών (η Επιθυμητών) από τον Χήστη CS463 - Information Retrieval Systems Yannis Tzitzikas, U. of Crete 11 Παάδειγμα ανατοφοδότησης συνάφειας σε σύστημα ανάκτησης εικόνων Απάντηση της αναδιατυπωμένης απάντησης = CS463 - Information Retrieval Systems Yannis Tzitzikas, U. of Crete 12

Αναδιατύπωση επεώτησης βάσει Ανάδασης Συνάφειας (Relevance Feedback: Query Reformulation) Τόποι αναδιατύπωσης της επεώτησης μετά την ανάδαση: Αναβάυνση των Όων (Term Reweighting): Αύξηση των βαών των όων που εμφανίζονται στα συναφή/επιθυμητά έγγαφα και μείωση των βαών των όων που εμφανίζονται στα μησυναφή/επιθυμητά έγγαφα. Επέκταση επεώτησης (Query Expansion): Ποσθήκη νέων όων στην επεώτηση (π.χ. από γνωστά συναφή έγγαφα) Υπάχουν πολλοί αλγόιθμοι για επαναδιατύπωση επεώτησης CS463 - Information Retrieval Systems Yannis Tzitzikas, U. of Crete 13 Αναδιατύπωση επεώτησης στο Διανυσματικό Χώο Η έννοια της βέλτιστης επεώτησης Η βέλτιστη επεώτηση (Optimal Query) Ας υποθέσουμε ότι γνωίζουμε το σύνολο C r όλων των συναφών (με την πληοφοιακή ανάγκη του χήστη) εγγάφων. Η «καλύτεη επεώτηση» (αυτή που κατατάσσει στην κουφή όλα τα συναφή έγγαφα), βάσει του διανυσματικού μοντέλου, θα ήταν: 1 1 qopt = d C N C r d C r r d C d r Where N is the total number of documents. (θα αναλύσουμε πεισσότεο αυτό το ζήτημα αγότεα) Αφού όμως δεν γνωίζουμε το σύνολο C r,θα λάβουμε υπόψη την αχική επεώτηση και την είσοδο/ανατοφοδότηση του χήστη. CS463 - Information Retrieval Systems Yannis Tzitzikas, U. of Crete 14

Αναδιατύπωση επεώτησης στο Διανυσματικό Χώο Αφού όμως δεν γνωίζουμε το σύνολο C r,θα λάβουμε υπόψη την αχική επεώτηση και την είσοδο του χήστη. Answer(q)= Answer (q) + user feedback = : Κόκκινα: ο χήστης έδωσε ανητική ανάδαση Πάσινα: ο χήστης έδωσε θετική ανάδαση Μπλε: ο χήστης δεν έδωσε ανάδαση Τόποι αξιοποίησης της ανατοφοδότησης του χήστη (Ι) Rocchio Method (ΙΙ) Ide Method (ΙΙΙ) DeHi Method CS463 - Information Retrieval Systems Yannis Tzitzikas, U. of Crete 15 (Ι) Standard Rocchio Method Αφού το σύνολο όλων των συναφών είναι άγνωστο, χησιμοποίησε τα γνωστά συναφή (D r ) και γνωστά μη-συναφή (D n ) έγγαφα (από την απάντηση της αχικής επεώτησης και βάσει της εισόδου από τον χήστη) και επίσης συμπειέλαβε την αχική επεώτηση q. Αναδιατυπωμένη επεώτηση: q m = αq + β D r d Dr d γ D n d Dn α: Tunable weight for initial query. β: Tunable weight for relevant documents. γ: Tunable weight for irrelevant documents. d answer(q): Usually γ < β (the relevant docs are more important) If γ=0 then we have positive feedback only CS463 - Information Retrieval Systems Yannis Tzitzikas, U. of Crete 16

(ΙΙ) IDE Regular Method Πεισσότεη ανάδαση => μεγαλύτεος βαθμός αναδιατύπωσης. Για αυτό, κατά την IDE Regular μέθοδο δεν κάνουμε κανονικοποίηση (βάσει του ποσού ανάδασης) q m = α q + β d D d r γ d D d n α: Tunable weight for initial query. β: Tunable weight for relevant documents. γ: Tunable weight for irrelevant documents. CS463 - Information Retrieval Systems Yannis Tzitzikas, U. of Crete 17 (III) IDE Dec Hi Method Τάση για απόιψη μόνο των μη-συναφών εγγάφων που έχουν υψηλό σκο (Bias towards reecting ust the highest ranked of the irrelevant documents:) q m = α q + β d γ max d D r non relevant ( d ) answer(q): α: Tunable weight for initial query. β: Tunable weight for relevant documents. γ: Tunable weight for irrelevant document. CS463 - Information Retrieval Systems Yannis Tzitzikas, U. of Crete 18

q m q m q m Σύγκιση μεθόδων (I) (II) (III) β = αq + D r = α q + β d D d r γ d D = α q + β d γ max d D d Dr r d γ D n d n d Dn non relevant d ( d ) Γενικά, τα πειαματικά δεδομένα δεν δίνουν καθαό ποβάδισμα σε κάποια τεχνική. Όλες οι τεχνικές βελτιώνουν την απόδοση ( recall & precision) Συνήθως α=β=γ=1 CS463 - Information Retrieval Systems Yannis Tzitzikas, U. of Crete 19 Αξιολόγηση Αποτελεσματικότητας Τεχνικών Ανάδασης Συνάφειας Remarks By construction, reformulated query will rank explicitly-marked relevant documents higher and explicitly-marked irrelevant documents lower. When evaluating such methods, a method should not get credit for improvement on these documents, since it was told their relevance. In machine learning, this error is called testing on the training data. Evaluation should focus on generalizing to other un-rated documents. Fair Process for Evaluating the Effectiveness of Relevance Feedback Remove from the corpus any document for which feedback was provided. Measure recall/precision performance on the remaining residual collection. Compared to complete corpus, specific recall/precision numbers may decrease since relevant documents were removed. Measure recall/precision after relevance feedback (on the residual collection) Relative performance on the residual collection provides fair data on the effectiveness of relevance feedback CS463 - Information Retrieval Systems Yannis Tzitzikas, U. of Crete 20

Relevance Feedback Evaluation Simulated interactive retrieval consistently outperforms non-interactive retrieval (70% here). CS463 - Information Retrieval Systems Yannis Tzitzikas, U. of Crete 21 Relevance Feedback Evaluation: Case Study Example of evaluation of interactive information retrieval [Koenemann & Belkin 1996] Goal of study: show that relevance feedback improves retrieval effectiveness Details 64 novice searchers (43 female, 21 male, native English) TREC test bed (Wall Street Journal subset) Two search topics Automobile Recalls Tobacco Advertising and the Young Relevance udgements from TREC and experimenter System was INQUERY (vector space with some bells and whistles) Subects had a tutorial session to learn the system Their goal was to keep modifying the query until they have developed one that gets high precision Reweighting of terms similar to but different from Rocchio CS463 - Information Retrieval Systems Yannis Tzitzikas, U. of Crete 22

Credit: Marti Hearst CS463 - Information Retrieval Systems Yannis Tzitzikas, U. of Crete 23 Evaluation:Precision vs. RF condition (from Koenemann & Belkin 96) Criterion: p@30 (precision at 30 documents) Compare: p@30 for users with relevance feedback p@30 for users without relevance feedback Goal: show that users with relevance feedback do better Results: Subects with relevance feedback had 17-34% better performance But: Difference in precision numbers not statistically significant. Search times approximately equal Credit: Marti Hearst CS463 - Information Retrieval Systems Yannis Tzitzikas, U. of Crete 24

Σιωπηές Υποθέσεις της Ανάδασης Συνάφειας A1: User has sufficient knowledge for formulating the initial query. However: User does not always have sufficient initial knowledge. Examples: Misspellings, Mismatch of searcher s vocabulary vs collection vocabulary. A2: Relevance prototypes are well-behaved. Either: All relevant documents are similar to a single prototype. Or: There are different prototypes, but they have significant vocabulary overlap. However: There are several relevance prototypes. CS463 - Information Retrieval Systems Yannis Tzitzikas, U. of Crete 25 Γιατί η ανάδαση συνάφειας δεν χησιμοποιείται ευέως; Οι χήστες συχνά διστάζουν να δώσουν είσοδο Η ανάδαση έχει ως αποτέλεσμα μεγάλες επεωτήσεις των οποίων ο υπολογισμός απαιτεί πεισσότεο χόνο σε σύγκιση με τις συνηθισμένες επεωτήσεις που διατυπώνουν οι χήστες οι οποίες αποτελούνται από 2-3 λέξεις (search engines process lots of queries and allow little time for each one) Μεικές φοές η νέα απάντηση πειέχει έγγαφα τα οποία δεν μποούμε να καταλάβουμε πως ποέκυψαν CS463 - Information Retrieval Systems Yannis Tzitzikas, U. of Crete 26

Ανάδαση Συνάφειας στον Παγκόσμιο Ιστό Some search engines offer a similar/related pages feature (simplest form of relevance feedback) Πολλές φοές ο υπολογισμός αυτών των όμοιων/σχετικών σελίδων δεν γίνεται βάσει του πειεχομένου αλλά βάσει της δομής του γάφου (θυμηθείτε την ανάλυση συνδέσμων). Ο υπολογισμός είναι ακετά πιο γήγοος. But some don t because it s hard to explain to average user. Excite initially had true relevance feedback, but abandoned it due to lack of use. CS463 - Information Retrieval Systems Yannis Tzitzikas, U. of Crete 27 Ψευδοανάδαση Συνάφειας

Ψευδοανάδαση Συνάφειας Pseudo Relevance Feedback Χήση μεθόδων ανάδασης αλλά χωίς είσοδο από το χήστη Υπόθεση ότι τα κουφαία m από τα ανακτημένα έγγαφα είναι συναφή (και χήση αυτών για ανάδαση) Μποούμε επίσης να χησιμοποιήσουμε τα τελευταία έγγαφα για ανητική ανάδαση Επιτέπει την επέκταση της επεώτησης με όους που σχετίζονται με τους όους της επεώτησης answer(q): CS463 - Information Retrieval Systems Yannis Tzitzikas, U. of Crete 29 Ψευδοανάδαση Συνάφειας Query String Revised Query IR System Rankings ReRanked Documents Query Reformulation Ranked Documents 1. Doc1 2. Doc2 3. Doc3.. 1. Doc2 2. Doc4 3. Doc5.. 1. Doc1 Pseudo 2. Doc2 3. Doc3. Feedback. CS463 - Information Retrieval Systems Yannis Tzitzikas, U. of Crete 30

Αξιολόγηση Ψευδοανάδασης Βέθηκε να βελτιώνει την απόδοση στο διαγωνισμό του TREC (adhoc retrieval task) Δουλεύει ακόμα καλύτεα αν τα κουφαία έγγαφα πέπει να ικανοποιούν και μια boolean έκφαση ποκειμένου να χησιμοποιηθούν για ανάδαση (π.χ. να πειέχουν όλους του όους της επεώτησης) CS463 - Information Retrieval Systems Yannis Tzitzikas, U. of Crete 31 Αναλύοντας πεισσότεο την έννοια της βέλτιστης επεώτησης (optimal query) Πηγή: Yannis Tzitzikas and Yannis Theoharis, Naming Functions for the Vector Space Model, 29th European Conference on Information Retrieval, Rome 2-5 April 2007

The Naming Problem We can view an IR system as a function from set of Queries to set of Answers S: Queries Answers If q Queries, S(q) denotes the answer of q. Classically IR systems are good at solving the equation S(q)=A wrt A, i.e.: S(q) =? The naming problem is the problem of solving the equation wrt q, i.e. : S(?) = A We can distinguish two formulations of the naming problem: For unordered answers (here A is a subset of Ob ) For ordered answers (here A is an ordered subset of Ob). where Ob is the set of stored obects (e.g. documents, web pages, etc) CS463 - Information Retrieval Systems Yannis Tzitzikas, U. of Crete 33 The Naming Problem for Unordered Sets Basic Notions Exact name Upper name Best Upper Name Lower name Best Lower Name Relaxed name S(upperName(A)) A Ob S(lowerName(A)) CS463 - Information Retrieval Systems Yannis Tzitzikas, U. of Crete 34

The Naming Problem for Ordered Sets Basic Notions Exact name Upper name Best Upper Name Lower name Best Lower Name Relaxed name Example: A = d1, d2, d3 S(exactName(A)) = d1, d2, d3, d8, d9, S(lowerName(A)) = d1, d2, d5, d7, S(upperName(A)) = d1, d9, d2, d5, d3, d8, CS463 - Information Retrieval Systems Yannis Tzitzikas, U. of Crete 35 Notations Let A be an answer. Some notations that will be used A(k) : the ordered set comprising the first k elements of A A{k} : the set of elements that appear in A(k) A F : the restriction of A on the set F, i.e. the ordered set obtained if we exclude from A those elements that do not belong to F, Example if A = d1, d2, d3 then A(2)= d1, d2 A{2}= {d1, d2} {A} = A{ A } = {d1, d2, d3} if F={d1,d3}, then A F = d1, d3 CS463 - Information Retrieval Systems Yannis Tzitzikas, U. of Crete 36

Defining Formally Relaxed/Upper/Lower/Exact Names A query q is a relaxed name of an answer A iff : Case: A is a set : S(q){m} A = where m >0. Case: A is an ordered set: S(q)(m) {A()} = A() where m >0. If m== A then q is an exact name If m>= A then q is an upper name (the best upper name if m is the least possible) If m=< A then q is a lower name (the best lower name if m is the greatest possible) So each query can be characterized by a pair (m,). We can now define an ordering over these pairs. The ordering should reflect the quality of the queries (as solutions for the naming problem). CS463 - Information Retrieval Systems Yannis Tzitzikas, U. of Crete 37 Defining a total ordering of queries (m,) > (m, ) iff: (> ) or (= and m<m ) Let Ob =5 and A =3 Let Ob =5 and A =3. The ordering of the corresponding pairs are: So far, we have defined what exact, upper, lower, relaxed names are, and we defined an ordering over them. The next question is whether and how we can compute these names for a given answer A. lower names (1,1) (2,2) (2,1) exact name (3,1) (3,3) (3,2) (4,2) (4,1) upper names (4,3) (5,1) (5,3) (5,2) CS463 - Information Retrieval Systems Yannis Tzitzikas, U. of Crete 38

Investigating possible approaches for solving the Naming Problem for Unordered Sets Let A = {d1, d2, d3,, dn} Possible name queries qa= ½(di,d) where (di,d) = arg max {dist(d,d ) d,d A} qb=1/ A Σ { d d A} qc=1/ A Σ { a d A} - 1/ Ob-A Σ {d d A} Notes qa: minimizes the maximum dist from the elements of A qb: minimizes the average dist from the elements of A qc: is the Rocchio method (avg A, - avg Ob-A) Important remarks: None is guaranteed to be the exact name (they are all relaxed names) However, if an exact name does not exist, then qa is the best upper name Moreover, the evaluation of qa (i.e. the computation if its answer) is faster than the evaluation of qb, qc. CS463 - Information Retrieval Systems Yannis Tzitzikas, U. of Crete 39 The Naming Problem for Unordered Sets (III) Method (a): Let A = {d1, d2, d3, d4} o1 d1 d2 o2 d3 d4 1st step: Find the pair of most distant documents Here: (d1, d4) 2nd step: Find whether other documents lie in the area specified by (d1, d4) Here: {o1, o2}!= Thus, qa = ½(d1, d4) is an upper name of A If there were no other documents then qa would be an exact name Cost 1 st step: O( A 2 ) computations of similarity 2 nd step: O( Ob ) or compute the answer of qa and check if S(qa){ A }=A CS463 - Information Retrieval Systems Yannis Tzitzikas, U. of Crete 40

The Naming Problem for Ordered Sets Let A = d1, d2, d3,, dn Let i the max integer for which it holds: sim(d1,d2) > sim(d1,d3) > > sim(d1,di) relaxed name, always d1 is a upper name, exact name, lower name, if i=n if i=n and S(d1)(n)=A if i<n and S(d1)(i)=A(i) Computational cost: O(n) computations of similarity to find i. One query evaluation in order to decide whether d1 is lower/exact name. CS463 - Information Retrieval Systems Yannis Tzitzikas, U. of Crete 41 Experimental Evaluation Experiments conducted over the experimental web search engine GRoogle http://groogle.csd.uoc.gr:8080/groogle (2006-2007) The set A was selected randomly, the average times are listed in the Table below O : number of documents, T : number of terms ta: time to find the query (fast, depends on A, not the size of the db) tb: time to evaluate the query (this is the only expensive task) tc: time to decide what kind of name it is (fast) CS463 - Information Retrieval Systems Yannis Tzitzikas, U. of Crete 42

Concluding Remarks and Further Research The naming problem has several applications (e.g. for relevance feedback or for providing a flexible interaction scheme between the system and the users) We expressed formally several variations of this problem and related optimality criteria (to best of our knowledge this analysis is novel) We provided optimal solutions E.g. we provided a method that certainly returns the best upper name for unordered sets (this is not true for the Rocchio method) We described (polynomial) algorithms for solving these problems Future research Extend the problem statement with an additional parameter: the maximum number of words that a name could have, e.g. find the best upper name with no more than 3 words. Indexing structures for efficient computation of names For more see http://www.ics.forth.gr/~tzitzik/publications/2007_tzitzikastheoharisnaming.pdf CS463 - Information Retrieval Systems Yannis Tzitzikas, U. of Crete 43