Information Retrieval

Transcript

1 Ανάκληση Πληποφοπίαρ Information Retrieval Διδάζκων Δημήηριος Καηζαρός Διάλεξη 13η: 10/05/2016 Τμ. HMMY, Πανεπιστήμιο Θεσσαλίας 1

2 Ερπυστές στον Παγκόσμιο Ιστό Το πρόβλημα της ανενέωσης σελίδων στον index από τους ερπυστές 2

3 Θυμηθείτε: Το πρόβλημα 3

4 Σύμβολα 4

5 Πολιτικές συγχρονισμού Synchronization frequency (Συχνότητα συγχρονισμού) Συγχρονίζουμε N στοιχεία ανά I μονάδες χρόνου Μεταβάλλοντας το I, προσαρμόζουμε το πόσο συχνά συγχονίζουμε την βάση (μηχανή αναζήτησης) Resource allocation (Ανάθεση πόρων) Uniform-allocation policy Συγχρονίζουμε όλα τα στοιχεία με τον ίδιο ρυθμό (συχνότητα) f, ανεξάρτητα από τον ρυθμό αλλαγής τους, δηλ., f=f i =f j i,j Non-uniform-allocation policy Συγχονίζουμε τα στοιχεία με διαφορετική συχνότητα. Με μια proportional-allocation πολιτική policy συγρονίζουμε το e i με συχνότητα f i που είναι αναλογη της συχνότητας αλλαγής του λ i, δηλαδή, λ i /f i = λ j /f j i,j 5

6 Πολιτικές συγχρονισμού Synchronization Order (Σειρά συγχρονισμού) Fixed order: δηλ., ένα συγκεκριμένο στοιχείο συγχρονίζεται σε ένα σταθερό διάστημα Random order: τυχαία επιλογή χωρίς επανατοποθέτηση Purely random order: τυχαία επιλογή με επανατοποθέτηση Synchronization Points (Σημεία συγχρονισμού) All at the beginning Most at the beginning, the rest uniformly Uniformly 6

7 Ανάλυση πολιτικών sync order Υποθέτουμε Uniform change-frequency των στοιχείων Άρα, uniform allocation policy Ανάλυση fixed-order policy Προφανώς η χρονική εξέλιξη της expected freshness ενός στοιχείου θα είναι όπως στο σχήμα, εάν υποθέσουμε ότι απαιτεί I secs για να συγχρονίζουμε όλα τα στοιχεία της βάσης 7

8 Ανάλυση της fixed-order policy 8

9 Ανάλυση της fixed-order policy Επειδή συγχρονίζουμε το e i κάθε I secs από t=0, F(e i ; t+ji) είναι η freshness του t secs μετά από κάθε συγχρονισμό Επομένως δηλ., η μέση freshness t secs μετά από κάθε συγχρονισμό, θα συγκλίνει στην expected value E[F(e i ;t)] καθώς n Δηλαδή Τότε, Από τις 5.1 και 5.2, προκύπτει ότι 9

10 Ανάλυση της fixed-order policy Με βάση το Θεώρημα 5.2, μπορούμε να υπολογίζουμε την freshness του e i ως Υποθέσαμε ότι όλα τα στοιχεία αλλάζουν με την ίδια συχνότητα λ και ότι όλα συγρονίζονται στο ίδιο διάστημα I, και άρα η παραπάνω εξίσωση ισχύει για κάθε στοιχείο e i. Επομένως η freshness της βάσης S είναι: Με ανάλογη διαδικασία βρίσκουμε ότι η age θα είναι: 10

11 Ανάλυση της random-order policy Αφού συγχρονίζουμε το e i σε οποιαδήποτε στιγμή κατά το διάστημα I, το διάστημα συγχρονισμού του e i δεν είναι σταθερό πλέον. Στην μια ακραία περίπτωση θα είναι σχεδόν 2I, και στην άλλη ακραία περίπτωση θα είναι σχεδόν 0 Επομένως το synchronization interval του e i, W, δεν είναι fixed number, αλλά ακολουθεί κάποια κατανομή f W (t) Συνεπώς. Η εξίσωση του Θεωρήματος 5.2 θα πρέπει να τροποποιηθεί: Για να βρούμε το ολοκλήρωμα, πρέπει να βρούμε την κλειστή μορφή της f W (t) 11

12 Ανάλυση της random-order policy 12

13 Ανάλυση της random-order policy 13

14 Ανάλυση της random-order policy 14

15 Ανάλυση της random-order policy Με βάση το Λήμμα 5.1 και την Εξίσωση 5.3, μπορούμε να υπολογίσουμε την freshness της random-order policy (και για το στοιχείο e i αλλά και για την βάση S) ως Με ανάλογη διαδικασία βρίσκουμε ότι η age θα είναι: 15

16 Ανάλυση της purely random-order policy Ακολουθούμε την ίδια συλλογιστική με την random-order policy, αλλά πλέον το διάστημα συγχρονισμού είναι unbounded, συνεπώς η σχέση 5.3 γίνεται: Από τον νόμο των σπάνιων γεγονότων, συνάγουμε ότι: Συνεπώς: 16

17 Ανάλυση πολιτικών sync order: Σύνοψη 17

18 Ανάλυση πολιτικών resource allocation Υποθέτουμε Non uniform change-frequency των στοιχείων Fixed-order sync policy Συγχρονίζουμε στο fixed interval I i (=1/f i ) για το στοιχείο e i Οι change frequencies των στοιχείων ακολουθούν την γάμμα κατανομή Γενίκευση των: εκθετική, χ 2, (πλησιάζει την) κανονική (όταν είναι μικρή η variance) Δείξαμε ήδη ότι: 18

19 Ανάλυση πολιτικών resource allocation Η γάμμα κατανομή με παραμέτρους α>0 και μ>0 με μέση τιμή και διακύμανση Ανάλυση της uniform allocation policy Δεδομένου ότι f=f i i και από το Θεώρημα 5.1, έχουμε: 19

20 Ανάλυση της uniform allocation policy Όταν το Ν είναι μεγάλο, μπορούμε να προσεγγίσουμε τον προηγούμενο μέσο όρο με το weighted ολοκλήρωμα Αντικαθιστώντας τα g(λ) και F(λ,f) με τη βοήθεια των Εξισώσεων 5.6 και 5.4, έχουμε: Θέτοντας λ α/μ (δηλ., ο μέσος) και δ 2 α/μ2 ( α μ )2 (δηλ.,var/μέσος2 ), η F(S) u γίνεται: 20

21 Ανάλυση της uniform allocation policy Υπολογίζοντας την age της βάσης A(S) u, βρίσκουμε: Ανάλυση της proportional allocation policy Από τον ορισμό της proportional allocation policy, ισχύει ότι λ i /f i = λ/f i, και από τις Εξισώσεις 5.4 και 5.5 μπορούμε να βρούμε ότι: 21

22 Ανάλυση της proportional allocation policy Επομένως οι F(S) p και A(S) p γίνονται: 22

23 Ανάλυση πολιτικών res alloc: Σύνοψη 23

24 Υπεροχή της uniform alloc έναντι της proportional alloc Ισχύει πάντα Ισχύει πάντα Απόδειξη στην επόμενη διάλεξη, μαζί με την optimal resource allocation policy 24