Χρήση Τεχνικών Υπολογιστικής Νοημοσύνης για τη Σχεδίαση και Ανάπτυξη Ευφυούς Πράκτορα Λογισμικού σε Δημοπρασίες Διαδικτυακής Διαφήμισης

Transcript

1 Αριστοτέλειο Πανεπιστήμιο Θεσσαλονίκης Πολυτεχνική Σχολή Τμήμα Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών Τομέας Ηλεκτρονικής και Υπολογιστών Χρήση Τεχνικών Υπολογιστικής Νοημοσύνης για τη Σχεδίαση και Ανάπτυξη Ευφυούς Πράκτορα Λογισμικού σε Δημοπρασίες Διαδικτυακής Διαφήμισης Διπλωματική Εργασία του Αθανασιάδη Γρηγόρη Α.Ε.Μ 6276 Επιβλέπων Καθηγητής: Συμεωνίδης Ανδρέας Λέκτορας ΤΗΜΜΥ - ΑΠΘ Ιούνιος 2012, Θεσσαλονίκη

2 Ευχαριστίες Στο σημείο αυτό θα ήθελα να ευχαριστήσω τα άτομα τα οποία με τη συμβολή και την καθοδήγησή τους συνέβαλλαν στην επιτυχημένη έκβαση τόσο της διπλωματικής εργασίας όσο και της συμμετοχής στο διαγωνισμό TAC SCM. Ιδιαίτερες ευχαριστίες οφείλουν να αποδοθούν: Στον λέκτορα του τμήματος Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών κ. Συμεωνίδη Ανδρέα, για την εμπιστοσύνη που έδειξε στο πρόσωπο μου κατά την ανάθεση της εργασίας, καθώς και για την αμέριστη συμπαράσταση κατά τη διάρκεια εκπόνησής της. Στον υποψήφιο διδάκτορα του τμήματος Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών κ. Χατζηδημητρίου Κυριάκο, για την ανεκτίμητη συμβολή του, την υπομονή του και τη συνεχή καθοδήγηση του, καθ όλη τη διάρκεια ανάπτυξης του πράκτορα. Τέλος θα ήθελα να ευχαριστήσω την οικογένεια μου για την υπομονή που έδειξε κατά τη διάρκεια εκπόνησης αυτής της εργασίας, καθώς και τους φίλους μου για την κατανόηση τους όλο αυτό το χρονικό διάστημα. 2

3 Χρήση Τεχνικών Υπολογιστικής Νοημοσύνης για τη Σχεδίαση και Ανάπτυξη Περίληψη Χρήση Τεχνικών Υπολογιστικής Νοημοσύνης για τη Σχεδίαση και Ανάπτυξη Ευφυούς Πράκτορα Λογισμικού σε Δημοπρασίες Διαδικτυακής Διαφήμισης Διπλωματική Εργασία του Αθανασιάδης Γρηγόρης E - mail: greg_athanas@yahoo.gr Αποτελεί πλέον αδιαμφισβήτητο γεγονός πως το διαδίκτυο έχει εξελιχθεί σε ένα βασικό μέσο αγορών και συναλλαγών, με αποτέλεσμα να έχει τραβήξει τα βλέμματα όσων επιθυμούν να διαφημιστούν σε ένα αρκετά ευρύ αγοραστικό κοινό. Το βασικότερο σημείο της διαδικτυακής διαφήμισης αποτελούν οι μηχανές αναζήτησης, οι οποίες διαχειρίζονται τις προσφορές των διαφημιζόμενων μέσω δημοπρασιών, συνεπώς η προσοχή εστιάζεται στην εύρεση ανταγωνιστικών στρατηγικών πλειοδοσίας που θα αποφέρουν μέγιστο κέρδος με το χαμηλότερο δυνατό κόστος τόσο για τον διαφημιζόμενο όσο και για τον εκδότη της ιστοσελίδας. Το πεδίο αυτό είναι ιδιαίτερα ευρύ και βρίσκεται ακόμα σε ερευνητικό στάδιο. Προκειμένου να βρεθεί αποδοτικότερη στρατηγική που να δίνει λύση στο πρόβλημα δημιουργήθηκε ο διαγωνισμός Trading Agent Competition (TAC) Ad Auctions (AA), στον οποίο συμμετέχουν κυρίως πανεπιστημιακά ιδρύματα και ερευνητές. Οι διαγωνιζόμενοι δημιουργώντας ευφυή προγράμματα λογισμικού, συμμετέχουν ως διαδικτυακοί διαφημιστές, οι οποίοι επιδιώκουν πλειοδοτώντας για διάφορες λέξεις κλειδιά σε συνδυασμό με το αντίστοιχο διαφημιστικό, να μεγιστοποιήσουν τα κέρδη τους κρατώντας το κόστος της εταιρίας σε χαμηλά επίπεδα. Είναι προφανές ότι ο διαγωνισμός αυτός αποτελεί ουσιαστικά μια προσομοίωση της πραγματικότητας εισάγοντας καινοτόμα στοιχεία, όπως η δυναμικότητα του περιβάλλοντος, αλλά ταυτόχρονα προβαίνοντας και σε κάποιες απλοποιήσεις σε σχέση με άλλες αντίστοιχες προσπάθειες. Η εργασία αυτή παρουσιάζει το παιχνίδι AA, καθώς και τις στρατηγικές του πράκτορα Mertacor που σχεδιάστηκε για συμμετοχή. Τελικά ο πράκτορας κατόρθωσε να αποσπάσει την πρώτη θέση στο διαγωνισμό TAC AA

4 Abstract Computational Intelligence Techniques for the Design and Development of Intelligent Software Agent in Online Advertising Auctions Athanasiadis Grigoris E - mail: greg_athanas@yahoo.gr Diploma Thesis It is now an undeniable fact that the Internet has become a key instrument in purchases and transactions, so that it has attracted the attention of those wishing to advertise in a fairly broad target market. The main point of online advertising are search engines, which manage the bids of advertisers through auction, so the focus is on finding competitive bidding strategies that generate maximum profit at the lowest possible cost for both the advertiser and the publisher of the website. This field is very broad and is still being researched. To enable research in order to find efficient strategies that solves the problem, the Trading Agent Competition (TAC) Ad Auctions (AA) was created. The competition attracts universities and researchers from all over the world. Bidders are essentially the online advertisers who try, by bidding for various keywords in conjunction with relevant advertisements, to maximize their profits by keeping costs low compared. It is obvious that this competition is essentially a simulation of reality by introducing innovative features such as the capacity of the environment, but also taking in some simplifications compared to other similar efforts. This paper presents the AA game, and the strategies agent Mertacor employed. The agent managed to take the first place in TAC AA

5 Περιεχόμενα Γλωσσάρι Κεφάλαιο 1 Εισαγωγή Ορισμός του Προβλήματος Στόχοι της Εργασίας Δομή της Εργασίας Κεφάλαιο 2 Προδιαγραφές του TAC / AA Περίληψη του παιχνιδιού Ad Auction Τα βασικά στοιχεία του σεναρίου Πράκτορες Το μοντέλο της αγοράς: Πώληση προϊόντων οικιακής ψυχαγωγίας Ερωτήματα στη μηχανή αναζήτησης Διαφημιστικά Banners Διαφημιστές Υποβολή Προσφορών Αναφορές Ερωτημάτων Βαθμολογία Κέρδη Πωλήσεων Χρήστες Διαδικασία εναλλαγής καταστάσεων των χρηστών Δημιουργία ερωτημάτων Το μοντέλο που ακολουθείται για κλικ πάνω σε διαφημιστικά Συμφωνίες - Αγορές (conversions) Εκδότης Κατάταξη Διαφημιστικών Κοστολόγηση των κλικ Όρια δαπανών Συμπεράσματα για το είδος της δημοπρασίας Η ροή του παιχνιδιού Μηχανισμοί Σχεδίασης του TAC/ AA Κεφάλαιο 3 Ανάλυση Παιχνιδιού Παλιοτεροι Πράκτορες

6 TacTex QuakTAC Schlemazl Aston Tac DNAgents Epflagent Tau Mertacor Συμπεράσματα Σχετική Βιβλιογραφία Κεφάλαιο 4 Mertacor Γενικη παρουσιαση Φίλτρο Σωματιδίων Βασική υλοποίηση - SIS Προβλήματα και λύσεις Εκφυλισμός Καλή επιλογή της συνάρτησης πυκνότητας σπουδαιότητας Επαναδειγματοληψία Περιορισμένη Υπολογιστική Ισχύ Επίδραση του αριθμού των σωματιδίων Παραλλαγές του PF SIR ASIR RPF Likelihood PF Σύγκριση αλγορίθμων του PF Χρήση του PF O PF στο διαγωνισμό TAC / AA Φίλτρο σωματιδίων και Mertacor Υπολογισμός Budget Υπολογισμός Id Logging Κεφάλαιο 5 Δοκιμές Πράκτορα Λειτουργία Φίλτρου Σωματιδίων Διαγράμματα Πρόβλεψης... 87

7 5.2. Εύρεση βέλτιστης τιμής της Μεταβλητής α Εύρεση πιθανοτήτων μετάβασης αγοραστών σε κατάσταση T Σύγκριση Mertacor Mertacor Σύγκριση Mertacor Άλλοι Παλιότεροι Πράκτορες 96 Κεφάλαιο 6 Διαγωνισμός TAC / AA Γενικά στοιχεία Το Παιχνίδι Αποτελέσματα Προκριματικά Ημιτελικά Τελικός Κεφάλαιο 7 Μελλοντικές Επεκτάσεις Βιβλιογραφία

8 Κατάλογος Εικόνων Εικόνα 1.1 Προβολή στοχευόμενων διαφημιστικών...15 Εικόνα 2.1 Πιθανή ροή γεγονότων που ακολουθούν μια αναζήτηση: οι διαφημιστές πλειοδοτούν για τις λέξεις κλειδιά της αναζήτησης, ο εκδότης κατατάσσει τα διαφημιστικά, ο χρήστης κάνει κλικ σε ένα απ' αυτά, βλέπει την αντίστοιχη ιστοσελίδα και επιλέγει να αγοράσει...21 Εικόνα 2.2 Μοντέλο μεταβάσεων ανάμεσα σε καταστάσεις των χρηστών. Κάθε κατάσταση έχει και ένα υπονοούμενο αυτό - βρόχο (δεν φαίνεται στο σχήμα)...27 Εικόνα 2.3 Ροή των δραστηριοτήτων την ημέρα d ενός γύρου παιχνιδιού TAC / AA...25 Εικόνα 3.1 Σχεδιάγραμμα πράκτορα TacTex...40 Εικόνα 4.1 Διάγραμμα βημάτων PF...61 Εικόνα 4.2 Η εκ των υστέρων συνάρτηση κατανομής συναρτήσει των σωματιδίων, του χρόνου και των βαρών...62 Εικόνα 4.3 Διάγραμμα Βαρών...67 Εικόνα 4.4 Εξέλιξη Βαρών...67 Εικόνα 4.5 Διαγραμματική απεικόνιση του SIR...71 Εικόνα 4.6 Σύγκριση Αλγορίθμων PF...75 Εικόνα 5.1 Πρόβλεψη της κατανομής των χρηστών-πληθυσμός ΝS...87 Εικόνα 5.2 Πρόβλεψη της κατανομής των χρηστών-πληθυσμός IS.. 88 Εικόνα 5.3 Πρόβλεψη της κατανομής των χρηστών-πληθυσμός F Εικόνα 5.4 Πρόβλεψη της κατανομής των χρηστών-πληθυσμός F Εικόνα 5.5 Πρόβλεψη της κατανομής των χρηστών-πληθυσμός F Εικόνα 5.6 Πρόβλεψη της κατανομής των χρηστών-πληθυσμός T...90 Εικόνα 5.2 Διαγράμματα εσόδων εξόδων Mertacor στο τουρνουά Εικόνα 6.1 Διαγωνιζόμενοι TAC AA Εικόνα 6.2 Προσομοιωτής παιχνιδιού Εικόνα 6.3 Προσομοιωτής παιχνιδιού

9 Εικόνα 6.4 Προσομοιωτής παιχνιδιού Εικόνα 6.5 Προσομοιωτής παιχνιδιού Εικόνα 6.6 Προσομοιωτής παιχνιδιού

10 Κατάλογος Πινάκων Πίνακας 2.1 Δράσεις πρακτόρων...19 Πίνακας 4.1 Σύγκριση Αλγορίθμων PF...75 Πίνακες 5.1 Αποτελέσματα αναζήτησης τιμής α...91 Πίνακας 5.2 Αποτελέσματα τουρνουά Πίνακας 5.3 Αποτελέσματα τουρνουά Πίνακας 5.4 Metrics σε καλό παιχνίδι Mertacor Πίνακας 5.5 Metrics σε κακό παιχνίδι Mertacor Πίνακες 5.6 Metrics σε καλό και κακό παιχνίδι Mertacor Πίνακες 5.7 Metrics σε καλό και κακό παιχνίδι TacTex Πίνακας 6.1 Αποτελέσματα προκριματικών TAC AA Πίνακας 6.2 Αποτελέσματα ημιτελικών TAC AA Πίνακας 6.3 Αποτελέσματα τελικών TAC AA

11 Κατάλογος Αλγορίθμων Αλγόριθμος 4.1 Ο Γενικός αλγόριθμος του PF σε ψευδοκώδικα...63 Αλγόριθμος 4.2 Ο αλγόριθμος SIS...64 Αλγόριθμος 4.3 Ο αλγόριθμος της Δειγματοληψίας Χαμηλής Διακύμανσης...68 Αλγόριθμος 4.4 Υλοποίηση του SIS με Επαναδειγματοληψία...70 Αλγόριθμος 4.5 Ο αλγόριθμος SIR...71 Αλγόριθμος 4.6 Ο αλγόριθμος ASIR...72 Αλγόριθμος 4.7 Ο αλγόριθμος RPF...73 Αλγόριθμος 4.8 Ο αλγόριθμος LPF...74 Αλγόριθμος 4.9 Υλοποίηση του reweight...78 Αλγόριθμος 4.10 Υλοποίηση του resample στον Mertacor...79 Αλγόριθμος 4.11 Υλοποίηση του budget στον Mertacor...82 Αλγόριθμος 4.12 Υλοποίηση του Id estimator στον Mertacor...83 Αλγόριθμος 4.13 Υλοποίηση του πρώτου Parser...84 Αλγόριθμος 4.14 Υλοποίηση του δεύτερου Parser...86 Αλγόριθμος 5.1 Εύρεση πιθανοτήτων μετάβασης

12 Γλωσσάρι AA MAS USP MSB TE PSB CSB CPC CTR (MC)KP ROI Fi (i = 0, 1, 2) MVPC PF MC Ad Auction Multi - Agent Systems Unit Sales Profit Manufacturer Specialist Bonus Targeting Effect Promotion Slot Bonus Component Specialization Bonus Cost Per Click Click Trough Rate (Multiple - Choice) Knapsack Problem Return On Investment Focus Level i Market - Based Value Per Click Particle Filter Monte Carlo 12

13 Κεφάλαιο 1 Εισαγωγή 1.1. Ορισμός του Προβλήματος Με την έλευση του 21 ου αιώνα η χρήση του διαδικτύου εξαπλώθηκε ραγδαία σε όλο τον κόσμο. Αυτό είχε σαν άμεση συνέπεια να αλλάξει ο τρόπος ζωής και οι υπολογιστές να κατέχουν πλέον περίοπτη θέση στις καθημερινές ασχολίες των ανθρώπων. Μια σημαντική αλλαγή που προέκυψε αφορούσε την εμφάνιση των ηλεκτρονικών αγορών (e - commerce), με αποτέλεσμα σήμερα η πλειοψηφία των αγοραστών να προτιμάει τα ηλεκτρονικά καταστήματα έναντι των παραδοσιακών. Συνέπεια αυτής της αλλαγής ήταν και η καθιέρωση του διαδικτύου ως ένα από τα μεγαλύτερα μέσα διαφήμισης, με τους δημιουργούς διάσημων ιστοσελίδων αναζήτησης να κερδίζουν δισεκατομμύρια δολάρια κάθε χρόνο μέσω των διαφημίσεων. Ήταν λογικό επομένως να αυξηθεί το ενδιαφέρον για το αντικείμενο αυτό και να γίνουν πολλές μελέτες σχετικά με τα προβλήματα που υπάρχουν. Η υπό χορηγίες αναζήτηση (sponsored search) αποτελεί την πιο γνωστή μέθοδο στοχευόμενης διαφήμισης, η μηχανή αναζήτησης μαζί με τα αποτελέσματα αναζήτησης παρουσιάζει διαφημίσεις. Η θέση που θα έχει η διαφήμιση στην ιστοσελίδα όπως επίσης και το κόστος ανά κλικ που θα πληρώσει ο διαφημιστής προκύπτουν μέσα από μια δημοπρασία που λαμβάνει χώρα τη στιγμή της αναζήτησης. Επειδή όμως η συμπεριφορά του χρήστη δεν είναι εκ των προτέρων γνωστή, τόσο ο διαφημιστής όσο και ο εκδότης της ιστοσελίδας αναλαμβάνουν ένα ρίσκο όσο αφορά το κόστος. Τη μείωση του ρίσκου αυτού επιδιώκουμε να πετύχουμε μέσα από τη χρησιμοποίηση πρακτόρων λογισμικού στις δημοπρασίες. Σε γενικές γραμμές το κόστος κάθε θέσης προκύπτει μέσα από τον ανταγωνισμό των διαφημιζόμενων οι οποίοι πλειοδοτούν για κάθε λέξη κλειδί που τους ενδιαφέρει. Ως δημοπρασία ορίζουμε τη διαδικασία αγοράς και πώλησης αγαθών ή υπηρεσιών παρέχοντας τα για μια αντίστοιχη προσφορά τιμής, λαμβάνοντας αυτές τις προσφορές, και στη συνέχεια πωλώντας το αντικείμενο στο νικητή με τη μεγαλύτερη προσφορά. 13

14 Στις διάφορες σελίδες αναζήτησης χρησιμοποιήθηκαν ποικίλοι μηχανισμοί αυτόματων δημοπρασιών που είχαν διαφορετικούς κανόνες κατάταξης και κοστολόγησης. Οι διαφημιστές σε κάθε περίπτωση έπρεπε να βρουν τη βέλτιστη προσφορά λαμβάνοντας υπόψη παραμέτρους όπως τον ανταγωνισμό, το εύρος εξόδων τους, το επίπεδο προβολής κα. Απαραίτητη θεωρείται και η σωστή γνώση της κατάστασης της αγοράς τη στιγμή που θα πλειοδοτήσουν καθώς και των αλλαγών που ενδεχομένως συμβούν σε αυτήν μιας και η αξία των διαφημιστικών μπορεί να αλλάζει δυναμικά. Προκειμένου λοιπόν να βρεθούν οι βέλτιστοι μηχανισμοί δημοπρασιών για τους εκδότες αλλά και να λυθούν τα προβλήματα στρατηγικής των διαφημιστών, έχουν γίνει πολλές μελέτες πάνω στο θέμα της χρήσης των αυτόματων δημοπρασιών στη διαδικτυακή διαφήμιση και των προβλημάτων που αυτές συνεπάγονται. Όπως είναι λογικό βέβαια οι μελέτες αυτές παρουσιάζουν σημαντικές απλοποιήσεις σε σχέση με την πραγματικότητα ώστε να είναι πιο κατανοητό το πρόβλημα, για παράδειγμα περιορισμένος αριθμός προϊόντων, εκ των προτέρων γνώση της συμπεριφοράς των αγοραστών κτλ. Στα πλαίσια της έρευνας πάνω στους πράκτορες εμπορίου το 2000 δημιουργήθηκε η ομάδα του Διαγωνισμού Πρακτόρων Εμπορίου TAC (Trading Agent Competition) με συντονιστή το Michael Wellman (Michigan University), που οργανώνει τον ετήσιο ομώνυμο διεθνή διαγωνισμό. Από το 2002 ο οργανισμός SICS (Swedish Institute of Computer Science) έχει υπό την αιγίδα του το διαγωνισμό. Αρχικά ο διαγωνισμός TAC περιελάμβανε το TAC Classic, ένα παιχνίδι τουρισμού όπου οι αυτόνομοι πράκτορες λογισμικού συναγωνίζονται για να προσφέρουν πακέτα πτήσεων, διαμονής και ψυχαγωγίας σε εικονικούς πελάτες. Λόγω όμως της εμπορικής σπουδαιότητας αλλά και προκειμένου να προαχθεί η έρευνα πάνω στον τομέα των διαδικτυακών διαφημίσεων εντάχθηκε στο TAC ο διαγωνισμός TAC Ad Auction (TAC / AA). Κύριοι συντελεστές της δημιουργίας του διαγωνισμού αυτού ήταν το πανεπιστήμιο του Michigan καθώς και η Yahoo! Labs. Ο διαγωνισμός παρουσιάζει ένα ρεαλιστικό περιβάλλον αναζήτησης όπου μπορεί να αναπτυχθεί ένα εικονικό σενάριο αναζήτησης υπό χορηγίες, με στοχευόμενα και κανονικά διαφημιστικά (Εικόνα 1.1). Σίγουρα δεν λείπουν οι απλοποιήσεις και από αυτό το περιβάλλον ωστόσο λαμβάνει υπόψη και αρκετά στοιχεία που δεν υπάρχουν σε αντίστοιχες υλοποιήσεις. Το σενάριο περιλαμβάνει έναν πρότυπο μηχανισμό πλειστηριασμού διαφημιστικών καθώς και ένα μοντέλο ενός πληθυσμού χρηστών σε μια διαδικτυακή αγορά. Οι διαφημιστές αντιπροσωπεύουν πωλητές ειδών οικιακής διασκέδασης που καλούνται να πλειοδοτήσουν προκειμένου να διαφημιστούν στα αποτελέσματα αναζήτησης των χρηστών με βάση κάποιες λέξεις 14

15 κλειδιά. Οι διαγωνιζόμενοι είναι αυτοί που σχεδιάζουν τη στρατηγική πλειοδοσίας των διαφημιστών έτσι ώστε να υπολογίζεται κάθε φορά η βέλτιστη προσφορά σε συνδυασμό πάντα με την επιλογή του κατάλληλου διαφημιστικού για κάθε αναζήτηση, ενώ η συμπεριφορά της μηχανής αναζήτησης και των χρηστών να προσομοιώνεται από το περιβάλλον του διαγωνισμού. Η εύρεση της λύση στο πρόβλημα αυτό είναι ιδιαίτερα απαιτητική για αυτό και υπάρχει η ελπίδα μέσα από τον ανταγωνισμό που δημιουργεί το παιχνίδι να προκύψουν νέες ιδέες για στρατηγικές προσφορών στο χώρο της διαφήμισης γενικότερα, καθώς και για τη βελτίωση των μηχανισμών αυτόματων δημοπρασιών. Αξίζει να σημειωθεί ότι στο διαγωνισμό συμμετέχουν κάθε χρόνο ομάδες από πανεπιστήμια από όλο τον κόσμο σχεδιάζοντας τους πράκτορες λογισμικού που θα τους αντιπροσωπεύσουν. Εικόνα 1.1 Προβολή στοχευόμενων διαφημιστικών 1.2. Στόχοι της Εργασίας Αντικείμενο της παρούσας διπλωματικής εργασίας είναι η ανάπτυξη ενός ευφυούς πράκτορα λογισμικού ικανού να αντεπεξέλθει στις προκλήσεις που θέτει ένας διαγωνισμός σαν τον TAC ΑΑ. Ο πράκτορας αυτός πρέπει να είναι ικανός χωρίς την παρέμβαση του χρήστη να συμμετέχει στις αυτόματες δημοπρασίες και να βρίσκει τις βέλτιστες επιλογές για τον διαφημιστή σχετικά με την τοποθεσία του διαφημιστικού, το κόστος ανά κλικ κα. Ο σχεδιασμός της ανάπτυξης του πράκτορα 15

16 περιελάμβανε ένα αρχικό στάδιο μελέτης των κριτηρίων και των απαιτήσεων του διαγωνισμού. Έπειτα άρχισε μία εκτενής μελέτη των προηγούμενων υλοποιήσεων πρακτόρων από τις προηγούμενες χρονιές του διαγωνισμού και μία σύγκριση των τεχνολογιών και των αλγορίθμων που χρησιμοποιήθηκαν. Από εκείνο το σημείο άρχισε η εντατική προγραμματιστική προσπάθεια που οδήγησε στην κατάληψη της πρώτης θέσης στο διαγωνισμό TAC AA Η ομάδα μας υπό τη συνεχή επίβλεψη του κ. Ανδρέα Συμεωνίδη και με τη συνεχή καθοδήγηση κ. Κυριάκου Χατζηδημητρίου συμμετείχε εκπροσωπώντας το τμήμα Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών του ΑΠΘ στο διαγωνισμό TAC AA που έγινε το 2012 με τον πράκτορα Mertacor και κατέλαβε την 1 η θέση. Αξίζει να σημειωθεί ότι το όνομα του πράκτορα είναι αναγραμματισμός της λατινικής λέξης mercator που σημαίνει έμπορος Δομή της Εργασίας Το υποκεφάλαιο αυτό αποτελεί μια περιληπτική παρουσίαση του περιεχομένου των κεφαλαίων της διπλωματικής εργασίας, που ακολουθούν. Το δεύτερο κεφάλαιο αποτελεί μια εκτενή περιγραφή του παιχνιδιού TAC / AA ώστε ο αναγνώστης να καταλάβει τον τρόπο που παίζεται και το σκοπό του. Παρουσιάζονται τα βασικά στοιχεία του σεναρίου και αναλύονται οι 3 τύποι πρακτόρων που συμμετέχουν σ αυτό. Ακολουθεί η επεξήγηση της ροής του παιχνιδιού και των βασικών μηχανισμών σχεδίασης που αναπτύχθηκαν για την βελτίωση της αποδοτικότητάς του. Ουσιαστικά είναι η μετάφραση των χαρακτηριστικών του παιχνιδιού, όπως αυτά ορίζονται από τους δημιουργούς τους. Στο τρίτο κεφάλαιο γίνεται μια συνοπτική αναφορά στις ήδη υπάρχουσες στρατηγικές και τεχνικές που εφαρμόστηκαν για την προσέγγιση του στόχου του παιχνιδιού. Έπειτα παρουσιάζονται κάποιες μελέτες που έγιναν σχετικά με τους πράκτορες εμπορίου και τη σχεδία τους στα πλαίσια του συνεδρίου IJCAI Στη συνέχεια παρουσιάζονται τα συμπεράσματα που προέκυψαν από την παραπάνω ανάλυση. Το τέταρτο κεφάλαιο αποτελεί τη σχεδίαση του πράκτορα Mertacor. Συγκεκριμένα παρουσιάζονται οι διάφορες στρατηγικές που χρησιμοποιήθηκαν προκειμένου να έχει τη βέλτιστη απόδοση ο πράκτορας μας και να λυθούν κάποια προβλήματα όπως η πρόβλεψη της κατανομής τους πληθυσμού των χρηστών, το ύψος του budget κοκ. 16

17 Το πέμπτο κεφάλαιο αποτελεί την πειραματική εφαρμογή των στρατηγικών του πράκτορα Mertacor. Ειδικότερα, εξετάζονται διάφορες αλλαγές στις παραμέτρους με σκοπό την εύρεση των βέλτιστων μεθόδων. Γίνεται λεπτομερής αναφορά στις παραπάνω αλλαγές και για κάθε μια από αυτές, παρουσιάζονται και αναλύονται τα αποτελέσματά της με τα αντίστοιχα διαγράμματα. Στο έκτο κεφάλαιο γίνεται η παρουσίαση του διαγωνισμού TAC AA 2012 στον οποίο συμμετείχε ο Mertacor ενώ παρατίθενται και τα αποτελέσματα κάθε φάσης. Στο τελευταίο κεφάλαιο παρατίθενται κάποιες δυνατότητες ενδεχόμενης βελτίωσης των στρατηγικών του πράκτορα Mertacor, καθώς και προτάσεις για μελλοντική εργασία πάνω σε αυτόν τον τομέα. 17

18 Κεφάλαιο 2 Προδιαγραφές του TAC / AA 2.1 Περίληψη του παιχνιδιού Ad Auction Το σενάριο του παιχνιδιού TAC / AA (6) σχεδιάστηκε έτσι ώστε να περιλαμβάνει πολλές ενδιαφέρουσες, από πλευράς στρατηγικής, πτυχές των πλειστηριασμών κατά την αναζήτηση υπό χορηγίες, καθώς επίσης να είναι επαναλαμβανόμενο και προσφιλές για την εξαγωγή εμπειρικών συμπερασμάτων. Ωστόσο, κάποιες σημαντικές πτυχές διαχείρισης μιας διαφημιστικής καμπάνιας δεν λήφθηκαν υπόψη, όπως η εξερεύνηση ενός μεγάλου αριθμού λέξεων κλειδιών για την ανεύρεση των πιο κερδοφόρων ή ο τρόπος βελτιστοποίησης της σελίδας του κάθε διαφημιστή, έτσι ώστε να αυξηθεί η πιθανότητα να την επιλέξουν. Αυτές οι παράμετροι δεν υπολογίζονται, όχι επειδή δεν έχουν ενδιαφέρον ή πρακτική αξία, αλλά επειδή δεν υπάρχει ένα επαρκές μοντέλο για να τις προσομοιώσει. Η βασική ιδέα του παιχνιδιού αφορά διαφημιστές που εκπροσωπούν πωλητές προϊόντων οικιακής ψυχαγωγίας, και ανταγωνίζονται για την τοποθέτηση των διαφημιστικών τους κατά μήκος των αποτελεσμάτων μιας αναζήτησης, που περιείχε σχετικές με τα προϊόντα αυτά λέξεις. Ένα στιγμιότυπο του παιχνιδιού, δηλαδή ένας γύρος παιχνιδιού, προσομοιώνει μία διαφημιστική καμπάνια που εκτείνεται χρονικά σε ένα συγκεκριμένο αριθμό D περιόδων προσφορών, που ονομάζονται μέρες. Κάθε μέρα και για κάθε λέξη κλειδί, οι N διαφημιστές επιλέγουν ανάμεσα σε γενικευμένα και σε στοχευόμενα διαφημιστικά, και αποφασίζουν πόσο θα πλειοδοτήσουν για να πετύχουν τη βέλτιστη τοποθέτηση αυτών των διαφημιστικών. Οι διαδικτυακοί εκδότες συλλέγουν τις προσφορές, τοποθετούν τα διαφημιστικά και χρεώνουν ανάλογα τους διαφημιστές βάσει της οικογένειας των αλγορίθμων κατάταξης και κόστους που χρησιμοποιούνται. Ένας εξελισσόμενος πληθυσμός από χρήστες θέτει ερωτήματα στη μηχανή αναζήτησης. Οι χρήστες παρατηρούν τα αποτελέσματα της αναζήτησής τους και δρουν (κάνουν κλικ στα διαφημιστικά, αγοράζουν προϊόντα από τις ιστοσελίδες των διαφημιστών), ανάλογα με τις προτιμήσεις τους. Οι διαφημιστές αντλούν κέρδος από τις αγορές των χρηστών και ο εκδότης αποκομίζει έσοδα από τα κλικ των χρηστών πάνω στα διαφημιστικά, 18

19 ανάλογα με το κόστος ανά κλικ που έχει αποφασιστεί για καθένα από αυτά στον πλειστηριασμό. Στο ξεκίνημα κάθε στιγμιότυπου, οι πράκτορες των διαφημιστών συνδέονται στον εξυπηρετητή του παιχνιδιού και λαμβάνουν πληροφορίες αρχικοποίησης. Ο εξυπηρετητής προσομοιώνει τον διαδικτυακό εκδότη της ιστοσελίδας αναζήτησης και τον πληθυσμό των χρηστών. Στο τέλος των D ημερών της καμπάνιας, οι πράκτορες των διαφημιστών αξιολογούνται με βάση το συνολικό καθαρό κέρδος, δηλαδή τα έσοδα από τις πωλήσεις μείον τα έξοδα διαφήμισης. 2.2 Τα βασικά στοιχεία του σεναρίου Πράκτορες Υπάρχουν τρεις τύποι πρακτόρων στο σενάριο του TAC / AA: οι διαφημιστές, ο διαδικτυακός εκδότης και οι χρήστες. Οι χρήστες και ο εκδότης ακολουθούν καθορισμένες (στοχαστικές) τακτικές που δημιουργούνται στα πλαίσια του περιβάλλοντος του παιχνιδιού. Οι πράκτορες - διαφημιστές, με εξαίρεση τους ψεύτικους πράκτορες που χρησιμοποιούνται για δοκιμαστικές διαδικασίες, ακολουθούν τακτικές που υλοποιούνται από τους συμμετέχοντες του παιχνιδιού. Οι αλληλεπιδράσεις μεταξύ των τριών αυτών τύπων πρακτόρων συνοψίζονται παρακάτω: Πίνακας 2.1 Δράσεις πρακτόρων Πράκτορας Διαφημιστής Χρήστης Εκδότης Δράσεις Πλειοδοτεί για τοποθέτηση διαφημιστικών Επιλέγει διαφημιστικά για προβολή Λαμβάνει αναλυτικές αναφορές Θέτει ερωτήματα στη μηχανή αναζήτησης Κάνει κλικ σε διαφημιστικά Αγοράζει προϊόντα Εκτελεί δημοπρασία για κάθε ερώτημα χρήστη Επεξεργάζεται ερωτήματα και κλικ χρηστών Παραδίδει καθημερινές αναφορές στους διαφημιστές 19

20 Κατά τη διάρκεια κάθε μέρας της προσομοίωσης, οι χρήστες, οι διαφημιστές και ο εκδότης αλληλεπιδρούν, με σκοπό την ικανοποίηση των αντίστοιχων στόχων και τα αποτελέσματα αυτής της αλληλεπίδρασης οδηγούν σε συμπεράσματα για τη σχέση αναζήτησης - διαφήμισης. Μία απλής μορφής αλληλεπίδραση των πρακτόρων περιλαμβάνει τη διαδοχή γεγονότων, καθώς ένας χρήστης δημιουργεί ένα ερώτημα, κάνει κλικ σε κάποιο διαφημιστικό και αγοράζει ένα προϊόν. Κάθε πράκτορας - διαφημιστής επιλέγει ένα διαφημιστικό (ad) που θα εμφανιστεί σε κάποιο δεδομένο ερώτημα προς αναζήτηση. Ο διαφημιστής θέτει επίσης και το ποσό (bid) που προσφέρει για το ερώτημα. Ο εκδότης χρησιμοποιεί όλες τις προσφορές των διαφημιστών και όλα τα επιλεγμένα διαφημιστικά για να αποφασίσει μέσω ενός πλειστηριασμού για τη θέση κάθε διαφημιστικού στη σελίδα των αποτελεσμάτων αναζήτησης. Όταν κάποιος χρήστης υποβάλλει το ερώτημα στη μηχανή αναζήτησης (query), ο διαδικτυακός εκδότης εκτελεί τον πλειστηριασμό (auction) και τα αποτελέσματα για τη θέση κάθε διαφημιστικού επιστρέφονται στο χρήστη υπό τη μορφή μιας καταταγμένης λίστας με διαφημιστικά (impression). Ο χρήστης βλέπει τη λίστα και αποφασίζει αν θα κάνει ή όχι κλικ σε κάποιο από τα διαφημιστικά. Αν ο χρήστης κάνει κλικ σε ένα διαφημιστικό, μεταφέρεται στην ιστοσελίδα του αντίστοιχου διαφημιστή, ο οποίος χρεώνεται με ένα συγκεκριμένο κόστος (το κόστος ανά κλικ ή CPC - Cost Per Click) που είχε οριστεί από τον εκδότη κατά τη διαδικασία του πλειστηριασμού. Αφού ο χρήστης έχει κάνει κλικ σε κάποιο διαφημιστικό, αποφασίζει αν θα αγοράσει ή όχι το προϊόν από τον συγκεκριμένο διαφημιστή. Αν το αγοράσει, το γεγονός καλείται συμφωνία (conversion) και ο διαφημιστής αποκομίζει κάποιο κέρδος (value). Αυτή η διαδικασία, η οποία επαναλαμβάνεται για κάθε χρήστη κατά τη διάρκεια κάθε μέρας της προσομοίωσης, παριστάνεται γραφικά στο παρακάτω σχήμα. 20

21 Εικόνα 2. 1 Πιθανή ροή γεγονότων που ακολουθούν μια αναζήτηση: οι διαφημιστές πλειοδοτούν για τις λέξεις κλειδιά της αναζήτησης, ο εκδότης κατατάσσει τα διαφημιστικά, ο χρήστης κάνει κλικ σε ένα απ' αυτά, βλέπει την αντίστοιχη ιστοσελίδα και επιλέγει να αγοράσει Το μοντέλο της αγοράς: Πώληση προϊόντων οικιακής ψυχαγωγίας Στο σενάριο του παιχνιδιού TAC / AA, οι χρήστες ενδιαφέρονται και πιθανώς αγοράζουν συσκευές οικιακής ψυχαγωγίας. Υπάρχουν τρεις κατασκευαστές σ αυτή την αγορά, οι Flat, Lioneer και PG. Καθένας από αυτούς τους κατασκευαστές παράγει τηλεοράσεις, συστήματα ήχου και συσκευές DVD. Συνεπώς, υπάρχουν εννιά διαφορετικά προϊόντα, που χαρακτηρίζονται από το ζευγάρι κατασκευαστής - συσκευή. Οι διαφημιστές εκπροσωπούν πωλητές που εμπορεύονται αυτά τα προϊόντα και χρησιμοποιούν τις διαδικτυακές δημοπρασίες για να προσελκύσουν 21

22 το ενδιαφέρον των χρηστών στις δικές τους διαφημίσεις ώστε να πετύχουν όσο το δυνατόν περισσότερες πωλήσεις Ερωτήματα στη μηχανή αναζήτησης Κάθε χρήστης έχει μια συγκεκριμένη προτίμηση για ένα από τα εννιά προϊόντα που προαναφέρθηκαν. Ο τρόπος αναζήτησης κάθε χρήστη εξαρτάται από την κατάσταση στην οποία βρίσκεται. Κάθε χρονική στιγμή, ο πληθυσμός των χρηστών χωρίζεται σε τρείς κατηγορίες: σ αυτούς που δεν ψάχνουν (non - searching), σ αυτούς που ψάχνουν (searching) και σ αυτούς που διεκπεραίωσαν την αναζήτησή τους (transacted). Οι χρήστες που δεν ψάχνουν, είναι εκείνη τη στιγμή ανενεργοί, δηλαδή δεν θέτουν ερωτήματα στη μηχανή αναζήτησης. Οι χρήστες που ψάχνουν, χωρίζονται σε δύο υποκατηγορίες, στους χρήστες που ψάχνουν για να ενημερωθούν (informational searchers) και σ αυτούς που ψάχνουν με σκοπό να αγοράσουν (shopping searchers). Οι χρήστες που ψάχνουν για να ενημερωθούν, επιδιώκουν να συγκεντρώσουν πληροφορίες για το επιθυμητό προϊόν, αλλά όχι να αγοράσουν. Οι χρήστες που ψάχνουν για να αγοράσουν, σερφάρουν στα διαθέσιμα διαφημιστικά και πιθανώς προχωρούν σε αγορά. Οι αγοραστές χωρίζονται περαιτέρω ανάλογα με το πόσο συγκεκριμένη είναι η αναζήτησή τους (δηλαδή πόσο εστιασμένη στο επιθυμητό προϊόν - F Focus Level): χαμηλής εστίασης (επίπεδο 0, F0), ενδιάμεσης (επίπεδο 1, F1) και υψηλής εστίασης (επίπεδο 2, F2). Οι χρήστες που διεκπεραίωσαν την αναζήτησή τους, έχουν προβεί σε κάποια αγορά, επομένως έχουν ικανοποιήσει την ανάγκη τους και δεν ψάχνουν πλέον. Ένα ερώτημα σε μια μηχανή αναζήτησης αποτελείται από διάφορες λέξεις. Σ αυτό το μοντέλο, εξετάζονται μόνο οι έξι λέξεις που αντιστοιχούν στους κατασκευαστές και στις συσκευές της αγοράς που προαναφέρθηκε. Κάθε ερώτημα αποτελείται το πολύ από δύο από αυτές τις λέξεις: τον επιθυμητό κατασκευαστή του χρήστη και την επιθυμητή συσκευή. Αν δεν περιλαμβάνονται στο ερώτημα ούτε ο κατασκευαστής, ούτε η συσκευή, τότε αυτό ονομάζεται ερώτημα επιπέδου F0. Αν περιλαμβάνεται μία από τις δύο λέξεις, αλλά όχι και οι δύο, το ερώτημα ονομάζεται επιπέδου F1. Αν περιλαμβάνει και τον κατασκευαστή και τη συσκευή, τότε το ερώτημα ονομάζεται επιπέδου F2. Συνολικά, υπάρχουν 16 διαφορετικά πιθανά ερωτήματα: 1 ερώτημα τύπου F0, 6 τύπου F1 και 9 τύπου F2. Όσον αφορά έναν μεμονωμένο χρήστη που έχει συγκεκριμένη προτίμηση, τα πιθανά ερωτήματα είναι 4: δύο τύπου F1, ένα τύπου F0 και ένα τύπου F2. 22

23 2.2.4 Διαφημιστικά Banners Κάθε διαφημιστής επιλέγει για κάθε πιθανό ερώτημα ένα διαφημιστικό για προβολή. Αυτό το διαφημιστικό μπορεί να είναι γενικό ή στοχευόμενο σε ένα συγκεκριμένο προϊόν. Αν η συγκεκριμένη προτίμηση του χρήστη είναι το προϊόν στο οποίο αναφέρεται το στοχευόμενο διαφημιστικό, οι πιθανότητες να κάνει ο χρήστης κλικ πάνω στο διαφημιστικό αυξάνονται σε σχέση με αυτές ενός γενικού περιεχομένου διαφημιστικό. Ωστόσο, αν το προϊόν που προτιμά ο χρήστης δεν είναι αυτό που δείχνει το στοχευόμενο διαφημιστικό, οι πιθανότητες να κάνει κλικ σ αυτό μειώνονται αναλόγως. Ο διαφημιστής λοιπόν, επιλέγει το διαφημιστικό που θέλει να τοποθετηθεί και την προσφορά που θέλει να κάνει γι αυτό το διαφημιστικό στην αρχή κάθε μέρας και για κάθε πιθανό ερώτημα. Χρησιμοποιώντας αυτά τα στοιχεία, ο εκδότης χειρίζεται τα εισερχόμενα ερωτήματα εκτελώντας πλειστηριασμούς. 2.3 Διαφημιστές Στις δημοπρασίες που γίνονται στα πλαίσια της αναζήτησης υπό χορηγίες, οι διαφημιστές διαμορφώνουν συνήθως τις προφορές τους λαμβάνοντας υπόψη ένα σύνολο από λέξεις - κλειδιά. Οι βέλτιστες προσφορές εξαρτώνται από την εκτίμηση των διαφημιστών για τη θέση που πρέπει να καταλάβουν τα διαφημιστικά τους στις διάφορες αναζητήσεις, ενώ εξίσου σημαντικό ρόλο παίζει και η αξιολόγηση του ανταγωνιστικού περιβάλλοντος. Οι στρατηγικές που ακολουθούν οι διαφημιστές, είναι αποτέλεσμα τόσο ιδιωτικών όσο και δημόσιων πληροφοριών, ενώ οι πιο δημοφιλείς από αυτές χρησιμοποιούν συστήματα με μεγάλα σύνολα κανόνων, μηχανική εκμάθηση (machine learning) και τεχνικές της τεχνητής νοημοσύνης. Στο συγκεκριμένο παιχνίδι, οι συμμετέχοντες έχουν το ρόλο διαφημιστών που δραστηριοποιούνται στον τομέα της ψυχαγωγίας στο σπίτι, όπως ήδη αναφέρθηκε. Παρόλο που κάθε διαφημιστής μπορεί να πουλήσει όλα τα προϊόντα, στην αρχή κάθε στιγμιότυπου του παιχνιδιού, ανατίθεται σε καθέναν απ αυτούς ένας συγκεκριμένος κατασκευαστής και ένα συγκεκριμένο προϊόν. Αυτό επηρεάζει τόσο το κέρδος από τις πωλήσεις, όσο και την πιθανότητα να επέλθει αγορά μετά το κλικ σε κάποιο διαφημιστικό. Κάθε ημέρα και για κάθε ερώτημα, ο διαφημιστής διαλέγει ποιο διαφημιστικό θέλει να προβάλει, ενημερώνει για το ποσό που διατίθεται να πληρώσει γι αυτό και προαιρετικά θέτει όρια δαπανών. 23

24 Στο σημείο αυτό πρέπει να σημειωθεί ότι, ο πράκτορας - διαφημιστής πρέπει να δρα αυτόνομα. Αυτό σημαίνει ότι κάθε ανθρώπινη παρέμβαση είναι απαγορευμένη καθ όλη τη διάρκεια ενός γύρου παιχνιδιού. Στην αρχή κάθε ημέρας, οι διαφημιστές λαμβάνουν τρεις αναφορές που τους ενημερώνουν για τις ενέργειες και τα αποτελέσματα της προηγούμενης ημέρας. Η πρώτη αναφορά προέρχεται από τον διαδικτυακό εκδότη και περιλαμβάνει πληροφορίες για τα ερωτήματα που τέθηκαν προς αναζήτηση. Η δεύτερη προέρχεται από την τράπεζα και ενημερώνει για την ημερήσια κατάσταση του λογαριασμού του διαφημιστή. Τέλος, η τρίτη αναφορά προέρχεται από τον αναλυτή πωλήσεων και δίνει μια συγκεντρωτική εικόνα των πωλήσεων που πραγματοποιήθηκαν. Οι αναφορές αυτές αναλύονται με τη σειρά στις παρακάτω παραγράφους Υποβολή Προσφορών Κάθε ημέρα και για κάθε ερώτημα, ο διαφημιστής καθορίζει την προσφορά του για το κόστος ανά κλικ (CPC) και επιλέγει το διαφημιστικό που θα προβληθεί. Πρέπει να σημειωθεί εδώ ότι ο διαφημιστής λαμβάνει την ημερήσια αναφορά της προηγούμενης ημέρας, μετά την έναρξη της επόμενης. Έτσι, οι επιλογές του βασίζονται σε πληροφορίες που αφορούν τα αποτελέσματα του παιχνιδιού 2 μέρες πριν. Για κάθε ζεύγος (ερώτημα, προσφορά) ο εκδότης ενημερώνει την προσφορά για το κόστος ανά κλικ του διαφημιστή για την λέξη - κλειδί του ερωτήματος. Μια τιμή προσφοράς ίση με μηδέν ισοδυναμεί με καμία προσφορά. Αν δεν υπάρξει ζεύγος (ερώτημα, προσφορά) για ένα συγκεκριμένο ερώτημα, εξακολουθεί να υφίσταται η προσφορά του διαφημιστή από την προηγούμενη ημέρα. Ομοίως, για κάθε ζεύγος (ερώτημα, διαφημιστικό), ο εκδότης ενημερώνει την επιλογή των διαφημιστικών, όπως καθορίστηκε. Εάν δεν υπάρχει ρητή ενημέρωση, ισχύει η επιλογή του διαφημιστικού της προηγούμενης ημέρας ή επιλέγεται το γενικό διαφημιστικό (δεν καθορίζεται ούτε συγκεκριμένος κατασκευαστής ούτε προϊόν), αν για το συγκεκριμένο ζεύγος δε καθορίστηκε ποτέ διαφημιστικό. Οι διαφημιστές μπορούν να υποβάλουν καθημερινά όρια δαπανών για τα επιμέρους ερωτήματα, καθώς και ένα όριο για το συνολικό μέγεθος δαπανών. Όταν το όριο δαπανών καλυφθεί, δεν θα εμφανίζονται τα αντίστοιχα διαφημιστικά για το υπόλοιπο της τρέχουσας ημέρας. 24

25 Χρήση Τεχνικών Υπολογιστικής Νοημοσύνης για τη Σχεδίαση και Ανάπτυξη Αναφορές Ερωτημάτων Η ημερήσια αναφορά των ερωτημάτων που τέθηκαν προς αναζήτηση περιλαμβάνει τα παρακάτω στοιχεία για κάθε τύπο ερωτήματος: Διαφημίσεις: Το είδος του διαφημιστικού που προβλήθηκε από κάθε διαφημιστή. Θέσεις: Η θέση που κατέλαβε κατά μέσο όρο κάθε διαφημιστής(μέσα από 10 τυχαία επιλεγμένα δείγματα), όπως προέκυψε από τις δημοπρασίες για το συγκεκριμένο ερώτημα. Κόστος - ανά - κλικ: Το μέσο κόστος - ανά - κλικ του συγκεκριμένου διαφημιστή, στον οποίο απευθύνεται η αναφορά, όπως διαμορφώθηκε από τον πλειστηριασμό των διαφημιστικών. Προβολή διαφημιστικών: Οι φορές που οι χρήστες προέβαλλαν μια σελίδα αποτελεσμάτων αναζήτησης, η οποία περιείχε το διαφημιστικό του συγκεκριμένου διαφημιστή. Κλικ: Οι φορές που οι χρήστες επέλεξαν να δουν το διαφημιστικό του συγκεκριμένου διαφημιστή. Σημειώνεται ότι τα δύο πρώτα στοιχεία αποκαλύπτουν πληροφορίες σχετικά με όλους τους διαφημιστές, ενώ τα τρία τελευταία αφορούν συγκεκριμένα τον διαφημιστή που λαμβάνει την αναφορά Βαθμολογία Η Τράπεζα διατηρεί το τρέχον σύνολο των βαθμών για κάθε πράκτορα - διαφημιστή και κάθε ημέρα του γνωστοποιεί την βαθμολογία του. Ως αρχική βαθμολογία ορίζεται το μηδέν και κάθε ημέρα ενημερώνεται, ώστε να αντικατοπτρίζει τα κέρδη από τις πωλήσεις αλλά και τις δαπάνες από τα κλικ (CPC), που πραγματοποιήθηκαν εκείνη τη μέρα. Ισχύει: (2.1) (2.1) όπου το s συμβολίζει την βαθμολογία και το d την τρέχουσα ημέρα Κέρδη Πωλήσεων Όταν γίνει μια πώληση ενός προϊόντος, η τράπεζα πιστώνει στον διαφημιστή το σχετικό κέρδος. Εάν το προϊόν αυτό προέρχεται από κατασκευαστή που δεν είναι η 25

26 εξειδίκευση του διαφημιστή, τότε ισχύει η τυπική μονάδα κέρδους πώλησης (USP - Unit Sales Profit). Σε αντίθετη περίπτωση, ο διαφημιστής αμείβεται με USP (1 + MSB), όπου MSB (Manufacturer Specialist Bonus) είναι η ποσότητα που προστίθεται στο κέρδος όταν ο κατασκευαστής του προϊόντος είναι ειδικότητα του συγκεκριμένου διαφημιστή. Κάθε μέρα, ο αναλυτής πωλήσεων στέλνει μια αναφορά σε κάθε διαφημιστή, απαριθμώντας τις πωλήσεις που έγιναν για κάθε ερώτημα. 2.4 Χρήστες Σύμφωνα με το σενάριο του TAC / AA, όλες οι αναζητήσεις, τα κλικ πάνω σε διαφημιστικά και οι αγορές προϊόντων προέρχονται από έναν πληθυσμό από Μ εικονικούς χρήστες, η συμπεριφορά των οποίων προσομοιώνεται από τον εξυπηρετητή του παιχνιδιού βάσει καθορισμένης τακτικής. Κάθε χρήστης έχει μια προτίμηση και πρόκειται να αγοράσει μόνο το προϊόν της προτίμησής του. Συνεπώς, ο πληθυσμός των Μ χρηστών χωρίζεται σε υπό - πληθυσμούς για κάθε προϊόν. Οι χρήστες διακρίνονται ακόμα από την εσωτερική τους κατάσταση, η οποία καθορίζει το πώς θα συμπεριφερθούν στην αγορά. Παρακάτω ακολουθεί η ανάλυση των τρόπων συμπεριφοράς των χρηστών: αναζήτηση προϊόντος, κλικ σε διαφημιστικά και αγορά, αφού πρώτα αναφερθούν οι δυνατές εναλλαγές στις καταστάσεις τους Διαδικασία εναλλαγής καταστάσεων των χρηστών Όπως ήδη αναφέρθηκε παραπάνω, ο εξυπηρετητής του παιχνιδιού TAC / AA διαχωρίζει τους χρήστες ανάλογα με το ενδιαφέρον τους για κάθε ένα από τα εννιά διαφορετικά προϊόντα. Μέσα σε κάθε υπό - πληθυσμό, οι χρήστες μπορούν να μεταβαίνουν σε διάφορες καταστάσεις με τον τρόπο που φαίνεται στο παρακάτω σχήμα: 26

27 Εικόνα 2. 2 Μοντέλο μεταβάσεων ανάμεσα σε καταστάσεις των χρηστών. Κάθε κατάσταση έχει και ένα υπονοούμενο αυτό - βρόχο (δεν φαίνεται στο σχήμα). Οι δυνατές καταστάσεις, στις οποίες μπορεί να βρίσκονται οι χρήστες είναι: Κατάσταση μη αναζήτησης (Non - searching, NS) Κατάσταση αναζήτησης (Searching) Πληροφοριακή αναζήτηση (Informational search, IS) Αναζήτηση αγοράς, επιπέδου εστίασης 0 (Focus level 0, F0) Αναζήτηση αγοράς, επιπέδου εστίασης 1 (Focus level 1, F1) Αναζήτηση αγοράς, επιπέδου εστίασης 2 (Focus level 2, F2) Κατάσταση διεκπεραιωμένης αναζήτησης (Transacted, T) Οι μεταβάσεις από κατάσταση σε κατάσταση είναι ανεξάρτητες για κάθε χρήστη και όμοια διανεμημένες ανάμεσα στους χρήστες, σε μια δεδομένη μέρα. Κάθε χρήστης πραγματοποιεί μια μετάβαση ανά μέρα. Όλοι οι χρήστες αρχικοποιούνται στην κατάσταση μη αναζήτησης και συνεπώς, ο αριθμός των προσανατολισμένων χρηστών κάθε προϊόντος συμβολίζεται στην αρχή του παιχνιδιού με NS init. Οι χρήστες που βρίσκονται στις καταστάσεις αναζήτησης δημιουργούν ερωτήματα με μια διαδικασία που θα εξηγηθεί στην επόμενη παράγραφο. Όπως φαίνεται και στο 27

28 σχήμα (2.2), από την κατάσταση της πληροφοριακής αναζήτησης, ένας χρήστης μπορεί να μεταβεί σε οποιαδήποτε αναζήτηση αγοράς, να επιστρέψει στην κατάσταση μη αναζήτησης ή να παραμείνει στην κατάστασή του. Χρήστες που βρίσκονται σε κάποια κατάσταση αναζήτησης αγοράς μπορούν να διεκπεραιώσουν την αναζήτησή τους, να παραμείνουν στην τωρινή τους κατάσταση, να αυξήσουν το επίπεδο εστίασης του ενδιαφέροντός τους ή να επιστρέψουν στη μη αναζήτηση. Μόλις οι χρήστες βρεθούν στην κατάσταση διεκπεραιωμένης αναζήτησης (Τ), μπορούν να μεταβούν στη μη αναζήτηση ή να παραμείνουν στην τωρινή τους κατάσταση. Κάθε υπό - πληθυσμός χρηστών μοντελοποιείται σαν μια αλυσίδα Markov. Οι περισσότερες πιθανότητες μετάβασης είναι σταθερές, με τις παρακάτω εξαιρέσεις. Για να μοντελοποιηθούν οι απροσδόκητες εκρήξεις αναζήτησης, παρέχονται στοχαστικές αιχμές για την μετάβαση από την κατάσταση NS στην IS. Η πιθανότητα tan κανονικής μετάβασης δίνεται από την παράμετρο Pr s dard, ενώ η πιθανότητα απροσδόκητης μετάβασης από την παράμετρο Pr burst NS IS NS IS. Κάθε μέρα, και για κάθε υπό - πληθυσμό ανεξάρτητα, οι χρήστες που ανήκουν σ αυτόν τον υπό - πληθυσμό θα υπόκεινται σε απροσδόκητη μετάβαση με πιθανότητα Pr burst, ή διαφορετικά σε απλή μετάβαση. Αν συμβεί μια απροσδόκητη μετάβαση, τότε η πιθανότητα απροσδόκητης μετάβασης για τον συγκεκριμένο υπό - πληθυσμό για τις επόμενες BL μέρες θα είναι Pr sburst. Οι πιθανότητες μετάβασης από καταστάσεις αναζήτησης αγοράς σε κατάσταση διεκπεραιωμένης αναζήτησης επίσης δεν είναι σταθερές, αλλά εξαρτώνται από τα διαφημιστικά στα οποία θα κάνει κλικ ο χρήστης και από το ποιον διαφημιστή θα επιλέξει τελικά να αγοράσει, διαδικασίες που περιγράφονται στις επόμενες παραγράφους. Τέλος, σημειώνεται ότι πριν από την πρώτη μέρα κάθε στιγμιότυπου του παιχνιδιού, δηλαδή πριν από κάθε γύρο παιχνιδιού, ο πληθυσμός των χρηστών υφίσταται μία εικονική αρχικοποίηση, κατά την οποία προσομοιώνονται D u μέρες μεταβάσεων. Σ αυτή την εικονική αρχικοποίηση δεν συμμετέχουν διαφημιστές, συνεπώς δεν υπάρχουν καταταγμένες λίστες διαφημιστικών και δεν λαμβάνουν χώρα κλικ και αγορές Δημιουργία ερωτημάτων Κάθε χρήστης που βρίσκεται σε κατάσταση αναζήτησης υποβάλλει ένα μόνο ερώτημα ανά μέρα, το οποίο συμβαδίζει με το επίπεδο εστίασής του. Ένας χρήστης που βρίσκεται στην κατάσταση πληροφοριακής αναζήτησης, επιλέγει έναν από τους 28

29 τρείς τύπους ερωτημάτων τυχαία. Αν έχει επιλεγεί ένα ερώτημα τύπου F1, ο χρήστης διαλέγει τον κατασκευαστή ή τη συσκευή, με ίση πιθανότητα Το μοντέλο που ακολουθείται για κλικ πάνω σε διαφημιστικά Έχουν προταθεί πολλά μοντέλα που προσπαθούν να προσομοιώσουν τη συμπεριφορά των χρηστών, όσον αφορά το πως επιλέγουν να κάνουν κλικ σε διαφημιστικά. Ο τρόπος που λειτουργούν αυτά τα μοντέλα ποικίλει, αλλά στην ουσία όλα επιστρέφουν την πιθανότητα ένα διαφημιστικό σε μια συγκεκριμένη θέση σε μια λίστα από διαφημιστικά, να επιλεγεί από τον χρήστη. Η πιθανότητα αυτή μπορεί να μην εξαρτάται μόνο από τη θέση του συγκεκριμένου διαφημιστικού, αλλά και από τα άλλα διαφημιστικά που υπάρχουν στη σελίδα των αποτελεσμάτων και τη θέση που αυτά κατέχουν. Οι Edelman et al (1) χρησιμοποιούν ένα απλό αλλά δημοφιλές μοντέλο ανάλυσης, στο οποίο γίνεται η παραδοχή ότι κάθε θέση έχει μια συγκεκριμένη επίδραση στην επιλογή του χρήστη, που δεν εξαρτάται από το διαφημιστικό το οποίο βρίσκεται στη θέση αυτή. Οι Aggarwal et al. (3) ανέπτυξαν ένα εναλλακτικό μοντέλο, το μοντέλο του καταρράκτη, το οποίο λαμβάνει υπόψη του ότι η πιθανότητα ένας χρήστης να κάνει κλικ σε κάποιο διαφημιστικό εξαρτάται από την πιθανότητα να κάνει κλικ στα άλλα διαφημιστικά που εμφανίζονται στη σελίδα. Οι Das et al. (39) πρότειναν τέλος ένα μοντέλο, κατά το οποίο ένας χρήστης θα αγοράσει το πολύ από έναν από τους διαφημιστές. Το μοντέλο που χρησιμοποιείται στο παιχνίδι TAC / AA συνδυάζει το μοντέλο του καταρράκτη με το μοντέλο που πρότειναν οι Das et al (39). Πιο συγκεκριμένα, το πώς επιλέγουν οι χρήστες τα διαφημιστικά στα οποία θα κάνουν κλικ, είναι αποτέλεσμα συνδυασμού των παρακάτω παραμέτρων: της επίδρασης του διαφημιστή διαφημιστή a και ερωτήματος q, a e q, διαφορετική για κάθε συνδυασμό της επίδρασης στοχευόμενου διαφημιστικού TE(Targeting Effect), η οποία αλλάζει την πιθανότητα που έχει ένα στοχευόμενο διαφημιστικό να επιλεγεί και εξαρτάται από το αν η προτίμηση του χρήστη συμπίπτει με το διαφημιστικό, ενός πλεονεκτήματος προβολής, που αλλάζει την πιθανότητα που έχει ένα διαφημιστικό να επιλεγεί, όταν βρίσκεται σε προνομιούχα θέση, και της πιθανότητας για συνέχιση της αναζήτησης σε επόμενο διαφημιστικό, q διαφορετική για κάθε ερώτημα q. 29

30 Μόλις εμφανιστεί η λίστα με τα καταταγμένα διαφημιστικά, στη σελίδα με τα αποτελέσματα της αναζήτησης για κάποιο ερώτημα q, ο χρήστης τα παρατηρεί με τη σειρά αρχίζοντας από την πρώτη θέση. Για ένα γενικού περιεχομένου διαφημιστικό του διαφημιστή a, η αρχική τιμή της πιθανότητας ο χρήστης να κάνει κλικ πάνω του δίνεται από την παράμετρο τροποποιηθεί από δύο παράγοντες. Πρώτον, από την επίδραση a e q. Αυτή η πιθανότητα μπορεί να f που έχει σ αυτήν ένα στοχευόμενο διαφημιστικό, η οποία μπορεί να δράσει αυξητικά ή μειωτικά ανάλογα με το αν το προϊόν προτίμησης του χρήστη συμπίπτει με το διαφημιστικό: t arget f t arget 1 TE αν το στοχευόμενο διαφημιστικό συμπίπτει 1 αν το διαφημιστικό είναι γενικού περιεχομένου 1/ (1 TE) αν το στοχευόμενο διαφημιστικό δεν συμπίπτει. (2.2) Δεύτερον, από την επίδραση f που έχει στην πιθανότητα το πλεονέκτημα της pro προβολής σε μια προνομιούχα θέση PSB (Promotion Slot Bonus). Οι προνομιούχες θέσεις διαφημιστικών είναι αυτές που βρίσκονται ψηλότερα στη σελίδα των αποτελεσμάτων αναζήτησης και συνεπώς έχουν το μεγαλύτερο ποσοστό επιλογής από τους χρήστες. Για μια απλή θέση ισχύει f 1, ενώ για μία προνομιούχα ισχύει f 1 PSB. pro Η συνολική πιθανότητα ένας χρήστης να κάνει κλικ πάνω σε ένα συγκεκριμένο διαφημιστικό από τη λίστα, ξεκινάει από την αρχική τιμή και προσαρμόζεται σύμφωνα με τους δύο παράγοντες που αναφέρθηκαν ως εξής: pro Όπου Pr( click ) ( e, f f ) (2.3) a q t arg et pro ( px, ) px px (1 p) (2.4) Αν κάποιο διαφημιστικό δεν επιλέχθηκε προς προβολή από τον χρήστη, ή επιλέχθηκε αλλά δεν έγινε αγορά, τότε ο χρήστης θα προχωρήσει στο επόμενο στη σειρά διαφημιστικό προς προβολή με πιθανότητα συνέχισης αναζήτησης. q Τα εύρη των τιμών των παραμέτρων a e q και εστίασης του ερωτήματος ακολουθούν ομοιόμορφη κατανομή., τα οποία εξαρτώνται από το βαθμό q 30

31 Χρήση Τεχνικών Υπολογιστικής Νοημοσύνης για τη Σχεδίαση και Ανάπτυξη Συμφωνίες - Αγορές (conversions) Όταν οι χρήστες που βρίσκονται σε κατάσταση αναζήτησης αγοράς κάνουν κλικ σε κάποιο διαφημιστικό, η πιθανότητα να αγοράσουν τελικά το προϊόν από αυτόν τον διαφημιστή είναι συνάρτηση πολλών παραμέτρων, και ειδικά του βαθμού εστίασής τους. Η βασική τιμή της πιθανότητας να υπάρξει αγορά, δίνεται από την παράμετρο l, όπου l F 0, F1, F 2. Όπως ήταν αναμενόμενο, ερωτήματα με μεγαλύτερο βαθμό εστίασης οδηγούν συχνότερα σε αγορά: F 2 F 1 F 0. Ένας παράγοντας που επηρεάζει τη βασική αυτή τιμή της πιθανότητας είναι αυτός που αποτυπώνει έναν περιορισμό στην ικανότητα διανομής προϊόντων. Ο περιορισμός αυτός βασίζεται στην υπόθεση ότι αν οι διαφημιστές πουλάνε μεγάλες ποσότητες προϊόντων μέσα σε μικρό χρονικό διάστημα, θα εξαντλούνται τα αποθέματά τους και θα πρέπει να δηλώνουν κάποια προϊόντα σε παραγγελία, δηλαδή ως μη άμεσα διαθέσιμα. Σαν αποτέλεσμα, οι χρήστες αποθαρρύνονται από το να αγοράσουν από αυτούς τους διαφημιστές και οι συμφωνίες τους μειώνονται. Όλες οι πωλήσεις προϊόντων ενός διαφημιστή επηρεάζουν την ικανότητα διανομής του, καθιστώντας με αυτόν τον τρόπο τα ερωτήματα αλληλοεξαρτώμενα. Ο συνολικός αριθμός των πωλήσεων κάποιου διαφημιστή την ημέρα d συμβολίζεται με cd, ενώ με W συμβολίζεται το χρονικό περιθώριο, το οποίο λαμβάνεται υπόψη για τον υπολογισμό της ικανότητας διανομής. Η επίδραση του περιορισμού διανομής στην πιθανότητα αγοράς από αυτόν τον διαφημιστή δίνεται από τη σχέση: (2.5) όπου μια παράμετρος μείωσης της ικανότητας διανομής και C cap το όριο πωλήσεων πάνω από το οποίο αρχίζει η μείωση του ρυθμού συμφωνιών. Σημειώνεται ότι για την τρέχουσα ημέρα, με cd συμβολίζεται ο συνολικός αριθμός των πωλήσεων που έχουν γίνει μέχρι στιγμής μέσα στη μέρα αυτή. Σύμφωνα με το σενάριο του παιχνιδιού, οι διαφημιστές μπορεί να βρίσκονται σε ένα από τα τρία διακριτά επίπεδα ικανότητας διανομής: cap {Υψηλό, Μεσαίο, Χαμηλό}. Ο αριθμός HIGH, N MED και N LOW των διαφημιστών κάθε επιπέδου δίνεται από τις μεταβλητές N αντίστοιχα. Τέλος, ένας άλλος παράγοντας που επιδρά στην πιθανότητα συμφωνίας, είναι το κατά πόσον ταιριάζει η προτίμηση του χρήστη με την εξειδίκευση του διαφημιστή. Αν το προϊόν προτίμησης του χρήστη συμπίπτει με το προϊόν εξειδίκευσης του διαφημιστή, τότε οι πιθανότητες αγοράς αυξάνονται κατά μία ποσότητα που 31

32 Χρήση Τεχνικών Υπολογιστικής Νοημοσύνης για τη Σχεδίαση και Ανάπτυξη συμβολίζεται με CSB (Component Specialization Bonus). Εν ολίγοις, χρησιμοποιώντας τη σχέση προσαρμογής πιθανοτήτων που παρουσιάστηκε παραπάνω, η ολική έκφραση της πιθανότητας να προβεί κάποιος χρήστης σε αγορά, δηλαδή να μεταβεί στην κατάσταση διεκπεραιωμένης αναζήτησης (Τ), είναι: 2.5 Εκδότης Για κάθε ερώτημα που υποβάλει ένας χρήστης, ο εκδότης πρέπει να αποφασίσει ποια διαφημιστικά θα προβληθούν, σε ποια θέση και σε τι τιμή, ανάλογα με την προσφορά που έχει δώσει κάθε πράκτορας Κατάταξη Διαφημιστικών Διάφοροι μηχανισμοί έχουν μελετηθεί και προταθεί κατά καιρούς από ερευνητές για την επίλυση προβλημάτων κατάταξης. Ένα ιδιαίτερο ζήτημα είναι η δυνατότητα επιλογής μεταξύ δύο ιδιαίτερων μηχανισμών. Ο πρώτος αναφέρεται στην κατάταξη των διαφημιστικών με βάση μόνο τις προσφορές για το κόστος ανά κλικ (κατάταξη ανά προσφορά), ενώ ο δεύτερος λαμβάνει υπόψη και την εκτιμώμενη πιθανότητα να επιλεχθεί με κλικ ένα διαφημιστικό (κατάταξη ανά έσοδα). Προτείνουν μάλιστα μια μέθοδο που συνδυάζει τους δύο αυτούς μηχανισμούς, χρησιμοποιώντας μια παράμετρο. Συγκεκριμένα, εάν είναι η εκτιμώμενη πιθανότητα να γίνει κλικ σε ένα διαφημιστικό για ένα ερώτημα (λαμβάνοντας υπόψη όλα τα διαθέσιμα στοιχεία) και είναι η προσφορά του διαφημιστή, τότε στην προσφορά αντιστοιχίζεται μια βαθμολογία. Εάν τότε έχουμε κατάταξη ανά προσφορά, ενώ αν έχουμε κατάταξη ανά έσοδα. Στο TAC / AA υιοθετείται ο παραπάνω μηχανισμός, χρησιμοποιώντας ως εκτιμώμενη πιθανότητα κλικ την τιμή. Η παράμετρος αποκαλύπτεται στους διαφημιστές στην αρχή του παιχνιδιού. Ο εκδότης δύναται να επιβάλει κατώφλι βαθμολογίας (ελάχιστη τιμή προσφοράς) τόσο για τις κανονικές όσο και για τις προνομιούχες θέσεις για κάθε τύπο ερωτημάτων (F0, F1 ή F2). Ο αριθμός Κ των συνολικών θέσεων και ο αριθμός k των θέσεων που είναι διαθέσιμες για προώθηση αποκαλύπτεται στους διαφημιστές κατά την έναρξη του παιχνιδιού. Στην πραγματικότητα, εφόσον υπάρχει διαθέσιμη 32

33 προνομιούχα θέση, ο νικητής αυτής, θα προωθηθεί μόνο εάν η βαθμολογία του είναι τουλάχιστον ίση με (promotion reserve score). Βαθμολογίες κάτω από το βασικό επίπεδο (regular reserve score) απορρίπτονται πριν από τη διαδικασία κατάταξης. Οι ρυθμίσεις για τα παραπάνω όρια βαθμολογιών δεν αποκαλύπτονται στους διαφημιστές. Ο εκδότης καθορίζει την κατάταξη των διαφημιστικών για κάθε ερώτημα κάθε μέρα με βάση τις προσφορές που έλαβε και τις τρέχουσες τιμές των παραμέτρων. Η κατάταξη διατηρείται σταθερή κατά τη διάρκεια της ημέρας, εκτός αν κάποιος από τους διαφημιστές φτάσει το όριο δαπανών Κοστολόγηση των κλικ Ο εκδότης χρησιμοποιεί ένα γενικευμένο μοντέλο της δεύτερης - τιμής για την κοστολόγηση των διαφημίσεων. Αν είναι η πιθανότητα να γίνει κλικ στο διαφημιστικό στη θέση και είναι η προσφορά του διαφημιστή, ο οποίος κατέλαβε τη θέση αυτή (ισχύει, αν δεν υπάρχει προσφορά). Το κόστος - ανά - κλικ της θέσης της δημοπρασίας για το ερώτημα καθορίζεται από την ενεργό βαθμολογία της επόμενης θέσης (effective score), η οποία ορίζεται ως εξής: εάν χ e q,(p 1) διαφορετικά όπου είναι το εάν η είναι προβιβασμένη θέση και το διαφορετικά. Τελικά, το κόστος - ανά - κλικ καθορίζεται από την ελάχιστη τιμή που θα έπρεπε να προσφέρει ο διαφημιστής για να ξεπεράσει αυτή την ενεργό βαθμολογία: (2.8) Όρια δαπανών Αν ένας διαφημιστής έχει δηλώσει όρια δαπανών για την τρέχουσα ημέρα, τα διαφημιστικά του παρακολουθούνται και ενδεχομένως, αποκλείονται από τον 33

34 εκδότη. Αυτό θα συμβεί αν το κόστος ανά κλικ για ένα διαφημιστικό σε ένα συγκεκριμένο ερώτημα, σε συνδυασμό με τις τρέχουσες δαπάνες της ημέρας, υπερβεί είτε το αντίστοιχο όριο για το συγκεκριμένο ερώτημα ή το συνολικό όριο δαπανών. Στην περίπτωση αυτή, ο διαφημιστής αποσύρεται από την κατάταξη για το συγκεκριμένο ερώτημα και οι υπόλοιπες προσφορές ανακατατάσσονται και ανά - κοστολογούνται για τους επόμενους χρήστες της ημέρας Συμπεράσματα για το είδος της δημοπρασίας Με βάση τους παραπάνω κανόνες που διέπουν τη συμπεριφορά του εκδότη, δηλαδή του δημοπράτη του πλειστηριασμού στον οποίο στηρίζεται το παιχνίδι, και τις βασικές παραμέτρους που περιγράφουν γενικά τις δημοπρασίες και αναφέρθηκαν στην παράγραφο 2.1, εξάγονται κάποια συμπεράσματα για τα χαρακτηριστικά της εν λόγω δημοπρασίας και ένα πόρισμα για το σε ποιο είδος αυτή κατατάσσεται. Θεωρείται ότι το αγαθό το οποίο προσπαθεί να αποκτήσει κάθε πράκτορας - διαφημιστής είναι μια καλή θέση στην κατάταξη των διαφημιστικών, με παράλληλη μεγιστοποίηση των κερδών του, κατά μήκος όλης της διάρκειας ενός γύρου παιχνιδιού, και όχι μεμονωμένα για κάθε ημέρα. Συνεπώς, κάθε ημέρα αντικατοπτρίζει ένα γύρο πλειοδοσίας και κάθε γύρος παιχνιδιού αποτελείται από πολλούς γύρους πλειοδοσίας (συγκεκριμένα 60). Σ αυτό το σημείο γίνεται φανερή και η διαφορά του όρου «γύρος παιχνιδιού» από τον όρο «γύρος πλειοδοσίας». Οι κανόνες αποκάλυψης ενδιάμεσης πληροφορίας ορίζονται από τη μορφή των καθημερινών αναφορών που λαμβάνουν οι πράκτορες και που σύμφωνα με τις οποίες επαναπροσδιορίζουν τις προσφορές τους για τον επόμενο γύρο πλειοδοσίας. Τέλος, τα κατώφλια βαθμολογίας ορίζουν τους κανόνες υποβολής προσφορών, ενώ οι κανόνες εκκαθάρισης αποτελούνται από χρονικά περιθώρια (υποβολής των προσφορών), αλλά και από ειδικές συνθήκες (όρια δαπανών). Παρόλα αυτά, ο κανόνας κοστολόγησης των κλικ που χρησιμοποιείται είναι βασισμένος στον κανόνα που εφαρμόζεται στην Δημοπρασία Vickrey. 2.6 Η ροή του παιχνιδιού Το παιχνίδι και οι αλληλεπιδράσεις που λαμβάνουν χώρα στα πλαίσια αυτού, μπορούν να αναλυθούν σε δύο φάσεις: στη φάση αρχικοποίησης και στις 34

35 καθημερινές ενέργειες των πρακτόρων. Οι φάσεις αυτές της ροής του παιχνιδιού περιγράφονται παρακάτω, ενώ μια λεπτομερής απεικόνισή τους φαίνεται στο σχήμα που ακολουθεί: Αρχικοποίηση, διάδοση προσωπικών πληροφοριών Οι διαφημιστές πληροφορούνται για τα αποτελέσματα της d-1 μέρας Οι διαφημιστές πλειοδοτούν για τις λέξεις κλειδιά και επιλέγουν διαφημιστικά για τοποθέτηση για τη μέρα d+1 Ο εκδότης κατατάσσει τα διαφημιστικά για κάθε πιθανό ερώτημα Ημερήσια ροή Ενημέρωση πληθυσμού χρηστών Οι χρήστες εγείρουν ερωτήματα, παρατηρούν και κάνουν κλικ σε διαφημιστικά, αγοράζουν προϊόντα Εικόνα 2.3 Ροή των δραστηριοτήτων την ημέρα d ενός γύρου παιχνιδιού TAC / AA Αρχικοποίηση παιχνιδιού: Κατά την εκκίνηση ενός γύρου παιχνιδιού, καθορίζονται οι παράμετροι των χρηστών, των διαφημιστών και του εκδότη από το αντίστοιχο εύρος διανομής τιμών. Για κάθε συνδυασμό ερωτήματος και διαφημιστή, θέτονται οι αρχικές τιμές των πιθανοτήτων να επιλεγεί με κλικ ένα διαφημιστικό 35 a e q. Επίσης, καθορίζεται η πιθανότητα συνέχισης της αναζήτησης για κάθε ερώτημα. Αυτές οι πληροφορίες δεν αποκαλύπτονται στους διαφημιστές. Όλοι οι χρήστες αρχικοποιούνται στην κατάσταση μη αναζήτησης (NS) και στη συνέχεια ο εξυπηρετητής του παιχνιδιού προσομοιώνει D u εικονικές μέρες δραστηριότητας των χρηστών χωρίς διαφημιστικά, ώστε να διασκορπίσει τον πληθυσμό σε διάφορες καταστάσεις. Οι διαφημιστές πληροφορούνται το προϊόν εξειδίκευσής τους, καθώς cap και την ικανότητα διανομής τους C, δηλαδή το όριο των ανεπηρέαστων πωλήσεων σε ένα χρονικό διάστημα W, όχι όμως και αυτά των αντιπάλων τους. Τελικά, ο εκδότης αποφασίζει και αποκαλύπτει την τιμή της ειδικής παραμέτρου χ και θέτει κρυφά κατώφλια βαθμολογίας reg ( FLevel ) και pro( FLevel ) για κάθε τύπο ερωτημάτων (F0, F1 και F2).

36 Καθημερινές ενέργειες πρακτόρων: Στην αρχή κάθε μέρας d, παραδίδονται στους διαφημιστές οι αναφορές που συνοψίζουν τις δραστηριότητες της μέρας d - 1. Ο εκδότης εκτελεί πλειστηριασμό για όλα τα πιθανά ερωτήματα, ώστε να αποφασίσει για την κατάταξη των διαφημιστικών σε καθένα από αυτά και το κόστος ανά κλικ για κάθε διαφημιστικό. Κατόπιν οι χρήστες εγείρουν ερωτήματα, λαμβάνουν αποτελέσματα, κάνουν κλικ σε διαφημιστικά και αγοράζουν προϊόντα. Ο εκδότης παρακολουθεί τα όρια δαπανών των διαφημιστών και αν κριθεί απαραίτητο εκτελεί ξανά τους αντίστοιχους πλειστηριασμούς. Αφού όλοι οι χρήστες έχουν κάνει την ημερήσια μετάβασή τους, ο εξυπηρετητής ενημερώνει τις καταστάσεις του πληθυσμού βάσει των αποτελεσμάτων που εξάγονται από τις αναζητήσεις, τα διαφημιστικά και τις αγορές που έλαβαν χώρα. Στο τέλος, οι διαφημιστές υποβάλουν στον εκδότη τις προσφορές τους και την επιλογή των διαφημιστικών που έχουν κάνει, για τους πλειστηριασμούς της επόμενης μέρας (d+1). 2.7 Μηχανισμοί Σχεδίασης του TAC / AA Στην ενότητα αυτή, αναλύονται οι διάφοροι μηχανισμοί που αναπτύχθηκαν με σκοπό την αποδοτικότερη σχεδίαση του παιχνιδιού. Οι μηχανισμοί αυτοί, ανάλογα με τον τομέα, τον οποίο στοχεύουν να βελτιώσουν, χωρίζονται στις εξής δύο κατηγορίες: Βελτίωση της αναλογίας των κλικ, δηλαδή του Click Through Rate (CTR) Βελτίωση των εσόδων του εκδότη Βελτίωση του CTR Στην παράγραφο αυτή εξετάζεται η επίδραση του αριθμού των προνομιούχων θέσεων στην αναλογία των κλικ τόσο στην πρώτη προνομιούχα θέση όσο και σε όλες τις θέσεις συνολικά. Παρατηρήθηκε ότι η αύξηση του αριθμού των προνομιούχων θέσεων αυξάνει την αναλογία των κλικ της πρώτης προνομιούχας θέσης, παρόλο που θα περίμενε κανείς το αντίθετο. Επιπλέον, από τα πειράματα προέκυψε, ότι ενώ η αναλογία των κλικ στις κανονικές θέσεις μειώνεται καθώς αυξάνονται οι προνομιούχες θέσεις, η αναλογία των κλικ ολόκληρης της σελίδας(προνομιούχες και κανονικές θέσεις) παρουσιάζει μια μικρή άνοδο. Οι Reiley, Li και Lewis (8) βασίστηκαν στις παρακάτω δυο υποθέσεις για να εξηγήσουν τα συμπεράσματα των πειραμάτων τους. 36

37 Τα υπάρχοντα μοντέλα της ανθρώπινης αλληλεπίδρασης με τα αποτελέσματα μιας αναζήτησης θεωρούν ότι οι χρήστες αναμένουν τα πρώτα αποτελέσματα να είναι πιο σχετικά με την αναζήτηση τους. Έτσι ξεκινούν από την κορυφή της σελίδας και σαρώνουν προς τα κάτω μέχρι να επιλέξουν κάποιο από τα αποτελέσματα. Με αυτή τη λογική, αν προστεθεί ακόμα μία προνομιούχα θέση τότε τα πρώτα αποτελέσματα των κανονικών θέσεων θα υποβιβαστούν, κάνοντας έτσι τα αποτελέσματα των προνομιούχων θέσεων να φαίνονται πιο σχετικά με την αναζήτηση του χρήστη. Ως συνέπεια αυτού, οι χρήστες μπορεί να βρουν ότι το πρώτο αποτέλεσμα που θα επιλέξουν δεν ανταποκρίνεται στις ανάγκες τους, καθώς θα έχουν αγνοήσει τα πιο σχετικά αποτελέσματα των κανονικών θέσεων πριν το πρώτο τους κλικ. Έτσι, αναγκάζονται να σαρώνουν πάλι τη σελίδα των αποτελεσμάτων αναζήτησης μέχρι να επιλέξουν την καταχώρηση που τους ικανοποιεί. Μια άλλη υπόθεση είναι ότι, όταν οι χρήστες βλέπουν πολλές υπό χορηγία καταχωρήσεις με παρόμοια μηνύματα, τείνουν να κάνουν κλικ σε περισσότερες από μία για να δουν τι προσφέρει η καθεμιά. Ειδικότερα, ορισμένοι χρήστες θεωρούν ότι οι πολλαπλές καταχωρήσεις είναι δείγμα ότι οι διαφημίσεις ως ομάδα παρέχουν κάτι πολύτιμο και αυτό αυξάνει την πιθανότητα να κάνουν κλικ στην πρώτη διαφήμιση ή και σε πολλαπλές διαφημίσεις απ ότι αν υπήρχε μόνο μια υπό χορηγία καταχώρηση. Βέβαια, το γεγονός ότι αυξάνονται τα κλικ με την αύξηση των προνομιούχων θέσεων δεν συνεπάγεται ότι αυξάνονται και οι αγορές. Αυτό έχει σημαντικές επιπτώσεις τόσο στα κέρδη των διαφημιστών όσο και στα έσοδα του εκδότη, καθώς οι προσφορές εξαρτώνται από την αξία του κλικ. Βελτίωση των εσόδων του εκδότη Στο μηχανισμό αυτό αναπτύσσεται ένα σύνολο κανόνων κατανομής και τιμολόγησης των προσφορών, το οποίο θα αποδίδει τα περισσότερα έσοδα για τον εκδότη. Ο σχεδιασμός του μηχανισμού περιλαμβάνει δύο στάδια, την πρόβλεψη της κατανομής του παιχνιδιού και τον υπολογισμό των εσόδων με βάση αυτή την κατανομή. Για την ανάλυσή του λαμβάνονται υπόψη δύο σημαντικές συνιστώσες, τα κατώφλια στις βαθμολογίες των προσφορών (reserve scores) και οι αλγόριθμοι κατάταξης των διαφημιστικών. Σε κάθε περίπτωση τα αποτελέσματα που προκύπτουν συγκρίνονται σύμφωνα με τα αναμενόμενα έσοδα του εκδότη, τα κέρδη του διαφημιστή και το συνολικό κέρδος. 1. Βαθμολογίες προσφορών 37

38 Όσον αφορά στις βαθμολογίες των προσφορών, οι Edelman και Schwarz (1) ισχυρίζονται ότι ο εκδότης αποκομίζει τα περισσότερα έσοδα θέτοντας ελάχιστη τιμή προσφοράς (reserve price) την, όπου είναι η κατανομή των αποτιμήσεων των πλειοδοτών, οι οποίες θεωρούνται ανεξάρτητες και ισόνομες. Ακόμα υποστηρίζουν ότι, η θέσπιση ελάχιστης τιμής απόκτα ακόμα μεγαλύτερη αξία όταν οι διαφημιστές είναι λίγοι. Σε μερικές περιπτώσεις μάλιστα, η ελάχιστη αυτή τιμή προσφοράς αυξάνει τα έσοδα του εκδότη περισσότερο απ ότι η προσθήκη ενός ακόμα διαφημιστή. Τα παραπάνω αποτελέσματα αφορούν δημοπρασίες πολλαπλών αγαθών και έρχονται σε αντίθεση με τα συμπεράσματα των Bulow και Klemperer για τις δημοπρασίες με ένα μόνο αγαθό, σύμφωνα με τους οποίους δεν υπάρχει ρύθμιση της ελάχιστης τιμής που να αποδίδει περισσότερα έσοδα απ ότι ένας επιπλέον διαφημιστής. Το TAC / AA αποτελεί μια δημοπρασία πολλαπλών αγαθών (slots), όπου θέτονται ελάχιστες βαθμολογίες τόσο για τις κανονικές όσο και για τις προνομιούχες θέσεις, οι οποίες μένουν σταθερές καθ όλη τη διάρκεια ενός γύρου παιχνιδιού. Από τα πειράματα που έγιναν, παρατηρήθηκε ότι θέτοντας ίσες τιμές στις παραπάνω βαθμολογίες (p=0.60) υπάρχει μια εκπληκτική αύξηση της τάξης του 400% στο συνολικό κέρδος των εκδοτών σε σχέση με το κέρδος που προέκυπτε χωρίς να υπάρχουν ελάχιστα όρια βαθμολογιών. Τέλος, παρατηρήθηκε η επίδραση του αριθμού των διαφημιστών στα έσοδα του εκδότη. Στη συγκεκριμένη έκδοση του παιχνιδιού πρέπει να υπάρχουν πάντα 8 διαφημιστές. Για τη μείωση του αριθμού των διαφημιστών εισήχθηκε ένας νέος τύπος διαφημιστή, που ονομάζεται διαφημιστής μηδενικής προσφοράς και δεν αποκομίζει καθόλου έσοδα. Έτσι, προέκυψε ότι το κέρδος που αποκομίζει ο εκδότης από την θέσπιση των ελάχιστων βαθμολογιών υπερβαίνει κατά πολύ το όφελος ενός επιπλέον διαφημιστή. Πιο συγκεκριμένα, ο εκδότης κερδίζει περισσότερο αν υπάρχουν τρεις διαφημιστές και κατώτατο όριο βαθμολογίας απ ότι αν υπήρχαν οχτώ διαφημιστές και δεν υπήρχε το παραπάνω όριο. 2. Αλγόριθμοι κατάταξης των διαφημιστικών Επειδή οι διαφημιστές που έχουν ξεπεράσει το όριο δαπανών τους, δεν μπορούν να χρεωθούν, κρίνεται σκόπιμο για την βελτίωση των εσόδων του εκδότη να λαμβάνονται υπόψη τα παραπάνω όρια σε κάθε κατάταξη των διαφημιστικών. Σύμφωνα με αυτά τα όρια η κατάταξη των διαφημιστικών 38

39 εξαρτάται πλέον από τη σειρά των ερωτημάτων. Παρακάτω παρουσιάζονται τέσσερις αλγόριθμοι κατάταξης και συγκρίνονται ανάλογα με τα έσοδα που αποφέρουν στους εκδότες. Ο πρώτος αλγόριθμος ονομάζεται αλγόριθμος εξομάλυνσης προϋπολογισμού (BS). Αποδεικνύεται ότι ο αλγόριθμος αυτός έχει αναλογία μεταξύ της χειρότερης και της καλύτερης περίπτωσης και δεν υπάρχει τυχαίος αλγόριθμος που να μπορεί να πετύχει καλύτερη αναλογία. Αν είναι το ποσό που έχει καταναλωθεί από το συνολικό δαπανηθέν όριο και, τότε ο εκδότης δημιουργεί προσαρμοσμένες προσφορές και οι κανόνες κατάταξης και τιμολόγησης εφαρμόζονται σε αυτές τις προσφορές. Ο δεύτερος αλγόριθμος (BSR) αποτελεί μια βελτίωση του πρώτου, λαμβάνοντας υπόψη και τα όρια στις βαθμολογίες των προσφορών (ρ), οπότε οι προσαρμοσμένες προσφορές που δημιουργούνται έχουν την εξής μορφή:. Ο τρίτος αλγόριθμος είναι ο αλγόριθμος κατάταξης και τιμολόγησης που περιγράφεται στο ΤΑC / AA και έχει κανόνα τιμολόγησης δεύτερης τιμής. Τέλος, σύμφωνα με τον τέταρτο αλγόριθμο (πιθανότητα αποκλεισμού - ΕΤ) ένας διαφημιστής αποκλείεται από την δημοπρασία με πιθανότητα ώ έ ό ό ώ, (2.9) όπου το προσδοκώμενο κόστος υπολογίζεται από το τρέχον κόστος ανά κλικ, την αναλογία των κλικ και τον αναμενόμενο αριθμό των ερωτημάτων που απομένουν. Από τη σύγκριση των παραπάνω αλγορίθμων, προκύπτει ότι ο αλγόριθμος που χρησιμοποιείται στο TAC / AA είναι ο πιο κερδοφόρος. Ακολουθεί ο αλγόριθμος ΕΤ, ο ΒSR και τέλος ο ΒS, o οποίος αποφέρει τα λιγότερα έσοδα στον εκδότη. Η χαμηλή απόδοση των αλγορίθμων εξομάλυνσης BS και BSR εξηγείται από το γεγονός ότι προσαρμόζουν τις προσφορές προς τα κάτω, καθώς καταναλώνεται το όριο δαπανών των διαφημιστών. Στον ΒS οι προσφορές συγκλίνουν προς το μηδέν με αποτέλεσμα να πέφτουν γρήγορα κάτω από την ελάχιστη τιμή. Στον BSR οι προσφορές συγκλίνουν γρήγορα προς την ελάχιστη τιμή και έτσι ο εκδότης χάνει μέρος από τα έσοδα του, το οποίο μεταφέρεται ως κέρδος στους διαφημιστές. 39

40 Χρήση Τεχνικών Υπολογιστικής Νοημοσύνης για τη Σχεδίαση και Ανάπτυξη Κεφάλαιο 3 Ανάλυση Παιχνιδιού 3.1. Παλιότεροι Πράκτορες Στο κεφάλαιο αυτό θα παρουσιάσουμε τη λογική πίσω από τη χρήση κάποιων πρακτόρων που χρησιμοποιήθηκαν σε προηγούμενους διαγωνισμούς του TAC / AA TacTex Πρόκειται για τον πράκτορα που κέρδισε το διαγωνισμό τις χρονιές 2009, 2010 και Ακολουθεί μια αρκετά πολύπλοκη όμως και πετυχημένη στρατηγική. Ο πράκτορας αποτελείται από μηχανισμούς που κάνουν προβλέψεις και εκτιμήσεις σχετικά με διάφορους παράγοντες, όπως οι παράμετροι του παιχνιδιού, ώστε να βρεθούν οι βέλτιστες δράσεις. Οι μηχανισμοί αυτοί φαίνονται στην εικόνα: Εικόνα 3.1 Σχεδιάγραμμα πράκτορα TacTex 40

41 Αρχικά έχουμε τον Position Analyzer. Ο μηχανισμός αυτός δέχεται σαν είσοδο τη μέση θέση των άλλων πρακτόρων και τον αριθμό των σελίδων που εμφανίζεται ο πράκτορας TacTex (εικόνα 3.1), όπως οι τιμές αυτές προκύπτουν από την αναφορά που στέλνεται σε κάθε πράκτορα μετά το τέλος της προηγούμενης μέρας. Με βάση τα στοιχεία αυτό ο Position Analyzer υπολογίζει την κατάταξη των προσφορών όλων των πρακτόρων, το συνολικό αριθμό απεικονίσεων καθώς επίσης και το εύρος απεικόνισης κάθε πράκτορα, δηλαδή ποια ήταν η πρώτη και η τελευταία σελίδα που εμφανίστηκε καθένας. Για τους υπολογισμούς αυτούς στηρίζεται στις εξισώσεις: Οι μεταβλητές start και end προκύπτουν αν σκεφτούμε ότι, κάθε μέση θέση αποτελεί ένα κλάσμα, όπου αριθμητής και παρονομαστής έχουν μέγιστο κοινό διαιρέτη (gcd) και έτσι με τη μέθοδο των συνεχών κλασμάτων οι start και end μπορούν να αντικατασταθούν από τη μεταβλητή gcd. Στη συνέχεια με ένα δένδρο αναζήτησης προκύπτει το διάστημα τιμών των μεταβλητών που υπολογίζει o Position Analyzer (συνολική κατάταξη, εύρος απεικόνισης, συνολικές απεικονίσεις). Όταν όλοι οι διαφημιστές έχουν λάβει θέση κατάταξης, έχει βρεθεί μια έγκυρη λύση και η αναζήτηση στο δένδρο τερματίζεται. Αν υπάρχουν μεταβλητές, οι οποίες δεν έχουν προσδιοριστεί, τότε αυτές λαμβάνουν τη μέση τιμή από το δυνατό εύρος τιμών τους. Στη συνέχεια ακολουθεί ο μηχανισμός που κάνει τις προβλέψεις και τις εκτιμήσεις για την επόμενη μέρα. Ο μηχανισμός αυτός αποτελείται από τρία ξεχωριστά μοντέλα: User Model: στο σημείο αυτό γίνεται μια εκτίμηση της κατάστασης των χρηστών. Η τεχνική που χρησιμοποιείται είναι το Φίλτρο Σωματιδίων (Particle Filtering). Σαν είσοδο απαιτεί μόνο τον συνολικό αριθμό των απεικονίσεων. Στη συνέχεια χρησιμοποιεί ένα σύνολο σταθμισμένων δειγμάτων για να υπολογίσει μια συνάρτηση των πιθανών καταστάσεων. Έτσι ο πράκτορας έχει μια κατανομή όσο αφορά πόσοι χρήστες σκοπεύουν να κάνουν κλικ, πόσοι να αγοράσουν κτλ. Advertiser Model: το μοντέλο αυτό εκτιμά τις ενέργειες των αντίπαλων διαφημιστών. Συγκεκριμένα κάνει προβλέψεις για τις προσφορές που θα κάνουν, τις διαφημίσεις που θα επιλέξουν και τον αριθμό των σελίδων στις 41

42 42 οποίες αυτές απεικονίζονται. Για τις προβλέψεις αυτές χρησιμοποιεί στοιχεία από τα αποτελέσματα που στέλνονται στο τέλος κάθε μέρας καθώς του User Model. Το μοντέλο χρησιμοποιεί 2 διαφορετικούς εκτιμητές για να κάνει τις προβλέψεις. Η κύρια διαφορά τους έγκειται στο γεγονός ότι ο πρώτος εκτιμητής λαμβάνει συνολικά υπόψη όλες τις προσφορές, ενώ ο δεύτερος τις εξετάζει ανεξάρτητα. Πρώτος Εκτιμητής Προσφορών: χρησιμοποιεί επίσης την τεχνική του Φίλτρου Σωματιδίων. Χρησιμοποιείται ένα φίλτρο για κάθε τύπο ερωτημάτων. Για κάθε φίλτρο λαμβάνονται 1000 δείγματα, καθένα από τα οποία ορίζει ένα σετ προσφορών όλων των διαφημιστών. Άμεσα συνδεδεμένη με τα δείγματα είναι και η κατανομή πιθανότητας κάθε φίλτρου, η οποία δίνει την πιθανότητα ένα δείγμα να αντιπροσωπεύει την τρέχουσα κατάσταση προσφορών. Κάθε ημέρα γίνεται μια δειγματοληψία από την υποκείμενη κατανομή, ώστε να προσδιοριστεί το επόμενο σετ δειγμάτων προσφορών. Έπειτα, τα δείγματα ενημερώνονται με βάση τις παρατηρήσεις που προκύπτουν από τις αναφορές και τέλος, το φίλτρο επαναϋπολογίζει την συνάρτηση κατανομή πιθανότητας για το καινούριο σετ δειγμάτων. Παρά το γεγονός ότι η πραγματική πιθανότητα ενός δείγματος του οποίου η κατάταξη δεν ταιριάζει με την πραγματική κατάταξη είναι μηδέν, μπορεί να υπάρχουν μερικά δείγματα με τη σωστή κατάταξη. Έτσι, η συνάρτηση πιθανότητας σχεδιάζεται ώστε να δίνει κάποια βαρύτητα σε όλα τα δείγματα. Έχοντας υπολογίσει τη διαφορά κατάταξης δ για κάθε διαφημιστή από την πραγματική κατάταξη και την προβλεπόμενη κατάταξη από το δείγμα, ορίζεται η συνάρτηση ). Η πιθανότητα κάθε δείγματος αντιστοιχίζεται στις παραπάνω τιμές για όλους τους διαφημιστές και συνεπώς, στα δείγματα των οποίων η προβλεπόμενη κατάταξη είναι πιο κοντά στην πραγματική κατάταξη έχουν ανατεθεί υψηλότερες τιμές. Οι τιμές αυτές κανονικοποιούνται ώστε να προκύψει η πραγματική κατανομή πιθανοτήτων των δειγμάτων. Δεύτερος Εκτιμητής Προσφορών: Στον εκτιμητή αυτό, το διάστημα τιμών των προσφορών [0, 3.75] διακριτοποιείται στις τιμές θέτοντας. Με αυτό τον τρόπο εξασφαλίζεται καλύτερη κάλυψη των μικρών τιμών προσφορών, οι οποίες είναι πιο συνηθισμένες, παραμένει η δυνατότητα αναπαράστασης των υψηλών τιμών, ενώ παράλληλα απλοποιείται το μοντέλο αναπροσαρμογής των προσφορών. Το μοντέλο αυτό υποστηρίζει ότι η αναπροσαρμογή της τιμής μιας προσφοράς είναι το αθροιστικό αποτέλεσμα 3 παραγόντων. Αρχικά, με πιθανότητα 0.1 η προσφορά της ημέρας t+1 παίρνει μια τυχαία τιμή από τις vi. Με πιθανότητα

43 0.5 η προσφορά αλλάζει ελάχιστα από την προσφορά της ημέρας t, σύμφωνα με την συνάρτηση πυκνότητας της κανονικής κατανομής, που έχει μέση τιμή 0 και διακύμανση 6. Τέλος, με πιθανότητα 0.4 η προσφορά αλλάζει σύμφωνα με μια παρόμοια με την παραπάνω συνάρτηση κατανομής, όμως η αλλαγή αυτή δεν εξαρτάται από την ημέρα t, αλλά από την ημέρα t - 4. Για την καλύτερη εφαρμογή της παραπάνω τεχνικής, λαμβάνονται 10 διαφορετικές εκτιμήσεις για τις προσφορές κάθε διαφημιστή και η παραπάνω μέθοδος εφαρμόζεται 10 φορές. Από τους δύο προαναφερθέντες εκτιμητές προκύπτουν τελικά 11 διαφορετικά σετ προσφορών, από τα οποία επιλέγεται το τελικό. Parameter Model: υπολογίζει κάποιες σημαντικές παραμέτρους που χρειάζονται στην προσομοίωση του παιχνιδιού, όπως είναι οι και καθώς αυτές έχουν τη μεγαλύτερη επίδραση στον TacTex. Οι παραπάνω παρατηρήσεις και εκτιμήσεις χρησιμεύουν ώστε να βρεθούν οι βέλτιστες προσφορές, διαφημιστικά και τα όρια δαπανών που θα θέσει ο TacTex την επόμενη μέρα. Ο κύριος παράγοντας στη διαδικασία βελτιστοποίησης είναι ο περιορισμός των πωλήσεων. Η βελτιστοποίηση περιλαμβάνει 3 επίπεδα: τον Πολλαπλό - Αναλυτή, το Μονό - Αναλυτή και τον Αναλυτή - Ερωτημάτων. Επειδή σκοπός είναι να μεγιστοποιηθεί το κέρδος για όλο το παιχνίδι και όχι μόνο για μια ημέρα, πρέπει να αποφασιστεί πόσες πωλήσεις στοχεύει να έχει ο διαφημιστής κάθε ημέρα, απόφαση που παίρνει ο Πολλαπλός - Αναλυτής με τη βοήθεια του αλγόριθμου αναζήτησης hill - climbing. Στη συνέχεια, ο Μονός - Αναλυτής αναλαμβάνει να χωρίσει τον αριθμό των πωλήσεων σε κάθε έναν από τους 16 τύπους ερωτημάτων. Για την επίλυση αυτού του προβλήματος, χρησιμοποιείται μια σχεδόν βέλτιστη άπληστη τεχνική, που προσθέτει επανειλημμένα πωλήσεις από τους πιο επικερδείς τύπους ερωτημάτων. Τέλος, ο Αναλυτής - Ερωτημάτων αναλαμβάνει να καθορίσει την τιμή της προσφοράς, το διαφημιστικό και τα όρια δαπανών που αναμένεται να οδηγήσουν σε ένα δεδομένο αριθμό πωλήσεων, χρησιμοποιώντας τη μέθοδο της γραμμικής παρεμβολής, ενώ υπολογίζει το αναμενόμενο κόστος και τα έσοδα από αυτές τις πωλήσεις. Φίλτρο δειγματοληψίας ακολουθιακής σημασίας για την πρόβλεψη των προσφορών Αντί για τους δύο προαναφερθέντες εκτιμητές προσφορών, η ομάδα του TacTex πρότεινε στο διαγωνισμό του 2010 τη χρήση ενός φίλτρου, όπου κάθε δείγμα p περιέχει την τρέχουσα εκτίμηση των προσφορών όλων των διαφημιστών καθώς και εκτιμήσεις από κάθε προηγούμενο χρονικό βήμα. Πριν τη λήψη της πρώτης 43

44 αναφοράς, λαμβάνεται ένα αρχικό σετ από δείγματα, που αντικατοπτρίζει μια πιθανή κατάταξη των προσφορών. Κάθε δείγμα, έχει αρχικό βάρος. Έπειτα, όταν λαμβάνεται μια αναφορά, για κάθε υπάρχον δείγμα γίνεται δειγματοληψία ενός καινούριου δείγματος και επαναϋπολογίζονται τα βάρη. Η δειγματοληψία και ο υπολογισμός των βαρών εξαρτώνται από την επιλογή της κατανομής εισήγησης με την οποία γίνεται η δειγματοληψία των καινούριων δειγμάτων. Στη στρατηγική αυτή, επιλέχθηκε η βέλτιστη κατανομή εισήγησης που οδηγεί σε βάρος. Η έκφραση αντιπροσωπεύει την πιθανότητα το δείγμα του προηγούμενου χρονικού βήματος να οδηγεί σε ένα νέο δείγμα που συνάδει με την αναφορά. Για τον υπολογισμό αυτής της πιθανότητας σημαντικό ρόλο παίζει η συνάρτηση πυκνότητας, η οποία για ένα δεδομένο δείγμα p δίνει την πιθανότητα της επόμενης προσφοράς x ενός διαφημιστή. Από αυτήν προκύπτει και η συνάρτηση πυκνότητας, η οποία αντιπροσωπεύει την πιθανότητα της επόμενης προσφοράς του διαφημιστή, γνωρίζοντας ότι οι προσφορές των διαφημιστών ανταποκρίνονται στην αναφορά. Για τη δειγματοληψία των καινούριων δειγμάτων, η δειγματοληψία των καινούριων προσφορών γίνεται από τις τιμές των, ώστε όλες οι προσφορές να ανταποκρίνονται στην αναφορά και το δείγμα που θα προκύψει να έχει πιθανότητα ίση με. Τέλος, για τη μοντελοποίηση της τεχνικής πρόβλεψης των προσφορών χρησιμοποιείται μια μέθοδος μηχανικής εκμάθησης. Για την προσέγγιση της μεθόδου, χρησιμοποιείται ένα μοντέλο που δέχεται ως εισόδους μια προσφορά και ένα σύνολο από χαρακτηριστικά που αντιπροσωπεύουν την τρέχουσα κατάσταση και δίνει ως έξοδο την πιθανότητα η τιμή της επόμενης προσφοράς του διαφημιστή να είναι μικρότερη ή ίση της τιμής. Αν η συνάρτηση συμβολίζει την έξοδο αυτού του μοντέλου τότε, για κάθε σετ διακριτών προσφορών, η συνάρτηση πυκνότητας δίνεται από τον τύπο: (3.3) όπου είναι ένας πολύ μικρός αριθμός και Ζ είναι ο παράγοντας κανονικοποίησης. Για την αξιολόγηση της αποδοτικότητας της παραπάνω μεθόδου κρίθηκε σκόπιμο να συγκριθεί η ακρίβεια της με άλλες μεθόδους εκτίμησης προσφορών. Τα αποτελέσματα έδειξαν ότι, το φίλτρο δειγματοληψίας ακολουθιακής σημασίας σε 44

45 συνδυασμό με την συνάρτηση πυκνότητας μηχανικής εκμάθησης παρουσιάζει τα μικρότερα λάθη προσφορών απ όλες τις άλλες μεθόδους QuakTAC Ο πράκτορας που σχεδιάστηκε με βάση αυτή τη λογική βασίστηκε στη θεωρία παιγνίων. Μεγαλύτερη προσοχή δόθηκε στη στρατηγική που θα ακολουθηθεί για τα πονταρίσματα και λιγότερη όσο αφορά τις επιλογές των διαφημίσεων. Συγκεκριμένα για αναζήτηση τύπου F0 επιλέγεται μια γενική διαφήμιση, για αναζήτηση τύπου F1 διαλέγουμε το προϊόν να ταιριάζει με τη λέξη κλειδί ενώ το κομμάτι που λείπει αντιστοιχίζεται με την ειδικότητα του διαφημιστή και τέλος στην F2 εμφανίζουμε το προϊόν της αναζήτησης. Το κύριο στοιχείο του πράκτορα αυτού είναι η σωστή επιλογή της στρατηγικής προσφορών και αυτού που αποφασίστηκε είναι να ακολουθηθεί μια προσομοιωμένη εκτίμηση ισορροπίας (simulation - based equilibrium estimate). Στην πράξη αυτό που προτάθηκε είναι μια γραμμική στρατηγική της μορφής b(u)=a*u όπου το u αντιστοιχεί στην αξία κάθε κλικ (value per click). Για την αποδοτικότερη λειτουργία του πράκτορα θεωρήθηκε επίσης ότι και οι άλλοι πράκτορες χρησιμοποιούν την ίδια πολιτική πονταρίσματος. Το πρόβλημα λοιπόν ήταν να υπολογισθεί το u. Αυτό γίνεται μέσω της σχέσης με το α να δηλώνει το διαφημιστή και το q τη λέξη κλειδί της αναζήτησης. Στη συνέχεια υπολογίζεται η πιθανότητα συναλλαγής (conversion) η οποία εξαρτάται από δύο παράγοντες: την κατανομή του πληθυσμού των χρηστών που προτίθενται να προχωρήσουν σε συναλλαγή, και των αγορών που έγιναν τις 5 προηγούμενες ημέρες. Για την εύρεση της κατανομής του πληθυσμού, χρησιμοποιήθηκε η προσομοίωση Monte Carlo σε 100 παιχνίδια. Από αυτά τα παιχνίδια, υπολογίστηκαν οι μέσες τιμές των επιθυμητών αναλογιών. Μεγάλο ρόλο στην απόδοση παίζει και η ικανότητα διανομής, η οποία υπολογίστηκε μέσω της σχέσης (3.5) με C να δηλώνει τη χωρητικότητα του διαφημιστή α και c τις πωλήσεις του διαφημιστή την ημέρα i. Τελικά η πιθανότητα αγοράς στην ουσία εκτιμάται με βάση τις πωλήσεις των προηγούμενων τριών ημερών. Τέλος το ποσοστό a της αξίας ανά κλικ, που θα ποντάρει τελικά ο πράκτορας, προκύπτει από μια απλή συμμετρική ισορροπία. Αρχικά δίνουμε την τιμή a=1 όμως 45

46 μετά από πειράματα που έγιναν βγήκε το συμπέρασμα ότι η επιλογή a=0.2 είναι η καλύτερη για κάθε είδους στρατηγική. Μια βελτίωση του πράκτορα θα ήταν αν για κάθε είδος αναζήτησης το a έπαιρνε και ξεχωριστή τιμή. Τελικά προκύπτει ότι όσο ο διαγωνισμός προχωράει, οι προβλέψεις της αξίας κάθε κλικ γίνονται όλο και πιο ακριβής Schlemazl Ο πράκτορας αυτός έχει δύο διαφορετικές υλοποιήσεις τις χρονιές 2009 και 2010 αντίστοιχα. Την πρώτη χρονιά προσπάθησε να λύσει το πρόβλημα βασιζόμενος σε κάποιες γνωστές τεχνικές πλειοδοσίας που βασίζονται στην εμπειρία αλλά και σε μία επιστημονικά αποδεδειγμένη βέλτιστη μέθοδο. Ο αλγόριθμος χρησιμοποιεί δύο μεταβλητές: την αξία / κλικ για κάθε διαφημιστή και κάθε αναζήτηση που ισούται με USP*Pr(Conversion), και το βάρος / θέση για κάθε αναζήτηση που ισούται με την πιθανότητα να κάνει ένας χρήστης κλικ σε κάποια θέση επί το κόστος ανά κλικ (CPC) για τη συγκεκριμένη θέση. Η βέλτιστη μέθοδος για τη λύση του προβλήματος είναι το Πολλαπλής Επιλογής Πρόβλημα Σακιδίου (Multiple - Choice Knapsack Problem, MCKP), το οποίο στη συγκεκριμένη περίπτωση απλοποιείται στο Πρόβλημα Σακιδίου (KP) με τα αντικείμενα να επιλέγονται σε μη αύξουσα σειρά των (αξία / κλικ) / (βάρος / θέση). Η πρώτη εμπειρική τεχνική πλειοδοσίας είναι η Εξίσωση Περιθωρίου Κέρδους. Αυτό που κάνει είναι να μετράει την απόδοση με βάση το περιθώριο κέρδους, ενώ ισχύει περιθώριο κέρδους=(κέρδος / έσοδα)=(αξία / κλικ) / (αξία / κλικ - CPC). Στη συνέχεια αν ο προϋπολογισμός δεν έχει εξαντληθεί τότε ορίζεται χαμηλότερο περιθώριο κέρδους και μεγαλύτερο ποσό προσφοράς, ενώ στην αντίθετη περίπτωση συμβαίνει το αντίστροφο. Επιπλέον χρησιμοποιείται άλλη μια εμπειρική τεχνική πλειοδοσίας, γνωστή ως Εξίσωση Κέρδους. Γνωρίζουμε ότι το κέρδος είναι μέγιστο όταν το οριακό κέρδος είναι μηδέν. Αυτό συμβαίνει όταν Όπου k ο στόχος του κέρδους, για κάθε διαφημιστή i και ερώτημα j, και προσφορά που πρέπει να γίνει. Και πάλι ισχύει ότι αν ο προϋπολογισμός δεν έχει εξαντληθεί τότε ορίζεται χαμηλότερο περιθώριο κέρδους και μεγαλύτερο ποσό προσφοράς, ενώ στην αντίθετη περίπτωση συμβαίνει το αντίστροφο. η 46

47 Στην πράξη αποδεικνύεται ότι η απόδοση των εμπειρικών τεχνικών είναι περίπου ίση με την απόδοση της βέλτιστης μεθόδου. Στη δεύτερη χρονιά το πρόβλημα αναλύθηκε σε ένα υποπρόβλημα μοντελοποίησης, το οποίο κάνει τις εκτιμήσεις των μεταβλητών και στο υποπρόβλημα βελτιστοποίησης, που παίρνει τις αποφάσεις με βάση τις εκτιμήσεις. Ο αλγόριθμος βελτιστοποίησης βασίζεται στις εξής εκτιμήσεις: Του προβλεπόμενου αριθμού των ιστοσελίδων αποτελεσμάτων για κάθε ερώτημα Της πιθανότητας να υπάρξει κλικ δεδομένης μιας ιστοσελίδας αποτελεσμάτων Της πιθανότητας να υπάρξει αγορά δεδομένου ενός κλικ Του μέσου CPC. Επιπλέον αυτή τη φορά δόθηκε μεγαλύτερη έμφαση στην ικανότητα διανομής του πράκτορα και μικρότερη στον προϋπολογισμό. Έτσι ορίζεται η αποδοτικότητα της επένδυσης profitq( bq) ROI, profitq ( bq ) revenue q ( bq ) cos tq ( bq ) sales ( b ) q q (3.7) Όπως και την προηγούμενη χρονιά για να μεγιστοποιηθεί το κέρδος θα πρέπει να εξισώνεται το οριακό ROI σε όλα τα ερωτήματα. Επειδή όμως οι εξισώσεις δεν είναι διαφορίσιμες τελικά χρησιμοποιείται ο αλγόριθμος PMCKP (Penalized MCKP) AstonTac Ο πράκτορας αποτελείται από τέσσερα στοιχεία: τη Βάση Γνώσεων, τον Εκτιμητή των Προσφορών, τον Επιλογέα Ερωτημάτων και τον Επιλογέα Διαφημιστικών. Βάση Γνώσεων: συλλέγει και οργανώνει τις πληροφορίες του παιχνιδιού και τις μετατρέπει σε κατάλληλη μορφή, ώστε να μπορούν να χρησιμοποιηθούν από τις υπόλοιπες 3 βαθμίδες. Συγκεκριμένα, διαχειρίζεται δύο κατηγορίες δεδομένων, τις στατικές πληροφορίες, όπως οι παράμετροι του παιχνιδιού και οι πληροφορίες αρχικοποίησης, και τις δυναμικές πληροφορίες, όπως είναι τα στοιχεία που προέρχονται από τις αναφορές του παιχνιδιού σε καθημερινή βάση. Εκτιμητής Προσφορών: υπολογίζει την προσφορά που θα κάνει ο πράκτορας. Χωρίζεται στη φάση 1 που αφορά τις μέρες 0,1 για τις οποίες 47

48 δεν έχουμε αναφορές και στη φάση 2 για τις υπόλοιπες μέρες. Και στις 2 φάσεις χρησιμοποιεί το πρότυπο Market - Based Value Per Click(MVPC) για κάθε ερώτημα, το οποίο αναφέρεται στα αναμενόμενα έσοδα από τις αγορές μειωμένα κατά το κόστος των κλικ. Στη φάση 1 έχουμε:, όπου η μεταβλητή είναι μια σταθερή τιμή στο διάστημα [0,1] και αντικατοπτρίζει το ποσοστό τους κέρδους στα έσοδα, ενώ η μεταβλητή αναφέρεται στα αναμενόμενα έσοδα από κάθε πώληση και υπολογίζεται από τον παρακάτω τύπο: (3.8) Επίσης η πιθανότητα αγοράς προκύπτει: = (3.9) Τελικά η προσφορά του πράκτορα προκύπτει ως ποσοστό της παραπάνω μεταβλητής. Το ποσοστό αυτό, εξαρτάται από τους παράγοντες και, οι οποίοι υπολογίζονται, λαμβάνοντας υπόψη, την αποδοτικότητα του ερωτήματος και τον αριθμό των ανεπηρέαστων πωλήσεων αντίστοιχα Ισχύει δηλαδή, Στη φάση 2 έχουμε (3.11) (3.12) 48

49 Η παράμετρος αναφέρεται στην περαιτέρω προσαρμογή της προσφοράς λόγω της ικανότητας διανομής, ενώ η παράμετρος υπολογίζεται, λαμβάνοντας υπόψη την παράμετρο κατάταξης των διαφημιστικών. Επιλογέας Ερωτημάτων: επιλέγει σε ποια ερωτήματα θα ποντάρει ο πράκτορας. Η επιλογή αυτή εξαρτάται από τις αναμενόμενες πωλήσεις, που μπορεί να αποφέρει κάθε ερώτημα - επιλέγονται μόνο τα ερωτήματα που θα φέρουν υψηλό κέρδος, καθώς και από το περιθώριο στην ικανότητα διανομής. Επιλογέας Διαφημιστικών: επιλέγει τον τύπο των διαφημίσεων (γενικευμένη ή στοχευμένη). Υιοθετήθηκε ο μηχανισμός που τοποθετεί γενικού περιεχομένου διαφημιστικό, όταν ούτε η συσκευή, ούτε ο κατασκευαστής συμπίπτουν με την εξειδίκευση του πράκτορα. Σε κάθε άλλη περίπτωση, επιλέγεται στοχευόμενο διαφημιστικό DNAgent Ο πράκτορας αυτός βασίστηκε στην τακτική της μηχανικής εκμάθησης, δηλαδή μάθαινε να κάνει προσφορές αυτόματα για μια πληθώρα καταστάσεων, μέσα από μια διαδικασία εκπαίδευσης, εκτός πραγματικού χρόνου παιχνιδιού, που προσομοίαζε την Δαρβινική Εξέλιξη. Σύμφωνα μ αυτή τη διαδικασία, οι ισχυρότεροι πράκτορες είχαν τις μεγαλύτερες πιθανότητες να προχωρήσουν στον επόμενο γύρο παιχνιδιού Epflagent Ο πράκτορας αυτός βασίζεται στις παρακάτω υπάρχουσες τεχνικές για τις δημοπρασίες ηλεκτρονικής διαφήμισης: Αποδοτικότητα της Επένδυσης(ROI): Κάθε μέρα όλες οι προσφορές ενός διαφημιστή καθορίζονται από μια παράμετρο Ri(t), η οποία προσαρμόζεται σύμφωνα με την απόδοση του διαφημιστή i την προηγούμενη μέρα. Αρχικά, η παράμετρος αυτή, παίρνει μια αυθαίρετη τιμή στο διάστημα (0,1]. Στη συνέχεια, ενημερώνεται σύμφωνα με τον παρακάτω κανόνα: όταν ο διαφημιστής φτάσει το όριο δαπανών πολύ γρήγορα την ημέρα t σε οποιαδήποτε άλλη περίπτωση 49

50 (3.13) όπου ε>0 ένας αυθαίρετος πολύ μικρός αριθμός. Τελικά η προσφορά που υποβάλλει ο διαφημιστής για κάθε λέξη κλειδί j, δίνεται από τον τύπο:, όπου u ij είναι η εκτίμηση του διαφημιστή i για την αξία της λέξης κλειδί j. Knapsack - ROI: Η στρατηγική αυτή απαιτεί τη γνώση της αξίας των θέσεων. Αν είναι το κόστος ανά κλικ της λέξης κλειδί j για τη θέση s j η στρατηγική αποσκοπεί στο να κρατήσει σταθερή την τιμή της παραμέτρου. O αλγόριθμος ψάχνει να βρει την ελάχιστη τιμή της παραμέτρου Ri για την οποία δεν θα ξεπεραστεί το όριο δαπανών. Κάθε ημέρα, ο αλγόριθμος παρακολουθεί το ποσό που ξοδεύτηκε. Αν ο διαφημιστής βγει εκτός προϋπολογισμού πριν το τέλος της ημέρας, ο αλγόριθμος ψάχνει εκείνη τη λέξη κλειδί για την οποία η παράμετρος είναι ελάχιστη και η θέση δεν είναι η χειρότερη, με σκοπό την επόμενη μέρα να προσφέρει τόσα χρήματα ώστε να εξασφαλίσει την αμέσως χαμηλότερη θέση s j +1 για τη συγκεκριμένη λέξη κλειδί. Αυτό μειώνει τα έξοδα αλλά αυξάνει την παράμετρο R i. Αν ο διαφημιστής είχε περιθώριο χρημάτων στο τέλος της ημέρας, ο αλγόριθμος ψάχνει τη λέξη κλειδί για την οποία η R i είναι μέγιστη και s j >0 και την επόμενη μέρα υποβάλει προσφορά για την αμέσως υψηλότερη θέση s j -1, γεγονός που αυξάνει τις δαπάνες. Ισορροπημένη Στρατηγική Καλύτερης Απόκρισης(ΒΒ): Στην στρατηγική αυτή ο διαφημιστής, γνωρίζοντας τις προσφορές των άλλων διαφημιστών, στοχεύει στη θέση την αξία της θέσης. για εκείνη τη λέξη κλειδί (j), η οποία μεγιστοποιεί (3.14) όπου είναι η πιθανότητα να γίνει κλικ στη θέση s, είναι η εκτίμηση της αξίας του κλικ για την λέξη κλειδί j και είναι το ποσό που πρέπει να πληρώσει ο διαφημιστής για να πάρει τη θέση s. διαλέγει την προσφορά για τον επόμενο γύρο πλειοδοσίας ώστε να ικανοποιείται η παρακάτω συνθήκη, (3.15) 50

51 Αν η s είναι η πρώτη θέση, τότε η προσφορά επιλέγεται να είναι (3.16) Online Knapsack: Επιλέγεται μια μικρή ποσότητα ε όπου ε>0 και ορίζεται η συνάρτηση όπου είναι η μέγιστη εκτίμηση για την αξία του κλικ που προέκυψε στον διαφημιστή από όλες τις λέξεις κλειδιά. Αν τη χρονική στιγμή t το ποσό που δαπανάται από έναν συγκεκριμένο διαφημιστή είναι και είναι το ποσό που πρέπει να προσφέρει ο διαφημιστής για να κερδίσει τη θέση s, τότε η επιλογή των θέσεων γίνεται σύμφωνα με τον παρακάτω κανόνα: (3.17) Ο διαφημιστής προσφέρει τελικά το ποσό για εκείνη τη θέση s, όπου 51 (3.18) Στρατηγική Αύξησης Κέρδους: Οι δύο πρώτες στρατηγικές που αναφέρθηκαν προσπαθούν να αυξήσουν τα έσοδα που έχει ένας διαφημιστής. Αν ένας διαφημιστής ξοδεύει κάθε φορά όλο το ποσό του προϋπολογισμού που έχει θέσει, αυτό θα ισοδυναμούσε με μεγιστοποίηση του κέρδους. Παρόλα αυτά, η εξάντληση του προϋπολογισμού δεν είναι πάντα επιθυμητή, καθώς η πρόωρη υπέρβαση του ορίου δαπανών οδηγεί στον αποκλεισμό των διαφημιστικών για το υπόλοιπο της ημέρας και συνεπώς, στη μείωση του κέρδους. Ο αλγόριθμος της συγκεκριμένης στρατηγικής προσπαθεί να μειώσει τις τιμές των προσφορών ώστε το ποσό του προϋπολογισμού να τελειώνει ακριβώς στο τέλος της ημέρας, αυξάνοντας έτσι τον αριθμό των κλικ. Σε περίπτωση που υπάρχουν πολλές λέξεις κλειδιά, οι προσφορές μειώνονται με έναν άπληστο αλγόριθμο. Για να συγκριθεί η αποδοτικότητα των παραπάνω στρατηγικών με μια θεωρητική βέλτιστη στρατηγική, στην οποία οι προσφορές όλων των πρακτόρων είναι γνωστές εκ των προτέρων, χρησιμοποιήθηκε η τεχνική του MCKP. Έτσι, παρατηρήθηκε ότι κάποιες από τις παραπάνω στρατηγικές αποδίδουν καλύτερα σε μικρά ποσά προϋπολογισμού και άλλες σε μεγάλα, ανάλογα πάντα και με το πόσες λέξεις κλειδιά υπάρχουν. Γενικά, οι στρατηγικές ROI και BΒ ήταν αυτές με τις καλύτερες επιδόσεις. Έτσι, ο σχεδιαστής του πράκτορα συνδυάζοντας τις παραπάνω γενικές τεχνικές εφάρμοσε μια νέα τεχνική μεγιστοποίησης του κέρδους λαμβάνοντας υπόψη

52 πολλές λέξεις κλειδιά και χαμηλό προϋπολογισμό. Τα πειράματα έδειξαν ότι η στρατηγική αυτή αποδίδει σε ποσοστό 90% σε σύγκριση με την βέλτιστη στρατηγική για χαμηλά ποσά προϋπολογισμού, ενώ έχει συγκρίσιμες αποδόσεις με τις στρατηγικές ROI και BΒ, όταν το όριο δαπανών είναι υψηλότερο. Τέλος, η συγκεκριμένη ομάδα προτείνει την μοντελοποίηση μιας άλλης στρατηγικής για το διαγωνισμό του Για το σχεδιασμό της στρατηγικής αυτής, δόθηκε ιδιαίτερο βάρος στην ικανότητα διανομής και στα ερωτήματα με εξειδίκευση κατασκευαστή. Σε αντίθεση με τις παραπάνω στρατηγικές, εδώ δεν ορίζονται όρια δαπανών, χρησιμοποιείται όλη η διαθέσιμη ποσότητα αγαθών και το κέρδος από κάθε πώληση είναι το ίδιο για κάθε λέξη κλειδί. Πιο συγκεκριμένα, για τον υπολογισμό του κέρδους ανά πώληση καθορίζονται τα επιθυμητά έσοδα ανά πώληση, υπολογίζεται η πιθανότητα αγοράς και το κόστος για τον διαφημιστή ορίζεται ακριβώς στο ποσό της προσφοράς του. Η διαθέσιμη ποσότητα αγαθών κατανέμεται ισομερώς σε κάθε ημέρα του παιχνιδιού. Έτσι, για κάθε ημέρα, εάν η ημερήσια ποσότητα αγαθών έχει ξεπεραστεί την προηγούμενη ημέρα, μειώνεται το ποσό της προσφοράς στην λιγότερο επικερδή λέξη κλειδί για την οποία εμφανίζονται κάποια διαφημιστικά. Σε αντίθετη περίπτωση, το ποσό της προσφοράς αυξάνεται στην πιο αποδοτική λέξη κλειδί, για την οποία όμως το διαφημιστικό δεν εμφανίζεται στην υψηλότερη θέση Tau Η στρατηγική της ομάδας αυτής βασίστηκε σε μια προσέγγιση μηχανικής εκμάθησης. Συγκεκριμένα, σχεδιάστηκε ένας αυτόνομος αλγόριθμος βασισμένος στην τεχνική regret minimization. Σύμφωνα με την τεχνική αυτή, ως παράγοντας regret ορίζεται η διαφορά του βέλτιστου κέρδους που θα μπορούσε να έχει ο πράκτορας, από το πραγματικό κέρδος, όπως αυτό προκύπτει από τις επιλογές του. Σκοπός είναι να μεγιστοποιηθεί το πραγματικό κέρδος, δηλαδή να μειωθεί ο παράγοντας regret. Για την επίτευξη του παραπάνω στόχου, κάθε ημέρα επιλέγεται μια κατανομή για τις πιθανές ενέργειες (επιλογή προσφοράς και διαφημιστικού, ορισμός ορίου δαπανών) που μπορεί να εκτελέσει ο πράκτορας. Η επιλογή της κατανομής γίνεται με τη χρήση της μεθόδου regret minimization. Η τελική επιλογή της ενέργειας του πράκτορα βασίζεται σ έναν άπληστο αλγόριθμο, όπου σε κάθε ενέργεια αντιστοιχίζονται τα κατάλληλα βάρη. Την επόμενη χρονιά ο Tau εμφανίστηκε βελτιωμένος. Συγκεκριμένα ακολούθησε το 52

53 παράδειγμα του TacTex και χρησιμοποίησε το Φίλτρο σωματιδίων για την πρόβλεψη της κατανομής των χρηστών. Ωστόσο προτίμησε να το συνδυάσει με έναν αλγόριθμο KNN προκειμένου να υπολογίσει την είσοδο του PF. Μια ακόμα βελτίωση αφορούσε στον υπολογισμό της καλύτερης προσφοράς. Η ιδέα αφορούσε τη μεγιστοποίηση της συνάρτησης (3.19) όπου U(m) είναι τα συνολικά κέρδη από τις πωλήσεις m προϊόντων, R είναι τα έσοδα από μία πώληση, b(m) είναι η προσφορά που οδηγεί στην πώληση m προϊόντων και CVR είναι ο ρυθμός πωλήσεων. Τελικά κατέλαβε την τρίτη θέση στο διαγωνισμό Mertacor Αποτελεί την προηγούμενη έκδοση του πράκτορα μας. Αποτελείτο από δύο διαφορετικές στρατηγικές όσο αφορά την υποβολή των προσφορών. Η πρώτη ορίζει σταθερό αριθμό ερωτημάτων προς διεκδίκηση κάθε μερα και για αυτό ονομάζεται Static Q, ενώ η δεύτερη αποφασίζει δυναμικά για το σε ποια ερωτήματα θα κάνει προσφορά (Dynamic Q). Η υλοποίηση της Static Q είχε ως βάση την τεχνική του πράκτορα Schlemazl. Συγκεκριμένα χρησιμοποιήθηκαν οι εξής 2 τύποι για την πρόβλεψη της προσφοράς: (3.21) (3.20) Στη συνέχεια επειδή διαπιστώθηκε ότι το κόστος ήταν πολύ μεγάλο αποφασίστηκε να μειωθούν τα ερωτήματα που γίνονταν προσφορές αρχικά σε 4, συγκεκριμένα στα ερωτήματα εξειδίκευσης του κατασκευαστή. Επιπλέον ορίστηκαν και δύο όρια που περιόριζαν το εύρος της προσφοράς, δηλαδή ορίστηκε ότι:, (3.22) Τελικά τα ερωτήματα χωρίστηκαν σε 3 ομάδες ανάλογα με την πιθανότητα απόδοσης κέρδους, καθώς προστέθηκαν και αυτά της εξειδίκευσης προϊόντος. Τέλος λήφθηκε υπόψη και η θέση που έπαιρνε ο πράκτορας στην κατάταξη των διαφημιστικών καθώς μια χαμηλή θέση περιόριζε την ικανότητα διανομής. 53

54 Επειδή όμως η στρατηγική αυτή δεν λάμβανε υπόψη τη δυναμική κατάσταση της αγοράς, θεωρήθηκε απαραίτητο να δημιουργία της Dynamic Q. Αρχικά η στρατηγική αυτή ορίζει ένα μέγιστο και ένα ελάχιστο αριθμό ερωτημάτων για τα οποία θα γίνουν προσφορές, καθώς και το είδος αυτών. Στη συνέχεια με βάση τις αναφορές του εκδότη και της τράπεζας υπολογίζεται πόσα και ποια ερωτήματα θα επιλεχθούν. Ρόλο στην επιλογή αυτή παίζουν το ποσοστό της ικανότητας διανομής που έχει απομείνει στον πράκτορα και η αναλογία συνολικού κέρδους προς συνολικό κόστος. 3.2 Συμπεράσματα Έχοντας αναλύσει τον τρόπο λειτουργίας των προηγούμενων πρακτόρων μπορούμε να καταλήξουμε σε κάποια χρήσιμα συμπεράσματα όσο αφορά στα σημεία τα οποία πρέπει να δώσουμε ιδιαίτερη προσοχή κατά την ανάπτυξη του δικού μας πράκτορα. Το πιο σημαντικό στοιχείο που βλέπουμε είναι ότι η πλειοψηφία των πρακτόρων χώρισαν το αρχικό πρόβλημα σε δύο ξεχωριστά υπό - προβλήματα. Το πρώτο έχει να κάνει με τη μοντελοποίηση, την εκτίμηση δηλαδή κάποιων άγνωστων παραμέτρων του παιχνιδιού με βάση διάφορες πληροφορίες που έπαιρναν. Για παράδειγμα κάποιοι προσπαθούν να εκτιμήσουν τις προσφορές των αντιπάλων πρακτόρων, άλλοι επιδιώκουν να βρουν κάποιες παραμέτρους του παιχνιδιού όπως το κτλ. Το δεύτερο υπό - πρόβλημα αναφέρεται στη βελτιστοποίηση, προσπαθεί δηλαδή ο πράκτορας να πάρει μια απόφαση σχετικά με τις μελλοντικές προσφορές βασιζόμενος στα αποτελέσματα της μοντελοποίησης. Για τη μοντελοποίηση προτιμήθηκαν κυρίως τεχνικές μηχανικής εκμάθησης, χρησιμοποιώντας έτοιμα εργαλεία ή εφαρμόζοντας γνωστές μεθόδους όπως Particle Filtering, Regret Minimization και άλλες. Συγκεκριμένα μετά την επιτυχία του πράκτορα TacTex στο διαγωνισμό οι περισσότεροι πράκτορες ακολούθησαν την μέθοδο του στον υπολογισμό της κατανομής των χρηστών κάθε μέρα, η οποία αφορούσε τη χρήση ενός Φίλτρου σωματιδίων. Αφού διαπιστώσαμε ότι και οι άλλοι πράκτορες παρουσίασαν βελτίωση στην απόδοση τους μέσω της μεθόδου αυτής, αποφασίσαμε να ακολουθήσουμε και εμείς το παράδειγμα τους. Οι μέθοδοι που χρησιμοποιήθηκαν για την αντιμετώπιση του υπό - προβλήματος βελτιστοποίησης περιλάμβαναν τη χρησιμοποίηση του παράγοντα ROI ή την εφαρμογή του αλγορίθμου MCKP. Μια άλλη ισχυρή μέθοδος υπολόγιζε τις 54

55 βέλτιστες προσφορές χρησιμοποιώντας γραμμική παρεμβολή, έχοντας προηγουμένως αντιστοιχίσει σε κάθε θέση την προσφορά που θα την κέρδιζε. Μια εξίσου σημαντική παρατήρηση είναι ότι ενώ στον πρώτο διαγωνισμό αυτό που απασχόλησε κυρίως όλες τις ομάδες ήταν πόσο θα έπρεπε να είναι το όριο δαπανών, στον επόμενο διαγωνισμό θεωρήθηκε περιττό να υπάρχει ένα τέτοιο όριο. Αντίθετα τη δεύτερη χρονιά δόθηκε μεγάλη σημασία στην ικανότητα διανομής των πρακτόρων, με τις ομάδες να προσπαθούν να βρουν ποιες προσφορές οδηγούν στην καλύτερη κατανομή των πωλήσεων. Αυτό που διαπιστώθηκε από όλους τους πράκτορες είναι το γεγονός πως τα προϊόντα εξειδίκευσης του κατασκευαστή κάθε διαφημιστή είναι αυτά που αποδίδουν περισσότερο. Επιπλέον διαπιστώσαμε ότι το θέμα της επιλογής των κατάλληλων διαφημιστικών δεν επηρεάζει ιδιαίτερα την απόδοση των πρακτόρων. Λαμβάνοντας υπόψη όλες αυτές τις παρατηρήσεις από τους προηγούμενους πράκτορες, καταφέραμε να φτιάξουμε έναν πράκτορα που είχε αντιμετωπίσει ήδη αρκετά από τα γνωστά προβλήματα του διαγωνισμού. 3.3 Σχετική Βιβλιογραφία Το 2011 διεξήχθη ένα συνέδριο που σχετίζεται με την ανάπτυξη και λειτουργία πρακτόρων λογισμικού, το TADA 2011 (Trading Agents and Design Analysis). Στα πλαίσια αυτού του συνεδρίου παρουσιάστηκαν και κάποιες έρευνες που σχετίζονται με τις τεχνικές που χρησιμοποιούν οι πράκτορες στο διαγωνισμό TAC / AA. Στη συνέχεια παρουσιάζουμε τα papers των ερευνών αυτών. Rank and Impression Estimation in a Stylized Model of Ad Auctions (40): Ο χώρος διαφήμισης στο διαδίκτυο μοιράζεται στους διαφημιζόμενους μέσα από δημοπρασίες που κάνουν οι διαφημιστές. Προκειμένου όμως ένας διαφημιζόμενος να κάνει την καλύτερη προσφορά ώστε να αποκτήσει την καλύτερη θέση προβολής είναι απαραίτητο να μπορεί να εκτιμήσει την τιμή κάποιων παραμέτρων (πχ πιθανότητα κλικ) έχοντας στη διάθεση του συνολικά μόνο δεδομένα (πχ μέση θέση των διαφημίσεων). Αυτό το πρόβλημα προσπαθεί να λύσει ο συγκεκριμένος πράκτορας μέσα από μια διαδικασία που αποκαλείται Rank and Impression Estimation (RIE). Δηλαδή προσπαθεί να εκτιμήσει την κατάταξη κάθε πλειοδότη καθώς και τον αριθμό των εμφανίσεων κάθε διαφήμισης στα αποτελέσματα μιας αναζήτησης (εντύπωση). Το περιβάλλον στο οποίο γίνεται η μελέτη είναι αυτό του διαγωνισμού TAC / AA, το οποίο αποτελεί μια βελτιωμένη εκδοχή του πραγματικού κόσμου. Αρχικά γίνεται η κατάταξη των πρακτόρων σε μια δομή καταρράκτη ανάλογα με τον αριθμό των εντυπώσεων που βλέπει ο καθένας σε κάθε θέση. Με 55

56 αυτόν τον τρόπο υπολογίζουμε τον αριθμό των εντυπώσεων που βλέπει ο πράκτορας j στη θέση k από τον τύπο: (3.23) Όπου Τj ο συνολικός αριθμός εντυπώσεων όλων των πρακτόρων j. Στη συνέχεια προσπαθεί να λύσει το πρόβλημα RIE, με άλλα λόγια ψάχνει τη λύση του: δεδομένων: (3.24) (3.25) Τρεις είναι οι τεχνικές που χρησιμοποιούνται: Integer Linear Programming (ILP): θεωρούμε τη σχέση (3.26) Και θέλουμε να πετύχουμε (3.27) Constraint Programming (CP): προσπαθεί να υπολογίσει το Ij,k μέσα από ένα δέντρο αναζήτησης Least Discrepancy Search: αρχικά κάνει μια υπόθεση για την κατάταξη των πρακτόρων και στη συνέχεια χρησιμοποιεί τον CP για να τη βελτιώσει. Προκειμένου να μετρηθεί η απόδοση του πράκτορα χρησιμοποιήθηκαν παλιά αρχεία του διαγωνισμού TAC / AA. Τελικά προέκυψε ότι ο CP είναι καλύτερος από τον ILP, αλλά όσο το χρονικό όριο μεγαλώνει η απόδοση του LDS ξεπερνάει αυτή του CP. Σημειώνεται πάντως ότι η ακρίβεια των προβλέψεων αυτών εξαρτάται σε μεγάλο βαθμό από τη συμπεριφορά πλειοδότησης του πράκτορα. 56

57 An Adaptive Proportional Value - per - Click Agent for Bidding in Ad Auctions (41): Η εργασία παρουσιάζει τον πράκτορα Mertacor ο οποίος πήρε μέρος στο διαγωνισμό TAC / AA 2010 καταλαμβάνοντας την τρίτη θέση. Ο πράκτορας αυτός έδωσε μεγαλύτερη βάση στην εκτίμηση της αξίας ανά κλικ (Value per Click). Η στρατηγική που ακολουθήθηκε βασίστηκε στον πράκτορα QuakTAC, ο οποίος πρότεινε ότι αν θεωρήσουμε υ την αξία ανά κλικ τότε ισχύει: (3.28) για ερώτημα q. Προκειμένου όμως να υπολογίσει την αξία ανά κλικ χρησιμοποίησε τις σχέσεις: (3.29) (3.30) όπου USP είναι το κέρδος από την πώληση μιας μονάδας και MSB το μπόνους ειδικότητας του κατασκευαστή. Επιπλέον όμως χρειαζόταν να γνωρίζει ο πράκτορας και την κατάσταση των χρηστών κάτι που προκύπτει από τη σχέση: (3.32) (3.31) Οι χρήστες μοντελοποιήθηκαν μέσα από μια αλυσίδα Markov. Αυτό που βελτίωσε ο Mertacor ήταν ο υπολογισμός της τελευταίας εξίσωσης γιατί μέχρι τώρα η τεχνική υπολογισμού του υποτιμούσε την αξία ενός κλικ. Όπως έχει αποδειχτεί μεγάλο ρόλο παίζει ο υπολογισμός του Id οπότε η στρατηγική που ακολουθήθηκε ήταν η εξής: προστίθενται οι αγορές των 3 τελευταίων ημερών και το του αθροίσματος αυτού, θεωρείται ο εκτιμώμενος αριθμός πωλήσεων για τις ημέρες και. Η τιμή αυτή είναι ελάχιστα μικρότερη από τη μέση τιμή, ώστε να εφαρμόζεται μια πιο συντηρητική στρατηγική. Παρόλα αυτά, όταν για τον πράκτορα ισχύει ο χαμηλός αριθμός ανεπηρέαστων πωλήσεων, τότε ο εκτιμώμενος αριθμός των πωλήσεων ισοδυναμεί με τη μέση τιμή του παραπάνω αθροίσματος. 57

58 Τέλος επιλέχθηκε η τιμή α=0.3. Όσο αφορά την επιλογή των διαφημίσεων προτιμήθηκαν γενικευμένες διαφημίσεις για τύπο χρηστών F0 ενώ για τους F1,F2 υπάρχουν στοχευόμενες. Σαν επιπλέον βελτίωση του πράκτορα αποφασίστηκε να χρησιμοποιηθεί ο αλγόριθμος k - Nearest - Neighbors ώστε να εκτιμηθεί η χωρητικότητα κάθε μέρας. A Bidding Agent for Advertisement Auctions: An Overview of the CrocodileAgent 2010 (42): Η εργασία παρουσιάζει τον πράκτορα CrocodileAgent που πήρε μέρος στο διαγωνισμό TAC / AA Ο διαγωνισμός αυτός προσομοιώνει το περιβάλλον της διαδικτυακής διαφήμισης στις μηχανές αναζήτησης. Ο συγκεκριμένος πράκτορας αποτελείται από τρία τμήματα: Γεννήτρια διαφήμισης: το κομμάτι αυτό επιλέγει τον τύπο της διαφήμισης που θα εμφανίζεται ανάλογα τον τύπο των χρηστών. Επιλέχθηκαν γενικευμένες διαφημίσεις για τους χρήστες F0, F1 και στοχευόμενες για F2. Γεννήτρια κόστους ανά κλικ (CPC): το κομμάτι αυτό υπολογίζει το κόστος ανά κλικ που συμφέρει τον πράκτορα ώστε να έχει μέγιστα κέρδη. Το κόστος ανά κλικ υπολογίστηκε βασιζόμενο στο ρυθμό συναλλαγής (πιθανότητα η διαφήμιση να οδηγήσει σε αγορά). Γεννήτρια ορίου εξόδων: μεγάλος αριθμός συναλλαγών οδηγεί σε μείωση των συναλλαγών στο μέλλον λόγω μείωσης των προϊόντων στα αποθέματα. Έτσι στο σημείο αυτό τίθεται ένα όριο. Ένα όριο τίθεται και στις δαπάνες ώστε να εξασφαλιστεί ότι θα υπάρχουν πιθανότητες κάποιο κλικ να οδηγήσει σε συναλλαγή. Τελικά στο διαγωνισμό ο πράκτορας κατέλαβε την έκτη θέση. Δύο πράγματα χρειάζονται να βελτιωθούν ώστε να αυξηθεί η απόδοση του: Να αλλάξει η στρατηγική κέρδους που ακολουθείται στα παιχνίδια μεσαίας και υψηλής χωρητικότητας. Κάποια κέρδη από τα ερωτήματα τύπου F2 πρέπει να αναδιανεμηθούν σε αυτά τύπου F1. Δηλαδή να αλλάξει η πολιτική επιλογής των διαφημίσεων. 58

59 Κεφάλαιο 4 Mertacor Γενική Παρουσίαση Στο κεφάλαιο αυτό γίνεται η παρουσίαση του πράκτορα Mertacor που σχεδιάστηκε για τη συμμετοχή στο διαγωνισμό TAC / AA Ο πράκτορας δέχεται μηνύματα από τον server και με βάση τα στοιχεία αυτά αλλά και τα δεδομένα από τα report της προηγούμενης μέρας υπολογίζει την καλύτερη προσφορά που θα κάνει για κάθε προϊόν. Βασικό στοιχείο της φετινής υλοποίησης ήταν η χρησιμοποίηση του αλγορίθμου του Φίλτρου Σωματιδίων, ο οποίος αναλύεται σε επόμενη παράγραφο, προκειμένου να προβλέψουμε την κατανομή του πληθυσμού των χρηστών. Η μελέτη και υλοποίηση του αλγορίθμου αυτού ήταν που έδωσε τη μεγαλύτερη ώθηση στον πράκτορα μας αλλά και χρειάστηκε αρκετούς μήνες για την υλοποίηση του. Στη συνέχεια το πρόβλημα που μας απασχόλησε ήταν να καταφέρουμε να περιορίσουμε το budget που ξοδεύει ο Mertacor, ώστε να μην σπαταλάει πολλά λεφτά και προκύπτει αρνητικό πρόσημο στα τελικά έσοδα. Προκειμένου να υπολογίσουμε το budget που θα δίναμε κάθε μέρα στον πράκτορα ώστε να κάνει τις προσφορές, χρησιμοποιήσαμε την τεχνική Monte Carlo. Με αυτόν τον τρόπο θέσαμε ένα άνω όριο στις καθημερινές δαπάνες του πράκτορα. Μετά έπρεπε να βρούμε έναν ικανοποιητικό τρόπο ώστε να υπολογίζουμε ακριβέστερα, σε σχέση με την προηγούμενη έκδοση του πράκτορα, την παράμετρο Id. Ακολουθώντας τη βιβλιογραφία και κοιτώντας και τους ανταγωνιστές πράκτορες καταλήξαμε στη χρήση ενός απλού αλγορίθμου ο οποίος παρουσιάζεται σε επόμενο υποκεφάλαιο. Τέλος έπρεπε να αποφασίσουμε και στη μορφή της συνάρτησης που θα υπολόγιζε τις προσφορές του πράκτορα σε κάθε προϊόν. Προτιμήθηκε να χρησιμοποιήσουμε την ίδια συνάρτηση με την προηγούμενη υλοποίηση του πράκτορα, η οποία ήταν της μορφής bid=α*vpc (4.1) 59

60 Η βελτίωση ωστόσο που υπήρξε αφορούσε στο να υπολογίσουμε ακριβέστερα την τιμή του α χρησιμοποιώντας τα logs του περσινού διαγωνισμού, κάτι το οποίο επιτεύχθηκε με τη χρήση του LogParser. Να σημειώσουμε επίσης ότι για την επιλογή των διαφημιστικών χρησιμοποιήσαμε την υπάρχουσα συνάρτηση από τις προηγούμενες εκδόσεις του πράκτορα. Με βάση αυτή για το ερώτημα τύπου F0 επιλέγεται γενικού περιεχομένου διαφημιστικό, ενώ για όλα τα υπόλοιπα στοχευόμενο. Για τα ερωτήματα τύπου F1, στη θέση του στοιχείου που λείπει θεωρείται το στοιχείο εξειδίκευσης του πράκτορα, ενώ για τα ερωτήματα τύπου F2 επιλέγεται το αντίστοιχο διαφημιστικό. Αξίζει να αναφέρουμε και την ύπαρξη μιας Registry στην οποία αποθηκεύονται στοιχεία όπως ο αριθμός των κλικ, ο αριθμός των impressions, ο αριθμός των conversions, κα για κάθε μέρα και προϊόν. Στη συνέχεια αναλύουμε τις στρατηγικές που χρησιμοποιήθηκαν για τον υπολογισμό σημαντικών παραμέτρων της λειτουργίας του Mertacor Φίλτρο Σωματιδίων Ανήκει στις μη παραμετρικές υλοποιήσεις του φίλτρου Bayes. Είναι το βασικό φίλτρο που χρησιμοποιούμε όταν έχουμε μη γραμμική, μη Γκαουσιανή συνάρτηση πυκνότητας πιθανότητας. Το φίλτρο αυτό μας επιτρέπει να διαλέξουμε ανάμεσα στην καλύτερη υπολογιστική απόδοση ή στην καλύτερη εκτίμηση. Στη συνέχεια περιγράφεται η φύση αυτού του αλγορίθμου αναλυτικότερα. Η βασική ιδέα στην οποία στηρίζεται ο αλγόριθμος Φίλτρου Σωματιδίων είναι η χρησιμοποίηση δειγμάτων - σωματιδίων (particles) για την αναπαράσταση του μοντέλου του συστήματος, αντί για τη χρήση Γκαουσιανών κατανομών ή οποιουδήποτε άλλου μοντέλου, και η διάδοση των επικρατέστερων μόνο δειγμάτων. Το πλεονέκτημα της μεθόδου αυτής είναι ότι μπορεί να χειρίζεται οποιαδήποτε μη γραμμικότητα και οποιαδήποτε κατανομή θορύβου. Έτσι όσο πιο μη γραμμικό είναι το μοντέλο ή όσο πιο μη Γκαουσιανός ο θόρυβος, τόσο μεγαλύτερες δυνατότητες έχει ο αλγόριθμος. Ο αλγόριθμος PF είναι στην ουσία μια αξιόλογη εναλλακτική λύση για τις εφαρμογές πραγματικού χρόνου που παραδοσιακά προσεγγίζονται από μοντέλα βασισμένα σε τεχνικές φίλτρων Kalman. Σημαντικό πλεονέκτημα του αλγορίθμου είναι η δυνατότητα προσαρμογής του αριθμού των παραμέτρων ανάλογα με την πολυπλοκότητα της επόμενης 60

61 κατάστασης. Δηλαδή όσο πιο πολύπλοκη είναι η κατάσταση τόσες περισσότεροι παράμετροι μπορούν να χρησιμοποιηθούν. Αξίζει να αναφέρουμε ότι υπάρχει ένας βασικός αλγόριθμος (SIS) και επιπλέον διάφορες παραλλαγές και επεκτάσεις του, οι οποίες είτε βελτιώνουν κάποιες αδυναμίες του βασικού αλγόριθμου, είτε χρησιμοποιούνται για την επίλυση συγκεκριμένων προβλημάτων. Εμείς θα αναφερθούμε και στον βασικό αλλά και σε κάποιες ενδιαφέρουσες παραλλαγές. Ας δούμε τώρα τα γενικά βήματα που ακολουθεί ο PF: Αρχικά τοποθετούνται Np δείγματα στο χώρο κατάστασης (state - space) του συστήματος. Στη συνέχεια αναθέτονται βάρη στα δείγματα αυτά με βάση τις παρατηρήσεις (μετρήσεις) που γίνονται διαθέσιμες για το σύστημα. Ακολουθεί η Επαναδειγματοληψία (Resampling) της κατανομής. Δίνεται μεγαλύτερη σημασία στα δείγματα που έχουν μεγαλύτερο βάρος, ενώ αυτά με μικρότερα βάρη ακυρώνονται. Τέλος εξελίσσονται τα δείγματα. Η διαδικασία αυτή από το δεύτερο βήμα και μετά επαναλαμβάνεται. Στην παρακάτω εικόνα βλέπουμε τη διαδικασία που μόλις περιγράψαμε: 61 Εικόνα 4.1 Διάγραμμα βημάτων PF Με άλλα λόγια, χρησιμοποιούνται πολλαπλά αντίγραφα της μεταβλητής ενδιαφέροντος, καθένα από τα οποία σχετίζεται με ένα βάρος που υποδεικνύει την

62 ποιότητα του συγκεκριμένου δείγματος. Τελικά προκύπτει μια εκτίμηση της μεταβλητής ενδιαφέροντος από το ζυγισμένο άθροισμα όλων των δειγμάτων. Ο αλγόριθμος PF ακολουθεί τον κανόνα Bayes οπότε η δράση του μπορεί να χωριστεί στα ακόλουθα δύο στάδια: Πρόβλεψη: μετά από κάθε μεταβολή της κατάστασης κάθε σωματίδιο τροποποιείται σύμφωνα με το υπάρχον μοντέλο. Ανανέωση: το βάρος κάθε σωματιδίου επανεκτιμάται σύμφωνα με τις τελευταίες διαθέσιμες πληροφορίες από την είσοδο. Έτσι καταλήγουμε να εκτιμήσουμε την εκ των υστέρων πιθανότητα πυκνότητας που περιγράφει την κατάσταση του συστήματος. Εικόνα 4.2 Η εκ των υστέρων συνάρτηση κατανομής συναρτήσει των σωματιδίων, του χρόνου και των βαρών 62

63 Αλγόριθμος 4.1 Ο Γενικός αλγόριθμος του PF σε ψευδοκώδικα Βασική Υλοποίηση - SIS Ο βασικός αλγόριθμος που υλοποιεί το Φίλτρο Σωματιδίων είναι ο Sequential Importance Sampling (SIS). Στη βιβλιογραφία συχνά αναφέρεται και ως bootstrap filtering, αλγόριθμος condensation, Particle Filtering ή survival of the fittest. Αποτελεί μια μέθοδο Monte Carlo καθώς στηρίζεται στη δειγματοληψία προκειμένου να εκτιμήσει την λύση ενός προβλήματος. Αυτό που κάνει είναι να αναπαριστά την απαιτούμενη εκ των υστέρων συνάρτηση πυκνότητας (posterior density function) με ένα σύνολο τυχαίων δειγμάτων με αντίστοιχα βάρη και στη συνέχεια να υπολογίζει την εκτίμηση της επόμενης κατάστασης βασιζόμενος στα δείγματα και τα βάρη τους. Αν πάρουμε έναν μεγάλο αριθμό δειγμάτων τότε μπορούμε να αναπαραστήσουμε τη συνήθη περιγραφή της εκ των υστέρων συνάρτησης πυκνότητας και άρα να προσεγγίσουμε τη βέλτιστη Bayesian εκτίμηση. Για να υλοποιήσουμε τον αλγόριθμο SIS θεωρούμε γνωστά: 63 i x 0:k,i=0,,Ns ένα σύνολο σημείων στήριξης

64 i w k, i=1,,ns τα αντίστοιχα βάρη x,j=0,,k το σύνολο των καταστάσεων μέχρι τη στιγμή k 0: k x j i Στη συνέχεια παίρνουμε τα δείγματα x k i=1,,ns από τη συνάρτηση πυκνότητας σπουδαιότητας (importance density function) q( xk x : k 1, z1 : 0 k ) (4.2) Τα βάρη έχει υπολογιστεί ότι προκύπτουν από τη σχέση (4.3) Τελικά υπολογίζουμε την εκ των υστέρων πυκνότητα από τη σχέση (4.4) Συνοπτικά τα βήματα αυτά υλοποιούνται στον παρακάτω αλγόριθμο: Αλγόριθμος 4.2 Ο αλγόριθμος SIS Προβλήματα και Λύσεις Στη συνέχεια θα περιγράψουμε μερικά προβλήματα που σχετίζονται με τη χρήση του SIS καθώς και με ποιούς τρόπους αυτά λύνονται Εκφυλισμός Το βασικότερο πρόβλημα που προκύπτει από τη χρήση του SIS είναι ο εκφυλισμός. Το πρόβλημα είναι ότι μετά από μερικές επαναλήψεις όλα τα δείγματα εκτός από ένα θα έχουν αμελητέο βάρος. Αυτό συμβαίνει γιατί η διακύμανση των βαρών των σωματιδίων αυξάνεται συνεχώς. Έτσι καταλήγουμε να αφιερώνεται πολύς 64

65 υπολογιστικός χρόνος στην ενημέρωση των δειγμάτων, των οποίων η συμβολή στην προσέγγιση της εκ των υστέρων πυκνότητας είναι μηδενική. Ένα μέτρο του εκφυλισμού αποτελεί το μέγεθος των αποτελεσματικών δειγμάτων Neff, όπου Η μεταβλητή (4.5) i w * ονομάζεται πραγματικό βάρος και δίνεται από τη σχέση k (4.6) Επειδή όμως το Neff είναι δύσκολο να υπολογισθεί στην πράξη, για αυτό προτιμάμε μια προσέγγιση του: (4.7) (4.8) Μια μικρή τιμή στην προσέγγιση του Neff δηλώνει ισχυρό εκφυλισμό και άρα μη αξιόπιστες εκτιμήσεις. Ευτυχώς υπάρχουν δύο μέθοδοι που λύνουν το πρόβλημα αυτό. Η καλή επιλογή της συνάρτησης πυκνότητας σπουδαιότητας και η Επαναδειγματοληψία (Resampling) Καλή επιλογή της συνάρτησης πυκνότητας σπουδαιότητας i Επιλέγουμε τη συνάρτηση πυκνότητας σπουδαιότητας q( xk xk 1, zk ) k ελαχιστοποιεί τη var( w i ) και άρα να μεγιστοποιεί το Neff. τέτοια ώστε να Έχει αποδειχτεί ότι η συνάρτηση αυτή είναι η: (4.9) Σε αυτήν την περίπτωση τα βάρη προκύπτουν από τη σχέση: (4.10) 65

66 Το πρόβλημα όμως με αυτή τη μεθοδολογία είναι ότι η δειγματοληψία από τη σχέση και η εκτίμηση του ολοκληρώματος για τα βάρη στη νέα κατάσταση δεν είναι πάντα εφικτή. Εφικτή είναι μόνο όταν: x k το είναι μέλος ενός πεπερασμένου συνόλου η είναι Gaussian. Μια πρόταση σε αυτήν την περίπτωση θα ήταν να επιλέξουμε (4.11) οπότε και τα βάρη θα προέκυπταν (4.12) Επαναδειγματοληψία Μία άλλη συνηθέστερη λύση στο πρόβλημα του εκφυλισμού είναι το Επαναδειγματοληψία. Σύμφωνα με τη μέθοδο αυτή αποβάλλονται τα δείγματα που έχουν μικρά βάρη και δίνεται περισσότερη σημασία στα δείγματα με μεγάλα βάρη. Επαναδειγματοληψία γίνεται μόνο όταν η διακύμανση των μη κανονικοποιημένων βαρών είναι κατώτερη από ένα προκαθορισμένο όριο. Δηλαδή όταν. Σε αυτήν την περίπτωση παράγεται ένα καινούργιο σύνολο Ns φορές την συνάρτηση * i x Ns k i 1 (4.13) δειγματοληπτώντας Παρακάτω έχουμε δύο σχήματα που περιγράφουν την πορεία της Επαναδειγματοληψίας: 66

67 Εικόνα 4.3 Διάγραμμα Βαρών Εικόνα 4.4 Εξέλιξη Βαρών Η τεχνική της Επαναδειγματοληψίας υλοποιείται από διάφορες τεχνικές. Εμείς θα δούμε τη βασική, γνωστή ως Δειγματοληψία Χαμηλής Διακύμανσης (Systematic Resampling). Αποτελεί τη πιο συχνή επιλογή για Επαναδειγματοληψία καθότι ελαχιστοποιεί τη διακύμανση, ενώ ταυτόχρονα έχει μικρή πολυπλοκότητα (Ο(Ns)). Τα βήματα για την υλοποίηση του αλγορίθμου είναι: Θεωρούμε τυχαία μέτρηση σωματιδίων και βαρών τη στιγμή t: (4.14) Δειγματοληπτούμε με βάση την ομοιόμορφη κατανομή U[a,b]: (4.15) 67

68 Ορίζουμε το δείκτη : i k Διαλέγουμε τα νέα δείγματα με βάση το νέο δείκτη : (4.17) (4.18) i k (4.16) Παράγουμε την καινούργια μέτρηση (resample): (4.19) Ακολουθεί η υλοποίηση του σε μορφή ψευδοκώδικα: Αλγόριθμος 4.3 Ο αλγόριθμος του Systematic Resampling Όπου CDF είναι η αθροιστική συνάρτηση πιθανότητας. Η μεθοδολογία της Επαναδειγματοληψίας όμως παρουσιάζει και αυτή τα προβλήματα της. Καταρχάς χάνεται η ποικιλία στον πληθυσμό των σωματιδίων αφού τα δείγματα με μεγάλα βάρη επιλέγονται πολλές φορές. Επιπλέον εισάγεται το σφάλμα προσέγγισης. Αυτό σημαίνει ότι ενώ η διακύμανση του ίδιου του συνόλου σωματιδίων μειώνεται, εν τούτοις η διακύμανση του ως εκτιμητή της πραγματικής κατάστασης αυξάνεται. Τέλος με την Επαναδειγματοληψία περιορίζεται η δυνατότητα παραλληλοποίησης καθώς όλα τα δείγματα πρέπει να συνδυάζονται. 68

69 Ευτυχώς έχουν προταθεί κάποιες λύσεις για τα προβλήματα αυτά. Η μία προβλέπει να μειωθεί η συχνότητα που γίνεται Επαναδειγματοληψία. Δεν πρέπει να ξεχνάμε όμως ότι η αυξημένη συχνότητα αυξάνει τον κίνδυνο να χαθεί η ποικιλία, ενώ η μειωμένη οδηγεί στην απώλεια δειγμάτων. Η άλλη λύση προτείνει αντί για ανεξάρτητη επιλογή των δειγμάτων στο βήμα της Επαναδειγματοληψίας, η επιλογή να περιλαμβάνει μια ακολουθιακή στοχαστική διαδικασία. Συγκεκριμένα υπολογίζει έναν τυχαίο αριθμό και επιλέγει δείγματα σύμφωνα με αυτόν τον αριθμό, αλλά συγχρόνως με πιθανότητα ανάλογη του βάρους του δείγματος. Στην πράξη, αρχικά επιλέγει έναν τυχαίο αριθμό r στο διάστημα [0;Μ - 1], όπου Μ είναι ο αριθμός των δειγμάτων την χρονική στιγμή t. Στη συνέχεια επιλέγει σωματίδια προσθέτοντας επαναλαμβανόμενα τη σταθερή ποσότητα Μ - 1 στο r και επιλέγοντας το σωματίδιο που αντιστοιχεί στον τελικό αριθμό Περιορισμένη Υπολογιστική Ισχύς Βασική προϋπόθεση για τη λειτουργία του φίλτρου είναι και τα Νs δείγματα να μπορούν να ανανεωθούν πριν ληφθούν νέες πληροφορίες. Ωστόσο υπάρχει η πιθανότητα να μην έχει προλάβει να γίνει η ανανέωση. Στην περίπτωση αυτή μπορούμε να απορρίψουμε τις παρατηρήσεις που φτάνουν στη διάρκεια της ανανέωσης. Αυτό όμως σημαίνει ότι μπορεί να χαθεί πολύτιμη πληροφορία. Μια άλλη λύση είναι να αθροιστούν πολλαπλές παρατηρήσεις σε μία και στη συνέχεια να ολοκληρωθεί αυτή η παρατήρηση. Τώρα όμως υπάρχει το ενδεχόμενο να μην μπορούν να αθροιστούν βέλτιστα οι παρατηρήσεις ή η ολοκλήρωση της αθροιστικής παρατήρησης να μην μπορεί να γίνει το ίδιο αποτελεσματικά με τις ανεξάρτητες. Τέλος μια ακόμη λύση που προτείνεται είναι να σταματήσει η παραγωγή νέων δειγμάτων κάθε φορά που γίνεται μια παρατήρηση. Υφίσταται όμως ο κίνδυνος να έχουμε ανεπαρκή αριθμό δειγμάτων Επίδραση του αριθμού των σωματιδίων Ο αριθμός των σωματιδίων είναι πολύ σημαντικός για την απόδοση του φίλτρου. Απαιτούνται πολλά δείγματα για να διατηρηθεί μια ικανοποιητική αναπαράσταση. Από την άλλη όμως ο αριθμός των σωματιδίων και ο ρυθμός επεξεργασίας τους επηρεάζουν άμεσα την πολυπλοκότητα του υλικού. Αν θέλουμε να έχουμε αποδοτικές υλοποιήσεις υλικού σε εφαρμογές παρακολούθησης, τότε είναι 69

70 Χρήση Τεχνικών Υπολογιστικής Νοημοσύνης για τη Σχεδίαση και Ανάπτυξη επιτακτική η ανάγκη χρήσης όσο το δυνατόν λιγότερων σωματιδίων κάθε στιγμή. Τέλος μεγάλο ρόλο στην απόδοση παίζει και ο ρυθμός λήψης νέων δειγμάτων. Κλείνοντας θα παρουσιάσουμε τον αλγόριθμο SIS μαζί με Επαναδειγματοληψία σε μορφή ψευδοκώδικα: Αλγόριθμος 4.4 Υλοποίηση του SIS με Επαναδειγματοληψία Παραλλαγές του PF Πέρα από τη βασική υλοποίηση του PF, τον αλγόριθμο SIS δηλαδή, υπάρχουν και άλλες υλοποιήσεις οι οποίες είτε λύνουν κάποια από τα προβλήματα που προαναφέραμε είτε στοχεύουν στην επίλυση συγκεκριμένων προβλημάτων. Στο κεφάλαιο αυτό θα δούμε μερικές από αυτές SIR Τα αρχικά του προέρχονται από τον τίτλο Sampling Importance Resampling. Είναι ένας παρόμοιος αλγόριθμος με τον SIS μόνο που χρησιμοποιεί σα συνάρτηση σπουδαιότητας πυκνότητας την εκ των προτέρων συνάρτηση πυκνότητας. Βασικό του στοιχείο είναι ότι εκτελεί Επαναδειγματοληψία σε κάθε χρονική στιγμή. Στα πλεονεκτήματα του συγκαταλέγονται η εύκολη αξιολόγηση των βαρών καθώς και η εύκολη δειγματοληψία της συνάρτησης πυκνότητας. Από την άλλη παρουσιάζει γρήγορη μείωση της ποικιλίας των σωματιδίων λόγω της συχνής Επαναδειγματοληψίας, ενώ στις ακραίες τιμές 70

71 παρουσιάζει και μειωμένη αποδοτικότητα. συνηθισμένη στη χρήση. Αυτή η παραλλαγή είναι η πιο Στην εικόνα βλέπουμε τον αλγόριθμο σε μορφή ψευδοκώδικα: Αλγόριθμος 4.5 Ο αλγόριθμος SIR Ακολουθεί η απεικόνιση των βημάτων σε μορφή διαγράμματος: Εικόνα 4.5 Διαγραμματική απεικόνιση του SIR 71

72 ASIR Γνωστός ως Auxiliary Sampling Importance Resampling. Αυτό που κάνει είναι να χρησιμοποιεί ως συνάρτηση σπουδαιότητας την (4.20) η οποία δειγματοληπτεί το ζεύγος. Ως ορίζουμε το δείκτη του σωματιδίου τη χρονική στιγμή k - 1 όπως αυτός υπολογίζεται στον αλγόριθμου της Δειγματοληψίας Χαμηλής Διακύμανσης. Η παραλλαγή αυτή βελτιώνει την απόδοση του SIR στις ακραίες τιμές. Αυτό το πετυχαίνει ακολουθώντας τη λογική της Επαναδειγματοληψίας στη προηγούμενη χρονική στιγμή. Δηλαδή ευνοεί τα σωματίδια στη χρονική στιγμή t - 1, τα οποία είναι πιθανόν να επιβιώσουν στην επόμενη στιγμή t της Επαναδειγματοληψίας. Τα πλεονεκτήματα του είναι καταρχάς ότι παράγει δείγματα από την κατάσταση k - 1, τα οποία βρίσκονται πιο κοντά στην πραγματική κατάσταση. Επιπλέον όταν έχουμε χαμηλό θόρυβο τότε τα βάρη είναι πιο ισορροπημένα και άρα παρουσιάζει καλύτερη απόδοση σε αυτήν την περίπτωση από τον SIR. Από την άλλη όταν ο θόρυβος στη συνάρτηση είναι υψηλός τότε η απόδοση του αλγορίθμου αυτού πέφτει. Ας δούμε τα βήματα του ASIR σε μορφή ψευδοκώδικα: 72

73 RPF Αλγόριθμος 4.6 Ο αλγόριθμος ASIR Ή αλλιώς Regularized Particle Filtering. Ο αλγόριθμος αυτός προσπαθεί να λύσει το πρόβλημα της μείωσης της ποικιλίας του πληθυσμού των σωματιδίων λόγω της Επαναδειγματοληψίας. Ο αλγόριθμος αυτός προτιμάται σε περιπτώσεις που ο θόρυβος έχει πολύ μικρή τιμή. O αλγόριθμος του RPF περιγράφεται από τα βήματα: Αλγόριθμος 4.7 Ο αλγόριθμος RPF Likelihood PF Μέχρι τώρα συνηθίζαμε να παίρνουμε τα δείγματα από το μοντέλο του συστήματος και στη συνέχεια να τους αποδίδουμε βάρη με βάση την πιθανότητα κάθε σωματιδίου. Στον αλγόριθμο αυτό ακολουθούμε την αντίστροφη πορεία. Δηλαδή, δειγματοληπτούμε με βάση τις πιθανότητες και αποδίδουμε τα βάρη στηριζόμενοι στην εξέλιξη της κατάστασης στο χρόνο. 73

74 Χρήση Τεχνικών Υπολογιστικής Νοημοσύνης για τη Σχεδίαση και Ανάπτυξη Για να αντιληφθούμε καλύτερα τη μεθοδολογία μπορούμε να δούμε τον αλγόριθμο σε μορφή ψευδοκώδικα: Αλγόριθμος 4.8 Ο αλγόριθμος LPF Σύγκριση αλγορίθμων του PF Σε αυτό το παράδειγμα θα λύσουμε ένα πρόβλημα με τη χρήση κάποιων από τους προηγούμενους αλγόριθμους και θα συγκρίνουμε την απόδοση τους. Θεωρούμε τις συναρτήσεις (4.21) (4.22) Έστω Qk 1 10 v2, Rk 1 n2, αριθμός σωματιδίων=50. Στις εικόνες που ακολουθούν φαίνεται η πραγματική κατάσταση του xk και στη συνέχεια οι εκτιμήσεις από τη χρήση διάφορων φίλτρων. 74

75 Εικόνα 4.8 Σύγκριση Αλγορίθμων PF Για να αντιληφθούμε καλύτερα τα αποτελέσματα υπολογίσαμε το μέσο τετραγωνικό σφάλμα για την εκτίμηση κάθε αλγορίθμου. Τα αποτελέσματα φαίνονται στον πίνακα: Πίνακας 4.1 Σύγκριση Αλγορίθμων PF Παρατηρούμε ότι οι αλγόριθμοι PF παρουσιάζουν μεγάλη βελτίωση σε σχέση με τον EKF και τον Approximate grid - based Filter. Ανάμεσα στις διάφορες παραλλαγές του PF η διαφορά δεν είναι ιδιαίτερα σημαντική στο παράδειγμα μας Χρήση του PF Ο αλγόριθμος PF χρησιμοποιείται κυρίως σε συγκεκριμένες εφαρμογές αν και το πεδίο εφαρμογής του συνέχεια επεκτείνεται. Κατά κόρων χρησιμοποιείται στο 75

76 2 Χρήση Τεχνικών Υπολογιστικής Νοημοσύνης για τη Σχεδίαση και Ανάπτυξη πρόβλημα της Εκτίμησης Θέσης (Positioning), όπου το θέμα είναι ο προσδιορισμός της θέσης κάποιου αντικειμένου. Πρόκειται μάλλον για ένα πρόβλημα φιλτραρίσματος παρά ένα στατικό πρόβλημα εκτίμησης, όταν χρησιμοποιείται ένα σύστημα πλοήγησης για να παρέχει τις μετρήσεις της κίνησης. Επίσης χρησιμοποιείται για να δώσει λύσεις στο πρόβλημα της Πλοήγησης (Navigation), στο οποίο, εκτός από τη θέση, συμπεριλαμβάνονται στο πρόβλημα η γραμμική και γωνιακή ταχύτητα, η στάση και η κατεύθυνση, καθώς και η επιτάχυνση. Επιπλέον συχνά θα τον δούμε σε προβλήματα Παρακολούθησης Στόχου (Target Tracking), όπου βοηθάει στην εκτίμηση της θέσης ενός αντικειμένου βάσει μετρήσεων απόστασης και γωνιών από μια θέση αναφοράς. Τέλος χρησιμοποιείται και για τον Εντοπισμός Θέσης Κινούμενου Ρομπότ Ο PF στο διαγωνισμό TAC / AA Μια ενδιαφέρουσα ιδέα ήταν να χρησιμοποιηθεί ο αλγόριθμος PF σε συνδυασμό με κάποιο πράκτορα στο διαγωνισμό TAC / AA. Ο PF μπορεί να χρησιμοποιηθεί ώστε να εκτιμήσει τις προσφορές των διαφημιστών στο επόμενο βήμα ή να εκτιμήσει τις προσφορές που έγιναν στα προηγούμενα βήματα. Για να γίνει κάτι τέτοιο προφανώς χρειάζεται να γνωρίζει τα αποτελέσματα από τις προσφορές των διαφημιστών στο προηγούμενο βήμα, δηλαδή την κατάταξη που προέκυψε, και έτσι να υπολογίσει τα μοντέλα προσφορών που χρησιμοποιούν αυτοί. Δηλαδή να υπολογίσει την εκ των υστέρων συνάρτηση πυκνότητας για το μοντέλο κάθε διαφημιστή. Κάθε σωματίδιο θα περιλαμβάνει στην ουσία την προϊστορία όλων των προσφορών όλων των διαγωνιζομένων. Οι παρατηρήσεις θα προέρχονται από τον έλεγχο με την ταξινόμηση των προσφορών που προκύπτει στο τέλος κάθε μέρας, ενώ τα σωματίδια θα αναπαριστούν την εκτίμηση για τις προσφορές που έγιναν μέχρι το τέλος τη μέρας. Έτσι ο πράκτορας θα μπορεί να υπολογίσει μια προσφορά για την επόμενη μέρα, βασιζόμενος στην προϊστορία, που θα τον ανεβάσει στην τελική κατάταξη. Οι David Pardoe και Peter Stone (10) στηριζόμενοι στον αλγόριθμο SIR προσπάθησαν να εκτιμήσουν τις προσφορές που έγιναν στο παρελθόν. Η προσπάθεια τους έδειξε ότι το αποτέλεσμα ενός τέτοιου πράκτορα θα μπορούσε να είναι πολύ καλύτερο από τις μεθόδους χωρίς PF που προτείνονταν μέχρι σήμερα. Μένει να δούμε την επίδραση που θα έχει ο αλγόριθμος Φίλτρου Σωματιδίων στην πρόβλεψη των μελλοντικών προσφορών κάθε διαφημιζόμενου. Μια άλλη χρήση του PF θα ήταν η πρόβλεψη της κατανομής των χρηστών για κάθε μέρα του παιχνιδιού. Αυτή τη λογική υλοποιήσαμε στον Mertacor. 76

77 Φίλτρο Σωματιδίων και Mertacor Για τη λειτουργία του Mertacor θεωρήσαμε ότι θα έχουμε 1000 σωματίδια σε κάθε φίλτρο. Το παιχνίδι όμως απαιτεί να γίνει αρχικοποίηση για 10 μέρες πριν ξεκινήσει ο διαγωνισμός ώστε να σωματίδια να έχουν ήδη μια ικανοποιητική κατανομή. Έτσι είχαμε σωματίδια για κάθε φίλτρο. Επειδή όμως τα προϊόντα που έχουμε είναι 9 άρα έπρεπε να φτιάξουμε και 9 φίλτρα, με τον συνολικό αριθμό σωματιδίων να ανέρχεται στα Η υλοποίηση του αλγορίθμου έγινε στη συνέχεια όπως αναφέραμε παραπάνω. Συγκεκριμένα προτιμήθηκε η επιλογή του αλγορίθμου SIR. Τα σωματίδια κατανέμονταν σε κάθε πιθανή κατάσταση του χρήστη με βάση τις πιθανότητες μετάβασης από τη μία κατάσταση στην άλλη στην αρχή κάθε μέρας. Έτσι γνωρίζαμε κάθε μέρα πόσοι χρήστες ήταν σε κατάσταση F0, F1, F2, IS. Οι πιθανότητες μετάβασης, μας είναι γνωστές από τα στοιχεία του διαγωνισμού και είναι σταθερές. Το πρόβλημα ήταν όμως ότι δεν γνωρίζαμε με τι πιθανότητα μεταβαίνει ένας χρήστης από τις καταστάσεις F0, F1, F2 στην κατάσταση Transacted. Είχαμε όμως τη δυνατότητα να υπολογίσουμε τις πιθανότητες αυτές όμως παρουσιάζεται στο κεφάλαιο 5.3. Επιπλέον στην υλοποίηση προτιμήθηκε να μην χρησιμοποιηθεί κάποιο όριο για το Neff καθότι μέσα από τις δοκιμές προέκυψε ότι δεν έπαιζε μεγάλο ρόλο. Αυτό που κάναμε λοιπόν ήταν στην αρχή κάθε μέρας να παίρνουμε τα σωματίδια της προηγούμενης και να τα ανακατανέμουμε με βάση τα βάρη που υπολογίζαμε. Για τον υπολογισμό των βαρών χρησιμοποιήσαμε τον τύπο του TacTex ο οποίος λέει ότι τα βάρη ακολουθούν κανονική κατανομή με μ=xi / 3 και σ=2xi / 9, όπου xi είναι ο αριθμός των impressions για κάθε προϊόν μείον τον αριθμό των χρηστών στην κατάσταση F2 μείον το ένα τρίτο του αριθμού των χρηστών στην κατάσταση IS. Έχοντας όλα αυτά τα δεδομένα ήταν πλέον δυνατή η πρόβλεψη της κατανομής των αγοραστών την ερχόμενη μέρα. Στις εικόνες παρακάτω βλέπουμε τον κώδικα των συναρτήσεων που εκτελούν το resample και το reweight. 77

78 Input: observationday, queryid Output: weights[] impressions=getimpressionsfromregistry(observationday,queryid) if (impressions>0) then for (i in allparticles) do is=particlestate[is] f2=particlestate[f2] mean=is/3 diff=impressions-f2-mean normal=1000*exp(-diff*diff/1000) weights[i]=normal sumofweights+=weights[i] end for for (i in particleslength) do weights[i]=weights[i]/sumofweights end for end if resample() Αλγόριθμος 4.9 Υλοποίηση του reweight στον Mertacor 78

79 Input: particles[], weights[] Output: particles[], weights[] for (i in allparticles) do sqrsum+=weights[i]^2 end for for (i in allparticles) do items[i]=numberofparticles*weights[i] sumofitems+=items[i] end for for (i in numberofitems) do for (j in items[i]) do if (counter>1000) break newparticles[counter]=particles[i] newweights[counter]=1/numberofparticles counter++ end for end for for (i in numberofparticles) do index=sampleparticle() p=particles[index] newparticles[i]=p newweights[i]=1/numberofparticles end for particles=newparticles weights=newweights Αλγόριθμος 4.10 Υλοποίηση του resample στον Mertacor 4.3. Υπολογισμός Budget Προκειμένου να υπολογίσουμε το ημερήσιο budget που θα χρησιμοποιούσε ο 79

80 πράκτορας μας και να θέσουμε ένα άνω όριο εξόδων, καταφύγαμε στη χρήση της μεθόδου Monte Carlo. Η μέθοδος αυτή υπολογίζει ένα αποτέλεσμα πραγματοποιώντας έναν μεγάλο αριθμό τυχαίων δειγματοληψιών οι οποίες όμως ακολουθούν κάποιον κανόνα. Συγκεκριμένα εμείς τρέχαμε κάθε μέρα 10 επαναλήψεις και επιστρέφαμε την τελική τιμή που υπολογίζαμε. Η τιμή αυτή προέκυπτε ως ο μέσος όρος του κόστους ανά κλικ και ανά ερώτημα (query). Το κόστος αυτό με τη σειρά του υπολογίζεται μέσα από τα bids που έκανε ο Mertacor και διαμορφώνεται ανάλογα με το είδος του εκάστοτε ερωτήματος. Για να είμαστε σίγουροι κάθε φορά ότι το καινούργιο budget που βρίσκουμε είναι καλύτερο από την προηγούμενη τιμή, κάνουμε και έναν έλεγχο με βάση το κέρδος όπως αυτό προκύπτει από την αξία κάθε κλικ. συνάρτηση που υπολογίζει το budget. Στην εικόνα βλέπουμε υλοποιημένη τη Input: bids[],vpc,id,capacity, user Output: endbudget runs=10 for (mc in runs) do deltaup=1 deltadown=1 for (i in numberofauctions) do for (j in lengthofdeltas) do deltas[j]=1 end for end for bestprofit= for (i ) do for (q in allqueries) do convprobperquer[q]=convprob(q,id) cpcperquer[q]=bid2cpc(q,bids[q]) cpcperquer ppcperquer[q]=valueperclick(q,id,conversions,capacity)- ppc*=deltas[q] if (bids[q]<minimumbid[q]) then 80

81 profit[q]=0 else profit[q]=ppc end if sumofprofits+=profit[q] end for for (j in numberofauctions) do profit[j]/=sumofprofits end for selectedindex=tourneyindex(profit) budget[selectedindex]+=ppcperquery[selectedindex] for (i in numofauctions) do if (j=selectedindex) then deltas[j]*=deltadown else deltas[j]*=deltaup end if end for conversions+=0.85*convprobperquery[selectedindex] if (currentprofit>bestprofit) then bestprofit=currentprofit for (k in numofauctions) do dailybudget[k]=budget[k] end for end if for (k in numofauctions) do endbudget[k]+=dailybudget[k] end for for (k in numofauctions) do 81

82 endbudget[k]/=runs endbudget[k]*=1.05 end for end for Αλγόριθμος 4.11 Υλοποίηση του budget στον Mertacor 4.4. Υπολογισμός Id Για τον υπολογισμό του Id χρησιμοποιήσαμε τον παρακάτω τύπο ο οποίος προκύπτει από τη βιβλιογραφία και όπως διαπιστώθηκε μέσα από τη λειτουργία του πράκτορα υπολογίζει επιτυχώς τη σωστή τιμή. Αν θεωρήσουμε το άθροισμα των conversions των προηγούμενων τριών ημερών ίσο με a δηλαδή έστω conversions (day - 1) + conversions(day - 1) + conversions(day - 1) = a (4.23) τότε έχουμε I (day+1)=a+a / 3+(a+a / 3) / 2 (4.24) Διαπιστώσαμε ωστόσο ότι μπορούσαμε να βελτιώσουμε το αποτέλεσμα με την εξής τροποποίηση, όταν το capacity που μας έδινε ο server ήταν 450 ή 600 τότε αντί να πάρουμε a / 3 χρησιμοποιούμε την τιμή a / 4. Στην εικόνα παρουσιάζεται ο κώδικας της συνάρτησης. 82

83 Input: day, capacity Output: conversions denom=3.25 if (capacity==300) then denom=3 else if (capacity==450 capacity==600) then denom=4 end if convs123=conversion(day-4,day-2) convs4=convs123/denom convs1234=convs123+convs4 convs5=convs4/2 conversions=convs1234+convs5 Αλγόριθμος 4.12 Υλοποίηση του Id estimator στον Mertacor 4.5. Logging Προκειμένου να μπορέσουμε να υπολογίσουμε κάποιες παραμέτρους σημαντικές για τη λειτουργία του Mertacor, όπως για παράδειγμα το ποσοστό των χρηστών που πηγαίνουν στην κατάσταση T ή τις τιμές που παίρνει το α έπρεπε να πάρουμε κάποια στοιχεία από τα αρχεία παλιότερων διαγωνισμών. Για το σκοπό αυτό δημιουργήσαμε δύο LogParsers στηριζόμενοι στις υποδείξεις που υπάρχουν στην ιστοσελίδα του διαγωνισμού για τη διαχείριση των logs των παιχνιδιών. Με βάση αυτές φτιάξαμε πρώτα έναν Handler ο οποίος αυτό που κάνει είναι να καλεί τον Parser. Ο Parser με τη σειρά του υλοποιεί μια συνάρτηση message(), η οποία αναγνωρίζει τα διάφορα μηνύματα που έχουν σταλεί από τον server στους διαγωνιζόμενους και στη συνέχεια ανάλογα με το περιεχόμενο κάθε μηνύματος ξεχωρίζει τα στοιχεία που μας ενδιαφέρουν και τα αποθηκεύει στα αντίστοιχα αρχεία. Ο πρώτος Parser που φτιάξαμε βρίσκει την κατανομή των χρηστών στις διάφορες καταστάσεις. Με βάση αυτόν βρήκαμε τις πιθανότητες μετάβασης χρηστών στην κατάσταση T, όπως περιγράφεται στο επόμενο κεφάλαιο. Στην αρχή ο Parser αναγνωρίζει των αριθμό των παικτών και ποιοι είναι αυτοί. Έπειτα για κάθε πράκτορα και ανάλογα με τον τύπο του, παίρνει την τιμή που αντιστοιχεί σε κάθε 83

84 κατάσταση χρηστών για κάθε μέρα και την αποθηκεύει σε έναν δισδιάστατο πίνακα. Ο κώδικας του Parser παρουσιάζεται παρακάτω. Input: agent, type, value Output: userdist If (agent==1 && type==205) then userdist[day][count]=value count=0 else if (agent==1 && type>=200 && type<=204) then userdist[day][count]=value count++ end if Αλγόριθμος 4.13 Υλοποίηση του πρώτου Parser Ο δεύτερος Parser με τη σειρά του βρίσκει αρκετά περισσότερα στοιχεία. Συγκεκριμένα τoν χρησιμοποιούμε ώστε να μάθουμε τον τύπο κάθε ερωτήματος που λαμβάνουν οι πράκτορες, την τιμή α, την αξία ανά κλικ, τα έξοδα, τα κλικ, τις προσφορές, το κόστος ανά κλικ καθώς και τη θέση που κατέλαβε κάθε πράκτορας. Τα στοιχεία αυτά βρίσκονται σε τρία διαφορετικά Report που στέλνει ο server, στο Simulation Report, στο Query Report και στο Sales Report. Προκειμένου να μπορέσουμε να παρουσιάσουμε τα στοιχεία αυτά όλα μαζί χρησιμοποιήσαμε την τεχνική των HashMap που παρέχει η Java. Ο κώδικας του Parser παρουσιάζεται παρακάτω. 84

85 Input: sender, receiver, content, Registry Output: qt, alpha, vpc, revenue, clicks, bid, cpc, position if (content == SimulationStatus) then agents[receiver-3]=add(day,hashmap) else if (content == BidBundle) then for (i in sizeofcontent) do if (Bid(i)>0) then bid=bid(i) agent[sender-3]=query(i, data) end if end for else if (content == QueryReport) then if (day>1) then for(i in sizeofcontent) then cost=clicks(i)*cpc(i) position=position(i) clicks=clicks(i) cpc=cpc(i) bid=bid(i) vpc=revenue/clicks alpha=bid/vpc qt=0 if (querytype == F1) then qt=1 else if (querytyper == F2) then qt=2 end if end for end if else if (content == SalesReport) then 85

86 if (day>1) then for (i in size ofcontent) do revenue=revenue(i) end for end if end if Αλγόριθμος 4.14 Υλοποίηση του δεύτερου Parser 86

87 Χρήση Τεχνικών Υπολογιστικής Νοημοσύνης για τη Σχεδίαση και Ανάπτυξη Κεφάλαιο 5 Δοκιμές Πράκτορα 5.1 Λειτουργία Φίλτρου Σωματιδίων Διαγράμματα Πρόβλεψης Όπως αναφέρθηκε στο προηγούμενο κεφάλαιο, χρησιμοποιήσαμε τον αλγόριθμο του Φίλτρου Σωματιδίων προκειμένου να προβλέψουμε την κατανομή του πληθυσμού των αγοραστών την επόμενη μέρα. Στα διαγράμματα που ακολουθούν φαίνεται συγκριτικά η κατανομή όπως ήταν στην πραγματικότητα στο προσομοιωμένο περιβάλλον του server σε ένα παιχνίδι που έλαβε χώρα ( μπλε γραμμή) σε σχέση με την πρόβλεψη που έκανε ο Mertacor μέσω του Φίλτρου Σωματιδίων (κόκκινη γραμμή). Κάθε διάγραμμα αντιστοιχεί σε έναν τύπο αγοραστή. Όπως βλέπουμε η πρόβλεψη μας έπεφτε πολύ κοντά αν όχι ακριβώς πάνω στα πραγματικά δεδομένα. Εικόνα 5.1 Πρόβλεψη της κατανομής των χρηστών-πληθυσμός ΝS 87

88 Εικόνα 5.2 Πρόβλεψη της κατανομής των χρηστών-πληθυσμός IS Εικόνα 5.3 Πρόβλεψη της κατανομής των χρηστών-πληθυσμός F0 88

89 Εικόνα 5.4 Πρόβλεψη της κατανομής των χρηστών-πληθυσμός F1 Εικόνα 5.5 Πρόβλεψη της κατανομής των χρηστών-πληθυσμός F2 89

90 Εικόνα 5.6 Πρόβλεψη της κατανομής των χρηστών-πληθυσμός T Πρέπει φυσικά να αναφέρουμε ότι από τους πληθυσμούς αυτούς για τη σωστή λειτουργία του πράκτορα χρησιμοποιούμε μόνο τις προβλέψεις που αφορούν τους τύπους IS, F0, F1, F2. Όπως φαίνεται παραπάνω η πρόβλεψη είναι αρκετά ακριβής στους συγκεκριμένους τύπους. Για αυτό και η απόκλιση που υπάρχει στον πληθυσμό T δεν επηρεάζει την απόδοση του πράκτορα μας. Φυσικά για τη βάσιμη εξαγωγή συμπερασμάτων πραγματοποιήθηκαν αρκετές δοκιμές προκειμένου να είμαστε σίγουροι ότι η πρόβλεψη είναι σε κάθε περίπτωση πετυχημένη, όπως ακριβώς στο παράδειγμα του προηγούμενου παιχνιδιού. 5.2 Εύρεση βέλτιστης τιμής της Μεταβλητής α Μια σημαντική παράμετρος στη λειτουργία του Mertacor είναι και η μεταβλητή α. Όπως αναφέρθηκε και πιο πάνω η μεταβλητή αυτή αντιστοιχεί στο ποσοστό της αξίας ανά κλικ που θα ποντάρει ο πράκτορας και κυμαίνεται ανάμεσα στις τιμές [0,1]. Προκειμένου να υπολογίσουμε τη βέλτιστη τιμή που πρέπει αυτή να έχει διεξαγάγαμε μια σειρά τουρνουά παιχνιδιών τεστάροντας διάφορες τιμές. Συγκεκριμένα πήραμε 8 στιγμιότυπα του πράκτορα και τα βάλαμε να παίζουν σε τουρνουά 12 συνήθως παιχνιδιών. Στο ένα στιγμιότυπο Mertacora δίναμε μία μοναδική τιμή ενώ τα υπόλοιπα 7 είχαν την ίδια μεταξύ τους αλλά διαφορετική από την προηγούμενη. Με αυτόν τον τρόπο συγκρίναμε αν ο Mertacora είχε καλύτερη ή χειρότερη απόδοση σε σχέση με τα υπόλοιπα και έτσι διαλέγαμε ποια τιμή ήταν καλύτερη. Στη συνέχεια προχωρούσαμε στη σύγκριση της νέας τιμής με κάποια 90

91 άλλη. Τα αποτελέσματα μερικών από των δοκιμών αυτών φαίνονται στις παρακάτω εικόνες. Στη λεζάντα κάθε εικόνας αναφέρεται και η τιμή της αντίστοιχης μεταβλητής α. Τελικά όπως προκύπτει και από τις εικόνες καταλήξαμε ότι η βέλτιστη επιλογή είναι α=0.33. Πίνακες 5.1 Αποτελέσματα αναζήτησης τιμής α Mertacora α=0.9 - MertacorX α=1 Position Agent Average Score Games Played Zero Games 1 Mertacora Mertacor Mertacor Mertacor Mertacor Mertacor Mertacor Mertacor Mertacora α=0.4 - MertacorX α=0.5 Position Agent Average Score Games Played Zero Games 1 Mertacora Mertacor Mertacor Mertacor Mertacor Mertacor Mertacor Mertacor Mertacora α=0.3 - MertacorX α=0.4 Position Agent Average Score Games Played Zero Games 1 Mertacora Mertacor Mertacor Mertacor Mertacor Mertacor Mertacor

92 8 Mertacor Mertacora α=0.3 - MertacorX α=0.2 Position Agent Average Score Games Played Zero Games 1 Mertacora Mertacor Mertacor Mertacor Mertacor Mertacor Mertacor Mertacor Mertacora α=0.3 - MertacorX α=0.25 Position Agent Average Score Games Played Zero Games 1 Mertacora Mertacor Mertacor Mertacor Mertacor Mertacor Mertacor Mertacor Mertacora α=0.3 - MertacorX α=0.35 Position Agent Average Score Games Played Zero Games 1 Mertacora Mertacor Mertacor Mertacor Mertacor Mertacor Mertacor Mertacor

93 Mertacora α= MertacorX α=0.3 Position Agent Average Score Games Played Zero Games 1 Mertacora Mertacor Mertacor Mertacor Mertacor Mertacor Mertacor Mertacor Εύρεση πιθανοτήτων μετάβασης αγοραστών σε κατάσταση T Ένα στοιχείο το οποίο δεν γνωρίζουμε όσο αφορά την κατάσταση της αγοράς είναι η πιθανότητα ένας αγοραστής να μεταβεί από κάποια κατάσταση F0, F1, F2 στην κατάσταση Τ. Η πιθανότητα αυτή όμως είναι ιδιαίτερα σημαντική στην υλοποίηση του Φίλτρου Σωματιδίων και κατά συνέπεια και στη λειτουργία του πράκτορα μας. Προκειμένου να την υπολογίσουμε χρησιμοποιήσαμε τα δεδομένα που υπήρχαν από τον διαγωνισμό TAC / AA Μετά τη διεξαγωγή των προκριματικών ωστόσο υπολογίσαμε εκ νέου τις πιθανότητες αυτές με βάση τα δεδομένα των προκριματικών. Συγκεκριμένα ο αλγόριθμος που χρησιμοποιήσαμε έλεγε τα εξής: αν τη μέρα d, x χρήστες F0, y χρήστες F1, z χρήστες F2 αποφασίσουν να μεταβούν στην κατάσταση T, τότε την επόμενη μέρα d+1 θα έχουμε x+y+z=(αριθμός χρηστών T) - (ποσοστό χρηστών που παραμένουν στην κατάσταση T*αριθμός χρηστών T τη μέρα d) (5.1) Εφαρμόζοντας τον τύπο αυτό σε πλήθος δεδομένων που είχαμε από τα logs των προηγούμενων διαγωνισμών υπολογίσαμε τις τιμές των x, y, z και κατά συνέπεια τις αντίστοιχες πιθανότητες μετάβασης. Τα αποτελέσματα που βρήκαμε για τα προκριματικά ήταν: PrF0Τ=0.007, PrF1Τ=0.042, PrF2Τ=0.196, ενώ για τους τελικούς χρησιμοποιήσαμε τις τιμές PrF0Τ=0.001, PrF1Τ=0.035, PrF2Τ= Τμήμα της υλοποίησης του αλγορίθμου αυτού φαίνονται στην παρακάτω εικόνα. 93

94 Input: users Output: p1,p2,p3 for (i in numberofgames) do f01=users[f0] f11=users[f1] f21=users[f2] is=users[is] f0=f0+mean((0*f01+0.6*is+0.7*f01-users[f0])/users[f0]) f1=f2+mean((0.2*f01+0.1*is+0.7*f11-users[f1])/users[f1]) f2=f1+mean((0.2*f *is+0.9*f21-users[f2])/users[f2]) end for p1=f0/ numberofgames p2=f1/ numberofgames p3=f2/ numberofgames Αλγόριθμος 5.1 Εύρεση πιθανοτήτων μετάβασης 5.4 Σύγκριση Mertacor Mertacor 2011 Προκειμένου να διαπιστώσουμε τις ικανότητες του νέου Mertacor σε σχέση με την προηγούμενη έκδοση αποφασίσαμε να διοργανώσουμε ένα τουρνουά, όπου συναγωνίζονταν ο Mertacor 2012 (με το ψευδώνυμο MertacorA) απέναντι σε εφτά πράκτορες Mertacor Το τουρνουά αποτελούνταν από 60 παιχνίδια ώστε να έχουμε αρκετά αξιόπιστα αποτελέσματα. Το πρώτο συμπέρασμα που βγάλαμε ήταν ότι η καινούργια έκδοση του πράκτορα ήταν καλύτερη από την προηγούμενη αφού όπως φαίνεται και στα αποτελέσματα του τουρνουά τερμάτισε στην πρώτη θέση. Πίνακας 5.2 Αποτελέσματα τουρνουά 1 94

95 Position Agent Average Score Games Played Zero Games 1 MertacorA Mertacor Mertacor Mertacor Mertacor Mertacor Mertacor Mertacor Επιπλέον παρατηρώντας τις γραφικές παραστάσεις των πρακτόρων παρατηρούμε ότι το budget του Mertacor 2012 είναι πάντα μειωμένο σε σχέση με αυτό της προηγούμενης χρονιάς. Ειδικά όσο αφορά τα έξοδα βλέπουμε ότι αυτά δεν ξεπερνάνε ένα ανώτατο όριο (κοντά στις 2000 συνήθως), σε αντίθεση με του Mertacor 2011 που βλέπουμε να αγγίζουμε τιμές ακόμα και κοντά στο Αυτό έχει σαν αποτέλεσμα να υπάρχουν μέρες όπου τα συνολικά έσοδα του πράκτορα έχουν αρνητικό πρόσημο (κόκκινο εμβαδό στο διάγραμμα), κάτι που δεν συμβαίνει στη φετινή υλοποίηση. Το κομμάτι που οδήγησε σε αυτήν τη βελτίωση ήταν ο υπολογισμός του budget όπως τον περιγράψαμε προηγουμένως. Ουσιαστικά με το budgeting προσπαθούμε να πάρουμε το μέγιστο δυνατό αποτέλεσμα ξοδεύοντας τα λιγότερα δυνατά χρήματα. Στις εικόνες μπορούμε να δούμε ακριβώς τη συμπεριφορά που μόλις περιγράψαμε σε κάποια παιχνίδια. Εικόνα 5.7 Διαγράμματα εσόδων εξόδων Mertacor στο τουρνουά 1 95

96 5.4 Σύγκριση Mertacor Άλλοι Παλιότεροι Πράκτορες Στη συνέχεια έπρεπε να τεστάρουμε τον πράκτορα μας απέναντι σε πράκτορες που συμμετείχαν τα προηγούμενα χρόνια στο διαγωνισμό. Αντίστοιχα με πριν δημιουργήσαμε ένα τουρνουά 60 παιχνιδιών στο οποίο συμμετείχαν οι Mertacor2012, Mertacor2011, QuakTAC, Schlemazl, TacTex, WayneAd, epflagent, merlion. Για μια ακόμη φορά τα αποτελέσματα ήταν αρκετά ενθαρρυντικά καθώς ο Mertacor 2012 τερμάτισε στην πρώτη θέση και αυτού του τουρνουά, όπως φαίνεται στα αποτελέσματα. Πίνακας 5.3 Αποτελέσματα τουρνουά 2 Position Agent Average Score Games Played Zero Games 1 MertacorA mertacor TacTex Schlemazl Epflagent Merlion WayneAd QuacTac Παρακάτω παρουσιάζουμε τα στοιχεία από ένα πολύ καλό παιχνίδι του Mertacor 2012 με capacity 600 (κέρδη 70000). Όπως βλέπουμε ο πράκτορας συνδυάζει ένα μικρό CPC με ένα αρκετά υψηλό VPC. Αυτή είναι μια συμπεριφορά που υπήρχε σε όλη τη διάρκεια του τουρνουά. Επιπλέον η τιμή ROI (Return On Investment απόδοση της επένδυσης) είναι και αυτή ιδιαίτερα μεγάλη, γεγονός που έρχεται σε αντιστοιχία με τον πολύ καλό ρυθμό αγορών (Conv. Rate) και το υψηλό CTR. Πίνακας 5.4 Metrics σε καλό παιχνίδι Mertacor 2012 CTR Conv. Rate CPC VPC ROI 44.84% 29.84% % Τα αντίστοιχα στοιχεία από το χειρότερο παιχνίδι του Mertacor 2012 (κέρδη 43000) είναι τα παρακάτω. Βλέπουμε ότι ο πράκτορας μας κατάφερα να μην αυξήσει ιδιαίτερα το CPC αν και η αξία των κλικ (VPC) έπεσε αισθητά. Μεγάλη πτώση παρατηρείται επομένως και στη μεταβλητή ROI. 96

97 Πίνακας 5.5 Metrics σε κακό παιχνίδι Mertacor 2012 CTR Conv. Rate CPC VPC ROI 35.85% 20.52% % Για να μπορέσει ο αναγνώστης να έχει μια συναίσθηση του μεγέθους των τιμών των μεταβλητών αυτών αντιπαραβάλλουμε τα στοιχεία από το καλύτερο (κέρδη 70000) και χειρότερο παιχνίδι (κέρδη 35000) του περσινού πράκτορα, καθώς επίσης και του TacTex. Αξίζει να σημειώσουμε το υψηλό ROI στο χειρότερο παιχνίδι του Mertacor Πίνακες 5.6 Metrics σε καλό και κακό παιχνίδι Mertacor 2011 CTR Conv. Rate CPC VPC ROI 45.33% 20.71% % CTR Conv. Rate CPC VPC ROI 43.28% 26.35% % Πίνακες 5.7 Metrics σε καλό και κακό παιχνίδι TacTex CTR Conv. Rate CPC VPC ROI 19.28% 28.84% % CTR Conv. Rate CPC VPC ROI 19077% 20.62% ,53% Από τα στοιχεία του TacTex συνειδητοποιούμε ότι η συμπεριφορά του μοιάζει με αυτήν του Mertacor 2012, με εξαίρεση τo CTR (Click Through Rate), που εμφανίζεται αρκετά μικρότερο. 97

98 Χρήση Τεχνικών Υπολογιστικής Νοημοσύνης για τη Σχεδίαση και Ανάπτυξη Κεφάλαιο 6 Διαγωνισμός TAC AA Γενικά στοιχεία Η τελική φάση του διαγωνισμού διεξήχθη στη Βαλένθια της Ισπανίας στις 4 και 5 Ιουνίου 2012 στα πλαίσια του AAMAS 2012 και του TADA / AMEC Πριν την τελική φάση βέβαια διενεργήθηκαν τα προκριματικά του διαγωνισμού προκειμένου να αποφασιστεί ποιες ομάδες θα περάσουν στην τελική φάση. Υπήρξαν συνολικά 11 ομάδες που διαγωνίστηκαν με τον πράκτορα Mertacor να καταλαμβάνει τελικά την 1η θέση. Ο διαγωνισμός περιελάμβανε ομάδες από χώρες όπως η Γαλλία, οι ΗΠΑ, το Ισραήλ, η Κίνα κα. Όλες οι ομάδες που συμμετείχαν παρουσιάζονται στο επόμενο σχήμα. Εικόνα 6.1 Διαγωνιζόμενοι TAC AA

99 6.2 Το Παιχνίδι Κάθε παιχνίδι του διαγωνισμού διεξάγεται μέσω του διαδικτύου με τον συντονισμό του server που βρίσκεται στο πανεπιστήμιο του Τελ Αβίβ. Οι πράκτορες αυτόνομα συνδέονται στο server και περιμένουν την έναρξη του παιχνιδιού στο οποίο έχει προγραμματιστεί η συμμετοχή τους. Χρησιμοποιούνται δύο server προκειμένου να ολοκληρωθεί πιο γρήγορα η διαδικασία. Κάθε παιχνίδι περιλαμβάνει 8 πράκτορες και ο προγραμματισμός του διαγωνισμού φροντίζει ώστε κάθε ομάδα πρακτόρων να παίζει 4 παιχνίδια μεταξύ τους στα οποία κάθε πράκτορας παίρνει τις εξής τιμές για τη χωρητικότητα (capacity) τυχαία, 300,450,450,600, ώστε τα αποτελέσματα να είναι αξιόπιστα. Οι πράκτορες λειτουργούν κατά τη διάρκεια ενός παιχνιδιού χωρίς την παρέμβαση των προγραμματιστών των ομάδων και όλη η απαραίτητη πληροφορία για τη λειτουργία τους παρέχεται από τα διάφορα μηνύματα που ανταλλάσσει κάθε πράκτορας με το server του παιχνιδιού. Η εικόνα που εμφανίζεται κατά τη λειτουργία του πράκτορα φαίνεται στα παρακάτω σχήματα. Εικόνα 6.2 Προσομοιωτής παιχνιδιού 1 Η εικόνα αυτή αποτελεί την κύρια εικόνα που παρακολουθούσαμε στη διάρκεια του διαγωνισμού. Πάνω αριστερά φαίνονται σε διάγραμμα τα κέρδη κάθε πράκτορα για κάθε μέρα, στην ουσία δηλαδή βλέπουμε ποιος πράκτορας κερδίζει στο παιχνίδι. Πάνω δεξιά παρουσιάζεται η κατανομή των αγοραστών σε κάθε 99

100 κατάσταση IS, F0, F1, F2, T. Τέλος στο κάτω μέρος βλέπουμε για κάθε πράκτορα τα έσοδα και τα έξοδα του. Εικόνα 6.3 Προσομοιωτής παιχνιδιού 2 Η εικόνα (6.3) μας δίνει επιπλέον πληροφορίες. Αριστερά έχουμε τη δυνατότητα να παρακολουθούμε τον αριθμό των προβολών, των κλικ και των συναλλαγών όλων των πρακτόρων κατά τη διάρκεια ενός παιχνιδιού. Στα δεξιά μπορούμε πλέον να δούμε σε πραγματικές τιμές τη χωρητικότητα που έχει δοθεί σε κάθε πράκτορα, τα κέρδη του, το κόστος ανά κλικ, την αξία ανά κλικ και το ROI για κάθε μέρα. 100

101 Εικόνα 6.4 Προσομοιωτής παιχνιδιού 3 Η παραπάνω εικόνα μας δίνει πιο συγκεκριμένα στοιχεία όσο αφορά κάθε πράκτορα. Στην πάνω σειρά βλέπουμε σε διαγραμματική μορφή την πορεία των εσόδων - εξόδων, του κέρδους και της χωρητικότητας που χρησιμοποιεί ο πράκτορας. Κάτω αριστερά έχουμε κάποιες παραμέτρους όπως ο ρυθμός συναλλαγών, το κόστος ανά κλικ, η αξία ανά κλικ κτλ. Επίσης μπορούμε να δούμε σε ποιο προϊόν και κατασκευαστή ειδικεύεται ο συγκεκριμένος πράκτορας. Τέλος κάτω δεξιά παρακολουθούμε την πορεία των συναλλαγών, των κλικ και των προβολών του πράκτορα στο πέρασμα του χρόνου. 101

102 Εικόνα 6.5 Προσομοιωτής παιχνιδιού 4 Η προηγούμενη εικόνα μας παρουσιάζει τις προσφορές που έχει κάνει κάθε πράκτορας σε κάθε προϊόν σε μορφή διαγράμματος στη διάρκεια του παιχνιδιού ενώ η επόμενη εμφανίζει το ίδιο πράγμα σε απόλυτες τιμές όμως και μεμονωμένα για κάθε μέρα. 102

103 Εικόνα 6.6 Προσομοιωτής παιχνιδιού Αποτελέσματα Στη συνέχεια παρουσιάζουμε τα αποτελέσματα των παιχνιδιών που έλαβαν χώρα στο διαγωνισμό TAC AA Προκριματικά Σκοπός των προκριματικών είναι να υπάρξει μια πρώτη επαφή των διαγωνιζόμενων με την μορφή του διαγωνισμού ώστε να διαπιστώσουν την επιθυμητή λειτουργία των πρακτόρων τους όπως επίσης και η απόρριψη κάποιων ομάδων. Φέτος τα προκριματικά πραγματοποιήθηκαν σε μία μόλις μέρα στις 15 Μαΐου Συνολικά έγιναν 64 παιχνίδια, αποκλείστηκε ένας τελικά πράκτορας, ενώ ο Mertacor κατέλαβε την τέταρτη θέση. Συνοπτικά τα αποτελέσματα παρουσιάζονται στον πίνακα. 103