Ανάπτυξη συστήματος μοντελοποίησης αντιπάλων για το παιχνίδι Poker Texas Hold em με χρήση αλγορίθμων ομαδοποίησης

Transcript

1 ΑΡΙΣΤΟΤΕΛΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΟΝΙΚΗΣ ΠΟΛΥΤΕΧΝΙΚΗ ΣΧΟΛΗ ΤΜΗΜΑ ΗΛΕΚΤΡΟΛΟΓΩΝ ΜΗΧΑΝΙΚΩΝ ΚΑΙ ΜΗΧΑΝΙΚΩΝ ΥΠΟΛΟΓΙΣΤΩΝ Εργαστήριο Επεξεργασίας Πληροφορίας και Υπολογισμών Ανάπτυξη συστήματος μοντελοποίησης αντιπάλων για το παιχνίδι Poker Texas Hold em με χρήση αλγορίθμων ομαδοποίησης Διπλωματική εργασία του Παναγιώτη Παπαθανασίου ΑΕΜ: 6431 Υπό την επίβλεψη του Καθηγητή κ. Περικλή Α. Μήτκα Θεσσαλονίκη, Ιούνιος 2013

2 Θεσσαλονίκη, Ιούνιος 2013

3 Ευχαριστίες Θα ήθελα να ευχαριστήσω τον επιβλέποντα καθηγητή κ. Περικλή Μήτκα για την εμπιστοσύνη, που μου έδειξε με την ανάθεση του θέματος της διπλωματικής και για την επίβλεψη κατά τη διάρκεια της διεκπεραίωσής της. Επίσης, ιδιαίτερα θερμές ευχαριστίες οφείλω στο διδάκτορα κ. Κυριάκο Χατζηδημητρίου για τη βοήθεια, τις χρήσιμες συμβουλές, την καθοδήγηση που μου προσέφερε καθ' όλη την διάρκεια της ενασχόλησής μου με την διπλωματική εργασία και για την άριστη συνεργασία μας. Τέλος, ένα μεγάλο ευχαριστώ στους γονείς μου, στον αδερφό μου και στην Ελπίδα, που είναι πάντα στο πλευρό μου και με στηρίζουν σε όλες τις επιλογές μου. 3

4 Σύνοψη Τα τελευταία χρόνια η έρευνα στον τομέα της Τεχνητής Νοημοσύνης επικεντρώθηκε σε παιχνίδια με ατελή πληροφόρηση και μη-ντετερμνιστικές κινήσεις. Το Poker αποτελεί ιδανικό περιβάλλον για έρευνα γύρω από αυτή την περιοχή. Η πιο γνωστή παραλλαγή του είναι το παιχνίδι Texas Hold em, η οποία συνδυάζει απλούς κανόνες και μεγάλη ποικιλία στρατηγικών και τρόπων παιχνιδιού. Πολλοί αυτόνομοι πράκτορες (Agents) έχουν αναπτυχθεί στην προσπάθεια να προσομοιωθεί μια τυπική συμπεριφορά ενός παίχτη στο Poker Texas Hold em. Σε αυτή την προσπάθεια υπάρχει ένα ακόμα εμπόδιο, αυτό της εύρεσης ενός τρόπου να γνωρίζει ο πράκτορας τον τρόπο παιχνιδιού του αντιπάλου, δηλαδή το πρόβλημα της μοντελοποίησης των αντιπάλων. Η μοντελοποίηση πρακτόρων αποτελεί ένα σημαντικό πρόβλημα σε πολλές σύγχρονες εφαρμογές της Τεχνητής Νοημοσύνης. Η μοντελοποίηση πρακτόρων είναι ιδιαίτερα δύσκολη, όταν επεξεργάζεται στοχαστικές επιλογές, ηθελημένα κρυμμένες πληροφορίες, δυναμικούς αντιπάλους και την ανάγκη για γρήγορη εκμάθηση. Το αντικείμενο της παρούσας διπλωματικής εργασίας είναι η ομαδοποίηση των αντιπάλων παικτών βάσει συμπεριφοράς και η μοντελοποίηση τους. Η ομαδοποίηση έγινε χρησιμοποιώντας, μετά από κατάλληλη επεξεργασία, δεδομένα από παιχνίδια του πράκτορα TiltNet [1] εναντίον απλών παικτών και δεδομένα από το ιστορικό άλλων πρακτόρων του διαγωνισμού Annual Computer Poker Competition για το 2011 και Στη συνέχεια εφαρμόστηκε ο αλγόριθμος k-means και οι παραλλαγές του k-means++ και x-means για την ομαδοποίηση, και τα αποτελέσματα της ομαδοποίησης εκτιμήθηκαν μέσω κατάλληλων δεικτών. Τέλος, υλοποιήθηκε ένα σύστημα κατάταξης των παικτών σε ομάδες μετά από παρατήρηση μερικών παιχνιδιών με βάση τον κινούμενο εκθετικό μέσο όρο των χαρακτηριστικών συμπεριφοράς των παικτών. Παπαθανασίου Παναγιώτης Τμήμα Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών Αριστοτέλειο Πανεπιστήμιο Θεσσαλονίκης 4

5 Diploma Thesis Title Poker opponent modeling using Clustering Techniques Abstract In recent years research in the field of Artificial Intelligence has focused on games with incomplete information and nondeterministic movements. The Poker is a perfect object for research on the area. The most famous version of the game, Texas Hold'em, combines simple rules and great variety of strategies and game modes. Many autonomous Agents have been developed in an attempt to simulate the typical behavior of a player at Poker Texas Hold'em. In this endeavor the need for a way to understand the playing style of the opponent agent remains a significant obstacle. This problem is commonly referred as the problem of opponent modeling. Modeling agents is an important problem in many modern artificial intelligence applications. Modeling agents is especially difficult when working with stochastic movements, deliberately hidden information, dynamic opponents and the need of fast learning. The object of this thesis is clustering the opponents based on their behavior and modeling them. The clustering was performed using after appropriate processing data from games of the Agent TiltNet against classic evaluation players and subsequently data from the history of other agents games from the Annual Computer Poker Competition for the years 2011 and Thereafter the k-means algorithms and its variants k-means++ and x-means were applied on these data for clustering and the results were evaluated by appropriate evaluation indexes. Finally a system for fitting the players into groups after 50 games was developed using the exponential moving average of the players behavioral characteristics.. 5

6 6

7 Κατάλογος Περιεχομένων Ευχαριστίες... 3 Σύνοψη... 4 Abstract... 5 Κατάλογος Περιεχομένων... 7 Κατάλογος Σχημάτων Κατάλογος Πινάκων...11 Κεφάλαιο 1 - Εισαγωγή Εισαγωγή Μοντελοποίηση Πρακτόρων Περιγραφή του Προβλήματος Στόχοι διπλωματικής εργασίας Μεθοδολογία Οργάνωση της διπλωματικής εργασίας Κεφάλαιο 2 - Θεωρητικό υπόβαθρο Εισαγωγή Τύποι στρατηγικών Κατηγορίες και τύποι παικτών Βασικές κατηγορίες παικτών Ανώτεροι γνωστοί παίκτες Σχετικές εργασίες στον τομέα της Μοντελοποίησης Αντιπάλου Προηγούμενες Προσεγγίσεις Στατιστικές Μέθοδοι Νευρωνικά δίκτυα και δέντρα αποφάσεων Particle Filtering Πλατφόρμες παιχνιδιού και προγράμματα Η πλατφόρμα του Annual Computer Poker Competition Το πρόγραμμα WEKA Κεφάλαιο 3 - Τεχνικές Ομαδοποίησης Η τεχνική της ομαδοποίησης (Clustering) Εισαγωγή στην ομαδοποίηση Στόχοι και εφαρμογές ομαδοποίησης

8 3.1.3 Στάδια ομαδοποίησης Διαμεριστική ομαδοποίηση (Partitional clustering) Αλγόριθμος απλού περάσματος Αλγόριθμοι ομαδοποίησης τετραγωνικού λάθους Ασαφής Ομαδοποίηση (Fuzzy clustering) Επιλογή του κατάλληλου αλγορίθμου και εμπειρία Μέτρα ομοιότητας Εκτίμηση του αριθμού των ομάδων (clusters) Δείκτες εκτίμησης του αριθμού των ομάδων (clusters) Εσωτερικοί (internal) δείκτες εκτίμησης των ομάδων Δείκτης Silhouette (Silhouette Index) Δείκτης Dunn Ο δείκτης Davies-Bouldin Διαγράμματα Elbow Εξωτερικοί (external) δείκτες εκτίμησης των ομάδων Η έννοια της ευστάθειας Αλγόριθμος k-means K-means X-means Εκτίμηση του αριθμού k των clusters BIC scoring Κεφάλαιο 4 - Μεθοδολογία Τα χαρακτηριστικά του Περιβάλλοντος Δύναμη του φύλλου (hand strength) Chen formula Δυνατότητα του φύλλου (hand potential) Απόδοση pot (Pot odds) Υπόλοιπα χαρακτηριστικά Στρατηγική αναγνώρισης συμπεριφορών Διαχωρίζοντας Καταστάσεις Παιχνιδιού Διαχωρίζοντας τους Παίκτες Ομαδοποιημένη μοντελοποίηση αντιπάλων Εξαγωγή χαρακτηριστικών Συμπεριφοράς Επιλογή αριθμού συστάδων μέσω διαγραμμάτων Elbow

9 4.5 Ομαδοποίηση K-means X-means Εκτίμηση ομαδοποίησης Principal Component Analysis (PCA) Κεφάλαιο 5 - Πειράματα και αποτελέσματα Εισαγωγή Δημιουργία και επιλογή των Σετ δεδομένων Clustering Επιλογή του πλήθους των ομάδων Εκτέλεση αλγορίθμων Ομαδοποίησης Σετ δεδομένων πρακτόρων αξιολόγησης Σετ δεδομένων ACPC Αναγνώριση αντιπάλου πράκτορα Κεφάλαιο 6 - Συμπεράσματα και μελλοντικές επεκτάσεις Συμπεράσματα Μελλοντικές επεκτάσεις Βιβλιογραφία

10 Κατάλογος Σχημάτων Σχήμα 1 Κατάταξη Συνδυασμών και παραδείγματα σε φθίνουσα σειρά δυναμικότητας Σχήμα 2 Χαρακτηριστικά πονταρίσματος βασικών παικτών Σχήμα 3 Ακρίβεια δένδρων αποφάσεων και Νευρωνικών Δικτύων Σχήμα 4 Παράδειγμα μιας αλληλουχίας μηνυμάτων Σχήμα 5 Διάφοροι τρόποι ομαδοποίησης του ίδιου σετ δεδομένων [15] Σχήμα 6 Κατηγοριοποίηση των τεχνικών Clustering Σχήμα 7 (α) Συνάρτηση συμμετοχής σε απόλυτο αλγόριθμο ομαδοποίησης, (β) Συνάρτηση συμμετοχής σε ασαφή αλγόριθμο ομαδοποίησης [16] Σχήμα 8 Τυπικό διάγραμμα Elbow Σχήμα 9 Διάγραμμα Elbow για τον υπολογισμό του αριθμού των ομάδων ταξινόμησης Σχήμα 10 Ψευδοκώδικας αλγορίθμου k-means Σχήμα 11 Περίπτωση κακής επιλογής των αρχικών μητρικών σημείων για τον αλγόριθμο K- means [15] Σχήμα 12 Έξοδος του k-means με 3 κέντρα βάρους Σχήμα 13 Κάθε γνήσιο Centroid διασπάται σε δύο παιδιά Σχήμα 14 Το πρώτο βήμα του τοπικού παράλληλου 2-means. Η γραμμή που εκτείνεται σε κάθε cluster δείχνει τη μετακίνηση Σχήμα 15 Το αποτέλεσμα μετά την εκτέλεση των παράλληλων 2-means Σχήμα 16 Τα εναπομείναντα centroids μετά την ολοκλήρωση του αλγορίθμου Σχήμα 17 Διάγραμμα του σταδίου προ-επεξεργασίας δεδομένων Σχήμα 18 Στάδιο ομαδοποίησης Σχήμα 19 στάδιο αξιοποίησης και αποτελεσμάτων Σχήμα 20 Υπολογισμός του Hand Strength Σχήμα 21 Ο πίνακας των Malmuth και Sklansky. Εδώ φαίνονται χαρακτηριστικά οι δυνάμεις των preflop συνδυασμών.[24] Σχήμα 22 Τρόποι μοντελοποίησης αντιπάλων πρακτόρων Σχήμα 23 Διάγραμμα elbow για το 1ο σετ δεδομένων Σχήμα 24 Διάγραμμα elbow για το 2ο σετ δεδομένων Σχήμα 25 Διάφορες τιμές Silhouette για το πρώτο σετ δεδομένων Σχήμα 26 Τιμές του δείκτη Silhouette για ομαδοποίηση με 6 clusters για το πρώτο σετ δεδομένων Σχήμα 27 Διάφορες τιμές του δείκτη Dunn για το πρώτο σετ δεδομένων Σχήμα 28 Διάφορες τιμές του δείκτη Davies Bouldin για το πρώτο σετ δεδομένων Σχήμα 29 PCA για το πρώτο σετ δεδομένων Σχήμα 30 Τιμές του δείκτη Silhouette για διάφορα k για το 2ο σετ δεδομένων Σχήμα 31 Τιμές του δείκτη Dunn για το 2ο σετ δεδομένων Σχήμα 32 Τιμές του δείκτη Davies-Bouldin για το 2ο σετ δεδομένων Σχήμα 33 PCA plot για το 2ο σετ δεδομένων Σχήμα 34 Κατηγοριοποίηση δεδομένων με EMA εύρους Σχήμα 35 Κατηγοριοποίηση δεδομένων με EMA εύρους Σχήμα 36 Κατηγοριοποίηση δεδομένων με EMA εύρους Σχήμα 37 Κατηγοριοποίηση δεδομένων με EMA εύρους

11 Κατάλογος Πινάκων Πίνακας 1 Κατηγοριοποίηση διάσημων παιχνιδιών Πίνακας 2 Πλεονεκτήματα και μειονεκτήματα των ιεραρχικών αλγορίθμων Πίνακας 3 Ερμηνεία δείκτη Silhouette Πίνακας 4 Ερμηνεία μέσου όρου των silhouettes Πίνακας 5 Ερμηνεία του δείκτη Dunn Πίνακας 6 Κέντρα ομάδων για το 1ο σετ δεδομένων από τον αλγόριθμο k-means Πίνακας 7 Αποτελέσματα εκτέλεσης του αλγορίθμου X-means για τους 6 βασικούς παίκτες Πίνακας 8 Αποτελέσματα k-means++ στο 66% (train set) των δεδομένων του 2ου σετ Πίνακας 9 Αποτελέσματα k-means++ στο 33% (test set) των δεδομένων του 2ου σετ Πίνακας 10 Αποτελέσματα x-means στο 66% (training set) των δεδομένων του 2ου σετ Πίνακας 11 Αποτελέσματα x-means στο 33% (test set) των δεδομένων του 2ου σετ

12 Κεφάλαιο 1 - Εισαγωγή 12 Κεφάλαιο 1 - Εισαγωγή 1.1 Εισαγωγή Η ιδέα ότι θα μπορούσαμε να σχεδιάσουμε μια μηχανή, που να μπορεί να μας νικήσει στο δικό μας παιχνίδι, ήταν πάντα συναρπαστική για τον άνθρωπο. Τέτοιες ιδέες χρονολογούνται από τον 18ο αιώνα ακόμα, όταν ο Baron Wolfgang von Kempelen παρουσίασε το Maezal Chess Automaton (γνωστό στην Ευρώπη ως The Turk). Αυτό το "αυτόματο" Σκάκι κατάφερε να νικήσει παίκτες από όλο τον κόσμο (συμπεριλαμβανομένου του Ναπολέοντα Βοναπάρτη και του Benjamin Franklin) συγκεντρώνοντας μεγάλα ακροατήρια, όπου και αν εμφανιζόταν δημόσια. Αργότερα αποκαλύφθηκε ως μια περίτεχνη απάτη: το «αυτόματο» ήταν στην πραγματικότητα μια μηχανική ψευδαίσθηση, κατευθυνόμενη από ένα κρυφό εμπειρογνώμονα σε θέματα Σκάκι. Είναι αυτή η γοητεία μεταξύ άλλων, που έστρεψε την επιστήμη των υπολογιστών και τους πρώτους ερευνητές του τομέα της Τεχνητής Νοημοσύνης (ΤΝ) στη μελέτη των παιχνιδιών μέσω υπολογιστών. Ο όρος Τεχνητή Νοημοσύνη αναφέρεται στον κλάδο της επιστήμης υπολογιστών, ο οποίος ασχολείται με τη σχεδίαση και την υλοποίηση υπολογιστικών συστημάτων που μιμούνται στοιχεία της ανθρώπινης συμπεριφοράς, τα οποία υποκρύπτουν έστω και στοιχειώδη ευφυΐα όπως μάθηση, προσαρμοστικότητα, εξαγωγή συμπερασμάτων, κατανόηση από συμφραζόμενα, επίλυση προβλημάτων. Ο John McCarthy όρισε τον τομέα αυτόν ως «επιστήμη και μεθοδολογία της δημιουργίας νοούντων μηχανών». Η τεχνητή νοημοσύνη αποτελεί σημείο τομής μεταξύ πολλών πεδίων, όπως της επιστήμης υπολογιστών, της ψυχολογίας, της φιλοσοφίας, της νευρολογίας, της γλωσσολογίας και της επιστήμης μηχανικών, με στόχο όχι μόνο τη κατανόηση αλλά και τη σύνθεση ευφυούς συμπεριφοράς με στοιχεία συλλογιστικής, μάθησης και προσαρμογής στο περιβάλλον. Αυτές οι νοήμονες οντότητες ονομάζονται ευφυείς πράκτορες. Οι πράκτορες είναι υπολογιστικά συστήματα που δρουν σε ένα πολύπλοκο περιβάλλον, αντιλαμβάνονται και δρουν αυτόνομα πάνω σε αυτό, πετυχαίνοντας έτσι ένα σύνολο από στόχους για τους οποίους έχουν κατασκευαστεί. Σε αυτήν την προσέγγιση της τεχνητής νοημοσύνης μας ενδιαφέρει ο πράκτορας 12

13 να είναι ορθολογικός (rational), δηλαδή πρέπει ιδανικά να ενεργεί με τρόπο τέτοιο, ώστε να επιτυγχάνει το καλύτερο αποτέλεσμα ή, όταν υπάρχει αβεβαιότητα, το καλύτερο αναμενόμενο αποτέλεσμα. Τα παιχνίδια αποτελούν μια περιοχή έρευνας της τεχνητής νοημοσύνης ήδη από την εμφάνισή της. Αποτελούν ένα ιδανικό πεδίο για έρευνα, καθώς είναι καλά ορισμένα και έχουν ξεκάθαρους κανόνες. Ένα επιπλέον πλεονέκτημα τους είναι το έμφυτο σύστημα μέτρησης της απόδοσης που μπορεί να είναι είτε μία επιβράβευση με μία νίκη ή ήττα (π.χ. σκάκι) είτε με ένα ποσό πόντων (π.χ. poker). Το συμπαγές πλαίσιο του προβλήματος που δημιουργούν δίνει την δυνατότητα στους ερευνητές να δοκιμάζουν ιδέες και να αξιολογήσουν εύκολα τα αποτελέσματα τους. Πέρα από αυτά τα παιχνίδια αποτελούν ένα πολύ πιο φιλικό και ευχάριστο περιβάλλον εργασίας για τον ερευνητή, στο οποίο πρόκειται να αφιερώσει αρκετές ώρες δουλειάς. Στις αρχές της δεκαετίας του 1950, λίγο μετά την εφεύρεση του πρώτου υπολογιστή, έγιναν ήδη προσπάθειες να σχεδιαστούν υπολογιστές με την ικανότητα να παίξουν Checkers (Ντάμα) και Σκάκι [2]. Η έρευνα πάνω στα παιχνίδια αυτά συνεχίστηκε τις επόμενες δεκαετίες με το σκάκι να αποτελεί την κύρια πρόκληση στον τομέα της τεχνητής νοημοσύνης. Για τα επόμενα 20 περίπου χρόνια, αν και οι υπολογιστές δε μπόρεσαν να ανταγωνιστούν δυνατούς ανθρώπινους αντιπάλους, η έρευνα έκανε πολλά σημαντικά βήματα. Οι παίκτες βασιζόμενοι κυρίως σε τεχνικές αναζήτησης brute force είχαν επιτύχει εντυπωσιακό επίπεδο στο παιχνίδι. Κατά συνέπεια, η πλειοψηφία της έρευνας επικεντρώθηκε στην ταχύτερη ανάπτυξη των δομών δεδομένων και στην αναζήτηση αλγορίθμων για την περαιτέρω βελτίωση των επιδόσεων αυτών των τεχνικών. Από τα τέλη της δεκαετίας του 1980 έως τα μέσα της δεκαετίας του 1990, ακολούθησαν πολλά σημαντικά βήματα στον τομέα της θεωρίας Παιγνίων. Νέες τεχνικές, καινοτόμες ιδέες και η αύξηση των υπολογιστικών πόρων λόγω της εξέλιξης του υλικού (hardware) των υπολογιστών οδήγησαν σε μια σειρά από μεγάλες κατακτήσεις. Το πρώτο σημαντικό επίτευγμα ήταν το γεγονός ότι η Ντάμα έγινε το πρώτο παιχνίδι με μη-ανθρώπινο παγκόσμιο πρωταθλητή, όταν το πρόγραμμα Chinook [3] κέρδισε στο παγκόσμιο πρωτάθλημα ανθρώπου εναντίον μηχανών (World Man-Machine Championship). Ακολούθησε το Σκάκι το 1997, όταν 50 χρόνια επιστημονικής δουλειάς στον τομέα απέδωσαν καρπούς και το πρόγραμμα Deep Blue της IBM νίκησε τον έως τότε παγκόσμιο πρωταθλητή Garry Kasparov. Το σκάκι ανήκει στην κατηγορία των ντετερμινιστικών παιχνιδιών, δηλαδή το σκάκι δεν επηρεάζεται από τον παράγοντα τύχη και 13

14 δεν περιλαμβάνει στρατηγικές εξαπάτησης. Επιπλέον, οι παίκτες δεν κατέχουν κρυφές από τον αντίπαλο πληροφορίες και η κατάσταση του παιχνιδιού καθορίζεται πλήρως από την ακολουθία κινήσεων των παικτών, γεγονός που χαρακτηρίζει το Σκάκι ως παιχνίδι τέλειας πληροφορίας. Με σκοπό την ορθή κατηγοριοποίηση των παιχνιδιών, στη Θεωρία Παιγνίων γίνεται η διάκριση μεταξύ ντετερμινιστικών και στοχαστικών παιχνιδιών και μεταξύ παιχνιδιών τέλειας και ατελούς πληροφόρησης. Οι διαφορές αυτών των ιδιοτήτων των παιχνιδιών εντοπίζονται σε: Παιχνίδια τέλειας πληροφόρησης και ατελούς πληροφόρησης: Στα παιχνίδια τέλειας πληροφόρησης, κάθε παίκτης μπορεί να παρατηρήσει ολόκληρη την κατάσταση του παιχνιδιού με αποτέλεσμα να κατέχει τις ίδιες πληροφορίες. Το σκάκι και η ντάμα είναι χαρακτηριστικά παραδείγματα παιχνιδιών τέλειας πληροφόρησης, όπου το ταμπλό και όλα τα πιόνια των παικτών είναι ορατά από όλους τους παίκτες. Σε παιχνίδια ατελούς πληροφόρησης κάποια στοιχεία του παιχνιδιού είναι κρυφά από τους παίκτες, εισάγοντας έτσι αβεβαιότητα για την κατάσταση του παιχνιδιού. Τα περισσότερα παιχνίδια καρτών είναι παιχνίδια ατελούς πληροφόρησης, αφού οι παίκτες κατέχουν ένα σετ καρτών, το οποίο μπορούν να δουν μόνο αυτοί. Χαρακτηριστικό παράδειγμα αυτής της κατηγορίας είναι οι κρυφές κάρτες στο Texas Hold em Poker. Ντετερμινιστικά (αιτιοκρατικά) και στοχαστικά (μη αιτιοκρατικά) παιχνίδια: Σε ένα ντετερμινιστικό παιχνίδι η επόμενη κατάσταση του παιχνιδιού καθορίζεται απόλυτα από την παρούσα κατάσταση και την επόμενη κίνηση του παίκτη. Για παράδειγμα, στο Σκάκι η επόμενη κατάσταση του παιχνιδιού εξαρτάται μόνο από την παρούσα θέση των πιονιών και την κίνηση ενός από αυτά από κάποιο παίκτη. Αντίθετα, στην κατηγορία των στοχαστικών παιχνιδιών υπάρχουν τυχαία γεγονότα που επηρεάζουν την επόμενη κατάσταση του παιχνιδιού. Το μοίρασμα των φύλλων σε ένα παιχνίδι καρτών ή το ρίξιμο ενός ζαριού αποτελούν στοχαστικά γεγονότα, τα οποία καθορίζουν την επόμενη κατάσταση του παιχνιδιού και βρίσκονται έξω από τον έλεγχο των παικτών. 14

15 Χαρακτηριστικά παραδείγματα κατηγοριοποίησης γνωστών παιχνιδιών με παγκόσμια απήχηση και αναφορά στον τομέα της έρευνας παρουσιάζονται στον πίνακα 1: Πίνακας 1 Κατηγοριοποίηση διάσημων παιχνιδιών Τέλειας πληροφόρησης Ατελούς πληροφόρησης Αιτιοκρατικά Ντάμα, Σκάκι Ναυμαχία, Stratego, Mastermind Μη Αιτιοκρατικά Τάβλι, Blackjack, Monopoly Poker, Risk, Scrabble Συνοψίζοντας, η ανάλυση ντετερμινιστικών παιχνιδιών είναι λιγότερο πολύπλοκη διαδικασία σε σχέση με την αντίστοιχη στοχαστικών παιχνιδιών, καθώς η αβεβαιότητα που εισάγεται από τυχαία γεγονότα περιπλέκει το παιχνίδι και τη διαδικασία λήψης αποφάσεων. Επίσης, η λήψη ορθών αποφάσεων είναι τυπικά πιο εύκολη διαδικασία σε ένα παιχνίδι τέλειας πληροφόρησης σε σχέση με ένα παιχνίδι ατελούς πληροφόρησης. Ως αποτέλεσμα, το Σκάκι είναι πιο εύκολο παιχνίδι στη διαδικασία λήψης αποφάσεων ως ντετερμινιστικό παιχνίδι τέλειας πληροφόρησης. Δεδομένου πλέον ότι οι ηλεκτρονικοί παίκτες κερδίζουν τους καλύτερους ανθρώπινους παίκτες στο Σκάκι, η πρόκληση αυτού του παιχνιδιού αντιμετωπίστηκε και πλέον ο τομέας της Τεχνητής Νοημοσύνης αναζητά να ερευνήσει πιο σύνθετα παιχνίδια. Το τάβλι, δηλαδή ένα στοχαστικό παιχνίδι τέλειας πληροφόρησης, αποτέλεσε το επόμενο βήμα και τα αποτελέσματα ήταν θεαματικά. Το 1998 ο Shutton διατύπωσε τη μέθοδο TD(λ) για τη μάθηση χρονικών διαφορών (Temporal Difference Learning) [4]. Η πιο χαρακτηριστική επιτυχία της μεθόδου TD(λ) είναι το TD Gammon για το παιχνίδι τάβλι, που υλοποιήθηκε από τον Tesauro [5]. Χρησιμοποιώντας τεχνικές της ενισχυτικής μάθησης (Reinforcement Learning) και ύστερα από 1,5 εκατομμύρια παιχνίδια με τον εαυτό του το TD-Gammon κατάφερε όχι μόνο να έχει φτάσει σε επίπεδο ανάλογο των πρωταθλητών στο τάβλι, αλλά και εισάγει νέες στρατηγικές τρόπου παιχνιδιού στο ξεκίνημα του παιχνιδιού. Παρόμοια επιτυχία έχει επιτευχθεί για τα αιτιοκρατικά παιχνίδια ατελούς πληροφόρησης, τα οποία συχνά μπορούν να προσεγγιστούν επιτυχώς με μεθόδους brute force. Η κύρια πρόκληση στον τομέα του θεωρίας παιγνίων πλέον είναι η πιο περίπλοκη κατηγορία των στοχαστικών παιχνιδιών ατελούς πληροφορίας. Το Poker είναι χαρακτηριστικό παράδειγμα αυτής της κατηγορίας. 15

16 1.2 Μοντελοποίηση Πρακτόρων Οι περισσότεροι άνθρωποι έχουν καθημερινή επαφή με κάποιον πράκτορα, κάνοντας κάποια αναζήτηση στο Ίντερνετ, πληρώνοντας λογαριασμούς μέσω αυτοματοποιημένων τηλεφωνητών ή κάνοντας κάποια πιο απλή διαδικασία. Οι πράκτορες λαμβάνουν καθημερινά αποφάσεις που επηρεάζουν τη ζωή των ανθρώπων. Δεδομένης της ικανότητας που έχουν να αλληλεπιδρούν με άλλους πράκτορες ή ανθρώπους, οι πράκτορες έχουν τη δυνατότητα να βοηθήσουν τη ζωή των ανθρώπων ακόμα πιο αποτελεσματικά. Ο τομέας της έρευνας που αφορά τη μοντελοποίηση πρακτόρων προσπαθεί να δώσει καινούργιες ικανότητες στους πράκτορες. Στον τομέα της Τεχνητής Νοημοσύνης, ως πράκτορας ορίζεται ένα αυτόματο σύστημα λήψης αποφάσεων είτε αυτό είναι ανθρώπινη οντότητα είτε ένα πρόγραμμα. Η μοντελοποίηση των αντιπάλων έχει ως σκοπό να δώσει στους πράκτορες τη ικανότητα να βγάζουν συμπεράσματα για τις πεποιθήσεις, τα σχέδια και τους στόχους των άλλων πρακτόρων. Ειδικότερα, ως μοντελοποίηση πρακτόρων ορίζεται το πρόβλημα του σχεδιασμού ενός προγνωστικού μοντέλου για τις αποφάσεις κάποιου άλλου πράκτορα, συνήθως ερμηνεύοντας ατελείς πιθανώς παρατηρήσεις της παρελθούσης συμπεριφοράς του. Με ένα ακριβές τέτοιο προγνωστικό μοντέλο ένας πράκτορας μπορεί να σχεδιάσει και να εκτελέσει μια πιο αποτελεσματική απόκριση. Πέρα από την ευεργετική καθημερινή δράση, η μοντελοποίηση πρακτόρων μπορεί να εφαρμοστεί και σε πολλά πεδία του τομέα της Τεχνητής Νοημοσύνης. Πολλές εφαρμογές, όπως οι βοηθητικές τεχνολογίες, η αυτόνομη οδήγηση και η διαδραστική διασκέδαση, απαιτούν ή μπορεί να επωφεληθούν σημαντικά από ακριβή μοντέλα άλλων πρακτόρων, τεχνητών ή ανθρώπινων. Τα πεδία αυτά όμως έχουν ιδιαιτερότητες που δυσχεραίνουν τη μοντελοποίηση των άλλων πρακτόρων. Τέτοιες ιδιαιτερότητες συμπεριλαμβάνουν: Περιορισμένος αριθμός παρατηρήσεων: Η μοντελοποίηση πρακτόρων είναι μια διαδικασία που πρέπει να γίνεται γρήγορα, γεγονός που σημαίνει ότι το μοντέλο πρέπει να οικοδομείται χρησιμοποιώντας όσο το δυνατό μικρότερο αριθμό παρατηρήσεων. Στοχαστικές παρατηρήσεις: Οι πράκτορες συχνά λαμβάνουν αποφάσεις στοχαστικά ή το ίδιο το περιβάλλον μπορεί να είναι στοχαστικό, όπως σε στοχαστικά παιχνίδια σαν το Poker. 16

17 Ατελής Πληροφόρηση: Το περιβάλλον συχνά είναι μερικώς ορατό, δηλαδή ένα τμήμα του είναι άγνωστο για τον πράκτορα. Επίσης, είναι πιθανόν οι πράκτορες προς μοντελοποίηση να κατέχουν αυτές τις κρυφές πληροφορίες. Δυναμική Συμπεριφορά: Οι πράκτορες είναι πιθανόν να αλλάζουν συμπεριφορά με το πέρασμα του χρόνου. Παραδείγματα τέτοιας συμπεριφοράς συμπεριλαμβάνουν την αλλαγή συμπεριφοράς των καταναλωτών ή κάποιου παίκτη, που αλλάζει στρατηγική στην πορεία του παιχνιδιού. Ανάλογα με το περιβάλλον, πολλά από αυτά τα χαρακτηριστικά πρέπει να συνεκτιμηθούν από τον πράκτορα κατά τη δημιουργία μοντέλου για τον αντίπαλο. Οι στοχαστικές παρατηρήσεις και η δυναμική συμπεριφορά απαιτούν από τον πράκτορα να σχεδιάσει το μοντέλο με βάση τις αναμενόμενες πιθανές επιλογές του αντιπάλου και τις πιθανές αλλαγές του περιβάλλοντος. Η ατελής πληροφόρηση δυσχεραίνει την συσχέτιση μιας παρατηρούμενης συμπεριφοράς με ένα μοναδικό πράκτορα. Ο συνδυασμός όλων αυτών των παραγόντων καθιστά τη διαδικασία μοντελοποίησης αντιπάλων ιδιαίτερα δύσκολη. 1.3 Περιγραφή του Προβλήματος Στην εποχή μας το πόκερ είναι ένα από τα πιο διάσημα παιχνίδια με τράπουλα με πολλούς θαυμαστές και παίκτες παγκοσμίως. Σε ένα παιχνίδι μπορούν να συμμετέχουν δύο (2) έως δέκα (10) παίκτες σε ένα τραπέζι, ή απεριόριστος αριθμός παικτών σε τουρνουά με πολλαπλά τραπέζια. Ως πόκερ δεν εννοείται ένα συγκεκριμένο παιχνίδι, αλλά υπάρχουν πολλές παραλλαγές του, όπως για παράδειγμα το Poker Omaha, το Poker Texas Hold em κ.ά. Στα πλαίσια αυτής της διπλωματικής το ενδιαφέρον επικεντρώνεται στο Poker Texas Hold em. Οι τέσσερεις (4) πιο γνωστές παραλλαγές του Poker Texas Hold em διαχωρίζονται με βάση τα όρια πονταρίσματος: Limit Texas Hold em: Σε αυτό τον τύπο παιχνιδιού το ύψος του πονταρίσματος περιορίζεται από ένα προσυμφωνημένο ποσό πριν ξεκινήσει η παρτίδα. Κατά τη διάρκεια του παιχνιδιού το ποσό που μπορούν να ποντάρουν πρέπει να είναι ακριβώς ίσο με αυτό το ποσό. Ο παίκτης μπορεί να ποντάρει τέσσερεις (4) φορές με την ακόλουθη σειρά: bet, raise, re-raise και το τελευταίο raise, γνωστό και ως cap. No Limit Texas Hold em: Σε αυτή την κατηγορία ο παίκτης μπορεί να ποντάρει όσες 17

18 μάρκες θέλει. Έτσι ανά πάσα στιγμή το συνολικό στοίχημα μπορεί να αυξηθεί κατακόρυφα. Οι υπόλοιποι παίκτες θα πρέπει να ποντάρουν -συνολικά- το ίδιο ακριβώς όσο με το ποντάρισμα (call) ή μπορούν να αυξήσουν με τη σειρά τους το ποντάρισμα όσο θέλουν. Pot Limit Texas Hold em: Σε αντίθεση με το No Limit, στο Pot Limit Texas Hold em υπάρχουν συγκεκριμένα όρια στο παιχνίδι. Το ελάχιστο ποντάρισμα ισούνται με το μέγεθος του big blind, δηλαδή του υποχρεωτικού πονταρίσματος, όπως θα εξηγηθεί στο κεφάλαιο 2, ενώ οι παίκτες μπορούν να ποντάρουν μέχρι και το ποσό που βρίσκεται στο pot. Το γεγονός ότι υπάρχουν όρια έχει ως αποτέλεσμα παιχνίδια μεγαλύτερης διάρκειας και αυτό κάνει το συγκεκριμένο τύπο παιχνιδιού πολύ δημοφιλές. Mixed Texas Hold em: Το παιχνίδι εναλλάσσεται ανά γύρο με όρους τόσο από το Limit Texas Hold em και από το No Limit Texas Hold em. Η συχνότητα εναλλαγής του τρόπου παιχνιδιού και τα πονταρίσματα καθορίζονται πριν ξεκινήσει το παιχνίδι. Το παιχνίδι χρησιμοποιεί την κλασσική τράπουλα με τα πενήντα δύο (52) φύλλα με τέσσερα (4) διαφορετικά χρώματα και (13) φύλλα για το καθένα. Τα χρώματα και οι συμβολισμοί τους είναι : σπαθιά [ ] (clubs), καρό [ ] (diamonds), μπαστούνια [ ] (spades) και οι κούπες [ ] (hearts). Κάθε χρώμα περιέχει τα παρακάτω φύλλα: άσο [Α] (ace), παπά [K] (king), ντάμα [Q] (queen), βαλέ [J] (Jack), δέκα [10] (ten), εννέα [9] (nine), οκτώ [8] (eight), επτά [7] (seven), έξι [6] (six), πέντε [5] (five),τέσσερα [4] (four), τρία [3] (three) και δύο [2] (two). Στο Σχήμα 1 παρουσιάζεται η ταξινόμηση των πιθανών συνδυασμών στο πόκερ από τον υψηλότερο (Φλος Ρουαγιαλ) έως το χαμηλότερο (Υψηλό Φύλλο). 18

19 Σχήμα 1 Κατάταξη Συνδυασμών και παραδείγματα σε φθίνουσα σειρά δυναμικότητας Το πόκερ είναι ένα παιχνίδι που εξελίσσεται σε στάδια. Σε κάθε στάδιο μοιράζονται φύλλα στους ενεργούς παίκτες (κάποια από αυτά είναι ορατά σε όλους και άλλα είναι ορατά σε κάθε παίκτη ξεχωριστά). Οι παίκτες ποντάρουν σε κάθε στάδιο ότι ο συνδυασμός φύλλων που κατέχουν είναι δυνατότερος από εκείνο των αντιπάλων ή θα είναι στο τέλος του παιχνιδιού. Δεδομένου ότι κάθε παίκτης γνωρίζει μόνο τα φύλλα του και όχι αυτά των αντιπάλων, το πόκερ είναι ιδανικό παράδειγμα παιχνιδιού ατελούς πληροφόρησης. Επίσης, το γεγονός ότι οι παίκτες δεν έχουν έλεγχο των καρτών που μοιράζονται τοποθετεί το πόκερ στην κατηγορία των στοχαστικών παιχνιδιών. Δεδομένου ότι το πόκερ είναι ένα τυχερό παιχνίδι, όπου ο στόχος κάθε παίκτη είναι η μεγιστοποίηση των κερδών, οι παίκτες συχνά παίζουν πολλά συνεχόμενα παιχνίδια ενάντια στους ίδιους παίκτες. Αυτή η επαναλαμβανόμενη αλληλεπίδραση δίνει στους παίκτες τη δυνατότητα να μάθουν τις στρατηγικές του αντιπάλου με την ελπίδα ότι αυτή η πληροφορία θα τους 19

20 βοηθήσει να εκμεταλλευτούν πιθανές αδυναμίες στον τρόπο παιχνιδιού του αντιπάλου τους και συνεπώς να μεγιστοποιήσουν τα κέρδη τους. Όλα τα παραπάνω χαρακτηριστικά καθιστούν το πόκερ στρατηγικά περίπλοκο παρά τους απλούς του κανόνες του. Αυτά τα χαρακτηριστικά είναι ο κύριος λόγος για τον οποίο το πόκερ είναι σήμερα ιδανικό πεδίο δοκιμών για πολλές σημαντικές εκφάνσεις του τομέα της Τεχνητής Νοημοσύνης: Θεωρία αποφάσεων και πιθανολογική συλλογιστική (decision theory-probabilistic reasoning): Η τυχαιότητα λόγω του μοιράσματος των φύλλων και της έλλειψης πληροφοριών καθιστούν το πόκερ ένα αβέβαιο και περίπλοκο πεδίο. Ως αποτέλεσμα, ένας καλός παίκτης πρέπει να είναι έμπειρος στη θεωρία αποφάσεων και στην πιθανολογική συλλογιστική. Εκτίμηση κινδύνου (risk assessment): Το πόκερ παίζεται σε στάδια που περιέχουν τόσο μοίρασμα νέων καρτών όσο και νέα πονταρίσματα. Για να μπορεί ένας παίκτης να ανταπεξέλθει σε αυτό το περιβάλλον, θα πρέπει να μπορεί να εκτιμήσει σωστά τα ρίσκα που αναλαμβάνει. Μοντελοποίηση των Αντιπάλων (opponent modeling): Τα επαναλαμβανόμενα παιχνίδια εναντίον κάποιου παίκτη βοηθούν τον πράκτορα να αναγνωρίσει τη στρατηγική που ακολουθεί. Η μοντελοποίηση των αντιπάλων επιτρέπει στον πράκτορα να αναπτύξει αντι-στρατηγικές με βάση τη συμπεριφορά του αντιπάλου, σκοπεύοντας να μεγιστοποιήσει τα κέρδη του. Οι ιδιαιτερότητες του πόκερ το καθιστούν ιδανικό πεδίο δοκιμών για τον τομέα της Τεχνητής Νοημοσύνης και η έρευνα πάνω σε αυτό πιθανώς να βοηθήσει στην αντιμετώπιση άλλων προβλημάτων, όπως: Η μοντελοποίηση του χρήστη: Η μοντελοποίηση χρηστών είναι πολύ δημοφιλής στην έρευνα της Τεχνητής Νοημοσύνης και η μοντελοποίηση των αντιπάλων είναι μια μορφή της. Στην τυπική μοντελοποίηση χρηστών γίνεται προσπάθεια να αναγνωριστούν πρότυπα (patterns) ενδιαφέροντος των χρηστών, ώστε αυτά τα πρότυπα να χρησιμοποιηθούν στο σχεδιασμό εφαρμογών που θα εκμεταλλευτούν αυτή την πληροφορία. Για παράδειγμα, πολλά διαδικτυακά καταστήματα χρησιμοποιούν τεχνικές μοντελοποίησης χρηστών, ώστε να παρατηρήσουν τις συνήθειες και τα ενδιαφέροντά τους και στη συνέχεια προσαρμόζουν ανάλογα τις διαφημίσεις τους και τα προϊόντα 20

21 τους. Πράκτορες χάραξης πολιτικής ή διαπραγματεύσεων (policy-making or negotiation agents): Γνωστοί ερευνητές της θεωρίας παιγνίων, όπως ο John Van Neumann και ο John Nash είχαν εξαρχής συνειδητοποιήσει ότι το πόκερ μπορεί να απεικονίσει θεμελιώδεις αρχές της θεωρίας παιγνίων, που στη συνέχεια εφαρμόστηκαν σε ποικίλα πεδία από την πολιτική έως τα οικονομικά ή ακόμα και σε στρατιωτικές στρατηγικές. Ο σχεδιασμός ενός αυτοματοποιημένου πράκτορα λήψης αποφάσεων στο πόκερ θα μπορούσε να οδηγήσει σε πρόοδο και σε κάποιους από αυτούς τους τομείς. Πράκτορες διαδικτυακών δημοπρασιών (online auction agents): Το πόκερ είναι παρεμφερές πεδίο με αυτό των διαδικτυακών δημοπρασιών, όπου επίσης κρίνεται αναγκαία η μοντελοποίηση των χρηστών. Είναι φυσικό και επόμενο λοιπόν, πρόοδος στη δημιουργία ενός ικανού παίκτη πόκερ, που αντιλαμβάνεται το περιβάλλον και τους αντιπάλους του, θα μπορούσε να σημάνει πρόοδο και καινοτόμες ιδέες στον τομέα των διαδικτυακών δημοπρασιών. 21

22 1.4 Στόχοι διπλωματικής εργασίας Σκοπός της παρούσας διπλωματικής εργασίας είναι η μελέτη του πόκερ ως προβλήματος Τεχνητής Νοημοσύνης και η μοντελοποίηση των αντίπαλων πρακτόρων χρησιμοποιώντας αλγόριθμους ομαδοποίησης. Για να επιτευχθεί αυτός ο σκοπός θα πρέπει να υλοποιηθούν οι παρακάτω επιμέρους στόχοι: Αξιολόγηση της παρτίδας: Είναι αναγκαίο να μπορεί ο πράκτορας αρχικά να αξιολογεί την αξία των φύλλων και την παρούσα κατάσταση του παιχνιδιού σε όλους τους γύρους της παρτίδας. Η αξιολόγηση πρέπει να λαμβάνει υπόψη όλα τα στοιχεία του παιχνιδιού, όπως τη δύναμη του φύλλου, το μέγεθος του pot, τη θέση του παίκτη κ.ά. Ο παίκτης πρέπει να είναι σε θέση να αντιληφθεί τις κινήσεις του αντιπάλου και με βάση αυτές να προσπαθήσει να τον ταξινομήσει. Ομαδοποίηση των συμπεριφορών των αντιπάλων: Η γνώση του στυλ παιχνιδιού του αντιπάλου είναι ένα σημαντικό εφόδιο στην προσπάθεια του πράκτορα να μεγιστοποιήσει τα κέρδη του. Ιδανικά θα θέλαμε να αναγνωρίζεται διακριτά για κάθε αντίπαλο η στρατηγική του, ώστε στη συνέχεια να εκμεταλλευτούμε τις αδυναμίες τις αντίπαλης στρατηγικής. Στα πλαίσια της παρούσας εργασίας όμως οι συμπεριφορές των αντιπάλων ομαδοποιούνται με βάση τα κοινά χαρακτηριστικά που εμφανίζουν. Αναγνώριση συμπεριφοράς αντιπάλου: Τελικός στόχος είναι ο σχεδιασμός ενός συστήματος κατηγοριοποίησης των διάφορων στρατηγικών στις ομάδες που θα δημιουργηθούν με την επίτευξη του προηγούμενου στόχου. Σε αυτό το στάδιο η συμπεριφορά των παικτών πρέπει να αναγνωρίζεται και να ταξινομείται σε κάποια από αυτές τις ομάδες. Σημαντικό στοιχείο αυτής της διαδικασίας πρέπει να είναι ο επαναλαμβανόμενος έλεγχος της συμπεριφοράς του αντιπάλου, ώστε να μπορούν να αντιμετωπισθούν δυναμικοί παίκτες. 22

23 1.5 Μεθοδολογία Στο σημείο αυτό, εφόσον έχουν αποσαφηνιστεί οι στόχοι και το θέμα της παρούσας διπλωματικής εργασίας, θα αναφερθούμε στην πορεία εκπόνησης και τη μεθοδολογία που ακολουθήθηκε. Η πορεία μπορεί να χωριστεί σε τρία (3) διαφορετικά στάδια: ένα προπαρασκευαστικό στάδιο, ένα πρακτικό και ένα απολογιστικό-συμπερασματικό στάδιο. Τα στάδια αυτά δεν είναι διακριτά και αποκομμένα μεταξύ τους, καθώς σε καθένα υπήρξαν επιμέρους τμήματα θεωρητικής προεργασίας, πράξης, αξιολόγησης και τροποποίησης των διάφορων παραμέτρων. Κατά το πρώτο στάδιο έγινε η θεωρητική προετοιμασία, όπου αρχικά μελετήθηκαν εργασίες και δημοσιεύσεις σχετικά με τη μοντελοποίηση πρακτόρων, τεχνικές ομαδοποίησης (clustering), στρατηγικές αναγνώρισης αντιπάλων στο πόκερ και άλλες πτυχές των πρακτόρων πόκερ. Στη βιβλιογραφία υπάρχουν πολλές διαφορετικές υλοποιήσεις και τεχνικές μοντελοποίησης αντιπάλων πρακτόρων στο πόκερ, οι οποίες αναλύονται στο κεφάλαιο 2. Οι τεχνικές διαφέρουν μεταξύ τους σημαντικά όσον αφορά τους αλγορίθμους που χρησιμοποιούν, όμως όλες έχουν κάποια κοινά χαρακτηριστικά στον τρόπο αποτύπωσης των χαρακτηριστικών του αντιπάλου. Επίσης, μελετήθηκε η πλατφόρμα του διαγωνισμού Annual Computer Poker Competition (ACPC) με σκοπό να γίνουν κατανοητοί οι κανόνες και η δομή αρχείων, που αφορά το ιστορικό των παιχνιδιών, που διατηρεί ο server του διαγωνισμού, καθώς το σύστημα μοντελοποίησης αντιπάλων που υλοποιήθηκε αντλεί δεδομένα από παλαιότερα παιχνίδια παιχτών του διαγωνισμού. Κατά το δεύτερο στάδιο αναπτύχθηκε το σύστημα ομαδοποίησης των συμπεριφορών των αντιπάλων πρακτόρων. Πρώτα σχεδιάστηκε το σύστημα κρίσης της συμπεριφοράς των αντιπάλων σε κάθε γύρο με βάση τέσσερις παραμέτρους συμπεριφοράς. Στη συνέχεια από τα δεδομένα του διαγωνισμού ACPC μέσω κατάλληλης επεξεργασίας προέκυψαν αυτές οι παράμετροι συμπεριφοράς. Στο στάδιο αυτό χρησιμοποιούνται ο δημοφιλής αλγόριθμος ταξινόμησης k-means και δύο παραλλαγές αυτού του αλγορίθμου, ο k-means++ και ο x-means, καθώς και διάφοροι δείκτες εκτίμησης της ομαδοποίησης. Για τη χρήση των δύο αυτών παραλλαγών μελετήθηκε η πλατφόρμα Weka, η οποία παρέχει εργαλεία ταξινόμησης, εκπαίδευσης και εκτίμησης των αποτελεσμάτων. Το πρακτικό στάδιο χωρίστηκε στη συνέχεια σε δύο φάσεις, οι οποίες συνδέονται στενά με το στάδιο του απολογισμού. Στην πρώτη φάση, ο 23

24 πράκτορας TiltNet αντιμετώπισε πράκτορες αξιολόγησης και τα δεδομένα που προέκυψαν χρησιμοποιήθηκαν για την ομαδοποίηση της συμπεριφοράς των παικτών που συμμετείχαν σε αυτά τα παιχνίδια. Εφόσον τα συμπεράσματα της πρώτης ταξινόμησης κρίθηκαν ικανοποιητικά, επιβεβαίωσαν την ορθότητα της διαδικασίας και το πρακτικό στάδιο συνεχίστηκε με εφαρμογή των αλγορίθμων σε παιχνίδια από το ιστορικό του διαγωνισμού ACPC. Σαν τελικό στάδιο της εκπόνησης της διπλωματικής εργασίας ορίζουμε τη διαδικασία αξιολόγησης και σύγκρισης των πειραματικών αποτελεσμάτων. Σε αυτό το σημείο έγινε η ανάπτυξη του υποσυστήματος αναγνώρισης και κατηγοριοποίησης του αντιπάλου παίκτη σε κάποια από τις ομάδες συμπεριφοράς του δεύτερου σταδίου μέσω υπολογισμού του κινητού εκθετικού μέσου όρου των παραμέτρων συμπεριφοράς. Σκοπός του υποσυστήματος αυτού είναι η αξιολόγηση της ορθότητας της μεθοδολογίας που ακολουθήθηκε. Σε αυτό το στάδιο επίσης εντάσσεται και η συγγραφή του παρόντος κειμένου, που έχει σαν στόχο την επιστημονική παρουσίαση του έργου. 24

25 1.6 Οργάνωση της διπλωματικής εργασίας Στο κεφάλαιο 1 περιγράφεται αναλυτικά το πρόβλημα που καλείται να επιλύσει η παρούσα διπλωματική εργασία και δίνεται περιγραφικά η βασική ιδέα του τρόπου προσέγγισης και αντιμετώπισης του προβλήματος. Στα επόμενα κεφάλαια θα γίνει εκτενέστερη και πληρέστερη παρουσίαση των επιμέρους θεμάτων που αφορούν την εργασία. Το κεφάλαιο 2 περιλαμβάνει μια θεωρητική επεξήγηση των περιοχών της αναγνώρισης προτύπων και των μεθόδων ομαδοποίησης που χρησιμοποιήθηκαν. Αρχικά περιγράφεται το παιχνίδι Texas Hold em και οι κανόνες του. Επιπλέον, γίνεται αναφορά σε βασικούς γνωστούς πράκτορες πόκερ και στον τρόπο παιχνιδιού τους. Ακολουθεί η βιβλιογραφική αναζήτηση στον τομέα της μοντελοποίησης των αντιπάλων και η περιγραφή μερικών από τους τρόπους υλοποίησής της. Στη συνέχεια, παρουσιάζεται το περιβάλλον που χρησιμοποιήθηκε, δηλαδή μια σύντομη περιγραφή της πλατφόρμας του Annual Computer Poker Competition και του προγράμματος Weka. Στο κεφάλαιο 3 γίνεται αναλυτική παρουσίαση των τεχνικών ομαδοποίησης που χρησιμοποιήθηκαν. Αρχικά περιγράφονται οι τρόποι ομαδοποίησης και οι κατηγορίες των αλγορίθμων που την υλοποιούν. Έπειτα γίνεται περιγραφή του αλγορίθμου k-means και των παραλλαγών του, συγκρίνοντας τα πλεονεκτήματα και τα μειονεκτήματά τους. Ακολούθως περιγράφεται το θεωρητικό υπόβαθρο που αφορά τους δείκτες εκτίμησης της ορθότητας της ομαδοποίησης, οι κατηγορίες δεικτών και οι μαθηματικές σχέσεις που τους ορίζουν. Στο κεφάλαιο 4 αναλύεται η μεθοδολογία που ακολουθήθηκε ξεκινώντας από την παρουσίαση του περιβάλλοντος του πράκτορα και την αρχική κωδικοποίησή του με βάση τα χαρακτηριστικά σε ανύσματα χαρακτηριστικών. Στη συνέχεια επεξηγείται ο τρόπος με τον οποίο εξάγονται τα χαρακτηριστικά συμπεριφοράς από κάθε παρτίδα, αναλύεται η προσαρμογή των αλγορίθμων στα πλαίσια της μοντελοποίησης του αντιπάλου και περιγράφεται η μεθοδολογία ανάπτυξης του συστήματος ομαδοποίησης και αναγνώρισης της συμπεριφοράς των αντιπάλων με βάση τα χαρακτηριστικά συμπεριφοράς που εξήχθησαν από τις παραμέτρους των παιχνιδιών. Στο κεφάλαιο 5 τα βήματα της ομαδοποίησης δίνονται στην πράξη και παρουσιάζεται η πειραματική διαδικασία. Στα πλαίσια αυτού του κεφαλαίου παρουσιάζονται αναλυτικά τα διαγράμματα από τα πειράματα που εκτελέστηκαν και τέλος επεξηγούνται και αξιολογούνται τα αποτελέσματα της ομαδοποίησης των συμπεριφορών των πρακτόρων. Σε αυτό το στάδιο γίνεται 25

26 η επιλογή του αριθμού των ομάδων συμπεριφοράς και τέλος το σύστημα αναγνώρισης της συμπεριφοράς των αντιπάλων και η κατηγοριοποίησή τους σε κάποια ομάδα με βάση αυτή. Τέλος, στο κεφάλαιο 6, καταγράφονται τα συμπεράσματα της διπλωματικής και προτείνονται σκέψεις για μελλοντική εργασία πάνω στο πρόβλημα της μοντελοποίησης των αντίπαλων πρακτόρων στο πόκερ και γενικότερα στην περαιτέρω βελτίωσης των πρακτόρωνπαικτών του παιχνιδιού Poker. 26

27 Κεφάλαιο 2 - Θεωρητικό υπόβαθρο 27 Κεφάλαιο 2 - Θεωρητικό υπόβαθρο 2.1 Εισαγωγή Η παραλλαγή του Poker με την οποία ασχολούμαστε στα πλαίσια της παρούσας διπλωματικής εργασίας είναι το Limit heads-up Texas Hold em, καθώς είναι η πιο απλή και χρησιμοποιείται από πολλούς ερευνητές λόγω της μικρότερης πολυπλοκότητας που παρουσιάζει σε σχέση με κανονικά παιχνίδια με περισσότερους παίκτες. Ωστόσο στην πραγματικότητα, η παραλλαγή no Limit του παιχνιδιού είναι πιο διαδεδομένη. Ο όρος heads-up αναφέρεται σε αναμέτρηση μόνο 2 παικτών και ο όρος limit αφορά, όπως αναφέρθηκε πρωτύτερα, στον περιορισμό των ποσών του πονταρίσματος, μειώνοντας σημαντικά και τον αριθμό των επιτρεπόμενων ενεργειών για τους πράκτορες. Στην παρούσα εφαρμογή και για αυτή την παραλλαγή του πόκερ χρησιμοποιήθηκαν οι προδιαγραφές του ετήσιου διεθνούς διαγωνισμού Annual Computer Poker Competition (ACPC). Στο τραπέζι του πόκερ συμμετέχουν δύο παίκτες (heads-up). Εναλλάξ, σε κάθε παρτίδα οι παίκτες αποκτούν το ρόλο του dealer, ο οποίος είναι ο πρώτος παίκτης που «μιλάει», δηλαδή κάνει κάποια κίνηση. Στην αρχή της παρτίδας μοιράζονται από δύο κρυφά φύλλα στους παίκτες (hole cards) σε κάθε παίκτη και αυτοί με τη σειρά τους τοποθετούν τα υποχρεωτικά πονταρίσματα (blinds). Ο παίκτης που κατέχει το ρόλο του dealer καταθέτει το μικρότερο ποντάρισμα (small blind), ποσό αντίστοιχο με το μισό του ελάχιστου πονταρίσματος. Ο άλλος παίκτης πληρώνει υποχρεωτικά το μεγαλύτερο ποντάρισμα (big blind), το οποίο είναι ίσο με το ελάχιστο ποντάρισμα. Οι προδιαγραφές που χρησιμοποιήθηκαν καθορίζουν ότι το big blind ισούται με αξία δέκα (10) και το small blind αντίστοιχα ισούται με αξία πέντε (5). Ο παίκτηςdealer «μιλάει» πρώτος και έχει τη δυνατότητα να εκτελέσει μια εκ τριών ενεργειών: I. Να κάνει call, δηλαδή να ισοφαρίσει το ποσό που υπολείπεται του αντιπάλου, αξίας 5 II. Να κάνει raise, δηλαδή αφού ισοφαρίσει το ποσό που υπολείπεται να αυξήσει το ποσό του τραπεζιού (pot) με το ελάχιστο ποσό πονταρίσματος, καταθέτοντας συνολικά ποσό αξίας 15 III. Να κάνει fold χάνοντας την παρτίδα. Αν ο dealer κάνει call, ο άλλος παίκτης έχει δικαίωμα να κάνει είτε check, δηλαδή να 27

28 Κεφάλαιο 2 - Θεωρητικό υπόβαθρο 28 αφήσει τα πονταρίσματα ως έχουν και να περάσει έτσι η παρτίδα στο επόμενο βήμα, είτε raise, δηλαδή να αυξήσει το ποντάρισμα και να αφήσει πάλι στον dealer το περιθώριο να κάνει call, raise ή fold. Μόλις τα πονταρίσματα παραμείνουν ισοφαρισμένα, ολοκληρώνεται ο γύρος που ονομάζεται γύρος preflop. Στη συνέχεια η παρτίδα περνά στο επόμενο στάδιο, δηλαδή στο γύρο flop. Σε αυτό το στάδιο τρία (3) κοινά φύλλα ανοίγουν στο τραπέζι (community cards) και ακολουθεί ένας γύρος πονταρίσματος. Αν τα πονταρίσματα παραμείνουν ισοφαρισμένα, το παιχνίδι περνά στο γύρο turn, όπου ανοίγει ένα επιπλέον κοινό φύλλο στο τραπέζι και ακολουθεί ένας γύρος πονταρίσματος. Αν μετά από αυτό το γύρο τα πονταρίσματα παραμείνουν ισοφαρισμένα, το παιχνίδι περνά στον τελευταίο γύρο, που ονομάζεται river. Στο γύρο αυτό ένα ακόμα φύλλο ανοίγει και ακολουθεί νέος γύρος πονταρίσματος. Αν μετά το γύρο αυτό τα πονταρίσματα παραμείνουν ισοφαρισμένα και οι παίκτες παραμένουν στο παιχνίδι, περνάμε στο άνοιγμα των κρυφών φύλλων (showdown) και ο παίκτης με τον καλύτερο συνδυασμό (των κρυφών και ανοιχτών φύλλων) 5 φύλλων, όπως παρουσιάζεται στο σχήμα 1, κερδίζει το ποσό του συνολικού πονταρίσματος και το παιχνίδι λήγει. Στο preflop και στο flop τα πονταρίσματα είναι ίσα με την αξία του big blind (αξία 10), ενώ στους γύρους turn και river είναι διπλάσιας αξίας, προσομοιάζοντας έτσι την τυπική εξέλιξη ενός παιχνιδιού πόκερ. Τέλος, στο preflop μπορεί να γίνει ένα bet, ένα raise και δύο re-raise στη συνέχεια. Κάθε παίκτης κατέχει μάρκες απεριόριστης αξίας. 2.2 Τύποι στρατηγικών Μια στρατηγική σε αυτό το πλαίσιο αναφέρεται στη χαρτογράφηση μεταξύ των καταστάσεων του παιχνιδιού και των αποφάσεων που ένας πράκτορας θα λάβει όταν βρεθεί σε αυτές [6]. Συνήθως, η στρατηγική ενός πράκτορα εντοπίζεται στον καθορισμό τριών πιθανοτήτων σε κάθε κατάσταση του παιχνιδιού. Οι πιθανότητες αυτές καθορίζουν το ποσοστό του χρόνου που ένας πράκτορας παραιτείται από το παιχνίδι (fold), επιτρέπει τα πονταρίσματα να παραμείνουν σταθερά (check/call) ή ποντάρει επιπλέον χρήματα (bet/raise). Η στρατηγική αυτή χαρακτηρίζεται στατική, όταν με την πάροδο του χρόνου δεν αλλάζει, ενώ, αν εξελίσσεται παράλληλα με το παιχνίδι, λέγεται προσαρμοστική. Η μοντελοποίηση του αντίπαλου πράκτορα σχετίζεται πολλές φορές με την προσπάθεια να υπολογιστούν οι κατανομές αυτών των 28

29 Κεφάλαιο 2 - Θεωρητικό υπόβαθρο 29 πιθανοτήτων και να συνδεθούν με τον τρόπο παιχνιδιού κάποιου πράκτορα ή μιας ομάδας πρακτόρων, όπως αναλύεται στη συνέχεια. Ιδιαίτερο ενδιαφέρον στη Θεωρία Παιγνίων παρουσιάζει η ισορροπία Nash (Nash equilibrium), η οποία πήρε το όνομά της από τον άνθρωπο που την εισήγαγε, τον John Nash. Η ισορροπία αυτή αναφέρεται στην «αντίληψη» επίλυσης ενός παιχνιδιού δύο ή περισσοτέρων παικτών, όπου κάθε παίκτης ξέρει την ισορροπία μεταξύ των στρατηγικών των άλλων παικτών και όμως κανένας δεν μπορεί να κερδίσει κάτι αλλάζοντας μόνο αυτός τη στρατηγική του. Αν για παράδειγμα υποθέσουμε ότι ένας παίκτης μαθαίνει τις στρατηγικές των άλλων παικτών και παρότι τις γνωρίζει, δεδομένου ότι μένουν αναλλοίωτες, δε μπορεί να αλλάξει τη δική του με κάποιο ωφέλιμο προς αυτόν τρόπο, τότε εμφανίζεται η ισορροπία Nash. Μια βέλτιστη στρατηγική (optimal strategy) στη Θεωρία Παιγνίων είναι αυτή που μεγιστοποιεί το κέρδος και ελαχιστοποιεί την απώλεια απέναντι σε οποιοδήποτε αντίπαλο. Αυτός ο τρόπος παιχνιδιού είναι ο ασφαλέστερος όταν η στρατηγική του αντιπάλου παραμένει άγνωστη. Με άλλα λόγια, ο παίκτης επιχειρεί όχι τόσο να κερδίσει, αλλά περισσότερο να μην υποστεί απώλειες χρημάτων. Ο καλύτερος τρόπος για να αντιμετωπίσουμε ένα τέτοιο παίκτη είναι να παίξουμε με την ίδια (βέλτιστη) στρατηγική σε μια προσπάθεια να επαναφέρουμε το παιχνίδι σε ισορροπία Nash. Επειδή η στρατηγική ισορροπίας προϋποθέτει ένα άγνωστο αντίπαλο, ο πράκτορας θα περιορίσει τη δική του απώλεια χρημάτων με κόστος την εκμετάλλευση πιθανών αδύναμων αντιπάλων ή στρατηγικών. Ως εκ τούτου, αν και αυτή η στρατηγική δε μπορεί θεωρητικά να χάσει, δε μπορεί επίσης να κερδίσει ασθενέστερες στρατηγικές. 2.3 Κατηγορίες και τύποι παικτών Βασικές κατηγορίες παικτών Οι παίκτες κατηγοριοποιούνται ανάλογα με τον τρόπο παιχνιδιού τους σε 4 βασικές συμπεριφορές κατά τη διάρκεια του παιχνιδιού [7]. Οι παρακάτω παίκτες εκφράζουν αυτές τις συμπεριφορές : Loose Aggressive (LAG): Ο παίκτης αυτός είναι «χαλαρός» (loose) όποια τα φύλλα και αν κρατά και παραμένει στο παιχνίδι ακόμα και όταν είναι απίθανο να κερδίσει. Όταν του δοθεί η ευκαιρία να μείνει στο παιχνίδι, ο παίχτης θα φερθεί επιθετικά ποντάροντας 29

30 Κεφάλαιο 2 - Θεωρητικό υπόβαθρο 30 και κάνοντας συνεχώς re-raise. Loose Passive (LP-Calling Station): Ο παίκτης υπερεκτιμά την κάρτα του (ως loose), αλλά δεν κάνει άλλες κινήσεις πέρα από check. Προβαίνει σε ποντάρισμα (bet) μόνον όταν η πιθανότητα νίκης είναι εξαιρετικά μεγάλη. Tight Aggressive (TAG): Ο παίκτης εκτελεί τις κινήσεις του με βάση τις πιθανότητες νίκης και πολύ συχνά αποσύρει τα φύλλα του (fold). Επειδή ταυτόχρονα είναι επιθετικός παίχτης, για κάθε φύλλο με πιθανότητες νίκης ο παίχτης ποντάρει. Tight Passive (TP-Rock): Παίζει σε πολύ λίγα «χέρια» και ακόμα και όταν παραμένει στο παιχνίδι, σπάνια ποντάρει μάρκες. Η κατηγοριοποίηση αυτή είναι θεμελιώδης και στην πράξη δεν εφαρμόζεται από κανένα παίκτη. Συνοπτικά παρουσιάζονται τα πρότυπα (patterns) πονταρίσματος για αυτούς τους παίκτες στο σχήμα 2. Σχήμα 2 Χαρακτηριστικά πονταρίσματος βασικών παικτών 1 1 Εικόνα από το site 30

31 Κεφάλαιο 2 - Θεωρητικό υπόβαθρο Ανώτεροι γνωστοί παίκτες Loki Ένας από τους πρώτους πράκτορες πόκερ που αναπτύχθηκε από την ομάδα του Πανεπιστημίου της Αλμπέρτα στις Ηνωμένες Πολιτείες με σκοπό να παίξει Limit Texas Hold em εναντίον πολλών αντιπάλων ήταν ο Loki. Η αρχική έκδοση του Loki (Loki-1) χρησιμοποιεί μια συγκεκριμένη φόρμουλα για τη δημιουργία μιας συνάρτησης αξιολόγησης σύμφωνα με την οποία καθορίζει τη στρατηγική πονταρίσματος. Στο preflop η στρατηγική του βασίζεται σε κανόνες και παραμένει σταθερή. Μετά από βελτιώσεις στον πράκτορα Loki-1 προέκυψε το νέο σύστημα Loki-2, στο οποίο η στατική συνάρτηση αξιολόγησης έχει αντικατασταθεί από ένα σύστημα βασισμένο σε προσομοίωση με στόχο τον καλύτερο προσδιορισμό του κόστους μιας απόφασης. Η προσέγγιση αυτή ονομάστηκε προσομοίωση επιλεκτικής δειγματοληψίας, γιατί σε αντίθεση με την προσέγγιση Monte-Carlo δε θεωρεί τυχαία τα φύλλα που κατέχει ο αντίπαλος. Αντί αυτού διατηρείται ένας πίνακας με βάρη και ενημερώνεται για κάθε αντίπαλο μετά από κάθε κίνηση. Κάθε πίνακας βάρους περιέχει μια καταχώρηση για κάθε δυνατό συνδυασμό αρχικών καρτών που αντίπαλος μπορεί να έχει στο «χέρι» του, όπως για π.χ. AK, 89s κλπ. Το βάρος που αποδίδεται σε κάθε εγγραφή αντικατοπτρίζει τη δυνατότητα του αντιπάλου να παίζει αυτό το «χέρι» με τον τρόπο που παρατηρήθηκε στη συγκεκριμένη παρτίδα. Αυτά τα βάρη στη συνέχεια εισάγονται με σκοπό την πόλωση σε μια κατανομή, η οποία χρησιμοποιείται για τη δειγματοληψία κατά τη διάρκεια της προσομοίωσης. Τα πειράματα μεταξύ των Loki-1 και Loki-2 έδειξαν σημαντική διαφορά στο κέρδος μεταξύ των δύο πρακτόρων, με τον Loki-2 να κερδίζει τυπικά για 0.05 sb/h περισσότερο κατά μέσο όρο από τον Loki-1. Ο Loki-2 παρουσιάζει επίσης καλύτερες επιδόσεις σε παιχνίδια εναντίον ανθρώπινων παικτών σε δοκιμές που έγιναν στον αρχικό διακομιστή Poker στο internet relay chat (IRC), όπου πράκτορες και άνθρωποι μπορούσαν να παίζουν με εικονικά χρήματα. Η προφανής επιτυχία της προσομοίωσης επιλεκτικής δειγματοληψίας οδήγησε την ομάδα CPRG του Πανεπιστημίου της Αλμπέρτα να υποστηρίξει αυτή τη μέθοδο γενικότερα ως ένα πλαίσιο που χρησιμοποιήθηκε για παιχνίδια στοχαστικότητας και ατελούς γνώσης. Αργότερα το πρόγραμμα Loki εξελίχθηκε και μετονομάστηκε σε Poki. 31

32 Κεφάλαιο 2 - Θεωρητικό υπόβαθρο 32 Poki Το Poki έχει σχεδιαστεί για να παίζει σε full-ring limit τραπέζια, δηλαδή σε τραπέζια με 10 παίχτες. Αποδείχθηκε ότι είναι σταθερός νικητής σε διαγωνισμούς απέναντι σε ανθρώπους με εικονικά χρήματα είτε στο διακομιστή του IRC είτε στο διακομιστή της ερευνητικής ομάδας του πανεπιστημίου της Αλμπέρτα. Σε full-ring limit παιχνίδια θεωρείται ότι παίζει με ένα ενδιάμεσο επίπεδο δύναμης. Σε παιχνίδια με λιγότερους παίχτες γίνεται πιο αδύναμος, αλλά εξακολουθεί να είναι ένας από τους κορυφαίους πράκτορες πόκερ. Το Poki, όπως και ο προκάτοχός του το Loki, δεν προσπαθεί να προσεγγίσει μια βέλτιστη στρατηγική αλλά μια στρατηγική μέγιστου κέρδους. Όταν ο αντίπαλος μας δεν παίζει με την βέλτιστη στρατηγική τότε μπορεί να υπάρχει μια μη-βέλτιστη στρατηγική, η οποία θα μεγιστοποιεί το κέρδος μας. Και αυτό το σύστημα αποτελείται από δυο τύπους στρατηγικών, μια στρατηγική βασισμένη σε φόρμουλα και μια βασισμένη σε προσομοίωση. Ακόμη διαθέτει ένα βελτιωμένο σύστημα μοντελοποίησης αντιπάλων σε σχέση με το Loki. Το σύστημα αυτό αναλύεται περαιτέρω στον τομέα της βιβλιογραφικής αναζήτησης στη συνέχεια. PsOpti (Sparbot) Το PsOpti ή αλλιώς Sparbot προσεγγίζει το πρόβλημα του Poker με αρχές θεωρίας παιγνίων, δηλαδή αναπτύχθηκε πάνω στη ιδέα ότι υπάρχει μία στρατηγική ισορροπίας και για τους δύο παίκτες. Στόχος της ανάπτυξης ήταν να βρεθεί μία στρατηγική πολύ κοντά στη βέλτιστη. Επειδή ο χώρος καταστάσεων στο πόκερ είναι τεράστιος απαιτούνται να γίνουν προσεγγίσεις. Λόγω αυτών των προσεγγίσεων η στρατηγική του PsOpti θεωρείται ψευδοβέλτιστη (pseudo-optimal). Δεν χρησιμοποιεί μοντελοποίηση του αντιπάλου, αλλά επιλέγει κινήσεις που βελτιστοποιούν το κέρδος του σε κάθε περίπτωση και για κάθε αντίπαλο. Γι' αυτό δεν εγγυάται ότι θα έχει το μέγιστο κέρδος, αλλά σίγουρα εξασφαλίζει ότι θα χάσει πολύ δύσκολα. Σε όλα τα πειράματα που έχει συμμετάσχει το PsOpti έχει επιτύχει ικανοποιητικά αποτελέσματα. Συγκεκριμένα έχει καταφέρει να αντέξει σε ένα παγκόσμιας κλάσης διαγωνισμό 7000 παιχνιδιών απέναντι σε κορυφαίους παίκτες (τα 7000 είναι λίγα για τα δεδομένα των υπολογιστών αλλά πολλά για τους ανθρώπους). Παρόλα αυτά το PsOpti έχει δυο προβλήματα που είναι έμφυτα σε πράκτορες που σχεδιάζονται και παίζουν με «ψευδό-βέλτιστες» 32

33 Κεφάλαιο 2 - Θεωρητικό υπόβαθρο 33 στρατηγικές: Οι προσεγγίσεις που απαιτούνται για την μείωση του χώρου καταστάσεων εισάγουν αδυναμίες και αυτές οι αδυναμίες είναι μόνιμες. Αυτό σημαίνει ότι, αν ο αντίπαλος ενός ψευδό-βέλτιστου πράκτορα ανακαλύψει μία αδυναμία του, τότε θα μπορεί να την εκμεταλλεύεται συνέχεια. Επειδή δεν προσπαθούν να εκμεταλλευτούν τον αντίπαλο, ένας δυνατός παίχτης μπορεί να παίζει με τέτοιο τρόπο παιχνιδιού που να του επιτρέπει να διαβάζει τις αδυναμίες τους. Έτσι, ο αντίπαλος μπορεί να τους διερευνήσει χωρίς να τιμωρείται για αυτήν την συνήθως αρκετά προβλέψιμη συμπεριφορά του. 2.4 Σχετικές εργασίες στον τομέα της Μοντελοποίησης Αντιπάλου Η μοντελοποίηση πρακτόρων έχει ερευνηθεί από πολλές διαφορετικές ερευνητικές ομάδες και σε πλήθος διαφορετικών πεδίων εφαρμογής. Στη βιβλιογραφία της Τεχνητής νοημοσύνης, προβλήματα όπως η αναγνώριση πολιτικής (policy recognition), η αναγνώριση συμπεριφοράς (behavior recognition) και η μοντελοποίηση αντιπάλου συνενώνονται στο γενικευμένο πρόβλημα μοντελοποίησης πρακτόρων. Προτού αναλυθεί η διαδικασία που ακολουθήθηκε, εξετάζονται οι ερευνητικές εργασίες που έχουν γίνει στο παρελθόν στον τομέα της μοντελοποίησης αντιπάλων πρακτόρων στο παιχνίδι Poker Texas Hold em. Υπάρχουν δύο ριζικά διαφορετικές προσεγγίσεις στον τρόπο με τον οποίο γίνεται η μοντελοποίηση αντιπάλου στο πόκερ και σε παρόμοια παιχνίδια. Από τη μια πλευρά, η πρώτη προσέγγιση προσπαθεί να οικοδομήσει ένα άμεσο μοντέλο πρόβλεψης, το οποίο κατασκευάζει κάποια κατανομή πιθανότητας από τις παρελθούσες κινήσεις του προς μοντελοποίηση παίκτη. Η κατανομή αυτή προσπαθεί να προβλέψει βάσει πιθανοτήτων τις μελλοντικές κινήσεις ή την τρέχουσα κατάσταση αυτού του παίκτη. Ένα τέτοιο μοντέλο μπορεί επίσης να χρησιμοποιηθεί για να εκτιμηθεί κάποια κρυμμένη κατάσταση, όπως π.χ. τα φύλλα του αντιπάλου, σε περιπτώσεις όπου ο παρατηρητής έχει ως μοναδική προσβάσιμη πληροφορία τις κινήσεις του αντιπάλου. Στα πλαίσια του πόκερ αυτή η προσέγγιση συμπεριλαμβάνει ένα σύστημα πρόβλεψης των καρτών που πιθανώς κατέχει ο αντίπαλος στο χέρι του, ή ένα σύστημα πρόβλεψης για το ενδεχόμενο ο αντίπαλος να μπλοφάρει με ένα συγκεκριμένο συνδυασμό φύλλων. Η μοντελοποίηση αυτού του τύπου είναι άμεσα εκμεταλλεύσιμη και διαφανής, δηλαδή η έξοδος 33

34 Κεφάλαιο 2 - Θεωρητικό υπόβαθρο 34 του συστήματος πρόβλεψης είναι άμεσα ερμηνεύσιμη και καθοδηγεί εύκολα το σύστημα αποφάσεων. Για παράδειγμα, αν το σύστημα πρόβλεψης καταφέρει να προβλέψει ότι ο αντίπαλος πράκτορας κατέχει ισχυρότερο φύλλο, τότε το σύστημα αποφάσεων θα προσαρμόσει την πολιτική του παίκτη ανάλογα, κάνοντας check, fold ή μπλοφάροντας. Παρόλα αυτά, προηγούμενες έρευνες απέδειξαν ότι συχνά τέτοια μοντέλα είναι ασταθή και δεν είναι σαφής εκ των προτέρων ο τρόπος οικοδόμησης ενός τέτοιου μοντέλου στην πράξη. Από την άλλη πλευρά, η δεύτερη προσέγγιση, η οποία χρησιμοποιείται από την παρούσα διπλωματική, προσπαθεί να ταξινομήσει τους παίκτες κατά τύπο, είτε ως μέλη συγκεκριμένων ομάδων με ένα σετ χαρακτηριστικών είτε σαν ένα σημείο (ή περιοχή) μέσα σε ένα συνεχή χώρο περιγραφόμενων παικτών. Ενώ ένα σύστημα πρόβλεψης μοντέλου προσπαθεί να υπολογίσει την επόμενη κίνηση του αντιπάλου, ένα μοντέλο ταξινόμησης προσπαθεί να αναγνωρίσει τον τρόπο παιχνιδιού του αντιπάλου σε αναλογία με παλιότερα παιχνίδια άλλων παικτών. Διαισθητικά αυτός ο τρόπος προσομοιάζει στην τυπική στρατηγική ενός ανθρώπινου παίκτη πόκερ, ο οποίος κατηγοριοποιεί τους αντιπάλους σύμφωνα με την εμπειρία του από προηγούμενα παιχνίδια με άλλους παίκτες, και ανάλογα προσπαθεί να προβλέψει τις επόμενες κινήσεις του αντιπάλου. Στην ουσία, αυτή η διαδικασία αντικατοπτρίζει ήδη ομαδοποιημένες συμπεριφορές αντιπάλων ως μέσο για την απόκτηση ενός μοντέλου πρόβλεψης και για αυτό το λόγο χαρακτηρίζεται ως μικτή προσέγγιση (mixture-based approach). Στο πόκερ μια γνωστή κατηγοριοποίηση των παικτών είναι, όπως περιγράφεται προηγουμένως, χαλαρός (loose) ή σφιχτός (tight) και παθητικός (passive) ή επιθετικός (aggressive) παίκτης. Ένα εμφανές μειονέκτημα αυτής της προσέγγισης είναι ότι τα μοντέλα ταξινόμησης που προκύπτουν δεν είναι αναγκαία διαφανή και άμεσα εκμεταλλεύσιμα, δηλαδή μπορεί να μην προκύπτει καμία εμφανής ερμηνεία από την έξοδο του μοντέλου ταξινόμησης για το σύστημα λήψης αποφάσεων. Ωστόσο, η διαφάνεια των αποτελεσμάτων είναι αδιάφορη σε στατιστικές μεθόδους, δεδομένου ότι αυτές οι μέθοδοι δε λαμβάνουν υπόψη τη νοηματική σημασιολογία του μοντέλου. Τα μοντέλα που προκύπτουν από ομαδοποίηση είναι πολύ πιο εύκολα στην κατασκευή τους και στην πράξη πιο γρήγορα και εύκολα από τα μοντέλα πρόβλεψης. Παρόλο που φαίνεται δύσκολο από την έξοδο του συστήματος να επιλέξουμε χρήσιμες κατηγορίες παικτών ή να εντάξουμε πραγματικούς παίκτες σε συμπεριφορές, είναι εφικτό και, όπως θα φανεί παρακάτω, παρουσιάζει εξαιρετικά αποτελέσματα. 34

35 Κεφάλαιο 2 - Θεωρητικό υπόβαθρο Προηγούμενες Προσεγγίσεις Το πρόβλημα της μοντελοποίησης αντιπάλου στο παιχνίδι Poker Texas Hold em έχει προσεγγιστεί με μεθόδους που προέρχονται από τη θεωρία Παιγνίων, τη Θεωρία των Πιθανοτήτων και την Τεχνητή Νοημοσύνη. Οι προσεγγίσεις του προβλήματος κατηγοριοποιούνται σε τρεις γενικούς άξονες: Στατιστικές Μέθοδοι Particle Filtering Δέντρα Αποφάσεων και Νευρωνικά Δίκτυα Στατιστικές Μέθοδοι Μεγάλο τμήμα της έρευνας στον τομέα της μοντελοποίησης των αντίπαλων παικτών επικεντρώθηκε αρχικά στην εφαρμογή ιδεών της θεωρίας πιθανοτήτων του Bayes για την αναγνώριση του τρόπου παιχνιδιού των αντιπάλων. Για παράδειγμα ο Baker [7] σχεδίασε ένα πράκτορα, τον Analysis Anti-Player, ο οποίος συνδυάζει τα 4 βασικά είδη παικτών (Loose/Tight Passive/Aggressive) και χρησιμοποιεί δεδομένα από προηγούμενα πονταρίσματα για να καθορίσει τον τρόπο παιχνιδιού του. Για να επιτευχθεί αυτός ο σκοπός χρησιμοποιείται το θεώρημα Bayes. Το θεώρημα Bayes συσχετίζει δεσμευμένες και οριακές κατανομές πιθανότητας τυχαίων μεταβλητών και αποδεικνύει ότι, άσχετα από το βαθμό που διαφέρουν η πιθανότητα του γεγονότος Α δεδομένου του γεγονότος Β και η πιθανότητα του γεγονότος Β δεδομένου του γεγονότος Α, υπάρχει σύνδεση μεταξύ τους. Συγκεκριμένα: Ο Analysis Anti-Player χρησιμοποιεί το θεώρημα Bayes για τον υπολογισμό της πιθανότητας ενός παίκτη να χρησιμοποιεί μια συγκεκριμένη στρατηγική. Στην παραπάνω εξίσωση θεωρούμε Α την τυχαία μεταβλητή του είδους του παίκτη και Β την τυχαία μεταβλητή της κίνησης του παίκτη. Στα πλαίσια της ίδιας εργασίας, για λόγους ανάλυσης και εξαγωγής συμπερασμάτων, δημιουργήθηκε ένας ακόμα παίκτης, ο Simulation Player. Ο παίκτης αυτός γνωρίζει εξαρχής το στυλ παιχνιδιού του αντιπάλου. Μετά από σύγκριση των 2 παικτών ο Analysis Anti-Player παρουσιάζει κατά μέσο όρο παρόμοια απόδοση με το Simulation Player 35

36 Κεφάλαιο 2 - Θεωρητικό υπόβαθρο 36 και ενίοτε είναι καλύτερος από αυτόν. Ο παίκτης παρουσιάζει πολύ γρήγορη σύγκλιση κατά τον υπολογισμό του ζεύγους πιθανοτήτων του αντίπαλου παίκτη, δηλαδή προσδιορίζει γρήγορα τον τρόπο παιχνιδιού του αντιπάλου. Σε μια άλλη προσέγγιση [8] χρησιμοποιήθηκαν στατιστικές μέθοδοι με σκοπό την πρόβλεψη της δύναμης των φύλλων του αντιπάλου, όταν υπάρχει ιστορικό κινήσεών του. Αυτή η ερευνητική ομάδα ανέπτυξε επίσης μοντέλα πρόβλεψης για να εκτιμηθεί η απόφαση ενός συγκεκριμένου παίκτη για συγκεκριμένο χέρι. Αν και το αρχικό σύστημα πρόβλεψης ήταν ακριβές μόνο στο 51%, σε επόμενη μελέτη οι ερευνητές χρησιμοποίησαν ένα νευρωνικό δίκτυο ανάστροφης ροής αυξάνοντας αυτό το ποσοστό στο 81%. Τα δεδομένα αυτά είναι εξαιρετικά ενδιαφέροντα, γιατί αφορούν τον πράκτορα Loki, ο όποιος συγκέντρωσε δεδομένα από παιχνίδια ανθρώπινων παικτών Poker σε online παιχνίδια. Παρόλα αυτά η προσέγγιση αυτή απαιτεί μεγάλο πλήθος δεδομένων ιστορικού για εκπαίδευση και για αυτό το λόγο είναι πρακτικά αδύνατο να χρησιμοποιηθεί σε online παιχνίδια. Αντίθετα η μικτή προσέγγιση (mixture-based) δεν απαιτεί επιπλέον δεδομένα εκπαίδευσης για να αντιμετωπίσει νέους παίκτες, αφού άγνωστοι αντίπαλοι μπορούν να ενταχθούν στις ήδη υπάρχουσες κατηγορίες συμπεριφοράς και να αντιμετωπισθούν αναλόγως Νευρωνικά δίκτυα και δέντρα αποφάσεων Με τον όρο Τεχνητό Νευρωνικό Δίκτυο (ΤΝΔ) αναφερόμαστε σε κάθε αρχιτεκτονική υπολογισμού, η οποία περιλαμβάνει ένα μεγάλο αριθμό διασυνδεδεμένων νευρωνικών επεξεργαστών και μιμείται τη λειτουργία και τις ιδιότητες του ανθρώπινου εγκεφάλου. Συνεπώς, ένα τεχνητό νευρωνικό δίκτυο ή απλούστερα νευρωνικό δίκτυο έχει την ικανότητα να μαθαίνει από εμπειρίες, να γενικεύει την υπάρχουσα γνώση και να εκτελεί λογικές αφαιρέσεις [9]. Τα ΤΝΔ είναι συστήματα μεγάλης κλίμακας και περιέχουν μεγάλο πλήθος μη γραμμικών επεξεργαστών ειδικού τύπου, οι οποίοι ονομάζονται Νευρώνες. Κάθε ΤΝΔ χαρακτηρίζεται από μια κατάσταση, ένα σύνολο εισόδων με διαφορετικά βάρη, που προέρχονται από άλλους νευρώνες, και μια γενική εξίσωση που περιγράφει τη δυναμική λειτουργία του. Τα βάρη αυτά καθορίζονται και ανανεώνονται μέσω της εκπαίδευσης του νευρωνικού δικτύου, δηλαδή μιας διαδικασίας μάθησης η οποία πραγματοποιείται με σκοπό την ελαχιστοποίηση της συνάρτησης κόστους. Οι βέλτιστες τιμές των βαρών αποθηκεύονται στο επόμενο στάδιο ως δυνάμεις μεταξύ 36

37 Κεφάλαιο 2 - Θεωρητικό υπόβαθρο 37 των νευρώνων και χρησιμοποιούνται κατά την εκτέλεση της εργασίας για την οποία έχει σχεδιαστεί το καθένα ΤΝΔ. Τα ΤΝΔ εκτελούν επεξεργασία πληροφορίας βασιζόμενα στον τρόπο λειτουργίας του ανθρώπινου εγκεφάλου και επικαλούνται την ιδέα της μοντελοποίησης «μαύρου-κουτιού» χρησιμοποιώντας μοντέλα που εμπνέονται από τη βιολογία και τη νευροφυσιολογία. Μεγάλο εύρος προβλημάτων μπορεί να επιλυθεί με τη χρήση ΤΝΔ. Σε πρώτη φάση για την επίλυση ενός προβλήματος απαιτείται να γίνει ο σχεδιασμός του ΤΝΔ. Ένα ΤΝΔ αποτελείται από τρία υποσύνολα κόμβων: (1) ένα σύνολο κόμβων που δέχεται τα δεδομένα ως εισόδους (input), (2) ένα δεύτερο σύνολο κόμβων που παρέχουν τις εξόδους (outputs) και (3) ανάλογα με την πολυπλοκότητα του προβλήματος ένα σύνολο εσωτερικών κόμβων. Πρέπει λοιπόν να γίνει σωστά η επιλογή αυτών των κόμβων στο στάδιο του σχεδιασμού. Σε δεύτερη φάση ακολουθεί η διαδικασία μάθησης με κάποιο ήδη γνωστό αλγόριθμο και έτσι αναπροσαρμόζονται τα βάρη. Όταν το ΤΝΔ έχει εκπαιδευτεί, τότε για κάθε είσοδο, ακόμα και για άγνωστες ως τότε εισόδους, μπορεί να προβλέψει τη λύση του προβλήματος. Όσον αφορά τη μοντελοποίηση αντιπάλου πράκτορα στο πόκερ, αρκετές μελέτες χρησιμοποίησαν αρχικά ένα νευρωνικό δίκτυο. Σε μία από αυτές [8] το μοντέλο τροφοδοτήθηκε από 19 παιχνίδια και χρησιμοποίησε συγκεκριμένες μεταβλητές ως εισόδους, όπως για παράδειγμα τον αριθμό των ενεργών παικτών, την τελευταία κίνηση του κάθε παίκτη, κάποια στατιστικά για το ποσό των χρημάτων στο pot και τη φάση του παιχνιδιού (pre-flop, flop, turn, river). Αυτές οι είσοδοι ενώθηκαν με ένα πλήθος κρυφών εισόδων και το νευρωνικό δίκτυο εκπαιδεύτηκε με σκοπό να παρέχει στην έξοδο τρείς πιθανότητες: 1. την πιθανότητα ένας παίκτης να κάνει fold 2. την πιθανότητα ένας παίκτης να κάνει call/check 3. την πιθανότητα ένας παίκτης να κάνει bet/raise Όταν πλέον τα ΤΝΔ είχαν εκπαιδευτεί για συγκεκριμένους παίκτες, τα μοντέλα έφτασαν σε ακρίβεια ποσοστού 70-90% ανάλογα με τον αντίπαλο που προσπαθούσαν να μοντελοποιήσουν. Στα πλαίσια της εργασίας αυτής υποστηρίζεται ότι επιτυγχάνεται ακρίβεια 84,74% όταν ο πράκτορας αντιμετωπίζει ένα άγνωστο ως εκείνη τη στιγμή αντίπαλο. Παρόλα αυτά η προσπάθεια αυτή παρουσίασε επιτυχία μόνο ενάντια σε παίκτες αξιολόγησης με απλοϊκές στρατηγικές, όπως «πάντα call», «πάντα raise» κ.ά. Αποδείχθηκε ωστόσο ότι η ανάπτυξη ενός δυναμικού, αυτό-προσαρμοζόμενου συστήματος μοντελοποίησης μπορεί να αυξήσει σημαντικά 37

38 Κεφάλαιο 2 - Θεωρητικό υπόβαθρο 38 την απόδοση του πράκτορα. Επιπλέον, προτείνεται ως πιο αποδοτική λύση η χρήση πολλαπλών μοντέλων με διαφορετικές ιδιότητες για να προσεγγιστεί η συμπεριφορά ενός παίκτη και η τελική επιλογή της μοντελοποίησης να γίνεται από το πιο ακριβές μοντέλο. Αυτή η διαδικασία μπορεί να βελτιώσει σημαντικά την αντιμετώπιση παικτών με δυναμική συμπεριφορά. Παρόλα αυτά τα TΝΔ έχουν επίσης σημαντικά μειονεκτήματα και αδυναμίες. Πολύ συχνός λόγος απόρριψης του σχεδιασμού ενός συστήματος μοντελοποίησης με ΤΝΔ είναι ο μεγάλος χρόνος εκπαίδευσης που απαιτείται. Έχει αποδειχθεί [10] ότι άλλες τεχνικές Τεχνητής Νοημοσύνης, όπως για παράδειγμα τα δέντρα αποφάσεων, παρέχουν αποτελέσματα με παρόμοια ποσοστά ακρίβειας σε πολύ μικρότερο χρονικό διάστημα. Στη συγκεκριμένη εργασία χρησιμοποιήθηκαν παιχνίδια με πραγματικά χρήματα από παλαιότερα παιχνίδια Poker σε κανάλια του IRC. Ως «αντίπαλη» τεχνική με αυτή των TΝΔ επιλέχθηκε η χρήση δέντρων αποφάσεων και παρότι αρχικά υπήρχε η πεποίθηση ότι τα TΝΔ θα είναι πολύ ακριβέστερα, τα δείγματα έδειξαν μικρές διαφορές και λόγω του χρόνου εκπαίδευσης η χρήση ΤΝΔ κρίθηκε ασύμφορη. Στο σχήμα 3 φαίνεται η ακρίβεια στην μοντελοποίηση του αντίπαλου πράκτορα στους 4 διαφορετικούς γύρους (pre-flop, flop, turn, river) με βάση τις δύο τεχνικές. Round DT accuracy ANN accuracy Round 0 - preflop 63.0% 55.8% Round 1 - flop 65.7% 65.19% Round 2 - turn 70.1% 70.65% Round 3 - river 68.8% 69.0% Σχήμα 3 Ακρίβεια δένδρων αποφάσεων και Νευρωνικών Δικτύων Particle Filtering Πολύ συχνά η διαδικασία της μοντελοποίησης πρακτόρων προσεγγίζεται ως μια ειδική περίπτωση του γενικότερου προβλήματος εκτίμησης κατάστασης (state estimation). Το πρόβλημα αυτό αφορά στην αναγνώριση των μεταβλητών κατάστασης μιας στοχαστικής διαδικασίας μέσα από την παρατήρηση λειτουργιών που προκαλούν οι μεταβλητές της. Οι προσεγγίσεις αυτού του προβλήματος αντικατοπτρίζουν την αβεβαιότητα μιας κρυμμένης κατάστασης ως μια κατανομή πιθανοτήτων και χρησιμοποιούν αναδρομικούς τύπους Bayes για 38

39 Κεφάλαιο 2 - Θεωρητικό υπόβαθρο 39 να ανανεώνουν σε κάθε βήμα την πεποίθηση αυτή. Δεδομένου λοιπόν ότι το περιβάλλον του πόκερ είναι στοχαστικό και συχνά οι παίκτες χρησιμοποιούν κάποιο τύπο κατανομής πιθανοτήτων στον τρόπο παιχνιδιού τους, το πανεπιστήμιο της Alberta των ΗΠΑ ερεύνησε το 2007 το πρόβλημα της μοντελοποίησης πράκτορα χρησιμοποιώντας μια τεχνική γνωστή ως particle filtering [11]. Τα φίλτρα σωματιδίων (particle filters) είναι μια προσέγγιση τύπου Monte Carlo του φίλτρου Bayes. Τα φίλτρα αυτά προσεγγίζουν την κατανομή πιθανότητας χρησιμοποιώντας ένα σετ από δείγματα, τα οποία ονομάζονται σωματίδια (particles). Κάθε σωματίδιο αποτελεί ένα άνυσμα κατάστασης (state vector). Τα σωματίδια είναι εξαιρετικά ευέλικτα και έχουν πολλές δυνατότητες, όπως π.χ. μπορούν να χειριστούν μη-γραμμικές δυναμικές κατανομές παρουσιάζοντας πιθανές κατανομές με μεταβλητές κατάστασης. Η ακρίβεια και το υπολογιστικό κόστος ενός φίλτρου σωματιδίων αυξάνεται ανάλογα με τον αριθμό των σωματιδίων που χρησιμοποιούνται. Στη συγκεκριμένη εργασία χρησιμοποιήθηκε η απλή περίπτωση της διπλής εκτίμησης, ενώ στην πραγματικότητα οι δυναμικές του συστήματος παραμετροποιούνται από άγνωστο αριθμό μεταβλητών. Αυτό μπορεί να γίνει με χρήση Rao- Blackwellized particle filters (RBFs), τα οποία είναι μια υβριδική τεχνική εκτίμησης της κατάστασης που επιτρέπει ένα τμήμα των μεταβλητών κατάστασης να μοντελοποιούνται με τρόπο βασισμένο στην ανάλυση Monte Carlo και ένα άλλο τμήμα να είναι σε παραμετρική μορφή. Η μέθοδος αυτή εφαρμόστηκε σε μια απλουστευμένη εκδοχή του πόκερ που ονομάζεται Kuhn Poker για λόγους υπολογιστικής πολυπλοκότητας. Το Kuhn Poker είναι μια μικρή παραλλαγή του Poker, για την οποία υπάρχει πλήρης ανάλυση σε επίπεδο Θεωρίας Παιγνίων [12]. Το παιχνίδι αποτελείται από δύο παίκτες και δύο επιτρεπόμενες κινήσεις: ποντάρισμα (bet) και πάσο (pass). Η τράπουλα αποτελείται από 3 φύλλα (1 Jack,1 Queen,1 King). Κάθε παίχτης παίρνει μια κάρτα κατά τη διάρκεια του μοιράσματος. Αν ο πρώτος παίχτης ποντάρει, τότε ο δεύτερος μπορεί είτε να ποντάρει, οδηγώντας σε άνοιγμα των φύλλων, είτε να κάνει πάσο και να χάσει την παρτίδα. Αντίστοιχα, αν ο πρώτος παίχτης κάνει πάσο, ο δεύτερος παίχτης μπορεί είτε να πάει πάσο, οδηγώντας σε άνοιγμα των φύλλων, είτε να ποντάρει αφήνοντας την τελική κίνηση και πάλι στον πρώτο παίχτη. Το Kuhn Poker έχει πλήρη ανάλυση σε επίπεδο Θεωρίας Παιγνίων. Αν και συνολικά υπάρχουν 64 στρατηγικές για κάθε παίκτη, πολλές από αυτές εκφυλίζονται σε απλή στρατηγική αναμονής μεγαλύτερου φύλλου. Η στρατηγική του πρώτου παίκτη μπορεί να παραμετροποιηθεί 39

40 Κεφάλαιο 2 - Θεωρητικό υπόβαθρο 40 από 3 παραμέτρους (α, β, γ) και για το δεύτερο παίχτη από 2 παραμέτρους (η, ξ) στο διάστημα [0,1]. Αν και η παραμετροποίηση του Kuhn Poker είναι πολύ απλή, το παιχνίδι διατηρεί τις βασικές στρατηγικές του Poker, όπως π.χ. είναι οι παγίδες και οι μπλόφες. Έχουν ήδη αναπτυχθεί τεχνικές μοντελοποίησης στο Kuhn Poker [13] με στατικούς αντιπάλους. Αν και η μέθοδος αυτή εφαρμόστηκε στην απλουστευμένη αυτή εκδοχή του πόκερ, οι τεχνικές εκτίμησης κατάστασης μπορούν να χρησιμοποιηθούν και στις πιο περίπλοκες παραλλαγές του παιχνιδιού. Η τεχνική του particle filtering απέδωσε καλά αποτελέσματα στο Kuhn Poker μοντελοποιώντας αρκετά εύκολα τόσο στατικούς παίκτες όσο και δυναμικούς. Η χρήση της διπλής εκτίμησης προσέδωσε επίσης το χαρακτηριστικό της ανατροφοδότησης στην τεχνική, διορθώνοντας πολλές φορές λανθασμένες «πεποιθήσεις» των σωματιδίων. Η τεχνική αυτή ωστόσο έχει υψηλές υπολογιστικές απαιτήσεις και μπορεί να εφαρμοστεί μόνο υπό τον όρο ότι η συμπεριφορά των αντιπάλων μπορεί να αναπαρασταθεί από λίγες παραμέτρους. Όσο πιο περίπλοκη γίνεται η συμπεριφορά του αντιπάλου, τόσο πιο πολύ ισχύς απαιτείται. Η τεχνική του particle filtering και συνολικά ο τομέας της εκτίμησης κατάστασης είναι αυτή τη στιγμή στα πρώτα στάδια ανάπτυξης και πιθανώς να αποτελέσει τη λύση μελλοντικά σε πολλά προβλήματα αναγνώρισης κατανομών πιθανοτήτων τόσο στον τομέα της μοντελοποίησης αντιπάλων όσο και σε άλλους τομείς, όπως για παράδειγμα τα οικονομικά. 40

41 Κεφάλαιο 2 - Θεωρητικό υπόβαθρο Πλατφόρμες παιχνιδιού και προγράμματα Η πλατφόρμα του Annual Computer Poker Competition Για την ανάπτυξη του πράκτορα χρησιμοποιήθηκε ο server του Annual Computer Poker Competition στην έκδοσή του. O server αναλαμβάνει όλες τις διαδικασίες που απαιτούνται για την διεξαγωγή ενός τουρνουά. Οι παίχτες συνδέονται με τον server με TCP sockets, ενώ υπάρχει ένα ad-hoc πρωτόκολλο για την επικοινωνία μεταξύ πλατφόρμας και παιχτών. Επομένως, η ανάπτυξη πρακτόρων μπορεί να γίνει σε οποιαδήποτε γλώσσα προγραμματισμού. Η πλατφόρμα αναπτύχθηκε από το Πανεπιστήμιο της Αλμπέρτα και παρέχεται από τη σελίδα του διαγωνισμού Για τη διεξαγωγή ενός τουρνουά αρχικά γίνεται η δημιουργία της τράπουλας. Για κάθε παρτίδα ορίζονται τα εννιά φύλλα που θα μοιραστούν, από δύο σε κάθε παίχτη και πέντε κοινά φύλλα. Ο server συνδέει τους δύο παίχτες και ξεκινάει το πρώτο σετ παιχνιδιών της αναμέτρησης. Αφού ολοκληρωθεί το πρώτο σετ, γίνεται καταγραφή των αποτελεσμάτων και ξεκινάει το δεύτερο σετ με τα ίδια φύλλα μοιρασμένα ανάποδα. Για προφανείς λόγους, ο server σβήνει τα αποθηκευμένα δεδομένα των παιχτών και τους επανεκκινεί, ώστε να μην υπάρχει καμία γνώση των φύλλων ή του αντιπάλου από το πρώτο σετ παιχνιδιών. Τα αποτελέσματα του δευτέρου γύρου καταγράφονται και ο νικητής προκύπτει από το άθροισμα των κερδών των δύο σετ. Ο Server διατηρεί την κατάσταση του παιχνιδιού. Σε κάθε αλλαγή της κατάστασης και οι δύο παίχτες λαμβάνουν ένα μήνυμα με την νέα κατάσταση. Οι παίχτες μπορούν να στείλουν ένα μήνυμα απάντησης, που να αντανακλά την δράση που θέλουν να εκτελέσουν. Η κατάσταση του παιχνιδιού περιλαμβάνει τις πληροφορίες για τα ορατά στον παίχτη φύλλα και την αλληλουχία πονταρίσματος μόνο. Ποιος παίχτης παίζει ή το ποσό που έχει μπει στο pot μπορούν να βρεθούν μόνο έμμεσα από την κατάσταση του παιχνιδιού, διατηρώντας το πρωτόκολλο όσο πιο απλό γίνεται. Το πρωτόκολλο της πλατφόρμας είναι λιτό και περιλαμβάνει λίγους τύπους μηνυμάτων: Μηνύματα Χειραψίας: Είναι το πρώτο μήνυμα που στέλνουν οι clients στον server και υποδεικνύει την έκδοση για την οποία γράφτηκαν οι clients. Παράδειγμα μηνύματος χειραψίας: VERSION: Με αυτό το μήνυμα ολοκληρώνεται η σύνδεση ενός πράκτορα στο server και δεν ορίζονται άλλα μηνύματα χειραψίας. Μηνύματα Παιχνιδιού: Τα μηνύματα αυτά περιλαμβάνουν ό,τι είναι απαραίτητο για να 41

42 Κεφάλαιο 2 - Θεωρητικό υπόβαθρο 42 προσδιοριστεί η κατάσταση του παιχνιδιού. Στέλνονται πριν παίξει κάποιος παίκτης. Το ίδιο μήνυμα στέλνεται ταυτόχρονα και στους δύο παίκτες ανεξάρτητα από το ποιος παίζει. Αυτό γίνεται για να γνωρίζει την κατάσταση του παιχνιδιού ο παίκτης που περιμένει την απόφαση του αντιπάλου και να αξιοποιήσει τον χρόνο αναμονής για ενδεχόμενους υπολογισμούς. Μηνύματα Απόκρισης: Μοιάζουν πολύ με τα μηνύματα παιχνιδιού και μεταφέρουν επιπλέον την κίνηση που επιθυμεί να εκτελέσει ο παίκτης που παίζει. Σχήμα 4 Παράδειγμα μιας αλληλουχίας μηνυμάτων Το σχήμα 4 δείχνει ένα παράδειγμα επικοινωνίας. Η πρώτη γραμμή δείχνει το μήνυμα παιχνιδιού που στέλνεται στον παίκτη στην θέση 1 για την κατάσταση της παρτίδας 392. Το μήνυμα δείχνει την αλληλουχία των πονταρισμάτων, όπου με "/" χωρίζονται οι γύροι της παρτίδας. Στο παράδειγμα του σχήματος, στο preflop έγιναν τρία raise και ένα call, στο flop έχουν γίνει τέσσερα raise και ένα call, ενώ στο turn, μέχρι στιγμής, ένα call (check - συμβολίζονται με τον ίδιο τρόπο) και ένα raise. Ο παίκτης 1 που παίρνει το μήνυμα έχει 9s και 9d. Στο flop έχουν ανοίξει τα κοινά φύλλα 5s, 2s και 6h και στο turn άνοιξε 9c. Η δεύτερη γραμμή δείχνει το μήνυμα που θα πάρει ο παίκτης στη θέση 0 την ίδια στιγμή με τον παίκτη 1 και είναι παρόμοιο φυσικά, αλλά με διαφορετικά κρυφά φύλλα, Κs και 2d. Στο παράδειγμα αυτό δεν φαίνεται άμεσα ποιος παίζει. Το ότι παίζει ο παίκτης 1 προκύπτει έμμεσα από την θέση του (θέση 1 είναι η θέση του dealer) τα πονταρίσματα του γύρου και τον γύρο στον οποίο βρίσκεται η παρτίδα. Αν τώρα ο παίχτης 1 αποφασίσει να κάνει raise, θα στείλει το μήνυμα απόκρισης της τρίτης γραμμής του σχήματος. Τέλος ο server θα στείλει δύο νέα μηνύματα παιχνιδιού ως επακόλουθο της τελευταίας απόφασης, όπως φαίνεται και στο παράδειγμα. Αφού ληφθούν τα νέα μηνύματα παιχνιδιού, είναι σειρά του παίχτη 0 να στείλει την δική του δράση. 42

43 Κεφάλαιο 2 - Θεωρητικό υπόβαθρο Το πρόγραμμα WEKA Το πρόγραμμα WEKA (Waikato Environment for Knowledge Analysis) παρέχει ένα ενοποιημένο τρόπο επεξεργασίας δεδομένων δίνοντας στους ερευνητές ένα εύκολο τρόπο να χρησιμοποιήσουν ευρέως διαδεδομένες τεχνικές στον τομέα της μηχανικής μάθησης (machine learning) [14]. Το WEKA είναι σήμερα ευρέως διαδεδομένο στην ακαδημαϊκή κοινότητα και στους επιχειρηματικούς κύκλους και χρησιμοποιείται στους τομείς της εξόρυξης δεδομένων και μηχανικής μάθησης. Βασικό ρόλο στη διάδοσή του έπαιξε το γεγονός ότι το πρόγραμμα επιτρέπει στο χρήστη-ερευνητή να δοκιμάσει πολλούς αλγορίθμους, να συγκρίνει αποτελέσματα και να χρησιμοποιήσει εργαλεία για την απεικόνιση των δεδομένων και την εξαγωγή συμπερασμάτων. Το WEKA περιέχει ένα μεγάλο εύρος αλγορίθμων όπως για παράδειγμα αλγόριθμους ταξινόμησης, ομαδοποίησης, αναδρομικούς κ.ά. Το πρόγραμμα παρέχει 4 τρόπους διεπαφής μέσω του GUI chooser: Explorer: ένα περιβάλλον για «εξερεύνηση» των δεδομένων με το WEKA και τους αλγόριθμους που παρέχει. Experimenter: ένα περιβάλλον για την εκτέλεση πειραμάτων και την εκτέλεση στατιστικών τεστ μεταξύ διαφορετικών μεθόδων. Knowledge Flow: αυτό το περιβάλλον πρακτικά παρέχει τις ίδιες δυνατότητες με το πρώτο, όμως με ένα εύκολο τρόπο drag-and-drop. Simple CLI: πρόκειται για μια απλή γραμμή εντολών που παρέχει τη δυνατότητα να εκτελεσθούν άμεσα οι εντολές του WEKA. Το WEKA παρέχει ένα πλήθος αλγορίθμων και επιλογών οι οποίες χωρίζονται σε 6 κατηγορίες: προ-επεξεργασία των δεδομένων Ομαδοποίηση των δεδομένων Ταξινόμηση των δεδομένων Συσχέτιση των δεδομένων Επιλογή χαρακτηριστικών από τα δεδομένα Απεικόνιση των δεδομένων Κάθε μια από τις παραπάνω κατηγορίες παρέχει ένα πλήθος αλγορίθμων. Στα πλαίσια της παρούσας διπλωματικής, το πρόγραμμα WEKA χρησιμοποιήθηκε για την ομαδοποίηση των 43

44 Κεφάλαιο 2 - Θεωρητικό υπόβαθρο 44 πρακτόρων σε ομάδες συμπεριφορών μέσω του αλγορίθμου K-means (ή SimpleKmeans, όπως αναφέρεται στο WEKA) και η παραλλαγή του x-means. Όπως αναφέρεται και στη συνέχεια, η υλοποίηση του αλγορίθμου στο k-means στο πρόγραμμα δεν αφορά την απλή εκδοχή του αλγορίθμου k-means, αλλά την εξελιγμένη ως προς τον τρόπο επιλογής των αρχικών σημείων παραλλαγή που ονομάζεται k-means++. Οι αλγόριθμοι αυτοί παρουσιάζονται σε επόμενο κεφάλαιο, όπως και ο τρόπος που χρησιμοποιήθηκαν. 44

45 Κεφάλαιο 3 - Τεχνικές Ομαδοποίησης 45 Κεφάλαιο 3 - Τεχνικές Ομαδοποίησης 3.1 Η τεχνική της ομαδοποίησης (Clustering) Σε αυτό το κεφάλαιο θα αναλυθεί η τεχνική της ομαδοποίησης, καθώς η διπλωματική εργασία βασίζεται στην ομαδοποίηση, συγκεκριμένα μέσω του αλγορίθμου k-means. Επίσης, παρουσιάζονται συγκριτικά πλεονεκτήματα και μειονεκτήματα των διαμεριστικών αλγορίθμων, όπως ο k-means. Έτσι εξηγείται και η επιλογή του k-means στη διπλωματική εργασία. Επίσης, παρουσιάζονται αναλυτικά σε μαθηματική μορφή οι δείκτες εκτίμησης της ποιότητας της ομαδοποίησης και ο τρόπος επεξήγησης των τιμών αυτών των δεικτών Εισαγωγή στην ομαδοποίηση Ο όρος ομαδοποίηση ή συσταδοποίηση (clustering) αναφέρεται στη διαδικασία που οργανώνει πρότυπα (παρατηρήσεις, δεδομένα ή διανύσματα χαρακτηριστικών) σε ομάδες (συστάδες-clusters), όπου τα μέλη μιας ομάδας είναι παρόμοια μεταξύ τους σύμφωνα με κάποιο κριτήριο [15]. Σκοπός είναι να προσδιοριστούν οι ομάδες όπου ανήκουν οι διάφορες ποσότητες δεδομένων, με βάση κάποια κριτήρια ομοιογένειας. Η τεχνική της ομαδοποίησης υπάγεται στην ευρύτερη κατηγορία των τεχνικών μάθησης χωρίς επίβλεψη. Η διαφορά της ομαδοποίησης δεδομένων (data clustering) από την ταξινόμηση δεδομένων (data classification) έγκειται στο γεγονός ότι στην ταξινόμηση οι ομάδες, στις οποίες θα τοποθετηθούν τα δεδομένα είναι προκαθορισμένες. Αυτό σημαίνει ότι είναι εκ των προτέρων γνωστός ο αριθμός των ομάδων, τα ονόματα και οι ταυτότητες τους. Η ταξινόμηση αποτελεί ένα σύστημα μάθησης, αφού οι ετικέτες που δίνονται από τα διαθέσιμα πρότυπα χρησιμοποιούνται ώστε να μάθει το σύστημα ταξινόμησης την περιγραφή κάθε κλάσης και να είναι σε θέση να ταξινομήσει ένα νέο πρότυπο. Αντίθετα, ιδιαίτερο χαρακτηριστικό της τεχνικής της ομαδοποίησης είναι το γεγονός ότι οι ομάδες δεν προϋπάρχουν, αλλά αποφασίζονται από τον αλγόριθμο με κάποιο δυναμικό τρόπο βάσει κριτηρίων. Στην ομαδοποίηση δεδομένων δηλαδή, υπάρχει ένα σύνολο δεδομένων το οποίο πρέπει να διαχειριστεί από ένα σύστημα, ώστε από αυτό να προκύψουν δυναμικά οι ομάδες (είναι δηλαδή data driven). Σκοπός είναι να δημιουργηθούν ομάδες, που η καθεμία από 45

46 Κεφάλαιο 3 - Τεχνικές Ομαδοποίησης 46 αυτές θα συγκεντρώνει ομοιογενή στοιχεία. Κάθε μία από αυτές τις ομάδες διατηρεί ένα κέντρο, συνήθως το πιο κεντρικό στοιχείο της. Ένα παράδειγμα ομαδοποίησης δίνεται στο σχήμα 5, όπου παρουσιάζεται το αρχικό σύνολο των στοιχείων πριν την ομαδοποίηση και στη συνέχεια η καταχώρηση των στοιχείων σε 2, 4 και 6 clusters. Σχήμα 5 Διάφοροι τρόποι ομαδοποίησης του ίδιου σετ δεδομένων [15] Στόχοι και εφαρμογές ομαδοποίησης Οι τεχνικές της ομαδοποίησης είναι πλέον ευρέως διαδεδομένες και βρίσκουν εφαρμογή σε όλο και περισσότερα προβλήματα της εποχής. Η ποικιλία των εφαρμογών της ομαδοποίησης είναι μεγάλη σε πολλά επιστημονικά πεδία. Σημαντικές εφαρμογές εμφανίζονται στον χώρο του marketing, όπου είναι δυνατόν να ανακαλυφθούν ομάδες πελατών με παρόμοια συμπεριφορά, μέσω μιας μεγάλης βάσης δεδομένων που έχει καταχωρημένα πολλά δεδομένα σχετικά με τα χαρακτηριστικά της αγοραστικής συμπεριφοράς των πελατών, όπως και τις αγορές που έχουν κατά καιρούς πραγματοποιήσει αυτοί στο παρελθόν. Στους κλάδους της Ιατρικής και της Βιολογίας συχνά χρησιμοποιείται για τη δημιουργία ομάδων με κοινά χαρακτηριστικά. Σήμερα ο αναπτυσσόμενος κλάδος της Βιοπληροφορικής χρησιμοποιεί τεχνικές ομαδοποίησης για την ανάλυση δεδομένων του DNA των οργανισμών. Στον ολοένα αναπτυσσόμενο τομέα της 46

47 Κεφάλαιο 3 - Τεχνικές Ομαδοποίησης 47 διοίκησης επιχειρήσεων με την εφαρμογή τεχνικών ομαδοποίησης αναλύονται η συμπεριφορά και αγοραστική δύναμη και άλλα σχετικά χαρακτηριστικά των πελατών. Φυσικά η τεχνική της ομαδοποίησης σχετίζεται άμεσα με την τεχνική της βελτιστοποίησης και έτσι οι εφαρμογές της πολλαπλασιάζονται από εύρεση ομοιογενών ομάδων στοιχείων με πληρωμή ελάχιστου κόστους, μέγιστου κέρδους, μικρότερης δυνατής διαδρομής και άλλων. Στο χώρο των ασφαλιστικών εταιριών αναγνωρίζονται οι ομάδες των ασφαλιζόμενων και ομαδοποιούνται ανάλογα με τις απαιτήσεις τους, το κόστος του ασφαλιστικού συμβολαίου και άλλα χαρακτηριστικά. Υπάρχει ακόμη και η δυνατότητα να αναγνωριστούν οι δολιοφθορές εις βάρος της εταιρείας. Η ομαδοποίηση βρίσκει πολύ σημαντικές εφαρμογές επίσης στο διαδίκτυο, όπου συχνά μηχανές αναζήτησης ή άλλα συστήματα ομαδοποιούν χρήστες, έγγραφα και δεδομένα ανάλογα με το σκοπό των διάφορων εφαρμογών. Έτσι ανακαλύπτονται ομάδες παρόμοιων προτύπων. Στο τομέα της τεχνητής νοημοσύνης, το clustering χρησιμοποιείται για την ομαδοποίηση και αναγνώριση συμπεριφορών πρακτόρων, συνήθως στα πλαίσια ανάπτυξης γενικευμένων παικτών Στάδια ομαδοποίησης Για την επίλυση ενός προβλήματος ομαδοποίησης δεδομένων συνήθως ακολουθούνται τα παρακάτω βήματα [15]: 1. Αναπαράσταση των προτύπων (επιλεκτικά μπορεί να περιέχει διαδικασίες για την εξαγωγή χαρακτηριστικών, και/ή επιλογή των αντίστοιχων παραμέτρων). 2. Καθορισμός μιας μετρικής, ενδεικτικής της γειτνίασης των προτύπων, ανάλογα με τον τύπο δεδομένων. 3. Τεχνική ομαδοποίησης των δεδομένων. 4. Αφαίρεση δεδομένων (αν χρειαστεί). 5. Αξιολόγηση του τελικού αποτελέσματος. Είναι χαρακτηριστικό ότι η ομαδοποίηση είναι μια διαδικασία με επανατροφοδότηση. Το αποτέλεσμα της διαδικασίας επανατροφοδοτείται στο σύστημα, το οποίο συνδυάζοντας το αποτέλεσμα αυτό με τις υπόλοιπες εισόδους, βαίνει στην εξαγωγή χαρακτηριστικών και στους υπολογισμούς των σχέσεων ομοιότητας, με στόχο την τελική εξαγωγή των ομάδων. Η αναπαράσταση των προτύπων αναφέρεται στο πλήθος των κλάσεων, στο πλήθος των 47

48 Κεφάλαιο 3 - Τεχνικές Ομαδοποίησης 48 διαθέσιμων προτύπων και στο πλήθος, τύπο και κλίμακα των χαρακτηριστικών, που είναι διαθέσιμα στον συγκεκριμένο αλγόριθμο ομαδοποίησης. Ωστόσο, μερικά από τα προηγούμενα δεν είναι πάντα άμεσα διαθέσιμα. Ενδιαφέρον παρουσιάζει η διαδικασία της επιλογής χαρακτηριστικών (feature selection), κατά την οποία επιλέγονται τα πιο σημαντικά χαρακτηριστικά των στοιχείων τα οποία θα χρησιμοποιηθούν στο clustering. Επιπλέον, η διαδικασία της εξαγωγής χαρακτηριστικών (feature extraction) χρησιμοποιεί έναν ή περισσότερους μετασχηματισμούς των χαρακτηριστικών εισόδου για την παραγωγή άλλων νέων, τα οποία πιθανόν να είναι πιο ενδιαφέροντα. Οποιαδήποτε από τις τεχνικές αυτές μπορεί να χρησιμοποιηθεί για τη δημιουργία ενός συνόλου με τα πιο κατάλληλα χαρακτηριστικά, που θα χρησιμοποιηθεί για την αναπαράσταση των στοιχείων που προορίζονται για ομαδοποίηση. Πρέπει να σημειωθεί ότι σε αυτό το στάδιο επιβάλλεται η επιλογή ή η εξαγωγή χαρακτηριστικών να είναι κανονικοποιημένες. Αν αυτό δεν συμβαίνει σε πρώτη φάση, τότε σε δεύτερη φάση και πριν τη συνέχεια της διαδικασίας ομαδοποίησης εισέρχεται μια υπόδιαδικασία κανονικοποίησης στο διάστημα [0,1]. Η γειτνίαση των προτύπων συνήθως μετριέται με βάση μία συνάρτηση απόστασης που ορίζεται για ζεύγη προτύπων. Η πιο απλή συνάρτηση απόστασης είναι η Ευκλείδεια (περισσότερα για τις μετρικές στο κεφάλαιο 4). Η επιλεχθείσα συνάρτηση απόστασης αποτελεί κάθε φορά το μέτρο της ομοιότητας μεταξύ των προτύπων. Με βάση αυτό το μέτρο γίνεται η καταχώρηση τους στην ίδια ή σε διαφορετικές ομάδες. Το πόσο επιτυχημένο θεωρείται το αποτέλεσμα της ομαδοποίησης δεδομένων, εξαρτάται από τα κριτήρια που θα χρησιμοποιηθούν για τον διαχωρισμό των στοιχείων σε ομάδες. Η σωστή επιλογή των κριτηρίων αυτών είναι ένα πολύ σημαντικό ζήτημα. Το στάδιο της ομαδοποίησης μπορεί να πραγματοποιηθεί με πολλούς τρόπους. Υπάρχουν πολλοί αλγόριθμοι ομαδοποίησης (αναλύονται παρακάτω) και καθένας μπορεί να έχει διαφορετικό αποτέλεσμα είτε αυστηρό, είτε ασαφές. Το στάδιο αυτό αποτελεί και το κυρίως μέρος της όλης διαδικασίας της ομαδοποίησης. Εδώ είναι το σημείο που πρέπει να επιλεγεί ο αλγόριθμος που θα χρησιμοποιηθεί για την επίλυση του προβλήματος. Φυσικά το μέτρο ομοιότητας, που επιλέχτηκε παραπάνω, θα χρησιμοποιηθεί από τον αλγόριθμο. Οι αλγόριθμοι που επιλύουν προβλήματα ομαδοποίησης είναι πολλοί και στηρίζονται σε διαφορετικές τεχνικές. Η επιλογή εξαρτάται από τη μορφή των δεδομένων και από τον χρήστη. Οι κύριες κατηγορίες των αλγόριθμων ομαδοποίησης είναι δύο, οι διαμεριστικές και οι ιεραρχικές. 48

49 Κεφάλαιο 3 - Τεχνικές Ομαδοποίησης 49 Οι ιεραρχικοί αλγόριθμοι προσπαθούν να δημιουργήσουν μια ιεραρχία μεταξύ των σημείων που προορίζονται για ομαδοποίηση. Δημιουργούν ένα δενδρόγραμμα, που υποδηλώνει το μέγεθος και τον αριθμό των ομάδων που δημιούργησαν. Κάθε κόμβος του δέντρου έχει παιδιά τα σημεία που συγχωνεύτηκαν στην ίδια ομάδα. Ανάλογα με την απόσταση, κοντινή ή μακρινή, από τη ρίζα προκύπτουν λίγες ομάδες με πολλά σημεία ή πολλές ομάδες με λίγα σημεία αντίστοιχα. Οι ιεραρχικοί αλγόριθμοι χωρίζονται στους συσσωρευτικούς και στους διαιρετικούς. Οι συσσωρευτικοί ξεκινούν θεωρώντας ότι κάθε σημείο είναι ένα από μόνο του μια ομάδα που περιέχει μόνο τον εαυτό του και στη συνέχεια πραγματοποιούν συγχωνεύσεις. Οι διαιρετικοί λειτουργούν αντίστροφα. Θεωρούν ότι αρχικά υπάρχει μία ομάδα στην οποία ανήκουν όλα τα σημεία και στη συνέχεια διαιρούν την ομάδα αυτή σε μικρότερες. Τα πλεονεκτήματα και τα μειονεκτήματα των ιεραρχικών αλγορίθμων παρουσιάζονται στον πίνακα 2. Πίνακας 2 Πλεονεκτήματα και μειονεκτήματα των ιεραρχικών αλγορίθμων Πλεονεκτήματα Ιεραρχικών Τεχνικών Τερματίζουν σχετικά γρήγορα Δε χρειάζεται γνώση του αριθμού των ομάδων εκ των προτέρων Εύκολος χειρισμός κάθε τύπου μέτρου απόστασης ή ομοιότητας Παράγουν ταυτόχρονα και καλές οπτικοποιήσεις των αποτελεσμάτων τους κατά τη διάρκεια της εκτέλεσής τους Μπορούν να εφαρμοστούν σε πολλούς τύπους δεδομένων και όχι μόνο για δεδομένα που περιέχουν ισοτροπικούς clusters (π.χ. σε clusters με μορφή αλυσίδας, ομόκεντρους) Μειονεκτήματα Ιεραρχικών Τεχνικών Αοριστία κριτηρίων τερματισμού Δεν επιστρέφουν ποτέ σε ήδη κατασκευασμένο ενδιάμεσο cluster για να το βελτιώσουν Έχουν μεγαλύτερες απαιτήσεις σε υπολογιστική ισχύ από τους διαμεριστικούς αλγόριθμους Οι αλγόριθμοι σύνδεσης έχουν υπολογιστική πολυπλοκότητα και έχουν μεγάλες απαιτήσεις μνήμης (επεξεργάζονται πίνακες) Οι διαμεριστικοί αλγόριθμοι χωρίζουν τα δεδομένα από την αρχή σε ένα συγκεκριμένο αριθμό από ομάδες και έπειτα βελτιστοποιούν το αποτέλεσμα. Και αυτοί χωρίζονται σε περαιτέρω κατηγορίες (αναφέρονται παρακάτω). Οι αλγόριθμοι που είναι βασισμένοι στην πυκνότητα δημιουργούν ομάδες με βάση την πυκνότητα των αντικειμένων στο χώρο. Ένα 49

50 Κεφάλαιο 3 - Τεχνικές Ομαδοποίησης 50 σημείο, το οποίο ανήκει σε κάποια ομάδα, θα πρέπει να έχει στη γειτονιά του (ορίζεται η ακτίνα της γειτονιάς του σημείου) ένα συγκεκριμένο αριθμό από άλλα σημεία. Δύο άλλες κατηγορίες αλγορίθμων, που επιλύουν προβλήματα ομαδοποίησης, είναι οι αυστηροί και οι ασαφείς αλγόριθμοι. Οι αυστηροί αλγόριθμοι θεωρούν ότι τα σημεία ανήκουν κατά απόλυτο τρόπο στις ομάδες τους. Αυτό πρακτικά σημαίνει ότι δεν μπορεί ένα σημείο να βρίσκεται ταυτόχρονα σε παραπάνω από μία ομάδα. Σε αντίθεση με αυτή τη λογική οι ασαφείς αλγόριθμοι θεωρούν ότι τα σημεία ανήκουν σε όλες τις ομάδες σε κάποιο βαθμό. Διαθέτουν μια συνάρτηση συμμετοχής, η οποία μας δίνει το βαθμό συμμετοχής του κάθε σημείου σε κάποια ομάδα. Προφανώς από την ασαφή ομαδοποίηση μπορεί να προκύψει αυστηρή ομαδοποίηση. Τέλος υπάρχουν οι αυξητικοί και μη αυξητικοί αλγόριθμοι. Στους αυξητικούς αλγόριθμους το σύνολο των δεδομένων που τίθεται προς ομαδοποίηση προσέρχεται σταδιακά. Αυτό σημαίνει ότι τα σημεία έρχονται ένα προς ένα ή κατά ομάδες. Εδώ γίνεται ομαδοποίηση από τον αλγόριθμο χωρίς να γνωρίζει εκ των προτέρων όλο το σύνολο των δεδομένων (online προβλήματα ομαδοποίησης). Στους μη αυξητικούς αλγόριθμους είναι γνωστό ολόκληρο το σύνολο των δεδομένων εξαρχής. Αφαίρεση δεδομένων είναι η διαδικασία, η οποία έχει σαν αποτέλεσμα μια απλή και συμπαγή αναπαράσταση του συνόλου των δεδομένων. Ο όρος απλή αναπαράσταση μπορεί να εξηγηθεί είτε από την οπτική γωνία της αυτοματοποιημένης ανάλυσης είτε από την οπτική γωνία του ανθρώπου. Στην πρώτη περίπτωση, το επιθυμητό για τα δεδομένα είναι να αναπαρίστανται με τέτοιο σαφή και απλό τρόπο, ώστε μια περαιτέρω υπολογιστική επεξεργασία να είναι εξίσου εφικτή. Στη δεύτερη περίπτωση, η απλή αναπαράσταση των δεδομένων τα κάνει πιο κατανοητά στους ειδικούς, που πρόκειται να τα επεξεργαστούν και να εξάγουν συμπεράσματα. Συνήθως, η αφαίρεση δεδομένων στο clustering είναι μια συνοπτική αναπαράσταση κάθε ομάδας μέσω κάποιου αντιπροσώπου-πρωτότυπου στοιχείου, το οποίο καλείται centroid (κεντροειδές). Τέλος, στο στάδιο της αξιολόγησης του αποτελέσματος ελέγχεται η εγκυρότητα των ομάδων. Εδώ εξετάζεται εάν το τελικό αποτέλεσμα του αλγορίθμου είναι επιτυχές, οπότε ο αλγόριθμος θεωρείται αξιόπιστος. Πρακτικά εξετάζεται αν οι ομάδες είναι αντιπροσωπευτικές σε σχέση με τα σημεία που έπρεπε να ομαδοποιηθούν, αν τα σημεία τελικά τοποθετήθηκαν στις κατάλληλες ομάδες κ.ο.κ. Η αξιολόγηση συνήθως γίνεται συγκρίνοντας τη ληφθείσα δομή με μια δεδομένη εκ των προτέρων δομή. Για την ανάλυση, που γίνεται σε αυτό το στάδιο, χρησιμοποιείται ένα συγκεκριμένο κριτήριο βελτιστοποίησης ανάλογα με το πρόβλημα που 50

51 Κεφάλαιο 3 - Τεχνικές Ομαδοποίησης 51 αντιμετωπίζεται κάθε φορά. Σχήμα 6 Κατηγοριοποίηση των τεχνικών Clustering 3.2 Διαμεριστική ομαδοποίηση (Partitional clustering) Στη διαμεριστική ομαδοποίηση ορίζονται εξαρχής οι ομάδες και τοποθετούνται τα σημεία του συνόλου δεδομένων που είναι διαθέσιμα στις ομάδες αυτές. Στη συνέχεια επαναπροσδιορίζονται αυτές οι αναθέσεις, έως ότου κάποιο κριτήριο τερματισμού εκπληρωθεί. Ουσιαστικά, αν υπάρχει ένα σύνολο δεδομένων πλήθους Ν, κατασκευάζονται k ομάδες και στη συνέχεια βελτιστοποιούνται. Το κυρίως πρόβλημα αυτών των τεχνικών είναι η σωστή επιλογή των ομάδων και του αριθμού k. Όπως και προηγουμένως αφού έχουν πραγματοποιηθεί όλες οι αναθέσεις των σημείων στις ομάδες, επαναπροσδιορίζονται οι αναθέσεις αυτές. Αυτό μπορεί να συμβεί αν σε κάθε ομάδα αποδοθεί μια τιμή και σταδιακά ελαχιστοποιείται. Η τιμή αυτή μπορεί να αποδοθεί με το άθροισμα των τετραγωνικών αποστάσεων από το μέσο όρο στην κάθε ομάδα. Οι πιο δημοφιλείς αλγόριθμοι στην κατηγορία αυτή είναι οι κεντροειδείς αλγόριθμοι. Εδώ η κάθε ομάδα αναπαρίσταται με το κέντρο μάζας της. Οι πιο γνωστοί αλγόριθμοι στην κατηγορία αυτή είναι ο αλγόριθμος απλού περάσματος και οι αλγόριθμοι που χρησιμοποιούν το κριτήριο του τετραγωνικού λάθους. 51

52 Κεφάλαιο 3 - Τεχνικές Ομαδοποίησης Αλγόριθμος απλού περάσματος Στον αλγόριθμο αυτό ομαδοποιούνται όλα τα δεδομένα του συνόλου με ένα μόνο πέρασμα. Η λογική αυτού του αλγορίθμου είναι η εξής: Το πρώτο στοιχείο χρίζεται κέντρο μάζας της πρώτης ομάδας Για όλα τα επόμενα στοιχεία υπολογίζονται οι αποστάσεις τους από τα κέντρα μάζας των ομάδων, που ήδη υπάρχουν και παραμένουν οι μικρότερες, μια για κάθε στοιχείο. Αν η απόσταση του στοιχείου i από την πιο κοντινή του ομάδα είναι μικρότερη από κάποια τιμή κατωφλίου που έχει τεθεί, το στοιχείο i ανατίθεται στην ομάδα. Διαφορετικά, το i-στοιχείο γίνεται κέντρο μάζας μιας νέας ομάδας Όταν όλα τα στοιχεία έχουν ομαδοποιηθεί, ο αλγόριθμος τερματίζει Αλγόριθμοι ομαδοποίησης τετραγωνικού λάθους Οι αλγόριθμοι ομαδοποίησης τετραγωνικού λάθους χρησιμοποιούν το κριτήριο του τετραγωνικού λάθους, το οποίο ορίζεται από την παρακάτω σχέση: Όπου είναι το i-στοιχείο της j ομάδας, το κέντρο μάζας της j-ομάδας, k ο αριθμός των ομάδων και ο αριθμός των στοιχείων της j-ομάδας. Τα συνηθέστερα βήματα που ακολουθούν οι αλγόριθμοι ομαδοποίησης τετραγωνικού λάθους είναι τα εξής: 1. Επιλέγονται τα στοιχεία που θα εκπροσωπούν τις ομάδες 2. Ανατίθενται τα υπόλοιπα στοιχεία στην πλησιέστερη για κάθε στοιχείο ομάδα 3. Επαναπροσδιορίζονται τα κέντρα των ομάδων 4. Επαναλαμβάνονται το 2 ο και το 3 ο βήμα, έως ότου νέα αλλαγή στα κέντρα δεν προκαλεί διαφορετικές αναθέσεις και το τετραγωνικό λάθος σταθεροποιείται. 5. Οι ομάδες συγχωνεύονται με βάση π.χ. κάποια ευρετική συνάρτηση. Ένας από τους πιο κλασσικούς αλγορίθμους της κατηγορίας αυτής είναι ο k-means, ο οποίος έχει αρκετά απλή υλοποίηση και αναλύεται διεξοδικά στη συνέχεια. Ο αλγόριθμος k- 52

53 Κεφάλαιο 3 - Τεχνικές Ομαδοποίησης 53 means έχει πολλές παραλλαγές, κάποιες από τις οποίες χρησιμοποιούνται στα πλαίσια της διπλωματικής εργασίας. 3.3 Ασαφής Ομαδοποίηση (Fuzzy clustering) Η διαφορά της Ασαφούς ομαδοποίησης από την κλασσική ομαδοποίηση δεδομένων είναι ότι πλέον κάθε πρότυπο ανήκει σε όλες τις ομάδες σε κάποιο βαθμό. Όπως αναφέρθηκε προηγουμένως, στην κλασσική ομαδοποίηση δεδομένων δημιουργούνται ομάδες και αναλόγως τοποθετούνται τα πρότυπα σε κάθε μία από αυτές. Εδώ δεν μπορεί ένα πρότυπο να ανήκει ταυτόχρονα σε δύο και παραπάνω ομάδες. Αντίθετα με τη λογική αυτή, στην Ασαφή ομαδοποίηση ορίζεται μια συνάρτηση συμμετοχής. Η συνάρτηση αυτή υποδηλώνει το βαθμό συμμετοχής κάθε προτύπου στην κάθε ομάδα. Οι τιμές, που μπορεί να πάρει ο βαθμός συμμετοχής, είναι από μηδέν έως ένα. Όσο πιο κοντά στο ένα είναι ο βαθμός συμμετοχής του i προτύπου στην j ομάδα, τόσο πιο μεγάλη σιγουριά υπάρχει για τη συμμετοχή αυτού στη συγκεκριμένη ομάδα. Αντίθετα, όσο πιο κοντά στο μηδέν είναι ο βαθμός συμμετοχής, μεγαλώνουν οι αμφιβολίες για τη συμμετοχή του. Φυσικά δεν είναι απαραίτητο όλες οι ομάδες να έχουν ασαφή χαρακτήρα. Είναι πιθανό να προκύψουν και απόλυτες ομάδες όπως και στην κλασσική ομαδοποίηση δεδομένων. Αυτό θα συμβεί, αν όλα τα στοιχεία κάποιας ομάδας έχουν βαθμό συμμετοχής ένα. Όπως στην ασαφή ομαδοποίηση, έτσι και στην κλασσική μπορεί να οριστεί συνάρτηση συμμετοχής των προτύπων στις ομάδες τους. Η διαφορά είναι ότι η συνάρτηση συμμετοχής στην κλασσική ομαδοποίηση θα παίρνει διακριτές τιμές, τόσες όσες οι ομάδες που υπάρχουν π.χ. τις τιμές μηδέν και ένα αν έχουμε δύο ομάδες. Στην ασαφή ομαδοποίηση η μεταβλητή που υποδηλώνει το βαθμό συμμετοχής ενός προτύπου σε κάποια ομάδα είναι συνεχής. π.χ. οι τιμές της συνάρτησης συμμετοχής κυμαίνονται από μηδέν έως ένα. Παρακάτω φαίνεται σχηματικά η διαφορά της συνάρτησης αυτής στις δύο περιπτώσεις. Έστω δύο ομάδες, A και B. Το Σχήμα 7(α) αναφέρεται σε απόλυτο αλγόριθμο ομαδοποίησης, ενώ το Σχήμα 7(β) αναφέρεται σε ασαφή αλγόριθμο ομαδοποίησης. 53

54 Κεφάλαιο 3 - Τεχνικές Ομαδοποίησης 54 Σχήμα 7 (α) Συνάρτηση συμμετοχής σε απόλυτο αλγόριθμο ομαδοποίησης, (β) Συνάρτηση συμμετοχής σε ασαφή αλγόριθμο ομαδοποίησης [16] 3.4 Επιλογή του κατάλληλου αλγορίθμου και εμπειρία Η επιλογή του κατάλληλου αλγορίθμου για clustering δεν είναι απλή υπόθεση. Η πληθώρα αλγορίθμων clustering, οι οποίοι υπάρχουν στην βιβλιογραφία, είναι ένα μεγάλο εμπόδιο στην απόφαση και επιλογή του καλύτερου αλγορίθμου για το εκάστοτε πρόβλημα που αντιμετωπίζεται. Ένα σύνολο κριτηρίων αποδοχής έχουν προταθεί για την σύγκριση αλγορίθμων clustering και την διευκόλυνση της επιλογής του πιο κατάλληλου κάθε φορά. Αυτά τα κριτήρια βασίζονται (1) στον τρόπο με τον οποίο σχηματίζονται τα clusters, (2) στην δομή που έχουν τα δεδομένα προς επεξεργασία (3) και στην ευαισθησία που έχει ο αλγόριθμος σε αλλαγές που δεν επηρεάζουν τη δομή των δεδομένων. Παρόλα αυτά, τα παραπάνω κριτήρια δεν αρκούν για να δοθούν απαντήσεις σε πολύ σημαντικά ερωτήματα όπως (α) ποιο είναι το καλύτερο μέτρο για την σύγκριση της ομοιότητας των στοιχείων, (β) πώς πρέπει να αξιοποιηθεί κάποια γνώση που υπάρχει για τα δεδομένα, (γ) με ποιον τρόπο μπορεί να ομαδοποιήσει κανείς αποτελεσματικά ένα πολύ μεγάλο σύνολο δεδομένων κ.α. Το κυρίαρχο πρόβλημα όσον αφορά τους αλγορίθμους ομαδοποίησης είναι ότι δεν υπάρχει κανένας που να μπορεί να εφαρμοστεί για όλες τις δυνατές περιπτώσεις δεδομένων και να αναδείξει επιτυχώς την ποικιλία δομών που εμφανίζονται. Το πρόβλημα γίνεται πιο έντονο ειδικά σε πολυδιάστατα σύνολα δεδομένων, που συνήθως χαρακτηρίζουν τα περισσότερα πραγματικά προβλήματα. Αυτό συμβαίνει, διότι σε κάθε αλγόριθμο χρησιμοποιούνται διαφορετικές υποθέσεις για τη δομή των δεδομένων, διαφορετικά μέτρα σύγκρισης ομοιότητας και διαφορετικά κριτήρια ομαδοποίησης. Τα παραπάνω εξηγούν το λόγο ύπαρξης τόσο μεγάλου πλήθους αλγορίθμων ομαδοποίησης και το γεγονός ότι συνεχίζουν να δημιουργούνται νέοι. 54

55 Κεφάλαιο 3 - Τεχνικές Ομαδοποίησης 55 Καθένας προκύπτει από τις ιδιαίτερες ανάγκες ενός συγκεκριμένου προβλήματος, που κάποιος άλλος αλγόριθμος αδυνατεί να αντιμετωπίσει. Άρα, οι νέοι αλγόριθμοι που εμφανίζονται στοχεύουν να προσαρμοστούν σε συγκεκριμένες προδιαγραφές και να επιλύσουν επιτυχώς μια συγκεκριμένη κατηγορία προβλημάτων, αυτή που τους δημιούργησε. Για όλους τους παραπάνω λόγους κρίνεται απαραίτητο για κάθε χρήστη ενός αλγορίθμου clustering να γνωρίζει πολύ καλά την τεχνική που ακολουθεί ο αλγόριθμος της επιλογής του, να έχει γνώση των λεπτομερειών για τον τρόπο με τον οποίο ομαδοποιούνται τα δεδομένα σε clusters και να είναι καλός γνώστης της πληροφορίας που πρόκειται να επεξεργαστεί. Φυσικά η εμπειρία του σε τεχνικές clustering παίζει πολύ σπουδαίο ρόλο. Όσο περισσότερη πληροφορία για τα δεδομένα έχει στα χέρια του ο χρήστης, τόσο καλύτερα μπορεί να εκτιμηθεί η διαδικασία της ομαδοποίησης και τόσο πιο σωστά συμπεράσματα θα προκύψουν. Επίσης, η γνώση της μορφής των δεδομένων βοηθάει σημαντικά στην βελτίωση της ποιότητας των παραγόμενων χαρακτηριστικών, στην επιλογή του καλύτερου μέτρου ομοιότητας και στην όσο το δυνατόν καλύτερη αναπαράσταση των δεδομένων. 3.5 Μέτρα ομοιότητας Το πόσο επιτυχημένο θεωρείται το αποτέλεσμα της ομαδοποίησης δεδομένων εξαρτάται από τα κριτήρια που θα χρησιμοποιηθούν για τον διαχωρισμό των στοιχείων σε ομάδες. Η σωστή επιλογή των κριτηρίων αυτών είναι ένα πολύ σημαντικό ζήτημα. Το πιο σύνηθες κριτήριο που χρησιμοποιείται είναι η απόσταση μεταξύ των στοιχείων του συνόλου δεδομένων. Τα στοιχεία που ανήκουν σε κάθε cluster παρουσιάζουν ομοιότητα μεταξύ τους. Αυτή η ιδιότητα εξάλλου, είναι αναγκαία προκειμένου να ορισθεί ένα νέο ξεχωριστό cluster κατά την διαδικασία του clustering. Έτσι, για όλες τις τεχνικές clustering είναι σημαντικό να ορίζεται ένα μέτρο ομοιότητας μεταξύ δύο στοιχείων από το χώρο δεδομένων. Δεδομένης της μεγάλης ποικιλίας στα χαρακτηριστικά των στοιχείων, η επιλογή του μέτρου ομοιότητας θα πρέπει να είναι πολύ προσεκτική. Η αναπαράσταση των προτύπων παίζει σπουδαίο ρόλο στην επιλογή του μέτρου ομοιότητας. Για παράδειγμα, όταν τα δεδομένα αναπαρίστανται μέσω διανυσμάτων με διακριτές τιμές σε κάθε συνιστώσα, χρησιμοποιείται η Ευκλείδεια απόσταση. Σε πολλές περιπτώσεις αυτό, που συνήθως μετράται μέσω του μέτρου ομοιότητας, δεν είναι η ομοιότητα, αλλά η διαφορετικότητα ή ανομοιότητα δύο τυχαίων στοιχείων, όπως έχει ήδη αναφερθεί. Στην 55

56 Κεφάλαιο 3 - Τεχνικές Ομαδοποίησης 56 συνέχεια θα αναφερθούν μέτρα ομοιότητας, τα οποία είναι ευρέως διαδεδομένα και χρησιμοποιούνται για την σύγκριση στοιχείων των οποίων τα χαρακτηριστικά περιγράφονται από διακριτές τιμές. Το μέτρο ομοιότητας καλείται και απόσταση και συμβολίζεται με D και ικανοποιεί τα παρακάτω για δύο στοιχεία x, y: Στη διαδικασία της ταξινόμησης πολλά και διαφορετικά μέτρα ομοιότητας χρησιμοποιούνται για διαφορετικούς τύπους δεδομένων. Από αυτά τα μέτρα, τα πιο ευρέως διαδεδομένα είναι οι παρακάτω. Έστω και δύο διανύσματα του χώρου,τότε : Ευκλείδεια απόσταση ορίζεται ως : Τετραγωνισμένη Ευκλείδεια απόσταση ορίζεται ως : Η ταξινόμηση με αυτό το μέτρο ομοιότητας είναι πιο γρήγορη από αυτή της Ευκλείδειας απόστασης λόγω της έλλειψης της ρίζας και για αυτό το λόγο χρησιμοποιείται από τον αλγόριθμο k-means, που παρουσιάζεται στη συνέχεια. Απόσταση Manhattan ορίζεται ως : Η απόσταση Manhattan μετρά την απόσταση μεταξύ δύο σημείων κινούμενη πρώτα κατά x και μετά κατά y μέσα σε πλέγμα (grid). Απόσταση Chebyshev ορίζεται ως : Η απόσταση αυτή υπολογίζει τη μέγιστη απόσταση μεταξύ όλων των διαστάσεων των 56

57 Κεφάλαιο 3 - Τεχνικές Ομαδοποίησης 57 δύο διανυσμάτων και χρησιμοποιείται συνήθως σε ταξινόμηση γονιδίων, τα οποία δεν παρουσιάζουν μεγάλες διαφορές στον τρόπο έκφρασής τους. 3.6 Εκτίμηση του αριθμού των ομάδων (clusters) Στην βιβλιογραφία συναντάει κανείς πολλούς τρόπους για την εκτίμηση του αποτελέσματος της ομαδοποίησης ενός αλγορίθμου, που απαιτεί να είναι προκαθορισμένος ο αριθμός των clusters (k). Έχουν γίνει αξιοσημείωτες προσπάθειες προς αυτή την κατεύθυνση, ώστε να ξεπεραστεί σε μεγάλο βαθμό το πρόβλημα για το ποιο είναι το καλύτερο k. Μια πολύ γνωστή τεχνική είναι να συγκριθούν τα αποτελέσματα του διαμεριστικού αλγορίθμου ομαδοποίησης με τα αντίστοιχα ενός ιεραρχικού αλγορίθμου και μέσω του δενδρογράμματος να προκύψει το καλύτερο k. Ακόμη, γνωστή τεχνική αποτελεί η χρήση δεικτών εκτίμησης, που ανάλογα με τις τιμές που λαμβάνουν εξαγάγεται συμπέρασμα για το k. Τέτοιοι δείκτες υλοποιήθηκαν και στην παρούσα διπλωματική εργασία. Ένας ακόμα τρόπος που προτείνεται περιλαμβάνει πρώτα απεικόνιση των clusters και στη συνέχεια με την εφαρμογή διάφορων εργαλείων εύρεση του κατάλληλου k. Τέλος, διάφορες προσπάθειες που έγιναν για την εκτίμηση του k, εμπλέκουν την έννοια της ευστάθειας. Αξίζει δε να αναφερθεί, ότι χρήσιμα συμπεράσματα για το k έχουν προκύψει και από προσπάθειες επίλυσης διάφορων προβλημάτων που εμφανίζουν ορισμένοι αλγόριθμοι. Όσον αναφορά στον αλγόριθμο k-means, που μελετάμε στην διπλωματική, έχουν γίνει τέτοιες προσπάθειες επέκτασης του. Ωστόσο, όλες οι παραπάνω μέθοδοι δεν κατάφεραν να επιλύσουν το πρόβλημα της ανάγκης ύπαρξης προκαθορισμένης τιμής του k για την εκτέλεση του. Ο λόγος είναι ότι οι παραπάνω τεχνικές δεν μπορούν αν εφαρμοστούν παντού και πάντα, καθώς εμφανίζουν αδυναμίες όταν καλούνται να επιλύσουν προβλήματα διαφορετικής μορφής. Έτσι για παράδειγμα υπάρχουν δείκτες που έχουν μεγάλο υπολογιστικό κόστος, κάτι που είναι καλό να αποφεύγεται κυρίως σε μεγάλα σύνολα δεδομένων. Άλλοι δείκτες πάλι δεν κατάλληλοι, όταν τα στοιχεία ομαδοποιούνται σε clusters με πολύ μεγάλη διαφορά πυκνότητας στοιχείων. Γενικότερα, πλήθος τεχνικών ομαδοποίησης αντιμετωπίζουν προβλήματα, καθώς σχεδιάστηκαν για να επιλύσουν κάποιο συγκεκριμένο πρόβλημα υπό συνθήκες και παραδοχές. Έτσι, η έρευνα για την προσπάθεια εύρεσης του βέλτιστου k με ευρέως αποδεκτό και εφαρμόσιμο τρόπο συνεχίζεται. Μάλιστα το ζητούμενο σήμερα είναι να μπορεί ο αλγόριθμος να «μαθαίνει» το k αυτόματα, δηλαδή να μη το δέχεται ως 57

58 Κεφάλαιο 3 - Τεχνικές Ομαδοποίησης 58 είσοδο. 3.6 Δείκτες εκτίμησης του αριθμού των ομάδων (clusters) Η τεχνική της ομαδοποίησης αφορά τη διαδικασία διαχωρισμού ενός δεδομένου συνόλου στοιχείων σε ομάδες ή σε clusters έτσι, ώστε όλα τα στοιχεία της ίδιας ομάδας να φέρουν κοινά χαρακτηριστικά μεταξύ τους, ενώ τα στοιχεία που ανήκουν σε διαφορετικές ομάδες να είναι ανόμοια μεταξύ τους. Οι τεχνικές clustering εμπλέκονται πάντα στη διαδικασία αναγνώρισης προτύπων. Ωστόσο, σχεδόν όλοι οι αλγόριθμοι clustering που υπάρχουν στην βιβλιογραφία, βασίζονται σε αναπαράσταση προτύπων χρησιμοποιώντας τα χαρακτηριστικά διανυσμάτων. Υπάρχουν μόνο λίγες ερευνητικές εργασίες με συμβολικές δομές δεδομένων, συγκεκριμένα γράφους, που χρησιμοποιούνται στην τεχνική clustering. Αυτή η έλλειψη των αλγορίθμων για clustering σε συμβολικές δομές δεδομένων έχει αρνητικές συνέπειες, γιατί οι συμβολικές δομές δεδομένων εμφανίζουν υψηλότερη ικανότητα αναπαράστασης από ό,τι τα διανύσματα. Πολλοί αλγόριθμοι ομαδοποίησης απαιτούν ο αριθμός των clusters να είναι προκαθορισμένος. Για να ξεπεραστεί αυτό το πρόβλημα, έχουν προταθεί διάφοροι δείκτες εκτίμησης των clusters. Αυτοί οι δείκτες επιτρέπουν να μετριέται η ποιότητα του αποτελέσματος της εκάστοτε clustering τεχνικής. Πιο συγκεκριμένα, αυτό επιτυγχάνεται μέσω της γνώσης του βέλτιστου αριθμού clusters, που εκτιμάται από τις τιμές των δεικτών που χρησιμοποιούνται για αυτό τον σκοπό. Ομοίως όμως με τους αλγορίθμους για clustering, και αυτοί οι δείκτες εφαρμόζονταν αποκλειστικά για διανυσματική αναπαράσταση προτύπων. Ένας άλλος τρόπος για να αντιμετωπιστεί το πρόβλημα με τον άγνωστο αριθμό των clusters είναι η εναλλαγή του αριθμού των clusters δυναμικά. Πριν την ερμηνεία των αποτελεσμάτων της ομαδοποίησης των συμπεριφορών των πρακτόρων επιβάλλεται η αξιολόγηση των μεθόδων ομαδοποίησης που χρησιμοποιήσαμε, ώστε να καταλήξουμε τελικά στην πιο κατάλληλη για τα δεδομένα που αναλύουμε και τη φύση του προβλήματος. Συχνά η σωστή αξιολόγηση της ομαδοποίησης είναι το κλειδί για τη σωστή ερμηνεία των αποτελεσμάτων. Οι δείκτες εκτίμησης των clusters που υπάρχουν στην βιβλιογραφία [15] είναι πολλοί και χωρίζονται σε διάφορες κατηγορίες: Εσωτερικοί (internal) δείκτες: ο στόχος τους είναι να εκτιμήσουν τα αποτελέσματα του αλγορίθμου clustering χρησιμοποιώντας μόνο ποσότητες που εμπλέκουν τα δεδομένα. 58

59 Κεφάλαιο 3 - Τεχνικές Ομαδοποίησης 59 Τέτοιοι δείκτες βασίζουν τους υπολογισμούς τους μόνο στο αποτέλεσμα του clustering που προκύπτει και πρέπει να εκτιμηθεί. Συνεπώς είναι κατάλληλοι περισσότερο για ομαδοποίηση χωρίς επίβλεψη. Δύο ευρέως γνωστοί εσωτερικοί δείκτες είναι ο δείκτης Dunn και ο δείκτης Silhouette. Εξωτερικοί (external) δείκτες: εκτιμούν το αποτέλεσμα μέσω αναφορών από προηγούμενη εξωτερική γνώση, όπως για παράδειγμα μία προ-ορισμένη δομή που δίνει τη δυνατότητα γνώσης διαισθητικά για τη δομή που θα προκύψει από ένα σύνολο δεδομένων. Αξίζει να σημειωθεί ότι αυτοί οι δείκτες δεν είναι εφαρμόσιμοι σε αληθινά δεδομένα του πραγματικού κόσμου, όπου εφαρμόζονται ομαδοποιήσεις χωρίς επίβλεψη. Γενικά το κύριο μειονέκτημα τους σε σχέση με τους internal δείκτες είναι το υψηλό υπολογιστικό τους κόστος, συμπεριλαμβανομένου ότι μετρούν σε ποιο βαθμό τα clusters που προέκυψαν ταυτίζονται με ένα συγκεκριμένο και προκαθορισμένο σχήμα. Ένας ευρέως γνωστός και αξιόπιστος δείκτης αυτής της κατηγορίας είναι το F-measure. Δείκτες συσχέτισης: στοχεύουν στην ανάκτηση του καλύτερου clustering που μπορεί να επιτευχθεί από έναν clustering αλγόριθμο υπό κάποιες προϋποθέσεις και παραμέτρους. Η κύρια μέθοδος που εφαρμόζεται σε αυτούς τους δείκτες είναι η εκτίμηση του αποτελέσματος μέσω συγκρίσεων με άλλα αποτελέσματα ομαδοποίησης του ίδιου συνόλου με διαφορετικές τιμές παραμέτρων εισόδου στον ίδιο αλγόριθμο. Όταν εφαρμόζονται κατάλληλα οι internal, φαίνεται να δρουν σαν εκτιμητές συσχέτισης. Για παράδειγμα, ψάχνοντας για τον βέλτιστο αριθμό των clusters ουσιαστικά εκτιμώνται διαφορετικές εκτελέσεις του ίδιου αλγορίθμου για διαφορετικό αριθμό clusters Εσωτερικοί (internal) δείκτες εκτίμησης των ομάδων Η κατηγορία των εσωτερικών δεικτών εκτίμησης των ομάδων περιλαμβάνει δείκτες που εξετάζουν το κατάλληλο πλήθος συστάδων και την ορθότητα της τοποθέτησης κάθε στοιχείου σε κάθε συστάδα. Για τον υπολογισμό των εσωτερικών μέτρων λαμβάνουμε υπόψη τα εξής χαρακτηριστικά [17]: Πυκνότητα (compactness): Αναφέρεται στο πόσο ικανοποιητική είναι η σύσταση κάθε ομάδας. Βασίζεται στην ομοιογένεια, δηλαδή στην κατά το δυνατόν μικρότερη εντόςσυστάδας απόσταση (intra-cluster distance) των στοιχείων κάθε συστάδας. Σε 59

60 Κεφάλαιο 3 - Τεχνικές Ομαδοποίησης 60 περιπτώσεις πολύ περίπλοκων ομαδοποιήσεων τα αποτελέσματα αυτών των εκτιμητών δεν είναι ιδιαίτερα καλά, οπότε δε φαίνονται ξεκάθαρα οι συστάδες που σχηματίζονται. Διαχωρισμός (separation): Μελετά το πόσο διαφέρουν μεταξύ τους οι ομάδες. Βασίζεται στην ανομοιογένεια, δηλαδή στην όσο το δυνατόν μεγαλύτερη εκτόςσυστάδας απόσταση (inter-cluster distance) μεταξύ στοιχείων διαφορετικών ομάδων. Στον υπολογισμό της εκτός συστάδας απόστασης λαμβάνονται συνήθως υπόψη τα κέντρα βάρους (centroids) των συστάδων. Συνδεσιμότητα (connectivity): Εξετάζει σε τι βαθμό οι συστάδες περιέχουν στοιχεία που είναι γειτονικά μεταξύ τους. Συνεπώς συστάδες με περισσότερα γειτονικά στοιχεία θεωρούνται καταλληλότερες. Στη συνέχεια παρουσιάζονται οι πιο ευρέως διαδεδομένοι εσωτερικοί δείκτες εκτίμησης της ομαδοποίησης, οι οποίοι χρησιμοποιήθηκαν για την εκτίμηση του αποτελέσματος της ομαδοποίησης στα πλαίσια της παρούσας διπλωματικής εργασίας Δείκτης Silhouette (Silhouette Index) Ο δείκτης Silhouette ορίζει πόσο σωστά έχουν κατανεμηθεί τα στοιχεία σε συστάδες όπου ανήκουν σύμφωνα με κάποιο αλγόριθμο ομαδοποίησης. Συγκεκριμένα [16] έστω στοιχείο i που ανήκει στη συστάδα Α και έστω η μέση απόσταση του στοιχείου αυτού από τα υπόλοιπα στοιχεία της ομάδας. Επίσης, έστω η συστάδα C, στην οποία δεν ανήκει αυτό το στοιχείο, και τότε είναι η μέση απόσταση του στοιχείου i από τα στοιχεία της συστάδας C. Γενικά, υπολογίζεται η απόσταση για όλες τις ομάδες στις οποίες το στοιχείο δεν ανήκει. Επιλέγουμε τη μικρότερη απόσταση από αυτές, δηλαδή την, θεωρούμε ότι αυτή ανήκει στη τυχαία συστάδα Β και υπολογίζουμε το δείκτη Silhouette για το στοιχείο αυτό ως εξής: Σύμφωνα με την παραπάνω σχέση δίδεται η παρακάτω ερμηνεία του αποτελέσματος του δείκτη Silhouette [16]: 60

61 Κεφάλαιο 3 - Τεχνικές Ομαδοποίησης 61 Πίνακας 3 Ερμηνεία δείκτη Silhouette Αποτέλεσμα Ερμηνεία Το στοιχείο i τοποθετήθηκε σωστά στη συστάδα Α, διότι η συστάδα Β, που θεωρείται η δεύτερη καλύτερη, δε βρίσκεται κοντά στο στοιχείο αυτό. Δεν είναι ξεκάθαρο αν το στοιχείο i τοποθετήθηκε σωστά στη συστάδα Α, αφού η απόσταση της ομάδας Β είναι ίδια (intermediate case). Η τοποθέτηση του στοιχείου στη συστάδα Α είναι λανθασμένη διότι το στοιχείο βρίσκεται πιο κοντά στην ομάδα Β. Η χρήση του γραφήματος Silhouette ανακεφαλαιώνει οπτικά την πληροφορία για την καταλληλότητα τοποθέτησης κάθε στοιχείου στην αντίστοιχη συστάδα. Συνεπώς εισάγονται όλα τα silhouettes σε ένα κοινό γράφημα προς αξιολόγηση. Σε αυτό αναπαρίσταται στον άξονα των y τις συστάδες και στον άξονα των x τις ποσότητες. Όσο πιο μεγάλος είναι τελικά ο δείκτης για κάθε στοιχείο τόσο πιο ικανοποιητικά θεωρείται ότι έχει τοποθετηθεί το i στοιχείο στη συστάδα που ανήκει. Μέσω των διαγραμμάτων Silhouette μπορούμε να αποφασίσουμε για το πλήθος των συστάδων, αν το συνδυάσουμε με το συνολικό μέσο silhouette μήκος (overall average silhouette width) του διαγράμματος. Η ποσότητα αυτή ορίζεται ως: Όπου k είναι το πλήθος των συστάδων όπως αυτό προέκυψε από κάποια μέθοδο ομαδοποίησης και επιλέγεται έτσι, ώστε να μεγιστοποιείται το μέσο silhouette μήκος. Ορίζεται για διάφορα k λοιπόν η ποσότητα SC, όπου για διάφορα k, και η ποσότητα αυτή ερμηνεύεται σύμφωνα με τον παρακάτω πίνακα. Πίνακας 4 Ερμηνεία μέσου όρου των silhouettes Αποτέλεσμα Ερμηνεία Δυνατή δομή συστάδων Λογική δομή των συστάδων Αδύναμη δομή των συστάδων -1 έως 0.25 Καμία ουσιώδης δομή συστάδων 61

62 Κεφάλαιο 3 - Τεχνικές Ομαδοποίησης Δείκτης Dunn Ο συγκεκριμένος δείκτης εκτίμησης προτάθηκε από τον J.Dunn [18] και υπολογίζει την αναλογία (ratio) της μικρότερης απόστασης μεταξύ των στοιχείων που δεν είναι στην ίδια συστάδα (inter-cluster distance) και της μεγαλύτερης απόστασης μεταξύ των στοιχείων που ανήκουν στην ίδια συστάδα (inter-cluster distance) και ορίζεται ως : Όπου diam( είναι η μέγιστη απόσταση μεταξύ των παρατηρήσεων της συστάδας και είναι ένα σύνολο που περιέχει τις n συστάδες. Στόχος του δείκτη Dunn είναι η μεγιστοποίηση της εκτός-συστάδας απόστασης και η ελαχιστοποίηση της εντός συστάδας απόστασης. Η ομαδοποίηση θεωρείται ικανοποιητική ως προς το πλήθος και τη σύσταση των ομάδων, όταν η τιμή του δείκτη είναι όσο το δυνατόν πιο μακριά από το μηδέν. Η ακριβέστερη ερμηνεία του δείκτη γίνεται σύμφωνα με τον επόμενο πίνακα. Πίνακας 5 Ερμηνεία του δείκτη Dunn Αποτέλεσμα Ερμηνεία Οι συστάδες δεν έχουν ορισθεί σωστά γιατί ικανοποιούν μικρή εκτός-συστάδας απόσταση και μεγάλη εντός-συστάδας απόσταση Κάποια στοιχεία ανήκουν σε 2 συστάδες γιατί η εντός-συστάδας απόσταση ισούται με την εκτόςσυστάδας απόσταση Οι συστάδες έχουν ορισθεί ορθά διότι ικανοποιούν μεγάλη εκτός συστάδας απόσταση και μικρή εντόςσυστάδας απόσταση Παρατήρηση Οι δείκτες Dunn και Silhouette συνδυάζουν την πυκνότητα και το διαχωρισμό, όχι όμως με γραμμικό τρόπο. Αυτά τα δύο χαρακτηριστικά υποδηλώνουν αντίθετες τάσεις, καθώς συνήθως η πυκνότητα έχει την τάση να αυξάνει το πλήθος των συστάδων, ενώ ο διαχωρισμός έχει την τάση να το μειώνει. 62

63 Κεφάλαιο 3 - Τεχνικές Ομαδοποίησης Ο δείκτης Davies-Bouldin Ο δείκτης Davies-Bouldin (DB index) προτάθηκε το 1979 από τους David L.Davies και Donald W. Bouldin [19]. Ο δείκτης ανήκει στην κατηγορία των εσωτερικών δεικτών ομαδοποίησης. Ο δείκτης χρησιμοποιεί την κεντροειδή απόσταση για τις αποστάσεις εντός της ίδιας ομάδας και την για τις αποστάσεις μεταξύ των ομάδων. Το μέτρο ομοιότητας ορίζεται έτσι, ώστε να ικανοποιεί της παρακάτω συνθήκες: Αν και, τότε 4. Αν και, τότε 5. Αν και, τότε Ένα απλό μέτρο που ικανοποιεί της συνθήκες είναι. Ο δείκτης Davies-Bouldin ορίζεται ως : Όπου και C είναι το πλήθος των ομάδων. Ο δείκτης DB αντικατοπτρίζει τη μέση ομοιότητα μεταξύ κάθε ομάδας και της αμέσως πιο κοντινή της. Έτσι, η καλύτερη δυνατή ομαδοποίηση είναι εκείνη που ελαχιστοποιεί το δείκτη, δηλαδή αυτή την ομοιότητα, και με αυτό τον τρόπο επιλέγεται ο βέλτιστος αριθμός ομάδων Διαγράμματα Elbow Στην προσπάθεια να εκτιμηθεί ο βέλτιστος αριθμός των ομάδων ταξινόμησης (clusters) συναντάται συχνά στη βιβλιογραφία η μέθοδος εκτίμησης του πλήθους με χρήση διαγραμμάτων [20]. Πολλές από αυτές τις μεθόδους χαρακτηρίζονται από καμπύλες οι οποίες περιέχουν ένα εμφανές σημείο καμπής. Αυτό το σημείο είναι και ο λόγος που τα διαγράμματα αυτά συχνά ονομάζονται διαγράμματα Elbow. 2 Πρόκειται για μια από τις πιο κλασσικές και απλές μεθόδους, 2 Elbow=αγκώνας. Το διάγραμμα φαίνεται να έχει τη δομή ενός αγκώνα όταν το ανθρώπινο χέρι δεν είναι σε πλήρη έκταση. 63

64 Κεφάλαιο 3 - Τεχνικές Ομαδοποίησης 64 βασιζόμενη στη λογική ότι επιπλέον διαχωρισμός ενός συνόλου σε συστάδες δεν αυξάνει την παρεχόμενη από την ταξινόμηση πληροφορία. Στη μέθοδο αυτή χρησιμοποιείται ένα διάγραμμα, όπου, μετά τον υπολογισμό της διακύμανσης που ερμηνεύεται από τις συστάδες, απεικονίζεται αυτός ο αριθμός σε ποσοστιαία κλίμακα στον άξονα y και στον άξονα x καταγράφεται ο αριθμός των κλάσεων. Ένα τυπικό διάγραμμα που χρησιμοποιείται για τη μέθοδο Elbow είναι το παρακάτω. Σχήμα 8 Τυπικό διάγραμμα Elbow Σε αυτή την εκδοχή του διαγράμματος οι πρώτες κλάσεις προσθέτουν πολλή πληροφορία αυξάνοντας έτσι το ποσοστό της διακύμανσης, όμως από κάποιο σημείο και έπειτα η προσθήκη επιπλέον συστάδων δεν προσθέτει πληροφορίες, μειώνοντας σταδιακά το ρυθμό αύξησης της διακύμανσης. Έτσι δημιουργείται μια καμπή στο διάγραμμα και το σημείο καμπής (elbow) υποδεικνύει τον προτεινόμενο ικανοποιητικό αριθμό ομάδων ταξινόμησης. Η μέθοδος διαγραμμάτων Elbow παρουσιάζει πολλές παραλλαγές, όλες βασισμένες στην προσπάθεια βελτιστοποίησης μιας συνάρτησης κόστους, η οποία τοποθετείται στον άξονα y. Στην περίπτωση όπου το μέτρο εγγύτητας των δεδομένων είναι η Ευκλείδεια απόσταση, όπως και στην παρούσα διπλωματική εργασία, η συνηθέστερη συνάρτηση κόστους για την εκτίμηση της ποιότητας της ταξινόμησης είναι η συνάρτηση αθροίσματος τετραγωνικού σφάλματος (sum of squared error-sse). Με άλλα λόγια υπολογίζεται το σφάλμα κάθε σημείου, δηλαδή η 64

65 Κεφάλαιο 3 - Τεχνικές Ομαδοποίησης 65 ευκλείδεια απόστασή του από το κοντινότερο κέντρο και στη συνέχεια υπολογίζεται το συνολικό σφάλμα. Μεταξύ δύο διαφορετικών ταξινομήσεων προτιμάται πάντα εκείνη με το χαμηλότερο δείκτη SSE, καθώς αυτό σημαίνει ότι τα κέντρα της ταξινόμησης αυτής αντιπροσωπεύουν με καλύτερο τρόπο την ομάδα τους. Ο δείκτης SSE ορίζεται από τη μαθηματική σχέση: Όπου η συνάρτηση dist είναι η Ευκλείδεια απόσταση μεταξύ δύο αντικειμένων στον ευκλείδειο χώρο. Δεδομένης λοιπόν της υπόθεσης ότι ο αριθμός των κέντρων που ελαχιστοποιεί το δείκτη SSE είναι η βέλτιστη επιλογή, ο δείκτης αυτός τίθεται σαν συνάρτηση κόστους στον άξονα y των διαγραμμάτων Elbow. Σε αυτή την περίπτωση, όταν περαιτέρω διαχωρισμός των ομάδων δεν προκαλεί αρκετή μείωση του δείκτη, ο τρέχων αριθμός ομάδων μπορεί να επιλεγεί. Το διάγραμμα που ακολουθεί είναι τυπικό παράδειγμα προσπάθειας εξαγωγής του αριθμού των ομάδων ταξινόμησης μέσω του δείκτη SSE. Στο διάγραμμα αυτό φαίνεται πως η επιλογή αριθμού ομάδων μεγαλύτερου του 6 δεν οδηγεί σε ουσιώδη μείωση του δείκτη SSE και ως εκ τούτου επιλέγεται να γίνει ομαδοποίηση σε 6 συστάδες. Σχήμα 9 Διάγραμμα Elbow για τον υπολογισμό του αριθμού των ομάδων ταξινόμησης 65

66 Κεφάλαιο 3 - Τεχνικές Ομαδοποίησης Εξωτερικοί (external) δείκτες εκτίμησης των ομάδων Οι εξωτερικοί δείκτες εκτίμησης βασίζονται σε δεδομένα που δε χρησιμοποιήθηκαν κατά την ομαδοποίηση, για τα οποία είναι ήδη γνωστή η ορθή κατάταξή τους σε συγκεκριμένες ομάδες. Τα δεδομένα αυτά χαρακτηρίζονται «ταμπέλες» (cluster labels) και πολύ συχνά παράγονται από τον ίδιο τον ερευνητή. Αυτός είναι και ο λόγος που αυτός ο τρόπος εκτίμησης δεν είναι ιδιαίτερα διαδεδομένος, διότι συχνά δε θεωρείται ορθός ή επαρκής για πραγματικά δεδομένα. Επιπλέον, από την πλευρά της εξόρυξης δεδομένων και της αναγνώρισης προτύπων, η προ-δημιουργία «γνώσης» και η επιβεβαίωσή της στη συνέχεια είναι μια τεχνική που δεν είναι αναγκαίο να οδηγήσει στο ορθό αποτέλεσμα. Ο πιο διαδεδομένος δείκτης αυτής της κατηγορίας είναι ο F-measure, ο οποίος περιγράφει το βαθμό στον οποίο το αποτέλεσμα μιας ομαδοποίησης «ταιριάζει» σε μια ήδη προκαθορισμένη ομαδοποίηση. Επίσης, παρέχει τη δυνατότητα σύγκρισης διαφορετικών ομαδοποιήσεων προκειμένου να προσδιοριστεί εκείνη που ανταποκρίνεται καλά σε κάποια προκαθορισμένη ομαδοποίηση. Ο δείκτης ορίζεται μέσω των εννοιών της ανάκλησης (recall) και της ακρίβειας (precision), οι οποίες ορίζονται ως εξής : Precision : Recall : Όπου είναι οι προκαθορισμένες ομάδες και οι ομάδες που προέκυψαν από τη δεύτερη ομαδοποίηση. Ο δείκτης F-measure για μια ομάδα ορίζεται: και μία προκαθορισμένη ομάδα Επίσης ορίζεται προκύπτει ότι : και τελικά σύμφωνα με τις παραπάνω εξισώσεις Όπου Ν είναι ο αριθμός των στοιχείων προς ομαδοποίηση. Σημειώνεται τελικά ότι καλύτερη θεωρείται η ομαδοποίηση με το μεγαλύτερο δυνατό δείκτη F-measure και ως βέλτιστη ορίζεται η μέγιστη τιμή του δείκτη που είναι το 1. 66

67 Κεφάλαιο 3 - Τεχνικές Ομαδοποίησης Η έννοια της ευστάθειας Αν και οι τεχνικές clustering είναι αρκετά δημοφιλείς και έχουν ευρύ πεδίο εφαρμογών, δυστυχώς υπάρχει ελάχιστη γνώση για τις θεωρητικές ιδιότητες των τεχνικών clustering. Συγκεκριμένα, δύο είναι τα κεντρικά θέματα, το ένα έχει να κάνει με το πρόβλημα του καθορισμού εκείνων των clusters που δε φέρουν κανένα νόημα. Το άλλο πρόβλημα έχει να κάνει με την επιλογή του αριθμού k των clusters που ταιριάζει καλύτερα στο εκάστοτε σύνολο δεδομένων. Και τα δύο προβλήματα παραμένουν άλυτα στο μεγαλύτερο μέρος τους. Γίνονται σημαντικές προσπάθειες προς αυτή την κατεύθυνση προκειμένου να καθοριστεί το πιο κατάλληλο k. Εκτός από τους δείκτες που αναφέρθηκαν έως τώρα πολλοί ερευνητές προσπάθησαν να συσχετίσουν την εύρεση του καταλληλότερου k με την έννοια της ευστάθειας. Μάλιστα σε πρόσφατη εργασία [21] φαίνεται ότι η ευστάθεια μπορεί να χρησιμοποιηθεί σαν μέτρο εκτίμησης του καλύτερου k και να οδηγήσει σε σωστά συμπεράσματα. Η πρωταρχική ιδέα αυτής της μεθόδου είναι ότι, αν κάποιος παίρνει συνεχώς δείγματα δεδομένων και εφαρμόζει αλγόριθμο clustering, τότε ένας καλός αλγόριθμος θα παράγει συστάδες που δεν θα διαφέρουν πολύ μεταξύ τους. Με άλλα λόγια, ο αλγόριθμος είναι σταθερός με σεβασμό στην τυχαιότητα των δεδομένων εισόδου. Συγκεκριμένα, η ευστάθεια αποτελεί μια ένδειξη για το εάν το προτεινόμενο μοντέλο κάποιου αλγορίθμου ταιριάζει στα δεδομένα ή όχι. Για παράδειγμα, εάν τα δεδομένα περιέχουν τρία πραγματικά clusters, τότε ο αλγόριθμος λανθασμένα θα προβεί στο διαχωρισμό ενός cluster σε άλλα δύο. Επιπλέον, κάθε φορά το ποιο από τα τρία clusters θα διαχωριστεί, διαφέρει, με αποτέλεσμα να μην υπάρχει σταθερότητα. Με βάση τα παραπάνω λοιπόν, η ευστάθεια αποτελεί μια πολύ σημαντική παράμετρο που χρησιμοποιείται ευρέως σε πρακτικές εφαρμογές για τη ρύθμιση των παραμέτρων των αλγορίθμων. Οι ερευνητές [22], με σκοπό να παρέχουν κάποιες θεμελιώδεις αρχές για την ευστάθεια, τυποποίησαν κάποιους ορισμούς και τους συσχέτισαν με διάφορους αλγορίθμους clustering. Τα αποτελέσματα των ερευνών τους έδειξαν ότι η ευστάθεια καθορίζεται από τη δομή του συνόλου των βέλτιστων λύσεων, που ελαχιστοποιούν μια αντικειμενική συνάρτηση. Επιπλέον, αποδείχθηκε ότι η παρουσία ενός μοναδικού ελαχιστοποιητή συνεπάγεται ευστάθεια. Από την άλλη πλευρά, εάν μια κατανομή πιθανοτήτων P έχει πολλές στο ελάχιστο μειωμένες συστάδες και 67

68 Κεφάλαιο 3 - Τεχνικές Ομαδοποίησης 68 είναι συμμετρική σε σχέση με αυτές, τότε προκύπτει αστάθεια. Έγινε λοιπόν η υπόθεση ότι η συνθήκη συμμετρίας δεν είναι αναγκαία και ότι η παρουσία και μόνο πολλών ελαχιστοποιητών αρκεί για την εμφάνιση αστάθειας. Σε αυτό το συμπέρασμα έχουν καταλήξει και έρευνες που αποδεικνύουν αυτή την υπόθεση και για τον k- means με κατανομές πιθανοτήτων. Αυτά τα αποτελέσματα υποδηλώνουν ότι, σε αντίθεση με την κοινή αίσθηση, η ευστάθεια δεν αντανακλά την εγκυρότητα ή την άσκοπη επιλογή του αριθμού των συστάδων. Με βάση την ευστάθεια μπορεί κάποιος να κατασκευάσει άμεσα πολλά παραδείγματα δεδομένων με διάφορες κατανομές, όπου μια κακή επιλογή αριθμού clusters έχει συνέπεια στην ευστάθεια, ενώ από την άλλη πλευρά κάποιοι διαχωρισμοί αντανακλούν τη βασική δομή του συνόλου δεδομένων και έχουν συνέπεια στην αστάθεια. Συνεπώς, η ευστάθεια ενός αλγορίθμου Α με σεβασμό σε ένα μέγεθος δείγματος m και μια κατανομή πιθανοτήτων P δίνεται από τη σχέση : Σε απλούστερη μορφή, όταν τα δεδομένα είναι πολλά, δηλαδή θεωρούμε ότι τείνουν στο άπειρο: Ένας αλγόριθμος θεωρείται λοιπόν ευσταθής, όταν για τυχαία κατανομή P,. Ορίζεται λοιπόν ότι για μια κατανομή πιθανοτήτων στον Ευκλείδειο χώρο για πεπερασμένο σύνολο δεδομένων, ο k-means, ο οποίος χρησιμοποιήθηκε στην παρούσα διπλωματική, είναι σταθερός για μια κατανομή πιθανοτήτων P, αν και μόνο αν υπάρχει μοναδική λύση ελαχιστοποίησης. 68

69 Κεφάλαιο 3 - Τεχνικές Ομαδοποίησης Αλγόριθμος k-means Σε αυτό το κεφάλαιο θα περιγραφεί ο αλγόριθμος k-means και διάφορα θέματα γύρω από αυτόν, όπως ο τρόπος λειτουργίας, τα πλεονεκτήματα και οι αδυναμίες που παρουσιάζει και άλλα. Ακόμη, παρουσιάζονται δύο σχετικές εργασίες που αφορούν επεκτάσεις του και εμφανίζουν ιδιαίτερο ενδιαφέρον σχετικά με το πρόβλημα εύρεσης του βέλτιστου αριθμού ομάδων K-means Ο διαμεριστικός αλγόριθμος k-means είναι ένας από τους πιο απλούς και δημοφιλέστερους αλγορίθμους ομαδοποίησης, που ανήκουν στην ευρύτερη κατηγορία των τεχνικών μάθησης χωρίς επίβλεψη. Ο αλγόριθμος αυτός είναι δημοφιλής εξαιτίας της απλότητας της υλοποίησης του και της γραμμικής πολυπλοκότητας του, η οποία είναι της τάξης n (Ο(n)), όπου n το σύνολο των στοιχείων. Η διαδικασία της ομαδοποίησης ενός συνόλου δεδομένων με βάση τον k-means είναι εύκολη, αρκεί να είναι εκ των προτέρων καθορισμένος ο αριθμός (k) των clusters (ομάδων) που θα προκύψουν. Η κύρια ιδέα είναι να προσδιοριστούν αρχικά k centroids (κεντροειδή ή κέντρα βάρους), ένα για κάθε συστάδα. Αυτά τα αρχικά centroids πρέπει να επιλεγούν με επιδέξιο τρόπο, γιατί διαφορετικές αρχικές θέσεις για τα centroids δίνουν διαφορετικά αποτελέσματα. Δηλαδή, η αρχική θέση των centroids επηρεάζει το αποτέλεσμα που θα δώσει ο αλγόριθμος. Έτσι, συχνά θεωρείται καλύτερη η επιλογή εκείνων των centroids που απέχουν μεταξύ τους όσο περισσότερο γίνεται. Ο αλγόριθμος Farthest-First για παράδειγμα βασίζεται σε αυτή την ανάγκη επιλογής σημείων με μεγάλη απόσταση, επιλέγοντας τα πιο απομακρυσμένα στοιχεία αρχικά. Το επόμενο βήμα είναι επιλογή κάθε στοιχείου από το σύνολο δεδομένων και συσχέτιση του με το κοντινότερο σε αυτό centroid. Όταν αυτό γίνει για όλα τα στοιχεία του συνόλου δεδομένων, το πρώτο βήμα έχει ολοκληρωθεί και μία πρώτη και «πρόχειρη» ομαδοποίηση έχει ήδη προκύψει. Στη συνέχεια, απαιτείται να υπολογιστούν ξανά k νέα centroids, τα οποία θα αποτελούν το κέντρο βάρους για κάθε cluster που προέκυψε από το προηγούμενο βήμα. Αφού λοιπόν οριστούν τα νέα k centroids, ακολουθεί και πάλι η ίδια διαδικασία ανάθεσης καθενός από τα στοιχεία του συνόλου δεδομένων στο κοντινότερο με αυτό, νέο πλέον, centroid. Έτσι, γίνεται μια επανάληψη 69

70 Κεφάλαιο 3 - Τεχνικές Ομαδοποίησης 70 της ίδιας διαδικασίας. Αποτέλεσμα αυτής της επανάληψης είναι ότι σε κάθε βήμα τα centroids αλλάζουν θέση (ορίζονται νέα) και τα στοιχεία ανατίθενται στο κατάλληλο cluster κάθε φορά με βάση το κοντινότερο centroid. Όταν σε κάποια επανάληψη δε σημειωθούν νέες αντιμεταθέσεις στοιχείων, τότε τερματίζει η εκτέλεση του αλγορίθμου. Το αποτέλεσμα που προκύπτει είναι η ομαδοποίηση του συνόλου δεδομένων σε k clusters. Ο αλγόριθμος στοχεύει να ελαχιστοποιήσει μια αντικειμενική συνάρτηση, τη λεγόμενη συνάρτηση τετραγωνικού λάθους η οποία ορίζεται ως εξής : όπως ήδη έχει αναφερθεί προηγουμένως. Συνοπτικά τα βήματα του αλγορίθμου k-means είναι τα εξής: I. επιλέγονται k μητρικά σημεία από πλήθος p στοιχείων, II. κάθε στοιχείο από τα εναπομείναντα p-k κατατάσσεται στο μητρικό σημείο-ομάδα από το οποίο έχει τη μικρότερη απόσταση. Μόλις ομαδοποιηθούν όλα τα σημεία υπολογίζεται το σημείο που θα αποτελέσει το κέντρο βάρους της συστάδας (centroid). III. μόλις καταταχθούν όλα τα σημεία και υπολογισθεί το κέντρο βάρους, εξετάζουμε αν πρέπει να κινηθούν τα στοιχεία μεταξύ των ομάδων λαμβάνοντας υπόψη την απόστασή τους από τα κέντρα βάρους των ομάδων. Με αυτό τον τρόπο καταλήγουμε σε περίπου ισοπληθείς ομάδες. Στην περίπτωση που χρησιμοποιήσουμε k μητρικές ομάδες, υπολογίζουμε το κέντρο βάρους και εφαρμόζουμε τα βήματα 2 και 3, όπως περιγράφηκαν παραπάνω. Σημειώνεται ότι ως κέντρο βάρους ορίζεται ένα διάνυσμα με στοιχεία τους μέσους όρους όλων των στοιχείων της ομάδας. Για να βρούμε αυτή την απόσταση έχουμε δικαίωμα να χρησιμοποιήσουμε οποιαδήποτε από τις αποστάσεις που αναφέρθηκαν προηγούμενα, αλλά συνηθέστερα χρησιμοποιείται η Ευκλείδεια απόσταση. Η επιλογή των αρχικών k μητρικών σημείων μπορεί να επηρεάσει τις ομάδες που θα δημιουργηθούν με κίνδυνο να καταλήξουμε σε μια φυσιολογική ομαδοποίηση των σημείων. Με σκοπό την αποφυγή αυτού του προβλήματος επαναλαμβάνεται ο αλγόριθμος για διαφορετικά μητρικά σημεία, για να καταλήξουμε σε αυτά που σχηματίζουν ομάδες με την ελάχιστη εντόςομάδας διακύμανση (within-cluster variance). Με τον τρόπο αυτόν η μέθοδος k-means γίνεται 70

71 Κεφάλαιο 3 - Τεχνικές Ομαδοποίησης 71 πολύ χρονοβόρα, ιδιαίτερα αν το πλήθος των δεδομένων είναι μεγάλο. Ένας άλλος παράγοντας που μπορεί να επηρεάσει το αποτέλεσμα του αλγορίθμου είναι η ύπαρξη ακραίων στοιχείων, τα οποία συχνά ευθύνονται για το σχηματισμό ομάδων με πολύ διεσπαρμένα στοιχεία. Αυτό σημαίνει ότι η απόσταση κάποιων στοιχείων από το κέντρο βάρους θα είναι μεγάλη και αυτό αποτελεί ένδειξη ότι η ομαδοποίηση δεν είναι ιδανική. Ιδιαίτερο χαρακτηριστικό της μεθόδου k-means είναι ότι εντός κάθε ομάδας τα στοιχεία έχουν όσο το δυνατόν πιο μικρή απόσταση από το κέντρο βάρους, ενώ μεταξύ των ομάδων τα στοιχεία απέχουν κατά το δυνατόν περισσότερο από το κέντρο βάρους των άλλων ομάδων. Ωστόσο η συγκεκριμένη μέθοδος δεν παρέχει πληροφορίες για τη σχέση μεταξύ των ομάδων που σχηματίζονται, όπως για παράδειγμα συμβαίνει σε κάποια μέθοδο ιεραρχικής ομαδοποίησης. Επίσης, είναι συχνό σε δεδομένα που παρουσιάζουν έντονο «θόρυβο» (noisy data) να καταλήγουμε με εφαρμογή του k-means σε ομάδες με έντονο «θόρυβο»,δηλαδή σε ομάδες όπου η εντός-συστάδας διακύμανση θα είναι ιδιαίτερα υψηλή, γεγονός που αποτελεί ένδειξη λανθασμένης ομαδοποίησης. Ο αλγόριθμος k-means περιγράφεται συνοπτικά στο Σχήμα 10 σε μορφή ψευδοκώδικα. Σχήμα 10 Ψευδοκώδικας αλγορίθμου k-means 71

72 Κεφάλαιο 3 - Τεχνικές Ομαδοποίησης 72 εδώ: Ο k-means παρουσιάζει ωστόσο και αδυναμίες, οι οποίες παρουσιάζονται συνοπτικά Ο αλγόριθμος συγκλίνει σε τοπικό βέλτιστο και όχι σε καθολικό βέλτιστο Ο τρόπος με τον οποίο ορίζονται τα αρχικά centroids δεν είναι σαφώς καθορισμένος. Ένας αρκετά δημοφιλής τρόπος επιλογής των αρχικών centroids είναι η επιλογή να γινεται με τυχαίο τρόπο. Χαρακτηριστικό παράδειγμα κακής επιλογής αρχικών σημείων φαίνεται στο παρακάτω σχήμα, όπου η τελική ομαδοποίηση καταλήγει σε 3 συστάδες πολύ διαφορετικές από τις εμφανώς σωστές. Σχήμα 11 Περίπτωση κακής επιλογής των αρχικών μητρικών σημείων για τον αλγόριθμο K-means [15] Μπορεί ακόμη ένα cluster να μείνει χωρίς μέλη και έτσι να μην ανανεωθεί κάποιο centroid. Πρόκειται για το γνωστό πρόβλημα των απόμακρων στοιχείων, που πολλές φορές δεν συμπεριλαμβάνονται στη διαδικασία. Τα αποτελέσματα εξαρτώνται και από το μέτρο απόστασης που χρησιμοποιείται. Πολλές φορές χρειάζεται να γίνει κανονικοποίηση των στοιχείων του συνόλου δεδομένων προκειμένου να εφαρμοστεί κάποιο μέτρο απόστασης. Έτσι, για παράδειγμα, όταν ο αλγόριθμος εκτελεί clustering βάσει της Ευκλείδειας απόστασης, προϋποθέτει ότι τα δεδομένα των clusters έχουν όλα σφαιρικό σχηματισμό. Διάφορες έρευνες έχουν καταφέρει να επεκτείνουν τον k-means, ώστε να μπορεί να δουλέψει όχι μόνο σε δεδομένα με σφαιρικό σχηματισμό αλλά και σε δεδομένα με ελλειπτικό σχηματισμό. Ακόμη μια αδυναμία του αλγορίθμου είναι ότι δυσκολεύεται να αναγνωρίσει ομάδες με διαφορετικό σχηματισμό και μέγεθος. Το πρόβλημα εντείνεται κυρίως σε πολύ μεγάλα σύνολα δεδομένων. Συνήθως το επίπεδο δυσκολίας που αντιμετωπίζει ο αλγόριθμος σε τέτοια μεγάλα σύνολα δεδομένων έχει να κάνει και με την πυκνότητα που εμφανίζουν τα στοιχεία, που μπορεί αλλού να είναι μεγάλη, αλλού μικρή και γενικά να ποικίλει\ 72

73 Κεφάλαιο 3 - Τεχνικές Ομαδοποίησης 73 Τα αποτελέσματα εξαρτώνται από την τιμή του k, η οποία αποτελεί στοιχείο εισόδου για τον αλγόριθμο. Αν και υπάρχουν πολλοί τρόποι εκτίμησης του k και έχουν γίνει πολλές προσπάθειες προς αυτή την κατεύθυνση, δυστυχώς το πρόβλημα παραμένει ακόμη άλυτο. Ο αλγόριθμος δεν καταφέρνει να βρει το βέλτιστο και ευρέως αποδεκτό k από μόνος. Φυσικά με το βέλτιστο k, εννοείται εκείνο το k που αποδίδει με τον καλύτερο τρόπο τον διαχωρισμό του εκάστοτε συνόλου δεδομένων έτσι, ώστε οι ομάδες που προκύπτουν να έχουν λογική σημασία. Οι διάφοροι τρόποι εκτίμησης του πλήθους k, που υπάρχουν σήμερα στη βιβλιογραφία, έχουν αναφερθεί στο προηγούμενο κεφάλαιο. Υπάρχει ένας μεγάλος αριθμός, παραλλαγών που έχουν προταθεί για αυτόν τον αλγόριθμο με αποτέλεσμα η επιλογή της έκδοσης, που θα χρησιμοποιηθεί, να εξαρτάται συχνά από τους σκοπούς της εφαρμογής του αλγορίθμου. Μια πολύ γνωστή παραλλαγή του k-means είναι ο αλγόριθμος Lloyd s. Αυτός βασίζεται στην απλή παρατήρηση ότι η βέλτιστη θέση για ένα κέντρο είναι στο κέντρο του σχετικού cluster. Εξαιτίας της απλότητας και της ευελιξίας του, ο αλγόριθμος Lloyd s είναι πολύ δημοφιλής στην στατιστική ανάλυση. Πιο συγκεκριμένα, δεδομένου οποιουδήποτε αλγορίθμου clustering, ο Lloyd s μπορεί να εφαρμοστεί σαν μια φάση προ-επεξεργασίας για να βελτιωθεί η τελική παραμόρφωση. Αν και επιτυγχάνονται σημαντικές βελτιώσεις συνήθως η υλοποίησή του είναι αρκετά αργή εξαιτίας του κόστους υπολογισμού των κοντινότερων γειτόνων. Στα πλαίσια της παρούσας διπλωματικής χρησιμοποιείται η παραλλαγή k-means++, η οποία αναλύεται στο 4 ο κεφάλαιο. Βασικό χαρακτηριστικό του αλγορίθμου είναι ο τρόπος επιλογής των μητρικών σημείων εκκίνησης του αλγορίθμου εφαρμόζοντας βάρη στα αρχικά σημεία σύμφωνα με την απόσταση από ένα τυχαίο κέντρο. Επίσης χρησιμοποιείται ο αλγόριθμος x-means, ο οποίος παρουσιάζεται στη συνέχεια X-means Μια ευρέως διαδεδομένη παραλλαγή του k-means είναι αυτή του αλγορίθμου X-means. Η παραλλαγή αυτή είναι επίσης υλοποιημένη στο πρόγραμμα WEKA και παρέχεται ως εργαλείο με κάποιες βασικές επιλογές. Ο αλγόριθμος X-means έρχεται να αντιμετωπίσει τις τρείς βασικές αδυναμίες του k-means: 1. Την αργή ταχύτητα εκτέλεσής του και τον τρόπο διαβάθμισης των δεδομένων που 73

74 Κεφάλαιο 3 - Τεχνικές Ομαδοποίησης 74 αλλάζει σε κάθε βήμα. 2. Την αδυναμία του αλγορίθμου να βρίσκει ένα ικανοποιητικό πλήθος συστάδων k και την ανάγκη να του παρέχεται από τον χρήστη-ερευνητή. 3. Τον περιορισμό του αλγορίθμου να εκτελείται για μια προκαθορισμένη τιμή του k, όπου υπολογίζεται το τοπικό βέλτιστο, ενώ η εκτέλεση για πολλές τιμές του k οδηγεί σε σαφώς πιο βελτιωμένη λύση πλησιάζοντας το ολικό βέλτιστο Εκτίμηση του αριθμού k των clusters Ο αλγόριθμος, όπως περιγράφηκε μέχρι τώρα, μπορεί μόνο να εκτελέσει τον k-means όπου το k είναι σταθερό και παρέχεται από τον χρήστη. Σε αυτό το σημείο θα παρουσιαστεί αποτελεσματικότερης εύρεσης του καλύτερου πλήθους ομάδων. Το πλαίσιο εργασίας αλλάζει έτσι ώστε ο χρήστης μόνο να καθορίζει ένα διάστημα μέσα στο οποίο βρίσκεται πιθανώς το αληθινό k. Ακόμη η έξοδος δεν είναι μόνο το σύνολο των centroids αλλά και μια τιμή για το k από αυτό το διάστημα το οποίο πετυχαίνει το καλύτερο δυνατό μέσω ενός μοντέλου επιλογής κριτηρίου όπως το BIC, το οποίο περιγράφεται στο επόμενο κεφάλαιο. Αρχικά περιγράφεται η διαδικασία στα πιο βασικά σημεία δίχως ιδιαίτερη προσοχή στις λεπτομέρειες του αλγορίθμου. Στην συνέχεια, παρουσιάζονται τα στατιστικά τεστ που χρησιμοποιήθηκαν για την επίτευξη διάφορων δομών. Στην ουσία, ο αλγόριθμος ξεκινάει με k ίσο με το χαμηλότερο όριο του δοσμένου διαστήματος και συνεχίζει να προσθέτει centroids, όπου αυτά χρειάζονται μέχρι να συναντήσει το ανώτερο όριο του διαστήματος. Κατά τη διάρκεια αυτής της διαδικασίας το σύνολο των centroids που επιτυγχάνει το καλύτερο σκορ αποθηκεύεται και αυτό τελικά είναι η έξοδος. Ο αλγόριθμος εκτελεί τα παρακάτω βήματα επαναληπτικά μέχρι την περάτωση του: 1. Βελτίωση Παραμέτρων 2. Βελτίωση Δομής 3. Εάν το, ο αλγόριθμος τερματίζει και επιστρέφει το καλύτερο μοντέλο με βάση το σκορ που επιτεύχθηκε. Αλλιώς επιστρέφει στο βήμα 1. Η βελτίωση των παραμέτρων είναι μια απλή διαδικασία. Αποτελείται από τα βήματα του συμβατικού k-means μέχρι την σύγκλιση. Η διαδικασία βελτίωσης της δομής ανακαλύπτει εάν και που θα πρέπει να εμφανιστούν τα νέα centroids. Αυτό είναι εφικτό αφήνοντας μερικά 74

75 Κεφάλαιο 3 - Τεχνικές Ομαδοποίησης 75 centroids να διασπαστούν σε δύο. Πώς αποφασίζεται τι να διασπαστεί; Αρχικά θα περιγραφούν και θα σχολιαστούν δύο εμφανείς στρατηγικές, μετά από τις οποίες θα συνδυαστούν τα μήκη τους αποφεύγοντας την αδυναμία τους σχετικά με την στρατηγική του X-means. 1. Ιδέα διαχωρισμού 1: Μια φορά σε μία μονάδα χρόνου. Η πρώτη ιδέα θα ήταν να επιλεγεί ένα centroid, να παραχθεί ένα νέο κάπου κοντά, να τρέξει ο k-means μέχρι να ολοκληρωθεί και να διαπιστωθεί εάν το μοντέλο που προέκυψε έχει καλύτερο σκορ. Εάν συμβεί αυτό, γίνεται αποδοχή του νέου centroid. Εάν όχι, επιστρέφει στην προηγούμενη δομή. Αλλά κάτι τέτοιο απαιτεί βήματα βελτίωσης δομής μέχρι να ολοκληρωθεί ο X-means. Έτσι γεννάται το ερώτημα πως πρέπει να γίνει η επιλογή του αξιότερου να διαχωριστεί centroid.. Και αν αυτό δεν βελτιώσει το σκορ τι πρέπει να δοκιμαστεί στην συνέχεια; Ίσως όλα τα centroids θα έπρεπε να δοκιμαστούν με αυτόν τον τρόπο (και μετά να κρατιέται τι καλύτερο) αλλά επειδή κάθε τεστ χρειάζεται ένα τρέξιμο του k-means, κάτι τέτοιο θα ήταν μια υπερβολικά χρονοβόρα διαδικασία για την πρόσθεση ενός και μόνου centroid. 2. Ιδέα διαχωρισμού 2: Εδώ δοκιμάζονται τα μισά centroids. Η δεύτερη ιδέα χρησιμοποιήθηκε στο SPLITLOOP σύστημα, για αναγνώριση μικτού Gaussian μοντέλου. Απλώς επιλέγονται τα μισά centroids σύμφωνα με κάποιο ευριστικό κριτήριο για το πώς αναμένεται να διαχωριστούν. Έπειτα, γίνεται ο διαχωρισμός αυτών, τρέχει ο k-means και έτσι ελέγχεται εάν το μοντέλο που προέκυψε σκοράρει καλύτερα από το γνήσιο. Εάν συμβεί αυτό, ο διαχωρισμός γίνεται αποδεκτός. Αυτή είναι μια πολύ πιο επιθετική δομή βελτίωσης, που απαιτεί βήματα βελτίωσης δομής μέχρι να ολοκληρωθεί ο X-means. Αλλά τώρα τίθενται κάποια ερωτήματα όπως ποιο θα πρέπει να είναι το ευριστικό κριτήριο και το μέγεθος της περιφέρειας που κατέχεται από το centroid. Επιπλέον, χάνεται η ευκαιρία βελτίωσης σε περιπτώσεις που ένα ή δύο centroids χρειάζεται να διαχωριστούν αλλά τα υπόλοιπα όχι. Η λύση που θα περιγραφεί αξιοποιεί τα οφέλη των ιδεών 1 και 2 και αποφεύγει τα μειονεκτήματα. Έτσι μπορεί να θεωρηθεί μια υπερβολικά γρήγορη διαδικασία. Ακολουθεί σχετικό παράδειγμα για επεξήγηση. Στο σχήμα 12 φαίνεται μία ευσταθής λύση σύμφωνα με τον k-means και 3 centroids. Παρουσιάζονται επιπροσθέτως τα όρια των περιφερειών που κατέχονται από κάθε centroid. Η 75

76 Κεφάλαιο 3 - Τεχνικές Ομαδοποίησης 76 διαδικασία της βελτίωσης της δομής αρχίζει διαχωρίζοντας κάθε centroid σε δύο «παιδιά», όπως φαίνεται στο Σχήμα 13. Αυτά μετακινήθηκαν μια απόσταση ανάλογη με το μέγεθος της περιφέρειας σε αντίθετες κατευθύνσεις σύμφωνα με ένα τυχαία επιλεγμένο διάνυσμα. Στην συνέχεια σε κάθε περιφέρεια γονέα τρέχει ένας τοπικός k-means (με k=2) για κάθε ζευγάρι παιδιών. Χαρακτηρίζεται τοπικός διότι τα «παιδιά» συναγωνίζονται μεταξύ τους για τα σημεία στην περιφέρεια του γονέα και μόνο. Στο Σχήμα 14, φαίνεται το πρώτο βήμα και των τριών τοπικών τρεξιμάτων του 2-means. Στο Σχήμα 15, φαίνεται που τελικά καταλήγουν όλα τα παιδιά μετά την ολοκλήρωση και των τριών τοπικών 2-means. Σε αυτό το σημείο εκτελείται ένα τεστ επιλογής μοντέλου σε όλα τα ζευγάρια των παιδιών. Σε κάθε περίπτωση το τεστ ρωτάει υπάρχει απόδειξη ότι τα δύο παιδιά μοντελοποιούν αληθινή δομή εδώ ή το γνήσιο μοντέλο του γονέα θα έκανε την κατανομή εξίσου καλά ; Στην συνέχεια δίνονται οι λεπτομέρειες ενός τέτοιου τεστ για τον k-means. Σύμφωνα με την έξοδο του τεστ είτε ο γονέας είτε οι απόγονοί του πεθαίνουν. Η ελπίδα είναι ότι τα centroids που ήδη κατέχουν ένα σύνολο σημείων, το οποίο προέρχεται από ένα cluster της βασικής κατανομής, δεν θα τροποποιηθούν κατά τη διάρκεια αυτής της διαδικασίας (αυτό σημαίνει ότι θα ζήσουν περισσότερο από τα παιδία τους). Από την άλλα πλευρά, περιφέρειες που δεν αναπαρίστανται καλά από τα τρέχοντα centroids θα έχουν περισσότερη ευθύνη για την αύξηση του αριθμού των centroids σε αυτές. Στο Σχήμα 16, φαίνεται τι συμβαίνει αφού αυτό το τεστ εφαρμόστηκε σε τρία ζευγάρια παιδιών στο Σχήμα 15. Συνεπώς ο χώρος αναζήτησης καλύπτει όλες τις πιθανές μετά-διαχωριστικές διαμορφώσεις και καθορίζει ποιες από όλες να εξετάσει βελτιώνοντας τοπικά το BIC κριτήριο σε κάθε περιφέρεια. Συγκρίνοντας με τις ιδέες 1 και 2 αυτό επιτρέπει μια αυτόματη επιλογή για την αύξηση του αριθμού των centroids σε πολύ λίγα (σε περίπτωση που ο τρέχων αριθμός είναι πολύ κοντά στον πραγματικό) ή σε πολλά (σε περίπτωση που το τρέχον μοντέλο αποδίδει μικρότερη αξία για το k). Πρακτικά, ο τοπικός k-means που τρέχει με μόλις 2 κέντρα χαρακτηρίζεται πιο ευαίσθητος στο τοπικό ελάχιστο. Συνεχίζεται η ταλάντευση ανάμεσα στην βελτίωση των παραμέτρων και την βελτίωση της δομής μέχρι να επιτευχθεί το ανώτερο όριο για το k. 76

77 Κεφάλαιο 3 - Τεχνικές Ομαδοποίησης 77 Σχήμα 12 Έξοδος του k-means με 3 κέντρα βάρους Σχήμα 13 Κάθε γνήσιο Centroid διασπάται σε δύο παιδιά 77

78 Κεφάλαιο 3 - Τεχνικές Ομαδοποίησης 78 Σχήμα 14 Το πρώτο βήμα του τοπικού παράλληλου 2-means. Η γραμμή που εκτείνεται σε κάθε cluster δείχνει τη μετακίνηση Σχήμα 15 Το αποτέλεσμα μετά την εκτέλεση των παράλληλων 2-means 78

79 Κεφάλαιο 3 - Τεχνικές Ομαδοποίησης 79 Σχήμα 16 Τα εναπομείναντα centroids μετά την ολοκλήρωση του αλγορίθμου BIC scoring Στη στατιστική το κριτήριο BIC (Bayesian information criterion) χρησιμοποιείται για την επιλογή του βέλτιστου μοντέλου μεταξύ ενός σετ μοντέλων. Συσχετίζεται επίσης με το κριτήριο AIC (Akaike information criterion), το οποίο όμως δεν αναλύεται εδώ. Ψάχνοντας την καταλληλότητα ενός μοντέλου είναι δυνατό να αυξηθεί η επιτυχία προσθέτοντας επιπλέον παραμέτρους, αλλά αυτό οδηγεί συχνά σε πολύ περίπλοκα και μη-χρηστικά μοντέλα. Το κριτήριο BIC εισάγει μια «ποινή» για τον αριθμό των παραμέτρων που χρησιμοποιεί ένα μοντέλο. Έστω ότι δίνονται τα δεδομένα D και μια οικογένεια εναλλακτικών μοντέλων, όπου σε αυτήν την περίπτωση διαφορετικά μοντέλα αποκρίνονται σε λύσεις με διαφορετικές τιμές του k. Πώς να διαλέξει κάποιος το καλύτερο; Θα χρησιμοποιηθούν για αυτό οι μεταγενέστερες πιθανότητες για να σκοράρουν τα μοντέλα. Στην περίπτωση που εξετάζεται τα μοντέλα είναι όλα τύπου που υποθέτει ο k-means. Για να προσεγγιστούν οι μεταγενέστερες πιθανότητες μέχρι την κανονικοποίηση, χρησιμοποιείται ο τύπος [23]: Και ο συντελεστής BIC δίνεται από τη σχέση : 79

80 Κεφάλαιο 3 - Τεχνικές Ομαδοποίησης 80 Όπου είναι η λογαριθμική πιθανότητα των δεδομένων σύμφωνα με το j- μοντέλο και μετριέται από το μέγιστο σημείο και είναι ο αριθμός των παραμέτρων στο μοντέλο. Το κριτήριο αυτό είναι γνωστό και ως Schwarz κριτήριο. Δεδομένων οποιωνδήποτε δύο μοντέλων, το μοντέλο με τη χαμηλότερη τιμή του κριτηρίου BIC είναι αυτό που πρέπει να επιλεχθεί. Το κριτήριο αυτό εξαρτάται από την αδικαιολόγητη αύξηση της διακύμανσης των δεδομένων και τον αριθμό των μεταβλητών που χρησιμοποιούνται. Έτσι, χαμηλότερες τιμές του κριτηρίου σημαίνουν πως το μοντέλο με τις λιγότερες μεταβλητές ή με τη μικρότερη διακύμανση είναι το καλύτερο. Είναι σημαντικό για την ορθή ερμηνεία του BIC να χρησιμοποιούνται τα ίδια δεδομένα για όλα τα μοντέλα. 80

81 Κεφάλαιο 4 - Μεθοδολογία 81 Κεφάλαιο 4 - Μεθοδολογία Η διαδικασία της ομαδοποίησης, μοντελοποίησης και αναγνώρισης των αντιπάλων πρακτόρων βάσει συμπεριφοράς περιγράφεται σε αυτό το κεφάλαιο. Η διαδικασία αυτή χωρίζεται σε τρία στάδια: (1) στάδιο προ-επεξεργασίας δεδομένων, (2) στάδιο ομαδοποίησης και (3) στάδιο αξιοποίησης και αποτελεσμάτων. Τα στάδια αυτά παρουσιάζονται στα διαγράμματα ροής των σχημάτων. Αρχικά παρουσιάζεται στο σχήμα 17 το 1 ο στάδιο. Σχήμα 17 Διάγραμμα του σταδίου προ-επεξεργασίας δεδομένων Στο στάδιο της προ-επεξεργασίας δεδομένων τα δεδομένα από το ιστορικό των παιχνιδιών του TiltNet εναντίον των απλών (dummy) πρακτόρων και από το διαγωνισμό του ACPC υπόκεινται σε επεξεργασία. Σκοπός είναι πρώτα τα δεδομένα αυτά να μεταφραστούν αρχικά ώστε τα μηνύματα επικοινωνίας του server του ACPC να γίνουν εκμεταλλεύσιμα. Έτσι εξάγονται οι feature vectors με τα χαρακτηριστικά του περιβάλλοντος, όπως αυτά αναλύονται στην επόμενη παράγραφο. Στη συνέχεια εξάγονται τα χαρακτηριστικά συμπεριφοράς των παικτών και δημιουργούνται τα δύο σετ δεδομένων που θα χρησιμοποιηθούν στο στάδιο της 81

82 Κεφάλαιο 4 - Μεθοδολογία 82 ομαδοποίησης. Στο δεύτερο στάδιο εκτελείται η ομαδοποίηση. Για κάθε σετ δεδομένων εκτιμάται ο αριθμός των συστάδων, που πρέπει να δημιουργηθούν, μέσω διαγραμμάτων elbow με κριτήριο το SSE. Στη συνέχεια εκτελούνται παράλληλα οι αλγόριθμοι k-means++ και x-means και εκτιμούνται τα αποτελέσματά τους μέσω των δεικτών που αναφέρθηκαν στο κεφάλαιο 3. Για τις καλύτερες τιμές των αντίστοιχων δεικτών επιλέγεται ο αλγόριθμος που θα χρησιμοποιηθεί. Τα βήματα αυτά φαίνονται στο διάγραμμα ροής του Σχήματος 18. Σχήμα 18 Στάδιο ομαδοποίησης Στο τρίτο και τελευταίο στάδιο εκτελείται Principal Component Analysis για τα δεδομένα με σκοπό την καλύτερη εμφάνιση των αποτελεσμάτων της ομαδοποίησης. Επίσης αποθηκεύονται τα αποτελέσματα της ομαδοποίησης. Τέλος σε αυτό το στάδιο ανήκει η ανάπτυξη του συστήματος αναγνώρισης των αντιπάλων και κατάταξης σε κάποια ομάδα σύμφωνα με τον κινητό εκθετικό μέσο όρο των παραμέτρων συμπεριφοράς του. Το στάδιο αυτό απεικονίζεται ως διάγραμμα ροής στο Σχήμα

83 Κεφάλαιο 4 - Μεθοδολογία 83 Σχήμα 19 στάδιο αξιοποίησης και αποτελεσμάτων 4.1 Τα χαρακτηριστικά του Περιβάλλοντος Το πόκερ έχει το χαρακτηριστικό του τεράστιου χώρου καταστάσεων, δηλαδή, του τεράστιου αριθμού των πιθανών εκβάσεων μιας παρτίδας. Αρκεί για να το αντιληφθεί αυτό αν αναλογιστούμε τους πιθανούς συνδυασμούς των φύλλων σε συνδυασμό με τις υπόλοιπες παραμέτρους του παιχνιδιού που θα προκύψουν σε μία παρτίδα. Είναι απαραίτητο ο ορισμός των χαρακτηριστικών να γίνει με τρόπο που να εξασφαλίζει την γενίκευση (generalization) τόσο στην κατάσταση του παιχνιδιού όσο και στον αντίπαλο. Στη συνέχεια αναλύονται τα χαρακτηριστικά που επιλέχθηκαν για την εκπαίδευση του πράκτορα TiltNet, που αποτέλεσε τη βάση της έρευνας συμπεριφοράς των αντιπάλων πρακτόρων Δύναμη του φύλλου (hand strength) To hand strength είναι μια καλή πρώτη προσέγγιση για την αξιολόγηση των κρυφών φύλλων. Αποτελεί μία από τις βασικότερες εισόδους του πράκτορα σε όλους τους γύρους της παρτίδας εκτός του preflop και είναι μέτρο της απόλυτης δύναμης του φύλλου. Ο αλγόριθμος 83

84 Κεφάλαιο 4 - Μεθοδολογία 84 υπολογισμού του φαίνεται στο σχήμα 18. Αυτό που κάνει είναι να ελέγχει όλους τους πιθανούς συνδυασμούς κρυφών φύλλων του αντιπάλου και να τους συγκρίνει με τα κρυφά φύλλα που κρατάει ο πράκτορας. Για παράδειγμα, στο flop υπάρχουν 47 φύλλα που παραμένουν άγνωστα (52 φύλλα της τράπουλας μείον τα δύο κρυφά και τα τρία κοινά) και επομένως υπάρχουν = 1081 διαφορετικοί συνδυασμοί που θα μπορούσαμε να αντιμετωπίζουμε. Μετρώντας τις νίκες, τις ήττες και τις ισοπαλίες υπολογίζει την πιθανότητα να έχουμε καλύτερο φύλλο απέναντι σε έναν τυχαίο συνδυασμό κρυφών φύλλων του αντιπάλου. Ουσιαστικά, είναι ο υπολογισμός του ποσοστού των πιθανών σεναρίων στα οποία έχουμε το καλύτερο φύλλο. Σχήμα 20 Υπολογισμός του Hand Strength Ένα φύλλο, που είναι πολύ πιθανόν να είναι το καλύτερο στον γύρο που είμαστε, λέγεται made hand. Ο πράκτορας αντιλαμβάνεται ότι έχει made hand, όταν η είσοδος του hand strength παίρνει μεγάλη τιμή. Ας υποθέσουμε ότι το φύλλο μας είναι QcJd και το flop ανοίγει Js8h6d. Τότε υπάρχουν 1016 περιπτώσεις τυχαίων φύλλων του αντιπάλου όπου κερδίζουμε, 6 περιπτώσεις ισοπαλίας και 59 περιπτώσεις ήττας. Η δύναμη του φύλλου είναι, δηλαδή είναι ένα πολύ δυνατό φύλλο. Όπως φαίνεται και από τον αλγόριθμο, ο υπολογισμός γίνεται ακριβώς για τον γύρο που βρίσκεται ο πράκτορας. Δεν λαμβάνονται υπόψη τα κοινά φύλλα που θα ανοίξουν στους επόμενους γύρους και επομένως δεν λαμβάνονται υπόψη οι πιθανότητες βελτίωσης ή χειροτέρευσης του φύλλου. Αυτή η έλλειψη διορατικότητας υπάρχει στα flop και turn και όχι στο river όπου έχουν ανοίξει όλα τα κοινά φύλλα. 84

85 Κεφάλαιο 4 - Μεθοδολογία Chen formula Η δύναμη του φύλλου στο preflop γύρο δε μπορεί να υπολογιστεί από τον αλγόριθμο του hand strength, όπως στους υπόλοιπους γύρους, στους οποίους έχουν ανοίξει τα κοινά φύλλα. Στο Texas Hold em δεν υπάρχει κάποια διαφορά στην αξία των χρωμάτων και επομένως υπάρχουν συνδυασμοί κρυφών φύλλων με την ίδια αξία (πριν φυσικά ανοίξουν τα κοινά φύλλα). Για παράδειγμα, το ΑcΚc έχει την ίδια αξία με το ΑsΚs στο preflop στάδιο. Αν και υπάρχουν (52 x 51)/2 = 1326 διαφορετικοί συνδυασμοί κρυφών φύλλων που μπορεί να κρατάει κάποιος στο preflop, αυτοί περιορίζονται τελικά σε μόνο 169 διαφορετικής δύναμης ζεύγη κρυφών φύλλων. Το σχήμα 19 είναι μία αντιστοίχιση των preflop συνδυασμών σε ομάδες δύναμης γνωστός ως πίνακας των Malmuth και Sklansky, οι οποίοι και τον πρότειναν [24]. Στη διαγώνιο του πίνακα εμφανίζονται τα ζεύγη, πάνω από την διαγώνιο οι ομόχρωμοι συνδυασμοί και κάτω από τη διαγώνιο οι συνδυασμοί διαφορετικού χρώματος. Σχήμα 21 Ο πίνακας των Malmuth και Sklansky. Εδώ φαίνονται χαρακτηριστικά οι δυνάμεις των preflop συνδυασμών.[24] Οι Sklansky και Malmuth κατέταξαν κάθε preflop ζεύγος φύλλων σε ομάδες δύναμης και πρότειναν ότι φύλλα που ανήκουν στην ίδια ομάδα μπορούν να παίζονται με παρόμοιο τρόπο. Η ομάδα 1 είναι πιο δυνατή ομάδα φύλλων με την ομάδα 2 να ακολουθεί κ.ο.κ. Φύλλα που δεν 85

86 Κεφάλαιο 4 - Μεθοδολογία 86 έχουν αρίθμηση αντιστοιχούν στην πιο αδύναμη ομάδα φύλλων (ομάδα 9) και συστήνεται να μην παίζονται. Τα ζεύγη κρυφών φύλλων που ανήκουν στις ομάδες 1 έως 8 είναι τα ζεύγη αυτά που κατά τους Sklansky και Malmuth, μπορούν να οδηγήσουν σε κέρδος στο τέλος της παρτίδας. Βέβαια, αυτές οι προτάσεις τους αναφέρονται σε τραπέζια όπου συμμετέχουν πολλοί παίκτες, καθώς στα heads up παιχνίδια θεωρείται καλή πρακτική να παίζει ένας πράκτορας όλα τα φύλλα. Ο πίνακας προσφέρει μόνο κανόνες της μορφής "παίζεις ή δεν παίζεις", ενώ πολλοί επαγγελματίες παίκτες πόκερ έχουν προτείνει διάφορες στρατηγικές για την κάθε κατηγορία. Οι στρατηγικές αυτές λαμβάνουν υπόψη την κατηγορία στην οποία κατατάσσεται το κρυφό ζεύγος φύλλων σύμφωνα με τον πίνακα, την θέση του παίκτη στο τραπέζι, την επιθετικότητα των άλλων παικτών, αν έχουν προηγηθεί raise και από ποιους παίκτες και άλλα. Πολλοί ευφυείς πράκτορες πόκερ βασίζονται πάνω σε κανόνες ειδικών (expert rules) για να καθορίσουν την preflop στρατηγική τους (π.χ. Poki, Sparbot ). Ο Bill Chen πρότεινε την Chen formula ως βοήθημα για τους παίκτες που δε μπορούν να θυμούνται την κατάταξη κάθε κρυφού ζεύγους στον πίνακα των Sklansky και Malmuth. Ανάλογα με τους πόντους που συγκεντρώνει το φύλλο από την Chen Formula γίνεται και η κατάταξή του στις ομάδες του πίνακα. Εφαρμόζοντας την μεθοδολογία αυτή μπορούμε να ποσοτικοποιήσουμε τη δύναμη του φύλλου για το preflop και μάλιστα με πιο λεπτομερή διαχωρισμό. Οι τιμές που μπορεί να πάρει είναι από -1.5 (για 72 ετερόχρωμο) έως 20 (για ζευγάρι ΑΑ). Χωρίς όμως να χάνεται σημαντική πληροφορία για τις τιμές που είναι αρνητικές, τις αντιστοιχίζουμε στο 0 για ευκολότερη υλοποίηση. Επιπλέον, διαιρώντας με το μέγιστο (20), το χαρακτηριστικό είναι πια συνεχές και κανονικοποιημένο, όπως και το hand strength. Η Chen formula λαμβάνει υπόψη το δυνατότερο φύλλο από το κρυφό ζεύγος, ελέγχει αν είναι σε ζευγάρι με το άλλο κρυφό φύλλο, αν έχουν το ίδιο χρώμα και προσμετρά με την απόστασή τους (για τη δυνατότητα δημιουργίας straight). Ο αλγόριθμος υπολογισμού της αξίας του φύλλου έχει ως εξής: 1. Υψηλότερο φύλλο. Πάρε το υψηλότερης αξίας φύλλο και βαθμολόγησε το. Οι αξίες είναι: Α=10, Κ=8, Q=7, J=6 και από το 10 έως το 2 είναι το μισό του φύλλου (πχ το 8 έχει αξία 4, το 9 αξία 4.5). 86

87 Κεφάλαιο 4 - Μεθοδολογία Ζευγάρι στο χέρι. Αν είναι σε ζευγάρι με το άλλο κρυφό φύλλο, τότε πολλαπλασίασε την αξία του κατά 2. Η ελάχιστη αξία του ζευγαριού δεν μπορεί να είναι κάτω από 5 (δηλαδή, τα ζεύγη από 2 έως 5 λαμβάνουν 5 πόντους). 3. Χρώμα στο χέρι. Αν τα φύλλα είναι ομόχρωμα, πρόσθεσε δύο πόντους. 4. Απόσταση μεταξύ φύλλων. Αυτό το βήμα εφαρμόζεται για φύλλα που δεν είναι ζευγάρι. Για φύλλα που είναι συνεχόμενα μην αφαιρείς πόντους (πχ. KQ) Για φύλλα που έχουν ένα κενό μεταξύ τους αφαίρεσε 1 πόντο (πχ AQ, J9). Όμοια για φύλλα που έχουν απόσταση έως 4 αφαίρεσε την απόσταση τους (πχ για το J8 αφαιρούνται δύο πόντοι και για το J7 τέσσερις). Για φύλλα με μεγαλύτερη απόσταση αφαίρεσε 5 πόντους (σε αυτήν την περίπτωση συμπεριλαμβάνονται και τα Α2, A3, Α4, καθώς δίνουν δυνατότητα μόνο για το μικρότερο straight). 5. Σύνδεση των φύλλων. Αν τα φύλλα είναι συνεχόμενα (πχ JT) πρόσθεσε 1 πόντο. Αν φύλλα έχουν κενό μεταξύ τους και το μεγαλύτερο φύλλο είναι μικρότερο από Q, τότε πρόσθεσε 1 πόντο, καθώς αυτό δίνει δυνατότητα για σχηματισμό των υψηλότερων straight (πχ Τ8). Μερικά παραδείγματα υπολογισμού της δύναμης των κρυφών φύλλων σύμφωνα με τον αλγόριθμο: ΑΑ = 20 πόντοι (2 x 10 πόντοι). AKs = 12 πόντοι (10 πόντοι για τον Α και +2 πόντοι γιατί είναι ομόχρωμα). J9οff=6 πόντοι (6 πόντοι για το J, -1 πόντοι για το κενό ανάμεσά τους, +1 πόντο γιατί έχουν ένα κενό και το μεγαλύτερο φύλλο είναι μικρότερο από Q) Δυνατότητα του φύλλου (hand potential) Αν το hand strength ήταν το μόνο χαρακτηριστικό αξιολόγησης του φύλλου, ο πράκτορας δεν θα είχε την ικανότητα να "δει" πιθανές εκβάσεις της παρτίδας που θα άλλαζαν το παιχνίδι. Μετά το flop μένουν να ανοίξουν τα κοινά φύλλα του turn και του river. Αυτά τα φύλλα μπορεί να μεταβάλλουν σημαντικά την δύναμη του φύλλου μας, όταν ανοίξουν. Γι αυτό το λόγο, χρησιμοποιούμε και το hand potential, το οποίο στην ουσία εμπεριέχει δυο χαρακτηριστικά: τη θετική δυνατότητα του φύλλου (positive potential - PPot) και την αρνητική δυνατότητα του φύλλου (negative potential - NPot). Το PPot είναι η πιθανότητα που έχει το φύλλο μας να 87

88 Κεφάλαιο 4 - Μεθοδολογία 88 βελτιωθεί, ώστε να είναι νικηφόρο απέναντι σε όλους τους τυχαίους συνδυασμούς κρυφών φύλλων του αντιπάλου. Αντίστοιχα, το NPot δείχνει την πιθανότητα ένα νικηφόρο φύλλο στον γύρο που είμαστε να ηττηθεί τελικά, όταν ανοίξουν όλα τα κοινά φύλλα. Για να υπολογίσουμε το PPot καταγράφουμε όλες τις δυνατές εκβάσεις της παρτίδας ως προς τους πιθανούς συνδυασμούς κρυφών φύλλων του αντιπάλου. Αυτό που μας ενδιαφέρει είναι να μετρήσουμε τις περιπτώσεις που ξεκινάμε με μικρότερη ή ίδια δύναμη φύλλου και σε πόσες από αυτές τις περιπτώσεις η έκβαση της παρτίδας είναι τελικά θετική για εμάς. Αντίστοιχα, το Npot υπολογίζεται μετρώντας τις περιπτώσεις που είμαστε μπροστά ή ισόπαλοι και τελικά καταλήγουμε να χάνουμε. Παρακάτω φαίνονται οι τύποι υπολογισμού: όπου με T(x,y) συμβολίζεται το πλήθος των περιπτώσεων που βρισκόμαστε στην κατάσταση x και καταλήγουμε στην κατάσταση y. Οι περιπτώσεις της ισοπαλίας μετράνε κατά το ήμισυ, αφού άλλωστε τότε μοιραζόμαστε το pot με τον αντίπαλο Απόδοση pot (Pot odds) Υπάρχουν διάφοροι τρόποι ορισμού αυτού του χαρακτηριστικού. Ο πράκτορας TiltNet χρησιμοποιεί την άμεση απόδοση του pot (immediate pot odds), που είναι ο λόγος του κόστους που χρειάζεται για call προς το συνολικό pot: Αν οι πιθανότητες να κερδίσουμε το παιχνίδι είναι μεγαλύτερες από την απόδοση του pot, τότε δικαιολογείται να κάνουμε call. Ως αποτέλεσμα είναι συνήθως ελάχιστες οι πιθανότητες που χρειαζόμαστε για να παραμείνει ο παίκτης στο παιχνίδι. Αυτό βέβαια δεν ισχύει στην περίπτωση παιχνιδιού με πολλούς παίκτες, όπου ένα raise μπορεί να ακολουθήσει το call. Στην περίπτωση 88

89 Κεφάλαιο 4 - Μεθοδολογία 89 όμως του heads-up είναι ένας κλασσικός κανόνας ειδικού. Ο τρόπος που χρησιμοποιούμε την απόδοση του pot δείχνει την απόδοση της επένδυσης για να δούμε ένα bet/raise και ο προσδιορισμός του γίνεται με τα δεδομένα που επικρατούν την στιγμή της απόφασης. Υπάρχουν όμως και άλλοι τρόποι προσδιορισμού της απόδοσης πιο σύνθετοι που, αν και δεν χρησιμοποιήθηκαν στην υλοποίηση, θα τους αναφέρουμε εδώ για λόγους πληρότητας. Βλέποντας την απόδοση μακροπρόθεσμα, αν το φύλλο μας γίνει δυνατό στον επόμενο γύρο, τότε έχουμε πιθανότητα να κερδίσουμε ένα pot μεγαλύτερο από το τωρινό. Η υπονοούμενη απόδοση του pot (implied pot odds) λαμβάνει υπόψη και τα κέρδη που μπορούμε να έχουμε και από τα μελλοντικά pot. Δεν υπάρχει όμως απλός τρόπος υπολογισμού αυτής της απόδοσης και βασίζεται στην κρίση των παικτών. Τέλος, αν δούμε την απόδοση του pot από τη μεριά του αντιπάλου έχουμε την αντίστροφη υπονοούμενη απόδοση (reserve implied pot odds). Αυτή παρουσιάζει ιδιαίτερο ενδιαφέρον, αλλά είναι πολύ πιο δύσκολη στον προσδιορισμό της. Η σημασία της εμφανίζεται όταν παίζουμε με ένα δυνατό φύλλο, αλλά απέναντι σε έναν αντίπαλο που έχει draw ή μας έχει ήδη κερδίσει. Στον επόμενο γύρο ο αντίπαλος μπορεί να μην αποκτήσει δυνατό φύλλο και να πάει πάσο σε ένα raise μας ή μπορεί το φύλλο του να γίνει δυνατό ή να ήταν ήδη μπροστά κάνοντας πιο ακριβό για μας να φτάσουμε στο showdown Υπόλοιπα χαρακτηριστικά Τέλος, δίνονται τα υπόλοιπα χαρακτηριστικά που ολοκληρώνουν τη λίστα με τις εισόδους του πράκτορα που αφορούν την κατάσταση του παιχνιδιού. Επειδή δεν χρειάζονται ιδιαίτερους υπολογισμούς για τον προσδιορισμό τους και είναι εύκολα στην κατανόηση τους, δεν θα αναφερθούμε ιδιαίτερα σε αυτά. Η τιμή τους δίνεται απευθείας από το interface της πλατφόρμας και ανάλογα με την υλοποίηση του αλγορίθμου μπορεί να χρειάζεται μία απλή επεξεργασία της τιμής τους. Τα χαρακτηριστικά αυτά είναι: Αριθμός πονταρισμάτων στο γύρο (Round bets): Είναι ο αριθμός των bet και raise που έχουν γίνει στον τρέχοντα γύρο. Η ελάχιστη τιμή του είναι μηδέν, ενώ η μέγιστη τιμή του καθορίζεται από τους κανόνες του παιχνιδιού σε 4 bets. Γύρος της παρτίδας (Round index): Πληροφορεί τον πράκτορα σε ποιον γύρο βρίσκεται η παρτίδα. 89

90 Κεφάλαιο 4 - Μεθοδολογία 90 Μέγεθος του pot (Pot size): Το συνολικό ποσό που έχει μπει μέσα στο pot. Περιλαμβάνει το ποσό που έχει συγκεντρωθεί από όλα τα πονταρίσματα μαζί με τυχόν bet/raise του αντιπάλου που δεν τα έχει δει ακόμη ο πράκτορας. 4.2 Στρατηγική αναγνώρισης συμπεριφορών Για να μπορέσει να παίξει καλό πόκερ ένας παίκτης πρέπει να αναγνωρίσει τον τρόπο παιχνιδιού του αντιπάλου και να προσαρμόσει τη στρατηγική του για να εκμεταλλευτεί τις αδυναμίες του αντιπάλου. Σε προηγούμενες εργασίες η συμπεριφορά του αντιπάλου πράκτορα αντιμετωπίζεται ως μια κατανομή πιθανοτήτων τριών μεταβλητών, οι οποίες εκφράζουν την πιθανότητα να κάνει fold, check/call και raise/bet. Για παράδειγμα μια τυπική μοντελοποίηση θα όριζε ότι ένας πράκτορας κάνει fold στο 60% του χρόνου και αντίστοιχα 20% raise και 20% Call. Ωστόσο σπάνια κάποιος παίκτης διατηρεί μια στρατηγική τόσο εμφανή, ενώ υπάρχουν και πολλοί κυρίως νεότεροι πράκτορες που αλλάζουν δυναμικά τη συμπεριφορά τους, δηλαδή αυτή, την κατανομή των πιθανοτήτων τους, ανάλογα με τον αντίπαλο ή το περιβάλλον. Δεδομένου ότι ο σκοπός της διπλωματικής εργασίας είναι η αναγνώριση του τρόπου παιχνιδιού ενός αντιπάλου, πρέπει να δημιουργηθεί ένα σετ δεδομένων το οποίο να περιέχει χαρακτηριστικά του περιβάλλοντος, την τρέχουσα κατάσταση κάθε φάσης ενός παιχνιδιού και τις κινήσεις των παικτών. Ένα παιχνίδι πόκερ μπορεί να περιγραφεί πλήρως από την αρχική του κατάσταση και τις κινήσεις των παικτών που οδήγησαν στην τρέχουσα κατάσταση. Η αρχική κατάσταση περιγράφει τις θέσεις των παικτών, δηλαδή ποιος είναι ο παίκτης που «πληρώνει» το big blind και άλλες χρήσιμες πληροφορίες. Συνεπώς επιλέχθηκε η εξαγωγή διανυσμάτων χαρακτηριστικών (feature vectors) από παλαιότερα παιχνίδια πρακτόρων. Τα διανύσματα χαρακτηριστικών περιγράφουν κάθε φάση και κάθε γύρο του παιχνιδιού, και στη συνέχεια χρησιμοποιούνται ως είσοδοι για την εξαγωγή των αντίστοιχων διανυσμάτων χαρακτηριστικών, που περιγράφουν τη συμπεριφορά του εκάστοτε παίκτη. Για την καλύτερη μοντελοποίηση των αντιπάλων πρέπει να δεδομένα αυτά να διαχωριστούν σωστά και να αναγνωριστούν οι πιθανές μεταβλητές συμπεριφοράς, οι οποίες θα χρησιμοποιηθούν σε μετέπειτα βήμα για την ομαδοποίηση των συμπεριφορών των αντιπάλων πρακτόρων. 90

91 Κεφάλαιο 4 - Μεθοδολογία Διαχωρίζοντας Καταστάσεις Παιχνιδιού Ένας διαχωρισμός που μπορούμε να κάνουμε σε ένα σετ δεδομένων από παιχνίδια Πόκερ είναι μεταξύ των διαφορετικών φάσεων (preflop, flop, turn and river). Το παιχνίδι κατά τη διάρκεια αυτών των φάσεων συνήθως διαφέρει σημαντικά, και η εκπαίδευση μοντέλων για κάθε μια από αυτές τις φάσεις πιθανώς θα οδηγήσει σε καλύτερα μοντέλα σε σχέση με ένα γενικό μοντέλο, που θα καλύπτει όλες τις φάσεις. Ένας δεύτερος διαχωρισμός των καταστάσεων ενός παιχνιδιού πόκερ μπορεί να γίνει με βάση το ενδεχόμενο ο παίκτης είναι αντιμέτωπος με ένα call ή raise του αντιπάλου. Σε αυτή την περίπτωση ο παίκτης χάνει την επιλογή του check και καλείται να επιλέξει μεταξύ του call και ενός re-raise. Από την άλλη πλευρά, αν ο παίκτης δεν αντιμετωπίζει ένα ποντάρισμα του αντιπάλου μπορεί να επιλέξει να κάνει check,παραμένοντας στο παιχνίδι ασχέτως της δύναμης του χεριού του. Επίσης, ένας παίκτης που δεν αντιμετωπίζει αντίπαλο ποντάρισμα θεωρητικά δε θα παραιτηθεί από το παιχνίδι, δηλαδή δε θα κάνει fold. Είναι λοιπόν εμφανές ότι αν γνωρίζουμε πώς ο παίκτης αντιμετωπίζει ένα ποντάρισμα, είναι δυνατό να αποκτήσουμε πολλές πληροφορίες για τον ίδιο τον παίκτη. Για αυτό το λόγο θα χωρίσουμε τα δεδομένα με βάση τις περιπτώσεις στις οποίες ο παίκτης αντιμετωπίζει ποντάρισμα ή όχι και θα προσπαθήσουμε να δημιουργήσουμε μοντέλα με βάση τη συμπεριφορά του. Δεδομένου λοιπόν ότι υπάρχουν 4 φάσεις παιχνιδιού (pre-flop, flop, turn, river) και πρακτικά 2 σετ επιτρεπόμενων κινήσεων (call/raise), μπορούμε να διαχωρίσουμε τους παίκτες με βάση συνολικά 4x2=8 διαφορετικά χαρακτηριστικά, που περιγράφουν την αντίδραση του παίκτη σε κάθε φάση. Ωστόσο ένα σύστημα αναγνώρισης 8 χαρακτηριστικών θα ήταν υπολογιστικά χρονοβόρο και πιθανότατα θα κατέληγε σε παραγωγή άχρηστων τελικά πληροφοριών. Αυτό οφείλεται στο γεγονός ότι για παράδειγμα η συμπεριφορά ενός παίκτη μετά το flop (δηλαδή σε turn και river) δεν αλλάζει αρκετά συχνά και δραστικά ώστε αυτό να απεικονιστεί με μεγάλες διαφορές σε μια κατανομή πιθανοτήτων. Συνεπώς η τελική επιλογή για το διαχωρισμό των καταστάσεων οδηγεί στο διαχωρισμό σε pre-flop και flop, καθώς εκεί μπορούμε να απεικονίσουμε τις προθέσεις ενός παίκτη ευκολότερα. 91

92 Κεφάλαιο 4 - Μεθοδολογία Διαχωρίζοντας τους Παίκτες Ιδανικά, θα θέλαμε να μάθουμε ένα μοντέλο που θα αναπαριστά πλήρως τον παίκτη, του οποίου τις κινήσεις θέλουμε να προβλέψουμε, δηλαδή να ομαδοποιήσουμε και να διαχωρίσουμε έτσι τις συμπεριφορές κάθε παίκτη. Με αυτό τον τρόπο θα είχαμε δημιουργήσει ένα διαφορετικό μοντέλο για κάθε παίκτη και αυτά τα μοντέλα θα μπορούσαν να εκπαιδευτούν μετά χρησιμοποιώντας δεδομένα από παλαιότερα παιχνίδια ενάντια σε αυτό τον παίκτη. Αν και αυτή η προσέγγιση οδηγεί σε μοντέλα μεγάλης ακρίβειας, εισάγει επίσης προβλήματα που οφείλονται στον περιορισμένο αριθμό παιχνιδιών κάθε παίκτη που έχουμε στη διάθεση μας. Μια λύση σε αυτό το πρόβλημα της έλλειψης δεδομένων είναι να κινηθούμε προς την αντίθετη κατεύθυνση, δηλαδή να χρησιμοποιήσουμε όλα τα διαθέσιμα δεδομένα από όλα τα παιχνίδια που έχουν πραγματοποιηθεί στο παρελθόν και να τα χρησιμοποιήσουμε για να δημιουργήσουμε ένα και μοναδικό μοντέλο. Το μοντέλο όμως αυτό θα ήταν ένας πράκτορας με πολύ γενικές δυνατότητες και θα παρουσίαζε τη συμπεριφορά ενός μέτριου παίκτη χωρίς να προβλέπεται ορθά η συμπεριφορά των περισσότερων αντιπάλων. Το εμφανέστατο μειονέκτημα ενός τέτοιου παίκτη είναι ότι το παραγόμενο μοντέλο θα ήταν η συνισταμένη συμπεριφορών πολλών αντιπάλων. Ση βιβλιογραφία [8] αναλύονται αυτοί οι 2 αντίθετοι δρόμοι επιλογής ενός σετ εκπαίδευσης και μάλιστα ορίζονται ως generic opponent modeling και Specific opponent modeling. Έχει παρατηρηθεί ότι υπάρχουν προβλήματα που συσχετίζονται με αυτές τις μεθόδους και για αυτό το λόγο προτείνεται μια νέα μεθοδολογία μοντελοποίησης αντιπάλου Ομαδοποιημένη μοντελοποίηση αντιπάλων Η προτεινόμενη μέθοδος βασίζεται σε ιδέες του συνεργατικού φιλτραρίσματος (collaborative filtering) [25], όπου ο σκοπός είναι να φιλτραριστούν πληροφορίες χρησιμοποιώντας τη συνεργασία μεταξύ πολλαπλών πρακτόρων. Η μέθοδος αυτή βρίσκει για παράδειγμα εφαρμογή σε διαφημιστικά συστήματα online καταστημάτων, όπου προτείνουν προϊόντα στους χρήστες με βάση προηγούμενες αγορές ή επισκέψεις σε σελίδες. Η κεντρική ιδέα είναι ότι αυτοί που συμφώνησαν στο παρελθόν στις κινήσεις τους, θα συμφωνήσουν και στο μέλλον. Η ιδέα αυτή εφαρμόζεται σε συστήματα όπως αυτά των online καταστημάτων σε δύο 92

93 Κεφάλαιο 4 - Μεθοδολογία 93 συνήθως φάσεις. Πρώτα, χρήστες με παρόμοια ενδιαφέροντα ή χαρακτηριστικά εντοπίζονται. Στη συνέχεια δεδομένα από παρόμοιους χρήστες χρησιμοποιούνται για να φιλτραριστούν οι πληροφορίες που παρουσιάζονται σε αυτούς, όπως για παράδειγμα η διαφήμιση συγκεκριμένων προϊόντων. Στη συνέχεια προτείνεται και αναλύεται η εφαρμογή αυτής της μεθόδου στη μοντελοποίηση αντιπάλου παίκτη στο Πόκερ. Έτσι, αντί να χρησιμοποιούνται δεδομένα ενός χρήστη ή όλων των χρηστών ξεχωριστά για να εκπαιδεύσουμε μοντέλα αντιπάλων, θα μπορούσαμε να χρησιμοποιήσουμε δεδομένα από παρόμοιους χρήστες. Με τη μέθοδο αυτή ο πράκτορας αναγνωρίζει μοντέλα, τα οποία αντικατοπτρίζουν ομάδες χρηστών, και όχι ένα μοναδικό χρήστη. Η κεντρική ιδέα είναι να χωρίσουμε τα δεδομένα από όλους τους παίκτες σε κάποια μεγάλα σετ δεδομένων και να προσπαθήσουμε να ομαδοποιήσουμε τους παίκτες με βάση τη συμπεριφορά τους. Σχήμα 22 Τρόποι μοντελοποίησης αντιπάλων πρακτόρων Η γενικευμένη μοντελοποίηση αντιπάλων χρησιμοποιεί όλα τα διαθέσιμα δεδομένα για τη δημιουργία ενός μοντέλου για το μέσο παίκτη. Η ειδική μοντελοποίηση (Specific) χρησιμοποιεί δεδομένα από έναν παίκτη με σκοπό να μοντελοποιήσει τη συμπεριφορά του. Η ομαδοποιημένη μοντελοποίηση (Group-specific) χρησιμοποιεί δεδομένα παρόμοιων παικτών με σκοπό να δημιουργήσει μοντέλα που περιγράφουν όλους τους παίκτες. Το νέο πρόβλημα που αντιμετωπίζουμε τώρα είναι ο τρόπος αναγνώρισης των παικτών με παρόμοιο τρόπο παιχνιδιού. 93

94 Κεφάλαιο 4 - Μεθοδολογία 94 Μια καλή λύση είναι να χρησιμοποιήσουμε γνωστές τεχνικές και αλγορίθμους αναγνώρισης προτύπων. Ωστόσο, οι αλγόριθμοι αυτοί απαιτούν την παραγωγή περιγραφών για τους παίκτες με τρόπο κατανοητό και εκμεταλλεύσιμο. Είναι λοιπόν πολύ σημαντικό να βρεθούν τα καλύτερα δυνατά χαρακτηριστικά που περιγράφουν επαρκώς τα διαφορετικά στυλ παιχνιδιού στο Poker. 4.3 Εξαγωγή χαρακτηριστικών Συμπεριφοράς Μια ευρέως διαδεδομένη τακτική στο χώρο της μοντελοποίησης αντιπάλων πρακτόρων στο πόκερ είναι η αναζήτηση των τριών ποσοστών, που αντικατοπτρίζουν το ποσοστό χρόνου στο οποίο ένας πράκτορας κάνει call, raise ή fold. Ειδικοί στο πόκερ προτείνουν ένα σετ χαρακτηριστικών που συχνά χρησιμοποιείται από ανθρώπους για να περιγράψουν επαρκώς τον τρόπο παιχνιδιού του αντίπαλου παίκτη. Τα χαρακτηριστικά αυτά είναι : Voluntarily put money in pot % (VPIP): πρόκειται για το ποσοστό των παιχνιδιών, όπου ένας παίκτης βάζει με τη θέλησή του χρήματα στο παιχνίδι. Από τα χρήματα αυτά εξαιρούνται τα υποχρεωτικά blinds. Στα πλαίσια της παρούσας διπλωματικής, η οποία εξετάζει το Limit Poker, ο συντελεστής αυτός δε μπορεί να χρησιμοποιηθεί. Pre-flop raise % (PFR): το ποσοστό των παιχνιδιών, στο οποίο ένας παίκτης έχει κάνει raise ή re-raise πριν το flop. Αυτός ο παράγοντας είναι ιδιαίτερα χρήσιμος, διότι συχνά ένας παίκτης με καλό φύλλο είναι επιθετικός πριν ανοίξουν τα κοινά φύλλα θέλοντας να βγάλει από το παιχνίδι τους αντιπάλους. Aggression Factor (AF): το ποσοστό αυτό περιγράφει την επιθετικότητα ενός παίκτη και ορίζεται ως το πηλίκο των φορών που έκανε raise προς όλες τις κινήσεις που έχει κάνει. Συνδυάζοντας λοιπόν τα χαρακτηριστικά αυτά σε συνδυασμό με τις ιδιαιτερότητες του παιχνιδιού Limit Poker Texas Hold em και την ανάγκη για διαχωρισμό σε καταστάσεις και φάσεις του παιχνιδιού, στην παρούσα διπλωματική χρησιμοποιήθηκαν τα παρακάτω τέσσερα χαρακτηριστικά στην προσπάθεια να αναγνωρισθούν τα διάφορα στυλ παιχνιδιού: 1. Aggression Factor (AF): το ποσοστό αυτό αναφέρεται στην επιθετικότητα του παίκτη κατά τη διάρκεια όλου το παιχνιδιού και ορίζεται ως. 2. Call Factor (CF): το ποσοστό αυτό περιγράφει την παθητικότητα του παίκτη, η οποία εκδηλώνεται από το συνολικό αριθμό των φορών που ο παίκτης κάνει Call και ορίζεται 94

95 Κεφάλαιο 4 - Μεθοδολογία 95 αντίστοιχα ως. 3. Pre-flop Aggression Factor (PAF): το ποσοστό αυτό αναφέρεται στην επιθετικότητα του παίκτη πριν ανοίξουν τα κοινά φύλλα στο τραπέζι ορίζεται αντίστοιχα ως. Όπως έχει ήδη αναφερθεί, ο τρόπος παιχνιδιού στη φάση του pre-flop είναι πολύ διαφορετικός από τις άλλες φάσεις και καθοριστικός για το στυλ παιχνιδιού ενός παίκτη. 4. Flop Aggression Factor (FAF): το ποσοστό αυτό αναφέρεται στην επιθετικότητα του παίκτη όταν ανοίξουν τα κοινά φύλλα στο τραπέζι, δηλαδή όταν το παιχνίδι είναι στη φάση του Flop ορίζεται αντίστοιχα ως. Δεδομένου ότι η συμπεριφορά ενός παίκτη στα επόμενα στάδια (Turn και River) εξαρτάται κυρίως από τη δυνατότητα των φύλλων (hand potential) και τους συνδυασμούς με τα κοινά φύλλα, κρίθηκε λανθασμένη η προσπάθεια ερμηνείας της συμπεριφοράς ενός παίκτη σε αυτά τα στάδια με τον ίδιο τρόπο. Για την εξαγωγή των χαρακτηριστικών συμπεριφοράς των παικτών δημιουργήθηκαν και χρησιμοποιήθηκαν δύο διαφορετικά σετ δεδομένων. Το πρώτο σετ δεδομένων προέκυψε από παιχνίδια του πράκτορα TiltNet ενάντια στους πέντε βασικούς πράκτορες: AllCall, AlwaysRaise, CallorRaise, Random, Heuristic. Παίχτηκαν συνολικά παιχνίδια, δηλαδή ενάντια σε κάθε αντίπαλο. Το σετ αυτό αποτέλεσε τη βάση του πειράματος, όπου εφαρμόστηκε η προτεινόμενη μέθοδος, κρίθηκαν τα αποτελέσματα και ερμηνεύτηκαν. Το δεύτερο σετ αποτελείται από παιχνίδια του Annual Computer Poker Competition του 2011 και 2012 και όλα τα παιχνίδια του πρώτου σετ. Ο αριθμός των παιχνιδιών ανέρχεται σε συνολικά παιχνίδια. Επιλέχθηκαν οι παρτίδες (hands) οι οποίες έφτασαν σε showdown, δηλαδή αποκαλύφθηκαν τα χαρτιά των δύο αντιπάλων, το pot έφτασε στην τελική του τιμή, ενώ κανένας παίκτης δεν έκανε fold. Για κάθε παρτίδα δημιουργήθηκαν δύο σειρές δεδομένων, μία για κάθε παίκτη. Για κάθε ενέργεια του παίκτη υπολογίστηκε το χαρακτηριστικό διάνυσμα, καταχωρήθηκε η ενέργειά του, καθώς και η τελική τιμή που κέρδισε ή έχασε ο πράκτορας. Στο χαρακτηριστικό αυτό διάνυσμα αποθηκεύονται οι κινήσεις και των δύο παικτών που συμμετέχουν σε κάθε παιχνίδι. 95

96 Κεφάλαιο 4 - Μεθοδολογία Επιλογή αριθμού συστάδων μέσω διαγραμμάτων Elbow Τα χαρακτηριστικά διανύσματα, που δημιουργήθηκαν από τα παιχνίδια του TiltNet και του Annual Computer Poker Competition (ACPC), αποτέλεσαν τη βάση για την εξαγωγή νέων χαρακτηριστικών διανυσμάτων, που πλέον περιέχουν τα 4 χαρακτηριστικά συμπεριφοράς του παίκτη. Στη συνέχεια τα νέα διανύσματα χαρακτηριστικών χρησιμοποιήθηκαν για τον υπολογισμό του συνάρτησης αθροίσματος τετραγωνικού σφάλματος και την εξαγωγή διαγραμμάτων Elbow. Όπως και πριν, η διαδικασία αυτή εφαρμόστηκε ξεχωριστά στα δύο σετ δεδομένων (χαρακτηριστικών διανυσμάτων) και προέκυψαν τα αντίστοιχα διαγράμματα Elbow, όπως αυτά περιγράφηκαν σε προηγούμενη παράγραφο. Παρατηρώντας αυτά τα διαγράμματα μπορούμε να αποφασίσουμε τον αριθμό των συστάδων που πρέπει να επιλεγεί σε κάθε περίπτωση. Η επιλογή του αριθμού γίνεται για το σημείο όπου το διάγραμμα εμφανίζει μια καμπή, δηλαδή για το σημείο όπου περαιτέρω αύξηση του αριθμού των συστάδων δεν επιφέρει σοβαρή μείωση της συνάρτησης αθροίσματος τετραγωνικού σφάλματος. 4.5 Ομαδοποίηση Εφόσον έχει αποφασιστεί το πλήθος k των συστάδων μέσω των διαγραμμάτων Elbow, ακολουθεί το στάδιο της ομαδοποίησης μέσω του αλγορίθμου k-means και της παραλλαγής του X-means. Σε αυτό το σημείο, όπως και προηγούμενα, η διαδικασία εφαρμόστηκε στα δύο διαφορετικά σετ δεδομένων K-means ++ Για την ομαδοποίηση επιλέχθηκε ο διαμεριστικός αλγόριθμος k-means, όπως αυτός περιγράφεται σε προηγούμενες παραγράφους. Στα πλαίσια της παρούσας διπλωματικής ο αλγόριθμος k-means εκτελέστηκε σε δύο διαφορετικές πλατφόρμες για λόγους επιβεβαίωσης αποτελεσμάτων και αποφυγής της τυχαιότητας που εισάγει ο τρόπος επιλογής των αρχικών σημείων. Οι πλατφόρμες αυτές είναι το πρόγραμμα Matlab και η πλατφόρμα εξόρυξης δεδομένων WEKA, για την οποία έγινε πρωτύτερα αναφορά. Στο WEKA χρησιμοποιήθηκε ο 96

97 Κεφάλαιο 4 - Μεθοδολογία 97 αλγόριθμος SimpleKmeans, ο οποίος υλοποιεί τον αλγόριθμο των D. Arthur και S. Vassilvitskii που περιγράφεται ως k-means++ [26]. Ο αλγόριθμος k-means επιλέγει τα αρχικά σημεία με τρόπο τέτοιο ώστε να αποφευχθεί η πιθανότητα να επηρεάσουν το τελικό αποτέλεσμα. Έτσι, ο αλγόριθμος εισάγει μια διαδικασία για την επιλογή των αρχικών σημείων πριν την εκκίνηση της διαδικασίας ομαδοποίησης των στοιχείων και παρέχει την τελική λύση με πολυπλοκότητα. Η διαδικασία εύρεσης των καλύτερων αρχικών σημείων είναι η εξής: 1. Επιλογή ενός κέντρου τυχαία μεταξύ των δεδομένων. 2. Υπολογισμός για κάθε στοιχείο της απόστασης μεταξύ του στοιχείου του ίδιου και του κοντινότερου κέντρου που έχει επιλεχθεί. 3. Επιλογή ενός νέου τυχαίου σημείου από τα δεδομένα ως νέου κέντρου, χρησιμοποιώντας μια κατανομή πιθανοτήτων όπου το νέο σημείο επιλέγεται με πιθανότητα, όπου D η απόσταση του σημείου από το νέο κέντρο και x όλα τα υπόλοιπα στοιχεία. Το βήμα αυτό ονομάζεται weighting. 4. Επανάληψη των βημάτων 2 και 3 έως ότου έχουν επιλεγεί k κέντρα. 5. Τέλος της διαδικασίας επιλογής σημείων και εκκίνηση της διαδικασίας ομαδοποίησης. Αυτός ο τρόπος επιλογής σημείων βελτιώνει αισθητά το τελικό σφάλμα του k-means. Αν και η επιλογή αρχικών σημείων προσθέτει υπολογιστικό φόρτο, ο αλγόριθμος συγκλίνει γρηγορότερα διότι δεν απαιτούνται πολλές κινήσεις των κέντρων, αφού επιλέχθηκαν ορθά τα πρώτα σημεία. Ο αλγόριθμος k-means++ εκτελέστηκε για τα δύο διαφορετικά σετ δεδομένων μετά από την αντίστοιχη εκτίμηση των κέντρων k από τα διαγράμματα Elbow. Στο σημείο αυτό ωστόσο προκύπτει ένα ακόμα πρόβλημα: η επιλογή του k συχνά δεν είναι σαφής και εύκολη αποκλειστικά από τα διαγράμματα και συχνά οδηγούμαστε σε ένα εύρος δύο ή τριών καλών επιλογών. Για το λόγο αυτό έγινε ομαδοποίηση των δεδομένων και με τον αλγόριθμο X-means στο πρόγραμμα WEKA X-means Ο αλγόριθμος X-means του προγράμματος WEKA υλοποιεί τον αλγόριθμο X-means όπως αυτός παρουσιάστηκε σε προηγούμενη ενότητα. Στο πρόγραμμα WEKA υλοποιείται ο αλγόριθμος όπως αυτός προτάθηκε από τους Dan Pelleg και Andrew W. Moore στο 17 ο διεθνές 97

98 Κεφάλαιο 4 - Μεθοδολογία 98 συνέδριο μηχανικής μάθησης [27]. Το σημαντικό πλεονέκτημα αυτού του αλγορίθμου είναι το γεγονός ότι δεν απαιτείται η γνώση του πλήθους των ομάδων που θα προκύψουν από την ομαδοποίηση. Έτσι εισάγοντας ένα εύρος κέντρων, που κρίθηκαν ικανοποιητικά από τα διαγράμματα Elbow, και τον αριθμό των επαναλήψεων εκτέλεσης του αλγορίθμου (iterations), ο αλγόριθμος επιχειρεί να ομαδοποιήσει τα δεδομένα. Ο X-means αντιμετωπίζει το πρόβλημα της ομαδοποίησης ως ένα πρόβλημα εύρεσης της βέλτιστης λύσης μιας συνάρτησης εκτίμησης. Στο WEKA η συνάρτηση αυτή είναι το Bayesian Information Criterion (BIC), το οποίο αναλύθηκε στο 2 ο κεφάλαιο. Έτσι ο αλγόριθμος προσπαθεί διαχωρίζοντας τα δεδομένα ανάλογα να οδηγήσει σε μια βέλτιστη λύση για το κριτήριο BIC. Όπως και ο αλγόριθμος k-means++, έτσι και ο x-means εκτελέστηκε πρώτα στο σετ δεδομένων με τους «εύκολους αντιπάλους» και στη συνέχεια στο σετ δεδομένων από το Annual Computer Poker Competition Εκτίμηση ομαδοποίησης Η εκτίμηση της ομαδοποίησης είναι μια διαδικασία που αποτελεί το επόμενο στάδιο της ομαδοποίησης. Συχνά όμως οι εκτιμητές είναι ταυτόχρονα και το «σύστημα ανατροφοδότησης», καθώς παρέχουν πληροφορίες για την ποιότητα της ομαδοποίησης. Στα πλαίσια αυτής της διπλωματικής χρησιμοποιήθηκαν οι δείκτες εκτίμησης Silhouette, Davies-Bouldin και Dunn, όπως αυτοί περιγράφηκαν στο κεφάλαιο 2. Οι δείκτες αυτοί ανήκουν στην κατηγορία των εσωτερικών δεικτών εκτίμησης και δίνουν μια καλή εκτίμηση της απόδοσης της ομαδοποίησης. Οι δείκτες αυτοί υλοποιήθηκαν στο πρόγραμμα Matlab. Στην προσπάθεια εκτίμησης της ποιότητας της ομαδοποίησης επιστρατεύτηκε επίσης μια ακόμα δυνατότητα που παρέχει το πρόγραμμα WEKA. Επιλέχθηκε λοιπόν ο διαχωρισμός των σετ δεδομένων σε δύο υπό-σετ για καθένα. Ο διαχωρισμός γίνεται διότι με αυτόν τον τρόπο ένα ποσοστό των δεδομένων χρησιμοποιείται για την εκπαίδευση των μοντέλων, δηλαδή για την εξαγωγή των συστάδων, και τα υπόλοιπα δεδομένα χρησιμοποιούνται με σκοπό την εκτίμηση των αποτελεσμάτων. Ο τρόπος, με τον οποίο αυτά τα δεδομένα ομαδοποιούνται σε σχέση με το πρώτο τμήμα δεδομένων, αποτελεί ένα μέτρο εκτίμησης της διαδικασίας. Συνήθως χρησιμοποιείται ένα ποσοστό περίπου στο 66-70% για το στάδιο της εκπαίδευσης και το υπόλοιπο 30-34% χρησιμοποιείται στην εκτίμηση. Μια ακόμα μέθοδος εκτίμησης είναι η διαδικασία του 98

99 Κεφάλαιο 4 - Μεθοδολογία 99 Cross Validation, όπου τα δεδομένα χωρίζονται συνολικά σε n-ομάδες δεδομένων και αναδιατάσσονται τυχαία, ώστε η σειρά των δεδομένων να μην επηρεάσει τη διαδικασία της ομαδοποίησης. Αυτή η διαδικασία εφαρμόστηκε στα πλαίσια του k-means++ για λόγους επιβεβαίωσης της ορθότητας, όταν αυτός εκτελέστηκε για το σετ των «ανώτερων» παικτών. 4.6 Principal Component Analysis (PCA) Η ανάλυση κύριων συνιστωσών είναι μία από τις μεθόδους που χρησιμοποιούνται στην ανάλυση πολλών μεταβλητών (multivariate analysis). Στόχος της μεθόδου είναι να μετασχηματίσει τις συσχετισμένες διαθέσιμες και θορυβώδεις μεταβλητές σε νέες που να είναι μεταξύ τους ασυσχέτιστες και ταυτόχρονα να παρέχουν όσο το δυνατό περισσότερη από την πληροφορία της διακύμανσης των αρχικών μεταβλητών. Για να το πετύχει προσπαθεί να κατασκευάσει μία νέα και κατάλληλη γι αυτό βάση για τον διανυσματικό χώρο των μετρήσεων. Η όλη διαδικασία προσβλέπει στο φιλτράρισμα του θορύβου και στην αποκάλυψη κάποιας πιθανής και κρυμμένης δομής στα δεδομένα. Η μέθοδος μπορεί ν αποφέρει σημαντικά κέρδη σε πολλά προβλήματα υπολογισμού. Αυτά είναι: Το γεγονός ότι από ένα σύνολο συσχετισμένων μεταβλητών καταλήγουμε σε άλλο σύνολο ασυσχέτιστων μεταβλητών. Τις ασυσχέτιστες μεταβλητές μπορούμε να τις χειριστούμε ανεξάρτητα τη μία από την άλλη μ ένα σύνολο τεχνικών της ανάλυσης μίας μεταβλητής (univariate analysis). Αυτό μπορεί να βρει για παράδειγμα εφαρμογή στον εντοπισμό εσφαλμένης μέτρησης (outlier). Το γεγονός ότι μπορούμε να μειώσουμε τις διαστάσεις του προβλήματος χωρίς σημαντική απώλεια στη συνολική μεταβλητότητα. Ως συνέπεια αυτού είναι η επιτάχυνση της επεξεργασίας και η μείωση των αποθηκευτικών απαιτήσεων. Αυτό μπορεί να αυξήσει την ποιότητα των παρεχόμενων υπηρεσιών από μία μεγάλη βάση δεδομένων ή την μελέτη ενός προβλήματος με λίγα αντικείμενα και πολλά χαρακτηριστικά όπως συμβαίνει για παράδειγμα στην αναγνώριση προσώπων. Η PCA επιτρέπει τον εντοπισμό συγκεκριμένων μοτίβων σε ένα σύνολο δεδομένων και την έκφραση των δεδομένων του συνόλου με τέτοιο τρόπο ώστε να επισημαίνονται οι ομοιότητες και οι διαφορές τους. Η μέθοδος στηρίζεται σε πίνακες συνδιακύμανσης συγκεκριμένων μεταβλητών του συστήματος. Η διαδικασία της PCA αποτελείται από τα 99

100 Κεφάλαιο 4 - Μεθοδολογία 100 παρακάτω βήματα [28]: 1. Αφαιρούμε τον μέσο όσο από κάθε διάσταση των δεδομένων (Data Adjust), έτσι ώστε ο νέος μέσος όρος των δεδομένων της διάστασης να είναι μηδέν. 2. Υπολογίζουμε τον πίνακα συνδιακύμανσης (covariance matrix) των δεδομένων μας,. Η συνδιακύμανση είναι ουσιαστικά ένας αριθμός που αντικατοπτρίζει το βαθμό στον οποίο δύο μεταβλητές μεταβάλλονται επηρεάζοντας η μία την άλλη (συμμεταβάλονται). Όταν έχουμε υψηλή θετική συνδιακύμανση, τότε έχουμε υψηλή θετική συσχέτιση των δύο μεταβλητών (μεταβάλλονται με τον ίδιο τρόπο). Όταν έχουμε υψηλή αρνητική συνδιακύμανση, τότε έχουμε υψηλή αρνητική συσχέτιση των δύο μεταβλητών (μεταβάλλονται με τον αντίστροφο τρόπο). Αν δεν υπάρχει συσχέτιση της μίας μεταβλητής με την άλλη, τότε η συνδιακύμανση είναι 0. Ο τύπος μέσω του οποίου υπολογίζεται η συνδιακύμανση μεταξύ 2 μεταβλητών Χ και Υ είναι: 3. Σε αυτό το βήμα θα πρέπει να υπολογίσουμε τα eigenvectors και τα eigenvalues (βαρύτητα των eigenvectors) του πίνακα συνδιακύμανσης. Τα eigenvectors προέρχονται από τη φύση του μετασχηματισμού. Αν για παράδειγμα έχουμε ένα πίνακα μετασχηματισμού, τον οποίον όταν τον πολλαπλασιάζουμε, δημιουργούνται διανύσματα στη γραμμή y=x, τότε αυτά τα διανύσματα και τα πολλαπλάσιά τους είναι τα eigenvectors του μετασχηματισμού. 4. Σε αυτό το βήμα πετυχαίνουμε συμπίεση των δεδομένων μας και την μείωση των διαστάσεων τους. Παρατηρώντας τα eigenvectors και τα eigenvalues του προηγουμένου βήματος βλέπουμε ότι τα eigenvalues έχουν πολύ διαφορετικές τιμές. Στην πραγματικότητα τα eigenvalues με τις υψηλότερες τιμές είναι οι κύριες συνιστώσες (Principal Components) των δεδομένων μας. Έτσι αρχικά θα πρέπει να δημιουργήσουμε το feature vector, το οποίο είναι στην ουσία ένας πίνακας με τα eigenvectors τα οποία θέλουμε να κρατήσουμε από την λίστα των eigenvectors. 5. Δημιουργούμε την μορφή των δεδομένων έτσι ώστε να εκφράζονται βάσει των γραμμών που δείχνουν τα eigenvectors (Principal Components). Χρησιμοποιώντας την σχέση. 100

101 Κεφάλαιο 4 - Μεθοδολογία Η τελευταία φάση είναι να πάρουμε πίσω τα δεδομένα μας, ειδικά εάν χρησιμοποιούμε την μέθοδο για συμπίεση. Αυτό επιτυγχάνεται μέσω της σχέσης:. Στα πλαίσια της παρούσας διπλωματικής η Principal Component Analysis χρησιμοποιείται για την ευκολότερη απεικόνιση των παραμέτρων συμπεριφοράς των πρακτόρων. Έτσι, οι τέσσερις παράμετροι συμπεριφοράς μετασχηματίζονται σε δύο μεταβλητές PC1 και PC2 και αυτές απεικονίζονται. Μελλοντικά, όταν εισαχθούν περισσότερες παράμετροι συμπεριφοράς, η PCA μπορεί να συνεισφέρει σημαντικά στη μείωση των διαστάσεων και υπολογιστικού φόρτου στο στάδιο της ομαδοποίησης. 101

102 Κεφάλαιο 5 - Πειράματα και αποτελέσματα 102 Κεφάλαιο 5 - Πειράματα και αποτελέσματα 5.1 Εισαγωγή Στα προηγούμενα κεφάλαια δόθηκε μια συνοπτική περιγραφή των βημάτων μοντελοποίησης των αντιπάλων πρακτόρων στο παιχνίδι Limit Texas Hold em Poker. Σε αυτό το κεφάλαιο παρουσιάζεται αναλυτικά η πειραματική διαδικασία που ακολουθήθηκε και κατόπιν γίνεται αξιολόγηση των αποτελεσμάτων. Περιγράφονται τα βήματα της διαδικασίας όπως αυτά εκτελέσθηκαν έως την τελική μορφή των μοντέλων. Όπως αναφέρθηκε στο προηγούμενο κεφάλαιο η διαδικασία αναγνώρισης των χαρακτηριστικών συμπεριφοράς εκτελέστηκε σε δύο φάσεις σε δύο σετ δεδομένων. Ο κυρίαρχος λόγος για αυτή την επιλογή είναι η αρχική επιβεβαίωση της θεωρητικής ανάλυσης σε ένα σετ δεδομένων με «κατώτερους» πράκτορες (dummy agents) και στη συνέχεια η εφαρμογή της μεθόδου αυτής σε πραγματικά δεδομένα από παίκτες που εφαρμόζουν «ανώτερες» στρατηγικές. Σε όλα τα παιχνίδια εφαρμόστηκαν οι κανόνες του Limit Texas Hold em, όπως αυτοί αναλύθηκαν στο κεφάλαιο 2. Οι κατώτεροι παίκτες χαρακτηρίζονται ως πράκτορες αξιολόγησης και συχνά χρησιμοποιούνται για την εκπαίδευση ανώτερων παικτών. Οι παίκτες αυτοί επιλέγουν τις κινήσεις τους είτε ακολουθώντας μια πολύ απλή στρατηγική είτε ακολουθώντας κάποιο κανόνα. Αναλυτικά, οι πράκτορες αξιολόγησης είναι: Always Call: Ο πράκτορας κάνει call ή check ανάλογα με την περίπτωση. Always Raise: Ο πράκτορας κάνει bet ή raise μέχρι να εξαντληθεί το επιτρεπόμενο από τους κανονισμούς όριο. Call or Raise: Ο πράκτορας ακολουθεί σταθερή κατανομή με πιθανότητες μεταξύ check/call και bet/raise. Random: Ο πράκτορας παίζει τυχαία κάποια από τις επιτρεπόμενες κινήσεις, γεγονός που τον καθιστά τον πιο αδύναμο παίκτη. Heuristic: Ο πράκτορας παίζει με ένα απλό ευριστικό κανόνα.[1] 102

103 Κεφάλαιο 5 - Πειράματα και αποτελέσματα Δημιουργία και επιλογή των Σετ δεδομένων Για τη δημιουργία δεδομένων που χρησιμοποιούνται για την αναγνώριση και μοντελοποίηση των συμπεριφορών των αντιπάλων πρακτόρων δημιουργήθηκαν δύο σετ δεδομένων. Το πρώτο σετ αποτελείται από παιχνίδια του πράκτορα TiltNet ενάντια στους παίκτες αξιολόγησης. Το δεύτερο σετ παιχνιδιών αποτελείται από το άθροισμα των παιχνιδιών του πρώτου σετ και από το ιστορικό του διαγωνισμού ACPC 2011 και Το ιστορικό είναι ελεύθερο προς χρήση και διαθέσιμο στην ιστοσελίδα του διαγωνισμού Τα δεδομένα τόσο από τα παιχνίδια του TiltNet όσο και από το ιστορικό του διαγωνισμού για να είναι εκμεταλλεύσιμα έπρεπε πρώτα να μετασχηματισθούν σε κατάλληλη μορφή. Η διαδικασία αυτή έγινε σε δύο στάδια. Πρώτα για κάθε δυνατή κατάσταση στην οποία βρέθηκαν οι πράκτορες σε όλα τα παιχνίδια εξήχθη ένα διάνυσμα καταστάσεων, όπως το περιγράψαμε στο κεφάλαιο 4 (βλ. Χαρακτηριστικά Περιβάλλοντος). Το διάνυσμα καταστάσεων αυτό αποτελείται από κανονικοποιημένα στοιχεία στο διάστημα [0,1]. Ο συνολικός αριθμός των καταστάσεων αγγίζει περίπου τις καταστάσεις. Στο δεύτερο στάδιο τα διανύσματα καταστάσεων αυτά αποτελούν τη βάση για τη δημιουργία των διανυσμάτων κατάστασης που εκφράζουν τη συμπεριφορά των παικτών. Έτσι από τις κινήσεις των παιχτών και τα στάδια του παιχνιδιού όπως αυτά αποτυπώθηκαν στα πρώτα διανύσματα καταστάσεων, εξήχθησαν τα διανύσματα συμπεριφοράς που περιέχουν ως στοιχεία: 1. Aggression Factor (AF): το ποσοστό αυτό αναφέρεται στην επιθετικότητα του παίκτη κατά τη διάρκεια όλου το παιχνιδιού και ορίζεται ως. 2. Call Factor (CF): το ποσοστό αυτό περιγράφει την παθητικότητα του παίκτη, η οποία εκδηλώνεται από το συνολικό αριθμό των φορών που ο παίκτης κάνει Call και ορίζεται αντίστοιχα ως. 3. Pre-flop Aggression Factor (PAF): το ποσοστό αυτό αναφέρεται στην επιθετικότητα του παίκτη πριν ανοίξουν τα κοινά φύλλα στο τραπέζι και ορίζεται αντίστοιχα ως.όπως έχει ήδη αναφερθεί, ο τρόπος παιχνιδιού στη φάση του pre-flop είναι πολύ διαφορετικός από τις άλλες φάσεις και καθοριστικός για το στυλ παιχνιδιού ενός παίκτη. 4. Flop Aggression Factor (FAF): το ποσοστό αυτό αναφέρεται στην επιθετικότητα του 103

104 Κεφάλαιο 5 - Πειράματα και αποτελέσματα 104 παίκτη όταν ανοίξουν τα κοινά φύλλα στο τραπέζι, δηλαδή όταν το παιχνίδι είναι στη φάση του Flop, και ορίζεται αντίστοιχα ως. Η επιλογή του ορθού διαχωρισμού των σετ δεδομένων είναι πολύ σημαντική για την εξέλιξη της διαδικασίας. Συνεπώς, τα νέα διανύσματα συμπεριφοράς χωρίστηκαν σε δύο σετ: ένα για τους παίκτες αξιολόγησης και ένα για όλους τους παίκτες μαζί. 5.3 Clustering Σε αυτή την παράγραφο παρουσιάζονται αναλυτικά τα βήματα της διαδικασίας της ομαδοποίησης και τα αντίστοιχα αποτελέσματα, όπως αυτά προέκυψαν μέσα από τα προγράμματα Matlab και WEKA Επιλογή του πλήθους των ομάδων Όπως αποτυπώνεται χαρακτηριστικά στο διάγραμμα ροής της πειραματικής διαδικασίας η επιλογή του πλήθους των ομάδων είναι το πιο σημαντικό βήμα της διαδικασίας. Η επιλογή αυτή δεν είναι μονόδρομη, καθώς εξαρτάται από την πορεία της διαδικασίας της ομαδοποίησης και τις τιμές των εκτιμητών της. Έτσι, αρχικά επιλέγεται μια τιμή του πλήθους ομάδων βάσει των διαγραμμάτων Elbow, όπου απεικονίζεται πως επηρεάζει η αύξηση των ομάδων το συνολικό τετραγωνικό σφάλμα (SSE). Η τιμή αυτή επιλέγεται από το διάγραμμα για την τιμή του πλήθους των ομάδων όπου περαιτέρω αύξηση των ομάδων δεν οδηγεί σε σημαντική μείωση του σφάλματος SSE. Συνήθως αυτή η τιμή αντιστοιχεί στο 3-6% του σφάλματος του αρχικού σετ δεδομένων, δηλαδή για k=1. Σε αυτό το σημείο το διάγραμμα παρουσιάζει μια καμπή, γεγονός στο οποίο οφείλεται η ονομασία αυτών των διαγραμμάτων (elbow=αγκώνας). Για το πρώτο σετ δεδομένων το διάγραμμα Elbow παρουσιάζεται στο σχήμα 23 και για το δεύτερο σετ δεδομένων στο σχήμα

105 Κεφάλαιο 5 - Πειράματα και αποτελέσματα 105 Σχήμα 23 Διάγραμμα elbow για το 1ο σετ δεδομένων Σχήμα 24 Διάγραμμα elbow για το 2ο σετ δεδομένων Μια απλοϊκή και όμως λανθασμένη προσέγγιση στην ερμηνεία του 1 ου διαγράμματος θα ήταν ότι δεδομένου ότι το σετ δεδομένων αποτελείται από έξι παίκτες (τους πέντε πράκτορες 105

106 Κεφάλαιο 5 - Πειράματα και αποτελέσματα 106 αξιολόγησης και τον πράκτορα TiltNet) η ομαδοποίηση σε έξι συστάδες οδηγεί σε ομάδες, οι οποίες εκφράζουν τους παίκτες. Όπως όμως ήδη αναφέρθηκε η προσέγγιση του προβλήματος γίνεται στην προσπάθεια αναγνώρισης συμπεριφορών που εμφανίζονται σε διαφορετικούς παίκτες, ομαδοποιώντας έτσι πρακτικά τους παίκτες βάσει συμπεριφορών. Στο διάγραμμα του σχ. 23(a) το σημείο καμπής, όπου περαιτέρω αύξηση του αριθμού των ομάδων δεν οδηγεί σε σοβαρή μείωση του SSE, εμφανίζεται στον αριθμό 6. Ο αριθμός αυτός, ο οποίος αντιστοιχεί σε ποσοστό 5,5% του αρχικού SSE, θα αποτελέσει το πλήθος των ομάδων που θα σχηματιστούν από τον αλγόριθμο k-means++. Για τον αλγόριθμο x-means,επιτρέπουμε στον αλγόριθμο να επιλέξει την καλύτερη ομαδοποίηση με βάση το Bayesian Information Criterion (BIC) θέτοντας ως εύρος του αριθμού των ομάδων από το 2 έως το 15. Αυτό γίνεται γιατί στο διάγραμμα φαίνεται ένα σημείο καμπής για k=13, αν και η μείωση που επιφέρει είναι μικρή. Αναφορικά με το δεύτερο σετ δεδομένων, στο διάγραμμα του σχήματος 2 παρατηρούνται επίσης δύο σημεία καμπής με αυτό για k=13 να επιφέρει τη σημαντικότερη μείωση του SSE και να αντιστοιχεί σε ποσοστό 5,53% του αρχικού σφάλματος SSE. Η τιμή λοιπόν αυτή φαίνεται να πληρεί τα κριτήρια επιλογής και θα αποτελέσει την είσοδο στον αλγόριθμο k-means++. Όπως και για το 1 ο σετ δεδομένων, έτσι και εδώ επιλέγεται εύρος 2 έως 15 ομάδων για τον αλγόριθμο x-means. 106

107 Κεφάλαιο 5 - Πειράματα και αποτελέσματα Εκτέλεση αλγορίθμων Ομαδοποίησης Σετ δεδομένων πρακτόρων αξιολόγησης Εφόσον λοιπόν έχει επιλεχθεί μια τιμή του k για κάθε σετ δεδομένων, το επόμενο βήμα είναι η εκτέλεση των αλγορίθμων ομαδοποίησης. Όπως ήδη αναφέρθηκε στο κεφάλαιο 4, ο πρώτος αλγόριθμος είναι ο k-means++, ο οποίος είναι υλοποιημένος στο πρόγραμμα WEKA. Η εκτέλεση του αλγορίθμου οδηγεί στα παρακάτω αποτελέσματα. Ένα σημαντικό χαρακτηριστικό είναι η δυνατότητα που παρέχεται από το WEKA να εμφανίζεται κάθε κέντρο μαζί με την τυπική απόκλιση (standard deviation). Το χαρακτηριστικό αυτό είναι ιδιαίτερα χρήσιμο για το τελευταίο τμήμα της παρούσας διπλωματικής, όπου επιχειρείται να κατηγοριοποιηθεί η συμπεριφορά του παίκτη κατά τη διάρκεια ενός παιχνιδιού. Επιπλέον είναι σημαντικό να σημειωθεί ότι η ομαδοποίηση έγινε αφού τα δύο σετ δεδομένων διαχωρίζονται σε υπό-σετ: train set και test set. Η επιλογή αυτή δίνεται από το πρόγραμμα Weka και αποτελεί το πρώτο κριτήριο εκτίμησης της ποιότητας της ομαδοποίησης. Τα αποτελέσματα ακολουθούν συνοπτικά στον επόμενο πίνακα (Πίνακας 6). Πίνακας 6 Κέντρα ομάδων για το 1ο σετ δεδομένων από τον αλγόριθμο k-means++ Attribute Full Data Cluster 0 Cluster 1 Cluster 2 Cluster 3 Cluster 4 Cluster 5 (11922) (2940) (491) (4100) (188) (3172) (1031) Aggression Factor +/ / / / / / / Call Factor +/ / / / / / / Preflop Aggresion +/ /-0 +/-0 +/-0 +/-0 +/-0 +/ Factor Flop Aggression +/ /-0 +/-0 +/-0 +/-0 +/-0 +/-0 Factor Για την εξαγωγή των παραπάνω αποτελεσμάτων έγιναν 3 επαναλήψεις του αλγορίθμου, δηλαδή 3 κινήσεις των κέντρων από την αρχική τους θέση. Το συνολικό σφάλμα που υπολογίζει 107

108 Κεφάλαιο 5 - Πειράματα και αποτελέσματα 108 ο αλγόριθμος k-means++ για αυτή την ομαδοποίηση είναι , σαφώς μεγαλύτερο από την αρχική εκτίμηση με το διάγραμμα Elbow. Γίνεται λοιπόν εμφανές ότι τα διαγράμματα Elbow είναι μια καλή μέθοδος για τον προσδιορισμό του αριθμού των ομάδων, δεν είναι όμως τόσο ακριβής. Για την εκτίμηση της ορθότητας της ομαδοποιήσης υλοποιήθηκαν και εκτελέστηκαν γνωστοί δείκτες εκτίμησης, όπως αυτοί περιγράφηκαν στο κεφάλαιο 3. Πρώτος εκτιμητής είναι ο δείκτης Silhouette. Στο επόμενο σχήμα (Σχημα 23) φαίνεται η τιμή του μέσου όρου στο δείκτη για διάφορες τιμές του πλήθους των ομάδων και στη συνέχεια (Σχημα 24) αναλυτικά οι τιμές του δείκτη (silhouettes) για κάθε δείγμα. Όπως αναφέρθηκε στο κεφάλαιο 3, τιμές μεγαλύτερες του 0.71 υποδεικνύουν πως η ομαδοποίηση παρουσιάζει δυνατή μορφή. Σχήμα 25 Διάφορες τιμές Silhouette για το πρώτο σετ δεδομένων 108

109 Κεφάλαιο 5 - Πειράματα και αποτελέσματα 109 Σχήμα 26 Τιμές του δείκτη Silhouette για ομαδοποίηση με 6 clusters για το πρώτο σετ δεδομένων Δεύτερος εκτιμητής που χρησιμοποιήθηκε είναι ο δείκτης Dunn, για τον οποίο ήδη αναφέρθηκε πως τιμές μεγαλύτερες του 1 υποδεικνύουν καλή ομαδοποίηση. Σκοπός της διαδικασίας ομαδοποίησης αποτελεί ο καλύτερος συνδυασμός των δεικτών, ώστε να έχουμε την καλύτερη δυνατή ποιότητα συστάδων. Ο δείκτης Dunn για τις διάφορες τιμές του k (πλήθους συστάδων) παρουσιάζεται στο επόμενο σχήμα. Όπως φαίνεται χαρακτηριστικά, μια καλή επιλογή σύμφωνα με αυτό το δείκτη θα ήταν η επιλογή του αριθμού k=5. Την επιλογή αυτή υποστηρίζει και το διάγραμμα του δείκτη Silhouette, αφού για k=5 ο μέσος όρος των silhouettes παραμένει πάνω από το Ωστόσο, όταν εφαρμόστηκε η ομαδοποίηση αυτή σε δεδομένα που ανήκουν στο cluster 5 και 6 (όταν k=6), δεν ομαδοποιούνται σωστά και προκύπτουν τιμές του δείκτη silhouette μικρότερες του 0.25 ή και αρνητικές. Για το λόγο αυτό επιλέχθηκε ως βέλτιστη τιμή το k=6. 109

110 Κεφάλαιο 5 - Πειράματα και αποτελέσματα 110 Σχήμα 27 Διάφορες τιμές του δείκτη Dunn για το πρώτο σετ δεδομένων Η θεώρηση πως το k=6 είναι εξίσου ή και καλύτερη επιλογή από το k=5 επιβεβαιώνεται μέσω του τελευταίου εκτιμητή, του Davies-Bouldin index. Όπως αναφέρεται και στο κεφάλαιο 3, η ομαδοποίηση γίνεται καλύτερη όταν ο δείκτης αυτός ελαχιστοποιείται. Όπως φαίνεται ακολούθως ο δείκτης παίρνει κατώτερη τιμή για k=5 και διατηρεί σχεδόν την ίδια τιμή για k=6. Σχήμα 28 Διάφορες τιμές του δείκτη Davies Bouldin για το πρώτο σετ δεδομένων. 110

111 Κεφάλαιο 5 - Πειράματα και αποτελέσματα 111 Εφόσον λοιπόν τα δεδομένα επιλέχθηκε να ομαδοποιηθούν με πλήθος ομάδων έξι, εφαρμόστηκε στη συνέχεια Principal Component Analysis (PCA) για την εμφάνιση των δεδομένων με καλύτερο τρόπο και την εμφάνιση των αντίστοιχων ομάδων. Τα δεδομένα ομαδοποιήθηκαν στα clusters με ποσοστά 35%, 28%, 2%, 2%, 6%, 27% στις ομάδες 1 έως 6 αντίστοιχα. Σχήμα 29 PCA για το πρώτο σετ δεδομένων Για το ίδιο σετ δεδομένων στη συνέχεια εκτελείται ο αλγόριθμος X-means σε μια προσπάθεια επιβεβαίωσης της επιλογής αριθμού ομάδων και την εισαγωγή ενός ακόμα κριτηρίου : του Bayesian Information Criterion (BIC). Όπως ήδη αναφέρθηκε στο κεφάλαιο 4, το πρόγραμμα WEKA αντιμετωπίζει την ομαδοποίηση με τον αλγόριθμο X-means ως ένα πρόβλημα εύρεσης της βέλτιστης λύσης για αυτό το κριτήριο. Έτσι, το πρόβλημα της ομαδοποίησης μετατρέπεται σε πρόβλημα μεγιστοποίησης του BIC scoring. Επίσης, τα δεδομένα διαχωρίστηκαν σε δύο υπό-σετ: ένα σετ για εκπαίδευση (train set) και ένα σετ για τεστ (test set). Παρακάτω παρουσιάζονται τα αποτελέσματα του προγράμματος WEKA όταν έχουμε επιλέξει ως εύρος κέντρων από δύο έως έξι. 111

112 Κεφάλαιο 5 - Πειράματα και αποτελέσματα 112 Πίνακας 7 Αποτελέσματα εκτέλεσης του αλγορίθμου X-means για τους 6 βασικούς παίκτες Attribute Cluster 0 (339) Cluster 1 (1433) Cluster 2 (1135) Cluster 3 (535) Cluster 4 (324) Cluster 5 (288) Aggression Factor Call Factor Preflop Aggresion Factor Flop Aggression Factor Είναι εμφανές από τα αποτελέσματα ότι ο αλγόριθμος συγκλίνει στη δημιουργία 6 ομάδων, όπως επιλέχθηκε και ανώτερα από τον k-means. Οι ομάδες που δημιουργούνται διαφέρουν μερικώς, γεγονός που οφείλεται στον τρόπο που επιλέγει ο αλγόριθμος τα αρχικά κέντρα και στον τρόπο που «δημιουργεί» νέα. Παρόλα αυτά φαίνεται στα παραπάνω διαγράμματα ότι η επιλογή έξι ομάδων οδηγεί σε άπειρη τιμή του BIC-value, γεγονός που σημαίνει πως αυτή η επιλογή λύνει το πρόβλημα μεγιστοποίησης αυτής της τιμής. Στο τελικό στάδιο της ομαδοποίησης, πρέπει τελικά να επιλεχθεί ο αριθμός των κέντρων και ο αλγόριθμος από τον οποίο προκύπτουν οι καλύτερες συστάδες. Στα πλαίσια του πρώτου σετ δεδομένων, ο αλγόριθμος X-means κατηγοριοποιεί τα δεδομένα σε συστάδες με μεγαλύτερη ποσόστωση από την αντίστοιχη του k-means. Ωστόσο ο k-means δημιουργεί ισχυρές ομάδες όταν συγκρίνονται τα silhouettes των δύο αλγορίθμων και για αυτό το λόγο επιλέγεται αυτός ο αλγόριθμος και τα αντίστοιχα κέντρα που δημιούργησε Σετ δεδομένων ACPC Η διαδικασία που εφαρμόστηκε για το πρώτο σετ δεδομένων εκτελέστηκε στη συνέχεια για το δεύτερο σετ δεδομένων, που περιέχει παιχνίδια από το διαγωνισμό του ACPC και τα παιχνίδια του πρώτου σετ. Όπως αναφέρθηκε προηγουμένως, από το διάγραμμα του SSE 112

113 Κεφάλαιο 5 - Πειράματα και αποτελέσματα 113 (Elbow) φαίνεται ως καλή επιλογή η δημιουργία 13 συστάδων. Για την εκτέλεση του k-means++ επιλέγεται λοιπόν αυτή η τιμή και παρουσιάζονται αναλυτικά οι δείκτες εκτίμησης του αποτελέσματος. Στη συνέχεια εκτελείται ο x-means με εύρος δύο έως δεκαπέντε συστάδες. Πίνακας 8 Αποτελέσματα k-means++ στο 66% (train set) των δεδομένων του 2ου σετ Attribute Aggression Factor Call Factor Position Aggression Factor Full Data (32922) Cluster 0 (3316) Cluster 1 (4622) Cluster 2 (482) Cluster 3 (443) Cluster 4 (6297) Cluster 5 (2904) Cluster 6 (4791) Cluster 7 (3002) Cluster 8 (1021) Cluster 9 (2801) Cluster 10 (1643) Cluster 11 (884) Cluster 12 (716) Flop Aggression Factor Σύμφωνα με το WEKA για την παραπάνω ομαδοποίηση το SSE παίρνει τιμή Στη συνέχεια παρατίθεται ο πίνακας των αποτελεσμάτων για το υπόλοιπο 33%. Πίνακας 9 Αποτελέσματα k-means++ στο 33% (test set) των δεδομένων του 2ου σετ Attribute Aggression Factor Call Factor Position Aggression Factor Full Data (21728) Cluster 0 (4191) Cluster 1 (1455) Cluster 2 (1391) Cluster 3 (1384) Cluster 4 (1890) Cluster 5 (3156) Cluster 6 (584) Cluster 7 (3156) Cluster 8 (1747) Cluster 9 (499) Cluster 10 (1235) Cluster 11 (466) Cluster 12 (574) Flop Aggression Factor 113

114 Κεφάλαιο 5 - Πειράματα και αποτελέσματα 114 Σύμφωνα με το WEKA για την παραπάνω ομαδοποίηση το SSE παίρνει τιμή Τα δεδομένα αναδιατάχθηκαν σε 13 ομάδες και πάλι, όμως με διαφορετικά εν μέρει κέντρα. Επιλέγεται ως ορθότερη η ομαδοποίηση με τα κέντρα από το 66% διότι έχει μικρότερο SSE. Όπως και πριν για την εκτίμηση των αποτελεσμάτων της ομαδοποίησης για διάφορες τιμές του πλήθους συστάδων, υπολογίστηκε ο δείκτης Silhouette για τιμές k=2 20. Στο διάγραμμα που ακολουθεί φαίνεται πως η επιλογή του αριθμού 13 πληρεί τα κριτήρια του εκτιμητή αυτού, καθώς ο μέσος όρος των silhouettes είναι μεγαλύτερος του Επίσης φαίνεται ότι περαιτέρω αύξηση του αριθμού των ομάδων δεν επιφέρει ουσιαστικό κέρδος, οπότε σύμφωνα με αυτό το δείκτη τα αποτελέσματα κρίνονται ικανοποιητικά για k=13. Σχήμα 30 Τιμές του δείκτη Silhouette για διάφορα k για το 2ο σετ δεδομένων Στη συνέχεια υπολογίστηκε ο δείκτης Dunn και ο δείκτης Davies-Bouldin για διάφορες τιμές του k με σκοπό να επιβεβαιωθεί η ορθότητα της επιλογής 13 συστάδων ή να γίνει νέα επιλογή για το πλήθος των ομάδων. Όπως φαίνεται στα σχήματα 31-32, η επιλογή του αριθμού 13 πληρεί τόσο τα κριτηρία του δείκτη Dunn (τιμή μεγαλύτερη του 1) όσο και τα κριτήρια του δείκτη Davies-Bouldin (ελάχιστη τιμή του δείκτη). Έχοντας λοιπόν καθορίσει ότι υπάρχουν δεκατρείς ομάδες συμπεριφοράς των πρακτόρων στο παιχνίδι πόκερ, τελευταίο βήμα είναι η εκτέλεση του αλγορίθμου X-means, ώστε να επιβεβαιωθεί η ορθότητα της επιλογής και μέσω 114

115 Κεφάλαιο 5 - Πειράματα και αποτελέσματα 115 του Bayesian Information Criterion. Στη συνέχεια πρέπει να επιλεγεί η καλύτερη από τις δύο ομαδοποιήσεις. Σχήμα 31 Τιμές του δείκτη Dunn για το 2ο σετ δεδομένων Σχήμα 32 Τιμές του δείκτη Davies-Bouldin για το 2ο σετ δεδομένων 115

116 Κεφάλαιο 5 - Πειράματα και αποτελέσματα 116 Η ομαδοποίηση με τον k-means++ εμφανίζεται μετά από Principal Component Analysis στο επόμενο διάγραμμα. Σχήμα 33 PCA plot για το 2ο σετ δεδομένων 116