Μικτές Στρατηγικές σε Παίγνια και σημεία Ισορροπίας Nash Τµήµα Μηχανικών Πληροφορικής και Υπολογιστών 1
Σημεία ισορροπίας Nash: Yπάρχουν πάντα; Έχουν όλα τα παίγνια σημείο ισορροπίας; - Ναι, στην εξιδανικευμένη περίπτωση όπου κάθε παίκτης έχει πάντα την ίδια συμπεριφορά όταν παίζει το παίγνιο. Υπάρχουν όμως περιπτώσεις όπου ένα άτομο επιλέγει την ενέργειά του με πιθανοτικό τρόπο κάθε φορά που παίζει ένα παίγνιο, π.χ. Matching Pennies ή Πέτρα - Ψαλίδι - Χαρτί. Τι θα αποτελούσε μια καλή λύση σε τέτοια παίγνια; Τµήµα Μηχανικών Πληροφορικής και Υπολογιστών 2
Παράδειγμα χωρίς σημεία ισορροπίας: Matching Pennies H T H 1, -1-1, 1 T -1, 1 1, -1 Σε κάθε προφίλ, κάποιος παίκτης έχει κίνητρο να αλλάξει Δεν υπάρχει κανένα σημείο ισορροπίας! Τµήµα Μηχανικών Πληροφορικής και Υπολογιστών 3
Παράδειγμα χωρίς σημεία ισορροπίας: Matching Pennies H T H 1, -1-1, 1 T -1, 1 1, -1 Πώς θα επιλέγαμε στρατηγική σε ένα τέτοιο παίγνιο στην πράξη? Μάλλον τυχαία! (όπως και στο Π-Ψ-Χ) Τµήµα Μηχανικών Πληροφορικής και Υπολογιστών 4
Matching Pennies: Πιθανοτικές στρατηγικές ½ ½ H T 1/2 1/2 H T (1, -1) (-1, 1) (-1, 1) (1, -1) Κύρια ιδέα: Ας επιτρέψουμε στους παίκτες να επιλέγουν πιθανοτικά τις στρατηγικές τους Π.χ. Έστω ότι και οι 2 παίκτες αποφασίζουν να επιλέξουν H με πιθ/τα 1/2 T με πιθ/τα 1/2 Τότε κάθε έκβαση είναι ισοπίθανη με πιθ/τα ¼ Για τον π. 1: P[να κερδίσω] = P[να χάσω] = ½ Μέση ωφέλεια = 0 Ομοίως για τον π. 2 Τµήµα Μηχανικών Πληροφορικής και Υπολογιστών 5
Matching Pennies: Πιθανοτικές στρατηγικές H T 1/2 1/2 H T (1, -1) (-1, 1) (-1, 1) (1, -1) Έχει κίνητρο ο π. 1 να αλλάξει αυτή τη στρατηγική, δεδομένης της στρατηγικής του π.2? Αν ο π. 1 επιλέξει H, οι πιθανές εκβάσεις είναι: (H, H) με πιθ/τα 1/2 (+1 για π. 1) (H, T) με πιθ/τα 1/2 (-1 για π. 1) Αν ο π. 1 επιλέξει T, οι πιθανές εκβάσεις είναι: (T, H) με πιθ/τα 1/2 (-1 για π. 1) (T, T) με πιθ/τα 1/2 (+1 για π. 1) Και στις 2 περιπτώσεις, μέση ωφέλεια π. 1 = 0 Τµήµα Μηχανικών Πληροφορικής και Υπολογιστών 6
Matching Pennies: Πιθανοτικές στρατηγικές H T 1/2 1/2 H T (1, -1) (-1, 1) (-1, 1) (1, -1) Αν ο π. 1 επιλέξει να παίξει H με πιθ/τα p, και T με πιθ/τα 1-p, οι εκβάσεις θα είναι: (H, H) με πιθ/τα p/2, (T, H) με πιθ/τα (1-p)/2, (H, T) με πιθ/τα p/2, (T, T) με πιθ/τα (1-p)/2 Ωφέλεια π. 1 = (+1) [p/2 + (1-p)/2] + (-1) [p/2 + (1-p)/2] = 0 Τµήµα Μηχανικών Πληροφορικής και Υπολογιστών 7
Επιλογή στρατηγικών Συνοψίζοντας: Έστω ότι ο π. 2 επιλέγει πιθανοτικά με βάση την ομοιόμορφη κατανομή (H με πιθ/τα 1/2, T με πιθ/τα 1/2) Πώς πρέπει να παίξει ο π. 1? Κάθε στρατηγική του π. 1 δίνει την ίδια μέση ωφέλεια Όμως, αν παίξει ντετερμινιστικά H, δημιουργείται κίνητρο στον αντίπαλο να παίζει T και να κερδίζει πάντα Το ίδιο αν παίξει ντετερμινιστικά T Αν ο π. 1 παίξει πιθανοτικά, επιλέγοντας π.χ. Η με πιθ/τα p < 1/2, ο π. 2 έχει κίνητρο να επιλέξει και αυτός H, και να κερδίζει με μεγαλύτερη πιθανότητα Τελικό συμπέρασμα: Η μόνη λογική επιλογή για τον π. 1 είναι να επιλέξει και αυτός την ομοιόμορφη κατανομή 9 Τµήµα Μηχανικών Πληροφορικής και Υπολογιστών 8
Μεικτές στρατηγικές Ορισμός: Μια μεικτή στρατηγική (mixed strategy) ενός παίκτη είναι μια κατανομή πιθανότητας πάνω στο σύνολο των διαθέσιμων επιλογών του Αν S = {s 1, s 2,..., s n ) οι διαθέσιμες στρατηγικές ενός παίκτη, μια μεικτή στρατηγική είναι ένα διάνυσμα της μορφής p = (p 1,..., p n ), όπου p i 0 για i=1,..., n, και p 1 +... + p n = 1 p i = πιθανότητα να επιλέξει ο παίκτης την i-οστή στρατηγική του Θα το γράφουμε και ως: p i = p(s i ) = πιθ/τα να επιλεγεί η s i Matching pennies: Η ομοιόμορφη κατανομή γράφεται ως p = (1/2, 1/2) ή p(h) = p(t) = ½ Τµήµα Μηχανικών Πληροφορικής και Υπολογιστών 9
Μεικτές στρατηγικές Πότε έχουν νόημα οι μεικτές στρατηγικές? Όταν το παίγνιο παίζεται επαναλαμβανόμενα Ή όταν μας ενδιαφέρει ως κριτήριο είτε η μέση ωφέλεια είτε κάποια άλλη συνάρτηση που παίρνει υπόψη τις πιθανότητες Μπορούμε να σκεφτόμαστε ότι ο παίκτης επιλέγει να ρίξει ένα νόμισμα για να αποφασίσει τι θα παίξει Εναλλακτική θεώρηση μεικτών στρατηγικών: κάθε παίκτης του παιγνιου εκπροσωπείται από διαφορετικά μέλη ενός πληθυσμού Π.χ. Στο Survivor, π. 1 = Μαχητές, π. 2 = Διάσημοι 2=Παναθηναϊκός Η επίδοση στην ταχύτητα του π. 1 εξαρτάται από το ποιος εκπροσωπεί τους Μαχητές σε κάθε γύρο Στην απόφαση «να τρέξω ή να πάω αργά» οι Μαχητές παίζουν μια παίζουν μεικτή μια στρατηγική, μεικτή στρατηγική, όπου ένα όπου ποσοστό ένα των ποσοστό παικτών των είναι παικτών αργοί είναι αργοί. Ομοίως στην εκτέλεση πεναλτυ: η ομάδα εκπροσωπείται από παίκτες Η συνολική στρατηγική της ομάδας είναι μια κατανομή πιθανότητας είναι πάνω ο σούτερ. στους πιθανούς τρόπους εκτέλεσης Π.χ. Παίζουν ένα παιχνίδι δύο ομάδες μπάσκετ, π.1=ολυμπιακός και π. Η επίδοση στην ταχύτητα του π.1 εξαρτάται από το ποιος τρέχει. Στην απόφαση να τρέξω ή να πάω αργά οι παίκτες του Ολυμπιακού Ομοίως στην εκτέλεση σουτ: η ομάδα εκπροσωπείται κάθε φορά και ένα Η συνολική στρατηγική της ομάδας είναι μία κατανομή πιθανότητας πάνω στους πιθανούς τρόπους εκτέλεσης. Τµήµα Μηχανικών Πληροφορικής και Υπολογιστών 10
Αμιγείς και μεικτές στρατηγικές Στο εξής, οι αρχικές διαθέσιμες επιλογές θα αναφέρονται ως αμιγείς στρατηγικές Για 2 παίκτες με S 1 = {s 1, s 2,..., s n } και S 2 = {t 1, t 2,..., t m } O π. 1 έχει n αμιγείς στρατηγικές Ο π. 2 έχει m αμιγείς στρατηγικές Κάθε αμιγής μπορεί να αναπαρασταθεί και σαν μεικτή που δίνει πιθανότητα 1 μόνο σε μια επιλογή Π.χ. η αμιγής στρατηγική s 1 γράφεται και σαν την μεικτή (1, 0, 0,..., 0) Η στρατηγική s i αντιστοιχεί στην μεικτή e i = (0, 0,..., 1, 0,..., 0) Με 1 στην θέση i Συχνά θα απεικονίζουμε την i-οστή αμιγή στρατηγική με το μοναδιαίο διάνυσμα e i Τµήµα Μηχανικών Πληροφορικής και Υπολογιστών 11
Ωφέλειες με μεικτές στρατηγικές Έστω ότι οι παίκτες έχουν διαλέξει μεικτές στρατηγικές σε ένα παίγνιο Πώς σκέφτεται κάθε παίκτης για την ωφέλειά του? Όπως και στη θεωρία αποφάσεων, κάθε παίκτης πλέον ενδιαφέρεται να μεγιστοποιήσει την μέση ωφέλειά του Τµήµα Μηχανικών Πληροφορικής και Υπολογιστών 12
Μέση ωφέλεια (για 2 παίκτες) Έστω ένα n x m παίγνιο Αμιγείς στρατηγικές π. 1: S 1 = {s 1, s 2,..., s n } Αμιγείς στρατηγικές π. 2: S 2 = {t 1, t 2,..., t m } Έστω p = (p 1,..., p n ) μια μεικτή στρατηγική του π. 1 και q = (q 1,..., q m ) μια μεικτή στρατηγική του π. 2 Μέση ωφέλεια του π. 1: Ομοίως για τον π. 2 (όπου u 1 βάλτε u 2 ) Τµήµα Μηχανικών Πληροφορικής και Υπολογιστών 13
Παράδειγμα B S Έστω p = (4/5, 1/5), q = B S 2, 1 0, 0 0, 0 1, 2 (1/2, 1/2) u 1 (p, q) = 4/5 x 1/2 x 2 + 1/5 x 1/2 x 1 = 0.9 u 2 (p, q) = 4/5 x 1/2 x 1 + 1/5 x 1/2 x 2 = 0.6 Πότε μπορούμε να έχουμε ισορροπία με μεικτές στρατηγικές? Τµήµα Μηχανικών Πληροφορικής και Υπολογιστών 14
Σημεία ισορροπίας με μεικτές στρατηγικές Ορισμός: Ένα προφίλ μεικτών στρατηγικών (p, q) είναι σημείο ισορροπίας κατά Nash αν u 1 (p, q) u 1 (p, q) για κάθε άλλη μεικτή στρατηγική p του π. 1 u 2 (p, q) u 2 (p, q ) για κάθε άλλη μεικτή στρατηγική q του π. 2 Θα πρέπει κανένας παίκτης να μην έχει κίνητρο μονομερώς να αλλάξει σε κάποια άλλη μεικτή στρατηγική Πώς ελέγχουμε αν ένα προφίλ είναι σημείο ισορροπίας? Άπειρες το πλήθος μεικτές στρατηγικές! Τµήµα Μηχανικών Πληροφορικής και Υπολογιστών 15
Σημεία ισορροπίας με μεικτές στρατηγικές Π.χ. στο Matching pennies: πώς θα ελέγξουμε αν το προφίλ ((1/2, 1/2), (1/2, 1/2)) είναι σημείο ισορροπίας? Με βάση τον ορισμό, πρέπει να ελέγξουμε όλες τις πιθανές αλλαγές (deviaëons) κάθε παίκτη: 1. Στρατηγικές (p, 1-p) για τον π. 1, για κάθε p [0, 1] 2. Στρατηγικές (q, 1-q) για τον π. 2, για κάθε q [0, 1] Γενικά ανέφικτο να ελέγξουμε άπειρο πλήθος από μονομερείς αλλαγές! Τµήµα Μηχανικών Πληροφορικής και Υπολογιστών 16
Σημεία ισορροπίας με μεικτές στρατηγικές Υπάρχει πιο εύκολος τρόπος? Παρατήρηση: Μια μεικτή στρατηγική γράφεται σαν κυρτός συνδυασμός (convex combinaëon) από αμιγείς στρατηγικές: Αν p = (p 1,..., p n ), τότε p = p 1 (1, 0,, 0) + p 2 (0, 1, 0,, 0) + + p n (0,, 0, 1) Έστω ότι σε ένα προφίλ, ένας παίκτης έχει κίνητρο να επιλέξει μια μεικτή στρατηγική p που του δίνει μεγαλύτερη ωφέλεια Τότε θα υπάρχει και κάποια αμιγής στρατηγική που θα του δίνει μεγαλύτερη ωφέλεια! Τµήµα Μηχανικών Πληροφορικής και Υπολογιστών 17
Σημεία ισορροπίας με μεικτές στρατηγικές Πόρισμα: Αρκεί να ελέγξουμε μόνο αποκλίσεις σε αμιγείς στρατηγικές Ισοδύναμος ορισμός: Ένα προφίλ μεικτών στρατηγικών (p, q) είναι σημείο ισορροπίας κατά Nash αν u 1 (p, q) u 1 (e i, q) για κάθε αμιγή στρατηγική e i του π. 1 u 2 (p, q) u 2 (p, e j ) για κάθε αμιγή στρατηγική e j του π. 2 Πρέπει να ισχύουν ταυτόχρονα n+m ανισότητες, όπως και στα σημεία ισορροπίας με αμιγείς στρατηγικές Τµήµα Μηχανικών Πληροφορικής και Υπολογιστών 18
B S B S 2, 1 0, 0 0, 0 1, 2 Παράδειγμα Στο Bach-or-Stravinsky, έστω p = (4/5, 1/5), q = (1/2, 1/2) u 1 (p, q) = 4/5 x 1/2 x 2 + 1/5 x 1/2 x 1 = 0.9 u 2 (p, q) = 4/5 x 1/2 x 1 + 1/5 x 1/2 x 2 = 0.6 Για να δούμε αν το προφίλ (p, q) είναι σημείο ισορροπίας, πρέπει να επαληθεύσουμε τις ανισότητες u 1 (p, q) u 1 (B, q) u 1 (p, q) u 1 (S, q) u 2 (p, q) u 2 (p, B) u 2 (p, q) u 2 (p, S) Είναι το (p, q) σημείο ισορροπίας? Τµήµα Μηχανικών Πληροφορικής και Υπολογιστών 19
Ορισμοί για παίγνια n παικτών Όλοι οι ορισμοί με μεικτές στρατηγικές γενικεύονται εύκολα όταν έχουμε περισσότερους από 2 παίκτες Έστω n παίκτες Και έστω S i = σύνολο αμιγών στρατηγικών του π. i, i = 1,..., n Συνάρτηση ωφέλειας π. i: u i : S 1 x... x S n R Έστω p 1,..., p m μεικτές στρατηγικές των παικτών Δηλαδή για κάθε i = 1,..., n, η p i είναι μια κατανομή πιθανότητας στο S i Τότε μέση ωφέλεια π. i = 21 Τµήµα Μηχανικών Πληροφορικής και Υπολογιστών 20
Σημεία ισορροπίας για παίγνια n παικτών Ορισμός: Ένα προφίλ p = (p 1,..., p n ) είναι σημείο ισορροπίας με μεικτές στρατηγικές αν για κάθε παίκτη i και κάθε αμιγή στρατηγική e i του π. i, ισχύει ότι u i (p) u i (e i, p -i ) Όπως και στα παίγνια 2 παικτών, αρκεί να ελέγξουμε μόνο αποκλίσεις σε αμιγείς στρατηγικές Τµήµα Μηχανικών Πληροφορικής και Υπολογιστών 21
Σημεία ισορροπίας: Υπενθύμιση Ζητήματα που είχαμε αναγνωρίσει ως προβληματικά για τα σημεία ισορροπίας με αμιγείς στρατηγικές: 1. Δεν έχουν όλα τα παίγνια σημείο ισορροπίας 2. Στα παίγνια όπου υπάρχει σημείο ισορροπίας, δεν είναι πάντα μοναδικό Κάποια παίγνια μπορεί να έχουν πολλά σημεία ισορροπίας 3. Δεν παρέχουν απαραίτητα όλα τα σημεία ισορροπίας την ίδια ωφέλεια - Ούτε στον καθε παίκτη χωριστά, αλλά ούτε και αθροιστικά Τµήµα Μηχανικών Πληροφορικής και Υπολογιστών 22
Σημεία ισορροπίας με μεικτές στρατηγικές Θεώρημα [Nash 1951]: Κάθε πεπερασμένο παίγνιο έχει τουλάχιστον ένα σημείο ισορροπίας Πόρισμα: αν ένα παίγνιο δεν έχει σημείο ισορροπίας με αμιγείς στρατηγικές, τότε σίγουρα θα έχει τουλάχιστον ένα σημείο ισορροπίας με μεικτές στρατηγικές Ένα από τα σημαντικότερα θεωρήματα της θεωρίας παιγνίων Το θεώρημα του Nash, αντιμετωπίζει επιτυχώς το πρώτο από τα 3 ζητήματα Επιτρέποντας πιθανοτικές στρατηγικές, η ύπαρξη είναι πλέον εγγυημένη Τµήµα Μηχανικών Πληροφορικής και Υπολογιστών 23
Παραδείγματα Στο δίλημμα του φυλακισμένου, και στο Bach-or-Stravinsky, υπάρχει ήδη σημείο ισορροπίας με αμιγείς στρατηγικές Το θεώρημα του Nash εδώ δεν προσθέτει κάποια πληροφορία. Ίσως υπάρχουν και επιπλέον σημεία ισορροπίας με μεικτές στρατηγικές, ίσως όχι Matching-Pennies: εδώ το θεώρημα του Nash εγγυάται ότι υπάρχει ισορροπία με μεικτές στρατηγικές Το προφίλ που είδαμε: ((1/2, 1/2), (1/2, 1/2)) Για το Πέτρα-Ψαλίδι-Χαρτί? Τµήµα Μηχανικών Πληροφορικής και Υπολογιστών 24
Πεποιθήσεις Παικτών Σε μια ισορροπία Nash, κάθε παίκτης επιλέγει μια στρατηγική που μεγιστοποιεί την αναμενόμενη απολαβή του γνωρίζοντας τις στρατηγικές των άλλων παικτών. Άτυπα, ο τρόπος που αποκτά ένας παίκτης αυτή την γνώση είναι η εμπειρία του από το παίξιμο του παίγνιου. Τµήµα Μηχανικών Πληροφορικής και Υπολογιστών 25