Βασικές Έννοιες Θεωρίας Παιγνίων

Transcript

1 Παύλος Σ. Εφραιμίδης

2 Περιεχόµενα Τι είναι η θεωρία παιγνίων Ο ρόλος ενός µαθηµατικού µοντέλου Το δίληµµα του φυλακισµένου Σηµείο ισορροπίας Nash

3 Θεωρία Παιγνίων Η θεωρία παιγνίων (game theory) µας βοηθάει στην κατανόηση καταστάσεων στις οποίες αλληλεπιδρούν decision-makers Παίγνιο: Ένα σύνολο παικτών που ανταγωνίζονται µε βάση ένα προκαθορισµένο σύνολο κανόνων Οι παίκτες πρέπει να πάρουν αποφάσεις σε συνθήκες συναγωνισµού/ανταγωνισµού λαµβάνοντας υπόψη τις πιθανές κινήσεις των αντιπάλων

4 Εφαρµογές Η θεωρία παιγνίων μπορεί να εφαρμοστεί σε πολλές καταστάσεις: Εταιρείες που ανταγωνίζονται Πολιτικοί που διεκδικούν ψήφους Ένορκοι που αποφασίζουν για μια ετυμηγορία Ζώα που μάχονται για λεία Παίκτες που συμμετέχουν σε έναν πλειστηριασμό Η εξέλιξη της συμπεριφοράς μεταξύ διδύμων...

5 Πεδία Εφαρµογής Η θεωρία παιγνίων σχετίζεται ιδιαίτερα με κοινωνικά, πολιτικά και οικονομικά αντικείμενα. Τα τελευταία χρόνια στο χώρο της πληροφορικής ερευνάται η ακόλουθη εφαρμογή της θεωρίας παιγνίων: Έλλειψη συντονισμού κεντρικού ελέγχου

6 Μοντέλα Η θεωρία παιγνίων περιλαμβάνει ένα σύνολο μοντέλων Το μοντέλοείναι μια αφαίρεσηπου χρησιμοποιούμε για να κατανοήσουμε πραγματικές καταστάσεις Ένα μοντέλο είναι σημαντικό να είναι απλό, να επικεντρώνεται σε ουσιώδη στοιχεία δεν πρέπει να βασίζεται σε υποθέσεις που απέχουν υπερβολικά πολύ από την πραγματικότητα

7 Ορθότητα ενός µοντέλου Ένα μοντέλο δεν μπορεί να κριθεί με απόλυτα κριτήρια ως σωστό ή λανθασμένο Η χρησιμότητα ενός μοντέλου καθορίζεται από το σκοπό για τον οποίο χρησιμοποιείται Παράδειγμα: Βέλτιστη διαδρομή Για την απόσταση μεταξύ Ξάνθης και Καβάλας μπορούμε να υποθέσουμε ότι η γη είναι επίπεδη Για την απόσταση Ξάνθης και Μελβούρνης όμως ίσως θα πρέπει να λάβουμε υπόψη τη σφαιρικότητα της γης

8 ιαδικασία Μοντελοποίησης Τα βασικά βήματα: Μια αρχική ιδέα που σχετίζεται με την αλληλεπίδραση ιθυνόντων Διατύπωση της ιδέας με τη μορφή ενός μοντέλου, συμπεριλαμβάνοντας στο μοντέλο χαρακτηριστικά που φαίνονται σχετικά Το βήμα αυτό είναι και λιγάκι τέχνη: Επιθυμούμε αρκετά γνωρίσματα ώστε το μοντέλο να έχει ουσιαστική σημασία Επιθυμούμε μια όσο γίνεται απλή δομή Ανάλυση του μοντέλου. Κατά την ανάλυση μπορεί να προκύψει πρέπει να γίνουν προσαρμογές στο μοντέλο

9 Ορθολογική Επιλογή Η θεωρία ορθολογικής επιλογής (rational choice) ουσιαστικά λέει ότι ένας ιθύνοντας (decisionmaker) επιλέγει τον καλύτερη -σύµφωνα µε τις προτιµήσεις του ενέργεια που έχει στη διάθεσή του. Ορθολογική επιλογή σε αυτή την περίπτωση σηµαίνει ότι ο παίκτης απλά προσπαθεί να βελτιστοποιήσει την επιλογή του µε βάση µόνο τις προτιµήσεις του

10 Παίγνια σε στρατηγική µορφή Ένα παίγνιο σε στρατηγική µορφή αποτελείται από Ένα σύνολο παικτών Για κάθε παίκτη, ένα σύνολο κινήσεων Για κάθε παίκτη, ένα σύνολο προτιµήσεων για κάθε πιθανό προφίλ στρατηγικών Ας ξεκινήσουµε µε ένα από τα πιο διάσηµα παραδείγµατα, ένα παίγνιο σε στρατηγική µορφή: Το δίληµµα του φυλακισµένου

11 Το δίληµµα του φυλακισµένου (The prisoner s dilemma)

12 Το δίληµµα του φυλακισµένου Δύο κρατούμενοι κατηγορούνται για κάποια εγκλήματα Οι δύο κατηγορούμενοι είναι συνένοχοι ΟΜΩΣ, οι δικαστικές αρχές έχουν ελλιπή αποδεικτικά στοιχεία χωρίς άλλες αποδείξεις κάθε κρατούμενος θα τιμωρηθεί με 1 χρόνο φυλάκισης εάν αποδειχθούν όλες οι κατηγορίες τότε κάθε κρατούμενος θα φυλακιστεί για 4 χρόνια

13 Το δίληµµα Οι δικαστικές αρχές προ-φυλακίζουν χωριστά τους δύο κρατούμενους, και καλούν τον καθένα να συνεργαστεί, βεβαιώνοντάς τον ότι εάν συνεργαστεί θα τιμωρηθεί με επιείκεια (δηλαδή -1 χρόνο) Τώρα οι πιθανές εκβάσεις είναι: Κανείς δε συνεργάζεται, και τιμωρείται ο καθένας με ένα χρόνο φυλάκιση Και οι δύο συνεργάζονται, και τιμωρούνται και οι δύο με 3 χρόνια Ένας συνεργάζεται και ένας δε συνεργάζεται: Αυτός που συνεργάζεται παίρνει 0 χρόνια, δηλαδή απαλλάσσεται Αυτός που δε συνεργάζεται τιμωρείται με το μέγιστο της ποινής, δηλαδή 4 χρόνια

14 Οι δυνατές στρατηγικές (Strategies) για κάθε κρατούµενο Ο κρατούμενος μπορεί είτε να συνεργαστεί με τις αρχές (να προδώσει δηλαδή) και να καταθέσει εναντίον του συνεργάτη/συνενόχου του να μη συνεργαστεί με τις αρχές

15 Το δίληµµα του κρατούµενου Δύο κρατούμενοι Είναι συνένοχοι Οι δικαστικές αρχές έχουν ελλιπή αποδεικτικά στοιχεία στοιχεία Θα µιλήσεις!! Να µιλήσω ; Να µη µιλήσω ; Προλαβαίνω να διαβάσω θεωρία παιγνίων ;

16 Το δίληµµα ως παίγνιο Πολυπλοκότητα:Οι πιθανές στρατηγικές είναι 2 για κάθε παίκτη και επομένως η υπολογιστική πολυπλοκότητα του προβλήματος είναι τετριμμένη: 4 συνολικά σενάρια Πρόβλημα: Το πρόβλημα είναι πως να επιλέξει την καλύτερη δυνατή στρατηγική; Συνεργασία;Είναι σαφές ότι μία ικανοποιητική λύση και για τους δύο κρατούμενους είναι το (1,1), δηλαδή να μη συνεργαστεί κανείς ΌΜΩΣ, κάθε παίκτης αποφασίζει μόνος του!

17 Το δίληµµα του φυλακισµένου ως παίγνιο σε στρατηγική µορφή B Συνεργάζεται µε τις αρχές (Προδίδει) B εν συνεργάζεται A Συνεργάζεται µε τις 3, 3 0, 4 αρχές (Προδίδει) A εν συνεργάζεται 4, 0 1, 1 Τα έτη φυλάκισης για κάθε παίκτη για κάθε πιθανή εκδοχή του παιγνίου.

18 Συνάρτηση Απόδοσης για το δίληµµα του φυλακισµένου Για τον κρατούµενο-παίκτη Α: 1η Περίπτωση: Έστω ότι ο Β δε συνεργάζεται µε τις αρχές Εάν δε συνεργαστώ και εγώ, παίρνω 1 χρόνο Εάν εγώ συνεργαστώ, παίρνω 0 (0 < 1) χρόνια 2η Περίπτωση: Έστω ότι ο Β συνεργάζεται µε τις αρχές Εάν δε συνεργαστώ, παίρνω 4 χρόνια Εάν εγώ συνεργαστώ και εγώ, παίρνω 3 (3 < 4) χρόνια Στο παραπάνω παράδειγµα η συνάρτηση απόδοσης (utility function) δίνει το «κόστος» που θα πρέπει να πληρώσει ο παίκτης και εποµένως ο «ορθολογικός στόχος» του παίκτη είναι να την ελαχιστοποιήσει

19 Ορθολογική Συµπεριφορά (Rational Behaviour) Θεωρούµε ότι οι παίκτες έχουν «ορθολογικήσυµπεριφορά»: Κάθε παίκτης επιλέγει µία βέλτιστη κίνησή του µε βάση τις προτιµήσεις (preferences) που έχει. Ανεξάρτητα από τη φύση των προτιµήσεων του παίκτη σε ένα παίγνιο, συµπεριφέρεται ορθολογικά µε την έννοια ότι προσπαθεί να ικανοποιήσει τις προτιµήσεις αυτές. Συνήθως οι προτιµήσεις των παικτών δίνονται µε τη µορφή συναρτήσεων απόδοσης (utility functions ή payoff functions) ή ενός πίνακα (matrix game)

20 Το δίληµµα του κρατούµενου Α 1η Περίπτωση:Έστω ότι ο Β δε συνεργάζεται με τις αρχές Εάν δε συνεργαστώ και εγώ, παίρνω 1 χρόνο Εάν εγώ συνεργαστώ, παίρνω 0 (0 < 1) χρόνια 2η Περίπτωση:Έστω ότι ο Β συνεργάζεται με τις αρχές Εάν δε συνεργαστώ, παίρνω 4 χρόνια Εάν εγώ συνεργαστώ και εγώ, παίρνω 3 (3 < 4) χρόνια? ηλαδή, µε συµφέρει ούτως ή άλλωςνασυνεργαστώ!!;;

21 Κυριαρχούµενη στρατηγική Κυριαρχούµενη στρατηγική Αυστηρά Κυριαρχούµενη στρατηγική ίδαγµα 1: εν έχει νόηµα ο παίκτης να επιλέξει µια αυστηρά κυριαρχούµενη στρατηγική

22 Λύση του παιγνίου

23 Λύση του παιγνίου Ο φυλακισμένος, σκεπτόμενος ορθολογικά, θα πρέπει να συνεργαστεί με τις αρχές και να προδώσει τον άλλο φυλακισμένο! Ο άλλος φυλακισμένος θα σκεφτεί με τον ίδιο ακριβώς ορθολογικό τρόπο και θα προδώσει και αυτός. Αποτέλεσμα: Οι δύο φυλακισμένοι θα πάρουν από 3 χρόνια φυλακής ο καθένας! Μια πολύ κακή λύση (από την μεριά των φυλακισμένων). Δίδαγμα 2: Οι ορθολογικές επιλογές μπορεί να οδηγήσουν σε κακές εκβάσεις.

24 Να προδίδουµε πάντοτε; Το γεγονός ότι σύμφωνα με τη λύση πρέπει να συνεργαστεί ο φυλακισμένο την επιστημονική κοινότητα Ίσως, εάν υπάρχει η έννοια της μνήμης, της συνέχειας κτλ. να μπορεί να φερθεί πιο αλτρουϊστικά Τι θα συμβεί λοιπόν εάν παίξουμε το παιχνίδι αρκετές στη σειρά;

25 Τουρνουά του Axelrod Στο τέλος της δεκαετίας του 1970, ο Axelrod (Πολιτικές Επιστήμες στο Πανεπιστήμιο του Michigan), κάλεσε οικονομολόγους, ψυχολόγους, μαθηματικούς και κοινωνιολόγους να υποβάλλουν λύση (με τη μορφή κώδικα) για το Δίλημμα του Φυλακισμένου

26 Τουρνουά του Axelrod 14 συμμετοχές Έπαιξαν όλοι εναντίον όλων Νικητής: tit-for-tat (Anatol Rapoport) Στο πρώτο γύρω: δεν µιλάω Σε κάθε επόµενο γύρω: ανταποδίδω Ανακοινώνονται τα αποτελέσµατα και προκηρύσσεται νέος διαγωνισµός: 62 συµµετοχές Νικητής: Και πάλι το tit-for-tatπου υπέβαλλε πάλι ο Rapoport

27 Τουρνουά του Axelrod (2) Ο Axelrodχρησιμοποίησε τις στρατηγικές του δεύτερου διαγωνισμού για ένα evolutionary τουρνουά Στρατηγικές που αποδίδουν καλά αναπαράγονται ταχύτερα Πιθανόν έτσι στρατηγικές που αρχικά τα καταφέρνουν καλά, να μην αποδίδουν στη συνέχεια διότι θα έχουν εξαλειφθεί οι στρατηγικές έναντι των οποίων υπερίσχυαν Μετά από ένα μεγάλο πλήθος γενεών, νικητής (πολυπληθέστερη ομάδα) ήταν η στρατηγική: Καιπάλιτο tit-for-tat!!

28 Ισορροπία Nash (Nash Equilibrium)

29 Ενέργειες των Παικτών Ποιες ενέργειες/κινήσεις επιλέγουν οι παίκτες σε ένα παίγνιο; Υποθέσαµε ότι οι παίκτες είναι ορθολογικοί και επιλέγει ο καθένας το καλύτερο σύµφωνα µε τις προτιµήσεις του Όµως η έκβαση του παιγνίου για κάθε παίκτη εξαρτάται από τις επιλογές όλων των παικτών Εποµένως ο ορθολογικός παίκτης πρέπει να λάβει υπόψη του και τι θα επιλέξουν οι υπόλοιποι παίκτες

30 «Λύση» ενός παιγνίου Ποιες κινήσεις επιλέγουν οι παίκτες ενός παιγνίου; Μπορούµε να υποθέσουµε ότι οι παίκτες, ως ορθολογικές οντότητες, επιλέγουν την καλύτερη δυνατή κίνηση ο καθένας Σε ένα παίγνιο όµως, η καλύτερη κίνηση για οποιοδήποτε παίκτη εξαρτάταιαπό τις κινήσεις των υπολοίπων παικτών Εποµένως ο παίκτης θα πρέπει να έχει µία εκτίµηση (belief) για τις κινήσεις των άλλων παικτών

31 Ισορροπία Nash (Nash Equilibrium) Μια ισορροπία Nash είναι µια κατάσταση του παιγνίου στην οποία κανένας παίκτης δεν µπορεί να βελτιώσει τη θέση του επιλέγοντας µια άλλη κίνηση, µε την προϋπόθεση ότι όλοι οι υπόλοιποι παίκτες δεν θα αλλάξουν την κίνησή τους. Η ισορροπία Nash και οι παραλλαγές της είναι η δηµοφιλέστερη έννοια λύσης παιγνίων.

32 Συµβολισµοί - Ορολογία στρατηγική αγνή στρατηγική (pure strategy):ορίζει ντετερµινιστικά τη συµπεριφορά του παίκτη για κάθε ενέργεια που θα πρέπει να κάνει Πχ: Το δίληµµα του κρατούµενου µικτή στρατηγική (mixed strategy):μια κατανοµή πιθανότητας πάνω στις κινήσεις του παίκτη. Πχ. Πέτρα-ψαλίδι-χαρτί προφίλ ή περίγραµµα στρατηγικών α (profile): ένα διάνυσµα που καθορίζει µια στρατηγική για κάθε παίκτη προφίλ ή περίγραµµα µικτών στρατηγικών: ένα διάνυσµα που καθορίζει µια µικτή στρατηγική για κάθε παίκτη α -i :δεδοµένου ενός προφίλ α συµβολίζουµεα -i τοπροφίλ µε τις κινήσεις όλων των παικτών εκτός του παίκτη i όπως στο προφίλ a

33 Ισορροπία Nash (Nash Equilibrium) Χρησιµοποιώντας την έννοια του προφίλ ενεργειών ο ορισµός της ισορροπίας Nash είναι: Μια ισορροπία Nashείναι ένα προφίλ ενεργειών α* µε την ιδιότητα ότι κανένας παίκτης δεν βελτιώνει τη θέση του επιλέγοντας µια ενέργεια διαφορετική από αυτή στο προφίλ α*, µε δεδοµένο ότι οι υπόλοιποι παίκτες δεν θα αλλάξουν την κίνησή τους.

34 Εύρεση ισορροπίας Nash Εάν το πλήθος των παικτών και των κινήσεων είναι πολύ περιορισµένο τότε είναι δυνατό να εξετάσουµε όλα τα πιθανά προφίλ (brute force search) από την οπτική γωνία κάθε παίκτη για να βρούµε τις pure ισορροπίες Nash. Πολλές φορές είναι πιο αποτελεσµατικό να χρησιµοποιήσουµε τις συναρτήσεις βέλτιστης αντίδρασης.

35 Πολυπλοκότητα εύρεσης NE Πρόσφατα αποτελέσµατα έδειξαν ότι είναι µάλλον µη αναµενόµενο να υπάρχει αποτελεσµατικός (πολυωνυµικός) αλγόριθµος για την εύρεση ισορροπίας Nash C. Daskalakis, P. W. Goldberg and C. H. Papadimitriou. The Complexity of Computing a Nash Equilibrium," Proceedings of STOC, X. Chen and X. Deng. Settling the Complexity of 2-Player Nash-Equilibrium," Proceedings of FOCS, 2006.

36 Συνάρτηση Βέλτιστης Απόκρισης (Best Response Function)

37 Συναρτήσεις βέλτιστης απόκρισης εδοµένου ενός προφίλ α -i η συνάρτηση βέλτιστης απόκρισηςτου παίκτη iδίνει το σύνολο των κινήσεων του παίκτη που επιτυγχάνουν το καλύτερο δυνατό αποτέλεσµα για αυτόν

38 Ισορροπία Nash και βέλτιστη απόκριση Χρησιµοποιώντας την έννοια του προφίλ ενεργειών µπορούµε να επαναδιατυπώσουµε τον ορισµό της ισορροπίας Nash: Ένα προφίλ κινήσεων α* είναι µια ισορροπία Nash εάν η ενέργεια κάθε παίκτη iστο προφίλ είναι η βέλτιστη απόκριση στο προφίλ α -i των υπολοίπων παικτών Heuristic:Μπορούµε να χρησιµοποιήσουµε τις συναρτήσεις βέλτιστης απόκρισης για να αναζητήσουµε ισορροπίες Nash (ο αλγόριθµος αυτός δεν είναι απαραίτητα πολυωνυµικού χρόνου)

39 Παράδειγµα 39.1: Μια σχέση συνεργασίας Osborne, Ενότητα 2.8, Παράδειγµα 39.1 ύο άτοµα έχουν µια σχέση συνεργασίας, πχ. ένα κοινό project Συγκεκριµένα κάθε παίκτης προσφέρει έργο α i Η απόδοση του παίκτη iείναια i (c+α j -α i ), όπου c > 0 είναι µια σταθερά

40 παράδειγµα 39.1 κάθε παίκτης έχει ένα άπειρο πλήθος κινήσεων. Επομένως δεν μπορούμε να χρησιμοποιήσουμε την αναπαράσταση με πίνακα θα χρησιμοποιήσουμε τις συναρτήσεις βέλτιστης απόκρισης Δεδομένου του α j η βέλτιστη απόκριση του α i ποια είναι;

41 παράδειγµα 39.1: οι συναρτήσεις βέλτιστης απόκρισης

42 παράδειγµα: συνεισφορά σε δηµόσιο αγαθό (public good) δύο παίκτες i = 1, 2 αποφασίζουν εάν και πόσο θα συνεισφέρουν σε ένα δηµόσιο αγαθό παίκτης i: έχει περιουσία (wealth) w i συνεισφέρει c i: 0 c i w i συνάρτηση απόδοσης: v i (c 1 + c 2 ) + w i c i και δεδοµένου ότι w i είναι σταθερό, µπορούµε να θεωρήσουµε ως συνάρτηση απόδοσης: u i (c 1, c 2 ) = v i (c 1 + c 2 ) c i (παράδειγµα ενότητας 2.8.4, βιβλίο Osborne)

43 συνάρτηση βέλτιστης απόκρισης

44 συναρτήσεις βέλτιστης απόκρισης

45 Κυριαρχούµενες Ενέργειες Αυστηρή Κυριαρχία (Strict Domination) Σε στρατηγικό παίγνιο µια στρατηγική α2 i κυριαρχεί επί της στρατηγικής α1 i, εάν για κάθε προφίλ α -i, u i (α2 i,α -i ) > u i (α1 i,α -i ) Ασθενής Κυριαρχία (Weak Domination) Σε στρατηγικό παίγνιο µια στρατηγική α2 i κυριαρχεί επί της στρατηγικής α1 i, εάν για κάθε προφίλ α -i, u i (α2 i,α -i ) u i (α1 i,α -i ) και υπάρχει ένα τουλάχιστον προφίλ α -i για το οποίο: u i (α2 i,α -i ) > u i (α1 i,α -i )

46 Συµµετρικό Παίγνιο (Symmetric Game) Συµµετρικό Παίγνιο µεταξύ δύο παικτών:οι παίκτες έχουν τις ίδιες κινήσεις και για τις αποδόσεις των παικτών ισχύει: u 1 (a 1,a 2 ) = u 2 (a 2,a 1 ) για κάθε πιθανό προφίλ α=(a 1,a 2 ) Συµµετρική Ισορροπία Nash:σε στρατηγικό παίγνιο όλοι οι παίκτες έχουν τις ίδιες κινήσεις, ένα προφίλ α* είναι µία συµµετρική ισορροπία Nash εάν είναι σηµείο ισορροπίας Nash και επιπλέον το α i * να είναι ίδιο για κάθε παίκτη i (όλοι οι παίκτες επιλέγουν την ίδια κίνηση).

47 Τι είναι λοιπόν η θεωρία παιγνίων

48 Τι είναι λοιπόν η θεωρία παιγνίων Η θεωρία παιγνίων μελετά την αλληλεπίδραση (ανταγωνισμό, συνεργασία κτλ.) μεταξύ ανεξάρτητων ορθολογικών (rational) οντοτήτων χρησιμοποιεί μαθηματικά μοντέλα για την μοντελοποίηση των προβλημάτων υπάρχει και το εμπειρικό/πρακτικό μέρος:experimental game theory βρίσκει εφαρμογή εδώ και αρκετά χρόνια στην Οικονομική Θεωρία τα τελευταία χρόνια αναπτύσσεται ένας ενδιαφέρον συνδυασμός θεωρίας παιγνίων και επιστήμης υπολογιστών αφορμή: η ανάπτυξη δικτυωμένων/κατανεμημένων συστημάτων με κύριο παράδειγμα το διαδίκτυο

49 Εφαρµογές της Θεωρίας Παιγνίων εταιρείες που ανταγωνίζονται υποψήφιοι πολιτικοί που ανταγωνίζονται για ψήφους υποψήφιοι αγοραστές ανταγωνίζονται σε έναν πλειστηριασμό Βιολογία/ διαδικασίες φυσικής επιλογής Εφαρμογές στην Επιστήμη Υπολογιστών

50 Θεωρία Παιγνίων και Επιστήµη Υπολογιστών Αλγόριθμοι για Επίλυση Παιγνίων Υπάρχει λύση για ένα παίγνιο; Μπορούμε να την υπολογίσουμε; Τι Πολυπλοκότητα έχει; Είναι πολλές οι λύσεις; Μπορούμε να βρούμε την καλύτερη ή μια αρκετά καλή; Μοντελοποίηση προβλημάτων της Επιστήμης Υπολογιστών ως παίγνια: Παγκόσμιος Ιστός Διαδίκτυο και γενικότερα κάθε Δίκτυο Agents, Κατανεμημένα συστήματα Κρυπτογραφία Επίσης ασφάλεια, εξοικονόμηση ενέργειας,

51 Πηγές/Αναφορές Κεφάλαια 1 και 2: An introduction to Game Theory, M. Osborne, Oxford University Press, 2004 Σηµειώσεις του µαθήµατος «Οικονοµική Θεωρία και Αλγόριθµοι» του τµ. Μηχ. ΗΥ και Πληροφορικής, Παν/µιο Πατρών Game Theory, Video Course, Benjamin Polak, Yale