Αλληλεπιδράσεις πρακτόρων. Πώς σχεδιάζουμε κοινωνίες πρακτόρων;

Αλληλεπιδράσεις πρακτόρων Πώς σχεδιάζουμε κοινωνίες πρακτόρων;

Δεν υπάρχει σύστημα ενός πράκτορα! πράκτορας οργανωσιακή σχέση πρακτόρων αλληλεπίδραση πρακτόρων σφαίρα επιρροής πράκτορα περιβάλλον 2

Δεν υπάρχει σύστημα ενός πράκτορα! Κάθε σύστημα περιέχει ένα πλήθος πρακτόρων που αλληλεπιδρούν είτε άμεσα επικοινωνώντας, είτε έμμεσα με τις ενέργειές τους στο περιβάλλον. Κάθε πράκτορας αλληλεπιδρά με το περιβάλλον, δηλαδή μπορεί με τις ενέργειές του να το αλλάζει. Άρα κάθε πράκτορας έχει μια σφαίρα επιρροής στο περιβάλλον, δηλαδή το τμήμα εκείνο του περιβάλλοντος το οποίο μπορεί να αλλάζει. Όπου δύο ή περισσότεροι πράκτορες έχουν κοινή σφαίρα επιρροής, τότε έχουν και κάποια σχέση αλληλοεξάρτησης (π.χ. Δύο πράκτορες ελέγχουν αν μια πόρτα είναι κλειστή/ανοιχτή, αλλά επειδή η πόρτα μπορεί να είναι μόνο σε μια κατάσταση κάθε φορά, πρέπει να ρυθμιστεί η συμπεριφορά τους έτσι ώστε να μην έρχονται σε σύγκρουση, ή όποτε έρχονται σε σύγκρουση αυτή να επιλύεται με κάποιο τρόπο). Οι πράκτορες μπορεί να είναι οργανωμένοι με διάφορους τρόπους οπότε υπάρχουν μεταξύ τους διάφορες οργανωσιακές σχέσεις, π.χ. Ανήκουν στην ίδια ομάδα, κάποιος είναι αρχηγός ομάδας κλπ. 3

Το ζητούμενο σε MAS Αυτό που μας ενδιαφέρει να χαρακτηρίσουμε, όταν έχουμε συστήματα πολλών πρακτόρων, είναι η συμπεριφορά κάθε πράκτορα λαμβάνοντας υπόψη την συνύπαρξή του με άλλους, δηλαδή... Όταν ένας πράκτορας πρέπει να επιλέξει ποια ενέργεια να εκτελέσει στο περιβάλλον του έτσι ώστε να πετύχει το στόχο του, καιότανοιστόχοιτων άλλων πρακτόρων που συνυπάρχουν είναι διαφορετικοί (και πολύ πιθανό αντικρουόμενοι), πώς επιλέγει τελικά ο πράκτορας τι να κάνει; Μια απάντηση είναι μέσω συναρτήσεων χρησιμότητας. Αλλά επειδή το περιβάλλον είναι ανοιχτό, η χρησιμότητα κάθε κατάστασης μπορεί να μην είναι εκ των προτέρων γνωστή. Πρέπει λοιπόν ο πράκτορας να υπολογίζει δυναμικά τι «συμφέρει» να κάνει σε κάθε χρονική στιγμή που καλείται να αποφασίσει ποια ενέργεια να εκτελέσει. 4

Οι προτιμήσεις ενός πράκτορα Κάθε πράκτορας έχει τις προτιμήσεις του για το πώς θέλει να είναι το περιβάλλον του (αυτές μπορεί να προέρχονται από τον χρήστη του). Ω={ω 1, ω 2,...} είναι καταστάσεις ή αποτελέσματα ενός παιχνιδιού, πάνω στις οποίες ο πράκτορας έχει προτιμήσεις. u i : Ω R μια συνάρτηση χρησιμότητας που εκφράζει τις προτιμήσεις του πράκτορα i. Έτσι, u i (ω 1 ) u i (ω 2 ) σημαίνει ότι ο πράκτορας i προτιμά την κατάσταση (ή το αποτέλεσμα) ω 1 τουλάχιστον όσο το ω 2. Ή μπορούμε να γράφουμε ω1 f i ω2. Παρομοίως η έκφραση ω1 f i ω2 σημαίνει ότι ο πράκτορας i αυστηρά προτιμά το αποτέλεσμα ω 1 από το ω 2. Η σχέση f i ορίζει μια μερική διάταξη στο Ω που είναι o Ανακλαστική ω Ω ωf iω o Μεταβατική ωf iω and ω fiω ωfiω o Συγκρίσιμη ω, ω Ω ( ωf iω or ω fiω ) Η αυστηρή προτίμηση είναι μη ανακλαστική, μεταβατική και συγκρίσιμη και ορίζει μια ολική διάταξη στο Ω. 5

Προτιμήσεις και χρησιμότητα Υπάρχει μία τάση να αντιλαμβανόμαστε τη χρησιμότητα με οικονομικούς όρους, δηλαδή όσο περισσότερα «χρήματα» αξίζει μία κατάσταση τόσο πιο χρήσιμη είναι. Αλλά αυτό δεν ισχύει πάντα. Παράδειγμα: ο πράκτορας Α έχει $500 εκατομμύρια και ο πράκτορας Β δεν έχει τίποτα. Ένας γενναιόδωρος πράκτορας Γ έχει $1 εκατομμύριο να δωρίσει. Αν το δωρίσει στον Α θα προκύψει μία κατάσταση στην οποία ο Α έχει $501 εκατομμύρια και ο Β τίποτα. Υπάρχει μια μικρή αύξηση στη χρησιμότητα για τον Α (αλλά είναι μικρή γιατί ό,τι μπορείς να κάνεις με $501 εκατομμύρια μπορείς να το κάνεις λίγο-πολύ και με $500 εκατομμύρια). Αν το δωρίσει στον Β θα προκύψει μια κατάσταση στην οποία ο Α έχει $500 εκατομμύρια και ο Β $1 εκατομμύριο. Αυτή η κατάσταση παρουσιάζει πολύ μεγάλη αύξηση της χρησιμότητας από τη σκοπιά του Β. Οι συναρτήσεις χρησιμότητας είναι απλά ένας τρόπος για να αναπαρίστανται οι προτιμήσεις ενός πράκτορα. Δεν μεταφράζονται κατ ανάγκη σε οικονομικούς όρους. 6

Πολυπρακτορικές συναναστροφές (1) Υποθέτουμε ότι έχουμε δύο πράκτορες i και j που συνυπάρχουν σε ένα περιβάλλον. Οι πράκτορες θα εκτελούν ταυτόχρονα από μια ενέργεια στο περιβάλλον και θα προκύπτει ένα νέο αποτέλεσμα (ή μια νέα κατάσταση) μέλος του Ω. Το πραγματικό αποτέλεσμα που θα προκύπτει θα εξαρτάται από το συνδυασμό των ενεργειών, δηλαδή και οι δύο πράκτορες έχουν επιρροή στο αποτέλεσμα. Υποθέτουμε ότι οι πράκτορες δεν έχουν την επιλογή να παραμείνουν αδρανείς, δηλαδή να μην εκτελέσουν καμία ενέργεια, και ότι ο καθένας δεν γνωρίζει τι ενέργεια εκτελεί ο άλλος. Υποθέτουμε ότι οι μόνες ενέργειες που μπορεί να εκτελέσει κάθε πράκτορας είναι C (cooperate, συνεργασία) και D (defect, μη-συνεργασία). Οπότε Ac={C, D} είναι το κοινό ρεπερτόριο ενεργειών για τους δύο πράκτορες. Η κατάσταση του περιβάλλοντος καθορίζεται από μία συνάρτηση μετατροπής τ : { Ac { Ac Ω agent i agent j 7

8 Πολυπρακτορικές συναναστροφές (2) Παράδειγμα ορισμού συνάρτησης μετατροπής περιβάλλοντος: o τ(d,d)=ω 1, τ(d,c)=ω 2, τ(c,d)=ω 3, τ(c,c)=ω 4 δηλαδή κάθε συνδυασμός ενεργειών των πρακτόρων οδηγεί σε διαφορετικό αποτέλεσμα. Αυτό είναι ένα περιβάλλον ευαίσθητο στις ενέργειες κάθε πράκτορα. o τ(d,d)=ω 1, τ(d,c)=ω 1, τ(c,d)=ω 1, τ(c,c)=ω 1 για περιβάλλον στο οποίο κανένας πράκτορας δεν έχει καμία επιρροή, το αποτέλεσμα είναι το ίδιο ό,τι κι αν κάνουν οι πράκτορες. o τ(d,d)=ω 1, τ(d,c)=ω 2, τ(c,d)=ω 1, τ(c,c)=ω 2 για περιβάλλον που είναι ευαίσθητο στις ενέργειες μόνο ενός πράκτορα, εδώ του j. Ας υποθέσουμε ότι έχουμε το περιβάλλον που είναι ευαίσθητο και στους δύο πράκτορες και προτιμήσεις των πρακτόρων που ορίζονται από τις ακόλουθες συναρτήσεις χρησιμότητας: 4 1 4 1 4 2 3 1 4 3 2 1 = ω = ω = ω = ω = ω = ω = ω = ω ) ( u ) ( u ) ( u ) ( u ) ( u ) ( u ) ( u ) ( u j j j j i i i i

Πολυπρακτορικές συναναστροφές (3) Τότε οι προτιμήσεις του πράκτορα i για τα πιθανά αποτελέσματα είναι C,Cf ic,d fi D,CfiD,D Αν ήσασταν ο πράκτορας i τι θα διαλέγατε να πράξετε, να συνεργαστείτε ή όχι; Στο σενάριο του παραδείγματος ο πράκτορας i προτιμά πάντα όλα τα αποτελέσματα στα οποία συνεργάζεται παρά εκείνα στα οποία δεν συνεργάζεται. Το ίδιο ισχύει και για τον άλλο πράκτορα. Αν και οι δύο πράκτορες ενεργούν ορθολογικά τότε πρέπει το τελικό αποτέλεσμα να είναι C,C. Αν για το ίδιο περιβάλλον οι συναρτήσεις χρησιμότητας των πρακτόρων ορίζονταν ως εξής: u ( ω ) 1 u ( ω3) = u u u i i j j ( ω ) = u 1 ( ω ) = u 2 = u ( ω ) = i i 2 4 ( ω ) = 1 j 4 ( ω ) = j 3 4 ( ω ) = 1 τότε ο πράκτορας i προτιμά όλα τα αποτελέσματα στα οποία δεν συνεργάζεται. Το ίδιο ισχύει και για τον πράκτορα j. Και στα δύο σενάρια που είδαμε οι πράκτορες δεν χρειάζεται να σκεφτούν στρατηγικά: δεν τους ενδιαφέρει τι θα κάνει ο άλλος πράκτορας, η καλύτερη ενέργεια για τον καθένα από αυτούς είναι απόλυτα καλύτερη, δηλαδή δεν εξαρτάται από το τι θα κάνει ο άλλος. Αυτό δεν ισχύει στα περισσότερα ρεαλιστικά περιβάλλοντα. 4 9

Κυριαρχία Έστω Ω 1 και Ω 2 υποσύνολα του Ω. Το Ω 1 κυριαρχεί επί του Ω 2 για τον πράκτορα i αν o i προτιμά κάθε αποτέλεσμα του Ω 1 από κάθε αποτέλεσμα του Ω 2, δηλαδή ω1 Ω1, ω2 Ω2 ω1 f i ω2 Με όρους θεωρίας παιγνίων οι ενέργειες, μέλη του συνόλου Ac, λέγονται στρατηγικές. Συμβολίζουμε με s* το σύνολο των αποτελεσμάτων που μπορεί να προκύψουν αν ο πράκτορας i παίξει τη στρατηγική s. Μία στρατηγική s 1 κυριαρχεί (ισχυρά) επί μίας στρατηγικής s 2 αν το σύνολο αποτελεσμάτων s 1 * κυριαρχεί επί του συνόλου αποτελεσμάτων s 2 *. Κυρίαρχη στρατηγική είναι εκείνη η οποία δεν κυριαρχείται από καμία άλλη. Η παρουσία κυρίαρχης στρατηγικής κάνει την λήψη απόφασης για το τι να κάνει ένας πράκτορας ιδιαίτερα εύκολη: ο πράκτορας έχει το καλύτερο δυνατό αποτέλεσμα παίζοντας την κυρίαρχη στρατηγική. Γενικότερα στη λήψη απόφασης για το τι να κάνουμε μπορούμε για κάθε στρατηγική να τη διαγράφουμε αν κυριαρχείται από άλλες στρατηγικές ώστε να απλοποιείται το σύνολο των ενεργειών από τις οποίες έχουμε να επιλέξουμε. Αν μείνουμε με μία μόνο στρατηγική τότε αυτή είναι η κυρίαρχη και μας εγγυάται το καλύτερο δυνατό αποτέλεσμα. Τι γίνεται όμως αν μείνουμε με περισσότερες από μία στρατηγικές; Μπορούμε να συνεχίσουμε διαγράφοντας τις ασθενώς κυριαρχούμενες στρατηγικές. Μια στρατηγική s 1 κυριαρχεί ασθενώς επί μίας στρατηγικής s 2 αν κάθε μέλος του σύνολου αποτελεσμάτων s 1 * προτιμάται τουλάχιστον το ίδιο ή και περισσότερο από κάθε μέλος του συνόλου αποτελεσμάτων s 2 *. Όταν διαγράφουμε ασθενώς κυριαρχούμενες στρατηγικές μπορεί να χάνουμε πιθανά χρήσιμες στρατηγικές (δεν υπάρχει εγγύηση ότι μία ασθενώς κυριαρχούμενη στρατηγική είναι μη-ορθολογική). 10

Ισορροπίες Νash Δύο στρατηγικές s 1 και s 2 βρίσκονται σε ισορροπία Nash αν: o Υποθέτοντας ότι ο πράκτορας i παίζει s 1, o πράκτορας j δεν μπορεί να παίξει κάτι καλύτερο από s 2, και o Υποθέτοντας ότι ο πράκτορας j παίζει s 2, ο πράκτορας i δεν μπορεί να παίξει τίποτα καλύτερο από s 1. Η αμοιβαιότητα της ισορροπίας Nash είναι σημαντική γιατι «κλειδώνει» τους πράκτορες σε ένα ζεύγος στρατηγικών: κανείς τους δεν έχει κίνητρο (κάτι να κερδίσει) παρεκκλίνοντας. Η παρουσία ισορροπίας Nash βοηθάει τη λήψη αποφάσεων ενός πράκτορα. Δυστυχώς όμως, όπως αποδεικνύεται στη θεωρία παιγνίων: o Δεν έχουν όλα τα σενάρια αλληλεπίδρασης ισορροπία Nash o Μερικά σενάρια αλληλεπίδρασης έχουν περισσότερες από μια ισορροπίες Nash. 11

Ανταγωνιστικές και μηδενικού αθροίσματος αλληλεπιδράσεις Ένα σενάριο αλληλεπίδρασης λέγεται αυστηρά ανταγωνιστικό όταν ένα αποτέλεσμα ω Ω προτιμάται από τον πράκτορα i από οποιοδήποτε άλλο αποτέλεσμα ω, αν και μόνο αν το ω προτιμάται από τον πράκτορα j από το ω, δηλαδή: ω f i ω ω f j ω Στα αυστηρά ανταγωνιστικά σενάρια οι προτιμήσεις των πρακτόρων είναι διαμετρικά αντίθετες: ο καθένας μπορεί να βελτιώσει την κατάστασή του μόνο εις βάρος του άλλου. Οι αλληλεπιδράσεις πρακτόρων όπου για οποιοδήποτε αποτέλεσμα το άθροισμα των χρησιμοτήτων των πρακτόρων είναι μηδέν λέγονται αλληλεπιδράσεις μηδενικού αθροίσματος, δηλαδή: ω Ω ui ( ω ) + u j( ω ) = 0 Κάθε αλληλεπίδραση μηδενικού αθροίσματος είναι αυστηρά ανταγωνιστική. Οι αλληλεπιδράσεις μηδενικού αθροίσματος αντιστοιχούν σε σενάρια όπου δεν είναι δυνατό να υπάρξει συνεργάσιμη συμπεριφορά. Τα κλασικότερα παραδείγματα είναι παιχνίδια όπως το σκάκι ή η ντάμα ή σε οποιαδήποτε κατάσταση που έχει αποτέλεσμα έναν νικητή κι ένα χαμένο. Στον πραγματικό κόσμο είναι δύσκολο να βρεί κανείς αλληλεπιδράσεις μηδενικού αθροίσματος. Αλλά συχνά οι άνθρωποι έχουμε την τάση να αντιμετωπίζουμε κάποιες αλληλεπιδράσεις σαν να ήταν μηδενικού αθροίσματος ενώ υπάρχουν περιθώρια για αμοιβαία ωφέλιμη συνεργασία. 12

Το δίλημμα του φυλακισμένου (1) (Prisoner s Dilemma) Δύο άνθρωποι κατηγορούνται μαζί για ένα έγκλημα και κρατούνται σε διαφορετικά κελιά. Δεν έχουν τρόπο να επικοινωνήσουν μεταξύ τους ούτε να συνάψουν οποιαδήποτε συμφωνία. Οι φύλακές λένε και στους δύο την ίδια πληροφορία, ότι Αν ένας από αυτούς ομολογήσει το έγκλημα και ο άλλος όχι τότε αυτός που ομολόγησε θα ελευθερωθεί ενώ ο άλλος θα μείνει φυλακισμένος για 3 χρόνια, και Αν και οι δύο ομολογήσουν το έγκλημα, τότε ο καθένας θα φυλακιστεί για 2 χρόνια. Αν κανένας δεν ομολογήσει το έγκλημα τότε ο καθένας θα φυλακιστεί για 1 χρόνο. Έστω ότι η ομολογία είναι η ενέργεια D και η μη-ομολογία ότι είναι η ενέργεια C. Υπάρχουν τέσσερα διαφορετικά αποτελέσματα, ανάλογα με το αν οι πράκτορες ομολογούν ή όχι. Συνοψίζουμε τα διαφορετικά αποτελέσματα και τη χρησιμότητά τους για κάθε πράκτορα στον πίνακα κέρδους που ακολουθεί: i defects i cooperates j defects 2 0 2 5 j cooperates 5 3 0 3 Η χρησιμότητα ενός αποτελέσματος καθορίζεται με βάση το κριτήριο «όσο λιγότερα χρόνια ποινής τόσο καλύτερα». Οι προτιμήσεις των πρακτόρων είναι: D,C fi C,C fi D,D fi C,D C,D f j C,C f j D,D f j D,C 13

Το δίλημμα του φυλακισμένου (2) Ο συλλογισμός ενός πράκτορα, ας πούμε του i προχωρά ως εξής: Ας υποθέσουμε ότι κάνω C. Τότε, αν ο j κάνει επίσης C θα έχουμε και οι δύο κέρδος 3. Αλλά άν ο j κάνει D τότε θα έχω κέρδος 0. Οπότε το μεγαλύτερο κέρδος που εγγυημένα έχω αν κάνω C είναι 0. Ας υποθέσουμε ότι κάνω D. Τότε, αν ο j κάνει C θα έχω κέρδος 5. Αλλά άν ο j κάνει D τότε θα έχω κέρδος 2. Οπότε το μεγαλύτερο κέρδος που εγγυημένα έχω αν κάνω D είναι 2. Οπότε στη χειρότερη περίπτωση αν κάνω C έχω κέρδος 0 και αν κάνω D έχω κέρδος 2. Συνεπώς η ορθολογική επιλογή είναι να κάνω D. Το σενάριο είναι συμμετρικό, δηλαδή και οι δύο πράκτορες μπορεί να κάνουν τον ίδιο συλλογισμό, και τότε, αν και οι δύο είναι ορθολογικοί, θα επιλέξουν και οι δύο να κάνουν D. Η ισορροπία Nash για αυτή την περίπτωση είναι όντως D, D. Όμως είναι αυτό το καλύτερο που μπορούν να κάνουν οι πράκτορες; Αν και οι δύο έκαναν C θα λάμβαναν κέρδος 3! Το πρόβλημα είναι (και γι αυτό λέγεται και δίλημμα) ότι η συνεργασία (να κάνει κανείς C) φαίνεται να είναι αποτέλεσμα ανορθόλογης συμπεριφοράς! 14

Δεν είμαστε όλοι Machiavelli Μια προσπάθεια απάντησης στο δίλημμα του φυλακισμένου. Δεν είμαστε όλοι εγωιστές, δεν μας ενδιαφέρει μόνο η μεγιστοποίηση του κέρδους μας, υπάρχουν παραδείγματα πραγματικής αλτρουιστικής συμπεριφοράς στον κόσμο και παραδείγματα αυθόρμητης συνεργασίας. Αλλά... Πολλές φορές στα πραγματικά παραδείγματα υπάρχει μηχανισμός που καθιστά προτιμότερο να συνεργαστούμε παρά όχι (π.χ. Άμεσηήέμμεσητιμωρίαανδεν συνεργαστώ). Πραγματικά παραδείγματα συνεργατικής συμπεριφοράς είναι ευάλωτα σε καταχρήσεις από εκείνους που επιλέγουν D και μεγιστοποιούν το κέρδος τους. Π.χ. Ένα σύστημα μαζικής μεταφοράς στο οποίο καθένας πληρώνει αυθόρμητα το κόμιστρο που πρέπει. 15

Ο άλλος φυλακισμένος είναι ο δίδυμος αδελφός μου Μιαακόμαπροσπάθειααπάντησηςστοδίλημματουφυλακισμένου. Οι δύο φυλακισμένοι θα σκεφτούν με τον ίδιο τρόπο και έτσι και οι δύο θα καταλήξουν στο συμπέρασμα ότι η συνεργασία συμφέρει. Αλλά... Τότε δεν έχω το σενάριο του διλήμματος του φυλακισμένου, δεν έχω δύο παίκτες με διαφορετικά συμφέροντα. 16

Οι άνθρωποι δεν συμπεριφέρονται λογικά Οι άνθρωποι επιλέγουμε συνεργατική συμπεριφορά όταν δεν πειράζει πολύ το κόστος, π.χ. το να πληρώνουμε το εισιτήριο του λεωφορείου έντιμα, ακόμα κι αν άλλοι καταχρώνται το σύστημα. Αλλά τότε παραδεχόμαστε ότι επιλέγουμε ορθολογικά, δηλαδή δεν συνεργαζόμαστε, όταν το κόστος είναι υψηλό. 17

Η απειλή του μέλλοντος Τι θα άλλαζε στο αποτέλεσμα του διλήμματος του φυλακισμένου αν: παιζόταν το παιχνίδι όχι μια φορά, αλλά επαναλαμβανόμενα για έναν αριθμό γύρων; Και κάθε πράκτορας μπορεί να δει τι έκανε ο άλλος στον προηγούμενο γύρο; Τι είναι ορθολογικό να πράξει κάθε πράκτορας υπό αυτές τις συνθήκες; Αν γνωρίζει ένας πράκτορας ότι θα «ξανασυναντήσει» τον αντίπαλο πράκτορα στο μέλλον, τότε το κίνητρό του να κάνει D μειώνεται γιατί: Αν κάνει D στον τρέχοντα γύρο, τότε ο αντίπαλος θα τον τιμωρήσει στον επόμενο γύρο κάνοντας D κι αυτός. Αν κάνει C στον τρέχοντα γύρο, κι ο αντίπαλος δεν ανταποκριθεί το ίδιο, τότε στον επόμενο γύρο θα τιμωρήσει τον αντίπαλο (καιθαανακάμψειτηνόποιααπώλειακέρδους του τρέχοντος γύρου). Υπό αυτές τις συνθήκες, δηλαδή με την υπόθεση ότι η αλληλεπίδραση των πρακτόρων έχει διάρκεια στο χρόνο, η συνεργασία(να κάνει κανείς C) είναι πλέον προτιμότερη (ορθολογική) επιλογή. 18

...αλλά υπάρχει ένα «αλλά»... Έστω ότι οι πράκτορες συμφώνησαν να παίξουν το επαναληπτικό δίλημμα του φυλακισμένου για έναν προκαθορισμένο πεπερασμένο αριθμό γύρων, π.χ. 100. Πρέπει καθένας να αποφασίσει από την αρχή τι στρατηγική θα ακολουθήσει. Στον τελευταίο γύρο (τον 100ό) και οι δύο γνωρίζουν ότι δεν θα αλληλεπιδράσουν ξανά στο μέλλον. Με άλλα λόγια, ο τελευταίος γύρος είναι σαν να παίζουν οι πράκτορες μίαφοράμόνοτοδίλημματουφυλακισμένου(όπου είδαμε νωρίτερα ότι η ορθολογική επιλογή είναι D). Έτσι, στον 100ό γύρο και οι δύο πράκτορες (ορθολογικά) θα κάνουν D. Οπότε ο πραγματικός τελικός γύρος του επαναληπτικού παιχνιδιού είναι ο 99ός. Με την ίδια λογική, κι αυτός μπορεί να θεωρηθεί σαν μοναδικός γύρος. Το ίδιο και ο 98ος γύρος, ο 97ος, κλπ. Επαγωγικά συμπεραίνουμε ότι η επαναληπτική εκδοχή του παιχνιδιού, όταν ο αριθμός των γύρων είναι προκαθορισμένος και γνωστός στους δύο πράκτορες, οδηγεί σε κυρίαρχη στρατηγική D, όπως και στην εκδοχή του ενός γύρου. Συμπέρασμα: για να είναι η συνεργασία ορθολογική επιλογή, απαιτείται άπειρος αριθμός γύρων ή πεπερασμένος αριθμός με το ενδεχόμενο οι πράκτορες να ξανασυναντηθούν στο μέλλον (απειλή του μέλλοντος). Ακόμα κι αν ένας συνεργάσιμος πράκτορας, που υποφέρει παίζοντας με έναν μη συνεργάσιμο αντίπαλο, συνολικά θα κερδίσει αν έχει τη δυνατότητα να αλληλεπιδράσει με άλλους συνεργάσιμους πράκτορες: Το δίλημμα του φυλακισμένου σε τουρνουά (Axelrod). 19

Το τουρνουά του Axelrod Ο Axelrod είναι πολιτικός επιστήμονας που τον ενδιαφέρει να μελετήσει πώς προκύπτει συνεργασία σε κοινωνίες εγωιστικών πρακτόρων. Το 1980 οργάνωσε τουρνουά στο οποίο πολιτικοί επιστήμονες, ψυχολόγοι, οικονομολόγοι και θεωρητικοί παιγνίωνυπέβαλανέναπρόγραμμαπου έπαιζε το επαναληπτικό δίλημμα του φυλακισμένου. Τα προγράμματα που υποβλήθηκαν κυμαίνονταν από 5 έως 152 γραμμές κώδικα. Κάθε πρόγραμμα γνώριζε την προηγούμενη επιλογή (C ή D) του αντιπάλου του και αποφάσιζε τι να κάνει βασισμένο σε αυτή την πληροφορία. Κάθε πρόγραμμα έπαιζε ενάντια σε κάθε άλλο για 5 παιχνίδια, με 200 γύρους το κάθε παιχνίδι. Νικητής ήταν το πρόγραμμα που κέρδιζε στο σύνολο των παιχνιδιών με όλα τα άλλα προγράμματα. Κάθε πρόγραμμα είχε τη δική του στρατηγική. 20

Παραδείγματα στρατηγικής στο τουρνουά του Axelrod ALL-D: η στρατηγικήτου«γερακιού», πάντα κάνε D ό,τι κι αν κάνει ο αντίπαλος (αυτή είναι η ορθολογική επιλογή στο επαναληπτικό παιχνίδι με σταθερό, προκαθορισμένο αριθμό γύρων). RANDOM: αγνόησε ό,τι κι αν έκανε ο αντίπαλος στον προηγούμενο γύρο, επέλεξε C ή D τυχαία, με ίση πιθανότητα. TIT-for-TAT: στον πρώτο γύρο κάνε C. Στον γύρο t > 1 κάνε ό,τι έκανε ο αντίπαλος στο γύρο t-1 (αυτή ήταν και η απλούστερη απαιτώντας 5 γραμμές FORTRAN). TESTER: στον πρώτο γύρο δοκίμασε τον αντίπαλο κάνοντας D. Αν ο αντίπαλος σε τιμωρήσει κάνοντας επίσης D, συνέχισε παίζοντας τη στρατηγική TIT-for-TAT. Αν ο αντίπαλος δεν σε τιμωρήσει, τότε να παίζεις C για δύο γύρους και μετά D, επαναληπτικά. JOSS: όπως η TESTER, αυτή η στρατηγική είναι σχεδιασμένη για να εκμεταλλεύεται «ασθενείς» αντιπάλους. Ουσιαστικά είναι ίδια με την TIT-for-TAT, αλλά 10% του χρόνου αντί να κάνει C, κάνει D. Ποια στρατηγική πιστεύετε ότι απέδωσε καλύτερα; Ποια θα επιλέγατε, με βάση όσα γνωρίζετε μέχρι τώρα από τη θεωρία παιγνίων; 21

Αποτελέσματα του τουρνουά του Axelrod Ο νικητής ήταν ο πράκτορας που έπαιζε τη στρατηγική TIT-for-TAT. Αλλά προσοχή πώς ερμηνεύουμε το αποτέλεσμα! Η TIT-for-TAT κέρδισε γιατί λάβαμε υπόψη όλες τις άλλες στρατηγικές που συμμετείχαν. Αν η TIT-for-TAT παιζόταν εναντίον μόνο της ALL-D, τότε θα κέρδιζε η ALL-D. Η TIT-for-TAT κέρδισε γιατί είχε την ευκαιρία να παίξει εναντίον αντιπάλων που είχαν επίσης την τάση να συνεργαστούν. Γι αυτό και το συμπέρασμα ότι η συνεργασία είναι καλή στρατηγική για έναν πράκτορα όταν συνυπάρχει με άλλους που κι εκείνοι έχουν την τάση να συνεργαστούν. Προσπαθώντας να εξηγήσει τους λόγους της επιτυχίας της TIT-for-TAT ο Axelrod κατέληξε σε τέσσερις κανόνες για επιτυχία στο επαναληπτικό δίλημμα του φυλακισμένου. 22

Οι κανόνες του Axelrod για το επαναληπτικό παιχνίδι Μη ζηλεύεις: δεν είναι απαραίτητο να «νικήσεις» τον αντίπαλο για να επιτύχεις. Μην είσαι ο πρώτος που δεν συνεργάζεται: στον πρώτο γύρο ξεκίνα με συνεργασία. Όση χρησιμότητα κι αν χάσεις στιγμιαία από αυτή την επιλογή, θα την ανακτήσεις σε επόμενους γύρους μέσω της συνεργασίας με άλλες «καλές» (=συνεργάσιμες) στρατηγικές. Να ανταποδίδεις τη συνεργασία και τη μη-συνεργασία: η TIT-for-TAT αντιπροσωπεύει καλή ισορροπία μεταξύ ανταμοιβής και τιμωρίας. Ακόμα κι αν οι πράκτορες ξεκινήσουν άσχημα υπάρχει περιθώριο να εδραιωθεί συνεργασία μεταξύ τους. Μην είσαι εξυπνάκιας: η TIT-for-TAT ήταν η απλούστερη στρατηγική από όλες όσες υποβλήθηκαν, μερικές από τις οποίες έκαναν χρήση προηγμένων τεχνικών για να αποφασίσουν τι να κάνουν. Οι τελευταίες είτε προσπαθούσαν να φτιάξουν μοντέλο της συμπεριφοράς του αντιπάλου αγνοώντας ότι κι εκείνος το ίδιο κάνει, είτε ήταν τόσο πολύπλοκες, που στον αντίπαλο εμφανίζονταν ως RANDOM. 23

Άλλες συμμετρικές 2x2 αλληλεπιδράσεις Προτιμήσεις Σχόλια 1 C,C f i C,D fi D,C fi D, D Κυρίαρχη η συνεργασία 2 C,C f i C,D fi D,D fi D, C Κυρίαρχη η συνεργασία 3 C,C f i D,C fi C,D fi D, D 4 C,C f D,C f D,D f C, D Stag hunt i i 5.. 6 7.. 8 9 10 11 12 D,C f i C,C fi C,D fi D, D Game of chicken 14 D,C f C,C f D,D f C, D Prisoner s dilemma 15 16 17 18 19 20 21 22 23 24 i i i i 24

The stag hunt Ένα ακόμα παράδειγμα κοινωνικού διλήμματος. Προέκυψε από τον Rousseau (1775 Discourse on Inequality). Η σύγχρονη εκδοχή του οφείλεται στον Poundstone (1992): Εσύ κι ένας φίλος σου αποφασίζετε ότι θα ήταν καλό αστείο να εμφανιζόσασταν την τελευταία μέρα της σχολικής χρονιάς με ένα γελοίο κούρεμα. Οι συμμαθητές σας σας προτρέπουν και τελικά ορκίζεστε ότι θα κάνετε το γελοίο κούρεμα. Μια νύχτα αναποφασιστικότητας ακολουθεί. Καθώς σκέφτεσαι τις αντιδράσεις των γονιών και των δασκάλων σου αρχίζεις να αναρωτιέσαι αν ο φίλος σου πραγματικά θα τηρήσει τη συμφωνία. Φυσικά και θέλεις να πετύχει η συμφωνία σας: το καλύτερο αποτέλεσμα θα ήταν και οι δύο να κάνετε το γελοίο κούρεμα. Αλλά...θα ήταν απαίσιαναεμφανιστείςμόνο εσύ με το γελοίο κούρεμα, αυτό θα ήταν ό,τι χειρότερο. Τώρα, δεν θα σε πείραζε να φέρεις το φίλο σου σε δύσκολη θέση. Αν εσύ δεν έκανες το κούρεμα, αλλά ο φίλος σου το έκανε, τότε αυτός θα φαινόταν πραγματικά γελοίος και αυτό θα ήταν σχεδόν τόσο καλό όσο αν κάνατε και οι δύο το γελοίο κούρεμα. 25

Πίνακας κέρδους για το stag hunt i defects i cooperates j defects 1 0 1 2 j cooperates 2 3 0 3 Υπάρχουν δύο ισορροπίες Nash: αμοιβαία συνεργασία ή αμοιβαία μησυνεργασία. Αν εμπιστεύεσαι τον αντίπαλο και πιστεύεις ότι θα συνεργαστεί τότε το καλύτερο είναι να συνεργαστείς (και αντιστρόφως, αυτό ισχύει και για τον αντίπαλο). Αντίθετα, αν πιστεύεις ότι ο αντίπαλος δε θα συνεργαστεί τότε το καλύτερο είναι να μη συνεργαστείς (και αντιστρόφως, αυτό ισχύει και για τον αντίπαλο). Ο Poundstone πιστεύει ότι τα σενάρια ανταρσίας είναι παραδείγματα του stag hunt («θα ήταν καλύτερα αν απαλλασσόμασταν από τον καπετάνιο, αλλά θα μας κρεμάσουν αν δεν το επιχειρήσουμε αρκετοί») 26

The game of chicken Χαρακτηρίζεται από τις ακόλουθες προτιμήσεις για τον πράκτορα i: D,C f i C,C fi C,D fi D,D Το παιχνίδι ήταν δημοφιλές ανάμεσα στους νεαρούς κακοποιούς της δεκαετίας του 50 στην Αμερική και έχει μείνει στην ιστορία από την ταινία «Επαναστάτης χωρίς» αιτία με τον James Dean. Σκοπός του παιχνιδιού είναι να φανεί ποιός από δύο παλικαράδες είναι ο γενναιότερος. Οι δύο παίχτες οδηγούν με μεγάλη ταχύτητα τα αυτοκίνητά τους προς ένα βράχο. Ο λιγότερο γενναίος από τους δύο (το «κοτόπουλο») θα είναι ο πρώτος που θα εγκαταλείψει το παιχνίδι, αλλάζοντας την πορεία του αυτοκινήτου του. Νικητής είναι αυτός που θα αντέξει για περισσότερο χρόνο μέσα στο αυτοκίνητό του και οδηγώντας προς το βράχο. Αν κανένας παίχτης δεν αλλάξει πορεία τότε και τα δύο αυτοκίνητα θα πέσουν από το βράχο και οι δύο παλικαράδες πεθαίνουν. C: αλλάζω πορεία, D: δεν αλλάζω πορεία 27

Πίνακας κέρδους για το game of chicken i defects j defects 0 0 j cooperates 3 1 3 2 i cooperates 1 2 Πώς πρέπει να παίξει ο i; Εξαρτάται από το πόσο ανόητος (ή γενναίος) πιστεύει ότι είναι ο j. Αν πιστεύει ότι ο j είναι πιο γενναίος από τον ίδιο, τότε καλύτερα να αλλάξει πορεία (C). Αντίθετα αν πιστεύει ότι εκείνος είναι πιο γενναίος τότε καλύτερα να συνεχίσει την πορεία του (D) γιατί θα αλλάξει πορεία ο j. Το πρόβλημα προκύπτει όταν και οι δύο πράκτορες εσφαλμένα πιστεύουν ότι ο άλλος είναι λιγότερο γενναίος, γιατί τότε το χειρότερο συμβαίνει: πεθαίνουν και οι δύο. Υπάρχουν δύο ισορροπίες Nash, πάνω δεξιά και κάτω αριστερά. Αν πιστεύεις ότι ο αντίπαλος θα συνεχίσει να οδηγεί προς το βράχο (D), τότε το καλύτερο είναι να αλλάξεις πορεία (και αντιστρόφως το ίδιο ισχύει για τον αντίπαλο). Αντίθετα αν πιστεύεις ότι ο αντίπαλος θα αλλάξει πορεία, τότε το 28 καλύτερο είναι να συνεχίσεις να οδηγείς ευθεία προς το βράχο.

Βιβλιογραφία Κεφάλαιο 6 ο απότοβιβλίοτουwooldridge. Οργανωσιακές σχέσεις πρακτόρων Horling, B. and Lesser, V. 2004. A survey of multi-agent organizational paradigms. Knowledge Engineering Review, 19(4), 281-316. Θεωρία παιγνίων K. Binmore, Fun and Games: A Text on Game Theory, Heath and Company, 1992. K. Leyton-Brown and Y. Shoham, Essentials of Game Theory: A Concise Multi- Disciplinary Introduction, Morgan Claypool Publishers, 2008. Y. Shoham and K. Leyton-Brown, MultiAgent Systems: Algorithmic, Game- Theoretic and Logical Foundations, Cambridge University Press, 2008. Τουρνουά Axelrod R. Axelrod, The Evolution of Cooperation, Basic Books, 1984. Δίλημμα του φυλακισμένου Y. Mor and J. Rosenchain, Time and the Prisoner s Dilemma, Proceedings of ICMAS, 276 282, 1995. 29