Μηχανισμοί Μάθησης και η Χρήση τους στην Επικύρωση της Ποιότητας Νέων Παιγνίων

Transcript

1 Μηχανισμοί Μάθησης και η Χρήση τους στην Επικύρωση της Ποιότητας Νέων Παιγνίων Γκεζερλής Σπύρος Επιβλέπων Δημήτριος Καλλές Εξεταστική Επιτροπή Δημήτρης Καλλές Λοΐζος Μιχαήλ Αρτίκης Αλέξανδρος

2 Παρουσίαση Εισαγωγή Ανάπτυξη Παιχνιδιoύ Μηχανική Μάθηση Σχεδίαση & Ανάπτυξη Παιχνίδι Πράκτορας Δοκιμές Συμπεράσματα & Μελλοντική Ανάπτυξη

3 Εισαγωγή: Αντικείμενο Αντικείμενο Αξιοποίηση υπάρχουσας τεχνογνωσίας και τεχνολογίας πάνω στην χρήση της ενισχυτικής μάθησης για την αυτόματη ανακάλυψη τακτικής

4 Εισαγωγή: Στόχος Στόχος Σχεδίαση και επικύρωση ιδιοτήτων ένος νέου παιχνιδιού με κύρια συνιστώσα την Ενισχυτική Μάθηση Πλατφόρμα Ανάπτυξης Παιχνιδιών Μηχανισμός Μάθησης Τεχνολογίες Μέθοδοι Πρακτικές Αλγόριθμοι

5 Εισαγωγή: Μηχανική Λογισμικού MindMapping (Καταγραφή Σκέψης σε Ροή Εργασιών) Online Version Control System (Πλήρες ιστορικό εκδόσεων αρχείων, προγραμμάτων στο σύννεφο) Online Document Collaboration (Επεξεργασία κειμένων στο σύννεφο)

6 Εισαγωγή: Python Πρόγραμμα Περιγραφή Python Γλώσσα Προγραμματισμού - Σύστημα PyGame Βιβλιοθήκη Ανάπτυξης Γραφικών Παιχνιδιών NumPy Numerical Python - Βιβλιοθήκη αριθμητικών και επιστημονικών εργαλείων NetWorkX Βιβλιοθήκη Python δημιουργίας και διαχείρισης δικτύων γράφων PyGraphViz Βιβλιοθήκη διαχείρισης και απεικόνισης γράφων και δικτύων PyBrain Βιβλιοθήκη Μηχανικής Μάθησης - Περιέχει και RL RL-Glue Διεπαφή προτυποποίησης RL - Περιέχει Python Codec

7 Ανάπτυξη Παιχνιδιού: Κύκλος Ζωής Τυπικός βρόγχος παιχνιδιού: 1. εκκίνηση 2. αναμονή εντολών 3. ανανέωση 4. και τερματισμός

8 Ανάπτυξη Παιχνιδιού: Ορισμοί, Κανόνες, Ενέργειες Ορισμοί: Κανόνες: Ενέργειες: Τι επιτρέπεται 2. Τι δεν επιτρέπεται 1. Ενέργειες χρήστη στον αντίπαλο και στο περιβάλλον Περιβάλλον Οντότητες Αντίπαλοι Στόχοι

9 Μηχανική Μάθηση: RL Ενισχυτική Μάθηση: Ο πράκτορας αισθάνεται το περιβάλλον του, έχει ανάδραση αμοιβής και προσαρμόζει ανάλογα τις πράξεις του. Κατάσταση Ενέργεια Αμοιβή "Αφουγκράζομαι, Σκέπτομαι, Πράττω"

10 Μηχανική Μάθηση: RL Ενισχυτική Μάθηση: Στοιχεία Περιβάλλον Πολιτική (τρόπος συμπεριφοράς) Συνάρτηση αμοιβής (στόχος προβλήματος) Συνάρτηση αξίας (μακροπρόθεσμός στόχος) Μοντέλο (μιμητής συμπεριφοράς περιβάλλοντος) R Πράκτορας Q: S x A

11 Παιχνίδι: Σχεδίαση RLTankAttack Διαδραστικό γραφικό παιχνίδι αντίταξης δυο (2) παικτών. Πρέπει να εκτελείται σε Python και των βοηθητικών βιβλιοθηκών Μελλοντική φορητότητα σε έξυπνα τηλέφωνα (έγιναν δοκιμές πρωτότυπων σε Android συσκευές με επιτυχία)

12 Παιχνίδι: Σχεδίαση RLTankAttack - Αντικείμενο Κατάκτηση της καρνάγιου του αντιπάλου Καταπόντιση του αντιπάλου του είτε σε κενό είτε σε στήλη νερού

13 Παιχνίδι: Σχεδίαση RLTankAttack - Ορισμοί Υπάρχουν 2 πλοία αντίπαλοι Διαστάσεις ΜxN (ΠxY) Η στάθμη κάθε στήλης νερού διαχειρίζεται μέσω των 2 βαλβιδών. Ο αριθμός των βαλβίδων είναι διπλάσιος των στηλών νερού. Μια βαλβίδα ελέγχει την στάθμη σε μια στήλη.

14 Παιχνίδι: Σχεδίαση RLTankAttack - Ενέργειες 1. Σκάφος a. Πρόσω b. Ανάποδα 2. Βαλβίδα a. Εισροή b. Εκροή

15 Πράκτορας: Σχεδίαση Πράκτορας Δημιουργός 1. Ανάδραση 2. Ενέργεια 3. Αμοιβή 1. Περιβάλλον 2. Πολιτική

16 Πράκτορας: Σχεδίαση Δημιουργός Πολιτικής Επαναληπτικός Γεννήτρια τυχαίων κινήσεων

17 Πράκτορας: Σχεδίαση Πράκτορας Συμπεριφέρεται ως παίκτης (αναμονή σειράς, έλεγχος κίνησης) Ελέγχει γράφο για προϋπαρξη κίνησης Κατά τον τερματισμό του ενημερώνει βάσει του αποτελέσματος τον γράφο

18 Δοκιμές: Σχεδίαση Δείκτες Ποιότητας Πρόοδος τύπου κίνησης ανά παιχνίδι (Smart vs Random) Αμοιβές ανά παιχνίδι (+1, -1)

19 Ανάπτυξη: Λογική Στοίβα Οικοσύστημα RLTankAttack Πράκτορας Παιχνίδι Python

20 Ανάπτυξη: Ροή Επικοινωνίας

21 Ανάπτυξη: Οντότητες Κλάσσεις Συστήματος Πράκτορας Δοκιμές Παιχνίδι

22 Δοκιμές: Διαστάσεις Πολιτικής Επαναληπτικός Αλγόριθμος Γεννήτρια Τυχαίων κινήσεων

23 Δοκιμές: Δείκτες Μάθησης Smart vs Random Αμοιβές ανά παιχνίδι

24 Συμπεράσματα Βαρύτητα και μεθοδικότητα: Σχεδίαση Τυποποίηση Αρχιτεκτονική

25 Μελλοντικές Eπεκτάσεις RLTankAttack + RL-Glue Agent -vsagent Agent -vsrandom Agent