Ανάπτυξη τεχνικών ςυνεργαςίασ για εξερεφνηςη αγνώςτων περιοχών ςε Παιχνίδια Στρατηγικήσ Πραγματικοφ Χρόνου με χρήςη Νευροεξζλιξησ

ΑΡΙΣΟΣΕΛΕΙΟ ΠΑΝΕΠΙΣΗΜΙΟ ΘΕΑΛΟΝΙΚΗ ΠΟΛΤΣΕΧΝΙΚΗ ΧΟΛΗ ΣΜΗΜΑ ΗΛΕΚΣΡΟΛΟΓΩΝ ΜΗΧΑΝΙΚΩΝ & ΜΗΧΑΝΙΚΩΝ ΤΠΟΛΟΓΙΣΩΝ Τομζασ Θλεκτρονικισ και Υπολογιςτϊν Εργαςτιριο Επεξεργαςίασ Πλθροφορίασ και Υπολογιςμϊν (ΕΠΥ) Ανάπτυξη τεχνικών ςυνεργαςίασ για εξερεφνηςη αγνώςτων περιοχών ςε Παιχνίδια Στρατηγικήσ Πραγματικοφ Χρόνου με χρήςη Νευροεξζλιξησ Διπλωματικι Εργαςία του πυρίδωνοσ Πατμανίδθ ΑΕΜ: 6725 Υπό τθν επίβλεψθ του κακθγθτι κ. Περικλι Μιτκα Κεςςαλονίκθ Λοφνιοσ 2013

2

Ευχαριςτίεσ Τθν παράγραφο αυτι, κα ικελα να τθν αφιερϊςω ςε όλουσ όςουσ πιςτεφω ότι με βοικθςαν ϊςτε να φτάςω ςε αυτό το ςθμείο. Κατ αρχάσ, κα ικελα να ευχαριςτιςω τον κ. Περικλι Μιτκα που με εμπιςτεφτθκε δίνοντασ μου τθν δυνατότθτα να αναλάβω τθν παροφςα διπλωματικι εργαςία. Κα ικελα επίςθσ να τον ευχαριςτιςω για τθν ποιότθτα τθσ γνϊςθσ που μου προςζφερε θ παρακολοφκθςθ των μακθμάτων του, αλλά και για κάκε εμπειρία τόςο ςτα πλαίςια των μακθμάτων του όςο και ςτο ευρφτερο πλαίςιο τθσ ςχολι. Στθ ςυνζχεια, κα ικελα να ευχαριςτιςω όλουσ τουσ κακθγθτζσ του τμιματοσ Θλεκτρολόγων Μθχανικϊν & Μθχανικϊν Υπολογιςτϊν, για τισ πολφτιμεσ γνϊςεισ που μου προςζφεραν μζςα από τα μακιματα τουσ όλα αυτά τα χρόνια. Ευχαριςτϊ ιδιαίτερα και τον διδάκτορα κ. Κυριάκο Χατηθδθμθτρίου για τθν πολφτιμθ βοικειά του όλουσ αυτοφσ τουσ μινεσ τθσ εναςχόλθςθσ μου με τθν διπλωματικι αυτι εργαςία. Τζλοσ, κα ικελα να ευχαριςτιςω τθν οικογζνεια μου και τουσ φίλουσ μου για τθ ςυμπαράςταςθ που μου προςζφεραν όλο αυτό τον καιρό. 3

φνοψθ Ηοφμε ςε μια εποχι που θ τεχνολογία επθρεάηει κάκε κομμάτι τθσ ηωισ μασ. Ακόμα και τον ελεφκερο μασ χρόνο επιλζγουμε να τον περνάμε ςε εικονικά περιβάλλοντα διαφόρων παιχνιδιϊν. Τα Παιχνίδια Στρατθγικισ Πραγματικοφ Χρόνου είναι μια κατθγορία παιχνιδιϊν εικονικοφ περιβάλλοντοσ και ςε αυτά αφιερϊνουν τον χρόνο τουσ εκατομμφρια άνκρωποι ςε ολόκλθρο τον κόςμο. Θ Τεχνθτι Νοθμοςφνθ καλείται να δθμιουργιςει λογιςμικό που να μπορεί να προςομοιϊςει τθν ανκρϊπινθ ςυμπεριφορά και να τθν εφαρμόςει με ανταγωνιςτικό τρόπο ςε ζνα τζτοιο περιβάλλον. Λόγω τθσ μεγάλθσ απιχθςθσ των Παιχνιδιϊν Στρατθγικισ Πραγματικοφ Χρόνου ςτο καταναλωτικό κοινό και τθσ ποικιλίασ των προβλθμάτων που παρουςιάηεται ςε αυτά τα παιχνίδια, θ Τεχνθτι Νοθμοςφνθ ζχει βρει ζνα μεγάλο πεδίο εφαρμογισ, με επιτακτικι τθν ανάγκθ για ςυνεχι βελτίωςθ των τεχνικϊν τθσ. Κφριοσ ςτόχοσ αυτισ τθσ διπλωματικισ εργαςίασ είναι να υλοποιιςει ζναν πράκτορα λογιςμικοφ που να επιλφει το πρόβλθμα ανίχνευςθσ αγνϊςτων περιοχϊν ςε τζτοια παιχνίδια. Για τθν επίτευξθ του ςτόχου αυτοφ δθμιουργοφνται Τεχνθτά Νευρωνικά Δίκτυα, τα οποία εκπαιδεφονται με τθ χριςθ τθσ μεκόδου NEAT που ανικει ςτθν κατθγορία των Εξελικτικϊν Αλγορίκμων και χρθςιμοποιοφνται για τον ζλεγχο μιασ ομάδασ ανιχνευτϊν. Αφοφ γίνει θ εκπαίδευςθ, ελζγχονται το ποςοςτό του χάρτθ που ανακαλφπτουν οι ανιχνευτζσ, θ ικανότθτα τουσ να ςυνεργάηονται για τθν εξερεφνθςθ του χάρτθ και θ δυνατότθτα τουσ να μακαίνουν να αποφεφγουν τα διάφορα εμπόδια του περιβάλλοντοσ. Τα αποτελζςματα των πειραμάτων δείχνουν ότι θ μζκοδοσ NEAT μπορεί να δθμιουργιςει Τεχνθτά Νευρωνικά Δίκτυα που να μποροφν να επιλφςουν επαρκϊσ το πρόβλθμα που τίκεται. 4

Diploma Thesis Evolving cooperative techniques for exploring uncharted territory in Real-Time Strategy Games using Neuroevolution Abstract We live in an era that every aspect of our lives is affected by technology, preferring to spare even our free time on the virtual environment of several games. Real Time Strategy Games are such games, to which millions of people dedicate their free time. Artificial Intelligence (AI) is asked to provide the software that is able to simulate the human behavior and embed this behavior in a challenging manner to the game environment. Thanks to the appeal of those games to the market and due to the variety of the problems they introduce, AI is provided with a vast research field. Under the light of the above mentioned facts, improving AI techniques is mandatory. The aim of this Diploma Thesis is to implement a software agent, capable of identifying uncharted map issues in such games. In order to achieve this objective Artificial Neural Networks (ANN) are used. These networks are trained by the NeuroEvolution of Augmenting Topologies (NEAT) method, a method that generates evolving ANNs, and are used to control a team of scouts. NEAT falls under the category of Evolutionary Algorithms (EA). After the completion of network s evolution, the following issues are examined a) the map area revealed by the scouts, b) scouts ability to cooperate while performing map search and c) scouts ability to avoid environmental obstacles. Experiment data reveals that NEAT can train ΑΝΝs adequate to provide a solution to the problem in question. Patmanidis Spyridon spatmanid@gmail.com Department of Electrical and Computer Engineering Aristotle University of Thessaloniki July 2013 5

Πίνακας Περιεχομένων Ευχαριςτίεσ... 3 Σφνοψθ... 4 Diploma Thesis... 5 Abstract... 5 Κατάλογοσ Εικόνων... 8 Κατάλογοσ Πινάκων... 10 Συντομογραφίεσ... 11 Ελλθνικζσ... 11 Αγγλικζσ... 11 1 Ειςαγωγι... 12 1.1 Τεχνθτι Νοθμοςφνθ... 12 1.2 Περιγραφι του προβλιματοσ... 16 1.3 Στόχοι τθσ Διπλωματικισ... 17 1.4 Μεκοδολογία... 17 1.5 Οργάνωςθ Διάρκρωςθ Διπλωματικισ... 18 2 Κεωρθτικό Υπόβακρο... 20 2.1 Ειςαγωγι... 20 2.2 Παιχνίδια Στρατθγικισ... 21 2.2.1 Γενικά... 21 2.2.2 Παιχνίδια Στρατθγικισ Πραγματικοφ Χρόνου... 22 2.2.3 Τεχνθτι Νοθμοςφνθ ςε Παιχνίδια Στρατθγικισ Πραγματικοφ Χρόνου... 23 2.2.4 Τεχνικζσ που χρθςιμοποιοφνται ςιμερα... 23 2.3 Νευρωνικά Δίκτυα... 24 2.3.1 Γενικά... 24 2.3.2 Βιολογικά Νευρωνικά Δίκτυα... 25 2.3.3 Τεχνθτά Νευρωνικά Δίκτυα... 28 2.4 Εξελικτικοί Αλγόρικμοι... 32 2.4.1 Γενικά... 32 2.4.2 Φυςικι Εξζλιξθ... 32 2.4.3 Περιγραφι Λειτουργίασ των Εξελικτικϊν Αλγορίκμων... 34 2.5 Θ μζκοδοσ NeuroEvolution of Augmenting Topologies NEAT... 35 6

3 Πλατφόρμα Αξιολόγθςθσ... 39 3.1 Γενικά... 39 3.2 Πλατφόρμα... 40 3.3 Ανάλυςθ Πλατφόρμασ... 44 3.4 Ανάλυςθ των Πρόςκετων Χαρακτθριςτικϊν ςτθν Πλατφόρμα... 54 4 Πειράματα και Αποτελζςματα... 57 4.1 Παρουςίαςθ Πειραμάτων... 57 4.2 Παρουςίαςθ Αποτελεςμάτων... 60 5 Συμπεράςματα και Μελλοντικζσ επεκτάςεισ... 69 5.1 Σφνοψθ... 69 5.2 Συμπεράςματα... 70 5.3 Μελλοντικζσ Επεκτάςεισ... 71 Βιβλιογραφία... 72 7

Κατάλογοσ Εικόνων Εικόνα 1: Στιγμιότυπα από τα παιχνίδια Starcraft και Civilization... 21 Εικόνα 2: Βιολογικόσ Νευρϊνασ... 25 Εικόνα 3: Τεχνθτόσ Νευρϊνασ... 28 Εικόνα 4: Βθματικι ςυνάρτθςθ και Σιγμοειδισ Συνάρτθςθ... 30 Εικόνα 5: Ζνα ΤΝΔ πρόςκιασ τροφοδότθςθσ... 31 Εικόνα 6: Ψευδοκϊδικασ γενικοφ ςχεδιαγράμματοσ Εξελικτικϊν Αλγορίκμων... 35 Εικόνα 7: Κωδικοποίθςθ δικτφου με τθ μζκοδο NEAT... 36 Εικόνα 8: Παραδείγματα Μεταλλάξεων... 37 Εικόνα 9: Στιγμιότυπο οκόνθσ τθσ πλατφόρμασ αξιολόγθςθσ... 40 Εικόνα 10: Διανφςματα εξόδων ανιχνευτι... 41 Εικόνα 11: Αιςκθτιρεσ ανιχνευτι... 42 Εικόνα 12: Ζξοδοι αιςκθτιρων με βάςθ τθν απόςταςθ από κάποιο εμπόδιο... 42 Εικόνα 13: Στιγμιότυπο οκόνθσ ομάδασ καλφτερων ανιχνευτϊν... 43 Εικόνα 14: Δομζσ SLinkGene και SNeuronGene... 44 Εικόνα 15: Κλάςθ CGenome... 45 Εικόνα 16: Κλάςθ CNeuralNet... 46 Εικόνα 17: Δομζσ SNeuron και SLink... 46 Εικόνα 18: Δομι SInnovation... 47 Εικόνα 19: Κλάςθ CInnovation... 47 Εικόνα 20: Κλάςθ CSpecies... 48 Εικόνα 21: Κλάςθ Cga... 49 Εικόνα 22: Κλάςθ CMinesweeper... 50 Εικόνα 23: Δομι SCell και Κλάςθ CMapper... 51 Εικόνα 24: Δομι SVector2D και Κλάςθ C2DMatrix... 52 Εικόνα 25: Κλάςθ CTimer... 52 Εικόνα 26: Κλάςθ CController... 53 Εικόνα 27: Στιγμιότυπα από χάρτεσ με διαφορετικά εμπόδια... 56 Εικόνα 28: Απόδοςθ ομάδων ανά πείραμα αριςτερά και μζςοσ όροσ απόδοςθσ από τα πζντε πειράματα δεξιά... 58 Εικόνα 29: Απόδοςθ ομάδων πζντε ανιχνευτϊν χωρίσ Stigmergy (Πείραμα 1 κόκκινο, Πείραμα 2 μπλε, Πείραμα 3 πράςινο, Πείραμα 4 κίτρινο, Πείραμα 5 κυανό).... 60 Εικόνα 30: Σφγκριςθ ομάδασ τεςςάρων ανιχνευτϊν με παραμζτρουσ πειράματοσ 1 και 5... 60 Εικόνα 31: Σφγκριςθ ομάδων τεςςάρων και πζντε ανιχνευτϊν με παραμζτρουσ πειράματοσ 1... 61 Εικόνα 32: Σφγκριςθ ομάδων τεςςάρων και πζντε ανιχνευτϊν με παραμζτρουσ πειράματοσ 5... 61 Εικόνα 33: Σφγκριςθ Πειραμάτων 1 και 5 με χριςθ και χωρίσ χριςθ Stigmergy... 62 Εικόνα 34: Απόδοςθ ομάδων πζντε ανιχνευτϊν και χριςθ Stigmergy... 62 Εικόνα 35: Απόδοςθ ανιχνευτϊν με κοινι καταλλθλότθτα ομάδασ... 63 Εικόνα 36: Απόδοςθ ανιχνευτϊν με αλλαγι τοπολογίασ χάρτθ κάκε 20 γενιζσ... 64 8

Εικόνα 37: Απόδοςθ ανιχνευτϊν με αλλαγι τοπολογίασ χάρτθ κάκε 20 γενιζσ... 65 Εικόνα 38: Χάρτεσ ελζγχου για το πείραμα του διαγράμματοσ 36... 66 Εικόνα 39: Χάρτεσ ελζγχου για το πείραμα του διαγράμματοσ 37... 67 Εικόνα 40: Απόδοςθ ανιχνευτϊν με αλλαγι χάρτθ κάκε 40 γενιζσ... 68 9

Κατάλογοσ Πινάκων Πίνακασ 1: Παράμετροι πειραμάτων... 59 10

υντομογραφίεσ Ελλθνικζσ Τεχνθτι Νοθμοςφνθ Μθχανικι Μάκθςθ Παιχνίδια Στρατθγικισ Πραγματικοφ Χρόνου Παιχνίδια Στρατθγικισ Βαςιςμζνα ςε Γφρουσ Πράκτορασ Λογιςμικοφ Νευρωνικό Δίκτυο Βιολογικό Νευρωνικό Δίκτυο Τεχνθτό Νευρωνικό Δίκτυο Κεντρικι Μονάδα Επεξεργαςίασ Εξελικτικόσ Αλγόρικμοσ Εκπαίδευςθ χωρίσ Επίβλεψθ Εκπαίδευςθ με Επίβλεψθ Ενιςχυτικι Εκπαίδευςθ ΤΝ MM ΠΣΠΧ ΠΣΒΓ ΠΛ ΝΔ ΒΝΔ ΤΝΔ ΚΜΕ ΕΑ ΕχΕ ΕμΕ ΕΕ Αγγλικζσ Artificial Intelligence Neural Network Artificial Neural Network Central Processing Unit Evolutionary Algorithm NeuroEvolution of Augmenting Topologies AI NN ANN CPU EA NEAT 11

Κεφάλαιο 1 1 Ειςαγωγι 1.1 Σεχνθτι Νοθμοςφνθ Ο όροσ Τεχνθτι Νοθμοςφνθ αναφζρεται ςτθν διαδικαςία που μπορεί να προςδϊςει ςτισ μθχανζσ τθν ικανότθτα να ςκζφτονται και να δρουν με τρόπο όμοιο με αυτό που χρθςιμοποιοφν οι άνκρωποι και τα ηϊα. Θ ιδζα πάνω ςτθν οποία ςτθρίχτθκε θ ΤΝ είναι, ότι μια βαςικι ανκρϊπινθ ικανότθτα, θ Ευφυΐα (Intelligence), μπορεί να περιγραφεί επακριβϊσ και να προςομοιωκεί από τισ μθχανζσ. Για το λόγο αυτό ο κλάδοσ τθσ ΤΝ αποτζλεςε και αποτελεί αντικείμενο ςυςτθματικισ μελζτθσ, με ςτόχο τθ βελτιςτοποίθςθ τεχνικϊν που επιλφουν ςφνκετα προβλιματα. Μερικά από τα προβλιματα που καλείται να λφςει θ ΤΝ είναι [22]: Επαγωγι, Αιτιολόγθςθ & Επίλυςθ Προβλθμάτων Deduction, Reasoning & Problem Solving Αναπαράςταςθ Γνϊςθσ Knowledge Representation Σχεδιαςμόσ Planning Εκμάκθςθ Learning Επεξεργαςία Φυςικισ Γλϊςςασ Natural Language Processing Κίνθςθ & Χειριςμόσ Motion & Manipulation Αντίλθψθ Perception Κοινωνικι Ευφυΐα Social Intelligence Δθμιουργικότθτα Creativity Γενικι Ευφυΐα General Intelligence 12

Γενικά υπάρχουν τρεισ βαςικζσ οπτικζσ όςον αφορά τθν TN, θ Φιλοςοφικι οπτικι, θ Ψυχολογικι οπτικι και θ οπτικι του Μθχανικοφ. Θ Φιλοςοφικι οπτικι αναφζρεται ςτθν κατανόθςθ τθσ φφςθσ, τθσ ςκζψθσ και τθσ ευφυΐασ και ςτθ δθμιουργία λογιςμικοφ για τθ μοντελοποίθςθ του τρόπου με τον οποίο λειτουργεί θ ςκζψθ. Θ Ψυχολογικι οπτικι αναφζρεται ςτθν κατανόθςθ του μθχανιςμοφ ςκζψθσ του ανκρϊπινου εγκεφάλου και των νοθτικϊν λειτουργιϊν. Θ οπτικι του Μθχανικοφ ςχετίηεται κυρίωσ με τθ δθμιουργία αλγορίκμων που να επιτελοφν ανκρϊπινα κακικοντα [16]. Θ ιςτορία τθσ ΤΝ ξεκινά από τθν αρχαιότθτα, με μφκουσ, ιςτορίεσ και φιμεσ για τεχνθτά όντα προικιςμζνα με ευφυΐα και ςυνείδθςθ από μεγάλουσ τεχνίτεσ, που μπορεί να ςυναντιςει κανείσ ςτθν παράδοςθ διαφόρων πολιτιςμϊν. Μερικά παραδείγματα είναι τα χρυςά ρομπότ του Ιφαιςτου και θ Γαλάτεια του Πυγμαλίωνα από τθν ελλθνικι μυκολογία, το Χομοφνκουλουσ του Παράκελςου και τα Γκόλεμσ τθν εποχι του μεςαίωνα, και ο Φράνκενςταϊν τον 19 ο αιϊνα [23]. Θ ςφγχρονθ ΤΝ ζχει τισ ρίηεσ τθσ ςτουσ κλαςςικοφσ φιλοςόφουσ, οι οποίοι προςπάκθςαν να περιγράψουν τθν ανκρϊπινθ ςκζψθ ςαν ζναν μθχανικό χειριςμό ςυμβόλων. Αυτό οδιγθςε ςτθν εφεφρεςθ του προγραμματιηόμενου ψθφιακοφ υπολογιςτι το 1940, μια μθχανι βαςιςμζνθ ςτθ μακθματικι λογικι. Αυτι λοιπόν θ ςυςκευι και οι δυνατότθτεσ που παρείχε ενζπνευςαν τουσ επιςτιμονεσ να ξεκινιςουν να ςυηθτοφν για τθν πικανότθτα δθμιουργίασ ενόσ θλεκτρονικοφ εγκεφάλου [22]. Ο κλάδοσ τθσ ΤΝ ςαν πεδίο ζρευνασ ορίςτθκε ςτο Κολζγιο του Dartmouth το καλοκαίρι του 1956 και αυτοί που το παρακολοφκθςαν ιταν αυτοί που θγικθκαν ςτθν ζρευνα πάνω ςτο ςυγκεκριμζνο τομζα για τισ επόμενεσ δεκαετίεσ. Πολλοί από αυτοφσ ιςχυρίςτθκαν ότι μια μθχανι το ίδιο ζξυπνθ με ζνα ανκρϊπινο όν, μποροφςε να δθμιουργθκεί ςε λιγότερο από μια γενιά και επζνδυςαν εκατομμφρια δολάρια για να πραγματοποιιςουν το όραμα τουσ. Τελικά ζγινε ςφντομα εμφανζσ ότι είχαν υποτιμιςει τθ δυςκολία του προβλιματοσ. Ακολοφκθςαν περίοδοι κατά τισ οποίεσ οι κυβερνιςεισ των διαφόρων χωρϊν άλλοτε χρθματοδοτοφςαν με τεράςτια ποςά τθν ζρευνα ςτον τομζα τθσ ΤΝ και άλλοτε ιταν φειδωλζσ ωσ προσ τθ χρθματοδότθςθ. Αυτζσ οι εναλλαγζσ περιόδων ςυνεχίηουν ακόμα και ςιμερα να ςτοιχειϊνουν τον κλάδο τθσ ΤΝ [22]. Θ πρόοδοσ πάντωσ όςον αφορά τισ γνϊςεισ ςτον τομζα τθσ ΤΝ ςυνεχίςτθκε παρά τισ διάφορεσ ανόδουσ και πτϊςεισ τθσ φιμθσ τθσ ςτα μάτια των κυβερνιςεων και των 13

επιχειριςεων. Προβλιματα που το 1970 κεωροφνταν αδφνατο να λυκοφν, ζχουν ιδθ επιλυκεί και οι λφςεισ τουσ χρθςιμοποιοφνται ευρζωσ ςε εμπορικά προϊόντα. Παρόλα αυτά, καμία μθχανι δεν ζχει φτιαχτεί μζχρι ςιμερα που το επίπεδο ευφυΐασ τθσ να φτάνει αυτό του ανκρϊπου [22]. Ζνασ από τουσ πιο ςθμαντικοφσ ςτακμοφσ ςτθν ιςτορία τθσ ΤΝ είναι θ δοκιμι Τοφρινγκ, τθν οποία πρότεινε το 1950 ο μακθματικόσ Άλαν Τοφρινγκ. Επόμενοι ςθμαντικοί ςτακμοί ιταν θ ανάπτυξθ του προγράμματοσ Logic Theorist το 1956 (ζνα πρόγραμμα το οποίο ςτθριηόταν ςε ςυμπεραςματικοφσ κανόνεσ τυπικισ λογικισ και ςε ευριςτικοφσ αλγορίκμουσ αναηιτθςθσ για να αποδεικνφει μακθματικά κεωριματα), θ ανάπτυξθ τθσ γλϊςςασ προγραμματιςμοφ LISP το 1958 (δθλαδι τθσ πρϊτθσ γλϊςςασ ςυναρτθςιακοφ προγραμματιςμοφ) και θ εμφάνιςθ των γενετικϊν αλγορίκμων κακϊσ επίςθσ και θ παρουςίαςθ του νευρωνικοφ δικτφου perceptron. Στθ ςυνζχεια, ακολοφκθςε μια εποχι υποχρθματοδότθςθσ μζχρι τα μζςα του 1970, οπότε υπιρξε και ανακζρμανςθ του ενδιαφζροντοσ για τθν ΤΝ. Ζτςι δθμιουργικθκαν μθχανζσ με αποκθκευμζνθ γνϊςθ για ζναν εξειδικευμζνο τομζα οι οποίεσ είχαν τθ δυνατότθτα ταχείασ εξαγωγισ λογικϊν ςυμπεραςμάτων. Παράλλθλα ζκανε τθν εμφάνιςθ τθσ και θ γλϊςςα λογικοφ προγραμματιςμοφ Prolog, ενϊ ςτισ αρχζσ τθσ δεκαετίασ του 80 άρχιςαν να υλοποιοφνται πολφ πιο ιςχυρά και με περιςςότερεσ εφαρμογζσ νευρωνικά δίκτυα [22]. Τθ δεκαετία του 90 ιταν θ ςειρά των ευφυϊν πρακτόρων να αναπτυχκοφν λόγω του μεγάλου πεδίου εφαρμογϊν που δθμιουργικθκε λόγω τθσ ζξαρςθσ του Διαδικτφου. Αυτοί οι πράκτορεσ ιταν αυτόνομα λογιςμικά ΤΝ τοποκετθμζνα ςε κάποιο περιβάλλον με το οποίο αλλθλεπιδροφςαν. Στόχοσ των πρακτόρων είναι ςυνικωσ θ παροχι βοικειασ ςτουσ χριςτεσ, ςτθ ςυλλογι ι ανάλυςθ μεγάλου όγκου δεδομζνων ι ςτθν αυτοματοποίθςθ επαναλαμβανόμενων διαδικαςιϊν [22]. Επίςθσ τθ δεκαετία του 90 θ ΤΝ, και κυρίωσ θ μθχανικι μάκθςθ (ΜΜ - Machine Learning) και θ ανακάλυψθ γνϊςθσ, άρχιςε να επθρεάηεται πολφ από τθ κεωρία πικανοτιτων και τθ ςτατιςτικι. Τα Μπαχεςιανά δίκτυα (Bayesian networks) είναι θ εςτίαςθ αυτισ τθσ νζασ μετακίνθςθσ που παρζχει τισ ςυνδζςεισ με τα πιο ςχολαςτικά κζματα τθσ ςτατιςτικισ και τθσ επιςτιμθσ μθχανικϊν, όπωσ τα πρότυπα Markov και τα φίλτρα Kalman. Αυτι θ νζα πικανοκρατικι προςζγγιςθ ζχει αυςτθρά υποςυμβολικό χαρακτιρα, όπωσ οι τρεισ μεκοδολογίεσ οι οποίεσ κατθγοριοποιοφνται κάτω από τθν ετικζτα τθσ υπολογιςτικισ νοθμοςφνθσ: τα νευρωνικά δίκτυα, ο εξελικτικόσ υπολογιςμόσ και θ αςαφισ λογικι [22]. 14

Θ ςυμβατικι ΤΝ εμπλζκει μεκόδουσ ΜΜ (Machine Learning), που χαρακτθρίηονται από αυςτθροφσ μακθματικοφσ αλγορίκμουσ και ςτατιςτικζσ μεκόδουσ ανάλυςθσ [22]. Διακρίνεται ςε: Ζμπειρα ι Εξειδικευμζνα ςυςτιματα (Expert systems), που εφαρμόηουν προγραμματιςμζνεσ ρουτίνεσ λογικισ, ςχεδιαςμζνεσ αποκλειςτικά για μια ςυγκεκριμζνθ εργαςία, προκειμζνου να εξαχτεί κάποιο ςυμπζραςμα. Για το ςκοπό αυτό, διεξάγεται επεξεργαςία μεγάλων ποςοτιτων γνωςτϊν πλθροφοριϊν. Λογικι κατά περίπτωςθ (Case based reasoning). Θ επίλυςθ ενόσ προβλιματοσ βαςίηεται ςτθν προθγοφμενθ επίλυςθ παρόμοιων προβλθμάτων. Μπαχεςιανά δίκτυα (Bayesian Networks). Βαςίηονται ςτθ ςτατιςτικι ανάλυςθ για τθ λιψθ αποφάςεων. Συμπεριφορικι ΤΝ (Behavior based AI). Μζκοδοσ τεμαχιςμοφ τθσ λογικισ διαδικαςίασ και ςτθ ςυνζχεια χειροκίνθτθσ οικοδόμθςθσ του αποτελζςματοσ. Θ υπολογιςτικι ΤΝ βαςίηεται ςτθ μάκθςθ μζςω επαναλθπτικϊν διαδικαςιϊν (ρφκμιςθ παραμζτρων). Θ μάκθςθ βαςίηεται ςε εμπειρικά δεδομζνα και ςε μθ ςυμβολικζσ μεκόδουσ [22]. Διακρίνεται ςε: Τεχνθτά Νευρωνικά Δίκτυα (Artificial Neural Networks) με πολφ ιςχυρζσ δυνατότθτεσ αναγνϊριςθσ προτφπων (Pattern Recognition). Προςομοιάηουν τθ λειτουργία των νευρϊνων των ζμβιων όντων. Συςτιματα Αςαφοφσ Λογικισ (Fuzzy Logic Computation). Αποτελοφν τεχνικζσ λιψθσ απόφαςθσ κάτω από αβεβαιότθτα. Βαςίηονται ςτθν φπαρξθ μθ-αυςτθρά διαχωριςμζνων καταςτάςεων, των οποίων θ βαρφτθτα λαμβάνεται υπόψθ κατά περίπτωςθ. Εξελικτικι Υπολογιςτικι (Evolutionary Computation). Θ ανάπτυξθ τουσ προζκυψε από τθ μελζτθ των ζμβιων οργανιςμϊν και αφοροφν ςε ζννοιεσ όπωσ του πλθκυςμοφ, τθσ μετάλλαξθσ και τθσ φυςικισ επιλογισ (επιβίωςθ του πιο προςαρμοςμζνου) για τθν ακριβζςτερθ επίλυςθ ενόσ προβλιματοσ. Οι μζκοδοι αυτοί μποροφν να διακρικοφν περαιτζρω ςε Εξελικτικοφσ Αλγορίκμουσ (Evolutionary Algorithms) και ςε Νοθμοςφνθ Σμινουσ (Swarm Intelligence). Στα παιχνίδια θ οπτικι θ οποία ενδιαφζρει τουσ ειδικοφσ είναι αυτι του μθχανικοφ. Σκοπόσ τουσ είναι θ δθμιουργία αλγορίκμων ζτςι ϊςτε να προςδϊςουν ςτουσ χαρακτιρεσ του παιχνιδιοφ χαρακτθριςτικά ανκρϊπων ι ηϊων. Συνικθ προβλιματα που χριηουν λφςθσ ςτα διάφορα παιχνίδια είναι [16]: Κίνηςη Movement 15

Αφορά τον τρόπο με τον οποίο κινοφνται οι χαρακτιρεσ. Αποτελεί κεμελιϊδθ απαίτθςθ ςε ζνα παιχνίδι και πρζπει να φαίνεται απόλυτα φυςιολογικι. Εφρεςθ Διαδρομισ Path Finding Αφορά τθ διαδρομι που κα ακολουκιςει ζνασ χαρακτιρασ για να κινθκεί ςτο περιβάλλον του παιχνιδιοφ. Θ επιλογι αυτι πρζπει να είναι λογικι, για παράδειγμα αποφυγι εμποδίων κατά μικοσ τθσ διαδρομισ που διανφει ο χαρακτιρασ μζχρι να φτάςει ςτον προοριςμό του. Λιψθ Αποφάςεων Decision Making Αφορά τθν ικανότθτα ενόσ χαρακτιρα να αποφαςίηει για τισ πράξεισ του και να τισ πραγματοποιεί. Στρατθγικι και Τακτικι Strategy and Tactics Αφορά το ςχεδιαςμό και τθν πραγματοποίθςθ των ενεργειϊν που κα ακολουκιςουν ομάδεσ χαρακτιρων για τθν επίτευξθ κάποιων ςτόχων. Μάκθςθ Learning Αφορά τθν ικανότθτα τθσ ΤΝ να προςαρμόηεται ςε κάκε παίχτθ, να μακαίνει κόλπα και τεχνικζσ και να παραμζνει ανταγωνιςτικι. Θ ΤΝ είναι, αν όχι το βαςικότερο, ζνα από τα κφρια χαρακτθριςτικά που επθρεάηουν το πόςο ελκυςτικό είναι ζνα παιχνίδι, αφοφ μπορεί να το κάνει ανταγωνιςτικό, αλθκοφανζσ και διαχρονικό. Για το λόγο αυτό, τα τελευταία χρόνια, γίνεται ςυςτθματικι ζρευνα ςε διάφορεσ τεχνικζσ, με ςκοπό να εξελιχκεί θ ΤΝ και ςε ςυνδυαςμό με τα γραφικά περιβάλλοντα τα οποία ζχουν αναπτυχκεί, να γίνουν τα παιχνίδια ακόμα πιο ελκυςτικά. 1.2 Περιγραφι του προβλιματοσ Στθ διπλωματικι αυτι μελετάται θ δυνατότθτα ανάπτυξθσ τεχνικϊν ςυνεργαςίασ για τθν εξερεφνθςθ αγνϊςτων περιοχϊν ςε Παιχνίδια Στρατθγικισ Πραγματικοφ Χρόνου με τθ χριςθ Νευροεξζλιξθσ. Στόχοσ επομζνωσ είναι ο ΠΛ να καταφζρει να διαχειριςτεί τισ μονάδεσ που ζχει ςτθ διάκεςθ του, ζτςι ϊςτε να εξερευνιςει μια άγνωςτθ περιοχι. Για να το καταφζρει αυτό μελετά και αξιολογεί τθν ςυμπεριφορά των μονάδων, και μζςα από μια εξελικτικι διαδικαςία αναπτφςςει ςυμπεριφορζσ που οδθγοφν ςτθν επίλυςθ του προβλιματοσ που του ζχει ανατεκεί. Απαραίτθτθ προχπόκεςθ είναι θ ανάπτυξθ 16

αυτϊν των ςτρατθγικϊν να γίνει χωρίσ τθν παρζμβαςθ του ανκρϊπου. Οι πόροι που ζχει ςτθ διάκεςθ του ο ΠΛ είναι οι μονάδεσ εξερεφνθςθσ και ςτόχοσ του θ ςυνεργαςία τουσ ϊςτε να ανακαλυφκεί ςτο μεγαλφτερο διακζςιμο ποςοςτό του χάρτθ μζςα ςε ζνα δεδομζνο χρονικό περικϊριο. 1.3 τόχοι τθσ Διπλωματικισ Για να κεωρθκεί ότι επιτυγχάνονται οι ςτόχοι πρζπει να ικανοποιθκοφν οι παρακάτω προχποκζςεισ: Εξζλιξθ-Βελτίωςθ-Προςαρμογι Ο πράκτορασ κα πρζπει να μπορεί να εξελίςςει τθ ςυμπεριφορά του. Ηθτοφμενο είναι να μπορεί να αναπτφξει διαφορετικζσ ςτρατθγικζσ για να επιτφχει το ίδιο αποτζλεςμα και να μθν παρουςιάηει ςτατικότθτα. Επίςθσ κα πρζπει να μπορεί να βελτιϊνει τθ ςυμπεριφορά του κακϊσ εξελίςςεται και να φτάνει μζχρι κάποιο ανϊτατο όριο. Τζλοσ πρζπει να είναι ςε κζςθ να προςαρμόςει τθ ςυμπεριφορά του αν παρατθριςει κάποιεσ αλλαγζσ ςτο περιβάλλον. Μνιμθ Ο πράκτορασ πρζπει να διακζτει μνιμθ. Πρζπει να είναι ςε κζςθ να διατθριςει πλθροφορίεσ που ζχει διδαχκεί κατά το παρελκόν και να μπορεί να τισ χρθςιμοποιεί ςτο παρόν ζτςι ϊςτε να λαμβάνει καλφτερεσ αποφάςεισ. υνεργαςία Οι μονάδεσ πρζπει να μποροφν να ςυνεργάηονται μεταξφ τουσ ϊςτε να μποροφν να επιτφχουν καλφτερα αποτελζςματα. Στο ςυγκεκριμζνο πρόβλθμα θ διαςπορά των μονάδων είναι ζνασ τρόποσ ςυνεργαςίασ, ϊςτε να μθν περιορίηονται ςε κάποια μικρι περιοχι του χάρτθ. 1.4 Μεκοδολογία Για να λειτουργιςει ο ΠΛ χρθςιμοποιεί ΤΝΔ. Για τθν ανάπτυξθ των ΤΝΔ χρθςιμοποιικθκε ο αλγόρικμοσ NeuroEvolution of Augmenting Topologies (NEAT). Ο 17

αλγόρικμοσ NEAT είναι ζνασ γενετικόσ αλγόρικμοσ για ανάπτυξθ ΤΝΔ που αναπτφχκθκε το 2002 από τον Ken Stanley ςτο Πανεπιςτιμιο του Τζξασ. Εξελίςςει ΤΝΔ αυξανόμενθσ πολυπλοκότθτασ με ςτόχο να φτάςει τθν πολυπλοκότθτα του προβλιματοσ. Λειτουργεί αλλάηοντασ τόςο το βάροσ των παραμζτρων όςο και τισ δομζσ του δικτφου, προςπακϊντασ να βρει ιςορροπία μεταξφ τθσ καταλλθλότθτασ των εξελιςςόμενων λφςεων και τθσ ποικιλίασ τουσ. Αυτι θ τεχνικι ζχει αποδειχτεί αποτελεςματικι ςε πλθκϊρα εφαρμογϊν, όπωσ ζλεγχοσ οχθμάτων και ρομπότ, επιτραπζηια παιχνίδια και βιντεοπαιχνίδια. Θ λειτουργία του βαςίηεται ςτθν εφαρμογι τριϊν ςθμαντικϊν αρχϊν: α) παρακολοφκθςθ των γονιδίων με χρονολογικά ςθμάδια που επιτρζπουν διαςταυρϊςεισ μεταξφ τοπολογιϊν, β) εφαρμογι ειδοδιαφοροποίθςθσ για διατιρθςθ των καινοτομιϊν, και γ) ανάπτυξθ τοπολογιϊν που ξεκινοφν από μια ελάχιςτθ δομι και αναπτφςςονται αυξθτικά [1]. 1.5 Οργάνωςθ Διάρκρωςθ Διπλωματικισ Σκοπόσ του παρόντοσ κεφαλαίου είναι να ειςάγει τον αναγνϊςτθ ςτο κζμα που πραγματεφεται θ παροφςα διπλωματικι εργαςία. Αρχικά, ζγινε μια ςφντομθ ειςαγωγι ςτθν ζννοια τθσ ΤΝ, τθν ιδζα από τθν οποία ξεκίνθςε, τα αντικείμενα με τα οποία αςχολείται, κακϊσ επίςθσ και μια ιςτορικι αναδρομι ςτθν εξζλιξθ τθν οποία ακολοφκθςε. Στθ ςυνζχεια παρουςιάςτθκε το πρόβλθμα που καλείται να αντιμετωπιςτεί και ορίςτθκαν οι ςτόχοι. Στο 2 ο κεφάλαιο ακολουκεί περαιτζρω ανάλυςθ του κεωρθτικοφ υπόβακρου που χρειάηεται για να γίνουν πιο κατανοθτά το πρόβλθμα και λφςεισ που προτείνονται. Πιο ςυγκεκριμζνα: Παρουςιάηονται τα ΠΣΠΧ, τα χαρακτθριςτικά τουσ, κακϊσ επίςθσ και τα προβλιματα που δθμιουργοφν και τα κακιςτοφν ωσ ζνα ενδιαφζρον αντικείμενο μελζτθσ. Ορίηεται θ ζννοια των ΝΔ, παρουςιάηονται τα ΒΝΔ και ςτθ ςυνζχεια αναλφεται ο τρόποσ με τον οποίο γίνεται προςπάκεια τα ΤΝΔ να μιμθκοφν τθ λειτουργία των βιολογικϊν. Ορίηεται θ ζννοια των ΕΑ και αναλφεται ο αλγόρικμοσ ΝΕΑΤ που χρθςιμοποιείται για τθν επίλυςθ του προβλιματοσ που καλείται να επιλφςει θ παροφςα εργαςία. 18

Στο 3 ο κεφάλαιο περιγράφεται θ πλατφόρμα πάνω ςτθν οποία ζγιναν τα πειράματα. Περιγράφεται θ δομι και θ λειτουργία των μεκόδων που χρθςιμοποιικθκαν για να επιλυκεί το πρόβλθμα. Στο 4 ο κεφάλαιο γίνεται ανάλυςθ των πειραμάτων που εκτελζςτθκαν και παρουςίαςθ των αποτελεςμάτων. Τζλοσ ςτο 5 ο κεφάλαιο καταγράφονται τα ςυμπεράςματα που προκφπτουν από τθ διπλωματικι αυτι εργαςία και γίνονται προτάςεισ για μελλοντικζσ επεκτάςεισ και μελζτεσ. 19

Κεφάλαιο 2 2 Θεωρθτικό Τπόβακρο 2.1 Ειςαγωγι Στο προθγοφμενο κεφάλαιο ζγινε μια μικρι ειςαγωγι ςτο αντικείμενο τθσ ΤΝ. Το κεφάλαιο αυτό κα περιοριςτεί ςτθν ανάλυςθ του κεωρθτικοφ υποβάκρου, που ςχετίηεται με το αντικείμενο που πραγματεφεται θ εργαςία. Μετά το τζλοσ του κεφαλαίου, ο αναγνϊςτθσ κα πρζπει να είναι ςε κζςθ να κατανοιςει τι είναι τα παιχνίδια ςτρατθγικισ και τι τα κάνει να προςφζρονται για ζρευνα πάνω ςτο αντικείμενο τθσ ΤΝ, τι είναι τα ΝΝ και ποιοσ ο ςκοπόσ τθσ χριςθσ τουσ και τζλοσ τι είναι οι εξελικτικοί αλγόρικμοι και πωσ λειτουργεί ο NEAT. Θ βιομθχανία παιχνιδιϊν είναι ζνασ οικονομικόσ τομζασ που απαςχολεί χιλιάδεσ εργαηομζνουσ παγκοςμίωσ ςε διάφορουσ τομείσ τθσ. Είναι ζνασ τομζασ με ςυνεχϊσ αυξανόμενα κζρδθ και μεγάλο ρυκμό ανάπτυξθσ, γεγονόσ που κακιςτά επιτακτικι τθν ζρευνα πάνω ςε νζεσ τεχνολογίεσ. Για το λόγο αυτό, θ ΤΝ είναι άρρθκτα ςυνδεδεμζνθ μαηί τθσ, κακϊσ αποτελεί τον ψθφιακό εγκζφαλο τον οποίο καλοφνται να αντιμετωπίςουν οι παίκτεσ. Όςο πιο εξελιγμζνοσ είναι αυτόσ ο εγκζφαλοσ, τόςο πιο ανταγωνιςτικό, επομζνωσ και ελκυςτικό γίνεται το παιχνίδι. Είναι λοιπόν εμφανζσ γιατί θ βιομθχανία αυτι εξαρτάται άμεςα από τθν εξζλιξθ και τθν βελτίωςθ των τεχνικϊν τθσ ΤΝ. 20

2.2 Παιχνίδια τρατθγικισ 2.2.1 Γενικά Τα Παιχνίδια Στρατθγικισ (Strategy Games) αποτελοφν μια ευρεία κατθγορία παιχνιδιϊν που περιλαμβάνουν τόςο επιτραπζηια παιχνίδια όπωσ το GO και το ςκάκι, όςο και βιντεοπαιχνίδια όπωσ το Starcraft [12] και το Civilization [10]. Ο όροσ τρατθγικι αναφζρεται ςτθν αναγκαιότθτα τθσ φπαρξθσ ενόσ ςχεδίου δράςθσ με ςκοπό τθν επιτυχία ενόσ μακροπρόκεςμου ςτόχου. Τα παιχνίδια αυτά επομζνωσ απαιτοφν ο παίκτθσ να είναι ςε κζςθ να αναπτφξει ςχζδιο δράςθσ (ςτρατθγικι) και με βάςθ αυτό να πάρει αποφάςεισ οι οποίεσ κα κακορίςουν τθν ζκβαςθ του παιχνιδιοφ. Τα παιχνίδια αυτά λόγω τθσ πολυπλοκότθτασ των προβλθμάτων που προςφζρουν αποτζλεςαν και αποτελοφν ακόμα και ςιμερα αντικείμενο μελζτθσ τθσ ΤΝ. Τα Παιχνίδια Στρατθγικισ χωρίηονται ςε δφο βαςικζσ υποκατθγορίεσ, τα Παιχνίδια τρατθγικισ Πραγματικοφ Χρόνου (ΠΣΠΧ Real Time Strategy Games) και τα Παιχνίδια τρατθγικισ Βαςιςμζνα ςε Γφρουσ (ΠΧΒΓ Turn Based Strategy Games). Τα ΠΣΠΧ απαιτοφν ο παίκτθσ να είναι ςε κζςθ να πάρει γριγορεσ αποφάςεισ και να δράςει άμεςα μιασ και τα γεγονότα εξελίςςονται ςε πραγματικό χρόνο. Τα παιχνίδια αυτά είναι ιδιαίτερα δθμοφιλι, γεγονόσ που αποδεικνφεται και από τθν πλθκϊρα τουρνουά που γίνονται αν τον κόςμο ςε ΠΣΠΧ όπωσ το Starcraft και το Warcraft III τθσ εταιρίασ Blizzard. Σε αντίκεςθ με τα ΠΣΠΧ, τα ΠΣΒΓ περιζχουν λιγότερθ δράςθ μιασ και ο παίκτθσ πρζπει να περιμζνει τθ ςειρά του για να εκδθλϊςει τθν κίνθςθ του. Τα παιχνίδια όμωσ αυτά απαιτοφν μεγαλφτερο βάκοσ ςκζψθσ και λιψθ δυςκολότερων αποφάςεων μιασ και οι παίκτεσ διακζτουν περιςςότερο χρόνο ϊςτε να οργανϊςουν τθ ςτρατθγικι τουσ. Ζνα από τα αρχαιότερα και ίςωσ το πιο πολφπλοκο ΠΣΒΓ είναι το GO, ενϊ όςον αφορά τθ ςφγχρονθ εποχι από τα πιο δθμοφιλι που ζχει να επιδείξει είναι το Sid Meier s Civilization τθσ 2K Games και το Heroes Of Might And Magic τθσ Ubisoft. Εικόνα 1: Στιγμιότυπα από τα παιχνίδια Starcraft και Civilization 21

2.2.2 Παιχνίδια τρατθγικισ Πραγματικοφ Χρόνου Ο ςτόχοσ του παίκτθ ςτα ΠΣΠΧ είναι ςυνικωσ να δθμιουργιςει ςτρατοφσ ικανοφσ να καταςτρζψουν τισ εχκρικζσ βάςεισ, αλλά ταυτόχρονα και να αμυνκοφν ςε τυχόν εχκρικζσ επιδρομζσ. Για να επιτευχκεί αυτόσ ο ςκοπόσ ο παίκτθσ πρζπει να βρει και να ςυλλζξει τουσ κατάλλθλουσ πόρουσ, να αναπτφξει τθ βάςθ του χτίηοντασ κτίρια που του δίνουν νζεσ δυνατότθτεσ και να φτιάξει διάφορεσ μονάδεσ με ςυγκεκριμζνεσ ιδιότθτεσ. Πρζπει επίςθσ να αποκτιςει τον ζλεγχο του χάρτθ και να χρθςιμοποιιςει το περιβάλλον που του προςφζρεται με τον καλφτερο δυνατό τρόπο. Όλεσ αυτζσ οι αποφάςεισ που πρζπει να λθφκοφν ςε ςυνδυαςμό με τον περιοριςμό του πραγματικοφ χρόνου προςφζρουν ζνα ευρφ και με μεγάλο ενδιαφζρον πεδίο ζρευνασ [11]. Σε ζνα τυπικό παιχνίδι ςτρατθγικισ ο παίκτθσ κα κλθκεί να κάνει τα εξισ: Να εκπαιδεφςει εργάτεσ (workers). Οι εργάτεσ μαηεφουν πόρουσ τουσ οποίοσ ο παίκτθσ μπορεί να χρθςιμοποιιςει για να εκπαιδεφςει νζουσ εργάτεσ, να χτίςει κτίρια, να εκπαιδεφςει ςτρατιϊτεσ και να ερευνιςει για νζεσ τεχνολογίεσ. Επίςθσ είναι αυτοί που κα χτίςουν τα κτίρια ζτςι ϊςτε να επεκτακεί και να εξελιχτεί θ βάςθ. Να επιλζξει το τεχνολογικό δζντρο που κα ακολουκιςει. Ανάλογα με τα κτίρια και τισ τεχνολογίεσ που κα αποφαςίςει να εξελίξει ο παίκτθσ του δίνονται διαφορετικζσ δυνατότθτεσ. Ζτςι, πρζπει να είναι ςε κζςθ να κάνει τισ επιλογζσ που κα τον βοθκιςουν περιςςότερο ςτο να επιτφχει το ςκοπό του. Να εκπαιδεφςει μονάδεσ μάχθσ. Πρόκειται για μονάδεσ που κα χρθςιμοποιιςει ο παίκτθσ, ζτςι ϊςτε να επιτεκεί ςτουσ αντιπάλουσ του αλλά και να αμυνκεί ςε πικανζσ επιδρομζσ. Θ επιλογι των μονάδων που κα εκπαιδεφςει πρζπει να γίνεται με γνϊμονα τισ αδυναμίεσ του αντιπάλου και τον τρόπο παιχνιδιοφ που κα επιλζξει να ακολουκιςει. Να εξερευνιςει το περιβάλλον. Στθν αρχι του παιχνιδιοφ ο χάρτθσ είναι άγνωςτοσ ςτον παίκτθ (καλφπτεται από τθ λεγόμενθ ομίχλθ του πολζμου fog of war). Ζτςι ο παίκτθσ πρζπει να χρθςιμοποιιςει κάποιεσ μονάδεσ του, ϊςτε να εξερευνιςει τον άγνωςτο αυτό χάρτθ, και να αποκτιςει κυριαρχία ςτα ςτρατθγικισ ςθμαςίασ ςθμεία που μπορεί να περιζχει και να ςυλλζξει πλθροφορίεσ και για τισ δραςτθριότθτεσ των αντιπάλων. Ηθτοφμενο από τθν ΤΝ είναι να λάβει τισ κατάλλθλεσ αποφάςεισ και να επιτφχει το ςυντονιςμό τουσ ςε πραγματικό χρόνο, ζτςι ϊςτε το παιχνίδι να γίνει ανταγωνιςτικό. 22

Οι ειδικοί ςτα ΠΣΠΧ ζχουν αναπτφξει διάφορεσ ςτρατθγικζσ και τεχνικζσ μικροδιαχείριςθσ και τακτικισ. Σε αντίκεςθ με τθν ΤΝ οι άνκρωποι είναι ςε κζςθ να επιλζξουν τεχνικζσ ςε διάφορα επίπεδα αφαιρετικότθτασ, ζτςι ϊςτε να ανταποκρίνονται ςτισ επιλογζσ των αντιπάλων τουσ, κακϊσ επίςθσ και να βελτιϊςουν αυτζσ τισ τεχνικζσ. Το επίπεδο ςτο οποίο ζχει φτάςει θ ΤΝ απζχει από τθ ςυλλογιςτικι και τθν ικανότθτα λιψθσ αποφάςεων του ανκρϊπου. Είναι χαρακτθριςτικό ότι οι άνκρωποι παίκτεσ (human players) προτιμοφν να αντιμετωπίηουν άλλουσ ανκρϊπουσ όταν παίηουν τζτοια παιχνίδια και αυτό γιατί προσ το παρόν οι δυνατότθτεσ τθσ ΤΝ υςτεροφν ςε ςχζςθ με αυτζσ του ανκρϊπου[14]. 2.2.3 Σεχνθτι Νοθμοςφνθ ςε Παιχνίδια τρατθγικισ Πραγματικοφ Χρόνου Ο ρόλοσ τθσ ΤΝ ςε ζνα ΠΣΠΧ είναι να προςομοιϊςει τθν ανκρϊπινθ ςυμπεριφορά κακϊσ επίςθσ και να λάβει και να ςυντονίςει τισ αποφάςεισ με τζτοιο τρόπο ϊςτε να αυτζσ να φτάνουν το επίπεδο επιλογισ και ςυντονιςμοφ που μπορεί να πετφχει ο άνκρωποσ. Με βάςθ το παραπάνω υπόβακρο ενδείκνυται θ χριςθ αρχιτεκτονικισ πολλαπλϊν πρακτόρων (multi-agent architecture) και ο ςυντονιςμόσ των αποφάςεων τουσ ςε πραγματικό χρόνο. Οι πράκτορεσ αυτοί όταν ςυνδυαςτοφν ςε ζνα ςφςτθμα φτιάχνουν ζνα Bot, το οποίο αναλαμβάνει να προςομοιϊςει τθ ςυμπεριφορά του ανκρϊπου παίκτθ. Ζνα Bot περιλαμβάνει ςυνικωσ τουσ παρακάτω πράκτορεσ: Strategy Manager. Είναι υπεφκυνοσ για τθν επιλογι ςτρατθγικισ και τισ χρονικζσ ςτιγμζσ των επικζςεων. Income Manager. Διαχειρίηεται τουσ εργάτεσ, τθ ςυλλογι πόρων και τθν επζκταςθ. Construction Manager. Είναι υπεφκυνοσ για τθ διαχείριςθ των αιτιςεων για τθν καταςκευι κτιρίων. Tactics Manager. Εκτελεί τα κακικοντα μάχθσ και τθ ςυμπεριφορά μικροδιαχείριςθσ. Recon Manager. Είναι υπεφκυνοσ για τθν ανίχνευςθ. 2.2.4 Σεχνικζσ που χρθςιμοποιοφνται ςιμερα 23

Μια από τθσ πιο ςυνθκιςμζνεσ τεχνικζσ που χρθςιμοποιοφνται για τθ δθμιουργία των ΠΛ ςτα ΠΣΠΧ είναι το Scripting [2]. Σφμφωνα με αυτι τθ μζκοδο ο πράκτορασ ακολουκεί προκακοριςμζνεσ ενζργειεσ. Επειδι θ ςυμπεριφορά αυτι όμωσ οδθγεί ςε προβλεψιμότθτα, θ μζκοδοσ αυτι επεκτείνεται με τθ χριςθ του Dynamic Scripting [3, 20], μια προςζγγιςθ ενιςχυμζνθσ μάκθςθσ όπου τα scripts δθμιουργοφνται δυναμικά κατά τθ διάρκεια του παιχνιδιοφ. Άλλεσ διαδεδομζνεσ τεχνικζσ είναι οι μθχανζσ πεπεραςμζνων καταςτάςεων (finite-state machines) [16, 19] και αςαφισ λογικι (fuzzy logic) [16, 19]. Για τθν επίλυςθ του προβλιματοσ εφρεςθσ τθσ βζλτιςτθσ διαδρομισ χρθςιμοποιοφνται κυρίωσ ο A*-αλγόρικμοσ (A*-algorithm) [13, 16] και ο αλγόρικμοσ του Dijkstra (Dijkstra algorithm) [16]. Για τθν κίνθςθ και τθ ςυνεργαςία των ομάδων χρθςιμοποιοφνται τεχνικζσ όπωσ το flocking [4, 13], οι χάρτεσ επιρροισ [4, 13, 15] (influence maps) και τθσ νοθμοςφνθσ ςμινουσ (swarm intelligence) [17]. Τζλοσ για τθν δθμιουργία δυναμικϊν ςυμπεριφορϊν χρθςιμοποιοφνται τεχνθτά νευρωνικά δίκτυα για τθ λιψθ των αποφάςεων, όπωσ για παράδειγμα οι αυτό-οργανοφμενοι χάρτεσ (self-organizing maps SOMs) [4]. Για τθν εκπαίδευςθ των δικτφων αυτϊν γίνεται χριςθ τεχνικϊν ΕΑ. 2.3 Νευρωνικά Δίκτυα 2.3.1 Γενικά Με τον όρο ΝΔ *6+ ςυνικωσ αναφερόμαςτε ςε ΤΝΔ τα οποία αποτελοφνται από τεχνθτοφσ νευρϊνεσ και κόμβουσ. Παραδοςιακά ο όροσ αναφερόταν ςτα ΒΝΔ, που είναι θ δεφτερθ κατθγορία ΝΔ και τα ςυναντάμε ςτουσ ηωντανοφσ οργανιςμοφσ. Θ κεωρθτικι βάςθ για τα ΝΔ προτάκθκε ανεξάρτθτα από τουσ Alexander Bain (1873) και William James (1890), με τισ κεωρίεσ τουσ να είναι παρόμοιεσ. Στθ ςυνζχεια πειράματα πάνω ςτθ κεωρία του James ζγιναν από τον C. S. Sherrington (1898). Το πρϊτο υπολογιςτικό μοντζλο ΝΔ δθμιουργικθκε από τουσ Warren Sturgis McCulloch και Walter Pitts (1943) και ονομάςτθκε λογικι κατωφλίου (threshold logic). Το 1940 ο ψυχολόγοσ Donald Hebb δθμιοφργθςε μια υπόκεςθ ενόσ μθχανιςμοφ μάκθςθσ βαςιςμζνου ςτθν πλαςτικότθτα των νευρϊνων που ονομάςτθκε μάκθςθ Hebbian και κεωρείτε ωσ ο πρϊτοσ κανόνασ Εκπαίδευςθσ χωρίσ Επίβλεψθ (ΕχΕ, Unsupervised). Το 1958 ο Frank Rosenblatt δθμιοφργθςε τον αλγόρικμο perceptron με ςκοπό τθν αναγνϊριςθ προτφπων. Θ ζρευνα πάνω ςτα ΝΔ άρχιςε να παρακμάηει όταν το 1969 ο 24

Marvin Minsky και ο Seymour Papert ανακάλυψαν δφο ςθμαντικά προβλιματα, αρχικά ότι τα απλά ΝΔ δεν ιταν ςε κζςθ να επεξεργαςτοφν το κφκλωμα exclusive-or και επιπλζον ότι οι υπολογιςτζσ δεν ιταν αρκετά εξελιγμζνοι για να χειριςτοφν αποτελεςματικά τον μεγάλο χρόνο που χρειαηόταν για τθν επεξεργαςία των ΝΔ. Ζτςι θ ζρευνα ςτα ΝΔ κακυςτζρθςε ζωσ ότου να επιτευχκεί μεγαλφτερθ υπολογιςτικι ιςχφσ. Σθμαντικό επίςθσ ρόλο ςτθν μετζπειτα ζρευνα ζπαιξε και ο αλγόρικμοσ back propagation, ο οποίοσ κατάφερε να λφςει αποτελεςματικά το πρόβλθμα του exclusiveor. 2.3.2 Βιολογικά Νευρωνικά Δίκτυα Εικόνα 2: Βιολογικόσ Νευρϊνασ Ο ανκρϊπινοσ εγκζφαλοσ δεν είναι απλά μια γκρι πθκτι μάηα που λειτουργεί ςαν τθν Κεντρικι Μονάδα Επεξεργαςίασ (ΚΜΕ CPU) ενόσ υπολογιςτι. Το εξωτερικό ςτρϊμα του εγκεφάλου είναι ζνα φφλλο ιςτοφ που ονομάηεται φλοιόσ (cortex). Κόβοντασ τον φλοιό μπορεί να δει κανείσ δυο ςτρϊματα: ζνα γκρι και ζνα λευκό. Το γκρι είναι μόνο μερικά χιλιοςτά παχφ και ςε αυτό βρίςκονται διςεκατομμφρια μικροςκοπικά κφτταρα (cells) που ονομάηονται νευρϊνεσ (neurons). Το λευκό ςτρϊμα, το οποίο καταλαμβάνει και τον περιςςότερο χϊρο ςτον φλοιό, αποτελείται από μυριάδεσ ενϊςεισ μεταξφ των νευρϊνων. Ο φλοιόσ είναι τςαλακωμζνοσ ςαν καρφδι, για να μπορζςει να χωρζςει μια 25

μεγάλθ επιφάνεια ςε ζνα μικρό χϊρο. Αυτό επιτρζπει ςτον φλοιό να χωρζςει πολφ περιςςότερουσ νευρϊνεσ απ ότι αν θ επιφάνεια ιταν ομαλι. Ο ανκρϊπινοσ εγκζφαλοσ περιζχει περίπου 100 διςεκατομμφρια από τζτοιεσ μονάδεσ επεξεργαςίασ [5]. Τουσ πρϊτουσ εννζα μινεσ τθσ ανκρϊπινθσ ηωισ, τα κφτταρα αυτά δθμιουργοφνται με καταπλθκτικοφσ ρυκμοφσ τθσ τάξθσ των 25,000 το λεπτό. Διαφζρουν αρκετά από τα υπόλοιπα κφτταρα του ςϊματοσ γιατί το κακζνα ζχει ζνα νιμα που μοιάηει με καλϊδια και ονομάηεται άξονασ (axon), το οποίο επεκτείνεται μερικζσ φορζσ αρκετά εκατοςτά, και χρθςιμοποιείται για να μεταφζρει ςιμα ςτουσ άλλουσ νευρϊνεσ. Κάκε νευρϊνασ αποτελείται από ζνα βολβό ςε ςχιμα αςτεριοφ, που ονομάηεται ςϊμα (soma), και περιζχει τον πυρινα (nucleus) του κυττάρου, τον άξονα, και ζνα πλικοσ από άλλα μικρότερα νιματα που ονομάηονται δενδρίτεσ (dendrites) και διακλαδϊνονται προσ κάκε κατεφκυνςθ. Ο άξονασ διακλαδϊνεται ςε μικρότερα κλαδιά, που ονομάηονται τερματικά ςφναψθσ (synaptic terminal) [5]. Κάκε νευρϊνασ ςυνδζεται μζςω των δενδριτϊν ςε περίπου 10 4 άλλουσ νευρϊνεσ. Αυτό φτιάχνει 10 15 πικανζσ ςυνδζςεισ μζςα ςε ζνα κεφάλι, ιςοδφναμο με ζνα ςφγχρονο τθλεφωνικό κζντρο με πάνω από 100 εκατομμφρια ςυνδζςεισ *5+. Οι νευρϊνεσ ανταλλάςουν ςιματα χρθςιμοποιϊντασ μια θλεκτροχθμικι διαδικαςία. Τα ειςερχόμενα ςιματα λαμβάνονται ςτισ διαςταυρϊςεισ όπου τα τερματικά ςφναψθσ και οι δενδρίτεσ ενϊνονται. Αυτζσ οι διαςταυρϊςεισ είναι γνωςτζσ ςαν ςυνάψεισ (synapses). Το πϊσ τα ςιματα αυτά μεταφζρονται μζςα ςτον εγκζφαλο είναι αρκετά πολφπλοκο, αλλά το ςθμαντικό είναι ότι όπωσ ζνασ ςφγχρονοσ υπολογιςτισ λειτουργεί με τον χειριςμό ςειρϊν από 1 και 0, ζτςι και οι νευρϊνεσ του εγκεφάλου είτε ενεργοποιοφνται, είτε όχι. Θ τάςθ του ςιματοσ που εκπζμπεται δεν διαφζρει, οφτε και θ ςυχνότθτα. Ο νευρϊνασ με κάποιο τρόπο ακροίηει όλα τα ειςερχόμενα ςιματα από τισ ςυνάψεισ, και αν το ςυνολικό ςιμα ξεπερνάει μια τιμι κατωφλίου, ο νευρϊνασ ενεργοποιείται και ζνα ςιμα ςτζλνεται ςτον άξονα. Αν το ςυνολικό ςιμα δεν ξεπερνάει τθν τιμι κατωφλίου, ο νευρϊνασ δεν ενεργοποιείται. Αν και θ παραπάνω περιγραφι είναι πολφ απλοποιθμζνθ, είναι αρκετι για το ςκοπό τον οποίο παρουςιάηεται εδϊ *5+. Αυτό το τεράςτιο ποςό ςυνδεςιμότθτασ είναι που δίνει ςτον εγκζφαλο τισ απίςτευτεσ δυνάμεισ του. Αν και ο κάκε νευρϊνασ λειτουργεί μόνο ςτα 100Hz, επειδι κακζνασ λειτουργεί παράλλθλα ςαν ανεξάρτθτθ μονάδα επεξεργαςίασ, ο ανκρϊπινοσ εγκζφαλοσ ζχει οριςμζνεσ αξιοςθμείωτεσ δυνατότθτεσ *5+: 26

Μπορεί να μάκει χωρίσ επίβλεψθ. Ζνα από τα πιο εντυπωςιακά πράγματα που μπορεί να κάνει ο εγκζφαλοσ, είναι να μακαίνει, και να μακαίνει χωρίσ επίβλεψθ. Αν ζνασ νευρϊνασ διεγείρεται με υψθλι ςυχνότθτα για μεγάλο χρονικό διάςτθμα, θ δφναμθ αυτισ τθσ ςφνδεςθσ αλλάηει με κάποια διαδικαςία, γεγονόσ που δίνει τθ δυνατότθτα ςτο νευρϊνα να μπορεί να ενεργοποιθκεί τθν επομζνθ φορά πιο εφκολα. Το αντίκετο ςυμβαίνει αν ζνασ νευρϊνασ δεν διεγερκεί για κάποιο χρόνο. Τότε, θ αποτελεςματικότθτα τθσ ςφνδεςθσ φκίνει. Αυτι θ διαδικαςία είναι γνωςτι ςαν πλαςτικότθτα. Παρουςιάηει ανοχι ςε ηθμιζσ. Ο εγκζφαλοσ μπορεί να εκτελεί ςφνκετα κακικοντα ακόμα και αν ζνα μεγάλο μζροσ τουσ ζχει πάκει ηθμιά. Ζνα διάςθμο πείραμα δίδαξε ςε ποντίκια πϊσ να πλοθγθκοφν μζςα ςε ζνα λαβφρινκο. Οι επιςτιμονεσ ςτθ ςυνζχεια αφαιροφςαν ςυνεχϊσ όλο και μεγαλφτερα κομμάτια του εγκεφάλου των ποντικιϊν. Ανακάλυψαν ότι τα ποντίκια μποροφςαν να βρουν τθν ζξοδο ακόμα και όταν τεράςτια τμιματα του εγκεφάλου τουσ είχαν αφαιρεκεί, αποδεικνφοντασ ότι θ γνϊςθ που αποκθκεφεται ςτον εγκζφαλο δεν είναι τοπικι. Άλλα πειράματα ζδειξαν ότι αν γίνει κάποια μικρι κάκωςθ ςτον εγκζφαλο, οι νευρϊνεσ είναι ςε κζςθ να ξαναφτιάξουν αυτι τθ ςφνδεςθ. Μπορεί να επεξεργαςτεί πλθροφορίεσ εξαιρετικά αποτελεςματικά. Αν και θ ταχφτθτα των θλεκτροχθμικϊν ςθμάτων μεταξφ των νευρϊνων είναι πολφ μικρι ςε ςχζςθ με μια ψθφιακι κεντρικι μονάδα επεξεργαςίασ, ο εγκζφαλοσ μπορεί να επεξεργαςτεί ταυτόχρονα μεγάλα ποςά πλθροφορίασ μιασ και οι νευρϊνεσ λειτουργοφν παράλλθλα. Για παράδειγμα, ο οπτικόσ φλοιόσ επεξεργάηεται εικόνεσ που ειςζρχονται μζςω του αμφιβλθςτροειδοφσ χιτϊνα ςε περίπου 100ms. Δεδομζνθσ τθσ ςυχνότθτασ επεξεργαςίασ των 100Hz ενόσ μζςου νευρϊνα, αυτό είναι μόνο δζκα χρονικά βιματα, γεγονόσ απίςτευτο αν ςκεφτεί κανείσ τθν πλθροφορία που λαμβάνεται μζςω τον ματιϊν. Μπορεί να γενικεφςει. Ζνα από τα πράγματα ςτα οποία είναι εξαιρετικά καλόσ ο εγκζφαλοσ είναι ότι μπορεί να αναγνωρίηει πρότυπα και να γενικεφει βαςιςμζνοσ ςε πλθροφορίεσ που ιδθ γνωρίηει. Για παράδειγμα, μποροφμε να αναγνωρίςουμε τθν γραφι ενόσ άλλου ανκρϊπου ακόμα και αν δεν τον ζχουμε γνωρίςει ποτζ. Ζχει ςυνείδθςθ. Συνείδθςθ είναι θ νοθτικι δυνατότθτα ενόσ οργανιςμοφ θ οποία του επιτρζπει, ςε προζκταςθ των αιςκιςεων του, να γνωρίηει και να κατανοεί τον εαυτό του, το περιβάλλον, τα ςυμβαίνοντα γφρω του και μζςα του 27

και να ζχει τθν αίςκθςθ τθσ «κζςθσ» και τθσ ςθμαςίασ του ςτον κόςμο κακϊσ και του αντίκτυπου των πράξεων του. 2.3.3 Σεχνθτά Νευρωνικά Δίκτυα Τα ΤΝΔ είναι δομθμζνα, όπωσ και ο εγκζφαλοσ, με τθν ζννοια ότι αποτελοφνται από μικρζσ δομικζσ μονάδεσ που λζγονται τεχνθτοί νευρϊνεσ (artificial neurons). Ζνασ τεχνθτόσ νευρϊνασ είναι μια απλοποιθμζνθ ζκδοςθ ενόσ βιολογικοφ νευρϊνα, με τθ διαφορά ότι διεγείρεται θλεκτρονικά. Το πόςοι τεχνθτοί νευρϊνεσ ςυνκζτουν ζνα ΤΝΔ ποικίλει ανάλογα με το ςκοπό για τον οποίο αυτό κα χρθςιμοποιθκεί. Ζτςι για παράδειγμα, ζνα ΤΝΔ μπορεί να χρειάηεται λιγότερουσ από δζκα νευρϊνεσ για να λειτουργιςει ενϊ ζνα άλλο μερικζσ χιλιάδεσ *5+. Σε αντίκεςθ με τουσ βιολογικοφσ νευρϊνεσ, οι τεχνθτοί νευρϊνεσ δεν μοιάηουν με κάτι ςυγκεκριμζνο, αλλά είναι μια αφθρθμζνθ δομι *5+. Μια αναπαράςταςθ ενόσ τεχνθτοφ νευρϊνα κα μποροφςε να είναι αυτι τθσ Εικόνασ 3. Εικόνα 3: Τεχνθτόσ Νευρϊνασ Το B ςτουσ γκρι κφκλουσ αντιπροςωπεφει ζναν αρικμό κινθτισ υποδιαςτολισ που ονομάηεται βάροσ (weight). Κάκε είςοδοσ ζχει ζνα βάροσ που ςχετίηεται με αυτι και αυτά τα βάρθ είναι που κακορίηουν τθ ςυμπεριφορά του ΝΔ. Αυτά τα βάρθ μπορεί να είναι είτε κετικζσ είτε αρνθτικζσ τιμζσ. Ζτςι μποροφν να αςκοφν είτε διεγερτικι είτε αναςταλτικι επιρροι. Κακϊσ θ είςοδοσ ειςζρχεται ςτο νευρϊνα, πολλαπλαςιάηεται με το αντίςτοιχο βάροσ. Μια ςυνάρτθςθ ςτον πυρινα, θ ςυνάρτθςθ ενεργοποίθςθσ (activation function), ακροίηει όλεσ αυτζσ τισ ειςόδουσ που ζχουν προςαρμοςτεί μετά τον πολλαπλαςιαςμό με το αντίςτοιχο βάροσ και δίνει μια τιμι ενεργοποίθςθσ (activation value), θ οποία μπορεί να είναι τόςο κετικι όςο και αρνθτικι. Αν αυτι είναι 28

πάνω από ζνα οριςμζνο κατϊφλι (threshold), τότε ο νευρϊνασ βγάηει ςαν ζξοδο ζνα ςιμα με τιμι 1. Αν θ τιμι δεν ξεπερνάει το κατϊφλι, τότε θ ζξοδοσ του νευρϊνα είναι 0. Αυτι είναι θ πιο απλι ζξοδοσ που μπορεί να δϊςει ζνασ νευρϊνασ και ονομάηεται βθματικι ςυνάρτθςθ (step function). Θ βθματικι ςυνάρτθςθ πολλζσ φορζσ ςυναντάται ςτθ βιβλιογραφία και με τον όρο ςυνάρτθςθ κατωφλίου (Heaviside Function). Άλλθ μια ςυνάρτθςθ που επίςθσ ςυναντάται πολφ ςυχνά ςτθ βιβλιογραφία είναι θ ςιγμοειδισ [5]. Ζνασ τεχνθτόσ νευρϊνασ (ςτο εξισ κα αναφζρεται απλά ςαν νευρϊνασ) μπορεί να ζχει οποιονδιποτε αρικμό από ειςόδουσ. Ζςτω λοιπόν ότι ζνασ νευρϊνασ αποτελείται από n ειςόδουσ. Αυτζσ κα μποροφςαν να εκφραςτοφν μακθματικά ωσ: χ 1, χ 2, χ 3, χ 4, χ n Τα βάρθ κα μποροφςαν αντίςτοιχα να εκφραςτοφν ωσ: Β 1, Β 2, Β 3, Β 4, Β n Θ ςυνάρτθςθ ενεργοποίθςθσ επομζνωσ κα μποροφςε να εκφραςτεί ωσ: α = Β 1 χ 1 + Β 2 χ 2 + Β 3 χ 3 + Β 4 χ 4 + + Β n χ n = ι=n ι=0 Β ι χ ι Αν τϊρα y είναι θ ζξοδοσ του νευρϊνα μποροφμε να ορίςουμε τθ ςυνάρτθςθ εξόδου ωσ: y = f α Για τισ δφο ςυνικεισ ςυναρτιςεισ που αναφζρκθκαν ζχουμε: 29

1. Βθματικι ςυνάρτθςθ 2. ιγμοειδισ ςυνάρτθςθ f α = 0, α < threshold 1, α > threshold f α = 1 1+e a p, όπου το p είναι ζνασ αρικμόσ που ελζγχει το ςχιμα τθσ καμπφλθσ και ςυνικωσ ζχει τιμι 1. Εικόνα 4: Βθματικι ςυνάρτθςθ και Σιγμοειδισ Συνάρτθςθ Όπωσ λοιπόν οι βιολογικοί νευρϊνεσ ςτον εγκζφαλο ςυνδζονται μεταξφ τουσ, ζτςι και οι τεχνθτοί ςυνδζονται για να δθμιουργιςουν ΤΝΔ. Υπάρχουν πολλοί τρόποι με τουσ οποίουσ μπορεί να γίνει θ ςφνδεςθ των νευρϊνων. Ο πιο κατανοθτόσ και περιςςότερο διαδεδομζνοσ είναι θ ςφνδεςθ ςε ςτρϊματα (layers). Αυτοφ του τφπου τα ΤΝΔ ονομάηονται πρόςκιασ τροφοδότθςθσ (feedforward) [5]. Όπωσ φαίνεται ςτθν Εικόνα 5, κάκε είςοδοσ από το ςτρϊμα ειςόδου (input layer) ςτζλνεται ςτον κάκε νευρϊνα που βρίςκεται ςτο κρυφό ςτρϊμα (hidden layer) και ςτθ ςυνζχεια οι ζξοδοι από το κρυφό ςτρϊμα ςτζλνονται ςαν είςοδοι ςτουσ νευρϊνεσ του ςτρϊματοσ εξόδου (output layer) [5]. Μπορεί να υπάρχει οποιοςδιποτε αρικμόσ κρυφϊν ςτρωμάτων, αλλά ςυνικωσ ζνα κρυφό ςτρϊμα είναι αρκετό για να αντιμετωπίςει τα περιςςότερα προβλιματα. Επίςθσ είναι ςυνθκιςμζνο πζραν τθσ πρόςκιασ τροφοδότθςθσ να υπάρχει και ανάδραςθ 30

(recursion) των εξόδων. Ανάδραςθ ζχουμε όταν θ ζξοδοσ ενόσ νευρϊνα τροφοδοτεί τθν είςοδο ενόσ άλλου νευρϊνα που βρίςκεται ςτο ίδιο ι ςε προθγοφμενο ςτρϊμα *5+. Εικόνα 5: Ζνα ΤΝΔ πρόςκιασ τροφοδότθςθσ Μπορεί να υπάρχει οποιοςδιποτε αρικμόσ κρυφϊν ςτρωμάτων, αλλά ςυνικωσ ζνα κρυφό ςτρϊμα είναι αρκετό για να αντιμετωπίςει τα περιςςότερα προβλιματα. Επίςθσ είναι ςυνθκιςμζνο πζραν τθσ πρόςκιασ τροφοδότθςθσ να υπάρχει και ανάδραςθ (recursion) των εξόδων. Ανάδραςθ ζχουμε όταν θ ζξοδοσ ενόσ νευρϊνα τροφοδοτεί τθν είςοδο ενόσ άλλου νευρϊνα που βρίςκεται ςτο ίδιο ι ςε προθγοφμενο ςτρϊμα *5+. Στθν πράξθ, μερικά προβλιματα δεν απαιτοφν καν τθν φπαρξθ κρυφοφ ςτρϊματοσ, και το μόνο που χρειάηεται είναι να ενωκοφν απλϊσ οι είςοδοι με τουσ νευρϊνεσ ςτο ςτρϊμα εξόδου. Επειδι θ ταχφτθτα του ΝΔ μειϊνεται, κακϊσ ο αρικμόσ των νευρϊνων και των ςτρωμάτων αυξάνει, είναι επικυμθτό το ΝΔ να παραμζνει όςο το δυνατό μικρότερο *5+. Αφοφ δθμιουργθκεί θ αρχιτεκτονικι του ΤΝΔ, πρζπει να γίνει θ εκπαίδευςθ του. Για να γίνει αυτό χρθςιμοποιοφνται αλγόρικμοι, οι οποίοι ονομάηονται Αλγόρικμοι Εκπαίδευςθσ. Υπάρχει μεγάλθ ποικιλία από τζτοιουσ αλγορίκμουσ και θ επιλογι τουσ γίνεται ανάλογα με τθ φφςθ του προβλιματοσ που χριηει προσ επίλυςθ. Υπάρχουν τρεισ προςεγγίςεισ όςον αφορά τουσ αλγορίκμουσ εκπαίδευςθσ, θ Εκπαίδευςθ με Επίβλεψθ (ΕμΕ, Supervised Learning) και θ Εκπαίδευςθ χωρίσ Επίβλεψθ (ΕχΕ, Unsupervised Learning) και Ενιςχυτικι Εκπαίδευςθ (ΕΕ, Reinforcement 31

Learning). Στθν ΕμΕ χρειάηεται ζνα ςετ εκπαίδευςθσ (training set), το οποίο χρθςιμοποιείται για τθν προςαρμογι των βαρϊν. Ο πιο κοινόσ αλγόρικμοσ για ΕμΕ ονομάηεται backpropagation. Στθν ΕχΕ δεν υπάρχει ςετ εκπαίδευςθσ και το ΤΝΔ πρζπει να μάκει από μόνο του να χειρίηεται με πιο αποτελεςματικό τρόπο τα δεδομζνα. Ζνασ από τουσ πιο γνωςτοφσ αλγορίκμουσ που χρθςιμοποιείται για εκπαίδευςθ ΝΔ και ανικει ςτθν κατθγορία τθσ ΕχΕ είναι οι Self-Organizing Maps (SOMs) [4]. Τζλοσ, όςον αφορά τθν ΕΕ, θ μάκθςθ γίνεται μζςω ςυνεχοφσ αλλθλεπίδραςθσ του ΤΝΔ με το περιβάλλον εκπαίδευςθσ. Στθν κατθγορία των αλγορίκμων ΕΕ ανικουν οι Εξελικτικοί Αλγόρικμοι (ΕΑ), ζνασ από τουσ οποίουσ είναι και o ΝΕΑΣ, ο οποίοσ αποτελεί βάςθ για τθ λφςθ του προβλιματοσ που τζκθκε ςτθν παροφςα διπλωματικι εργαςία και παρουςιάηεται ςτθ ςυνζχεια του κεφαλαίου. 2.4 Εξελικτικοί Αλγόρικμοι 2.4.1 Γενικά Βαςικι ιδζα πίςω από τθ δθμιουργία των Εξελικτικϊν Αλγορίκμων (ΕΑ) αποτζλεςε θ προςπάκεια μίμθςθσ τθσ εξελικτικισ διαδικαςίασ των ηωντανϊν οργανιςμϊν. Υπάρχουν πολλζσ παραλλαγζσ ΕΑ, όλεσ όμωσ οι τεχνικζσ ζχουν τα εξισ κοινά χαρακτθριςτικά: δεδομζνου ενόσ πλθκυςμοφ, θ επιρροι του περιβάλλοντοσ προκαλεί φυςικι επιλογι (επιβιϊνει ο καλφτεροσ) και αυτό οδθγεί ςε βελτίωςθ των χαρακτθριςτικϊν του πλθκυςμοφ. Μερικζσ από τισ πιο ςυνθκιςμζνεσ τεχνικζσ που ςυναντϊνται ςτθ βιβλιογραφία είναι: οι Γενετικοί Αλγόρικμοι (Genetic Algorithms) [21], ο Γενετικόσ Προγραμματιςμόσ (Genetic Programming) *11, 18, 21+, ο Εξελικτικόσ Προγραμματιςμόσ (Evolutionary Programming) [21], οι Εξελικτικζσ τρατθγικζσ (Evolutionary Strategies) [21] και θ Νευροεξζλιξθ (NeuroEvolution) [9]. 2.4.2 Φυςικι Εξζλιξθ Μιασ και οι ΕΑ προςπακοφν να μιμθκοφν τθ φυςικι εξζλιξθ των οργανιςμϊν, κα βοθκοφςε ςτθν κατανόθςθ τουσ να γίνει μια ςφντομθ αναφορά ςτο πωσ γίνεται θ εξζλιξθ των ηωντανϊν οργανιςμϊν. 32

Κάκε ηωντανόσ οργανιςμόσ αποτελείται από μια μεγάλθ ςυλλογι κυττάρων (cells). Κάκε κφτταρο περιζχει αλυςίδεσ (strings) από DNA, που ονομάηονται χρωμοςϊματα (chromosomes). Κάκε χρωμόςωμα αποτελείται από μικρότερεσ δομζσ που ονομάηονται γονίδια (genes), τα οποία με τθ ςειρά τουσ αποτελοφνται από άλλεσ ουςίεσ που ονομάηονται νουκλεοτίδια (nucleotides). Υπάρχουν μόνο τεςςάρων ειδϊν νουκλεοτίδια: θ αδενίνθ, θ κυμίνθ, θ γουανίνθ και θ κυτοςίνθ. Αυτά τα νουκλεοτίδια ενϊνονται μεταξφ τουσ ςε μεγάλεσ αλυςίδεσ γονιδίων, και το κάκε γονίδιο εκφράηει ζνα ςυγκεκριμζνο χαρακτθριςτικό του οργανιςμοφ (πχ το χρϊμα των ματιϊν). Τα διάφορα χαρακτθριςτικά που μπορεί να προςδίδει ζναν γονίδιο (πχ ξανκά, καςτανά ι κόκκινα μαλλιά) ονομάηονται αλλθλομορφίεσ (alleles) και θ φυςικι τουσ δομι μαηί με το μικοσ του χρωμοςϊματοσ ονομάηεται τόποσ (locus) [5]. Τα χρωμοςϊματα που βρίςκονται ςτο κφτταρο ενόσ οργανιςμοφ περιζχουν τθν πλθροφορία που είναι απαραίτθτθ, ζτςι ϊςτε αυτόσ να αναπαραχκεί. Θ ςυλλογι των χρωμοςωμάτων ενόσ οργανιςμοφ είναι γνωςτι ωσ το γονιδίωμα του (genome). Θ κατάςταςθ ςτθν οποία βρίςκονται οι αλλθλομορφίεσ ςε ζνα ςυγκεκριμζνο γονιδίωμα είναι γνωςτι ωσ γονότυποσ (genotype) του οργανιςμοφ. Αυτά αποτελοφν τουσ κανόνεσ με τουσ οποίουσ φτιάχνεται ο αλθκινόσ οργανιςμόσ, ο οποίοσ ονομάηεται φαινότυποσ (phenotype). Με πιο απλά λόγια, ο γονότυποσ είναι θ ςυνταγι και οι προδιαγραφζσ που χρειάηονται για να φτιαχτεί ο οργανιςμόσ, ενϊ ο κάκε οργανιςμόσ που φτιάχνεται αποτελεί ζναν φαινότυπο *5+. Οι περιςςότεροι οργανιςμοί ςτθ φφςθ για να αναπαραχκοφν πρζπει να ηευγαρϊςουν. Το αν κα το καταφζρουν εξαρτάται από τθν ικανότθτα τουσ ςε διάφορουσ παράγοντεσ, όπωσ για παράδειγμα αν κα μπορζςουν να βρουν τροφι και νερό, αν κα μπορζςουν να επιβιϊςουν από τουσ κυνθγοφσ τουσ και αν αποτελοφν ελκυςτικό ταίρι. Όλα αυτά τα χαρακτθριςτικά εξαρτϊνται με κάποιο τρόπο από τον γονότυπο του οργανιςμοφ. Μερικά γονίδια λοιπόν κα βοθκιςουν τον οργανιςμό ϊςτε να γίνει επιτυχθμζνοσ, ενϊ άλλα κα τον εμποδίςουν. Θ μζτρθςθ τθσ επιτυχίασ του οργανιςμοφ καλείται καταλλθλότθτα (fitness). Όςο πιο κατάλλθλοσ είναι ζνασ οργανιςμόσ, τόςο μεγαλφτερθ είναι θ πικανότθτα να παράγει απογόνουσ *5+. Όταν δφο οργανιςμοί ηευγαρϊνουν και αναπαράγονται, τα χρωμοςϊματα τουσ αναμιγνφονται μεταξφ τουσ και φτιάχνουν νζα που αποτελοφνται από γονίδια που προζρχονται και από τουσ δφο γονείσ. Αυτι θ διαδικαςία ονομάηεται αναςυνδιαςμόσ (recombination) ι διαςταφρωςθ (crossover). Ζτςι, οι απόγονοι μπορεί να 33

κλθρονομιςουν επικυμθτά γονίδια και να γίνουν πιο επιτυχθμζνοι από τουσ προγόνουσ τουσ ι να κλθρονομιςουν μθ επικυμθτά γονίδια και να μθν είναι καν ςε κζςθ να αναπαραχκοφν. Το ςθμαντικό είναι ότι οι πιο κατάλλθλοι οργανιςμοί παρουςιάηουν τισ μεγαλφτερεσ πικανότθτεσ να αναπαραχκουν. Για το λόγο αυτό, κάκε γενιά τείνει να παρουςιάηει ςθμεία καλφτερθσ επιβίωςθσ και ικανότθτασ ηευγαρϊματοσ ςε ςχζςθ με τθν προθγοφμενθ *5+. 2.4.3 Περιγραφι Λειτουργίασ των Εξελικτικϊν Αλγορίκμων Βαςικό ςτοιχείο των ΕΑ είναι ο πλθκυςμόσ (population) από κάποιεσ μονάδεσ (individual) που δρουν ςε ζνα περιβάλλον, με το οποίο αλλθλεπιδροφν και μζςα ςτο οποίο εξελίςςονται. Χρειάηεται λοιπόν μια ςυνάρτθςθ καταλλθλότθτασ (fitness function), θ οποία χρθςιμοποιείται ςαν μετρικό για τθν βελτίωςθ του πλθκυςμοφ. Σκοπόσ είναι να μεγιςτοποιείται αυτι θ ςυνάρτθςθ. Με βάςθ αυτι τθ ςυνάρτθςθ, επιλζγονται οι καλφτεροι υποψιφιοι μιασ γενιάσ για να αποτελζςουν τουσ προγόνουσ (parents) τθσ επόμενθσ γενιάσ. Οι απόγονοι (offspring) δθμιουργοφνται από αναςυνδιαςμό πολλζσ φορζσ χρθςιμοποιείται ο όροσ διαςταφρωςθ αντί του αναςυνδιαςμοφ και μεταλλάξεισ (mutations) των προγόνων. Ο αναςυνδιαςμόσ εκτελείται μεταξφ δφο ι και περιςςότερων προγόνων και οδθγεί ςτθ δθμιουργία ενόσ απογόνου. Οι μεταλλάξεισ γίνονται ςε ζναν πρόγονο κάκε φορά και οδθγοφν ςτθ δθμιουργία ενόσ απογόνου. Οι απόγονοι αυτοί μαηί με τουσ καλφτερουσ υποψιφιουσ ςυναγωνίηονται με βάςθ τθ ςυνάρτθςθ καταλλθλότθτασ για μια κζςθ ςτθν επόμενθ γενιά [21]. Οι ΕΑ κατζχουν ζναν αρικμό από χαρακτθριςτικά που τουσ κάνουν να ανικουν ςτθν κατθγορία των μεκόδων παραγωγισ-και-δοκιμισ (generate-and-test) [21]: Βαςίηονται ςτον πλθκυςμό, Χρθςιμοποιοφν αναςυνδιαςμό και μεταλλάξεισ για να αναμίξουν πλθροφορία που περιζχουν οι μονάδεσ του πλθκυςμοφ, Είναι ςτοχαςτικοί. 34

Εικόνα 6: Ψευδοκϊδικασ γενικοφ ςχεδιαγράμματοσ Εξελικτικϊν Αλγορίκμων 2.5 Η μζκοδοσ NeuroEvolution of Augmenting Topologies NEAT Θ Νευροεξζλιξθ, δθλαδι εξζλιξθ ενόσ ΤΝΔ με τθ χριςθ ΕΑ, ζχει πρόςφατα αναδειχκεί ςε μια πολφ δυναμικι προςζγγιςθ για τθν υλοποίθςθ ςφνκετων ςυμπεριφορϊν από πράκτορεσ λογιςμικοφ. Τζτοια δίκτυα μποροφν να δεχτοφν ςαν ειςόδουσ ζναν αρικμό ερεκιςμάτων, που προζρχονται είτε από πραγματικοφσ αιςκθτιρεσ είτε από κάποια προςομοίωςθ και να υλοποιιςουν μθ γραμμικζσ χαρτογραφιςεισ εξόδων που αντιπροςωπεφουν ενζργειεσ ςτον πραγματικό κόςμο, όπωσ κίνθςθ, πιάςιμο αντικειμζνων, χριςθ εργαλείων ι όπλων. Θ ανάδραςθ ςε ζνα ΤΝΔ προςδίδει τθ δυνατότθτα αφομοίωςθσ πλθροφορίασ με τθν πάροδο του χρόνου και λιψθσ εφρωςτων αποφάςεων ακόμα και ςε περιβάλλοντα μερικϊσ παρατθριςιμα, ςτα οποία άλλεσ τεχνικζσ ΕΕ είναι δφςκολο να εφαρμοςτοφν. Για το λόγο αυτό, θ Νευροεξζλιξθ αποτελεί ζνα χριςιμο εργαλείο για τθν καταςκευι ζξυπνων πρακτόρων για βιντεοπαιχνίδια, επιτραπζηια παιχνίδια, κινοφμενα ρομπότ και αυτόνομα οχιματα *8+. Θ μζκοδοσ NEAT αρχικά αναπτφχκθκε για να λφςει δφςκολα προβλιματα ελζγχου και λιψθσ αποφάςεων. Το ΤΝΔ ελζγχει τουσ πράκτορεσ που επιλζγουν τισ ενζργειεσ που κα γίνουν βαςιςμζνο ςτισ ειςόδουσ που δζχεται. Ενϊ οι παλαιότερεσ μζκοδοι υλοποιοφςαν ΤΝΔ που είχαν είτε ςυγκεκριμζνθ τοπολογία, είτε αυκαίρετα τυχαία τοπολογία, ο NEAT είναι θ πρϊτθ μζκοδοσ που ξεκινάει τθν εξζλιξθ με ζναν πλθκυςμό από μικρά και απλά δίκτυα και οδθγεί ςε πιο πολφπλοκεσ τοπολογίεσ κακϊσ περνοφν οι γενιζσ, οδθγϊντασ ςε αυξανόμενα εξελιγμζνεσ ςυμπεριφορζσ. Τα δίκτυα ανάδραςθσ, που υλοποιοφνται με τθν μζκοδο NEAT, παρουςιάηουν ευρωςτία ςε ςυνεχι 35

περιβάλλοντα και ςε περιβάλλοντα που απαιτοφν μνιμθ. Θ μζκοδοσ αυτι, ζχει εφαρμοςτεί με επιτυχία ςτο παιχνίδι NERO και πριν από αυτό ςε εφαρμογζσ ιςορροπίασ ςτφλων, ςε ςυςτιματα προειδοποίθςθσ αυτοκινιτων και ςτο παιχνίδι GO [9]. Θ δομι του γονιδιϊματοσ του NEAT αποτελείται από γονίδια νευρϊνων (neuron genes) και γονίδια ενϊςεων (link genes). Ζνα γονίδιο ζνωςθσ περιζχει πλθροφορίεσ ςχετικά με τα δφο γονίδια νευρϊνων που ενϊνει, το βάροσ που αντιςτοιχεί ςτθν ςφνδεςθ αυτι, μια ςθμαία που δείχνει αν θ ζνωςθ είναι ενεργοποιθμζνθ, μια ςθμαία που δείχνει αν θ ζνωςθ είναι ανάδραςθ και ζναν αρικμό καινοτομίασ (innovation number). Ζνα γονίδιο νευρϊνα περιγράφει τθ λειτουργία του νευρϊνα ςτο δίκτυο, δθλαδι αν είναι νευρϊνασ ειςόδου (input neuron), νευρϊνασ εξόδου (output neuron), κρυφόσ νευρϊνασ (hidden neuron) ι νευρϊνασ προκατάλθψθσ (bias neuron). Κάκε γονίδιο επίςθσ περιζχει και ζναν μοναδικό αρικμό ταυτότθτασ (identification number) [5]. Εικόνα 7: Κωδικοποίθςθ δικτφου με τθ μζκοδο NEAT Υπάρχουν τεςςάρων ειδϊν τελεςτζσ μετάλλαξθσ ςτθν υλοποίθςθ του NEAT που χρθςιμοποιικθκε ςτθν παροφςα διπλωματικι εργαςία: μια μετάλλαξθ για προςκικθ γονιδίου ζνωςθσ ςτο γονιδίωμα, μια μετάλλαξθ για προςκικθ γονιδίου νευρϊνα, μια μετάλλαξθ για διατάραξθ τθσ τιμισ του βάρουσ μιασ ζνωςθσ, και μια μετάλλαξθ που 36

μπορεί να αλλάξει ςτθν καμπφλθ απόκριςθσ τθσ ςυνάρτθςθσ ενεργοποίθςθσ για κάκε νευρϊνα *5+. Στθν Εικόνα 8 φαίνεται το αποτζλεςμα τθσ προςκικθσ γονιδίου νευρϊνα ςε δφο ΤΝΔ. Εικόνα 8: Παραδείγματα Μεταλλάξεων Όςον αφορά τισ καινοτομίεσ που αναφζρκθκαν παραπάνω, αυτζσ ςυμβαίνουν κάκε φορά που μια νζα δομι ειςζρχεται ςτο γονιδίωμα, είτε προςκζτοντασ ζνα γονίδιο ζνωςθσ, είτε προςκζτοντασ ζνα γονίδιο νευρϊνα, και θ χριςθ τθσ είναι να κρατάει ζνα αρχείο με τισ αλλαγζσ που ζχουν γίνει. Διατθρείται ζτςι μια βάςθ δεδομζνων με όλεσ τισ καινοτομίεσ, όπου κάκε καινοτομία ζχει το δικό τθσ μοναδικό αρικμό ταυτότθτασ. Κάκε φορά που μια ζνωςθ ι ζνασ νευρϊνασ προςτίκεται, γίνεται αναφορά ςτθ βάςθ δεδομζνων για να ελεγχκεί αν ζχει ξαναδθμιουργθκεί. Αν υπάρχει, τότε ςτο νζο γονίδιο αντιςτοιχίηεται ο υπάρχων αρικμόσ καινοτομίασ. Αν δεν υπάρχει, τότε δθμιουργείται μια νζα καινοτομία, προςτίκεται ςτθ βάςθ δεδομζνων, και ςτο γονίδιο αντιςτοιχίηεται θ ςυγκεκριμζνθ καινοτομία. Με τθ χριςθ των καινοτομιϊν τα γονίδια είναι ςε κζςθ να αποκθκεφουν πλθροφορίεσ ςχετικά με τισ δομικζσ αλλαγζσ που ζχουν γίνει. Αυτζσ οι πλθροφορίεσ είναι απαραίτθτεσ για τθ ςχεδίαςθ ζγκυρων τελεςτϊν αναςυνδιαςμοφ [5]. Τζλοσ, ςθμαντικό κομμάτι τθσ μεκόδου είναι και θ ειδογζνεςθ (speciation), δθλαδι ο διαχωριςμόσ του πλθκυςμοφ ςε είδθ (species). Τα είδθ είναι ομάδεσ πλθκυςμοφ με όμοια χαρακτθριςτικά που μποροφν να διαςταυρωκοφν επιτυχϊσ μεταξφ τουσ και να παράγουν υγιείσ και γόνιμουσ απογόνουσ και ταυτόχρονα, είναι αναπαραγωγικά 37

απομονωμζνεσ από άλλεσ ομάδεσ. Στθ φφςθ ο πιο ςυνθκιςμζνοσ μθχανιςμόσ ειδογζνεςθσ είναι θ γεωγραφία. Αν για παράδειγμα ζνασ πλθκυςμόσ χωριηόταν ςε δφο τμιματα και το κάκε τμιμα αναγκαηόταν να ηιςει ςε δφο τελείωσ διαφορετικζσ περιοχζσ, λόγω των διαφορϊν ςτο περιβάλλον θ εξζλιξθ που κα ακολουκοφςαν οι δφο πλθκυςμοί με τθν πάροδο των γενεϊν κα οδθγοφςε ςε μεγάλθ απόκλιςθ μεταξφ τουσ. Τελικά, φςτερα από πολλζσ γενιζσ, δεν κα μποροφςαν να ηευγαρϊςουν και να αναπαραχκοφν μεταξφ τουσ μζλθ από τουσ διαφορετικοφσ πλθκυςμοφσ *5]. Θ μζκοδοσ NEAT χρθςιμοποιεί τθν ειδογζνεςθ για να δϊςει τθν ευκαιρία εξζλιξθσ ςε νζεσ τοπολογίεσ. Με αυτό τον τρόπο οι μονάδεσ ςυναγωνίηονται μεταξφ τουσ, μόνο με μονάδεσ του είδουσ τουσ και όχι με τον υπόλοιπο πλθκυςμό. Με τον τρόπο αυτό προςτατεφονται από πρόωρθ εξαφάνιςθ και τουσ δίνεται θ ευκαιρία να εξελιχτοφν μζςα ςτο περιβάλλον *5+. 38

Κεφάλαιο 3 3 Πλατφόρμα Αξιολόγθςθσ 3.1 Γενικά Στο κεφάλαιο αυτό, περιγράφεται θ πλατφόρμα που χρθςιμοποιικθκε για να γίνουν τα διάφορα πειράματα και να εξεταςτεί κατά πόςο θ λφςθ που προτείνεται ικανοποιεί τθν επίτευξθ των ςτόχων που τζκθκαν. Θ πλατφόρμα αυτι βαςίηεται ςτθν πλατφόρμα που ζχει αναπτφξει και περιγράφει ο Mat Buckland ςτο βιβλίο του AI Techniques for Game Programming *5+ και τθ χρθςιμοποιεί για τθν εκπαίδευςθ ναρκαλιευτϊν. Ο κϊδικασ τθσ πλατφόρμασ που περιγράφεται ςτο βιβλίο αυτό βρίςκεται ςτο ςυνοδευτικό CD- ROM του βιβλίου. Πάνω ςε αυτι τθν πλατφόρμα ζγιναν διάφορεσ προςκικεσ και αλλαγζσ, ζτςι ϊςτε να μπορεί να ανταποκρικεί ςτισ απαιτιςεισ του προβλιματοσ που καλείται να επιλφςει θ ςυγκεκριμζνθ διπλωματικι εργαςία. Για τθν ανάπτυξθ τθσ χρθςιμοποιικθκε προγραμματιςμόσ ςε περιβάλλον Windows με χριςθ τθσ γλϊςςασ C++. 39

3.2 Πλατφόρμα Θ πλατφόρμα αξιολόγθςθσ προςομοιϊνει το περιβάλλον ςτο οποίο ο ΠΛ αναλαμβάνει να εκπαιδεφςει τον πλθκυςμό. Δθμιουργεί ζνα παράκυρο ςτο οποίο εμφανίηεται ο χάρτθσ, τον οποίο αναλαμβάνουν να εξερευνιςουν οι μονάδεσ του πλθκυςμοφ κακϊσ και διάφορα εμπόδια μζςα ςε αυτόν. Από εδϊ και ςτο εξισ οι μονάδεσ του πλθκυςμοφ κα ονομάηονται ανιχνευτζσ (scout units). Δθμιουργεί επίςθσ ζνα ακόμα παράκυρο ςτο οποίο εμφανίηονται οι φαινότυποι των τεςςάρων καλφτερων ανιχνευτϊν, δθλαδι το ΝΔ που αποτελεί τον εγκζφαλο των ανιχνευτϊν. Στθν Εικόνα 9 φαίνεται ζνα ςτιγμιότυπο οκόνθσ ςτο οποίο φαίνονται αυτά τα δφο παράκυρα. Εικόνα 9: Στιγμιότυπο οκόνθσ τθσ πλατφόρμασ αξιολόγθςθσ Για τθν εκπαίδευςθ των ΝΔ χρθςιμοποιείται θ μζκοδοσ NEAT. Ο χρόνοσ κατά τον οποίο τρζχει θ εφαρμογι χωρίηεται ςε γενιζσ. Κάκε γενιά αποτελείται από μια ςυγκεκριμζνθ χρονικι περίοδο. Κατά τθ διάρκεια αυτισ τθσ περιόδου δίνεται θ δυνατότθτα ςτουσ ανιχνευτζσ να αλλθλεπιδράςουν με το περιβάλλον και να προςπακιςουν να ανιχνεφςουν όςο δυνατόν μεγαλφτερθ επιφάνεια του χάρτθ ςτον οποίο βρίςκονται. Στθν αρχι κάκε γενιάσ όλοι οι ανιχνευτζσ ξεκινοφν από το ίδιο ςθμείο και αρχίηουν τθν ανίχνευςθ του χάρτθ. Ο χάρτθσ αποτελείται από ζναν αρικμό κελιϊν (cells), τα οποία οι ανιχνευτζσ καλοφνται να επιςκεφτοφν. Στο τζλοσ κάκε γενιάσ γίνονται οι διάφορεσ 40

διαςταυρϊςεισ και μεταλλάξεισ ςτα γονιδιϊματα των ανιχνευτϊν και ζτςι προκφπτουν νζα γονιδιϊματα. Αυτά αξιολογοφνται μαηί με τα παλιά γονιδιϊματα και από τα καλφτερα γονιδιϊματα δθμιουργοφνται οι φαινότυποι των ανιχνευτϊν τθσ επόμενθσ γενιάσ. Επίςθσ οι φαινότυποι των καλφτερων ανιχνευτϊν τθσ γενιάσ που τελειϊνει διατθροφνται για να δθμιουργιςουν ομάδεσ ανιχνευτϊν, με ςκοπό τθν επίλυςθ του προβλιματοσ που ζχει τεκεί. Πιο ςυγκεκριμζνα, ςε ζνα ΠΣΠΧ ο παίκτθσ ςυνικωσ χρθςιμοποιεί ζναν μικρό αρικμό από μονάδεσ με ςκοπό να εξερευνιςει το χάρτθ. Θ ςυμπεριφορά αυτι των παικτϊν προςπακεί να προςομοιωκεί ςτθν προκειμζνθ περίπτωςθ. Για να γίνει αυτό, από τα καλφτερα γονιδιϊματα που ζχουν εξελιχτεί, δθμιουργοφνται φαινότυποι, που φτιάχνουν μια μικρι ομάδα ανιχνευτϊν (τζςςερισ ι πζντε ανιχνευτζσ ανάλογα με το πείραμα) που προςπακοφν να εξερευνιςουν το χάρτθ. Οι ανιχνευτζσ αυτοί δζχονται ερεκίςματα από το περιβάλλον μζςω των αιςκθτιρων τουσ και με αυτά τα δεδομζνα παράγουν εξόδουσ, ςφμφωνα με τισ οποίεσ κινοφνται οι ανιχνευτζσ. Θ καταλλθλότθτα του κάκε ανιχνευτι εξαρτάται από τον αρικμό κελιϊν που ζχει επιςκεφτεί. Όςο περιςςότερα κελιά επιςκζπτεται, τόςο μεγαλφτερθ είναι θ καταλλθλότθτα του. Το ςυνολικό ποςοςτό του χάρτθ που εξερευνοφν οι μικρζσ αυτζσ ομάδεσ, είναι θ βαςικι μετρικι που χρθςιμοποιείται για να αξιολογθκεί ςυνολικά θ ςυμπεριφορά του ΠΛ. Ο ζλεγχοσ τθσ κίνθςθσ του ανιχνευτι γίνεται από τισ δφο εξόδουσ του ΝΔ, οι οποίεσ δίνουν τθ ςχετικι ταχφτθτα των τροχϊν του. Για να είναι ομαλι και ρεαλιςτικι θ κίνθςθ των ανιχνευτϊν, θ τιμι τθσ εξόδου προκφπτει από μία ςιγμοειδι καμπφλθ, όμοια με αυτι που παρουςιάηεται ςτθν Εικόνα 5 του Κεφαλαίου 2. Ζνασ ανιχνευτισ με τα διανφςματα των δυνατϊν κινιςεων των τροχϊν του φαίνεται ςτθν Εικόνα 10. Εικόνα 10: Διανφςματα εξόδων ανιχνευτι 41

Όςον αφορά τουσ αιςκθτιρεσ του ανιχνευτι, επιλζχκθκε να είναι πζντε ςτον αρικμό. Στθν Εικόνα 11 παρουςιάηεται ζνασ ανιχνευτισ με τουσ αιςκθτιρεσ του. Από αυτοφσ τουσ πζντε αιςκθτιρεσ, προκφπτουν οι ζντεκα από τισ δϊδεκα ειςόδουσ του ΝΔ. Θ δωδζκατθ είναι είςοδοσ πόλωςθσ (bias input). Κάκε αιςκθτιρασ ελζγχει τθν απόςταςθ του ανιχνευτι από το εμπόδιο που βλζπει (αν υπάρχει εμπόδιο), Εικόνα 12, και από αυτζσ τισ αποςτάςεισ προκφπτουν οι πζντε πρϊτεσ είςοδοι του ΝΔ. Επίςθσ ελζγχει τθ ςυχνότθτα με τθν οποία ζχει γίνει επίςκεψθ ςτο κελί, ςτο οποίο βρίςκεται θ άκρθ του, και ανάλογα με τθν τιμι τθσ ςυχνότθτασ επιςτρζφει μια τιμι. Ζτςι προκφπτουν οι υπόλοιπεσ πζντε είςοδοι του ΝΔ. Τζλοσ, θ ενδζκατθ είςοδοσ προκφπτει από το αν ζχει γίνει ςφγκρουςθ με κάποιο εμπόδιο ι όχι. Εικόνα 11: Αιςκθτιρεσ ανιχνευτι Εικόνα 12: Ζξοδοι αιςκθτιρων με βάςθ τθν απόςταςθ από κάποιο εμπόδιο 42

Τζλοσ, ςτθν Εικόνα 13 παρουςιάηεται ζνα ςτιγμιότυπο οκόνθσ ςτο οποίο φαίνεται θ περιοχι που ανακάλυψε θ ομάδα των καλφτερων ανιχνευτϊν και το ποςοςτό του χάρτθ που αντιςτοιχεί ςτθ ςυγκεκριμζνθ περιοχι. Το ποςοςτό κάκε γενιάσ διατθρείται ςε ζνα αρχείο τφπου txt και χρθςιμοποιείται ςτθ ςυνζχεια για τθ δθμιουργία διαγραμμάτων, με βάςθ τα οποία γίνεται θ αξιολόγθςθ του ΠΛ. Εικόνα 13: Στιγμιότυπο οκόνθσ ομάδασ καλφτερων ανιχνευτϊν 43