ΕΚΠ 413 / ΕΚΠ 606 Αυτόνοµοι (Ροµ οτικοί) Πράκτορες

Transcript

1 ΕΚΠ 413 / ΕΚΠ 606 Αυτόνοµοι (Ροµ οτικοί) Πράκτορες Πράκτορες και Περιβάλλοντα Τµήµα Ηλεκτρονικών Μηχανικών και Μηχανικών Υ ολογιστών Πολυτεχνείο Κρήτης

2 Σήµερα Πράκτορες χαρακτηριστικά στοιχεία είδη πρακτόρων αυτόνοµοι πράκτορες Περιβάλλοντα χαρακτηρισµοί και ιδιότητες Μάθηση ενισχυτική µάθηση Ροµ οτικοί Πράκτορες

3 Πράκτορας και Περιβάλλον

4 Πράκτορας αισθητήρες: επενεργητές: αισθητήρες: µάτια, χέρια, αυτιά, πόδια, µύτη, στόµα,... επενεργητές: κάµερες, ανιχνευτές υπέρυθρων,... αισθητήρες: πληκτρολόγιο, κινητήρες, βραχίονες, αρχεία, ρόδες, πακέτα... δικτύου,... επενεργητές: εκτύπωση στην οθόνη, εγγραφή στο δίσκο, Πράκτορας (agent) έχει αισθητήρες (sensors) και ε ενεργητές (actuators) αντιλαµβάνεται το εριβάλλον µέσω των αισθητήρων επεµβαίνει στο εριβάλλον µέσω των ε ενεργητών ανθρώ ινοι (human) πράκτορες ροµ οτικοί (robotic) πράκτορες λογισµικοί (software) πράκτορες

5 Πράκτορας Αντιλήψεις (percepts) η πληροφορία από τους αισθητήρες σε κάθε χρονική στιγµή Ενέργειες (actions) η εκδήλωση των επενεργητών σε κάθε χρονική στιγµή Ακολουθία αντιλήψεων (percept sequence) πλήρες ιστορικό αντιλήψεων χρονικά ταξινοµηµένο Συνάρτηση ράκτορα (agent function) απεικόνιση από ακολουθίες αντιλήψεων σε ενέργειες εξωτερικός προσδιορισµός: πίνακας εσωτερική υλοποίηση: πρόγραµµα

6 Ένας Α λός Πράκτορας... [Α, [Β, [Α, Ακολουθία Καθαρό], Σκονισµένο] Καθαρό] αντιλήψεων [Β, [Α, Σκονισµένο] Καθαρό] Αναρρόφηση Ενέργεια Αριστερά εξιά εξιά... Αντιλήψεις ωµάτιο (Α/Β), Σκόνη (ναι/όχι) Ενέργειες Αριστερά, εξιά, Αναρρόφηση Program Vacuum_Cleaner... if (σκόνη) then αναρρόφηση if (Α) then δεξιά if (Β) then αριστερά...

7 Ορθολογικοί Πράκτορες Μέτρο α όδοσης (performance measure) αντικειµενικός ορισµός επιτυχούς συµπεριφοράς του πράκτορα αρχή σχεδιασµού: τι θέλουµε να κάνει, όχι ώς θα το κάνει Ορθολογικός ράκτορας (rational agent) επιλέγει ενέργειες που µεγιστοποιούν το µέτρο απόδοσης χρησιµοποιεί την ακολουθία αντιλήψεων και την έµφυτη γνώση Ορθολογικότητα δε σηµαίνει παντογνωσία ή τελειότητα µεγιστοποίηση της αναµενόµενης απόδοσης

8 Αυτόνοµοι Πράκτορες Υ ολογισµός συνάρτησης ράκτορα ενσωµατωµένες προεπιλεγµένες ενέργειες (έµφυτη γνώση) επιλογή επόµενης ενέργειας µε βάση τις αντιλήψεις (απόφαση) τροποποίηση και βελτίωση της συνάρτησης (µάθηση) Αυτονοµία σταδιακή αποδέσµευση από την αρχική (έµφυτη) γνώση ικανότητα απόφασης και µάθησης τελική συµπεριφορά ανεξάρτητη από αρχική γνώση θεωρητικά, ένας πλήρως αυτόνοµος πράκτορας αρκεί

9 Περιβάλλον Εργασιών Περιβάλλον εργασιών (task environment) Μέτρο Performance measure, Environment, Actuators, Sensors Περιβάλλον=Πρόβληµα, Πράκτορας=Λύση Περιγραφή PEAS ποιότητα τιµή α όδοσης Περιβάλλον e-shops www επιλογή Ε ενεργητές αναζήτηση συνδέσµου κωδικοί σελίδες Αισθητήρες καταλληλότητα προϊόντων HTML Πράκτορας comparison για Internet storesσυµπλήρωση Shopping αποδοτικότηταεταιρίες µεταφορώνεκτύπωση αποδείξεων φόρµαςτρόποι τιµές πληρωµής

10 Ιδιότητες Περιβάλλοντος Παρατηρησιµότητα πλήρως παρατηρήσιµο (fully observable) µερικώς παρατηρήσιµο (partially observable) Προβλεψιµότητα αιτιοκρατικό (deterministic) στοχαστικό (stochastic) στρατηγικό (strategic) Εξάρτηση επεισοδιακό (episodic) ακολουθιακό (sequential)

11 Ιδιότητες Περιβάλλοντος Μεταβλητότητα στατικό (static) δυναµικό (dynamic) ηµιδυναµικό (semi dynamic) Περιγραφή ανταγωνιστικό (competitive) ή συνεργατικό (cooperative) διακριτό (discrete) συνεχές (continuous) Πλήθος µονοπρακτορικό (single-agent) πολυπρακτορικό (multi-agent)

12 Περιβάλλοντα ύσκολα εριβάλλοντα µερικώς παρατηρήσιµα στοχαστικά ακολουθιακά δυναµικά συνεχή πολυπρακτορικά Εύκολα εριβάλλοντα πλήρως παρατηρήσιµα αιτιοκρατικά επεισοδιακά στατικά διακριτά µονοπρακτορικά

13 Σκάκι Σταυρόλεξο µε Παραδείγµατα Περιβαλλόντων Ιατρική Ελεγκτής Αλληλε ιδραστικός Ροµ ότ Ανάλυση Οδήγηση Πόκερ Τάβλι χρονόµετρο εκ αιδευτής εξαρτηµάτων διάγνωση διυλιστηρίου διαλογής εικόνων ταξί Μερικώς Πλήρως Αιτιοκρατικό Πλήρως Αγγλικής Μερικώς Πλήρως Αιτιοκρατικό Στοχαστικό ΣτρατηγικόΑκολουθιακό Στοχαστικό Στατικό Ακολουθιακό Ακολουθιακό Επεισοδιακό υναµικό Ηµι ιακριτό υναµικό Ηµι Συνεχές ιακριτό Πολλοί Ένας Συνεχές Ένας Πολλοί

14 Υλο οίηση Πρακτόρων Υλο οίηση ράκτορα πίνακας ή πρόγραµµα; πρόγραµµα: υπολογίζει τη συνάρτηση πράκτορα αρχιτεκτονική: εκτελεί το πρόγραµµα πράκτορα πράκτορας = αρχιτεκτονική + πρόγραµµα Είδη ρογραµµάτων ρακτόρων απλοί αντανακλαστικοί (simple reflex) πράκτορες αντανακλαστικοί πράκτορες βασισµένοι σε µοντέλο (model-based) πράκτορες βασισµένοι σε στόχο (goal-based) πράκτορες βασισµένοι σε χρησιµότητα (utility-based)

15 Α λοί Αντανακλαστικοί Πράκτορες

16 Αντανακλαστικοί Πράκτορες µε Μοντέλο

17 Πράκτορες βασισµένοι σε Στόχους

18 Πράκτορες βασισµένοι σε Χρησιµότητα

19 Μάθηση Πράκτορες ου µαθαίνουν προσχεδιασµένο πρόγραµµα = χρονοβόρα διαδικασία δυνατότητα µάθησης = αυτόµατη σχεδίαση προγράµµατος και τα 4 είδη πρακτόρων µπορούν να ενισχυθούν µε µάθηση Ενσωµάτωση µάθησης στοιχείο εκτέλεσης (performance element): ένα από τα 4 είδη στοιχείο µάθησης (learning element): υπεύθυνο για βελτιώσεις κριτική (critic): κρίση ως προς ένα σταθερό πρότυπο απόδοσης γεννήτρια προβληµάτων (problem generator): νέες εµπειρίες

20 Πράκτορες ου µαθαίνουν

21 Ο δικός µας ράκτορας Action Reward State

22 Action ActionΕ ίλυση ή Μάθηση; Reward Reward State State? Γνωστό µοντέλο Επίλυση Άγνωστο µοντέλο Μάθηση

23 Action Μεθοδολογίες Μάθησης Reward StateAction Reward Action State? State? Εκµάθηση µοντέλου (model-based learning) Εκµάθηση συνάρτησης (model-free learning)

24 Περιβάλλον Μάθησης συνεργατικό ανταγωνιστικό µονοπρακτορικό πολυπρακτορικό

25 Ροµ οτικοί Πράκτορες Ροµ ότ από την τσέχικη λέξη robota που σηµαίνει εργασία Χειριστήρια ροµ ότ (manipulators) αλυσίδα ελεγχόµενων αρθρώσεων µε σταθερή βάση ο συνηθέστερος τύπος βιοχηµανικού ροµπότ Κινητά ροµ ότ (mobile robots) δυνατότητα µετακίνησης στο φυσικό περιβάλλον οχήµατα εδάφους, αέρος, υποβρύχια, διαστηµικά Ανθρω οειδή ροµ ότ (humanoid robots) υβρίδιο (κινητό και χειριστήριο) που µιµείται τον άνθρωπο

26 Ροµ οτικό Υλικό Αισθητήρες παθητικοί (passive): συλλαµβάνουν σήµατα από το περιβάλλον ενεργητικοί (active): δηµιουργούν και συλλαµβάνουν σήµατα Ε ενεργητές βαθµοί ελευθερίας (degrees of freedom d.o.f.) βαθµοί ενέργειας (degrees of action d.o.a.) κινηµατική (kinematic) κατάσταση δυναµική (dynamic) κατάσταση ολονοµικά (holonomic) συστήµατα (d.o.a. = d.o.f.) µη ολονοµικά (nonholonomic) συστήµατα (d.o.a < d.o.f)

27 CCD infrared laser cameras (mono/stereo) Αισθητήρες cameras και Ε ενεργητές sonar infrared radars tactile range sensors sensors sensors electric pneumatic hydraulic differential (step) motors Ε ενεργητές (differential) proprioceptive force/torque GPS synchro drive actuators drive sensors artificial muscles Αισθητήρες

28 Μελέτη Σύγγραµµα Ενότητες ,