ΠΛΗ 405 Τεχνητή Νοηµοσύνη Πληροφορηµένη Αναζήτηση II Τµήµα Ηλεκτρονικών Μηχανικών και Μηχανικών Υ ολογιστών Πολυτεχνείο Κρήτης
Ε ανάληψη Ε αναλαµβανόµενες καταστάσεις µέθοδοι αποφυγής Αναζήτηση µε µερική ληροφόρηση προβλήµατα χωρίς αισθητήρες προβλήµατα ενδεχοµένων Πληροφορηµένη αναζήτηση άπληστη αναζήτηση πρώτα στο καλύτερο αναζήτηση Α*
Σήµερα Πληροφορηµένη αναζήτηση µε εριορισµό µνήµης Α* µε επαναληπτική εκβάθυνση αναδροµική αναζήτηση πρώτα στο καλύτερο αναζήτηση SMA* Ευρετικές συναρτήσεις επινόηση και κατασκευή Το ική αναζήτηση αναρρίχηση λόφων προσοµοιωµένη ανόπτηση γενετικοί αλγόριθµοι συνεχείς χώροι
Πληροφορηµένη Αναζήτηση µε Περιορισµένη Μνήµη Informed Search with Bounded Memory
A* µε Ε αναλη τική Εκβάθυνση (Iterative-Deepening A* - IDA*) Μεθοδολογία ανάλογη µέθοδος µε την αναζήτηση επαναληπτικής επιµήκυνσης αναζήτησης A* πρώτα κατά βάθος µε περιορισµένο κόστος g(n) + h(n) σταδιακή αύξηση του ορίου αποκοπής 0, f1(n), f2(n), f3(n),... νέο όριο: το µικρότερο f(n) πάνω από το όριο στο προηγούµενο στάδιο πλήρης και βέλτιστη µε παραδεκτή h γραµµική χωρική πολυπλοκότητα Ο(bd) εκθετική χρονική πολυπλοκότητα O(bd) Μειονεκτήµατα πιθανόν, αργή αύξηση του ορίου αποκοπής αργή πρόοδος δεν ανιχνεύει επαναλαµβανόµενες καταστάσεις
Α* - Σύνορο Αναζήτησης
Α* - Ε έκταση Κόµβου
Στάδια Αναζήτησης IDA*
Αναδροµική Αναζήτηση Πρώτα στο Καλύτερο (Recursive θυµάται επέκταση Best-First Search, RBFS) Μεθοδολογία αλλαγή του το κατά καλύτερο f κάθε βάθος κόµβου κόστος αν f f*, µε το γειτόνων αλλιώςοπισθοχώρηση καλύτερο κατά f των µήκος παιδιών του του µονοπατιού αναζήτηση πρώτα στο καλύτερο µε γραµµικό χώρο ουσιαστικά, αναζήτηση κατά βάθος, όχι όµως τυφλά οπισθοδρόµηση πίσω στο καλύτερο εναλλακτικό µονοπάτι (f*) πλήρης και βέλτιστη µε παραδεκτή h γραµµική χωρική, εκθετική χρονική πολυπλοκότητα Μειονεκτήµατα πιθανόν, υπερβολική επαναπαραγωγή κόµβων αργή πρόοδος δεν ανιχνεύει επαναλαµβανόµενες καταστάσεις
Αναζήτηση RBFS
Αναζήτηση RBFS
Αναζήτηση SMA* (Simple Memory-bounded χειρότερος κόµβος (αυτός µε το µεγαλύτερο A*) η διαγράφεται και καλύτερη αδέλφια τιµή ο παλαιότερος του f των και διαγραφόµενων εισάγεται κόµβος, ο γονικός σε κόµβων περίπτωση κόµβος µεταφέρεται ισοτιµίας f) στον τιµών γονέα f πλήρης (υπό προϋποθέσεις) και βέλτιστη µε παραδεκτή h Μεθοδολογία αναζήτηση A* µε περιορισµένο χώρο όταν γεµίσει η µνήµη, διαγράφει ένα παλιό κόµβο για κάθε νέο περιορισµένη χωρική, εκθετική χρονική πολυπλοκότητα Χαρακτηριστικά γενικά, ο καλύτερος αλγόριθµος αναζήτησης γενικής χρήσης περιορισµός µνήµης, πιθανόν επιφέρει απαγορευτικό χρόνο
Ευρετικές Συναρτήσεις Heuristic Functions
Puzzle των 8 Πλακιδίων h1=8 h2=18 h*=26 απόσταση Manhattanή απόσταση οικοδοµικών τετραγώνων παραδεκτές ευρετικές συναρτήσεις (δεν υπερεκτιµούν) Ευρετικές συναρτήσεις h1= ο αριθµός των πλακιδίων που δεν είναι στη θέση τους h2= το άθροισµα αποστάσεων των πλακιδίων από τον προορισµό τους h1 h2 ηh2κυριαρχεί της h1 η h2επεκτείνει λιγότερους κόµβους
IDS οµοιόµορφο δένδρο:n+ 1 = 1 + b*+ (b*)2+ + (b*)d ραστικός Παράγοντας ιακλάδωσης 3644035 47127 6384 680 112 10Κόστος αναζήτησηςn A*(h1) 18094 1301 39135 3056 227 20 7276 539 39 93 13 6 A*(h2) 18 113 25 1219 211 1641 363 73 39 12 6 IDS 2,73 2,80 2,78 2,79 2,87 2,45 A*(h1) 1,34 676 1,33 1,42 1,38 1,48 1,79 1,44 1,45 1,46 1,47 1,48 1,26 d 10 12 14 8642 ραστικός αράγοντας διακλάδωσης A*(h2) 1,30 1,24 16 18 1,22 1,45 1,79 b* 20 1,23 22 1,25 24 1,26 1,27 1,28
Ε ινόηση Παραδεκτών Ευρετικών Χαλαρά ροβλήµατα (relaxed problems) απλοποίηση (χαλάρωση) των κανόνων του προβλήµατος προϋπόθεση: f(βέλτιστη λύση χαλαρού) f(βέλτιστη λύση αρχικού) συνεπής h: το κόστος βέλτιστης λύσης για το χαλαρό πρόβληµα Παραδείγµατα χαλάρωσης κανόνων Puzzle: ένα λακίδιο µ ορεί να µετακινηθεί α ό το A στο B αν το A συνορεύει οριζόντια ή κάθετα µε το B και το B είναι κενό TSP: το κόστος του MST είναι κάτω όριο για το βέλτιστη διαδροµή Συλλογή ευρετικών συναρτήσεων παραδεκτές ευρετικές συναρτήσεις h1, h2,..., hm h=max{h1, h2,..., hm} συνεπής και κυριαρχεί έναντι των h1,...,hm
Ε ινόηση Παραδεκτών Ευρετικών Βάσεις δεδοµένων ροτύ ων (pattern databases) ακριβή κόστη λύσεων υποπροβληµάτων Βάσεις ξένων ροτύ ων (disjoint pattern databases) ξεχωριστές βάσεις δεδοµένων, πλήρης αφαίρεση κοινών κινήσεων κατασκευή ευριστικής µε πρόσθεση των εκτιµήσεών τους
Εκµάθηση Ευρετικών Συναρτήσεων Εµ ειρία επίλυση προβληµάτων και υπολογισµός πραγµατικού κόστους συλλογή παραδειγµάτων { κατάσταση n, κόστος h*(n) } Χαρακτηριστικά (features) εµπλουτισµός περιγραφής κατάστασης π.χ. αριθµός πλακιδίων εκτός θέσης, άθροισµα αποστάσεων νέα συλλογή { [κατάσταση n, χαρακτηριστικά n], κόστος h*(n) } Εκµάθηση (learning) αλγόριθµος επαγωγικής (inductive) µάθησης για γενίκευση π.χ. δένδρα αποφάσεων ή νευρωνικά δίκτυα
Το ική Αναζήτηση Local Search
Το ική Αναζήτηση Προβλήµατα στόχου µας ενδιαφέρει ο στόχος, όχι η διαδροµή προς το στόχο π.χ. παιχνίδι 8 βασιλισσών, χρονοπρογραµµατισµός ενεργειών Αλγόριθµοι το ικής αναζήτησης παρακολουθούν µόνο την τρέχουσα κατάσταση µετακινούνται γενικά µόνο σε γειτονικές καταστάσεις δεν κάνουν συστηµατική αναζήτηση δεν είναι πλήρεις Πλεονεκτήµατα χρησιµοποιούν ελάχιστη (σταθερή) µνήµη βρίσκουν καλές λύσεις σε πολύ µεγάλους ή άπειρους χώρους
Παράδειγµα: Πρόβληµα Βασιλισσών
Βελτιστο οίηση (Optimization) βελτιστοποίηση: µετατροπή βελτιστοποίησης µεγιστοποίηση αλλαγή ή ελαχιστοποίηση προσήµου Προβλήµατα βελτιστο οίησης αντικειµενική συνάρτηση (objective function) για αξιολόγηση αντικειµενική συνάρτηση: απεικονίζει κάθε κατάσταση σε ένα αριθµό στόχος: κατάσταση που βελτιστοποιεί την αντικειµενική συνάρτηση Το ίο χώρου καταστάσεων (state space landscape) τοποθεσία = κατάσταση, υψόµετρο = τιµή αντικειµενικής συνάρτησης ακρότατα: καθολικό (global) ελάχιστο και καθολικό µέγιστο τοπικά ακρότατα: τοπικό (local) ελάχιστο ή τοπικό µέγιστο βελτιστότητα: εύρεση καθολικού ελαχίστου ή µεγίστου
Το ίο Χώρου Καταστάσεων
Αναρρίχηση Λόφων (Hill Climbing) Αλγόριθµος διάλεξε µια γειτονική κατάσταση µε καλύτερη τιµή σταµάτησε όταν όλοι οι γείτονες έχουν χειρότερες ή ίσες τιµές
Αναρρίχηση Λόφων Παράδειγµα Τρέχουσα τιµή h=17 Τοπικό ελάχιστο µε h=1
Προβλήµατα Αναρρίχησης τυχαία Λόφων αναρρίχηση Προβλήµατα Αντιµετώ ιση πλήρης επιλογή αλγόριθµος λόφων «καλών» µε πρώτη κινήσεων επιλογή τοπικά µέγιστα πλάγιες κινήσεις κορυφογραµµές στοχαστική αναζήτηση οροπέδια τυχαίες επανεκκινήσεις
Προσοµοιωµένη Ανό τηση (Simulated Annealing) Ιστορικό επινοήθηκε από τον Nicholas Metropolis το 1953 βασίζεται σε µοντέλα φυσικής για στερεά σώµατα µια Ε<0 µορφή η χειροτέρευση στοχαστικής στην αναρρίχησης τιµή και Τ>0 λόφων η παράµετρος P=e Ε/Τ «θερµοκρασίας» Αλγόριθµος προ-επιλέγει τυχαία µια κίνηση (ανεξάρτητα από τιµή) αν αυτή έχει καλύτερη τιµή, γίνεται αποδεκτή αν όχι, τότε γίνεται αποδεκτή µε πιθανότητα η θερµοκρασία µειώνεται σταδιακά µε την πάροδο του χρόνου αρχικά επιτρέπονται πολλές τυχαίες κινήσεις, σταδιακά µειώνονται
Προσοµοιωµένη Ανό τηση
Το ική Ακτινική Αναζήτηση (Local Beam Search) Αλγόριθµος παράλληλη αναρρίχηση λόφων από διαφορετικά σηµεία επιλέγονται k τυχαίες αρχικές καταστάσεις εκτελούνται k τοπικές αναζητήσεις παράλληλα σε κάθε βήµα επιλέγονται τα k καλύτερα παιδιά από όλα τα παιδιά του προηγούµενου βήµατος Χαρακτηριστικά µεταφορά πόρων όπου γίνεται µεγαλύτερη πρόοδος πρόβληµα: συγκέντρωση όλων των αναζητήσεων στον ίδιο χώρο αντιµετώπιση: στοχαστική επιλογή των k παιδιών
Γενετικοί Αλγόριθµοι (Genetic Algorithms) Αλγόριθµος στοχαστική ακτινική αναζήτηση + γενετήσια αναπαραγωγή διαδόχων ληθυσµός (population): k άτοµα ή καταστάσεις (αρχικά τυχαίες) χρωµόσωµα: αναπαράσταση κάθε κατάστασης (συµβολοσειρές) καταλληλότητα (fitness): ευρετική συνάρτηση αξιολόγησης ατόµων ε ιλογή (selection): επιβιώνουν τα «καλύτερα» άτοµα στον πληθυσµό διασταύρωση (crossover): δηµιουργία ατόµου από δύο «καλούς» γονείς µετάλλαξη (mutation): τυχαία, ανεξάρτητη αλλαγή σε κάποιο άτοµο Χαρακτηριστικά απαιτείται προσεκτική σχεδίαση της αναπαράστασης
Γενετικοί Αλγόριθµοι: Παράδειγµα
Το ική Αναζήτηση σε Συνεχείς Χώρους Συνεχείς εφαρµογή χώροι συνεχείς (πραγµατικές) µεταβλητές κατάστασης άπειρος χρησιµοποίηση συµβατικού αριθµός της διαδόχων κλίσης αλγορίθµου (gradient) τοπικής καταστάσεων του τοπίου αναζήτησης Αντιµετώ ιση διακριτοποίηση (discretization) µε πλέγµα απευθείας αναζήτηση στο συνεχή χώρο Παράδειγµα τοποθέτηση 3 εφετείων στην Κρήτη αντικειµενική συνάρτηση: f(x1,y1,x2,y2,x3,y3)
Ακολούθηση Πλαγιάς (Gradient Following) Κλίση (gradient) η πρώτη µερική παράγωγος ως προς κάθε µεταβλητή αντικατάσταση µε την εµπειρική κλίση όταν η f δεν είναι διαθέσιµη Κατάβαση/Ανάβαση Πλαγιάς σε κάθε βήµα µεταβολή προς πλέον επικλινές : x x±α f(x) παράµετρος α: ένας µικρός πραγµατικός αριθµός ),,,,, ( 3 3 2 2 1 1 y f x f y f x f y f x f f =
Βελτιστο οίηση µε Περιορισµούς Πρόβληµα βελτιστοποίηση της αντικειµενικής συνάρτησης ικανοποίηση όλων των περιορισµών στις µεταβλητές κατάστασης δυσκολία ανάλογη της φύση των περιορισµών και της συνάρτησης Αντιµετώ ιση γενικά, µαθηµατικός προγραµµατισµός γραµµικός προγραµµατισµός (linear programming) τετραγωνικός προγραµµατισµός (quadratic programming) µη γραµµικός προγραµµατισµός (non-linear programming) ακέραιος προγραµµατισµός (integer programming)
Σύγγραµµα Ενότητα 4.1 4.4 Μελέτη