Υπολογιστική Ευφυΐα και Εφαρµογές ρ. Σταύρος Ι. Περαντώνης sper@iit.demokritos.gr Εργαστήριο Υπολογιστικής Ευφυίας Ινστιτούτο Πληροφορικής & Τηλεπικοινωνιών ΕΚΕΦΕ ΗΜΟΚΡΙΤΟΣ http://www.iit.demokritos.gr/cil Θερινό Σχολείο ΕΚΕΦΕ «ηµόκριτος», Ιούλιος 2005
Τεχνητή νοηµοσύνη και υπολογιστική ευφυΐα Η τεχνητή νοηµοσύνη χρησιµοποιεί κυρίως συµβολικές τεχνικές για την επεξεργασία της πληροφορίας Η υπολογιστική ευφυία χρησιµοποιεί «υποσυµβολικές» τεχνικές Συµβολική αναπαράσταση γνώσης: Η γνώση αναπαρίσταται µε µια σειρά συµβόλων (π.χ. έννοιες ή προτάσεις) που κάθε ένα τους έχει µια ορισµένη σηµασία Σε κατανεµηµένα ή υποσυµβολικά συστήµατα δεν είναι εύκολο να εντοπίσουµε καινα ερµηνεύσουµε κάθε τµήµα της γνώσης Η τεχνητή νοηµοσύνη βρίσκεται πλησιέστερα στην ανθρώπινη κατανόηση, αλλά η υπολογιστική ευφυία βρίσκεται πλησιέστερα στον τρόπο λειτουργίας της φύσης
Υπολογιστική ευφυΐα Βασικός στόχος η προσοµοίωση βιολογικών συστηµάτων σε υπολογιστή για την ανάπτυξη εφαρµογών Υπολογιστική προσοµοίωση µαζικών πληθυσµών «βασικών µονάδων» που η δυναµική αλληλεπίδραση µεταξύ τους οδηγεί στην ευφυή συµπεριφορά Γενετικοί αλγόριθµοι και εξελικτικοί υπολογισµοί: Πληθυσµοί ατόµων που εξελίσσονται χρονικά µε βάση κανόνες εµπνεόµενους από τη γενετική και την εξέλιξη των ειδών Swarm intelligence: Πληθυσµοί ατόµων που αλληλεπιδρούν µαζικά για την παραγωγή συλλογικής ευφυούς συµπεριφοράς (όπως, π.χ. αποικίες µυρµηγκιών ή κυψέλες µελισσών) Νευρωνικά δίκτυα: Πληθυσµοί κόµβων ανάλογων µε τους νευρώνες του εγκεφάλου
Υπολογιστική Ευφυία Μάθηση Μοντέλο Μάθησης Βελτιστοποίηση
Στατιστικά Μοντέλα Ευφυΐα Σµήνους Τεχνητά Νευρωνικά ίκτυα Υπολογιστική Ευφυία Ασαφής Λογική Γενετικοί Αλγόριθµοι Μηχανές διανυσµάτων υποστήριξης
Στατιστική εκµάθηση 0.9 0.8 0.7 0.6 0.5 0.4 0.3 0.2 0.1 0 2 0 2 4 6 8 10
Εξελικτική εκµάθηση Γενετικοί αλγόριθµοι Πληθυσµός καταστάσεων ιασταύρωση Μεταλλαγή Συνάρτηση καταλληλότητας (fitness function)
Παράδειγµα: Πρόβληµα περιπλανώµενου πωλητή (Γενετικός αλγόριθµος) Ελαχιστοποίηση της συνολικής απόστασης για επίσκεψη ενός συνόλου σηµείων σε δισδιάστατο χώρο
Παράδειγµα: Πρόβληµα περιπλανώµενου πωλητή (Γενετικός αλγόριθµος) Αρχική κατάσταση Τελική κατάσταση
Χρωµόσωµα (2 5 6 7 8 3 9 1 4) Γονίδια (2 5 6 8 7 3 9 1 4) (5 8 7 3 2 1 4 9 5) (7 3 4 5 2 8 2 5 1)... Συνάρτηση καταλληλότητας: Αντίστροφα ανάλογη προς τη συνολική απόσταση του δρόµου που διανύεται Αρχικός πληθυσµός
Αρχικός χρωµοσωµικός πληθυσµός Επιλογή χρωµοσωµάτων ανάλογα µε τη συνάρτηση καταλληλότητας Πιθανότητα p 1 ιασταύρωση: (1 2 3 4 5 6 7 8 9) (4 1 2 8 7 6 9 5 3) (1 2 3 4 7 6 9 8 5) (4 1 2 8 5 6 7 3 9) Μεταλλαγή: (1 2 3 4 5 6 7 8 9) Πιθανότητα p 2 (1 2 3 4 6 5 7 8 9) Νέος πληθυσµός
Ευφυΐα Σµήνους-Αλγόριθµοι ΑΝΤ Οµάδες ζώων εκδηλώνουν συλλογική ευφυή συµπεριφορά παρά τις περιορισµένες δυνατότητες του κάθε µέλους της οµάδας χωριστά (π.χ. σµήνη πουλιών και εντόµων) Αποικίες µυρµηγκιών: Εκδήλωση συλλογικής ευφυούς συµπεριφοράς (π.χ. εύρεση ελάχιστης διαδροµής από τη φωλιά στην τροφή Έκκριση φεροµόνης στην πορεία Οι διαδροµές µε περισσότερη φεροµόνη είναι προτιµητέες Υπολογιστική µοντελοποίηση: Αλγόριθµοι ΑΝΤ Εφαρµογές: Προβλήµατα βελτιστοποίησης (π.χ. µεταφορές, διαχείριση δικτύων κτλ) οµαδοποίηση προτύπων
Παράδειγµα: Πρόβληµα περιπλανώµενου πωλητή (αλγόριθµος ΑΝΤ) Αρχική κατάσταση Φεροµονική ισχύς Τελική κατάσταση Βέλτιστη διαδροµή
Νευρωνικά ίκτυα, Βασικές Αρχές
Τεχνητά Νευρωνικά ίκτυα Πρόκειται για συστήµατα επεξεργασίας πληροφοριών (υπολογιστικά συστήµατα), που ηδοµή τους και η λειτουργία τους εµπνέονται από τις τρέχουσες γνώσεις µας για τα βιολογικά νευρικά συστήµατα
Βιολογικά Νευρωνικά ίκτυα Αποτελούνται από κύτταρα (νευρώνες) 10 11 νευρώνες στον ανθρώπινο εγκέφαλο Κάθε νευρώνας συνδέεται µε άλλουςµε τη βοήθεια µερικών χιλάδων συνάψεων 10 15 συνάψεις στον ανθρώπινο εγκέφαλο Η µετάδοση σηµάτων µεταξύ των νευρώνων (που ισοδυναµεί µετην µετάδοση πληροφορίας) είναι χηµικής φύσεως
Βιολογικά Νευρωνικά ίκτυα Χηµικές ουσίες (µεταδότες) εκλύονται από τη µια πλευρά της σύναψης Αυτό συµβάλλει στην αύξηση ή µείωση του ηλεκτρικού δυναµικού µέσα στον νευρώνα που δέχεται την πληροφορία Αν το δυναµικό αυξηθεί πέρα από ένα όριο, ο νευρώνας ενεργοποιείται: Παράγεται παλµός περιορισµένης διάρκειας, που µε τη σειρά του µεταδίδεται µέσω των συνάψεων σε άλλους νευρώνες
Νευρώνας Σώµα Άξονας Συνάψεις
Βιολογικό Νευρωνικό ίκτυο
Χαρακτηριστικά Βιολογικών ικτύων Πλαστικότητα: Κατά τις περιόδους της µάθησης τροποποιείται η ισχύς των συνάψεων (η ικανότητά τους να µεταδίδουν σήµατα) και επιπλέον δηµιουργούνται νέες συνάψεις Μεγάλο πλήθος νευρώνων + υψηλή παραλληλία = Μεγάλη ταχύτητα επεξεργασίας *Growing synapse images: Credit: Wen-Biao Gan, University of New York
ιαφορές Εγκεφάλου-Υπολογιστή Εγκέφαλος Πολλά απλά δοµικά στοιχεία (νευρώνες) Λίγα βήµατα επεξεργασίας Μάθηση µε την εµπειρία ικανότητα γενίκευσης Υψηλή συνεκτικότητα κατανεµηµένη αποθήκευση πληροφορίας Ανεκτικότητα σε µερική καταστροφή Συµβατικός Υπολογιστής Λίγοι πολύπλοκοι επεξεργαστές Πολλά υπολογιστικά βήµατα Αναλυτικός προγραµµατισµός Τοπική αποθήκευση πληροφορίας Αποτυχία σε περίπτωση µερικής καταστροφής
ΤΝ : Επεξεργαστικό στοιχείο x 1 Συναπτικά Βάρη x 2 W 1 W 2 Αθροιστικός Κόµβος Σ Μη γραµµική Συνάρτηση F Απόκριση Y W N Υ=F(Σw i X i ) x N
Συνδεσµολογία νευρώνων: ΤΝ w ij x 3 y 2 x 2 y 1 x 1
Χαρακτηριστικά των ΤΝ Κατανεµηµένη επεξεργασία: Κάθε πληροφορία δεν αποθηκεύονται τοπικά, αλλά κατανέµεται σε µια µεγάλη περιοχή του δικτύου Εύρωστη επεξεργασία: Αφαίρεση ή διαστρέβλωση µικρού αριθµού συναπτικών βαρών δεν οδηγεί σε αισθητή πτώση της ικανότητας του δικτύου για αξιόπιστη επεξεργασία πληροφορίας Υψηλός βαθµός παραλληλίας: Η εκτέλεση πράξεων σε ένα νευρώνα είναι ανεξάρτητη της εκτέλεσης πράξεων σε πολλούς άλλους νευρώνες
Χαρακτηριστικά των ΤΝ Μη γραµµικότητα: Αποτελούνται από ένα µεγάλο πλήθος µη γραµµικών επεξεργαστών. Ορισµένοι τύποι υλοποιούν αυθαίρετα πολύπλοκες συναρτήσεις. Επιλύουν δύσκολα µη γραµµικά προβλήµατα Ικανότητα εκµάθησης: Τα ΤΝ έχουν την ικανότητα εκµάθησης µε χρήσηπαραδειγµάτων Εκµάθηση άµεσα συνδεδεµένη µε την αλγοριθµική τροποποίηση των συναπτικών βαρών. Όχι χρήση συγκεκριµένων προγραµµατιστικών κανόνων για κάθε είδος προβλήµατος Ικανότητα γενίκευσης: Σωστή απόκριση σε παραδείγµατα που δεν έχουν δοθεί στο ΤΝ κατά την εκµάθηση
Βασικά Ερευνητικά Θέµατα Ανάπτυξη ρεαλιστικών νευρωνικών αρχιτεκτονικών P P Cortex P P I I I I R P Superior colliculus Ανάπτυξη αλγορίθµων εκµάθησης
Αλγόριθµοι εκµάθησης µε επίβλεψη Μάθηση=Μεταβολή Μεταβολή συναπτικών βαρών
Πολυστρωµατικά ίκτυα x 3 x 2 x 1 w ij y 2 y 1 Για κάθε πρότυπο p: Στόχοι Τ ip Συνάρτηση σφάλµατος: Ε(w) = Σ (Τ ip -y ip ) 2 Ελαχιστοποίηση µε επαναληπτικές τεχνικές βελτιστοποίησης (π.χ. gradient descent και πλήθος άλλων)
Εκπαίδευση πολυστρωµατικού δικτύου *Credit: Cortex Pro neural network simulator
Ελάττωση κατά κλίση (Gradient descent) dw = η G
Εκµάθηση υπό περιορισµούς d L 1 2L 2L 1 1 1 T w = M G M F Λ 2 2
Εκµάθηση υπό περιορισµούς Πρόβληµα 2 σπειρών
Εκµάθηση υπό περιορισµούς Πρόβληµα 2 σπειρών 100 90 80 70 60 50 40 30 20 10 0 Success rate CPU time/5 (sec) LMAM OLMAM LM ConjGrad
Ταξινόµηση αποτελεσµάτων PapTest 20 χαρακτηριστικά: Εµβαδόν πυρήνα και κυτοπλάσµατος, περίµετρος, µέγιστος και ελάχιστος άξονας, φωτεινότητα κτλ) *Credit: Ampazis, Dounias and Jantzen, 2003
Ταξινόµηση αποτελεσµάτων PapTest Classification rate 100 99 98 97 96 95 94 93 92 91 Supervised GK Fuzzy C- means Hard C- means HCM SVM OLMAM *Credit: Ampazis, Dounias and Jantzen, 2003
Αναγνώριση ιστορικών χειρογράφων Εξαγωγή χαρακτηριστικών και συµµαχους προσλαβειν ουδενος δευτερος ετι δε πραξεις απατας
Τηλεπισκοπικά δεδοµένα: Ταξινόµηση, παρακολούθηση και πρόβλεψη
Μοντελοποίηση κίνησης ενδοκαρδίου
Σηµασιολογική ανάλυση video
Αλγόριθµοι προσαρµοσµένοι στο πρόβληµα: Ανάλυση αγοράς Ε ΟΜΕΝΑ: Ιστορικά στοιχεία για τις πωλήσεις µιας εταιρείας σε σχέση µε ορισµέναπροϊόντατης Ιστορικά στοιχεία για παράγοντες που µπορεί να επηρεάζουν τις πωλήσεις (καιρικές συνθήκες, κόστος διαφήµισης, πωλήσεις ανταγωνιστικών προϊόντων, γενικά στοιχεία της οικονοµίας κτλ) ΖΗΤΟΥΜΕΝΟ: Πώςθαεπηρεάζοντανοιπωλήσειςαν µεταβάλλονταν κάποιοι παράγοντες που ελέγχονται από την εταιρεία (κυρίως το διαφηµιστικό κόστος);
Αλγόριθµοι προσαρµοσµένοι στο πρόβληµα: Ανάλυση αγοράς Επιλογή σηµαντικών παραµέτρων Εντοπισµός βασικών περιορισµών Κατασκευή ενός µη γραµµικού µοντέλου (φάση εκµάθησης) Μεταβολή επιλεγµένων ανεξαρτήτων παραµέτρων (διαφήµιση) και µελέτη των επιπτώσεων στην εξαρτηµένη (πωλήσεις) Ποιοτικές εκτιµήσεις
Αλγόριθµοι προσαρµοσµένοι στο πρόβληµα: Ανάλυση αγοράς ηµιουργία µοντέλου
Αλγόριθµοι προσαρµοσµένοι στο πρόβληµα: Ανάλυση αγοράς ηµιουργία σεναρίων
Αλγόριθµοι προσαρµοσµένοι στο πρόβληµα: Ανάλυση αγοράς ηµιουργία σεναρίων
Αλγόριθµοι προσαρµοσµένοι στο πρόβληµα: Παραγοντοποίηση πολυωνύµων Πολυώνυµο NA NA i j 1, = 2 aij z1z2 i= 0 j= 0 A( z z ) Παράγοντες A( z, z ) A ( z, z ) () i 1 2 1 2 i=, 12 MA MA () i () i j k ( 1, 2) = jk 1 2 j= 0 k= 0 A z z v z z
Αλγόριθµοι προσαρµοσµένοι στο πρόβληµα: Παραγοντοποίηση πολυωνύµων CLA (Constrained Learning Algorithm for polynomial factorization)
Αλγόριθµοι προσαρµοσµένοι στο πρόβληµα: Εύρεση ριζών πολυωνύµων S m 1) Root coefficient method (RCM) Συνθήκες Vieta 2) Root moment method (RMM) = n i= 1 w m i Ροπές ριζών Root moments S S 1 2 1 1 = 0 + 2a = 0...... S S m m + a + a S 1 1 1 + a S + a S m 1 m 1 2 +... + ma +... + a n S m = 0 ( m n) = 0 ( m > n) m n Επιπρόσθετοι περιορισµοί (Περίπτωση 1 του πλαισίου εκµάθησης υπό περιορισµούς) Μέθοδος κατάλληλη για πολυώνυµα µε µιγαδικούς συντελεστές
Αλγόριθµοι προσαρµοσµένοι στο πρόβληµα: Εύρεση ριζών πολυωνύµων RMM RCM 2 3 2 ( n 1)( n 3 4 [( n 2 + 10n n 4 ) 2 9n + 6) n 2 + n + 1] 250000 200000 Multiplications 150000 100000 50000 0 RCM RMM 1 2 3 4 5 6 7 8 9 10 Polynomial Degree *Credit: Huang, Ip and Chi, 2003
Εκµάθηση υπό περιορισµούς: Εύρεση ριζών πολυωνύµων 500 450 400 350 300 250 200 150 100 50 0 Mean error (x10^6) CPU time (secs) RMM RCM Muller Laguerre *Credit: Huang, Ip and Chi, 2003
Αλγόριθµοι εκµάθησης χωρίς επίβλεψη
Αυτοοργανούµενα ίκτυα ίκτυο Kohonen εδοµένα
Αυτοοργανούµενα ίκτυα Εκπαίδευση Αυτοοργάνωση
ΟΜΑ ΟΠΟΙΗΣΗ
Βιοµηχανική Εφαρµογή Αυτόµατη ταξινόµηση µαχαιριών κοπής δέρµατος
ΕΥΦYH ΣΥΣΤΗΜΑTA ΑΝΑΖΗΤΗΣΗΣ ΠΛΗΡΟΦΟΡΙΑΣ
ΑΝΑΖΗΤΗΣΗ ΠΛΗΡΟΦΟΡΙΑΣ ΣΕ ΚΕΙΜΕΝΑ ΒΗΜΑ 1ο ΑΝΑΠΑΡΑΣΤΑΣΗ ΚΕΙΜΕΝΩΝ ΩΣ ΙΑΝΥΣΜΑΤΑ «ΒΑΡΥΤΗΤΑΣ» ΛΕΞΕΩΝ: «ΒΑΡΟΣ» ΛΕΞΗΣ i ΣΤΟ ΚΕΙΜΕΝΟ d: w(i, d) = tf (i, d). idf (i) tf (i, d) = # ΕΠΑΝΑΛΗΨΕΩΝ ΛΕΞΗΣ i ΣΤΟ ΚΕΙΜΕΝΟ d (ΛΕΞΗ i ΣΗΜΑΝΤΙΚΗ ΓΙΑ ΤΟ ΚΕΙΜΕΝΟ d ΑΝ ΕΜΦΑΝΙΖΕΤΑΙ ΣΥΧΝΑ ΣΕ ΑΥΤΟ) idf (i, d) = INVERSE- df(i) df (i) = # ΚΕΙΜΕΝΩΝ ΠΟΥ ΠΕΡΙΕΧΟΥΝ ΤΗ ΛΕΞΗ i (ΛΕΞΕΙΣ ΠΟΥ ΕΜΦΑΝΙΖΟΝΤΑΙ ΣΕ ΠΟΛΛΑ ΚΕΙΜΕΝΑ ΑΠΟΤΕΛΟΥΝ ΛΙΓΟΤΕΡΟ ΣΗΜΑΝΤΙΚΟΥΣ ΟΡΟΥΣ) ΒΗΜΑ 2ο: Εξαγωγή χαρακτηριστικών από τα διανύσµατα (κύριες συνιστώσες)
ΑΝΑΖΗΤΗΣΗ ΠΛΗΡΟΦΟΡΙΑΣ
ΑΝΑΖΗΤΗΣΗ ΠΛΗΡΟΦΟΡΙΑΣ ΕΥΦΥΗΣ ΑΝΑΖΗΤΗΣΗ: