Υπολογιστική Ευφυΐα και Εφαρµογές

Transcript

1 Υπολογιστική Ευφυΐα και Εφαρµογές ρ. Σταύρος Ι. Περαντώνης Εργαστήριο Υπολογιστικής Ευφυίας Ινστιτούτο Πληροφορικής & Τηλεπικοινωνιών ΕΚΕΦΕ ΗΜΟΚΡΙΤΟΣ Θερινό Σχολείο ΕΚΕΦΕ «ηµόκριτος», Ιούλιος 2005

2

3

4 Τεχνητή νοηµοσύνη και υπολογιστική ευφυΐα Η τεχνητή νοηµοσύνη χρησιµοποιεί κυρίως συµβολικές τεχνικές για την επεξεργασία της πληροφορίας Η υπολογιστική ευφυία χρησιµοποιεί «υποσυµβολικές» τεχνικές Συµβολική αναπαράσταση γνώσης: Η γνώση αναπαρίσταται µε µια σειρά συµβόλων (π.χ. έννοιες ή προτάσεις) που κάθε ένα τους έχει µια ορισµένη σηµασία Σε κατανεµηµένα ή υποσυµβολικά συστήµατα δεν είναι εύκολο να εντοπίσουµε καινα ερµηνεύσουµε κάθε τµήµα της γνώσης Η τεχνητή νοηµοσύνη βρίσκεται πλησιέστερα στην ανθρώπινη κατανόηση, αλλά η υπολογιστική ευφυία βρίσκεται πλησιέστερα στον τρόπο λειτουργίας της φύσης

5 Υπολογιστική ευφυΐα Βασικός στόχος η προσοµοίωση βιολογικών συστηµάτων σε υπολογιστή για την ανάπτυξη εφαρµογών Υπολογιστική προσοµοίωση µαζικών πληθυσµών «βασικών µονάδων» που η δυναµική αλληλεπίδραση µεταξύ τους οδηγεί στην ευφυή συµπεριφορά Γενετικοί αλγόριθµοι και εξελικτικοί υπολογισµοί: Πληθυσµοί ατόµων που εξελίσσονται χρονικά µε βάση κανόνες εµπνεόµενους από τη γενετική και την εξέλιξη των ειδών Swarm intelligence: Πληθυσµοί ατόµων που αλληλεπιδρούν µαζικά για την παραγωγή συλλογικής ευφυούς συµπεριφοράς (όπως, π.χ. αποικίες µυρµηγκιών ή κυψέλες µελισσών) Νευρωνικά δίκτυα: Πληθυσµοί κόµβων ανάλογων µε τους νευρώνες του εγκεφάλου

6 Υπολογιστική Ευφυία Μάθηση Μοντέλο Μάθησης Βελτιστοποίηση

7 Στατιστικά Μοντέλα Ευφυΐα Σµήνους Τεχνητά Νευρωνικά ίκτυα Υπολογιστική Ευφυία Ασαφής Λογική Γενετικοί Αλγόριθµοι Μηχανές διανυσµάτων υποστήριξης

8 Στατιστική εκµάθηση

9 Εξελικτική εκµάθηση Γενετικοί αλγόριθµοι Πληθυσµός καταστάσεων ιασταύρωση Μεταλλαγή Συνάρτηση καταλληλότητας (fitness function)

10 Παράδειγµα: Πρόβληµα περιπλανώµενου πωλητή (Γενετικός αλγόριθµος) Ελαχιστοποίηση της συνολικής απόστασης για επίσκεψη ενός συνόλου σηµείων σε δισδιάστατο χώρο

11 Παράδειγµα: Πρόβληµα περιπλανώµενου πωλητή (Γενετικός αλγόριθµος) Αρχική κατάσταση Τελική κατάσταση

12 Χρωµόσωµα ( ) Γονίδια ( ) ( ) ( )... Συνάρτηση καταλληλότητας: Αντίστροφα ανάλογη προς τη συνολική απόσταση του δρόµου που διανύεται Αρχικός πληθυσµός

13 Αρχικός χρωµοσωµικός πληθυσµός Επιλογή χρωµοσωµάτων ανάλογα µε τη συνάρτηση καταλληλότητας Πιθανότητα p 1 ιασταύρωση: ( ) ( ) ( ) ( ) Μεταλλαγή: ( ) Πιθανότητα p 2 ( ) Νέος πληθυσµός

14 Ευφυΐα Σµήνους-Αλγόριθµοι ΑΝΤ Οµάδες ζώων εκδηλώνουν συλλογική ευφυή συµπεριφορά παρά τις περιορισµένες δυνατότητες του κάθε µέλους της οµάδας χωριστά (π.χ. σµήνη πουλιών και εντόµων) Αποικίες µυρµηγκιών: Εκδήλωση συλλογικής ευφυούς συµπεριφοράς (π.χ. εύρεση ελάχιστης διαδροµής από τη φωλιά στην τροφή Έκκριση φεροµόνης στην πορεία Οι διαδροµές µε περισσότερη φεροµόνη είναι προτιµητέες Υπολογιστική µοντελοποίηση: Αλγόριθµοι ΑΝΤ Εφαρµογές: Προβλήµατα βελτιστοποίησης (π.χ. µεταφορές, διαχείριση δικτύων κτλ) οµαδοποίηση προτύπων

15 Παράδειγµα: Πρόβληµα περιπλανώµενου πωλητή (αλγόριθµος ΑΝΤ) Αρχική κατάσταση Φεροµονική ισχύς Τελική κατάσταση Βέλτιστη διαδροµή

16 Νευρωνικά ίκτυα, Βασικές Αρχές

17 Τεχνητά Νευρωνικά ίκτυα Πρόκειται για συστήµατα επεξεργασίας πληροφοριών (υπολογιστικά συστήµατα), που ηδοµή τους και η λειτουργία τους εµπνέονται από τις τρέχουσες γνώσεις µας για τα βιολογικά νευρικά συστήµατα

18 Βιολογικά Νευρωνικά ίκτυα Αποτελούνται από κύτταρα (νευρώνες) νευρώνες στον ανθρώπινο εγκέφαλο Κάθε νευρώνας συνδέεται µε άλλουςµε τη βοήθεια µερικών χιλάδων συνάψεων συνάψεις στον ανθρώπινο εγκέφαλο Η µετάδοση σηµάτων µεταξύ των νευρώνων (που ισοδυναµεί µετην µετάδοση πληροφορίας) είναι χηµικής φύσεως

19 Βιολογικά Νευρωνικά ίκτυα Χηµικές ουσίες (µεταδότες) εκλύονται από τη µια πλευρά της σύναψης Αυτό συµβάλλει στην αύξηση ή µείωση του ηλεκτρικού δυναµικού µέσα στον νευρώνα που δέχεται την πληροφορία Αν το δυναµικό αυξηθεί πέρα από ένα όριο, ο νευρώνας ενεργοποιείται: Παράγεται παλµός περιορισµένης διάρκειας, που µε τη σειρά του µεταδίδεται µέσω των συνάψεων σε άλλους νευρώνες

20 Νευρώνας Σώµα Άξονας Συνάψεις

21 Βιολογικό Νευρωνικό ίκτυο

22 Χαρακτηριστικά Βιολογικών ικτύων Πλαστικότητα: Κατά τις περιόδους της µάθησης τροποποιείται η ισχύς των συνάψεων (η ικανότητά τους να µεταδίδουν σήµατα) και επιπλέον δηµιουργούνται νέες συνάψεις Μεγάλο πλήθος νευρώνων + υψηλή παραλληλία = Μεγάλη ταχύτητα επεξεργασίας *Growing synapse images: Credit: Wen-Biao Gan, University of New York

23 ιαφορές Εγκεφάλου-Υπολογιστή Εγκέφαλος Πολλά απλά δοµικά στοιχεία (νευρώνες) Λίγα βήµατα επεξεργασίας Μάθηση µε την εµπειρία ικανότητα γενίκευσης Υψηλή συνεκτικότητα κατανεµηµένη αποθήκευση πληροφορίας Ανεκτικότητα σε µερική καταστροφή Συµβατικός Υπολογιστής Λίγοι πολύπλοκοι επεξεργαστές Πολλά υπολογιστικά βήµατα Αναλυτικός προγραµµατισµός Τοπική αποθήκευση πληροφορίας Αποτυχία σε περίπτωση µερικής καταστροφής

24 ΤΝ : Επεξεργαστικό στοιχείο x 1 Συναπτικά Βάρη x 2 W 1 W 2 Αθροιστικός Κόµβος Σ Μη γραµµική Συνάρτηση F Απόκριση Y W N Υ=F(Σw i X i ) x N

25 Συνδεσµολογία νευρώνων: ΤΝ w ij x 3 y 2 x 2 y 1 x 1

26 Χαρακτηριστικά των ΤΝ Κατανεµηµένη επεξεργασία: Κάθε πληροφορία δεν αποθηκεύονται τοπικά, αλλά κατανέµεται σε µια µεγάλη περιοχή του δικτύου Εύρωστη επεξεργασία: Αφαίρεση ή διαστρέβλωση µικρού αριθµού συναπτικών βαρών δεν οδηγεί σε αισθητή πτώση της ικανότητας του δικτύου για αξιόπιστη επεξεργασία πληροφορίας Υψηλός βαθµός παραλληλίας: Η εκτέλεση πράξεων σε ένα νευρώνα είναι ανεξάρτητη της εκτέλεσης πράξεων σε πολλούς άλλους νευρώνες

27 Χαρακτηριστικά των ΤΝ Μη γραµµικότητα: Αποτελούνται από ένα µεγάλο πλήθος µη γραµµικών επεξεργαστών. Ορισµένοι τύποι υλοποιούν αυθαίρετα πολύπλοκες συναρτήσεις. Επιλύουν δύσκολα µη γραµµικά προβλήµατα Ικανότητα εκµάθησης: Τα ΤΝ έχουν την ικανότητα εκµάθησης µε χρήσηπαραδειγµάτων Εκµάθηση άµεσα συνδεδεµένη µε την αλγοριθµική τροποποίηση των συναπτικών βαρών. Όχι χρήση συγκεκριµένων προγραµµατιστικών κανόνων για κάθε είδος προβλήµατος Ικανότητα γενίκευσης: Σωστή απόκριση σε παραδείγµατα που δεν έχουν δοθεί στο ΤΝ κατά την εκµάθηση

28 Βασικά Ερευνητικά Θέµατα Ανάπτυξη ρεαλιστικών νευρωνικών αρχιτεκτονικών P P Cortex P P I I I I R P Superior colliculus Ανάπτυξη αλγορίθµων εκµάθησης

29 Αλγόριθµοι εκµάθησης µε επίβλεψη Μάθηση=Μεταβολή Μεταβολή συναπτικών βαρών

30 Πολυστρωµατικά ίκτυα x 3 x 2 x 1 w ij y 2 y 1 Για κάθε πρότυπο p: Στόχοι Τ ip Συνάρτηση σφάλµατος: Ε(w) = Σ (Τ ip -y ip ) 2 Ελαχιστοποίηση µε επαναληπτικές τεχνικές βελτιστοποίησης (π.χ. gradient descent και πλήθος άλλων)

31 Εκπαίδευση πολυστρωµατικού δικτύου *Credit: Cortex Pro neural network simulator

32 Ελάττωση κατά κλίση (Gradient descent) dw = η G

33 Εκµάθηση υπό περιορισµούς d L 1 2L 2L T w = M G M F Λ 2 2

34 Εκµάθηση υπό περιορισµούς Πρόβληµα 2 σπειρών

35 Εκµάθηση υπό περιορισµούς Πρόβληµα 2 σπειρών Success rate CPU time/5 (sec) LMAM OLMAM LM ConjGrad

36 Ταξινόµηση αποτελεσµάτων PapTest 20 χαρακτηριστικά: Εµβαδόν πυρήνα και κυτοπλάσµατος, περίµετρος, µέγιστος και ελάχιστος άξονας, φωτεινότητα κτλ) *Credit: Ampazis, Dounias and Jantzen, 2003

37 Ταξινόµηση αποτελεσµάτων PapTest Classification rate Supervised GK Fuzzy C- means Hard C- means HCM SVM OLMAM *Credit: Ampazis, Dounias and Jantzen, 2003

38 Αναγνώριση ιστορικών χειρογράφων Εξαγωγή χαρακτηριστικών και συµµαχους προσλαβειν ουδενος δευτερος ετι δε πραξεις απατας

39 Τηλεπισκοπικά δεδοµένα: Ταξινόµηση, παρακολούθηση και πρόβλεψη

40 Μοντελοποίηση κίνησης ενδοκαρδίου

41 Σηµασιολογική ανάλυση video

42 Αλγόριθµοι προσαρµοσµένοι στο πρόβληµα: Ανάλυση αγοράς Ε ΟΜΕΝΑ: Ιστορικά στοιχεία για τις πωλήσεις µιας εταιρείας σε σχέση µε ορισµέναπροϊόντατης Ιστορικά στοιχεία για παράγοντες που µπορεί να επηρεάζουν τις πωλήσεις (καιρικές συνθήκες, κόστος διαφήµισης, πωλήσεις ανταγωνιστικών προϊόντων, γενικά στοιχεία της οικονοµίας κτλ) ΖΗΤΟΥΜΕΝΟ: Πώςθαεπηρεάζοντανοιπωλήσειςαν µεταβάλλονταν κάποιοι παράγοντες που ελέγχονται από την εταιρεία (κυρίως το διαφηµιστικό κόστος);

43 Αλγόριθµοι προσαρµοσµένοι στο πρόβληµα: Ανάλυση αγοράς Επιλογή σηµαντικών παραµέτρων Εντοπισµός βασικών περιορισµών Κατασκευή ενός µη γραµµικού µοντέλου (φάση εκµάθησης) Μεταβολή επιλεγµένων ανεξαρτήτων παραµέτρων (διαφήµιση) και µελέτη των επιπτώσεων στην εξαρτηµένη (πωλήσεις) Ποιοτικές εκτιµήσεις

44 Αλγόριθµοι προσαρµοσµένοι στο πρόβληµα: Ανάλυση αγοράς ηµιουργία µοντέλου

45 Αλγόριθµοι προσαρµοσµένοι στο πρόβληµα: Ανάλυση αγοράς ηµιουργία σεναρίων

46 Αλγόριθµοι προσαρµοσµένοι στο πρόβληµα: Ανάλυση αγοράς ηµιουργία σεναρίων

47 Αλγόριθµοι προσαρµοσµένοι στο πρόβληµα: Παραγοντοποίηση πολυωνύµων Πολυώνυµο NA NA i j 1, = 2 aij z1z2 i= 0 j= 0 A( z z ) Παράγοντες A( z, z ) A ( z, z ) () i i=, 12 MA MA () i () i j k ( 1, 2) = jk 1 2 j= 0 k= 0 A z z v z z

48 Αλγόριθµοι προσαρµοσµένοι στο πρόβληµα: Παραγοντοποίηση πολυωνύµων CLA (Constrained Learning Algorithm for polynomial factorization)

49 Αλγόριθµοι προσαρµοσµένοι στο πρόβληµα: Εύρεση ριζών πολυωνύµων S m 1) Root coefficient method (RCM) Συνθήκες Vieta 2) Root moment method (RMM) = n i= 1 w m i Ροπές ριζών Root moments S S = 0 + 2a = S S m m + a + a S a S + a S m 1 m ma a n S m = 0 ( m n) = 0 ( m > n) m n Επιπρόσθετοι περιορισµοί (Περίπτωση 1 του πλαισίου εκµάθησης υπό περιορισµούς) Μέθοδος κατάλληλη για πολυώνυµα µε µιγαδικούς συντελεστές

50 Αλγόριθµοι προσαρµοσµένοι στο πρόβληµα: Εύρεση ριζών πολυωνύµων RMM RCM ( n 1)( n 3 4 [( n n n 4 ) 2 9n + 6) n 2 + n + 1] Multiplications RCM RMM Polynomial Degree *Credit: Huang, Ip and Chi, 2003

51 Εκµάθηση υπό περιορισµούς: Εύρεση ριζών πολυωνύµων Mean error (x10^6) CPU time (secs) RMM RCM Muller Laguerre *Credit: Huang, Ip and Chi, 2003

52 Αλγόριθµοι εκµάθησης χωρίς επίβλεψη

53 Αυτοοργανούµενα ίκτυα ίκτυο Kohonen εδοµένα

54 Αυτοοργανούµενα ίκτυα Εκπαίδευση Αυτοοργάνωση

55 ΟΜΑ ΟΠΟΙΗΣΗ

56 Βιοµηχανική Εφαρµογή Αυτόµατη ταξινόµηση µαχαιριών κοπής δέρµατος

57 ΕΥΦYH ΣΥΣΤΗΜΑTA ΑΝΑΖΗΤΗΣΗΣ ΠΛΗΡΟΦΟΡΙΑΣ

58 ΑΝΑΖΗΤΗΣΗ ΠΛΗΡΟΦΟΡΙΑΣ ΣΕ ΚΕΙΜΕΝΑ ΒΗΜΑ 1ο ΑΝΑΠΑΡΑΣΤΑΣΗ ΚΕΙΜΕΝΩΝ ΩΣ ΙΑΝΥΣΜΑΤΑ «ΒΑΡΥΤΗΤΑΣ» ΛΕΞΕΩΝ: «ΒΑΡΟΣ» ΛΕΞΗΣ i ΣΤΟ ΚΕΙΜΕΝΟ d: w(i, d) = tf (i, d). idf (i) tf (i, d) = # ΕΠΑΝΑΛΗΨΕΩΝ ΛΕΞΗΣ i ΣΤΟ ΚΕΙΜΕΝΟ d (ΛΕΞΗ i ΣΗΜΑΝΤΙΚΗ ΓΙΑ ΤΟ ΚΕΙΜΕΝΟ d ΑΝ ΕΜΦΑΝΙΖΕΤΑΙ ΣΥΧΝΑ ΣΕ ΑΥΤΟ) idf (i, d) = INVERSE- df(i) df (i) = # ΚΕΙΜΕΝΩΝ ΠΟΥ ΠΕΡΙΕΧΟΥΝ ΤΗ ΛΕΞΗ i (ΛΕΞΕΙΣ ΠΟΥ ΕΜΦΑΝΙΖΟΝΤΑΙ ΣΕ ΠΟΛΛΑ ΚΕΙΜΕΝΑ ΑΠΟΤΕΛΟΥΝ ΛΙΓΟΤΕΡΟ ΣΗΜΑΝΤΙΚΟΥΣ ΟΡΟΥΣ) ΒΗΜΑ 2ο: Εξαγωγή χαρακτηριστικών από τα διανύσµατα (κύριες συνιστώσες)

59 ΑΝΑΖΗΤΗΣΗ ΠΛΗΡΟΦΟΡΙΑΣ

60 ΑΝΑΖΗΤΗΣΗ ΠΛΗΡΟΦΟΡΙΑΣ ΕΥΦΥΗΣ ΑΝΑΖΗΤΗΣΗ:

61

62

63

64

65