ΕΠΛ 604 Τεχνητή Νοηµοσύνη ***************** Κώστας Νεοκλέους, PhD Τηλέφωνο Γραφείου: 22406391 Email: costas@ucy.ac.cy Βοηθήµατα: ΕΠΛ 604 - Τεχνητή Νοηµοσύνη ************************** Arbib M. (1995). The Handbook of Brain Theory and Neural Networks. MA: MIT Press. Cichocki A. & Unbehauen R. (1993). Neural Networks for Optimization and Signal Processing. London: John Wiley and Sons Ltd. Eberhart R., Simpson P. & Dobbins R. (1996). Computational Intelligence PC Tools. MA: Academic Press. Fausett L. (1994). Fundamentals of Neural Networks. NJ: Prentice Hall. Ham F. & Kostanic I. (2001). Principles of Neurocomputing for Science and Engineering. NY, McGraw-Hill Co. Hassoun M. (1995). Fundamentals of Artificial Neural Networks. MA: MIT Press. Haykin S. (1994). Neural Networks: A Comprehensive Foundation. NY: Macmillan College Publishing Co. Hertz J., Krogh A. & Palmer R. (1991). Introduction to the Theory of Neural Computation. MA: Addison - Wesley Publishing Co. Rosenzeig M. & Leiman A. (1989). Physiological Psychology. NY: Random House. Rumelhart D. E., Hinton G. E. and McClelland J. L. (1986). In McClelland J. L., Rumelhart D. E. and the PDP Research Group (Eds.). Parallel Distributed Processing: Explorations in the Microstructure of Cognition. Vol. 1. Foundations. Cambridge, MA: MIT Press. Simpson P. (1990). Artificial Neural Systems: Foundations, Paradigms, Applications and Implementations. NY: Pergamon Press Inc. Zurada J. (1995). Introduction to Artificial Neural Systems. St. Paul: PWS Publishing Company.
ΕΠΛ 604 Τεχνητή Νοηµοσύνη ***************** Neural Networks Νευρωνικά ίκτυα Εισαγωγή ΕΠΛ 604 Τεχνητή Νοηµοσύνη Τεχνητά Νευρωνικά ίκτυα 3 ώρες την εβδοµάδα: ευτέρα 16.30 18.00 στην αίθουσα Ε109 Πέµπτη 16.30 18.00 στην αίθουσα Ε109 Πανεπιστήµιο Κύπρου Τµήµα Πληροφορικής ΕΠΛ 604 Νευρωνικά ίκτυα Κ. Νεοκλέους, PhD 4
ΤΕΧΝΗΤΗ ΝΟΗΜΟΣΥΝΗ (ΤΝ) (Artificial Intelligence - AI) Τι είναι η νοηµοσύνη; Είναι πολύ δύσκολο να προσδιοριστεί. εν υπάρχει καθολική συµφωνία για το τι είναι. εν χρειάζεται ακριβής ορισµός της νοηµοσύνης, όπως δεν χρειάζεται να ορίσουµε πολλές άλλες έννοιες για να τις αντιληφθούµε και να τις χρησιµοποιήσουµε. Πανεπιστήµιο Κύπρου Τµήµα Πληροφορικής ΕΠΛ 604 Νευρωνικά ίκτυα Κ. Νεοκλέους, PhD 5 TI EINAI ΝΟΗΜΟΣΥΝΗ ; Ο Terman* εισηγείται ότι είναι η ικανότητα για αφαιρετική σκέψη. Οι περισσότεροι όµως ψυχολόγοι συµφωνούν ότι είναι η ικανότητα για αποτελεσµατική προσαρµογή προς το περιβάλλον που γίνεται µε αλλαγή στον οργανισµό, ή µε αλλαγή ή και δηµιουργία νέου περιβάλλοντος. Με την όρο αποτελεσµατική προσαρµογή εννοείται συνήθως η αλλαγή που δηµιουργεί πλεονέκτηµα, όπως παρουσιάζεται κυρίως µέσα από αντίληψη, µάθηση, µνήµη, λογική,... * Terman L. (1916). The uses of intelligence tests. Ιn The measurement of intelligence. Boston, Houghton Mifflin. Πανεπιστήµιο Κύπρου Τµήµα Πληροφορικής ΕΠΛ 604 Νευρωνικά ίκτυα Κ. Νεοκλέους, PhD 6
ΟΡΙΣΜΟΣ ΤΗΣ ΝΟΗΜΟΣΥΝΗΣ Εποµένως, η νοηµοσύνη δεν καθορίζεται από ένα µόνο χαρακτηριστικό, αλλά από σύνολο, που όλα µαζί την προσδιορίζουν. Ένας πιο πρακτικός ορισµός θα µπορούσε να είναι: Η γενική ικανότητα που εκφράζεται µέσα από τις διαδικασίες υπολογισµών, λογικής, διακρίβωσης, µάθησης, χρήσης γλώσσας, αντίληψης του περιβάλλοντος σε διαφορετικούς βαθµούς λεπτοµέρειας, εξοικείωσης σε νέο περιβάλλον, και επινόησης. Πανεπιστήµιο Κύπρου Τµήµα Πληροφορικής ΕΠΛ 604 Νευρωνικά ίκτυα Κ. Νεοκλέους, PhD 7 ΝΟΗΜΟΣΥΝΗ Βέβαια µε τους προηγούµενους ορισµούς, δηµιουργούνται άλλα ερωτήµατα όπως για παράδειγµα, τι εννοείται µε τις λέξεις υπολογισµός, λογική, διακρίβωση, µάθηση κλπ. Με βάση τα πιο πάνω, θα µπορούσαµε να πούµε ότι οι άνθρωποι είναι τα µόνα νοήµονα όντα στο πλανήτη γη. Οι άλλοι ζωντανοί οργανισµοί έχουν µειωµένη νοηµοσύνη στο βαθµό που ικανοποιούν µόνο µερικώς τα πιο πάνω χαρακτηριστικά. Πανεπιστήµιο Κύπρου Τµήµα Πληροφορικής ΕΠΛ 604 Νευρωνικά ίκτυα Κ. Νεοκλέους, PhD 8
ΝΟΗΜΟΣΥΝΗ Ηνοηµοσύνη, όπως προσδιορίστηκε, είναι µια γενική (συλλογική) χαρακτηριστική ιδιότητα του ατόµου. Αυτή θα µπορούσε να συγκεκριµενοποιηθεί σε επί µέρους είδη νοηµοσύνης. Ο Gardner* του Πανεπιστηµίου Χάρβαρντ, στη θεωρία του για πολλαπλή νοηµοσύνη εισηγείται επτά διαφορετικά είδη νοηµοσύνης (γλωσσική, λογική-µαθηµατική, σωµατικήκιναισθητική, οπτική-χωρική, µουσική, διαπροσωπική, αυτογνωσιακή). * Gardner H. (1983). Frames of Mind: A Theory of Multiple Intelligences. New York. Basic Books, 1983. Πανεπιστήµιο Κύπρου Τµήµα Πληροφορικής ΕΠΛ 604 Νευρωνικά ίκτυα Κ. Νεοκλέους, PhD 9 ΒΙΟΛΟΓΙΚΗ και ΤΕΧΝΗΤΗ ΝΟΗΜΟΣΥΝΗ Ένα από τα πιο διαδεδοµένα µοντέλα που χρησιµοποιούνται για να εξηγήσουν τις ανώτερες πνευµατικές λειτουργίες (συµπεριλαµβανοµένης της νοηµοσύνης), είναι αυτό που θα ονοµάζαµε «σύστηµα κατανεµηµένης επεξεργασίας» (distributed representation and processing) ή «συνδετική υπόθεση» (connectionism) [(Rumelhart and McClelland, 1986); (Churchland and Sejnowski, 1992)]. Στο µοντέλο αυτό οι έννοιες δεν «υπάρχουν» σε κάποιο συγκεκριµένο µέρος του εγκεφάλου, αλλά είναι κατανεµηµένες σε πολλούς παράλληλους επεξεργαστές. Πανεπιστήµιο Κύπρου Τµήµα Πληροφορικής ΕΠΛ 604 Νευρωνικά ίκτυα Κ. Νεοκλέους, PhD 10
ΒΙΟΛΟΓΙΚΗ και ΤΕΧΝΗΤΗ ΝΟΗΜΟΣΥΝΗ Πιστεύεται δηλαδή, ότι οι ανώτερες λειτουργίες θα µπορούσαν να µοντελοποιηθούν και µελετηθούν µε υπολογιστικάσυναρτησιακά συστήµατα (functional- computational intelligent systems), µέσα από κατανεµηµένες διαδικασίες. Οι ανώτερες πνευµατικές λειτουργίες θεωρούνται ότι είναι αναδυόµενες ιδιότητες (emerging properties), που πηγάζουν από σύνολο απλών επεξεργασιών, µέσα από ένα συστηµατικό και δυναµικό πλέγµα αλληλοεπιδράσεων. Οι έννοιες είναι παράλληλα κατανεµηµένες σε οµάδες επεξεργαστών, σε στοιβάδες ή στρώµατα (ή επίπεδα). Έτσι δηµιουργείται µια οικονοµία στη µνήµη και στην επεξεργασία, γιατί κάποιο στοιχείο µπορεί να συµβάλλει σε πολλές διαφορετικές έννοιες. Πανεπιστήµιο Κύπρου Τµήµα Πληροφορικής ΕΠΛ 604 Νευρωνικά ίκτυα Κ. Νεοκλέους, PhD 11 ΒΙΟΛΟΓΙΚΗ και ΤΕΧΝΗΤΗ ΝΟΗΜΟΣΥΝΗ Λόγω της παραλληλικότητας, η επεξεργασία γίνεται πολύ γρήγορα, και η σταθερότητα (robustness) του συστήµατος είναι µεγάλη. Αυτό το µοντέλο είναι πιο συµβατό µε τη διαπίστωση ότι είναι αδύνατο να δώσουµε ακριβείς ορισµούς αντικειµένων και ιδεών, όχι µόνο γιατί είναι αδύνατο να προσδιορίσουµε τα όρια, αλλά και διότι είναι µια ατέρµονη διαδικασία όπου το κάθε τι θα πρέπει να οριστεί µε βάση άλλους όρους που ορίσθηκαν προηγουµένως κ.ο.κ. Φαίνεται ότι οι ασαφείς αντιλήψεις είναι σηµαντικές στην ανάπτυξη της νόησης. Πανεπιστήµιο Κύπρου Τµήµα Πληροφορικής ΕΠΛ 604 Νευρωνικά ίκτυα Κ. Νεοκλέους, PhD 12
ΒΙΟΛΟΓΙΚΗ και ΤΕΧΝΗΤΗ ΝΟΗΜΟΣΥΝΗ Ένα πιο εξελιγµένο συνδετικό µοντέλο, είναι η µοντελοποίηση της αντίληψης ως δυναµικό σύστηµα. Σ αυτό, οι διαδικασίες προσοµοιάζονται σαν ένα σύστηµα από δυναµικά αλληλοεξαρτώµενους επεξεργαστές, που αλληλοεπηρεάζονται σε συνεχή χρόνο. Σε µαθηµατική προσοµοίωση, συνήθως χρησιµοποιούνται διαφορικές εξισώσεις για τη µελέτη του συστήµατος. Έτσι, οι εκδηλώσεις συµπεριφοράς (και νοηµοσύνης) θεωρούνται ότι προσοµοιάζονται από τη διαδροµή (ίχνος) στο χρόνο, του πολυ-παραµετρικού δυναµικού συστήµατος. Πανεπιστήµιο Κύπρου Τµήµα Πληροφορικής ΕΠΛ 604 Νευρωνικά ίκτυα Κ. Νεοκλέους, PhD 13 ΒΙΟΛΟΓΙΚΗ και ΤΕΧΝΗΤΗ ΝΟΗΜΟΣΥΝΗ Τα προηγούµενα µοντέλα είναι πολύ διαφορετικά από το λεγόµενο «συµβολιστικό µοντέλο αντίληψης» ή «συµβολιστική υπόθεση» (physical systems symbol hypothesis) των Newell και Simon, όπου η γνώση και η νοηµοσύνη θεωρούνται ότι µπορούν να αναδυθούν µε τρόπους και διαδικασίες που µοιάζουν µε αυτές που προτείνονται για την ανάπτυξη της γλώσσας (language). Άλλοι σηµαντικότατοι ερευνητές που υποστήριξαν/ζουν αυτή τη θεωρία είναι οι Chomski, Minsky, Fodor και Pylyshyn). Αυτό το µοντέλο θεωρείται ότι είναι πιο κοντά στη κλασσική τεχνητή νοηµοσύνη. Πανεπιστήµιο Κύπρου Τµήµα Πληροφορικής ΕΠΛ 604 Νευρωνικά ίκτυα Κ. Νεοκλέους, PhD 14
ΒΙΟΛΟΓΙΚΗ και ΤΕΧΝΗΤΗ ΝΟΗΜΟΣΥΝΗ Σύµφωνα µε αυτή τη θεωρία, χρησιµοποιώντας µερικές βασικές έννοιες και βασικές λογικές επεξεργασίες, µέσα από ακριβείς κανόνες και κατάλληλους συνδυασµούς, γίνεται η σύνθεση πολύπλοκων εννοιών και έτσι εκδηλώνεται αναδυόµενη νοηµοσύνη. Πανεπιστήµιο Κύπρου Τµήµα Πληροφορικής ΕΠΛ 604 Νευρωνικά ίκτυα Κ. Νεοκλέους, PhD 15 ΤΕΧΝΗΤΗ ΝΟΗΜΟΣΥΝΗ (TN) Ασθενής προσέγγιση Ισχυρή προσέγγιση Πιστεύεται ότι η ανθρώπινη γνώση/νόηση ή ειδικές εκφάνσεις αυτής µπορεί να προσοµοιαστούν σε υπολογιστικά συστήµατα. Πιστεύεται ότι η ανθρώπινη γνώση/νόηση µπορεί να εκδηλωθεί αυτόµατα σε υπολογιστικά συστήµατα. Κλασσική υπολογιστική (symbolic AI) Όπως εκφράζεται µέσα από συµβολιστικές οντότητες, οι οποίες µπορούν να κωδικοποιηθούν σε απλά δυαδικά συστήµατα (και όχι µόνον). Μερικοί σηµαντικοί εκφραστές είναι οι Dennet, Newell και Simon, Chomski, Minsky, Fodor και Pylyshyn Συνδετική υπολογιστική (connectionism) Όπως εκφράζεται µέσα από µη-συµβολιστικές µεθόδους π.χ. τα ΤΝ. Οι γνωστικές εκδηλώσεις παρουσιάζονται σαν µια δυναµικά αναδυόµενη συµπεριφορά, κατανεµηµένη σε στρώµατα συνδεδεµένων κυττάρων, που εξελίσσεται και παρουσιάζεται σε συνάρτηση µε τις άµεσες ή/και έµµεσες εµπειρίες του ατόµου. Μερικοί σηµαντικοί εκφραστές είναι οι Smolensky και Hameroff. Πανεπιστήµιο Κύπρου Τµήµα Πληροφορικής ΕΠΛ 604 Νευρωνικά ίκτυα Κ. Νεοκλέους, PhD 16
ΜΕΘΟ ΟΙ ΜΕΛΕΤΗΣ ΤΗΣ ΤΕΧΝΗΤΗΣ ΝΟΗΜΟΣΥΝΗΣ Τεχνητά νευρωνικά δίκτυα (Artificial neural networks) Εµπειρογνώµονα συστήµατα (Expert systems) Τεχνητή ζωή (Artificial life) Γενετικοί αλγόριθµοι (Genetic algorithms) Ασαφής λογική (Fuzzy logic) Πανεπιστήµιο Κύπρου Τµήµα Πληροφορικής ΕΠΛ 604 Νευρωνικά ίκτυα Κ. Νεοκλέους, PhD 17 Βασικά φιλοσοφικά ερωτήµατα Μπορεί ο ανθρώπινος εγκέφαλος να κατανοήσει τον ίδιο τον εαυτό του; Μπορεί ένας βιολογικός εγκέφαλος να δηµιουργήσει τεχνητό εγκέφαλο και τεχνητή νοηµοσύνη; Μήπως αυτό που λέµε νοηµοσύνη είναι µια εντελώς υποκειµενική γνώση; Ποια η σχέση µε τη λογική, µνήµη, συνείδηση, αίσθηση,... Πανεπιστήµιο Κύπρου Τµήµα Πληροφορικής ΕΠΛ 604 Νευρωνικά ίκτυα Κ. Νεοκλέους, PhD 18
Βασικά φιλοσοφικά ερωτήµατα Πως ο εγκέφαλος επεξεργάζεται τις λογικές διαδικασίες; Πως δηµιουργείται η αντίληψη, αίσθηση, λογική, ευφυΐα,... Τι είναι η µνήµη; Μπορεί να υπάρχει συλλογική, εθνική µνήµη; Πως κωδικοποιούνται οι αριθµοί, οι λέξεις, οι έννοιες; Πως επεξεργάζεται ο εγκέφαλος µε την ίδια ευκολία ασαφείς και ακριβείς έννοιες; Πανεπιστήµιο Κύπρου Τµήµα Πληροφορικής ΕΠΛ 604 Νευρωνικά ίκτυα Κ. Νεοκλέους, PhD 19 ΕΙΣΑΓΩΓΗ ΣΤΑ ΤΕΧΝΗΤΑ ΝΕΥΡΩΝΙΚΑ ΙΚΤΥΑ (ΤΝ ) Είναι ευέλικτα, µη-γραµµικά συστήµατα πολλών συνεργαζόµενων επεξεργαστών, που µεταξύ άλλων, βοηθούν στη: Μελέτη βιολογικών ιδιοτήτων. Επεξεργασία δεδοµένων. Αντιστοίχηση (mapping) και τη διακρίβωση σχέσεων µεταξύ µεταβλητών Πρόγνωση. Μελέτη δυναµικών συστηµάτων. Ανάπτυξη προσαρµοζόµενων συστηµάτων επεξεργασίας σήµατος και ελέγχου διαδικασιών. Πανεπιστήµιο Κύπρου Τµήµα Πληροφορικής ΕΠΛ 604 Νευρωνικά ίκτυα Κ. Νεοκλέους, PhD 20
ΤΕΧΝΗΤΑ ΝΕΥΡΩΝΙΚΑ ΙΚΤΥΑ Επεξεργάζονται δεδοµένα εισόδου, συνήθως δυναµικά, και η συµπεριφορά τους προσοµοιάζει κάπως µε µερικές εκφάνσεις της λειτουργίας του ανθρώπινου εγκεφάλου. Ελπίζεται ότι µέσα από την αυτόνοµη ανάπτυξη αυτών των συστηµάτων, θα εκδηλωθεί κάποιας µορφής νοηµοσύνη, και σταδιακά ευφυία. Πανεπιστήµιο Κύπρου Τµήµα Πληροφορικής ΕΠΛ 604 Νευρωνικά ίκτυα Κ. Νεοκλέους, PhD 21 ΜΕΡΙΚΕΣ ΧΡΗΣΙΜΕΣ Ι ΙΟΤΗΤΕΣ ΤΩΝ ΤΕΧΝΗΤΩΝ ΝΕΥΡΩΝΙΚΩΝ ΙΚΤΥΩΝ Συνήθως εκπαιδεύονται µε διδασκαλία. Είναι ανεκτικά σε λάθη (fault tolerant). Μπορούν να προβούν σε συµπεράσµατα για κάτι που δεν έχουν διδαχτεί επαρκώς (γενίκευση). Αν τα δεδοµένα αλλάξουν τότε χρειάζονται επανεκπαίδευση (re-training). Μπορεί να γίνει ανάπτυξη πολλών µοντέλων για την ίδια εφαρµογή. Οι κανόνες είναι κωδικοποιηµένοι σε µια κατάσταση κατανοµής συνδέσεων και βαρών. Πανεπιστήµιο Κύπρου Τµήµα Πληροφορικής ΕΠΛ 604 Νευρωνικά ίκτυα Κ. Νεοκλέους, PhD 22
Τεχνητά Νευρωνικά ίκτυα Οι κύριοι λόγοι για τη ραγδαία ανάπτυξη της έρευνας γύρω από ΤΝ είναι: Εφαρµογή τους σε ενδιαφέροντα θέµατα όπως: η επεξεργασία γνώσης ο αυτόµατος έλεγχος - robots η ταξινόµηση, η οµιλία (speech) η όραση (vision) κ.α. Πανεπιστήµιο Κύπρου Τµήµα Πληροφορικής ΕΠΛ 604 Νευρωνικά ίκτυα Κ. Νεοκλέους, PhD 23 Μετρήστε τις µαύρες κουκίδες! Πανεπιστήµιο Κύπρου Τµήµα Πληροφορικής ΕΠΛ 604 Νευρωνικά ίκτυα Κ. Νεοκλέους, PhD 24
ΕΦΑΡΜΟΓΕΣ ΤΕΧΝΗΤΩΝ ΝΕΥΡΩΝΙΚΩΝ ΙΚΤΥΩΝ Κατηγοριοποίηση εφαρµογών: (Classification of applications) Για ένα νευρωνικό σύστηµα που µοντελοποιείται όπως πιο κάτω: x(t) dy dt ( t ) = ψ(y(t), x(t), W(t)) Ανάλογα µε το τι είναι το επιδιωκόµενο y(t), το σύστηµα µπορεί να ταξινοµηθεί καταλλήλως. Τα διανύσµαταθασυµβολίζονται µε έντονα-µικρά σύµβολα (x, y,...) Οι πίνακες θα συµβολίζονται µε έντονα-κεφαλαία σύµβολα (W,...) Οι βαθµωτές µεταβλητές θα συµβολίζονται µε κυρτά-µικρά σύµβολα (t,...) Πανεπιστήµιο Κύπρου Τµήµα Πληροφορικής ΕΠΛ 604 Νευρωνικά ίκτυα Κ. Νεοκλέους, PhD 25 y(t) όπου: x Є R nx1 y Є R qx1 ΕΦΑΡΜΟΓΕΣ ΤΕΧΝΗΤΩΝ ΝΕΥΡΩΝΙΚΩΝ ΙΚΤΥΩΝ x(t) dy dt ( t ) = ψ(y(t), x(t), W(t)) Εάν το επιδιωκόµενο είναι: να βρεθεί η ακριβής δυναµική (ή στατική) συσχέτιση µεταξύ εισόδουεξόδου, το σύστηµα θεωρείται ότι κάνει συναρτησιακή προσέγγιση (function approximation ή system identification) όπως για παράδειγµα σε προβλήµατα αυτοµάτου ελέγχου. να βρεθεί χαλαρή συσχέτιση µεταξύ δεδοµένων εισόδου-εξόδου, το σύστηµα θεωρείται ότι κάνει γενίκευση. να βρεθεί συσχέτιση µεταξύ δεδοµένων εισόδου-εξόδου ώστε η έξοδος να ταξινοµείται σε κατηγορίες, το σύστηµα θεωρείται ότι κάνει αναγνώριση προτύπων (pattern recognition) ή κατηγοριοποίηση (classification) ανάλογα µε το πεδίο εφαρµογής. y(t) Πανεπιστήµιο Κύπρου Τµήµα Πληροφορικής ΕΠΛ 604 Νευρωνικά ίκτυα Κ. Νεοκλέους, PhD 26
ΕΦΑΡΜΟΓΕΣ ΤΕΧΝΗΤΩΝ ΝΕΥΡΩΝΙΚΩΝ ΙΚΤΥΩΝ x(t) dy dt ( t ) Εάν το επιδιωκόµενο είναι: = ψ(y(t), x(t), W(t)) να βρεθεί χαλαρή συσχέτιση µεταξύ δεδοµένων εισόδου-εξόδου ώστε το σύστηµα να κάνει επέκταση στο χώρο ή χρόνο, το σύστηµα θεωρείται ότι κάνει πρόβλεψη (prediction, forecasting). να βρεθεί η ακριβής συσχέτιση µεταξύ εισόδου-εξόδου ώστε q <<< n, το σύστηµα θεωρείται ότι κάνει οµαδοποίηση (clustering) ή συµπίεση δεδοµένων (compression). να βρεθεί συσχέτιση µεταξύ εισόδου-εξόδου ώστε να µεγιστοποιηθεί (ή ελαχιστοποιηθεί) κάποιο κατάλληλο κριτήριο, τότε το πρόβληµα µετατρέπεται σε βελτιστοποίηση (optimization). y(t) Πανεπιστήµιο Κύπρου Τµήµα Πληροφορικής ΕΠΛ 604 Νευρωνικά ίκτυα Κ. Νεοκλέους, PhD 27 ΕΦΑΡΜΟΓΕΣ ΤΕΧΝΗΤΩΝ ΝΕΥΡΩΝΙΚΩΝ ΙΚΤΥΩΝ x(t) dy dt ( t ) = ψ(y(t), x(t), W(t)) y(t) Εάν το επιδιωκόµενο είναι να βρεθεί νέα συσχέτιση µεταξύ δεδοµένων εισόδου-εξόδου ώστε το σύστηµα να κάνει µακρινή και άγνωστη επέκταση στο χωροδιάστηµα, το σύστηµα θεωρείται ότι κάνει σύνθεση! Επιπρόσθετα οι εφαρµογές µπορεί να ταξινοµηθούν ως βασική (ή θεµελιώδης) έρευνα για τη κατανόηση στοιχείων της νόησης (µνήµη, αναγνώριση,...) ή της βιολογικής λειτουργίας του εγκεφάλου, καθώς και εφαρµοσµένη που στοχεύει σε πρακτικές εφαρµογές. Πανεπιστήµιο Κύπρου Τµήµα Πληροφορικής ΕΠΛ 604 Νευρωνικά ίκτυα Κ. Νεοκλέους, PhD 28
ΕΦΑΡΜΟΓΕΣ ΤΕΧΝΗΤΩΝ ΝΕΥΡΩΝΙΚΩΝ ΙΚΤΥΩΝ ΕΙ ΙΚΕΣ ΠΕΡΙΠΤΩΣΕΙΣ: Συνδυαστική µνήµη: (associative memory, pattern addressable memory) Μεγάλα αυτιά Μεγάλα µάτια Μεγάλα δόντια Καλός Ρυτιδωµένος Ωραίος ΛΥΚΟΣ ΓΙΑΓΙΑ ΞΥΛΟΚΟΠΟΣ Τρέξε µακριά Φώναξε για βοήθεια Βρες τον ξυλοκόπο Φιλί στο µάγουλο Προσέγγισε Πρόσφερε φαγητό Φλέρταρε Πανεπιστήµιο Κύπρου Τµήµα Πληροφορικής ΕΠΛ 604 Νευρωνικά ίκτυα Κ. Νεοκλέους, PhD 29 ΕΦΑΡΜΟΓΕΣ ΤΕΧΝΗΤΩΝ ΝΕΥΡΩΝΙΚΩΝ ΙΚΤΥΩΝ Στις µηχανικές επιστήµες: Μοντελοποίηση µηχανολογικών διαδικασιών (ηλιακή ενέργεια, εστίες,...) Ροµποτική και αυτόνοµα οχήµατα (Robotics and autonomous vehicles) Αυτόµατος έλεγχος (Automatic control systems) Πανεπιστήµιο Κύπρου Τµήµα Πληροφορικής ΕΠΛ 604 Νευρωνικά ίκτυα Κ. Νεοκλέους, PhD 30
ΕΦΑΡΜΟΓΕΣ ΤΕΧΝΗΤΩΝ ΝΕΥΡΩΝΙΚΩΝ ΙΚΤΥΩΝ Αναγνώριση προτύπων: Αναγνώριση σήµατος, οµιλίας, γραφής, εικόνας, οµιλητή. Πανεπιστήµιο Κύπρου Τµήµα Πληροφορικής ΕΠΛ 604 Νευρωνικά ίκτυα Κ. Νεοκλέους, PhD 31 ΕΦΑΡΜΟΓΕΣ ΤΕΧΝΗΤΩΝ ΝΕΥΡΩΝΙΚΩΝ ΙΚΤΥΩΝ ιαγνωστική: Σε ECG, EEG, EMG, ιακρίβωση εκρηκτικών και στόχων: Αυτόµατα συστήµατα σε αεροδρόµια και στρατιωτικές εφαρµογές. Πανεπιστήµιο Κύπρου Τµήµα Πληροφορικής ΕΠΛ 604 Νευρωνικά ίκτυα Κ. Νεοκλέους, PhD 32
ΕΦΑΡΜΟΓΕΣ ΤΕΧΝΗΤΩΝ ΝΕΥΡΩΝΙΚΩΝ ΙΚΤΥΩΝ ιακρίβωση βλαβών: Σε µηχανές και συστήµατα. Ανάλυση σηµάτων: Σεισµικά, οπτικά, ακουστικά,... Πανεπιστήµιο Κύπρου Τµήµα Πληροφορικής ΕΠΛ 604 Νευρωνικά ίκτυα Κ. Νεοκλέους, PhD 33 ΕΦΑΡΜΟΓΕΣ ΤΕΧΝΗΤΩΝ ΝΕΥΡΩΝΙΚΩΝ ΙΚΤΥΩΝ Τεχνητή ακοή, όραση: Ο Kovaks και οι συνεργάτες του, κατασκεύασαν µία διδιάστατη µικροηλεκτρική πλακέτα στην οποία έβγαλαν τρύπες διαµέτρου 8µm (µε λέιζερ). [Σηµ. Οι νευρίτες των νευρώνων έχουν διάµετρο περίπου 20µm]. Όταν αυτές τοποθετήθηκαν κοντά σε νευρικά κύτταρα, οι νευρίτες άπλωσαν µέσα στις τρύπες! Πανεπιστήµιο Κύπρου Τµήµα Πληροφορικής ΕΠΛ 604 Νευρωνικά ίκτυα Κ. Νεοκλέους, PhD 34
ΕΦΑΡΜΟΓΕΣ ΤΕΧΝΗΤΩΝ ΝΕΥΡΩΝΙΚΩΝ ΙΚΤΥΩΝ Σύστηµα βοήθειας σε τετραπληγικούς: Με τη σκέψη τους µπορούν να κάνουν απλές εργασίες όπως άνοιγµα και κλείσιµο θύρας, έλεγχος φωτισµού, κ.α. Οµαδοποίηση δεδοµένων: (Data clustering and compression) Πανεπιστήµιο Κύπρου Τµήµα Πληροφορικής ΕΠΛ 604 Νευρωνικά ίκτυα Κ. Νεοκλέους, PhD 35 ΕΦΑΡΜΟΓΕΣ ΤΕΧΝΗΤΩΝ ΝΕΥΡΩΝΙΚΩΝ ΙΚΤΥΩΝ Πρόβλεψη (Prediction and forecasting): είκτες αγοράς και απάτες µε κάρτες Φορτία ενεργειακών δικτύων Πιθανές περιοχές µε πλούσια ορυκτά Πανεπιστήµιο Κύπρου Τµήµα Πληροφορικής ΕΠΛ 604 Νευρωνικά ίκτυα Κ. Νεοκλέους, PhD 36
ΕΦΑΡΜΟΓΕΣ ΤΕΧΝΗΤΩΝ ΝΕΥΡΩΝΙΚΩΝ ΙΚΤΥΩΝ Βελτιστοποίηση (Optimization): Στη λήψη αποφάσεων σε προβλήµατα διοίκησης. Πρόβληµα κίνησης πλασιέ (Traveling salesman problem - TSP) Σύνθεση: Σύνθεση µουσικής και οµιλίας ηµιουργία νέων υλικών Πανεπιστήµιο Κύπρου Τµήµα Πληροφορικής ΕΠΛ 604 Νευρωνικά ίκτυα Κ. Νεοκλέους, PhD 37 ΜΕΡΙΚΑ ΕΜΠΟΡΙΚΑ ΠΡΟΓΡΑΜΜΑΤΑ ΤΝ MATLAB Neural Network Toolbox Ward Systems Group (NeuroShell, etc.) SAS Enterprise Miner Software BrainMaker NeuralWorks NeuroForecaster Products of NESTOR, Inc. Neuralyst NeuFuz4 και πολλά άλλα Πανεπιστήµιο Κύπρου Τµήµα Πληροφορικής ΕΠΛ 604 Νευρωνικά ίκτυα Κ. Νεοκλέους, PhD 38
Έρευνα σχετικά µε Τεχνητά Νευρωνικά ίκτυα Πολλές δηµοσιεύσεις έχουν στρέψει τελευταίως τα βλέµµατα πολλών επιστηµόνων στα νευρωνικά δίκτυα. Παρουσιάζονται µεγάλες πηγές χρηµατοδότησης. Στις ΗΠΑ, για έρευνα και ανάπτυξη (R&D) σε νευρωνικά δίκτυα διατίθενται περίπου 1500 ανθρωποέτη από 350 πανεπιστήµια και εταιρείες. Περίπου στα ίδια επίπεδα κυµαίνεται και το R&D στην Ιαπωνία. Στην Ευρώπη συµµετέχουν 250 πανεπιστήµια και εταιρείες. Ο συνολικός προϋπολογισµός για έρευνα και ανάπτυξη στον τοµέα των τεχνητών νευρωνικών δικτύων ήταν ~$500Μ. Πανεπιστήµιο Κύπρου Τµήµα Πληροφορικής ΕΠΛ 604 Νευρωνικά ίκτυα Κ. Νεοκλέους, PhD 39 Τεχνητά Νευρωνικά ίκτυα και Στατιστικές Μέθοδοι Σύγκριση ορολογίας Υπάρχει µια διάχυτη αντιπαράθεση µεταξύ στατιστικολόγων και νευροεπιστηµόνων. Προς το παρών φαίνεται ότι η καλύτερη προσέγγιση είναι να χρησιµοποιούνται στατιστικές µέθοδοι εκεί που έχουν µεγαλύτερο πλεονέκτηµα, όπως στη προεπεξεργασία και µετ-επεξεργασία των δεδοµένων εισόδου και εξόδου, ενώ τα τεχνητά νευρωνικά δίκτυα στην κυρίως επεξεργασία, ειδικότερα όταν το πρόβληµα είναι σύνθετο. Πανεπιστήµιο Κύπρου Τµήµα Πληροφορικής ΕΠΛ 604 Νευρωνικά ίκτυα Κ. Νεοκλέους, PhD 40
Τεχνητά Νευρωνικά ίκτυα και Στατιστικές Μέθοδοι Πολλά από τα µοντέλα των τεχνητών νευρωνικών δικτύων, ειδικότερα τα µη-δυναµικά, έχουν οµοιότητες µε γνωστές στατιστικές µεθόδους όπως: Generalized linear models Polynomial regression Non-parametric regression Discriminant analysis Principal components Cluster analysis Πανεπιστήµιο Κύπρου Τµήµα Πληροφορικής ΕΠΛ 604 Νευρωνικά ίκτυα Κ. Νεοκλέους, PhD 41 Τεχνητά Νευρωνικά ίκτυα και Στατιστικές Μέθοδοι Σύγκριση ορολογίας ΣΤΑΤΙΣΤΙΚΗ Variables Independent variables Predicted values Dependent variables Residuals Estimation Estimation criterion Observations Parameter estimates Interactions Transformations Regression and discriminant analysis Data reduction Cluster analysis Interpolation and extrapolation ΤΝ Features Inputs Outputs Targets or training values Errors Training, learning, adaptation, or self-organization. Error function, Cost function, or Lyapunov function Patterns or training pairs (Synaptic) weights Higher-order neurons Functional links Supervised learning or heteroassociation Unsupervised learning, encoding, or autoassociation Competitive learning or adaptive vector quantization Generalization Οι στατιστικοί όροι sample και population δεν έχουν αντίστοιχους στα τεχνητά νευρωνικά δίκτυα. Συνήθως τα δεδοµένα χωρίζονται σε training set, test set for cross-validation, και σε verification set. Πανεπιστήµιο Κύπρου Τµήµα Πληροφορικής ΕΠΛ 604 Νευρωνικά ίκτυα Κ. Νεοκλέους, PhD 42
Τέλος της εισαγωγής στα τεχνητά νευρωνικά δίκτυα Πανεπιστήµιο Κύπρου Τµήµα Πληροφορικής ΕΠΛ 604 Νευρωνικά ίκτυα Κ. Νεοκλέους, PhD 43 Ασαφή Συστήµατα (ΑΣ) (Fuzzy Systems - FS) Η ασαφής λογική (fuzzy logic) είναι ένα υπερσύνολο της λογικής Bool (Boolean logic) που επινοήθηκε κυρίως για να λογικοποιήσει τις µισοαλήθειες, τα παράδοξα, και γενικά τη δυνατότητα να έχουµε τιµές αληθείας (truth values) που να επεκτείνουν το κλασσικό δυαδικό σύστηµα (ορθό λάθος) σε µερικώς ορθό ή λίγο λάθος. Πανεπιστήµιο Κύπρου Τµήµα Πληροφορικής ΕΠΛ 604 Νευρωνικά ίκτυα Κ. Νεοκλέους, PhD 44
Ασαφή Συστήµατα ιαφορά µεταξύ ασαφούς και σαφούς λογικής: Στη σαφή (ήδυαδική) λογική, το αποτέλεσµα µπορεί να είναι ορθό ή λάθος µόνο: π.χ. 1+1=2 Όµως ο κόσµος και οι µεταβλητές που τον περιγράφουν είναι κατά το πλείστον ασαφή π.χ. Κάνει/είναι κρύο, ΗΜαρίαείναιψηλή, Είναι πράσινο,... Υπάρχουν ασάφειες λόγω πιθανότητας και λόγω αδυναµίας προσδιορισµού διαχωριστικής γραµµής µεταξύ πραγµάτων και ιδεών. Πανεπιστήµιο Κύπρου Τµήµα Πληροφορικής ΕΠΛ 604 Νευρωνικά ίκτυα Κ. Νεοκλέους, PhD 45 Ασαφή Συστήµατα Ηασαφής λογική επεκτείνει τη δυαδική λογική του: Ναι/Όχι, Σωστό/Λάθος, Μαύρο/Άσπρο, Πάνω/Κάτω,... ώστε να επιτρέπονται και άλλες τιµές. ίνεται υπερβάλλουσα σηµασία στη λέξη fuzzy γιατί βοηθά στις πωλήσεις. Από τους κύριους επινοητές ήταν ο πέρσης Lotfi Zadeh του Πανεπιστηµίου της Καλιφόρνιας στο Μπέρκλευ µε σηµαντική εργασία που έκανε το 1960. Πανεπιστήµιο Κύπρου Τµήµα Πληροφορικής ΕΠΛ 604 Νευρωνικά ίκτυα Κ. Νεοκλέους, PhD 46
Ασαφή Συστήµατα Παράδειγµα: Πότε είναι κάποιος/αψηλός/ή; Εάν P είναιτοσύνολοανθρώπωνκαιh το ύψος τους, το ασαφές υποσύνολο µ(h) που µπορεί να απαντήσει στη πιο πάνω ερώτηση είναι: µ(h) = 0 ( h 1,5) 0,7 1 εάν h < 1,5 m εάν 1,5 h 2,2 m εάν h > 2,2 m Όπου µ(h) είναι γνωστή ως συνάρτηση συµµετοχής ή µέλους (membership function) Πανεπιστήµιο Κύπρου Τµήµα Πληροφορικής ΕΠΛ 604 Νευρωνικά ίκτυα Κ. Νεοκλέους, PhD 47 µ(h) 1 Ασαφή Συστήµατα Συναρτήσεις µέλους (membership functions): 0.5 0 0.5 1.85 2.2 Ύψος, h [m] Τέτοιες συναρτήσεις µπορούν να κατασκευαστούν και για άλλες παραµέτρους και να δηµιουργηθεί ασαφές λογικό σύστηµα µε κανόνες όπως για παράδειγµα: Πανεπιστήµιο Κύπρου Τµήµα Πληροφορικής ΕΠΛ 604 Νευρωνικά ίκτυα Κ. Νεοκλέους, PhD 48
Ασαφή Συστήµατα Μερικές συναρτήσεις µέλους από το αρχείο της MATLAB: 1 0.8 0.6 0.4 0.2 0 trapmf gbellmf trimf gaussmf gauss2mf smf 1 0.8 0.6 0.4 0.2 0 zmf psigmf dsigmf pimf sigmf Πανεπιστήµιο Κύπρου Τµήµα Πληροφορικής ΕΠΛ 604 Νευρωνικά ίκτυα Κ. Νεοκλέους, PhD 49 Ασαφή Συστήµατα Ένας κανόνας ασαφούς λογικού συστήµατος: AND Πανεπιστήµιο Κύπρου Τµήµα Πληροφορικής ΕΠΛ 604 Νευρωνικά ίκτυα Κ. Νεοκλέους, PhD 50
Εφαρµογές: Ασαφή Συστήµατα Οι περισσότερες εφαρµογές των ασαφών συστηµάτων είναι σε συστήµατα αυτοµάτου ελέγχου, σε πληροφοριακά συστήµατα και σαν βοηθητικά στη λήψη αποφάσεων. Πανεπιστήµιο Κύπρου Τµήµα Πληροφορικής ΕΠΛ 604 Νευρωνικά ίκτυα Κ. Νεοκλέους, PhD 51 Πανεπιστήµιο Κύπρου Τµήµα Πληροφορικής ΕΠΛ 604 Νευρωνικά ίκτυα Κ. Νεοκλέους, PhD 52
Εξελισσόµενα Συστήµατα (ΕΣ) (Evolutionary Systems ES) Είναι µια ειδική τεχνική που τελευταίως έχει πάρει µεγάλη ανάπτυξη. Συνήθως είναι είναι γνωστοί σαν Γενετικοί Αλγόριθµοι (ΓΑ) [Genetic Algorithms (GA)] Είναι αλγόριθµοι για βελτιστοποίηση και για αναζήτηση. (Algorithms for optimization and search) Πανεπιστήµιο Κύπρου Τµήµα Πληροφορικής ΕΠΛ 604 Νευρωνικά ίκτυα Κ. Νεοκλέους, PhD 53 Γενετικοί Αλγόριθµοι Αρχικά µελετήθηκαν κυρίως από τον John Holland του Πανεπιστηµίου Μίσιγκαν στη δεκαετία του 70. Προσοµοιάζουν σε µεγάλο βαθµό τις διαδικασίες της φυσικής βιολογικής εξέλιξης. Πανεπιστήµιο Κύπρου Τµήµα Πληροφορικής ΕΠΛ 604 Νευρωνικά ίκτυα Κ. Νεοκλέους, PhD 54
Γενετικοί Αλγόριθµοι Μεταξύ πολλών άλλων, χρησιµοποιούνται κυρίως σε: Βελτιστοποίηση συναρτήσεων Function optimization Επιχειρησιακή έρευνα Operations research Μάθηση τεχνητών νευρωνικών δικτύων Learning in artificial neural networks Εξέλιξη νέων τοπολογιών τεχνητών νευρωνικών δικτύων Evolution of new artificial neural network architectures Εξέλιξη ασαφών κανόνων Evolution of fuzzy rules Πανεπιστήµιο Κύπρου Τµήµα Πληροφορικής ΕΠΛ 604 Νευρωνικά ίκτυα Κ. Νεοκλέους, PhD 55 Γενετικοί Αλγόριθµοι Έχουν πάρει µεγάλην ανάπτυξη λόγω κυρίως της απλότητας τους, της εφαρµογής τους σε µεγάλα προβλήµατα βελτιστοποίησης, της ικανότητας τους να βρίσκουν καθολικές (global) λύσεις και της πληθώρας εφαρµογών. Σταδιακά εισήχθησαν και άλλες παρόµοιες τεχνικές από πολλούς άλλους επιστήµονες. Πανεπιστήµιο Κύπρου Τµήµα Πληροφορικής ΕΠΛ 604 Νευρωνικά ίκτυα Κ. Νεοκλέους, PhD 56
Εξελισσόµενα Συστήµατα Γενικότεροι όροι είναι οι: Εξελισσόµενη υπολογιστική (Evolutionary Computation - EC) ή Εξελισσόµενοι αλγόριθµοι (Evolutionary Algorithms- EA) Περιλαµβάνουν τους: Γενετικούς Αλγορίθµους (Genetic Algorithms - GA) Γενετικό Προγραµµατισµό (Genetic Programming - GP) Εξελισσόµενο Προγραµµατισµό (Evolutionary Programming - EP) Εξελισσόµενο Υλισµικό (Evolutionary hardware - EHW) Εξελισσόµενες Στρατηγικές (Evolutionary Strategies - ES) Συστήµατα Μάθησης Προτύπων (Learning Classifier Systems - LCS) Πανεπιστήµιο Κύπρου Τµήµα Πληροφορικής ΕΠΛ 604 Νευρωνικά ίκτυα Κ. Νεοκλέους, PhD 57 Γενετικοί Αλγόριθµοι- Εφαρµογές Σχεδιασµός µηχανικών συστηµάτων (Design of engineering systems) Βελτιστοποίηση περίπλοκων διαδικασιών (Optimization of complex processes) ιάγνωση σφαλµάτων (Fault diagnosis) Πανεπιστήµιο Κύπρου Τµήµα Πληροφορικής ΕΠΛ 604 Νευρωνικά ίκτυα Κ. Νεοκλέους, PhD 58
Γενετικοί Αλγόριθµοι- Εφαρµογές Μάθηση τεχνητών νευρωνικών δικτύων (Learning in artificial neural networks) Ανίχνευση νέων αρχιτεκτονικών νευρωνικών δικτύων (Finding new architectures of artificial neural networks) Σύνθεση µουσικής (Music composition) Πανεπιστήµιο Κύπρου Τµήµα Πληροφορικής ΕΠΛ 604 Νευρωνικά ίκτυα Κ. Νεοκλέους, PhD 59 Συστήµατα Τεχνητής Ζωής (ΣΤΖ) (Artificial Life Systems ALS) Είναι υπεραπλουστευµένη προσοµοίωση απλών «ζωντανών» οργανισµών. Έχουν πολλά κοινά µε τα κυτταρικά αυτόµατα (cellular automata). Χρησιµοποιούν απλούς κανόνες για αυτοοργάνωση. π.χ. Παιγνίδι της ζωής του Conway Συχνά παρουσιάζονται προβλήµατα πολυπλοκότητας και χάους. Πανεπιστήµιο Κύπρου Τµήµα Πληροφορικής ΕΠΛ 604 Νευρωνικά ίκτυα Κ. Νεοκλέους, PhD 60
Συστήµατα Τεχνητής Ζωής Μπορεί να παρουσιάσουν αναδυόµενη συµπεριφορά. (emerging behaviour) ΧΡΗΣΙΜΟΠΟΙΟΥΝΤΑΙ ΣΕ: Προβλήµατα βελτιστοποίησης Μάθηση νευρωνικών δικτύων... Πανεπιστήµιο Κύπρου Τµήµα Πληροφορικής ΕΠΛ 604 Νευρωνικά ίκτυα Κ. Νεοκλέους, PhD 61 ΕΠΛ 604 Τεχνητή Νοηµοσύνη ***************** Τέλος Εισαγωγής Κώστας Νεοκλέους, PhD Τηλέφωνο Γραφείου: 22406391 Email: costas@ucy.ac.cy