ΕΛΛΗΝΙΚΗ ΔΗΜΟΚΡΑΤΙΑ Ανώτατο Εκπαιδευτικό Ίδρυμα Πειραιά Τεχνολογικού Τομέα ΕΥΦΥΗΣ ΕΛΕΓΧΟΣ Ενότητα #12: Εισαγωγή στα Nευρωνικά Δίκτυα Αναστάσιος Ντούνης Τμήμα Μηχανικών Αυτοματισμού Τ.Ε.
Άδειες Χρήσης Το παρόν εκπαιδευτικό υλικό υπόκειται σε άδειες χρήσης Creative Commons. Για εκπαιδευτικό υλικό, όπως εικόνες, που υπόκειται σε άλλου τύπου άδειας χρήσης, η άδεια χρήσης αναφέρεται ρητώς. 2
Χρηματοδότηση Το παρόν εκπαιδευτικό υλικό έχει αναπτυχθεί στα πλαίσια του εκπαιδευτικού έργου του διδάσκοντα. Το έργο «Ανοικτά Ακαδημαϊκά Μαθήματα στο Ανώτατο Εκπαιδευτικό Ίδρυμα Πειραιά Τεχνολογικού Τομέα» έχει χρηματοδοτήσει μόνο την αναδιαμόρφωση του εκπαιδευτικού υλικού. Το έργο υλοποιείται στο πλαίσιο του Επιχειρησιακού Προγράμματος «Εκπαίδευση και Δια Βίου Μάθηση» και συγχρηματοδοτείται από την Ευρωπαϊκή Ένωση (Ευρωπαϊκό Κοινωνικό Ταμείο) και από εθνικούς πόρους. 3
Σκοποί ενότητας ΤΝΔ Τεχνητό Νευρωνικό Δίκτυο, δομή των ΤΝΔ Ανατομία του Νευρικού Κυττάρου, αναλογία με το Βιολογικό Νευρώνα Ο Τεχνητός Νευρώνας Εφαρμογές Βασικά δομικά στοιχεία των ΤΝΔ Παραδείγματα Συναρτήσεων Ενεργοποιήσεως Λειτουργία των ΤΝΔ Ταξινόμηση Πρόβλεψη χρονοσειρών Εξόρυξη δεδομένων/προεπεξεργασία 4
Περιεχόμενα ενότητας ΤΝΔ Τεχνητό Νευρωνικό Δίκτυο Η δομή των ΤΝΔ Ανατομία του Νευρικού Κυττάρου Αναλογία με το Βιολογικό Νευρώνα Ο Τεχνητός Νευρώνας Εφαρμογές Perceptron Παράδειγμα Λειτουργίας 5
Περιεχόμενα ενότητας (2) Βασικά δομικά στοιχεία των ΤΝΔ Παραδείγματα Συναρτήσεων Ενεργοποιήσεως Πώς δουλεύουν τα ΤΝΔ; Ταξινόμηση Πρόβλεψη χρονοσειρών Εξόρυξη δεδομένων/προεπεξεργασία 6
Περιεχόμενα ενότητας (3) Ταξινόμηση νευρωνικών αλγορίθμων Μάθηση ΤΝΔ 7
Τεχνητό Νευρωνικό Δίκτυο ΤΝΔ
Τί είναι ΤΝΔ; ΤΝΔ Τεχνητό Νευρωνικό Δίκτυο Προσομοιώνει τη συμπεριφορά του ανθρώπινου εγκεφάλου. Μια νέα γενιά συστήματος επεξεργασίας της πληροφορίας. 9
Η δομή των ΤΝΔ
Η δομή των ΤΝΔ (1) Ενα ΤΝΔ αποτελείται από ένα μεγάλο αριθμό αλληλοσυνδεόμενων στοιχείων επεξεργασίας που ονομάζονται νευρώνες. Ο ανθρώπινος εγκέφαλος συνίσταται από ~10 11 νευρώνες διαφορετικών τύπων. Πώς λειτουργούν τα ΤΝΔ; Συλλογική (συγκεντρωτική) συμπεριφορά. 11
Ανατομία του Νευρικού Κυττάρου
Ανατομία του Νευρικού Κυττάρου (1) 13
Αναλογία με το Βιολογικό Νευρώνα
Αναλογία με το Βιολογικό Νευρώνα (1) Source: S.V. Kartalopoulos, Understanding Neural Networks & Fuzzy Logic 15
Τεχνητός Νευρώνας
Ο Τεχνητός Νευρώνας (1) 17
Ο Τεχνητός Νευρώνας (2) 18
Εφαρμογές
Τι μπορούμε να κάνουμε με ένα Νευρώνα (Perceptron) Έναν σκληρό περιοριστή. Μια μονάδα δυαδικής κατωφλίωσης. Διαχωρισμός υπερεπιπέδων. 20
Παράδειγμα Λειτουργίας 21
Νευρωνικά Δίκτυα Βασικά δομικά στοιχεία
Ποιά είναι τα βασικά δομικά στοιχεία των ΤΝΔ; Ενα μαθηματικό μοντέλο εμπνευσμένο από τη νευροφυσιολογία. Αποτελείται από ένα μεγάλο σύνολο νευρώνων, δηλαδή στοιχείων αριθμητικής επεξεργασίας πληροφορίας. Η αντίδραση του νευρώνα εξαρτάται μόνο από τοπική πληροφορία. Ικανότητα μάθησης, ανάκλησης και γενίκευσης. Οι συνδέσεις με τα ρυθμιζόμενα βάρη αποθηκεύουν γνώση. Η συλλογική συμπεριφορά επιδεικνύει την υπολογιστική ισχύ. 23
Τί είναι ένα Νευρωνικό Δίκτυο; Ορισμός: Ένα Τεχνητό Νευρωνικό Δίκτυο (ΤΝΔ) είναι ένα πρόγραμμα στο υπολογιστή που μπορεί να αναγνωρίζει πρότυπα σε μια συλλογή δεδομένων και παράγει ένα μοντέλο για αυτά τα δεδομένα. Το ΤΝΔ ομοιάζει με το ανθρώπινο εγκέφαλο για δύο λόγους: 1. Η γνώση αποκτιέται από το δίκτυο με τη διαδικασία της μάθησης (δοκιμή και σφάλμα). 2. Οι δυνάμεις σύνδεσης μεταξύ των νευρώνων γνωστές και ως συναπτικά βάρη χρησιμοποιούνται για την αποθήκευση της γνώσης. 24
Νευρωνικά Δίκτυα Παραδείγματα Συναρτήσεων Ενεργοποιήσεως
Παραδείγματα Συναρτήσεων Ενεργοποιήσεως 26
Νευρωνικά Δίκτυα Πώς δουλεύουν τα ΤΝΔ;
Πώς δουλεύουν τα ΤΝΔ; Εκπαίδευση του δικτύου: 1. Παρουσιάζονται τα δεδομένα στο δίκτυο 2. Το δίκτυο υπολογίζει την έξοδο 3. Η έξοδος του δικτύου συγκρίνεται με την επιθυμητή τιμή της εξόδου 4. Τα βάρη του δικτύου τροποποιούνται για να μειώσουν το σφάλμα της εξόδου Χρήση του δικτύου: 1. Παρουσιάζονται νέα δεδομένα στο δίκτυο 2. Το εκπαιδευμένο δίκτυο υπολογίζει την έξοδο 28
Τυπικές εφαρμογές ΤΝΔ (1) Ταξινόμηση Ιατρική διάγνωση, αναγνώριση στόχου, χαρακτήρων και φωνής Προσέγγιση συνάρτησης Μοντελοποίηση διαδικασίας, έλεγχος διαδικασίας, μοντελοποίηση δεδομένων, διαγνωστική βλαβών δυναμικών συστημάτων, αναγνώριση συστημάτων 29
Τυπικές εφαρμογές ΤΝΔ (2) Πρόβλεψη χρονοσειρών Πρόβλεψη οικονομικών μεγεθών (πτώχευση, πωλήσεις), δυναμική μοντρελοποίηση συστημάτων Εξόρυξη δεδομένων Ομαδοποίηση, οπτικοποίηση δεδομένων (στατιστικά γραφήματα, θεματικοί χάρτες), εκμαίευση δεδομένων 30
Ταξινόμηση
Ταξινόμηση (1) Όμοια διαδικασία με την προσέγγιση συνάρτησης με τη διαφορά ότι η έξοδος είναι μια τάξη/κατηγορία Για παράδειγμα: Έξοδοι = on ή off Έξοδοι = Fiat, ΒΜW, or Mercedes Έξοδοι = άρρωστος ή υγιής Τα προβλήματα ταξινόμησης αξιολογούνται με την κατωφλίωση των εξόδων του μοντέλου 32
Προσέγγιση συνάρτησης Y = f(x) όπου x είναι ένα σύνολο αριθμητικών εισόδων Y είναι ένα σύνολο αριθμητικών εξόδων f() είναι μια άγνωστη συναρτησιακή σχέση μεταξύ της εισόδου και της εξόδου Το ΤΝΔ προσεγγίζει την f() για να βρει την κατάλληλη έξοδο για κάθε σύνολο εισόδων 33
Πρόβλεψη χρονοσειρών
Πρόβλεψη χρονοσειρών (1) Η πρόβλεψη χρονοσειρών είναι πολύ όμοια διαδικασία με την προσέγγιση συνάρτησης με τη διαφορά ότι ο χρόνος παίζει σημαντικό ρόλο Στην στατική προσέγγιση συνάρτησης, απαιτείται όλη η πληροφορία που περιέχεται στην παρούσα είσοδο για να δημιουργηθεί η έξοδος (π.χ, επεξεργασία εικόνας) Στην πρόβλεψη χρονοσειρών (δυναμική προσέγγιση συνάρτησης) απαιτείται προγενέστερη πληροφορία για να καθοριστεί η έξοδος (π.χ., πρόβλεψη σεισμικών κυμάτων) 35
Εξόρυξη δεδομένων/προεπεξεργασία
Εξόρυξη δεδομένων/ Προεπεξεργασία (1) Όλοι οι προηγούμενοι τύποι προβλημάτων θεωρούσαν ότι για κάθε διάνυσμα εισόδων ήταν γνωστή η έξοδος Στην εξόρυξη δεδομένων δε γνωρίζουμε την απάντηση εκ των προτέρων αλλά θέλουμε να εξάγουμε δεδομένα/πληροφορίες από την είσοδο Ομαδοποίηση Συμπίεση Ανάλυση κύριων συνιστωσών (Principal Component Analysis) Αυτός ο τύπος δικτύου ονομάζεται ΤΝΔ χωρίς επίβλεψη επειδή δεν υπάρχει σήμα εκπαίδευσης 37
Ταξινόμηση νευρωνικών αλγορίθμων Το αντικείμενο μελέτης των ΤΝΔ είναι η ανάπτυξη αλγορίθμων που να μιμούνται την αρχιτεκτονική και τη λειτουργία των βιολογικών νευρωνικών δικτύων ΤΝΔ Εκπαιδευόμενα βάρη Με επίβλεψη Μάθηση: Κανόνας δ (ADALINE) Κανόνας Perceptron (Perceptron) Μάθηση: BP (MLP) BPTT: Αναδρομικά MLP RBF, Μοντέλα SVM, Στοχαστικές Μνήμες Συσχετιστικά Μοντέλα Εββιανή μάθηση (Hebb) Δίκτυα: PCA, ICA Χωρίς επίβλεψη Ανταγωνιστικά μοντέλα Ανταγωνιστική μάθηση Δίκτυo Kohonen (SOM), LVQ, ART Σταθερά βάρη Ανάθεση τιμών στα συναπτικά βάρη Δίκτυο Hopfield Συσχετιστικές μνήμες Brain State in Box 38
Μάθηση ΤΝΔ Το περιβάλλον όπου δουλεύει κάθε ΤΝΔ καθορίζει και τους διαφορετικούς τρόπους μάθησης Τρόποι μάθησης ΤΝΔ Με επίβλεψη Χωρίς επίβλεψη Ενισχυτική Βασικοί κανόνες Μάθησης ΤΝΔ Μάθηση διόρθωσης σφάλματος Κανόνας δ, κανόνας Perceptron, BP, BPTT Εββιανή μάθηση (Hebb) Ανταγωνιστική μάθηση 39
Τέλος Ενότητας