Μηχανική Μάθηση. Η έννοια της µάθησης σε ένα γνωστικό σύστηµα µπορεί να συνδεθεί µε δύο βασικές ιδιότητες:

Transcript

1 Μηχανική Μάθηση Η έννοια της µάθησης σε ένα γνωστικό σύστηµα µπορεί να συνδεθεί µε δύο βασικές ιδιότητες: Την ικανότητά του στην πρόσκτηση επιπλέον γνώσης κατά την αλληλεπίδρασή του µε το περιβάλλον στο οποίο δραστηριοποιείται. Την ικανότητά του να βελτιώνει µε την επανάληψη τον τρόπο µε τον οποίο εκτελεί µία ενέργεια. Συστήµατα µε ικανότητα µηχανικής µάθησης είναι σε θέση: να µεταβάλλονται διαρκώς προς το καλύτερο, αναφορικά µε τις λειτουργίες που είναι σε θέση να εκτελέσουν. να µεταβάλλουν τη βάση γνώσης τους είτε µετασχηµατίζοντας την εσωτερική τους δοµή (π.χ. νευρωνικά δίκτυα) ή αποκτώντας επιπλέον γνώση (π.χ. έµπειρα συστήµατα). να εκτελούν γενικεύσεις, δηλαδή να αγνοούν χαρακτηριστικά και ιδιότητες που δεν είναι αντιπροσωπευτικά της έννοιας/ενέργειας που πρέπει να µάθουν. Η µηχανική µάθηση ως πρόβληµα αναζήτησης Η µηχανική µάθηση µπορεί να θεωρηθεί ως "η αναζήτηση σε ένα χώρο πιθανών υποθέσεων, εκείνης της υπόθεσης που ταιριάζει κατά τον καλύτερο τρόπο στα υπό εξέταση δεδοµένα και στην πιθανώς προϋπάρχουσα γνώση".

2 Επαγωγική Μάθηση Η µάθηση µιας έννοιας από ένα σύνολο παραδειγµάτων. Μάθηση µε επίβλεψη (supervised learning) ή µάθηση µε παραδείγµατα (learning from examples) Μάθηση χωρίς επίβλεψη (unsupervised learning) ή µάθηση από παρατήρηση (learning from observation and discovery). Παράδειγµα: Μάθηση εννοιών (concept learning). Το σύστηµα τροφοδοτείται µε παραδείγµατα που ανήκουν (θετικά παραδείγµατα) ή δεν ανήκουν (αρνητικά παραδείγµατα) σε κάποια έννοια/κατηγορία και καλείται να παράγει κάποια γενικευµένη περιγραφή της, ώστε να είναι σε θέση στη συνέχεια να αποφασίσει για άγνωστες περιπτώσεις. Βασική Αρχή Επαγωγικής Μάθησης: Η γνώση που προκύπτει υποστηρίζεται από τα παραδείγµατα χωρίς αυτό όµως να σηµαίνει ότι ισχύει οπωσδήποτε και στον πραγµατικό κόσµο. ύο διαδεδοµένοι αλγόριθµοι επαγωγικής µάθησης µε επίβλεψη: Αλγόριθµος Απαλοιφής Υποψηφίων Αλγόριθµος ID3

3 Αλγόριθµος Απαλοιφής Υποψηφίων (ΑΑΥ) Ο αλγόριθµος απαλοιφής υποψηφίων (candidate elimination algorithm) περιορίζει το χώρο αναζήτησης επιτελώντας γενικεύσεις και εξειδικεύσεις σε κάποιες αρχικές περιγραφές (έννοιες) µε βάση τα δεδοµένα εκπαίδευσης. ιατηρεί δύο σύνολα, G και S, που από κοινού περιγράφουν όλο το χώρο αναζήτησης: G: Το σύνολο των πιο γενικών (maximally general) υποψήφιων περιγραφών S: Το σύνολο των πιο εξειδικευµένων (maximally specific) υποψήφιων περιγραφών Με βάση θετικά και αρνητικά παραδείγµατα ο αλγόριθµος περιορίζει το σύνολο G κάνοντας εξειδικεύσεις και επεκτείνει το σύνολο S κάνοντας γενικεύσεις µέχρις ότου τα δύο σύνολα να ταυτιστούν. Αν υπάρχει ταύτιση τότε οι περιγραφές που έχουν αποµείνει περιγράφουν απόλυτα τα δεδοµένα εκπαίδευσης. Αν δεν υπάρχει ταύτιση τότε δεν υπάρχει µοναδική περιγραφή που να καλύπτει όλα τα θετικά παραδείγµατα και κανένα από τα αρνητικά.

4 Σχηµατική Επεξήγηση Λειτουργίας ΑΑΥ Τα σύνολα G και S ορίζουν κάποια σύνορα στο χώρο των εννοιών/περιγραφών, τα οποία τον χωρίζουν σε περιοχές µε θετικά, αρνητικά και απροσδιόριστης φύσης παραδείγµατα. Κατά την εκπαίδευση το σύνορο G συρρικνώνεται ενώ το S επεκτείνεται µέχρις ότου ταυτιστούν (συνθήκη τερµατισµού εκπαίδευσης). Πλεονέκτηµα: Παρέχει µία αποδεκτή (αλλά όχι την καλύτερη) περιγραφή ανά πάσα στιγµή του σταδίου της εκπαίδευσης καθώς χρησιµοποιεί τα δεδοµένα εκπαίδευσης σταδιακά.

5 Παράδειγµα Χρήσης του ΑΑΥ Χρησιµοποιώντας δύο θετικές (p) και τρεις αρνητικές (n) περιπτώσεις πελατών µιας τράπεζας που δανειοδοτήθηκαν, ζητείται µία περιγραφή της έννοιας "καλός υποψήφιος για δανειοδότηση". Πελάτης Τρέχουσες Οφειλές Εισόδηµα Παντρεµένος(η) Χαρακτηρισµός 1 Υψηλές Υψηλό Ναι Καλός (p) 2 Χαµηλές Υψηλό Ναι Καλός (p) 3 Χαµηλές Υψηλό Όχι Κακός (n) 4 Υψηλές Χαµηλό Ναι Κακός (n) 5 Χαµηλές Χαµηλό Ναι Κακός (n) Τελικές καταστάσεις σε κάθε κύκλο εκπαίδευσης. Συµπέρασµα: µε βάση την εµπειρία του παρελθόντος, ο "καλός υποψήφιος για δανειοδότηση" πρέπει να έχει σχετικά υψηλό εισόδηµα και να είναι παντρεµένος. Οι τρέχουσες οφειλές του υποψήφιου δεν "φαίνεται" να αποτελούν αποτρεπτικό παράγοντα για δανειοδότηση (πάντα µε βάση τα δεδοµένα εκπαίδευσης).

6 Αλγόριθµος ID3 Γνωστός και σαν αλγόριθµος κατασκευής δένδρων απόφασης µε επαγωγή (decision tree induction algorithm) από δεδοµένα εκπαίδευσης. Το αποτέλεσµά είναι µία δενδροειδής δοµή που µε γραφικό τρόπο αναπαριστά τις συσχετίσεις στα δεδοµένα εκπαίδευσης ή διαφορετικά, περιγράφει τα δεδοµένα. Αρχικά, µία από τις παραµέτρους του συνόλου εκπαίδευσης ορίζεται ως παράµετροςστόχος (εξαρτηµένη µεταβλητή ή µεταβλητή που µοντελοποιείται). Οι υπόλοιπες παράµετροι θεωρούνται παράµετροι εισόδου (ανεξάρτητες µεταβλητές). Περιγραφή Αλγορίθµου 1) Βρες την ανεξάρτητη µεταβλητή η οποία αν χρησιµοποιηθεί ως κριτήριο διαχωρισµού των δεδοµένων εκπαίδευσης θα οδηγήσει σε κόµβους κατά το δυνατό διαφορετικούς σε σχέση µε την εξαρτηµένη µεταβλητή. 2) Κάνε το διαχωρισµό. 3) Επανέλαβε τη διαδικασία για κάθε έναν από τους κόµβους που προέκυψαν µέχρι να µην είναι δυνατός περαιτέρω διαχωρισµός. Βασικότερο στάδιο: η επιλογή της ανεξάρτητης µεταβλητής πάνω στην οποία θα συνεχιστεί η ανάπτυξη του δένδρου (βήµα 1).

7 Ευριστικός Μηχανισµός στον ID3 Ο ID3 απαιτεί τον ορισµό κάποιου ευριστικού µηχανισµού ο οποίος θα καθοδηγήσει την αναζήτηση προς το καλύτερο δένδρο (περιγραφή) µέσα στο σύνολο των δυνατών δένδρων. Συµπέρασµα: Ο ID3 είναι ένας αλγόριθµος αναρρίχησης λόφων καθώς σε κάθε κύκλο λειτουργίας επεκτείνει το τρέχον δένδρο µε τον τοπικά καλύτερο τρόπο και συνεχίζει χωρίς δυνατότητα οπισθοδρόµησης. O πιο διαδεδοµένος ευριστικός µηχανισµούς διαχωρισµού είναι αυτός της εντροπίας της πληροφορίας (information entropy) ο οποίος επιλέγει εκείνη την ανεξάρτητη µεταβλητή που οδηγεί σε περισσότερο συµπαγές δένδρο. E(S)= -p + log 2 p + - p - log 2 p - S είναι το σύνολο των δεδοµένων εκπαίδευσης στο στάδιο (κόµβο) του διαχωρισµού. p + είναι το κλάσµα των θετικών παραδειγµάτων του S. p - είναι το κλάσµα των αρνητικών παραδειγµάτων του S. Η εντροπία της πληροφορίας µετρά ουσιαστικά την ανοµοιογένεια που υπάρχει στο S αναφορικά µε την υπό εξέταση εξαρτηµένη µεταβλητή και έχει τις ρίζες της στη θεωρία πληροφοριών (information theory).

8 O ID3 στην Πράξη Στον ID3 χρησιµοποιείται η ποσότητα Gain(S,A) (ή G(S,A)) που αναπαριστά τη µείωση της εντροπίας του συνόλου εκπαίδευσης S αν επιλεγεί ως παράµετρος διαχωρισµού η µεταβλητή Α (όταν µειώνεται η πληροφοριακή εντροπία αυξάνεται (gain) η πυκνότητα πληροφορίας οπότε η περιγραφή γίνεται περισσότερο συµπαγής). G ( S, A) = E( S) u Values( A) S S u E( S u ) E(S) είναι η εντροπία πληροφορίας του υπό εξέταση κόµβου. Α είναι η ανεξάρτητη µεταβλητή βάσει της οποίας επιχειρείται ο επόµενος διαχωρισµός. u είναι µία από τις δυνατές τιµές του Α S u είναι το πλήθος των εγγραφών µε Α=u E(S u ) είναι η εντροπία πληροφορίας του υπό εξέταση κόµβου ως προς την τιµή Α=u.

9 Παράδειγµα Εφαρµογής του ID3 Πρώτος κύκλος λειτουργίας (1ος διαχωρισµός) του ID3 µε κριτήριο διαχωρισµού την εντροπία, για το σύνολο δεδοµένων εκπαίδευσης του προβλήµατος δανειοδότησης. Η µεγαλύτερη τιµή του G(S,A) επιτυγχάνεται αν ο διαχωρισµός πραγµατοποιηθεί µε βάση τη µεταβλητή "Εισόδηµα". Τρέχουσες Οφειλές Εισόδηµα Παντρεµένος Υψηλές Χαµηλές Υψηλό Χαµηλό Ναι Όχι S p + 2/5 1/2 1/3 2/3 0/2 2/4 0/1 p - 3/5 1/2 2/3 1/3 2/2 2/4 1/1 E G Πλεονεκτήµατα Ένα δένδρο απόφασης µπορεί εύκολα να αναπαρασταθεί και σαν ένα σύνολο κανόνων. Είναι εξαιρετικά αποδοτικός (πλεονέκτηµα αλγόριθµου αναρρίχησης λόφων). Μειονεκτήµατα Απαιτεί από την αρχή το σύνολο των δεδοµένων εκπαίδευσης, καθώς η λειτουργία του βασίζεται σε συγκεντρωτικά µεγέθη αυτού του συνόλου. Είναι ισχυρά εξαρτώµενος από τον ευριστικό µηχανισµό διαχωρισµού που θα επιλεγεί.

10 Παράδειγµα Εφαρµογής ID3 - ένδρο Απόφασης Σε κάθε κύκλο τα µεγέθη S και G επανυπολογίζονται για τον πληθυσµό των παραδειγµάτων εκπαίδευσης που ανήκουν στον υπό εξέταση κόµβο. Σε δύο διαφορετικούς κόµβους του ίδιου επιπέδου µπορεί να επιλεγεί διαφορετική µεταβλητή διαχωρισµού. Τερµατικοί κόµβοι που έχουν για όλο τον πληθυσµό παραδειγµάτων τους την ίδια τιµή στην εξαρτηµένη µεταβλητή (φυσική συνθήκη τερµατισµού της ανάπτυξης) ονοµάζονται αµιγείς κόµβοι (pure nodes) Ένα δένδρο µε όλους τους τερµατικούς του κόµβους αµιγείς, ονοµάζεται αµιγές δένδρο (pure tree). Τα αµιγή δένδρα δεν είναι ούτε συνηθισµένα αλλά ούτε και επιθυµητά καθώς υπερµοντελοποιούν (overfit) τα δεδοµένα εκπαίδευσης και χάνουν έτσι τη γενικότητά τους. Τεχνικές κλαδέµατος αποτρέπουν τη δηµιουργία αµιγών δένδρων.

11 Χρήση των ένδρων Απόφασης Χρησιµοποιούνται για να προβλέψουν, µε κάποιο βαθµό ακρίβειας, την τιµή της µεταβλητής που µοντελοποιούν µε βάση τις τιµές των θεωρούµενων ανεξάρτητων µεταβλητών. Αυτό γίνεται ακολουθώντας απλά τα κλαδιά του δένδρου από τον κόµβο-ρίζα προς τους τερµατικούς κόµβους, µε βάση τις τιµές των ανεξάρτητων µεταβλητών. Σηµαντικό Τεχνικό Ζήτηµα Ο ID3 απαιτεί οι τιµές των µεταβλητών να είναι διακριτές. Απαιτείται ο ορισµός κατηγοριών και η µετατροπή των συνεχών αριθµητικών τιµών σε διακριτές. Ο ορισµός κατηγοριών εισάγει υποκειµενικότητα που επηρεάζει την τελική µορφή του δένδρου (υπάρχουν πολλοί τρόποι µε τους οποίους µπορούν να οριστούν οι κατηγορίες). Παραλλαγές του ID3 περιλαµβάνουν τεχνικές κλαδέµατος πριν την ολοκλήρωση της κατασκευής του δένδρου, διαχείριση πεδίων χωρίς τιµή, χρήση διαφόρων κριτηρίων διαχωρισµού, αυτόµατη διαχείριση συνεχόµενων αριθµητικών τιµών, κλπ. Ο αλγόριθµος C4.5 αποτελεί την περισσότερο διαδεδοµένη βελτίωση του ID3.

12 Τεχνητά Νευρωνικά ίκτυα Παρέχουν ένα πρακτικό τρόπο για την εκµάθηση αριθµητικών και διανυσµατικών συναρτήσεων ορισµένων σε συνεχή ή διακριτά µεγέθη. Κύριο Πλεονέκτηµα: παρουσιάζουν ανοχή σε δεδοµένα εκπαίδευσης µε θόρυβο, δηλαδή δεδοµένα που περιστασιακά έχουν λανθασµένες τιµές (π.χ. λάθη καταχώρησης). Κύριο Μειονέκτηµα: Αδυνατούν να εξηγήσουν ποιοτικά τη γνώση που µοντελοποιούν. Γενετικοί Αλγόριθµοι Η µάθηση συνίσταται στην εύρεση της βέλτιστης υπόθεσης µε βάση µια προκαθορισµένη συνάρτηση καταλληλότητας και µεθοδολογία εµπνευσµένη από τη βιολογική εξέλιξη. Η µάθηση αντιµετωπίζεται σαν µία ειδική περίπτωση βελτιστοποίησης.

13 Νευρωνικά ίκτυα Φυσικά νευρωνικά δίκτυα Νευρώνας: Η δοµική µονάδα του εγκεφάλου Σώµα: ο πυρήνας του νευρώνα ενδρίτες: λαµβάνει σήµατα από γειτονικούς νευρώνες (σηµεία εισόδου) Άξονας: η έξοδος του νευρώνα και το µέσο σύνδεσης του µε άλλους νευρώνες. Σε κάθε δενδρίτη υπάρχει ένα απειροελάχιστο κενό που ονοµάζονται σύναψη. Η ικανότητα µάθησης και µνήµης που παρουσιάζει ο εγκέφαλος οφείλεται στην ικανότητα των συνάψεων να µεταβάλουν την αγωγιµότητά τους. Συνάψεις Σώµα ενδρίτες Άξονας

14 Μοντέλο Τεχνητού Νευρώνα Σήµατα εισόδου x 0, x 1,..., x n : Συνεχείς µεταβλητές. Τιµή βάρους w i (weight): Αντίστοιχο των συνάψεων. Σώµα του τεχνητού νευρώνα: Αθροιστής (sum): προσθέτει τα επηρεασµένα από τα βάρη σήµατα εισόδου και παράγει την ποσότητα S. Συνάρτηση ενεργοποίησης ή κατωφλίου (activation ή threshold function): µη γραµµικό φίλτρο που διαµορφώνει το σήµα εξόδου y, σε συνάρτηση µε την ποσότητα S. x 0 w 0 S = Σw i x i (i = 1..n) y = Φ(S) x 1 w 1 w i Αθροιστής Συνάρτηση Ενεργοποίησης Έξοδος y x i w n x n Σώµα

15 Συναρτήσεις Ενεργοποίησης Φ(S) Φ(S) Φ(S) a S S a 2 S 0 Κατώφλι T -1 Κατώφλι T 0 a 1 >a 2 α) Βηµατική συνάρτηση β) Συνάρτηση προσήµου γ) Σιγµοειδής συνάρτηση x 1 x 2 w = 1 w = 1 Βηµατική Τ= 1.5 AND x 1 x 2 w = 1 w = 1 Βηµατική Τ= 0.5 OR w = -1 Βηµατική Τ= -0.5 NOT

16 Τεχνητά Νευρωνικά ίκτυα (ΤΝ ) (1/2) Στρώµατα ή επίπεδα (layers) νευρώνων επίπεδο εισόδου (input layer) ενδιάµεσα ή κρυφά επίπεδα (hidden layers) επίπεδο εξόδου (output layer) x 1 1 w 15 w 14 4 w 24 w 34 w 25 5 w 49 w 58 Κρυφό Επίπεδο w 48 8 y 8 w 59 x 2 2 w 35 w 68 w 16 w 26 6 w 69 w 36 9 y 9 x 3 3 w 27 w 17 w 78 w 79 w 37 Επίπεδο Εισόδου 7 Επίπεδο Εξόδου

17 Τεχνητά Νευρωνικά ίκτυα (ΤΝ ) (2/2) Πλήρως συνδεδεµένοι (fully connected) νευρώνες Συνδέονται µε όλους τους νευρώνες του επόµενου επιπέδου. Μερικώς συνδεδεµένοι (partially connected) νευρώνες ίκτυα µε απλή τροφοδότηση (feedforward) εν υπάρχουν συνδέσεις µεταξύ νευρώνων ενός επιπέδου και νευρώνων προηγούµενου επιπέδου. ίκτυα µε ανατροφοδότηση (feedback ή recurrent)

18 Μάθηση και Ανάκληση Μάθηση (learning) είναι η διαδικασία της τροποποίησης της τιµής των βαρών του δικτύου, ώστε δοθέντος συγκεκριµένου διανύσµατος εισόδου να παραχθεί συγκεκρι- µένο διάνυσµα εξόδου. Ανάκληση (recall) είναι η διαδικασία του υπολογισµού ενός διανύσµατος εξόδου για συγκεκριµένο διάνυσµα εισόδου και τιµές βαρών. Μάθηση υπό επίβλεψη (supervised learning): Στο δίκτυο δίνονται ζευγάρια διανυσµάτων εισόδου - επιθυµητής εξόδου. Κανόνας έλτα (Delta rule learning) Αλγόριθµος ανάστροφης µετάδοσης λάθους (back propagation) Ανταγωνιστική µάθηση (competitive learning) Τυχαία µάθηση (random learning) Μάθηση χωρίς επίβλεψη (unsupervised learning)

19 ίκτυα µε Απλή Τροφοδότηση Αποτελούνται από: Ένα επίπεδο εισόδου Ένα επίπεδο εξόδου Κανένα, ένα ή περισσότερα ενδιάµεσα, κρυφά επίπεδα Μάθηση µε επίβλεψη Τοπολογία του δικτύου: Πόσα κρυφά επίπεδα θα έχει το δίκτυο και από πόσους νευρώνες θα αποτελείται το κάθε επίπεδο. Perceptron: Η πιο απλή τοπολογία δικτύου µε απλή τροφοδότηση. Πρόκειται για ένα µοναδικό τεχνητό νευρώνα, ο οποίος χρησιµοποιεί ως συνάρτηση κατωφλίου τη βηµατική συνάρτηση.

20 Perceptron (1/2) Αλγόριθµος µεταβολής των βαρών 1. Εάν για τη συγκεκριµένη είσοδο παράγεται το επιθυµητό αποτέλεσµα τότε δε γίνεται καµία µεταβολή. 2. Εάν το αποτέλεσµα είναι 1, ενώ θα έπρεπε να είναι 0, τότε µειώνονται τα βάρη των ενεργών γραµµών (εκείνες που στο συγκεκριµένο πρότυπο έχουν είσοδο 1) κατά µια τιµή d, η οποία ονοµάζεται ρυθµός µάθησης (learning rate). 3. Εάν το αποτέλεσµα είναι 0 ενώ θα έπρεπε να είναι 1 τότε αυξάνονται τα βάρη των ενεργών γραµµών κατά d. Ένα perceptron µε n γραµµές εισόδου µπορεί να θεωρηθεί ότι αναπαριστά ένα υπερεπίπεδο n-1 διαστάσεων που διαχωρίζει τα διανύσµατα εισόδου σε δύο οµάδες, τοποθετώντας από τη µία µεριά όσα παράγουν έξοδο 1 και από την άλλη όσα παράγουν έξοδο 0. Γραµµικώς διαχωρίσιµα προβλήµατα (linearly separable)

21 Perceptron (2/2) x x ε x x 1 Συνάρτηση AND (γραµµικώς διαχωρίσιµη) Συνάρτηση XOR (µη γραµµικώς διαχωρίσιµη)

22 Κανόνας έλτα Συνάρτηση ενεργοποίησης, π.χ. Έξοδος ενός νευρώνα i a g( z) i = g 1 = 1 + e n ( j= 0 w j z a j ) Μεταβολή του βάρους w j Συνολικό σφάλµα w ( a a) a j = wj _ old d Err = 1 2 i a i ( a ) 2 j

23 Ανάστροφη Μετάδοση Λάθους Βασική ιδέα: Να καθοριστεί το "ποσοστό" του συνολικού σφάλµατος που αντιστοιχεί στα βάρη του κάθε νευρώνα. Υπολογίζεται αρχικά το σφάλµα για τους νευρώνες του επιπέδου εξόδου. Υπολογίζονται τα σφάλµατα στο τελευταίο κρυµµένο επίπεδο. Η διαδικασία συνεχίζεται αναδροµικά µέχρι το πρώτο επίπεδο. Υπολογισµός της συνεισφοράς κάθε βάρους των νευρώνων στο ολικό σφάλµα. Τα σφάλµατα κάθε επιπέδου χρησιµοποιούνται για να µεταβάλλουν τα βάρη του κάθε νευρώνα. Η διαδικασία επαναλαµβάνεται µέχρι το σφάλµα να πάρει τιµή στα όρια ανοχής που έχει θέσει ο χρήστης. Αναζήτηση τύπου αναρρίχησης λόφου. Τοπικά ελάχιστα

24 Νευρωνικά ίκτυα µε Ανατροφοδότηση Βρόχοι στην συνδεσµολογία των νευρώνων. R w q Αυξηµένη πολυπλοκότητα ίκτυα Hopfield ίκτυα Kohonen

25 ίκτυα Hopfield Κάθε νευρώνας συνδέεται µε όλους τους υπόλοιπους Οι συνδέσεις µεταξύ των νευρώνων είναι αµφίδροµες και έχουν συµµετρικά βάρη (w ij =w ji ). Όλοι οι νευρώνες λειτουργούν ταυτόχρονα σαν είσοδοι και έξοδοι του δικτύου. Απλά perceptrons µε συνάρτηση ενεργοποίησης τη συνάρτηση προσήµου και έξοδο -1 ή 1. Η εκπαίδευση βασίζεται στη µεταβολή της τιµής των βαρών σύµφωνα µε τη σχέση: w ij = (2 x i - 1) (2 x j - 1) όπου τα x i και x j έχουν τιµές 0 ή 1.

26 ίκτυα Hopfield Τοπολογία δικτύου Hopfield Επίπεδο Εξόδου x 1 x 2 x 3 x n Επίπεδο Hopfield w 12 w 13 w 1n w 21 w 23 w 2n w 31 w 32 w 3n w n1 w n2 w n3 Επίπεδο Εισόδου

27 ίκτυο Kohonen Μάθηση χωρίς επίβλεψη. Νευρώνες τοποθετηµένοι σε γεωµετρική τοπολογία (π.χ. επίπεδο, σφαίρα, torus). Κάθε νευρώνας είναι συνδεδεµένος µέσω βαρών µε την είσοδο (που αποτελείται από Μ στοιχεία) και λαµβάνει ένα πλήρες αντίγραφο του διανύσµατος εισόδου τροποποιηµένου από τα βάρη. Για µια δεδοµένη είσοδο, ο νευρώνας του οποίου τα συνδετικά βάρη είναι πιο "κοντά" σε αυτήν, επιλέγεται και µεταβάλλει τα βάρη του έτσι ώστε να την πλησιάζει ακόµη περισσότερο. Λόγω της συνδεσµολογίας, µεταβάλλονται και τα βάρη στους νευρώνες που βρίσκονται στην άµεση γειτονιά του επιλεγµένου νευρώνα. Ένα εκπαιδευµένο δίκτυο Kohonen µπορεί να χρησιµοποιηθεί για να κατατάξει στοιχεία σε µια από τις κατηγορίες που ήδη έχουν σχηµατιστεί.

28 Εφαρµογές ΤΝ Σχεδιασµός ενεργειών (planning) Χρονοπρογραµµατισµός (scheduling) Αναγνώριση προτύπων (π.χ. υπογραφών, οµιλίας, γραφής, εικόνων κλπ) Πρόβλεψη (π.χ. καιρού, τιµών µετοχών) Συστήµατα ελέγχου που βασίζονται στην ασαφή λογική

29 Εύρεση Γνώσης σε Βάσεις εδοµένων Σύνθετη διαδικασία για τον προσδιορισµό έγκυρων, νέων, χρήσιµων και κατανοητών σχέσεων-προτύπων σε δεδοµένα (Knowledge Discovery in Databases - KDD). Συνδυάζει ερευνητικά αποτελέσµατα της Στατιστικής, των Βάσεων εδοµένων και της Μηχανικής Μάθησης. Αντιστοιχία µεταξύ Μηχανικής Μάθησης και KDD: Η διαδικασία εύρεσης γνώσης είναι µια ειδική περίπτωση µηχανικής µάθησης στην οποία το "περιβάλλον" (ο χώρος αναζήτησης) µοντελοποιείται µε µία βάση δεδοµένων.

30 Τα Στάδια της Εύρεσης Γνώσης Απαιτείται συνήθως η συνδροµή ενός ειδικού του τοµέα εφαρµογής. Τις περισσότερες φορές κάποια από τα επί µέρους βήµατα είναι αναγκαίο να επαναληφθούν, καθώς ενδέχεται να προκύψουν προβλήµατα που σχετίζονται µε τις αρχικές επιλογές και τα οποία δεν ήταν δυνατό να εντοπιστούν αρχικά. Τυπικά µεγέθη του όγκου δεδοµένων στα οποία εφαρµόζονται διαδικασίες εύρεσης γνώσης είναι εκατοµµύρια εγγραφές και δεκάδες GBytes.

31 Είδη Γνώσης που Προκύπτουν Πρότυπα πληροφόρησης (informative patterns): περιγράφουν συσχετίσεις µεταξύ των δεδοµένων, τις οποίες ο ειδικός του τοµέα δε γνώριζε. Κανόνες συσχέτισης (association rules). Σειριακά πρότυπα (sequential patterns) (παραλλαγή των κανόνων συσχέτισης). Οµάδες (clusters). Πρότυπα πρόβλεψης (predictive patterns): προβλέπουν την τιµή ενός πεδίου µιας εγγραφής µε βάση τις τιµές των υπολοίπων πεδίων. Κατηγοριοποιητές (classifiers). έντρα κατηγοριοποίησης (classification/decision trees). Απλοί κατηγοριοποιητές Bayes (simple/naive Bayesian classifiers). Εµπειρικές σχέσεις σε µεταβλητές (regression).

32 Κανόνες Συσχέτισης (Association Rules) Πρότυπα πληροφόρησης της µορφής "εάν Χ τότε Υ", όπου Χ και Υ είναι εκφράσεις που συνδέουν τιµές των πεδίων των εγγραφών της βάσης δεδοµένων π.χ. "οι πελάτες που αγοράζουν αναψυκτικά αγοράζουν και ξηρούς καρπούς" Μεγέθη που µετρούν την ποιότητα των ευρεθέντων κανόνων συσχέτισης Εµπιστοσύνη (confidence) είναι ο λόγος των εγγραφών που ικανοποιούν το Χ και το Υ προς τις εγγραφές που ικανοποιούν µόνο το Χ. Καθορίζει το πόσο ισχυρό είναι το πρότυπο που εντοπίστηκε. Υποστήριξη (support) είναι ο λόγος των εγγραφών που ικανοποιούν το Χ και το Υ προς το σύνολο των εγγραφών. Καθορίζει το πόσο σηµαντικό είναι (συνήθως για τον τελικό χρήστη) πρότυπο που εντοπίστηκε. Σειριακά Πρότυπα (Sequential Patterns) Παραλλαγή των κανόνων συσχέτισης. Συσχετίζουν τιµές πεδίων κάποιων εγγραφών µε τιµές πεδίων άλλων εγγραφών που ακολουθούν χρονικά και αφορούν την ίδια οντότητα (π.χ. συγκεκριµένο πελάτη). π.χ. "Όταν η µετοχή της Α και της Β εταιρίας πέφτουν ταυτόχρονα για δύο συνεχόµενες µέρες τότε η µετοχή της Γ εταιρίας πέφτει την τρίτη µέρα"

33 Οµάδες (Clusters) Πρότυπα πληροφόρησης που προκύπτουν µε οµαδοποίηση (clustering) των εγγραφών της βάσης δεδοµένων, έτσι ώστε εγγραφές που ανήκουν στην ίδια οµάδα να έχουν κοινά χαρακτηριστικά. Γραφική απεικόνιση µίας υποθετικής οµαδοποίησης σε δεδοµένα αγοραστών σπορ αυτοκινήτων, µε βάση την ηλικία, το ετήσιο εισόδηµα και το φύλλο. Aγοραστές νεαρής ηλικίας ανεξαρτήτως φύλλου. Άνδρες αγοραστές µε υψηλό εισόδηµα, όλων των ηλικιών µέχρι τα 53 χρόνια. Άνδρες αγοραστές ηλικίας περίπου 44 ανεξαρτήτως εισοδήµατος.

34 Εµπειρική Σχέση Μεταβλητών (Regression) Αφορά την αναζήτηση προτύπων πρόβλεψης, όπου το χαρακτηριστικό που προβλέπεται απαιτείται να έχει αριθµητική τιµή. Οι κυριότερες µέθοδοι είναι: Γραµµική παρεµβολή (linear regression): το χαρακτηριστικό του οποίου η τιµή πρέπει να προβλεφθεί µοντελοποιείται µε µία απλή γραµµική εξίσωση των παραµέτρων εισόδου. Νευρωνικά δίκτυα (neural networks): µετά την εκπαίδευσή τους µε τα υπάρχοντα δεδοµένα εισόδου/εξόδου είναι σε θέση να αποδώσουν µία τιµή εξόδου σε νέα δεδοµένα εισόδου. Προτιµούνται σε σχέση µε τη γραµµική παρεµβολή, κυρίως λόγω της δυνατότητάς τους να µοντελοποιούν µη γραµµικά δεδοµένα. Παράδειγµα: µοντελοποίηση κέρδους εταιρίας κινητής τηλεφωνίας µε βάση το χρόνο χρήσης, για πελάτες µε συµβόλαιο 500 δωρεάν µονάδων. Προκύπτει ότι η υποτιθέµενη εταιρία έχει µεγάλο κέρδος όταν οι πελάτες κάνουν χρήση του τηλεφώνου για λιγότερο ή περισσότερο από τις δωρεάν µονάδες του συµβολαίου τους (500) και καθόλου ή πολύ µικρό κέρδος όταν αυτοί κάνουν χρήση περίπου 500 µονάδων. Μοντελοποίηση µε γραµµική παρεµβολή δίνει µεγάλο σφάλµα (διακεκοµµένη γραµµή) ενώ η χρήση νευρωνικού δικτύου µοντελοποιεί καλύτερα τα δεδοµένα (συνεχής γραµµή).

35 Κατηγοριοποίηση (Classification) Μέθοδος αναζήτησης προτύπων πρόβλεψης παρόµοια µε την εµπειρική σχέση µεταβλητών, µε τη διαφορά ότι η τιµή του πεδίου που πρέπει να προβλεφθεί δεν εκφράζεται µε αριθµό αλλά µε κατηγορία. ίνουν µεγαλύτερη πιθανότητα στο να έχει κάποιο χαρακτηριστικό Y την τιµή y, δεδοµένου ότι άλλα χαρακτηριστικά Χ=(Χ 1, Χ 2,...,Χ n ) έχουν τιµές x=(x 1, x 2,..., x n ), παρά να έχει κάποια άλλη τιµή y'. ηλαδή: P(Y=y Χ=x)>P(Y=y' Χ=x) Οι πιο κοινές µέθοδοι κατηγοριοποίησης είναι: ένδρα Κατηγοριοποίησης Απλοί Κατηγοριοποιητές Bayes (simple/naive Bayes classifiers) ένδρα κατηγοριοποίησης (Classification Trees) Ορίζουν µία σειρά από διαδοχικές ερωτήσεις, όπου κάθε µία γίνεται µε βάση την απάντηση στην προηγούµενη ερώτηση και καταλήγουν στην πρόβλεψη της κατηγορίας στην οποία ανήκει η υπό εξέταση εγγραφή. Κύρια πλεονεκτήµατα: Ευκολία µε την οποία ερµηνεύονται Πληθώρα αλγορίθµων κατασκευής τους (ID3, C4.5, κλπ).

36 Παράδειγµα ένδρου Κατηγοριοποίησης ιάγραµµα εγγραφών εταιρείας κινητής τηλεφωνίας (και σχετικό δένδρο) που αφορά το κατά πόσο ένας συνδροµητής παραµένει ή φεύγει, µε δεδοµένα τη διάρκεια και το είδος του συµβολαίου του Ο ειδικός του τοµέα µπορεί, εξετάζοντας τα χαρακτηριστικά των κλάδων που καταλήγουν σε τερµατικούς κόµβους "Φεύγει", να αποφασίσει για το ποια θα είναι η τακτική της εταιρίας αν θέλει να διατηρήσει τη συγκεκριµένη κατηγορία συνδροµητών.

37 Απλοί Κατηγοριοποιητές Bayes (1/2) Πρότυπα που δηµιουργούνται µε βάση στατιστικά στοιχεία (κατανοµές πιθανότητας) που αφορούν τις εγγραφές της βάσης δεδοµένων. Η ποσότητα P που περιγράφει έναν απλό κατηγοριοποιητή Bayes για ένα σύνολο εγγραφών εκφράζει την πιθανότητα να είναι c η τιµή ενός πεδίου C µε βάση τις τιµές x=(x 1, x 2,..., x n ) των υπολοίπων πεδίων X=(X 1, X 2,... X n ) και δίνεται από τη σχέση: P( C) P ( C X ) = P( X i C) P( X) όπου τα χαρακτηριστικά Χ i (πεδία) θεωρούνται ανεξάρτητα µεταξύ τους. Για ένα σύνολο Ν εγγραφών: P(C=c) = N(C=c) / N P(X=x C=c) = N(X=x,C=c) / N(C=c) για πεδία µε µη αριθµητικές τιµές P(X=x C=c) = g(x; µ c,σ 2 c ) για πεδία µε αριθµητικές τιµές N(C=c): ο αριθµός των εγγραφών που έχουν για το χαρακτηριστικό C τιµή c (C=c) N(X=x,C=c): ο αριθµός των εγγραφών µε Χ=x και C=c g(x; µ c,σ 2 c ): η συνάρτηση πυκνότητας Gauss µε µέσο όρο µ c και διασπορά σ c. i

38 Απλοί κατηγοριοποιητές Bayes (2/2) Επειδή πρέπει Σ c P(C=c X)=1, η ποσότητα P(X) στην παραπάνω σχέση δεν υπολογίζεται άµεσα αλλά αντίθετα, γίνεται εκτίµηση των P(C=c X) για κάθε c και κανονικοποίηση αυτών των τιµών ώστε να δίνουν άθροισµα 1. Πλεονέκτηµα: Όλες οι ποσότητες µπορούν να υπολογιστούν µε χρήση ερωτηµάτων (queries) προς τη βάση δεδοµένων. Μειονέκτηµα: εν µπορεί να εντοπίσει πρότυπα που βασίζονται σε αλληλεπίδραση δύο ή περισσοτέρων χαρακτηριστικών, διότι βασίζεται στην ακριβώς αντίθετη παραδοχή.

39 Προβλήµατα στην Αναζήτηση Γνώσης (1/2) Περιορισµένη πληροφορία Οι βάσεις δεδοµένων δεν είναι πάντοτε σχεδιασµένες για αναζήτηση γνώσης και συχνά οι ιδιότητες και τα πεδία που θα απλοποιούσαν τη διαδικασία αναζήτησης όχι µόνο λείπουν αλλά και δεν είναι δυνατόν να συλλεχθούν από το χρήστη. είγµατα Η χρήση δείγµατος είναι σχεδόν πάντα επιβεβληµένη καθώς οι πραγµατικές βάσεις δεδοµένων έχουν τεράστιο αριθµό εγγραφών ενώ πολλοί αλγόριθµοι KDD απαιτούν τα δεδοµένα εκπαίδευσης να είναι όλα στη µνήµη. Η λήψη ενός δείγµατος απαιτεί µεγάλη προσοχή και εφαρµογή στατιστικών τεχνικών, ώστε να αντιπροσωπεύει ικανοποιητικά την αρχική βάση. Θόρυβος και πεδία χωρίς τιµή Οι βάσεις δεδοµένων συχνά περιέχουν λάθη. Πεδία των οποίων η τιµή προέρχεται από υποκειµενικές κρίσεις ή µετρήσεις µπορεί να προκαλέσουν λάθη, όπως εσφαλµένη κατηγοριοποίηση ορισµένων (παρα)δειγµάτων. Μέγεθος βάσης δεδοµένων Κάνει χρονοβόρα τη συγκέντρωση στατιστικών στοιχείων για τον έλεγχο της ποιότητας της γνώσης που προκύπτει. Η ύπαρξη µεγάλου αριθµού πεδίων ανά εγγραφή, αν και θεωρείται πλεονέκτηµα για την ακρίβεια του παραγόµενου µοντέλου, δηµιουργεί τεράστιο αριθµό εναλλακτικών κανόνων κατηγοριοποίησης.

40 Προβλήµατα στην Αναζήτηση Γνώσης (2/2) Αραιά δεδοµένα Ένα σύστηµα KDD δεν είναι σε θέση να προσδιορίσει επακριβώς τα όρια µιας κατηγορίας, αν στη βάση δεδοµένων υπάρχουν µόνο εγγραφές που σίγουρα ανήκουν ή σίγουρα δεν ανήκουν στην κατηγορία (αραιά (sparse) δεδοµένα. Η ύπαρξη µόνο θετικών παραδειγµάτων (αριστερά) κάνει αποδεκτά και τα δύο όρια Β 1 και Β 2. Αν ληφθούν υπόψη και αρνητικά παραδείγµατα (δεξιά) το όριο της κατηγορίας προσδιορίζεται µε µεγαλύτερη ακρίβεια (Β 3 ). Πρόσφατα δεδοµένα Κατά πόσο µπορεί να θεωρηθεί ότι οι κανόνες που κάποτε παρήχθησαν ανταποκρίνονται στην πλέον ενηµερωµένη και πρόσφατη έκδοση της βάσης δεδοµένων; (ανάγκη για incremental µεθόδους).