Κεφάλαιο 18. Μηχανική Μάθηση (Machine Learning) Τεχνητή Νοηµοσύνη - Β' Έκδοση Ι. Βλαχάβας, Π. Κεφαλάς, Ν. Βασιλειάδης, Φ. Κόκκορας, Η.

Transcript

1 Κεφάλαιο 18 Μηχανική Μάθηση (Machine Learning) Τεχνητή Νοηµοσύνη - Β' Έκδοση Ι. Βλαχάβας, Π. Κεφαλάς, Ν. Βασιλειάδης, Φ. Κόκκορας, Η. Σακελλαρίου Τεχνητή Νοηµοσύνη, B' Έκδοση - 1 -

2 Εισαγωγή Η µάθηση σε ένα γνωστικό σύστηµα, όπως γίνεται αντιληπτή στην καθηµερινή ζωή, µπορεί να συνδεθεί µε δύο βασικές ιδιότητες: την ικανότητά στην πρόσκτηση γνώσης κατά την αλληλεπίδρασή του µε το περιβάλλον, την ικανότητά να βελτιώνει µε την επανάληψη τον τρόπο εκτέλεσης µία ενέργειας. Έχουν προταθεί διάφοροι ορισµοί για τη µάθηση: Simon ('83), "η µάθηση σηµατοδοτεί προσαρµοστικές αλλαγές σε ένα σύστηµα µε την έννοια ότι αυτές του επιτρέπουν να κάνει την ίδια εργασία, ή εργασίες της ίδιας κατηγορίας, πιο αποδοτικά και αποτελεσµατικά την επόµενη φορά". Minsky ('85), "... είναι να κάνουµε χρήσιµες αλλαγές στο µυαλό µας". Michalski ('86), "... είναι η δηµιουργία ή η αλλαγή της αναπαράστασης των εµπειριών". Για τα συστήµατα που ανήκουν στην συµβολική ΤΝ, η µάθηση προσδιορίζεται ως πρόσκτηση επιπλέον γνώσης, που επιφέρει µεταβολές στην υπάρχουσα γνώση. Τα τεχνητά νευρωνικά δίκτυα (που ανήκουν στην µη συµβολική ΤΝ) έχουν δυνατότητα µάθησης µετασχηµατίζοντας την εσωτερική τους δοµή, παρά καταχωρώντας κατάλληλα αναπαριστάµενη γνώση. Τεχνητή Νοηµοσύνη, B' Έκδοση - 2 -

3 Ορισµός Μηχανικής Μάθησης Ο άνθρωπος προσπαθεί να κατανοήσει το περιβάλλον του παρατηρώντας το και δη- µιουργώντας µια απλοποιηµένη (αφαιρετική) εκδοχή του που ονοµάζεται µοντέλο (model). Η δηµιουργία ενός τέτοιου µοντέλου, ονοµάζεται επαγωγική µάθηση (inductive learning) ενώ η διαδικασία γενικότερα ονοµάζεται επαγωγή (induction). Επιπλέον ο άνθρωπος έχει τη δυνατότητα να οργανώνει και να συσχετίζει τις εµπειρίες και τις παραστάσεις του δηµιουργώντας νέες δοµές που ονοµάζονται πρότυπα (patterns). Η δηµιουργία µοντέλων ή προτύπων από ένα σύνολο δεδοµένων, από ένα υπολογιστικό σύστηµα, ονοµάζεται µηχανική µάθηση (machine learning). ιάφοροι ορισµοί: Carbonell (1987), "... η µελέτη υπολογιστικών µεθόδων για την απόκτηση νέας γνώσης, νέων δεξιοτήτων και νέων τρόπων οργάνωσης της υπάρχουσας γνώσης". Mitchell (1997), "Ένα πρόγραµµα υπολογιστή θεωρείται ότι µαθαίνει από την εµπειρία E σε σχέση µε µια κατηγορία εργασιών Τ και µια µετρική απόδοσης P, αν η απόδοση του σε εργασίες της Τ, όπως µετριούνται από την P, βελτιώνονται µε την εµπειρία E". Witten & Frank (2000), "Κάτι µαθαίνει όταν αλλάζει τη συµπεριφορά του κατά τέτοιο τρόπο ώστε να αποδίδει καλύτερα στο µέλλον". Τεχνητή Νοηµοσύνη, B' Έκδοση - 3 -

4 Είδη µηχανικής µάθησης Έχουν αναπτυχθεί πολλές τεχνικές µηχανικής µάθησης που χρησιµοποιούνται ανάλογα µε τη φύση του προβλήµατος και εµπίπτουν σε ένα από τα παρακάτω δυο είδη: µάθηση µε επίβλεψη (supervised learning) ή µάθηση µε παραδείγµατα (learning from examples), µάθηση χωρίς επίβλεψη (unsupervised learning) ή µάθηση από παρατήρηση (learning from observation). Στη µάθηση µε επίβλεψη το σύστηµα καλείται να "µάθει" µια έννοια ή συνάρτηση από ένα σύνολο δεδοµένων, η οποία αποτελεί περιγραφή ενός µοντέλου. Στη µάθηση χωρίς επίβλεψη το σύστηµα πρέπει µόνο του να ανακαλύψει συσχετίσεις ή οµάδες σε ένα σύνολο δεδοµένων, δηµιουργώντας πρότυπα, χωρίς να είναι γνωστό αν υπάρχουν, πόσα και ποια είναι. Τεχνητή Νοηµοσύνη, B' Έκδοση - 4 -

5 A) Μάθηση µε Επίβλεψη Στη µάθηση µε επίβλεψη το σύστηµα πρέπει να "µάθει" επαγωγικά µια συνάρτηση που ονοµάζεται συνάρτηση στόχος (target function) και αποτελεί έκφραση του µοντέλου που περιγράφει τα δεδοµένα. Η συνάρτηση στόχος χρησιµοποιείται για την πρόβλεψη της τιµής µιας µεταβλητής, που ονοµάζεται εξαρτηµένη µεταβλητή ή µεταβλητή εξόδου, βάσει των τιµών ενός συνόλου µεταβλητών, που ονοµάζονται ανεξάρτητες µεταβλητές ή µεταβλητές εισόδου ή χαρακτηριστικά. Η επαγωγική µάθηση στηρίζεται στην "υπόθεση επαγωγικής µάθησης" (inductive learning hypothesis), σύµφωνα µε την οποία: Κάθε υπόθεση h που προσεγγίζει καλά τη συνάρτηση στόχο για ένα αρκετά µεγάλο σύνολο παραδειγ- µάτων, θα προσεγγίζει το ίδιο καλά τη συνάρτηση στόχο και για περιπτώσεις που δεν έχει εξετάσει. Στην µάθηση µε επίβλεψη διακρίνονται δυο είδη προβληµάτων (learning tasks), τα προβλήµατα ταξινόµησης και τα προβλήµατα παρεµβολής. Η ταξινόµηση 1 (classification) αφορά στη δηµιουργία µοντέλων πρόβλεψης διακριτών τάξεων (κλάσεων/κατηγοριών) (π.χ. οµάδα αίµατος). Η παρεµβολή (regression) αφορά στη δηµιουργία µοντέλων πρόβλεψης αριθµητικών τιµών (π.χ. πρόβλεψη ισοτιµίας νοµισµάτων ή τιµής µετοχής). 1 Ο όρος ταξινόµηση συναντάται στην ελληνική βιβλιογραφία και ως κατηγοριοποίηση Τεχνητή Νοηµοσύνη, B' Έκδοση - 5 -

6 1) Μάθηση Εννοιών (Concept Learning) Η έννοια (concept) είναι ένα υποσύνολο αντικειµένων που ορίζονται σε σχέση µε ένα µεγαλύτερο σύνολο. π.χ. η έννοια "πουλί" ορίζεται ως "το υποσύνολο των ζώων που έχουν φτερά" Εναλλακτικά, η έννοια είναι µια συνάρτηση που επιστρέφει λογική τιµή: αληθής για τα αντικείµενα ενός συνόλου που ανήκουν σε αυτήν και ψευδής για τα αντικείµενα που δεν ανήκουν. Η µάθηση εννοιών είναι τυπικό παράδειγµα επαγωγικής µάθησης κατά την οποία: Το σύστηµα τροφοδοτείται µε παραδείγµατα που ανήκουν (θετικά παραδείγµατα) ή δεν ανήκουν (αρνητικά παραδείγµατα) στη συγκεκριµένη έννοια. Ακολούθως πρέπει να παραχθεί κάποια γενικευµένη περιγραφή της έννοιας, δηλαδή να δηµιουργηθεί ένα µοντέλο, ώστε να είναι δυνατό στη συνέχεια να αποφασιστεί αν µια άγνωστη περίπτωση ανήκει σε αυτήν την έννοια. Ο πιο γνωστός αλγόριθµος µάθησης εννοιών είναι ο αλγόριθµος απαλοιφής υποψηφίων. Τεχνητή Νοηµοσύνη, B' Έκδοση - 6 -

7 Ο Αλγόριθµος Απαλοιφής Υποψηφίων Candidate Elimination Algorithm Περιορίζει το χώρο αναζήτησης επιτελώντας γενικεύσεις και εξειδικεύσεις σε κάποιες αρχικές υποθέσεις (έννοιες) µε βάση τα δεδοµένα εκπαίδευσης. ιατηρεί δύο σύνολα, G και S, που από κοινού περιγράφουν όλο το χώρο αναζήτησης και ορίζονται ως εξής: G: το σύνολο των πιο γενικών (maximally general) υποψήφιων υποθέσεων (δηλαδή εννοιών). S: το σύνολο των πιο εξειδικευµένων (maximally specific) υποψήφιων υποθέσεων. Τεχνητή Νοηµοσύνη, B' Έκδοση - 7 -

8 Περιγραφή του Αλγορίθµου Αρχικοποίησε: Το G στο σύνολο όλων των υποθέσεων. Το S στο κενό σύνολο. Για κάθε δεδοµένο εκπαίδευσης x: Αν το x είναι θετικό: i) ιέγραψε τα µέλη του G που δεν ικανοποιούν το x. ii) Για κάθε υπόθεση s S που δεν ικανοποιεί το x: α) ιέγραψε την s από το S. β) Πρόσθεσε στο S όλες τις ελάχιστες γενικεύσεις h της s, έτσι ώστε κάθε υπόθεση h να ικανοποιεί το x και να υπάρχει κάποια υπόθεση του G που να είναι πιο γενική. γ) ιέγραψε από το S όποια υπόθεση είναι πιο γενική από κάποια άλλη υπόθεση του S. Αν το x είναι αρνητικό: i) ιέγραψε τα µέλη του S που δεν ικανοποιούν το x. ii) Για κάθε υπόθεση g G που δεν ικανοποιεί το x: α) ιέγραψε την g από το G. β) Πρόσθεσε στο G όλες τις ελάχιστες ειδικεύσεις h της g, έτσι ώστε κάθε υπόθεση h να ικανοποιεί το x και να υπάρχει κάποια υπόθεση του S που να είναι πιο ειδική. γ) ιέγραψε από το G όποια υπόθεση είναι πιο ειδική από κάποια άλλη υπόθεση του G. Τεχνητή Νοηµοσύνη, B' Έκδοση - 8 -

9 Σχηµατική Περιγραφή του Τρόπου Λειτουργίας Σύνορο G????????? Σύνορο S Τα σύνολα G και S ορίζουν κάποια σύνορα στο χώρο των υποθέσεων/εννοιών, τα οποία τον χωρίζουν σε περιοχές µε θετικά, αρνητικά και απροσδιόριστης φύσης παραδείγµατα. Κατά την εκπαίδευση το σύνορο G συρρικνώνεται ενώ το S επεκτείνεται µέχρις ότου εξαντληθούν τα παραδείγµατα. O αλγόριθµος παρέχει ανά πάσα στιγµή µία αποδεκτή (αλλά όχι την καλύτερη) περιγραφή του σταδίου της εκπαίδευσης καθώς χρησιµοποιεί τα δεδοµένα εκπαίδευσης σταδιακά. Τεχνητή Νοηµοσύνη, B' Έκδοση - 9 -

10 Παράδειγµα Προβλήµατος Χρησιµοποιώντας δύο θετικές και τρεις αρνητικές περιπτώσεις πελατών µιας τράπεζας που δανειοδοτήθηκαν, ζητείται µία περιγραφή της έννοιας "καλός υποψήφιος για δανειοδότηση". Οι παράµετροι που έχουν καταγραφεί για τις παρελθούσες περιπτώσεις και οι δυνατές τους τιµές είναι: Τρέχουσες Οφειλές: Υψηλές, Χαµηλές Εισόδηµα: Υψηλό, Χαµηλό Παντρεµένος(η): Ναι, Όχι Χαρακτηρισµός: Καλός (θετικό παράδειγµα), Κακός (αρνητικό παράδειγµα) Ζητούµενο είναι η περιγραφή των πελατών µε χαρακτηρισµό "Καλός" µε βάση τις τρέχουσες οφειλές, το εισόδηµα και την οικογενειακή τους κατάσταση, µε αυτή τη σειρά. Πελάτης Τρέχουσες Εισόδηµα Παντρεµένος(η) Χαρακτηρισµός Οφειλές 1 Υψηλές Υψηλό Ναι Καλός (p) 2 Χαµηλές Υψηλό Όχι Κακός (n) 3 Χαµηλές Υψηλό Ναι Καλός (p) 4 Υψηλές Χαµηλό Ναι Κακός (n) 5 Χαµηλές Χαµηλό Ναι Κακός (n) Τεχνητή Νοηµοσύνη, B' Έκδοση

11 Παράδειγµα: Εκτέλεση Αλγόριθµου Απαλοιφής Υποψηφίων Στο Σχήµα δίνονται οι τελικές καταστάσεις σε κάθε κύκλο εκπαίδευσης, µετά δηλαδή από τη χρήση ενός από τα δεδοµένα του παρελθόντος. G: {(X,Y,Z)} S: { } (Υψηλές, Υψηλό, Ναι) (#1 p) G: {(X,Y,Z)} S: {(Υψηλές, Υψηλό, Ναι)} (Χαµηλές, Υψηλό, Όχι) (#2 n) G: {(Υψηλές,Y,Z), (X, Χαµηλό,Z), (X,Y, Ναι) } S: {(Υψηλές, Υψηλό, Ναι)} (Χαµηλές, Υψηλό, Ναι) (#3 p) G: {(X,Y, Ναι) } S: {(X, Υψηλό, Ναι)} (Υψηλές, Χαµηλό, Ναι) (#4 n) G: {(Χαµηλές,Y, Ναι), (X, Υψηλό, Ναι)} S: {(X, Υψηλό, Ναι)} (Χαµηλές, Χαµηλό, Ναι) (#5 n) G: {(X, Υψηλό, Ναι)} S: {(X, Υψηλό, Ναι)} Συµπέρασµα: ο "καλός υποψήφιος για δανειοδότηση" πρέπει να έχει σχετικά υψηλό εισόδηµα και να είναι παντρεµένος. Παρατήρηση: οι τρέχουσες οφειλές του υποψήφιου δεν "φαίνεται" να αποτελούν αποτρεπτικό παράγοντα για δανειοδότηση (φυσικά µε βάση τα δεδοµένα εκπαίδευσης). Τεχνητή Νοηµοσύνη, B' Έκδοση

12 2) ένδρα Ταξινόµησης/Απόφασης ενδροειδής δοµή που µε γραφικό τρόπο περιγράφει τα δεδοµένα. Έστω τα δεδοµένα εταιρείας κινητής τηλεφωνίας που περιγράφουν περιπτώσεις συνδροµητών που παρέµειναν ή έφυγαν µετά τη λήξη του συµβολαίου τους, µε βάση τη διάρκεια και το είδος αυτού. Μια αναπαράσταση σε δένδρο θα µπορούσε να έχει την µορφή του σχήµατος δεξιά. Κάθε κόµβος ορίζει µια συνθήκη ελέγχου της τιµής κάποιου χαρακτηριστικού των περιπτώσεων Κάθε κλαδί που φεύγει από ένα κόµβο αντιστοιχεί σε µια διαφορετική διακριτή τιµή του χαρακτηριστικού που σχετίζεται µε τον κόµβο. Στα κλαδιά φύλλα έχουµε το τι συνέβη. Τα δένδρα ταξινόµησης χρησιµοποιούνται για να προβλέψουν, µε κάποιο βαθµό ακρίβειας, την τιµή της µεταβλητής που µοντελοποιούν µε βάση τις τιµές των θεωρούµενων ανεξάρτητων µεταβλητών (χαρακτηριστικών). Ναι Παραµένει Ναι ιάρκεια (έτη) < 1 Μικρή Χρήση Όχι Όχι Είδος Συµβολαίου Άλλη Χρήση ιάρκεια < 1.2 ιάρκεια < 2 Ναι Όχι Φεύγει Παραµένει Παραµένει Φεύγει Τεχνητή Νοηµοσύνη, B' Έκδοση

13 Αναπαράσταση µε Κανόνες Εναλλακτικά, το δένδρο µπορεί να αναπαρασταθεί και ως σύνολο κανόνων if-then, που ονοµάζονται κανόνες ταξινόµησης (classification rules). Με χρήση µόνο AND προκύπτουν τόσοι κανόνες όσα και τα φύλλα του δένδρου. π.χ. για τα δεδοµένα της εταιρίας κινητής τηλεφωνίας προκύπτουν 5 κανόνες: 1) if ιάρκεια<1 then Παραµένει 2) if ιάρκεια>1 and Είδος_Συµβολαίου=Μικρή Χρήση and ιάρκεια<1.2 then Φεύγει 3) if ιάρκεια>1 and Είδος_Συµβολαίου=Μικρή Χρήση and ιάρκεια>1.2 then Παραµένει 4) if ιάρκεια>1 and Είδος_Συµβολαίου=Άλλη_Χρήση and ιάρκεια<2 then Παραµένει 5) if ιάρκεια>1 and Είδος_Συµβολαίου=Άλλη Χρήση and ιάρκεια>2 then Φεύγει Ναι Παραµένει ιάρκεια (έτη) < 1 Όχι Είδος Συµβολαίου Αν γίνει χρήση και του τελεστή OR, κάποιοι από τους παραπάνω κανόνες ενοποιούνται. τελικά µένουν τόσοι κανόνες όσες είναι και οι διαθέσιµες κατηγορίες. Ναι Μικρή Χρήση Όχι Άλλη Χρήση ιάρκεια < 1.2 ιάρκεια < 2 Ναι Όχι Φεύγει Παραµένει Παραµένει Φεύγει Τεχνητή Νοηµοσύνη, B' Έκδοση

14 Ο Αλγόριθµος ID3 (1/2) Είναι ο πιο γνωστός αλγόριθµος µάθησης δένδρων ταξινόµησης. Είναι αναδροµικός και στη γενική του µορφή περιγράφεται ως εξής: 1. Βρες την ανεξάρτητη µεταβλητή η οποία αν χρησιµοποιηθεί ως κριτήριο διαχωρισµού των δεδοµένων εκπαίδευσης θα οδηγήσει σε κόµβους κατά το δυνατό διαφορετικούς σε σχέση µε την εξαρτηµένη µεταβλητή. 2. Κάνε το διαχωρισµό. 3. Επανέλαβε τη διαδικασία για κάθε έναν από τους κόµβους που προέκυψαν µέχρι να µην είναι δυνατός περαιτέρω διαχωρισµός. ηλαδή ο ID3 κατασκευάζει το δένδρο άπληστα (greedy) από πάνω προς τα κάτω επιλέγοντας αρχικά το πιο κατάλληλο χαρακτηριστικό για έλεγχο στη ρίζα. Η επιλογή βασίζεται σε κάποιο στατιστικό µέτρο που υπολογίζεται από τα δεδοµένα. Στη συνέχεια, για κάθε δυνατή τιµή του χαρακτηριστικού δηµιουργούνται οι αντίστοιχοι απόγονοι της ρίζας και τα δεδοµένα µοιράζονται στους νέους κόµβους ανάλογα µε την τιµή που έχουν για το χαρακτηριστικό που ελέγχεται στη ρίζα. Τεχνητή Νοηµοσύνη, B' Έκδοση

15 Ο Αλγόριθµος ID3 (2/2) Η όλη διαδικασία επαναλαµβάνεται για κάθε νέο κόµβο. Η επιλογή όµως του κατάλληλου χαρακτηριστικού σε κάθε νέο κόµβο αποφασίζεται χρησιµοποιώντας µόνο τα δεδοµένα που ανήκουν σε αυτόν τον κόµβο. Η διαδικασία τερµατίζει όταν οι κόµβοι γίνουν τερµατικοί (ή φύλλα). Ένας κόµβος γίνεται τερµατικός όταν: Όλα τα δεδοµένα που ανήκουν σε αυτόν ανήκουν στην ίδια κατηγορία. Η κατηγορία αυτή γίνεται και η τιµή του κόµβου. Ο κόµβος ονοµάζεται αµιγής κόµβος (pure node). Σε κάποιο βάθος τελειώσουν τα χαρακτηριστικά προς έλεγχο. Τιµή του κόµβου είναι η κατηγορία στην οποία ανήκει η πλειοψηφία των δεδοµένων του κόµβου αυτού. Το βασικότερο στάδιο του αλγορίθµου είναι η επιλογή της ανεξάρτητης µεταβλητής πάνω στην οποία θα συνεχιστεί η ανάπτυξη του δένδρου. Απαιτείται ο ορισµός κάποιου µηχανισµού που θα καθοδηγήσει την αναζήτηση προς το καλύτερο δένδρο (περιγραφή) µέσα στο σύνολο των δυνατών δένδρων. Η συνάρτηση αξιολόγησης που καθοδηγεί την αναζήτηση είναι το Κέρδος Πληροφορίας που µε τη σειρά του βασίζεται στο µέγεθος Εντροπία Πληροφορίας (αναπτύσσονται παρακάτω) Τεχνητή Νοηµοσύνη, B' Έκδοση

16 Εντροπία Πληροφορίας (Information Entropy) Μέγεθος στο οποίο βασίζεται το κλασικότερο κριτήριο διαχωρισµού. Η τιµή της δίνεται από τη σχέση: E ( S) = p+ log2( p+ ) p log2( p όπου S είναι το σύνολο των δεδοµένων εκπαίδευσης στο στάδιο (κόµβο) του διαχωρισµού, p+ είναι το κλάσµα των θετικών παραδειγµάτων του S και p- είναι το κλάσµα των αρνητικών παραδειγµάτων του S. Γενικότερα, για c διαφορετικές κατηγορίες, η εντροπία ορίζεται από τη σχέση: E( S) = c i= 1 p i log ( p i 2 ) όπου p i το ποσοστό των παραδειγµάτων του S που ανήκουν στην κατηγορία i. ) Τεχνητή Νοηµοσύνη, B' Έκδοση

17 Κέρδος Πληροφορίας (Information Gain) Gain(S,A) ή G(S,A) χρησιµοποιείται ως κριτήριο διαχωρισµού. Αναπαριστά τη µείωση της εντροπίας του συνόλου εκπαίδευσης S αν επιλεγεί ως παράµετρος διαχωρισµού η µεταβλητή Α. Όταν µειώνεται η πληροφοριακή εντροπία, αυξάνεται η πυκνότητα πληροφορίας και άρα η περιγραφή γίνεται περισσότερο συµπαγής. ίνεται από τη σχέση: G ( S, A) = E( S) u Values( A) S u S E ( E(S) είναι η εντροπία πληροφορίας του υπό εξέταση κόµβου, Α είναι η ανεξάρτητη µεταβλητή, µε τιµές Values(A), βάσει της οποίας επιχειρείται ο επόµενος διαχωρισµός, u είναι µία από τις δυνατές τιµές του Α, Su είναι το πλήθος των εγγραφών µε Α=u και E(Su) η εντροπία πληροφορίας του υπό εξέταση κόµβου ως προς την τιµή Α=u. S u) Τεχνητή Νοηµοσύνη, B' Έκδοση

18 Παράδειγµα (εκτέλεση) (1/2)...για το σύνολο δεδοµένων εκπαίδευσης του προβλήµατος δανειοδότησης 1 ος κύκλος εκτέλεσης µε κριτήριο διαχωρισµού το Gain S 0 = 5, p + = 2/5, p - = 3/5 E(S)= -p + *log 2 p + - p - *log 2 p - = -2/5 * log 2 (2/5) - 3/5* log 2 (3/5) = 0.97 Αν A=Εισόδηµα, οι δυνατές τιµές του είναι: V(A)={Υψηλό, Χαµηλό}. Οπότε: Για u=υψηλό έχουµε p + =2/3, p - =1/3, S u=υψηλό =3 E(S u=υψηλό )= -p + *log 2 p + - p - *log 2 p - = 0.92 Για u=χαµηλό έχουµε p + =0, p - =2/2=1, S u=χαµηλό =2 E(S u=χαµηλό )= -p + *log 2 p+ - p - *log 2 p - = 0 Υπολογίζουµε το Gain(S 0, A). Gain(S 0, A=εισόδηµα) = 0.97-(3/5 * /5 * 0) = 0.42 Όµοια: Gain(S 0, A=Χρεός)=0.02 και Gain(S 0, A=Παντρεµένος)=0.17 Εισόδηµα Χρέος Παντρεµένος Σύνολα Υψηλό Χαµηλό Υψηλό Χαµηλό Ναι Όχι S p+ 2/5 2/3 0 1/2 1/3 1/2 0 p- 3/5 1/3 1 1/2 2/3 1/2 1 E Gain Άρα ο κόµβος-ρίζα θα διαχωριστεί µε βάση τις τιµές του πεδίου Εισοδηµα καθώς το Κέρδος Πληροφορίας (άρα και η µείωση της Εντροπίας Πληροφορίας) για αυτό το πεδίο ήταν το µεγαλύτερο. Τεχνητή Νοηµοσύνη, B' Έκδοση

19 Παράδειγµα (εκτέλεση) (2/2) Παρατηρήσεις: Σε κάθε κύκλο τα παραπάνω µεγέθη επαναϋπολογίζονται για τον πληθυσµό S των δεδοµένων εκπαίδευσης που ανήκουν στον υπό εξέταση κόµβο. Σε δύο διαφορετικούς κόµβους µπορεί να επιλεγεί διαφορετική µεταβλητή διαχωρισµού. Το τελικό δένδρο απόφασης στο πρόβληµα δανειοδότησης Παντρεµένος? Όχι Καλός (0) 0.0 % Κακός (1) % Σύνολο % Υψηλό Καλός (2) 66.7 % Κακός (1) 33.3 % Σύνολο % Καλός (2) 40.0 % Κακός (3) 60.0 % Σύνολο 5 Εισόδηµα Ναι Καλός (2) % Κακός (0) 0.0 % Σύνολο % Χαµηλό Καλός (0) 0.0 % Κακός (2) % Σύνολο % Η ανάπτυξη του δένδρου τερµατίστηκε διότι οι τερµατικοί του κόµβοι έχουν την ίδια τιµή στην εξαρτηµένη µεταβλητή για όλα τα παραδείγµατα τους, δηλαδή είναι αµιγείς (φυσική συνθήκη τερµατισµού ανάπτυξης). Άλλη φυσική συνθήκη τερµατισµού: Όταν δεν υπάρχουν άλλες, προς εξέταση, µεταβλητές. Τεχνητή Νοηµοσύνη, B' Έκδοση

20 3) Μάθηση Κανόνων Ταξινόµησης Οι κανόνες if-then είναι από τις πιο εκφραστικές και κατανοητές για τον άνθρωπο αναπαραστάσεις. Κυριότερες κατηγορίες κανόνων προτασιακοί (propositional rules) κατηγορηµατικοί κανόνες πρώτης τάξης (first order predicate rules) Οι προτασιακοί κανόνες: Μπορεί να προκύψουν από άλλες µορφές αναπαράστασης (π.χ. δένδρα, γενετικούς αλγόριθµους) αλλά και από απ' ευθείας µάθηση µε αλγόριθµους σειριακής κάλυψης. εν περιλαµβάνουν µεταβλητές και έτσι δεν µπορεί να αναπαραστήσουν γενικές σχέσεις ανάµεσα στις τιµές των χαρακτηριστικών. π.χ. ο παρακάτω κανόνας ισχύει για µία συγκεκριµένη οικογένεια: if Father1=Bob and Name2=Bob and Female1=true then Daughter1_2=true Οι κατηγορηµατικοί κανόνες πρώτης τάξης: Περιέχουν µεταβλητές (µεγάλη εκφραστική ικανότητα). Προκύπτουν µε απ'ευθείας µάθηση µέσω αλγορίθµων µάθησης κανόνων 1ης τάξης. π.χ. ο επόµενος κανόνας ισχύει για όλες τις οικογένειες: if father(y,x) and female(y) then daughter(x,y) Τεχνητή Νοηµοσύνη, B' Έκδοση

21 Μάθηση Προτασιακών Κανόνων Ταξινόµησης (1/2) Αφορά σε προβλήµατα όπου δεν απαιτείται η αναπαράσταση σχέσεων ανάµεσα στις τιµές των διαφόρων χαρακτηριστικών (όπως και στα δένδρα ταξινόµησης/απόφασης). Ένας γενικός αλγόριθµος µάθησης τέτοιων κανόνων είναι ο αλγόριθµος σειριακής κάλυψης (Sequential Covering Algorithm). ηµιουργεί ένα σύνολο προτασιακών κανόνων σταδιακά (incrementally) µαθαίνοντας έναν κανόνα κάθε φορά. Κάθε κανόνας καλύπτει ένα σύνολο θετικών παραδειγµάτων, που είναι ξένο προς τα σύνολα των υπολοίπων κανόνων. Ένας κανόνας καλύπτει ένα παράδειγµα όταν οι τιµές των χαρακτηριστικών της συνθήκης του κανόνα συµφωνούν µε τις αντίστοιχες τιµές του παραδείγµατος. Το σύνολο των κανόνων καλύπτει το σύνολο των θετικών παραδειγµάτων. Τα βήµατα του αλγορίθµου είναι: Αλγόριθµος Σειριακής Κάλυψης 1. Αρχικοποίησε το Σύνολο_Κανόνων µε το κενό σύνολο. 2. Μάθε_έναν_Κανόνα(Εξαρτηµένη_Μεταβλητή,Μεταβλητές,Παραδείγµατα). 3. Αν ο Κανόνας ικανοποιεί το Κριτήριο Απόδοσης: 3α. Αφαίρεσε τα θετικά παραδείγµατα που κάλυψε ο Κανόνας αυτός. 3β. Πρόσθεσε τον Κανόνα στο Σύνολο_Κανόνων. 4. Επανέλαβε από το 2, όσο ικανοποιείται το Κριτήριο Απόδοσης. Τεχνητή Νοηµοσύνη, B' Έκδοση

22 Μάθηση Προτασιακών Κανόνων Ταξινόµησης (2/2) Η συνάρτηση Μάθε_έναν_Κανόνα είναι κρίσιµη για την απόδοση του αλγορίθµου και έχει την παρακάτω µορφή: Συνάρτηση Μάθε_έναν_Κανόνα (Εξαρτηµένη_Μεταβλητή,Χαρακτηριστικά,Παραδείγµατα) //Αναζήτηση "Γενικό προς Ειδικό" (General-to-Specific Search) 1. Έστω η βέλτιστη υπόθεση (αρχικά, ο πιο γενικός κανόνας) που ταιριάζει µε όλα τα παραδείγµατα του συνόλου εκπαίδευσης. 2. Επανέλαβε, όσο υπάρχουν υποψήφιες υποθέσεις: Εξειδίκευσε τη βέλτιστη υπόθεση, προσθέτοντας το ζεύγος χαρακτηριστικού-τιµής που βελτιστοποιεί το κριτήριο απόδοσης. Το Κριτήριο_Απόδοσης είναι ένα µέτρο της απόδοσης του κανόνα που καθορίζει ο χρήστης, όπως η Εντροπία, η Σχετική Συχνότητα ή ο m-εκτιµητής Ακρίβειας. Τεχνητή Νοηµοσύνη, B' Έκδοση

23 4) Μάθηση κατά Περίπτωση (Instance-based Learning) Τα δεδοµένα εκπαίδευσης διατηρούνται αυτούσια......σε αντίθεση µε τις άλλες µεθόδους µηχανικής µάθησης οι οποίες κωδικοποιούν τα παραδείγµατα εκπαίδευσης σε µια συµπαγή περιγραφή. Όταν ένα τέτοιο σύστηµα κληθεί να αποφασίσει για την κατηγορία µιας νέας περίπτωσης, εξετάζει εκείνη τη στιγµή τη σχέση της µε τα ήδη αποθηκευµένα παραδείγµατα. Χαρακτηριστικότερος είναι ο αλγόριθµος των k-κοντινότερων γειτόνων (k-nearest Neighbors) Κάνει την παραδοχή ότι τα διάφορα παραδείγµατα µπορεί να αναπαρασταθούν ως σηµεία σε κάποιον n-διάστατο Ευκλείδειο χώρο Rn όπου n ο αριθµός των χαρακτηριστικών (ανεξάρτητων µεταβλητών). Κάθε νέα περίπτωση τοποθετείται στο χώρο αυτό ως νέο σηµείο και η τιµή του προσδιορίζεται µε βάση το χαρακτηρισµό των k γειτονικών σηµείων. Οι κοντινότεροι γείτονες µιας περίπτωσης υπολογίζονται µε βάση την Ευκλείδεια απόστασή τους. d( x, x') = n ( ar( x) ar( x' )) r = 1 2 Τεχνητή Νοηµοσύνη, B' Έκδοση

24 Παράδειγµα Προσδιορισµός κατηγορίας µε βάση τον 1 και τους 5 κοντινότερους γείτονες x' Στο Σχήµα όπου υπάρχουν παραδείγµατα δυο κατηγοριών, η νέα περίπτωση x' χαρακτηρίζεται ως θετική, αν ληφθεί υπ' όψη µόνο ο πλησιέστερος γείτονας (1-Nearest Neighbor) και ως αρνητική αν ληφθούν υπ' όψη οι πέντε πλησιέστεροι γείτονες (5-Nearest Neighbors) καθώς η πλειοψηφία αυτών έχει αρνητικό χαρακτηρισµό (εξωτερικός κύκλος στο σχήµα). Τεχνητή Νοηµοσύνη, B' Έκδοση

25 5) Μάθηση κατά Bayes Στη µάθηση κατά Bayes (Bayesian learning) κάθε παράδειγµα εκπαίδευσης µπορεί σταδιακά να µειώσει ή να αυξήσει την πιθανότητα να είναι σωστή µια υπόθεση. Μια πρακτική δυσκολία στην εφαρµογή της µάθησης κατά Bayes είναι η απαίτηση για τη γνώση πολλών τιµών πιθανοτήτων. Όταν αυτές οι τιµές δεν είναι δυνατό να υπολογιστούν επακριβώς, υπολογίζονται κατ' εκτίµηση από παλαιότερες υποθέσεις, εµπειρική γνώση, κτλ. Η παραπάνω δυσκολία εφαρµογής έχει δώσει µεγάλη πρακτική αξία σε µια απλουστευµένη εκδοχή της µάθησης κατά Bayes, τον απλό ταξινοµητή Bayes, στον οποίο γίνεται η παραδοχή ότι τα χαρακτηριστικά είναι ανεξάρτητα µεταξύ τους. Τεχνητή Νοηµοσύνη, B' Έκδοση

26 Απλός ταξινοµητής Bayes Ο απλός ταξινοµητής Bayes (simple/naive Bayes classifier) είναι µια πρακτική µέθοδος µάθησης που στηρίζεται σε στατιστικά στοιχεία (κατανοµές πιθανότητας). Η ποσότητα P που περιγράφει έναν απλό ταξινοµητή Bayes για ένα σύνολο παραδειγµάτων εκφράζει την πιθανότητα να είναι c η τιµή της εξαρτηµένης µεταβλητής C µε βάση τις τιµές x=(x1, x2,..., xn) των χαρακτηριστικών X=(X1, X2,..., Xn) και δίνεται από τη σχέση: Pc ( x) Pc ( ) Px ( c) = όπου τα χαρακτηριστικά Χ i θεωρούνται ανεξάρτητα µεταξύ τους. Ο υπολογισµός της παραπάνω ποσότητας για ένα σύνολο Ν παραδειγµάτων γίνεται µε βάση τις σχέσεις: P(c) = N(c) / N, P(x i c) = N(x i,c) / N(c), για χαρακτηριστικό X i µε διακριτές τιµές, P(x i c) = g(x i, µc,σc2), για χαρακτηριστικό X i µε αριθµητικές τιµές, N(c) είναι ο αριθµός των παραδειγµάτων που έχουν στην εξαρτηµένη µεταβλητή την τιµή c, N(x i,c) είναι ο αριθµός των παραδειγµάτων που έχουν για το χαρακτηριστικό Χ i και την εξαρτηµένη µεταβλητή, τιµές xi και c αντίστοιχα, και g(x i, µc,σc2) είναι η συνάρτηση πυκνότητας πιθανότητας Gauss µε µέσο όρο µc και διασπορά σc για το χαρακτηριστικό X i. i i Τεχνητή Νοηµοσύνη, B' Έκδοση

27 6) Παρεµβολή ή Παλινδρόµηση (regression) Η διαδικασία προσδιορισµού της σχέσης µιας µεταβλητής y (εξαρτηµένη µεταβλητή ή έξοδος) µε µια ή περισσότερες άλλες µεταβλητές x1, x2,, xn (ανεξάρτητες µεταβλητές ή είσοδοι). Σκοπός της είναι η πρόβλεψη της τιµής της εξόδου όταν είναι γνωστές οι είσοδοι. Το πιο διαδεδοµένο µοντέλο είναι το γραµµικό (linear) όπου η αναµενόµενη τιµή της εξόδου µοντελοποιείται µε µία γραµµική συνάρτηση ή σταθµισµένο άθροισµα (weighted sum) των παραµέτρων εισόδου. y j = β 0 + β 1 x 1j + β 2 x 2j + + β n x nj j = 1, 2,, m όπου m είναι ο αριθµός των δεδοµένων (παραδειγµάτων) εκπαίδευσης, ενώ το ζητούµενο είναι να υπολογιστούν οι συντελεστές βi. ιαδεδοµένη µέθοδοςς επίλυσης: η µέθοδος των ελαχίστων τετραγώνων (least squares). Ελαχιστοποιεί το σφάλµα µεταξύ της εκτιµώµενης συνάρτησης και των πραγµατικών δεδοµένων. Τεχνητή Νοηµοσύνη, B' Έκδοση

28 7) Νευρωνικά ίκτυα (Neural Networks) Παρέχουν ένα πρακτικό (εύκολο) τρόπο για την εκµάθηση αριθµητικών και διανυσµατικών συναρτήσεων ορισµένων σε συνεχή ή διακριτά µεγέθη. Χρησιµοποιούνται τόσο για παρεµβολή (γραµµική και µη γραµµική) όσο και για ταξινόµηση. Έχουν το µεγάλο πλεονέκτηµα της ανοχής που παρουσιάζουν σε δεδοµένα εκπαίδευσης µε θόρυβο, δηλαδή δεδοµένα που περιστασιακά έχουν λανθασµένες τιµές (π.χ. λάθη καταχώρησης). Αδυνατούν όµως να εξηγήσουν ποιοτικά τη γνώση που µοντελοποιούν. Λόγω της σηµαντικότητάς τους, τα νευρωνικά δίκτυα παρουσιάζονται λεπτοµερώς σε άλλο κεφάλαιο. Τεχνητή Νοηµοσύνη, B' Έκδοση

29 8) Μηχανές ιανυσµάτων Υποστήριξης (Μ Υ) Support Vector Machines (SVMs) Στηρίζονται στη Θεωρία Στατιστικής Μάθησης (Statistical Learning Theory) και στα νευρωνικά δίκτυα τύπου Perceptron Προτάθηκαν από τον Vladimir Vapnik και τους συνεργάτες του το Η γενικότερη ιδέα στην οποία στηρίζονται είχε προταθεί αρκετά νωρίτερα (δεκαετία '60) Έχουν εδραιωθεί ως µια από τις πιο διαδεδοµένες µεθόδους (γραµµικής και µη) παρεµβολής και ταξινόµησης, µε πλήθος εφαρµογών. αναγνώριση γραφής (handwriting recog-nition), ταξινόµηση κειµένων (text categorization), ταξινόµηση δεδοµένων έκφρασης γονιδίων (gene expression data), κτλ Στην περίπτωση της ταξινόµησης, οι Μ Υ προσπαθούν να βρουν µια υπερ-επιφάνεια (hypersurface) που να διαχωρίζει στο χώρο των παραδειγµάτων τα αρνητικά από τα θετικά παραδείγµατα. Η υπερεπιφάνεια αυτή επιλέγεται έτσι, ώστε να απέχει όσο το δυνατόν περισσότερο από τα κοντινότερα θετικά και αρνητικά παραδείγµατα (maximum margin hypersurface). Τεχνητή Νοηµοσύνη, B' Έκδοση

30 Β) Μάθηση Χωρίς Επίβλεψη Στη µάθηση χωρίς επίβλεψη το σύστηµα έχει στόχο να ανακαλύψει συσχετίσεις και οµάδες από τα δεδοµένα, βασιζόµενο µόνο στις ιδιότητές τους. Σαν αποτέλεσµα προκύπτουν πρότυπα (περιγραφές), κάθε ένα από τα οποία περιγράφει ένα µέρος από τα δεδοµένα. Παραδείγµατα προτύπων πληροφόρησης είναι οι κανόνες συσχέτισης (association rules) και οι οµάδες (clusters), οι οποίες προκύπτουν από τη διαδικασία της οµαδοποίησης (clustering). Τεχνητή Νοηµοσύνη, B' Έκδοση

31 1) Κανόνες Συσχέτισης (1/2) Η ανακάλυψη ή εξόρυξη κανόνων συσχέτισης (association rule mining) εµφανίστηκε αρκετά αργότερα από τη µηχανική µάθηση και έχει περισσότερες επιρροές από την ερευνητική περιοχή των βάσεων δεδοµένων. Προτάθηκε στις αρχές της δεκαετίας του '90 από τον Rakesh Agrawal ως τεχνική ανάλυσης καλαθιού αγορών (market basket analysis) όπου το ζητούµενο είναι η ανακάλυψη συσχετίσεων ανάµεσα στα αντικείµενα µιας βάσης δεδοµένων. Στο συγκεκριµένο πρόβληµα υπάρχει ένας µεγάλος αριθµός αντικειµένων (items), για παράδειγµα ψωµί, γάλα, κτλ. Οι πελάτες γεµίζουν τα καλάθια τους µε κάποιο υ- ποσύνολο αυτών των αντικειµένων και το ζητούµενο είναι να βρεθεί ποια από αυτά τα αντικείµενα αγοράζονται µαζί, χωρίς να ενδιαφέρει ποιος είναι ο αγοραστής. Οι κανόνες συσχέτισης είναι προτάσεις της µορφής {Χ1,...,Χn} Y, που σηµαίνει ότι αν βρεθούν όλα τα Χ1,..., Χn στο καλάθι (στην ανάλυση καλαθιού αγορών) τότε είναι πιθανό να βρεθεί και το Y. Για παράδειγµα, ένας τέτοιος κανόνας θα µπορούσε να λέει: "όποιος αγοράζει καφέ (Χ1) και ζάχαρη (Χ2) αγοράζει και αναψυκτικά (Y)" Τεχνητή Νοηµοσύνη, B' Έκδοση

32 Κανόνες Συσχέτισης (2/2) Απλή αναφορά ενός τέτοιου κανόνα δεν έχει µεγάλη αξία αν δε συνοδεύεται από κάποια ποσοτικά µεγέθη που µετρούν την ποιότητα των ευρεθέντων κανόνων συσχέτισης. Τέτοια µεγέθη είναι τα: Υποστήριξη (support) ή κάλυψη (coverage): εκφράζει την πιθανότητα να βρεθεί το καλάθι {Χ1,..., Χn, Y} στη βάση δεδοµένων και ισούται µε το λόγο των εγγραφών που περιλαµβάνουν το {Χ1,...,Χn, Y} προς το σύνολο των εγγραφών. Εµπιστοσύνη (confidence) ή ακρίβεια (accuracy): εκφράζει την πιθανότητα να βρεθεί το Y σε ένα καλάθι που περιέχει τα {Χ1,..., Χn} και ισούται µε το λόγο των εγγραφών που περιλαµβάνουν το {Χ1,..., Χn, Y} προς το σύνολο των εγγραφών που περιλαµβάνουν τα Χi. Τεχνητή Νοηµοσύνη, B' Έκδοση

33 Αλγόριθµοι Εύρεσης Κανόνων Συσχέτισης Για την ανακάλυψη κανόνων συσχέτισης χρησιµοποιείται η ιδιότητα της µονοτονίας (monotonicity property) ή αλλιώς ιδιότητα a priori σύµφωνα µε την οποία: "Αν ένα σύνολο αντικειµένων S είναι συχνό, τότε όλα τα υποσύνολα του S είναι επίσης συχνά". π.χ. αν είναι συχνό το {γάλα, ψωµί, λάδι} τότε είναι τουλάχιστον εξίσου συχνό και το {γάλα, ψωµί} (ή το {γάλα, λάδι}, ή το {ψωµί, λάδι}) Συχνό είναι ένα σύνολο αντικειµένων όταν εµφανίζεται σε ποσοστό των καλαθιών ίσο ή µεγαλύτερο από ένα όριο που συνήθως ορίζει ο χρήστης. Σε έναν αλγόριθµο εύρεσης κανόνων συσχέτισης µας ενδιαφέρει κυρίως ο αριθµός των περασµάτων στα δεδοµένα που απαιτείται κατά την εκτέλεσή του. Τεχνητή Νοηµοσύνη, B' Έκδοση

34 Ο αλγόριθµος Apriori Προτάθηκε από τον Rakesh Agrawal το 1994 και είναι ίσως ο κλασικότερος αλγόριθµος ανακάλυψης κανόνων συσχέτισης. Περιλαµβάνει δυο βασικά βήµατα, τη δηµιουργία των συχνών συνόλων αντικειµένων και τη δηµιουργία των κανόνων συσχέτισης. Η διαδικασία της δηµιουργίας συχνών συνόλων αντικειµένων περιλαµβάνει δύο στάδια: Αρχικά δηµιουργείται ένα σύνολο υποψήφιων συχνών αντικειµένων Ci και στη συνέχεια, χρησιµοποιώντας το όριο υποστήριξης (support), δηµιουργείται το σύνολο των συχνών συνόλων αντικειµένων Li. Η διαδικασία επαναλαµβάνεται πραγµατοποιώντας διαδοχικά περάσµατα στα δεδοµένα µέχρι να βρεθούν είτε τα συχνά σύνολα αντικειµένων ενός προκαθορισµένου επιπέδου ή τα µέγιστα συχνά σύνολα αντικειµένων. Το πρώτο στάδιο επιπλέον αποτελείται από ένα βήµα συνένωσης (join step) και ένα βήµα κλαδέµατος (prune step) τα οποία συνήθως εκτελούνται στη µνήµη και έτσι δεν είναι ιδιαίτερα χρονοβόρα. Για τη δηµιουργία των κανόνων συσχέτισης ελέγχεται η εµπιστοσύνη (confidence) όλων των πιθανών κανόνων που προκύπτουν από τα µέγιστα συχνά σύνολα αντικειµένων και στο τέλος µένουν εκείνοι των οποίων η εµπιστοσύνη ξεπερνά το όριο που τέθηκε από το χρήστη. Τεχνητή Νοηµοσύνη, B' Έκδοση

35 ηµιουργία Συχνών Συνόλων Αντικειµένων Έστω ότι το όριο υποστήριξης είναι sup. Στο πρώτο πέρασµα βρίσκονται τα αντικείµενα εκείνα που εµφανίζονται στη βάση δεδοµένων σε ένα ποσοστό sup των καλαθιών ή µεγαλύτερο. Αυτό το σύνολο ονοµάζεται σύνολο συχνών αντικειµένων (frequent 1- itemset) και συµβολίζεται µε L1. Από το L1 προκύπτουν, κάνοντας όλους τους δυνατούς συνδυασµούς, τα υποψήφια (συχνά) ζεύγη αντικειµένων C2. Στο δεύτερο πέρασµα, τα ζεύγη του C2 των οποίων το πλήθος ικανοποιεί το κριτήριο sup, δηµιουργούν το L2, δηλαδή τα συχνά ζεύγη (frequent 2-itemsets). Από το L2 προκύπτουν οι υποψήφιες (συχνές) τριάδες αντικειµένων C3 που θα χρησιµοποιηθούν στο τρίτο πέρασµα. Οι υποψήφιες τριάδες C3 είναι σύνολα του τύπου {A,B,C} τέτοια, ώστε όλα τα υποσύνολά του µεγέθους δυο, δηλαδή τα {A,B}, {A,C}, {B,C}, να ανήκουν στο L2. Στο τρίτο πέρασµα, υπολογίζεται ο αριθµός των εµφανίσεων των τριάδων του C3 και µε βάση το κριτήριο sup δηµιουργείται το L3. Η διαδικασία συνεχίζεται για προκαθορισµένο αριθµό επιπέδων ή µέχρι να αδειάσουν τα υποψήφια συχνά σύνολα αντικειµένων και να δηµιουργηθούν τα µέγιστα συχνά σύνολα αντικειµένων. Τεχνητή Νοηµοσύνη, B' Έκδοση

36 Παράδειγµα Εφαρµογής του Apriori (1/4) Έστω ένα σύνολο δεδοµένων που αντιστοιχούν σε 10 διαφορετικά καλάθια αγορών από ένα super market. Κάθε καλάθι περιλαµβάνει ένα υποσύνολο των προϊόντων του super market. Για παράδειγµα, στο πρώτο καλάθι ο πελάτης αγόρασε µόνο ψωµί και γάλα. Καλάθι Ψωµί Καφές Γάλα Ζάχαρη # # # # # # # # # # Έστω επίσης ότι η ζητούµενη υποστήριξη είναι sup=40% και η ζητούµενη εµπιστοσύνη conf=80%. Τεχνητή Νοηµοσύνη, B' Έκδοση

37 Παράδειγµα Εφαρµογής του Apriori (2/4) Στο πρώτο βήµα, ο Apriori υπολογίζει την υποστήριξη όλων των αντικειµένων, δηλαδή δηµιουργεί το σύνολο L1. S{Ψωµί} = 7/10 = 70% sup S{Καφές} = 5/10 = 50% sup S{Γάλα} = 6/10 = 60% sup S{Ζάχαρη} = 7/10 = 70% sup Συνεπώς L1={ Ψωµί, Καφές, Γάλα, Ζάχαρη } Στο δεύτερο βήµα, παράγονται όλοι οι δυνατοί συνδυασµοί των αντικειµένων, για να δηµιουργηθεί το σύνολο υποψήφιων ζευγών αντικειµένων, δηλαδή το σύνολο C2. C2={ {Ψωµί,Καφές},{Ψωµί,Γάλα},{Ψωµί,Ζάχαρη},{Καφές,Γάλα}, {Καφές,Ζάχαρη},{Γάλα,Ζάχαρη} } Κατόπιν, υπολογίζεται η υποστήριξη των µελών του C2 και απορρίπτονται εκείνα που δεν ξεπερνούν το όριο ελάχιστης υποστήριξης, ώστε να δηµιουργηθεί το σύνολο συχνών ζευγών L2. S({Ψωµί, Καφές}) = 3/10 = 30% < sup (απορρίπτεται) S({Ψωµί, Γάλα}) = 5/10 = 50% sup κτλ. Τελικά: L2={{Ψωµί,Γάλα},{Ψωµί,Ζάχαρη},{Γάλα,Ζάχαρη}} Τεχνητή Νοηµοσύνη, B' Έκδοση

38 Παράδειγµα Εφαρµογής του Apriori (3/4) Από το L2, µε τον ίδιο τρόπο, θα δηµιουργηθούν τα C3 και L3 (αν τελικά υπάρχουν "συχνές" τριάδες). Στο συγκεκριµένο παράδειγµά, το βήµα δηµιουργίας υποψήφιων τριάδων έχει ως εξής: Βήµα συνένωσης: {Ψωµί,Γάλα} {Ψωµί,Ζάχαρη}= {Ψωµί,Γάλα,Ζάχαρη} Βήµα κλαδέµατος: Οι επιµέρους δυάδες (ζεύγη) του {Ψωµί,Γάλα,Ζάχαρη} ανήκουν όλες στο L2, άρα: C3={{Ψωµί,Γάλα,Ζάχαρη}} S({Ψωµί,Γάλα,Ζάχαρη})=3/10=30% (απορρίπτεται), άρα L3={}. Ο αλγόριθµος εύρεσης συχνών συνόλων αντικειµένων σταµατά εδώ και συνεπώς το µέγιστο συχνό σύνολο αντικειµένων είναι το L2. Το επόµενο βήµα είναι η εξαγωγή των κανόνων από τα συχνά σύνολα (στο συγκεκριµένο παράδειγµα µόνο το L2), βάσει της εµπιστοσύνης τους. L2={{Ψωµί,Γάλα},{Ψωµί,Ζάχαρη},{Γάλα,Ζάχαρη}} Ελέγχεται η εµπιστοσύνη όλων των πιθανών κανόνων που µπορεί να προκύψουν από το L2. {Ψωµί,Γάλα} Ψωµί Γάλα: εµπιστοσύνη = 5/7 = 71% < conf (απορρίπτεται) Γάλα Ψωµί: εµπιστοσύνη = 5/6 = 83% > conf (εγκρίνεται) Τεχνητή Νοηµοσύνη, B' Έκδοση

39 Παράδειγµα Εφαρµογής του Apriori (4/4) {Ψωµί,Ζάχαρη} Ψωµί Ζάχαρη: εµπιστοσύνη = 5/7 = 71% < conf (απορρίπτεται) Ζάχαρη Ψωµί: εµπιστοσύνη = 5/7 = 71% < conf (απορρίπτεται) {Γάλα,Ζάχαρη} Γάλα Ζάχαρη: εµπιστοσύνη = 4/6 = 66% < conf (απορρίπτεται) Ζάχαρη Γάλα: εµπιστοσύνη = 4/7 = 57% < conf (απορρίπτεται) Τελικά παράγεται µόνο ο κανόνας: Γάλα Ψωµί, δηλαδή όποιος αγοράζει Γάλα αγοράζει και Ψωµί. Αν ελαττώσουµε τη ζητούµενη εµπιστοσύνη στο 70% τότε θα παραχθούν τέσσερις κανόνες. Τεχνητή Νοηµοσύνη, B' Έκδοση

40 2) Οµάδες (clusters) Είναι πρότυπα πληροφόρησης που προκύπτουν µε οµαδοποίηση (clustering) δηλαδή διαχωρισµό ενός συνόλου (συνήθως πολυδιάστατων) δεδοµένων σε οµάδες, ώστε: σηµεία που ανήκουν στην ίδια οµάδα να µοιάζουν όσο το δυνατόν περισσότερο και σηµεία που ανήκουν σε διαφορετικές οµάδες να διαφέρουν όσο το δυνατόν περισσότερο. Στο Σχήµα απεικονίζεται γραφικά µία υποθετική οµαδοποίηση σε δεδοµένα αγοραστών σπορ αυτοκινήτων, µε βάση την ηλικία (άξονας x), το ετήσιο εισόδηµα (άξονας y) και το φύλο. ιακρίνονται τρεις οµάδες: "αγοραστές νεαρής ηλικίας ανεξαρτήτως φύλλου", "άνδρες αγοραστές µε υψηλό εισόδηµα, όλων των ηλικιών µέχρι τα 53 χρόνια" και "άνδρες αγοραστές ηλικίας περίπου 44 ανεξαρτήτως εισοδήµατος". Ετήσιο Εισόδηµα (χιλιάδες ) 60 Άνδρας Γυναίκα Ηλικία (χρόνια) Τεχνητή Νοηµοσύνη, B' Έκδοση

41 Αλγόριθµοι Οµαδοποίησης Υπάρχουν τρεις γενικές κατηγορίες αλγορίθµων οµαδοποίησης: Οι αλγόριθµοι βασισµένοι σε διαχωρισµούς (partition based), που προσπαθούν να βρουν τον καλύτερο διαχωρισµό ενός συνόλου δεδοµένων σε ένα συγκεκριµένο αριθµό οµάδων. Οι ιεραρχικοί (hierarchical) αλγόριθµοι, που προσπαθούν µε ιεραρχικό τρόπο να ανακαλύψουν τον αριθµό και τη δοµή των οµάδων. Οι πιθανοκρατικοί (probabilistic) αλγόριθµοι, που βασίζονται σε µοντέλα πιθανοτήτων. Η οµαδοποίηση απαιτεί κάποιο µέτρο της οµοιότητας ή διαφοράς µεταξύ των δεδοµένων. Συνήθως υπολογίζεται η "απόσταση" µεταξύ των δεδοµένων. Έστω ένα σύνολο δεδοµένων D, και δύο δεδοµένα του, x, y που περιγράφονται από m χαρακτηριστικά (x 1,x 2,,x m ), (y 1,y 2,,y m ). Τυπικά µέτρα απόστασης αυτών των δύο δεδοµένων είναι η απόσταση Μανχάταν και η Ευκλείδεια απόσταση: 2 d ( x, y) x i y i d( x, y) = ( x i y i ) = i Απόσταση Μανχάταν Ευκλείδεια απόσταση Αν κάποια χαρακτηριστικά είναι διακριτά, τότε η απόσταση των τιµών τους θεωρείται 0 αν πρόκειται για την ίδια τιµή και 1 αν πρόκειται για διαφορετικές τιµές. Τα αριθµητικά χαρακτηριστικά θα πρέπει να οµογενοποιούνται ώστε η απόστασή τους να πέφτει µέσα στο διάστηµα [0,1]. Τεχνητή Νοηµοσύνη, B' Έκδοση i

42 Αλγόριθµοι Βασισµένοι σε ιαχωρισµούς Ο αλγόριθµος των Κ-µέσων (1/2) Ένας από τους πιο γνωστούς αλγόριθµους οµαδοποίησης αυτής της κατηγορίας είναι ο αλγόριθµος των Κ-µέσων (K-means). Ο αριθµός Κ των οµάδων καθορίζεται πριν την εκτέλεση του αλγορίθµου. Ο αλγόριθµος ξεκινά διαλέγοντας K τυχαία σηµεία από τα δεδοµένα ως τα κέντρα των οµάδων. Έπειτα αναθέτει κάθε σηµείο στην οµάδα της οποίας το κέντρο είναι πιο κοντά (µικρότερη απόσταση) σε αυτό το σηµείο. Στη συνέχεια, υπολογίζει για κάθε οµάδα το µέσο όρο όλων των σηµείων της (µέσο διάνυσµα) και ορίζει αυτό ως νέο κέντρο της. Τα δύο τελευταία βήµατα επαναλαµβάνονται για ένα προκαθορισµένο αριθµό βηµάτων ή µέχρι να µην υπάρχει αλλαγή στο διαχωρισµό των σηµείων σε οµάδες. Τεχνητή Νοηµοσύνη, B' Έκδοση

43 Ο αλγόριθµος των Κ-µέσων (2/2) Ο αλγόριθµος των των Κ-µέσων δίνεται σε ψευδογλώσσα στη συνέχεια: Αλγόριθµος Κ-µέσων είσοδος: Σύνολο δεδοµένων D = {x 1,, x n } Αριθµός Οµάδων k έξοδος: Οµάδες C i 1.//ανάθεση τυχαίων κέντρων για i= 1,,k κάνε: θεώρησε m i ως ένα τυχαίο στοιχείο από το D; 2.//οµαδοποίηση όσο υπάρχουν αλλαγές στις οµάδες Ci κάνε: 2α.//δηµιουργία οµάδων για i = 1,, k κάνε C i = {x D d(m i,x) d(m j,x) για όλα τα j = 1,,k, j k}; 2β.//υπολογισµός νέων κέντρων για i = 1,,k κάνε m i = το µέσο διάνυσµα των σηµείων που ανήκουν στην οµάδα C i ; Τεχνητή Νοηµοσύνη, B' Έκδοση

44 Παράδειγµα Εκτέλεσης του Αλγορίθµου των Κ-µέσων Έστω ότι ο αλγόριθµος εκτελείται µε k=2 για τα 7 σηµεία του Σχήµατος. Αρχικά επιλέγονται τυχαία, έστω τα σηµεία 3 και 4, ως κέντρα για τις δύο οµάδες Α και Β Κάθε σηµείο από τα υπόλοιπα ανατίθεται στην οµάδα στης οποίας το κέντρο είναι πιο κοντά, άρα τα σηµεία 1, 2, 3 και 5 θα ανήκουν στην οµάδα Α ενώ τα 4, 6 και 7 στην Β. Ξαναϋπολογίζονται τα κέντρα κάθε οµάδας και µε αυτόν τον τρόπο ολοκληρώνεται ένας κύκλος υπολογισµών. Τα νέα κέντρα απεικονίζονται στο Σχήµα (α) µε ρόµβο. Α (α) Β 4 Ο παραπάνω κύκλος υπολογισµών επαναλαµβάνεται χρησιµοποιώντας αυτήν τη φορά τις αποστάσεις των σηµείων από τα νέα κέντρα. Μια µεταβολή που συντελείται είναι ότι το σηµείο 2 αλλάζει οµάδα και ανήκει πλέον στη Β. Επιπλέον, τα κέντρα των οµάδων µετατοπίζονται σε νέες θέσεις που στο Σχήµα (β) σηµειώνονται µε τετράγωνο. Κατά την τρίτη επανάληψη των παραπάνω υπολογισµών, δε συντελείται καµία µεταβολή στον πληθυσµό κάθε οµάδας, οπότε η διαδικασία τερµατίζει. Τεχνητή Νοηµοσύνη, B' Έκδοση Α (β) Β

45 Αλγόριθµοι Ιεραρχικής Οµαδοποίησης (1/3) Οι αλγόριθµοι ιεραρχικής οµαδοποίησης συνδυάζουν οµάδες σε µεγαλύτερες οµάδες ή διαιρούν µεγάλες οµάδες σε µικρότερες. Το αποτέλεσµα των αλγορίθµων αυτών είναι µια ιεραρχία από διαφορετικές οµαδοποιήσεις των δεδοµένων στο ένα άκρο της οποίας βρίσκεται µια µόνο οµάδα µε όλα τα δεδοµένα, και στο άλλο τόσες οµάδες όσες και ο αριθµός των δεδοµένων. Με βάση την κατεύθυνση ανάπτυξης της ιεραρχίας που ακολουθούν, οι ιεραρχικοί αλγόριθµοι οµαδοποίησης χωρίζονται στους αλγορίθµους συγχώνευσης (agglomerative) και στους αλγορίθµους διαίρεσης (divisive). Οι αλγόριθµοι συγχώνευσης είναι οι πιο σηµαντικοί και διαδεδοµένοι από τους δύο. Βασίζονται σε µετρικές απόστασης ανάµεσα σε οµάδες. εδοµένης µιας αρχικής οµαδοποίησης (για παράδειγµα, κάθε σηµείο αποτελεί µια οµάδα), οι αλγόριθµοι αυτοί βρίσκουν τις δύο πιο κοντινές οµάδες και τις συγχωνεύουν µε µία. Η διαδικασία συνεχίζεται µέχρις ότου προκύψει µία µόνο οµάδα. Τεχνητή Νοηµοσύνη, B' Έκδοση

46 Αλγόριθµοι Ιεραρχικής Οµαδοποίησης (2/3) ίνεται ο γενικός αλγόριθµος ιεραρχικής οµαδοποίησης, σε ψευδογλώσσα: Ιεραρχικός Αλγόριθµος Οµαδοποίησης είσοδος: Σύνολο δεδοµένων D = {x 1,, x n } Συνάρτηση d(c i, C j ) απόστασης δύο οµάδων C i, C j έξοδος: Οµάδες C i 1. για i = 1,,n κάνε: θεώρησε C i = {x i }; 2. όσο ο αριθµός των οµάδων είναι µεγαλύτερος από 1 κάνε: 2α. Υπολόγισε την απόσταση µεταξύ όλων των οµάδων ανά δύο 2β. C i = C i C j, όπου C i και C j οι δυο πιο κοντινές οµάδες 2γ. Αφαίρεσε την οµάδα C j από το σύνολο των οµάδων Οι ιεραρχίες που προκύπτουν από τους αλγορίθµους ιεραρχικής οµαδοποίησης µπορεί να απεικονιστούν µε έναν πρακτικό και εύκολο τρόπο µέσω ενός γραφήµατος δενδρικής µορφής, το οποίο ονοµάζεται δενδρόγραµµα. Τεχνητή Νοηµοσύνη, B' Έκδοση

47 Αλγόριθµοι Ιεραρχικής Οµαδοποίησης (3/3) Στο Σχήµα αριστερά, φαίνονται κάποια σηµεία στο διδιάστατο χώρο, ενώ δεξιά παρουσιάζεται το δενδρόγραµµα που προκύπτει µέσω ιεραρχικής οµαδοποίησης ενδρόγραµµα Ιεραρχικής Οµαδοποίησης Τεχνητή Νοηµοσύνη, B' Έκδοση

48 Άλλα Είδη Μάθησης Εκτός από τις µεθόδους που παρουσιάστηκαν, υπάρχουν και άλλες προσεγγίσεις στο πρόβληµα της µηχανικής µάθησης. ύο από αυτές, είναι οι γενετικοί αλγόριθµοι και η ενισχυτική µάθηση. Γενετικοί Αλγόριθµοι (Genetic Algorithms) Mέθοδος µάθησης που βασίζεται στην προσοµοίωση του φυσικού φαινοµένου της εξέλιξης (evolution) - (παρουσιάζονται αναλυτικά σε σχετικό κεφάλαιο). Οι υποθέσεις συνήθως αναπαριστώνται από ακολουθίες bit (bit-strings). Η αναζήτηση της κατάλληλης υπόθεσης ξεκινάει τυχαία µε έναν πληθυσµό (µια συλλογή) αρχικών υποθέσεων, τα µέλη του οποίου παράγουν τη νέα "γενιά" µέσω διαδικασιών αναπαραγωγής αντίστοιχων των βιολογικών, όπως: διασταύρωση (crossover) τυχαία µετάλλαξη (random mutation) Σε κάθε βήµα, οι υποθέσεις του τρέχοντος πληθυσµού αξιολογούνται βάσει µιας προκαθορισµένης συνάρτησης καταλληλότητας (fitness function). Βάσει αυτής επιλέγονται για το αν θα υφίστανται ή όχι στην επόµενη γενιά. Συµπέρασµα: Η µάθηση αντιµετωπίζεται σαν µία ειδική περίπτωση βελτιστοποίησης. Τεχνητή Νοηµοσύνη, B' Έκδοση

49 Ενισχυτική Μάθηση Reinforcement Learning Γενική περιγραφή οικογένειας τεχνικών στις οποίες το σύστηµα µάθησης προσπαθεί να µάθει µέσω άµεσης αλληλεπίδρασης µε το περιβάλλον. Εφαρµογές: έλεγχο κίνησης ροµπότ, βελτιστοποίηση εργασιών σε εργοστάσια, µάθηση επιτραπέζιων παιχνιδιών, κτλ. Είναι εµπνευσµένη από τα αντίστοιχα ανάλογα της µάθησης µε επιβράβευση και τιµωρία που συναντώνται στα έµβια όντα. Σκοπός του συστήµατος µάθησης: να µεγιστοποιήσει µια συνάρτηση του αριθµητικού σήµατος ενίσχυσης (ανταµοιβή), για παράδειγµα την αναµενόµενη τιµή του σήµατος ενίσχυσης στο επόµενο βήµα. Το σύστηµα δεν καθοδηγείται από κάποιον εξωτερικό επιβλέποντα για το ποια ενέργεια θα πρέπει να ακολουθήσει αλλά πρέπει να ανακαλύψει µόνο του ποιες ενέργειες είναι αυτές που θα του αποφέρουν το µεγαλύτερο κέρδος. Τεχνητή Νοηµοσύνη, B' Έκδοση

50 Το Πλαίσιο της Ενισχυτικής Μάθησης (1/2) Στο βασικό πλαίσιο της ενισχυτικής µάθησης, η οντότητα που µαθαίνει και παίρνει αποφάσεις ονοµάζεται πράκτορας (agent), ενώ οτιδήποτε άλλο εκτός του πράκτορα ονοµάζεται περιβάλλον. Ο πράκτορας και το περιβάλλον αλληλεπιδρούν συνεχώς, µε τον πρώτο να επιλέγει ενέργειες και το δεύτερο να αποκρίνεται σε αυτές και να του παρουσιάζει καινούριες καταστάσεις. Το περιβάλλον δίνει στον πράκτορα ανταµοιβές (rewards), ειδικές αριθµητικές τιµές τις οποίες αυτός προσπαθεί µακροπρόθεσµα να µεγιστοποιήσει. Ο πράκτορας και το περιβάλλον αλληλεπιδρούν σε µια ακολουθία διακριτών χρονικών στιγµών, t=0, 1, 2,.... Σε µια χρονική στιγµή t, o πράκτορας λαµβάνει µια αναπαράσταση της κατάστασης του περιβάλλοντος, s t S, S είναι το σύνολο των πιθανών καταστάσεων στις οποίες µπορεί να βρεθεί ο πράκτορας. Ο πράκτορας διαλέγει µια ενέργεια, a t A(s t ), A(s t ) είναι το σύνολο των ενεργειών που είναι διαθέσιµες στην δεδοµένη κατάσταση s t Την επόµενη χρονική στιγµή, σαν αποτέλεσµα της ενέργειάς του, ο πράκτορας λαµβάνει µια αριθµητική ανταµοιβή, r t+1 R, και µεταβαίνει σε µια καινούρια κατάσταση, s t+1. Τεχνητή Νοηµοσύνη, B' Έκδοση

51 Το Πλαίσιο της Ενισχυτικής Μάθησης (2/2) Το Σχήµα δείχνει την αλληλεπίδραση του πράκτορα µε το περιβάλλον. κατάσταση s t Πράκτορας ανταµοιβή r t ενέργεια a t r t+1 Περιβάλλον s t+1 Σε κάθε χρονική στιγµή ο πράκτορας πραγµατοποιεί µια απεικόνιση από τις καταστάσεις σε πιθανότητες επιλογής κάθε δυνατής ενέργειας. Η απεικόνιση αυτή ονοµάζεται πολιτική του πράκτορα και υποδηλώνεται ως π, π(s t, a t ) είναι η πιθανότητα να επιλεγεί η ενέργεια a t στη κατάσταση s t. Άρα η ενισχυτική µάθηση πραγµατοποιείται σε πραγµατικό χρόνο µέσω της αλληλεπίδρασης του πράκτορα µε το περιβάλλον. Τεχνητή Νοηµοσύνη, B' Έκδοση