ΑΝΑΓΝΩΡΙΣΗ ΠΡΟΤΥΠΩΝ ΝΕΥΡΩΝΙΚΑ ΔΙΚΤΥΑ

Transcript

1 ΤΕΧΝΟΛΟΓΙΚΟ ΕΚΠΑΙΔΕΥΤΙΚΟ ΙΔΡΥΜΑ ΚΕΝΤΡΙΚΗΣ ΜΑΚΕΔΟΝΙΑΣ ΣΧΟΛΗ ΤΕΧΝΟΛΟΓΙΚΩΝ ΕΦΑΡΜΟΓΩΝ ΤΜΗΜΑ ΜΗΧΑΝΙΚΩΝ ΠΛΗΡΟΦΟΡΙΚΗΣ ΑΝΑΓΝΩΡΙΣΗ ΠΡΟΤΥΠΩΝ ΝΕΥΡΩΝΙΚΑ ΔΙΚΤΥΑ Δρ Χαράλαμπος Π Στρουθόπουλος Καθηγητής ΣΕΡΡΕΣ, ΜΑΡΤΙΟΣ 4 9

2 ΠΕΡΙΕΧΟΜΕΝΑ ΚΕΦΑΛΑΙΟ - ΕΙΣΑΓΩΓΗ ΚΕΦΑΛΑΙΟ - ΠΕΡΙΓΡΑΦΗ ΠΡΟΤΥΠΩΝ ΚΑΙ ΟΡΙΣΜΟΙ Διαυματική περιγραφή Εωτερικό γιόμεο 3 Αποτάεις 4 Ευθεία, επίπεδο, υπερεπίπεδο 4 Επαυξημέα διαύματα ΚΕΦΑΛΑΙΟ 3 - ΜΕΘΟΔΟΙ ΑΝΑΓΝΩΡΙΣΗΣ ΕΚΠΑΙΔΕΥΣΗ ΜΕ ΕΠΟΠΤΗ 3 Ααγώριη με βάη τα κέτρα τω κλάεω 3 Ααγώριη με γραμμικές διακριτικές υαρτήεις 33 Γραμμικοί ταξιομητές 34 Εκπαίδευη γραμμικώ ταξιομητώ δυο κλάεω 34 Η περίπτωη πολλώ κλάεω 34 αξιομητές πολλώ επιπέδω 35 Μη γραμμικοί ταξιομητές ΝΔ Back propagation 36 Δέδρα απόφαης 37 Ταξιομητές με βάη το καόα πιθαοτήτω του Bayes ΚΕΦΑΛΑΙΟ 4 - ΕΚΠΑΙΔΕΥΣΗ ΧΩΡΙΣ ΕΠΟΠΤΗ 4 Προδιοριμός τω υγκετρώεω με τη μέθοδο MAXIMIN 4 Απεικόιη αλυίδας 43 Ο Αλγόριθμος ISODAA ή Κ-Μέω (k-means ή c-means) 44 Νευρωικό δίκτυο αυτο-οργαούμεου πίακα απεικόιης χαρακτηριτικώ ΑΝΑΛΥΣΗ ΧΑΡΑΚΤΗΡΙΣΤΙΚΩΝ 5 Αάλυη χαρακτηριτικώ τη εκπαίδευη με επόπτη 5 Αάλυη χαρακτηριτικώ τη εκπαίδευη χωρίς επόπτη ΠΑΡΑΡΤΗΜΑ Α: ΣΤΟΙΧΕΩΔΕΙΣ ΠΡΑΞΕΙΣ ΓΡΑΜΚΗΣ ΑΛΓΕΒΡΑΣ ΠΑΡΑΡΤΗΜΑ Β : ΠΑΡΑΡΤΗΜΑ Γ : ΤΑ ΙΔΙΟΔΙΑΝΥΣΜΑΤΑ ΤΟΥ ΠΙΝΑΚΑ ΣΥΝΔΙΑΣΠΟΡΑΣ ΠΑΡΑΡΤΗΜΑ Δ: ΕΝΤΟΛΕΣ MALAB & OOLBOX ΔρΧ Στρουθόπουλος, strch@teisergr

3 ΚΕΦΑΛΑΙΟ ΕΙΣΑΓΩΓΗ Η λέξη ααγώριη τη καθομιλουμέη ημαίει τη εύρεη της ταυτότητας εός ότος (πχ αθρώπου, ώου, ατικειμέου, εικόας ήχου, ιδέας, πρόταης κλπ) και χρηιμοποιείται υήθως ότα η ταυτότητα αυτή δε είαι άμεα γωτή Σε τέτοιες περιπτώεις μάλιτα η ααγώριη βαίεται ε ειδικά χαρακτηριτικά του ότος (πχ ο διαρρήκτης ήτα αριτερόχειρας) Με τη λέξη ταυτότητα εοούμε έα ηματικό, μοαδικό ίως χαρακτηριτικό του ότος που το ξεχωρίει από τα υπόλοιπα ή το ετάει ε μια κατηγορία ομοειδώ του (πχ οι πεοί ααγώρια πως το αυτοκίητο που παραβίαε το κόκκιο φωτειό ηματοδότη ήτα πορ, έας από αυτούς κατέγραψε το αριθμό κυκλοφορίας του (ταυτότητα) και η τροχαία ετόπιε, δηλαδή ααγώριε, το παραβάτη) Η ααγώριη είαι μια ικαότητα που έχου κυρίως τα έμβια ότα και αποτελεί βαική λειτουργία της οημούης Οι «οήμοες» μηχαές που θα διαδεχθού τις «έξυπες» θα πρέπει α διαθέτου τη ικαότητα της ααγώριης Έα ο θα το αποκαλούμε το εξής και ως πρότυπο Ααγώριη Προτύπω (Pattern Recognition) είαι ο επιτημοικός κλάδος που αχολείται με τη εύρεη μεθόδω για τη ταξιόμηη (classification) τω ότω (προτύπω) ε κατηγορίες Τις κατηγορίες αυτές θα τις οομάουμε κλάεις ή τάξεις (classes) Έα ύολο ομοίω προτύπω, όχι ααγκατικά παομοιότυπω, ορίει μία ύλληψη (concept) Τα οήμοα έμβια παρατηρού και μαθαίου τα ότα (πρότυπα) του περιβάλλοτος κόμου και δημιουργού γι αυτά υλλήψεις Για παράδειγμα το ύολο τω αλόγω που γωρίατε ας έμαθε τη γεική ύλληψη (ιδέα) άλογο (κάτε υχετιμούς με το κόμο τω ιδεώ του Πλάτωα) Στο χώρο τω γραμμάτω της Ελληικής γλώας υπάρχου 4 υλλήψεις που είαι τα 4 γράμματα της Ελληικής αλφαβήτου Κάθε γράμμα της Ελληικής γλώας που 9

4 γράφτηκε αποτελεί μία πραγματοποίηη ή υμβά (event) μιας από τις 4 υλλήψεις Για παράδειγμα οι μορφές β β β β Β β β β Β δ Δ δ Δ δ δ δ δ αποτελού υμβάτα (πρότυπα) τω υλλήψεω τω γραμμάτω ΒΗΤΑ και ΔΕΛΤΑ Τα πρότυπα αυτά μπορεί α διαφέρου το μέγεθος, τη γραμματοειρά, α είαι κεφαλαία ή μικρά, ή α έχου μικροδιαφορές που δημιουργήθηκα κατά τη τιγμή της εκτύπωης (θόρυβος) Είαι προφαές πως οι υλλήψεις και τα οικεία πρότυπά τους πρέπει α διαθέτου χαρακτηριτικά που α τις διακρίου από άλλες υλλήψεις και πρότυπα Η εύρεη και μέτρηη τέτοιω χαρακτηριτικώ (features) τω προτύπω είαι πρωταρχικής ημαίας για τη περιγραφή και τη ααγώριή τους Η ααγώριη προτύπω από μηχαές μπορεί α ατικατατήει πληθώρα επίποω αθρώπιω εργαιώ, α βελτιώει το εργαιακό περιβάλλο και α αυξήει τη παραγωγικότητα Για παράδειγμα η μετατροπή τυπωμέω εγγράφω ε ηλεκτροική μορφή με κωδικοποίηη κατά ASCII, μπορεί α γίει από το άθρωπο δακτυλογράφο που διαβάει το κείμεο, ααγωρίει τους χαρακτήρες και τους πληκτρολογεί, μπορεί όμως ακόμη α γίει με τη άρωη και ψηφιοποίηη (scanning) του εγγράφου από κατάλληλο πρόγραμμα οπτικής ααγώριης χαρακτήρω (OCR: Optical Character Recofgnition) που θα ααγωρίει τη ψηφιακή μορφή κάθε χαρακτήρα και θα το κωδικοποιεί με το ατίτοιχο κώδικα ASCII Έα ύτημα (αλγόριθμος) που ααγωρίει πρότυπα λέγεται ταξιομητής (classifier) Σε έα ταξιομητή επιτελούται δύο κύριες εργαίες που είαι η εκπαίδευη (training) και η ταξιόμηη Κατά τη εκπαίδευη προδιορίοται οι κλάεις ή οι υγκετρώεις τω προτύπω και ρυθμίοται κατάλληλα οι παράμετροι του υτήματος ταξιόμηης με βάη τις οποίες θα είαι αυτό ικαό α ταξιομήει τα πρότυπα ε ωτές κλάεις Με τη ταξιόμηη αποδίδεται έα πρότυπο ε μία κλάη ή ε μία υγκέτρωη 3

5 Τα πρότυπα που χρηιμοποιούται για τη εκπαίδευη του ταξιομητή αποτελού το ύολο εκπαίδευης (training set) Οι μέθοδοι εκπαίδευης χωρίοται ε δύο βαικές κατηγορίες: Α) Εκπαίδευη με επόπτη (supervised learning) κατά τη οποία είαι γωτή η κλάη τη οποία αήκει κάθε πρότυπο του υόλου εκπαίδευης και επιδιώκεται η ορθή απόδοη τω προτύπω που δε αήκου το ύολο εκπαίδευης, ε μία από τις προκαθοριμέες κλάεις Β) Εκπαίδευη χωρίς επόπτη (unsupervised learning) κατά τη οποία δε είαι γωτή η κλάη τη οποία αήκει κάθε πρότυπο του υόλου εκπαίδευης και ααητούται βαικά οι υγκετρώεις τω προτύπω (clustering) Προτιμότερο είαι η εκπαίδευη εός ταξιομητή α μη εκτελείται μόο μία αρχική φορά, αλλά α επααλαμβάεται ώτε η μηχαή α προαρμόεται τις αλλαγές τω προτύπω που ταξιομεί Οι ταξιομητές είαι ουιατικά το ατικείμεο με το οποίο θα αχοληθούμε περαιτέρω και θα ααλυθού διεξοδικά τα επόμεα κεφάλαια 3

6 ΚΕΦΑΛΑΙΟ ΠΕΡΙΓΡΑΦΗ ΠΡΟΤΥΠΩΝ ΚΑΙ ΟΡΙΣΜΟΙ Θα ααφέρουμε παρακάτω δύο κυρίαρχες μεθόδους περιγραφής τω προτύπω που είαι η διαυματική περιγραφή και η υτακτική περιγραφή Διαυματική περιγραφή Για κάθε πρότυπο μετρούμε έα πεπεραμέο πλήθος χαρακτηριτικώ του (πχ βάρος, χρώμα, ύψος, πλάτος, μήκος) Για έα ποιοτικό χαρακτηριτικό που δε μετριέται άμεα με αριθμητικές τιμές όπως για παράδειγμα το χρώμα, χρηιμοποιούμε κάποια κωδικοποίηη που ατιτοιχεί αριθμούς τις διάφορες μορφές του (πχ για το μαύρο, για το μπλε, για το κόκκιο κλπ) Α Ω είαι έα ύολο που αποτελείται από Κ το πλήθος πρότυπα Π κ, κ=,,3,,κ, δηλαδή Ω={Π, Π, Π 3 Π κ, Π Κ } και μετρούμε Ν το πλήθος κοιά χαρακτηριτικά για κάθε πρότυπο, τότε το Π κ πρότυπο μπορεί α περιγραφεί από έα διάυμα - πίακα τήλης κ ε έα χώρο Ν διατάεω ύμφωα με τη χέη κ κ κ κ κ κ Νκ () κ Νκ Κάθε πρότυπο θεωρείται ξεχωριτό από κάθε άλλο ακόμη και ότα όλες οι τιμές τω ατίτοιχω χαρακτηριτικώ τους είαι ίες Δηλαδή το πρότυπο Π μ είαι άλλο τοιχείο του υόλου Ω, από το πρότυπο Π λ α και μ = λ (μ, λ {,,,Κ}, και Π μ, 3

7 Π λ Ω ) Ως εκ τούτου το Ω είαι ύολο με τη μαθηματική έοια Όλους τους πίακες θα τους υμβολίουμε με παχιά γράμματα ή με υπογράμμιη Α Κ το πλήθος τω προτύπω, Ν το πλήθος τω χαρακτηριτικώ που μετράμε ε κάθε πρότυπο και Τ το πλήθος τω τάξεω, μπορούμε α χρηιμοποιήουμε έα δείκτη κ=,,,κ για κάθε πρότυπο, έα δείκτη =,,,Ν για κάθε χαρακτηριτικό και έα δείκτη τ=,,,τ για κάθε κλάη Ο διαυματικός χώρος τω προτύπω έχει διάταη Ν (πχ Ε Ν ) Για τη τιμή του χαρακτηριτικού του κ προτύπου που αήκει τη κλάη τ γράφουμε Συχά κάποιοι δείκτες δε χρηιμοποιούται ότα έχου προφαή τιμή ή ότα η ααφορά τους δε είαι απαραίτητη Η μαθηματική περιγραφή τω πραγμάτω τη ααγώριη προτύπω γίεται με τη χρήη όρω της γραμμικής άλγεβρας Το διάυμα που περιέχει Ν χαρακτηριτικά εός προτύπου θα θεωρείται πίακας με Ν γραμμές και μία τήλη και θα υμβολίεται N ή χάρι υτομίας ή Συχά θα χρηιμοποιούμε το αάτροφο πίακα Α Τ εός πίακα Α (Παράρτημα Α) Όπου εδείκυται για εξοικοόμηη χώρου το πίακα τήλης εός προτύπου θα το γράφουμε ως πίακα γραμμής =[,,,,, N ] Με βάη το οριμό του πολλαπλαιαμού δύο πιάκω (Παράρτημα Α) η Ευκλέιδια απόταη d E (,y) τω πιάκω τήλης, y δύο προτύπω Π, Π υ δίεται από τη χέη d E (,y) = [(-y) (-y)] / () Α Ν3 τότε μπορούμε α παρατήουμε τα διαύματα τω προτύπω το φυικό χώρο Ακολούθως θα δούμε έα παράδειγμα προτύπω που είαι άτομα για τα οποία μετράμε δύο χαρακτηριτικά που είαι το βάρος και το ύψος Οι τιμές τω χαρακτηριτικώ για όλα τα πρότυπα που μετρήθηκα δείχοται το ακόλουθο πίακα 33

8 Πίακας Π (πρότυπο) Υ (ύψος ε εκ) Β (βάρος ε κιλά) Π Π 85 8 Π3 8 5 Π4 8 8 Π Π6 75 Π7 7 4 Π Π Π 55 6 Π 5 85 Π 5 8 Π Π Τα ατίτοιχα διαύματα τω προτύπω ως πίακες τήλης όπως παρακάτω: 85, 85 85, 8 8 3, 5 8 4, , , 7 7, 4 6 8, (3) ,, Στο Σχ που ακολουθεί φαίοται τα ημεία τέλους τω διαυμάτω που ατιτοιχού ε κάθε πρότυπο 34

9 Σχήμα Έτω ότι επιθυμούμε α κατατάξουμε τα πρότυπα μας ε τάξεις ως εξής: Βαρείς α Β>8, ελαφρούς α Β8, ψηλούς α Υ>7 και κοτούς α Υ7 Παρατηρούμε ότι τα άκρα τω διαυμάτω τω προτύπω υγκετρώοται ε ομάδες Το γεγοός αυτό οφείλεται το ότι τα όμοια πρότυπα γειτιάου επειδή τα ατίτοιχα χαρακτηριτικά τους έχου κοτιότερες τιμές (ομόλογες υτεταγμέες τω αυμάτω τους) ε χέη με τις τιμές τω χαρακτηριτικώ τω άλλω προτύπω Για παράδειγμα η ευκλείδεια απόταη D τω προτύπω Π, Π είαι D ( ) ( ) (85 85) (85 8) 3 (4) και η ευκλείδεια απόταη D 5 τω προτύπω Π, Π 5 είαι D ( ) ( ) (85 78) (85 78) 9 (5) Άρα η απόταη τω αυμάτω τω προτύπω είαι έα μαθηματικό κριτήριο της ιότητας δύο προτύπω Οι ομάδες που χηματίου τα πρότυπα λέγοται υγκετρώεις (clusters) Οι υγκετρώεις δημιουργούται από πρότυπα περίπου ίδια μορφολογικά Στο παράδειγμα μας οι τέερις υγκετρώεις δημιουργήθηκα από άτομα α) με Β> κ β) με Β<7 κ γ) με Υ<8μ και 7<Β< κ και δ) με Υ>8μ και 7κ<Β<κ 35

10 Ο ετοπιμός τω υγκετρώεω (clusters) προτύπω που δημιουργούται το χώρο τω προτύπω είαι ηματικός για τη ααγώριη προτύπω και ααφέρεται ως πρόβλημα εύρεης τω υγετρώεω (clustering) Η ωτή επιλογή τω χαρακτηριτικώ που μετράμε για τα πρότυπα (feature selection) είαι καθοριτικής ημαίας για τη εύρεη τω ομάδω τω προτύπω Συχά εδιαφερόματε για πρότυπα που έχου κάποια ιδιότητα και βρίκοται ε περιότερες από μία ομάδες Για παράδειγμα τα πρότυπα τω ατόμω με ύψος μεγαλύτερο από,7 μ αήκου ε δύο υγκετρώεις Αάλογα υμβαίει και με τα πρότυπα τω πεώ και κεφαλαίω γραμμάτω όπως τω Α, α ή Ω, ω κα Η εύρεη της ομάδας ή τω ομάδω τω προτύπω που έχου μία τελική κοιή χαρακτηριτική ιδιότητα (ταυτότητα: label) αποτελεί τη ταξιόμηη τω προτύπω και οδηγεί τη ααγώριή τους Στη γεική περίπτωη το πρόβλημα της ταξιόμηης είαι δύκολο κυρίως λόγω α)κακής επιλογής τω μετρούμεω χαρακτηριτικώ, β) μεγάλης ποικιλομορφίας τω προτύπω, γ)θορύβου, δ)της αάφειας τω ορίω τω κλάεω το χώρο τω προτύπω Εωτερικό γιόμεο Α δύο πρότυπα Π και Π y περιγράφοται διαυματικά από τα διαύματα (,,,,, Ν ) και y ( y, y,,y,,y Ν ) ή ατίτοιχα από τους πίακες =,,,,,, Ν Τ, και y = y, y,,y,,y N, όπου Ν το πλήθος τω χαρακτηριτικώ τους, το εωτερικό γιόμεό τους ορίεται από τη χέη y y cos y y v yv N y N y Ν y () όπου θ είαι η κυρτή γωία που χηματίου τα δύο διαύματα Α το διάυμα έχει μέτρο (μήκος) ίο με τη μοάδα, το γιόμεο y είαι η ' αλγεβρική τιμή της προβολής y του y επάω τη ευθεία που διέρχεται από το διάυμα (φορέας του ) Ότα η γωία θ τω καιy μικραίει το εωτερικό τους γιόμεο y = Τ y αυξάει και μεγιτοποιείται ότα τα και y βρίκοται τη ίδια ευθεία και έχου τη ίδια φορά (Σχ) 36

11 y y θ θ y θ 3 y y 3 y 3 Σχήμα Αυτό ημαίει ότι τότε ιχύει η χέη y λ, y y y v y Ν y λ όπου λr και λ () Ν Η χέη () είαι χέη ααλογίας και το εωτερικό γιόμεο μπορεί α χρηιμοποιηθεί ως κριτήριο ομοιότητας (όχι υποχρεωτικά ιότητας) δύο προτύπω Παροτρύεται ο ααγώτης α εφαρμόει τα παραπάω το «κόμο» τω τριγώω όπου κάθε τρίγωο περιγράφεται διαυματικά το τριδιάτατο χώρο με υτεταγμέες τα μήκη τω πλευρώ του Υπεθυμίεται ότι κριτήριο ιότητας δύο προτύπω είαι η απόταή τους d(, y) 3 Αποτάεις Εκτός από τη Ευκλείδεια απόταη υπάρχου και άλλοι τύποι αποτάεω ε διαυματικούς χώρους Για α θεωρηθεί απόταη μια χέη d(, y ) θα πρέπει για οποιοδήποτε διάυμα, y, z α ικαοποιούται οι χέεις: d(, y) d(y, ) d(, y) d(, z) d(z, y) d(, y) Α d(, y) y (34) Συήθεις τύποι αποτάεω είαι οι παρακάτω: α) Minkoski τάξης s 37

12 N dμ (, y) y s β) City Block Είαι ειδική περίπτωη της Minkoski με s= d (, y) c Ν y γ) Ευκλείδεια Είαι ειδική περίπτωη της Minkoski για s= d /s / N / ε (, y) ( y ) [( - y) ( - y)] δ) Chebychev d (, y) ma y ε) Mahalanobis d (, y) d (, y) ( - y) R R Cov - ( - y) όπου Cov ο πίακας υμμεταβλητότητάς τω και y (35) (36) (37) (38) (39) τ) Μη γραμμική (Non Linear) d NL O α (, y) d(, y) α d(, y) (3) όπου Η,Τ R παράμετροι της απόταης και d(, y) μια άλλη απόταη του χώρου 4 Ευθεία, επίπεδο, υπερεπίπεδο Η ευθεία του (ε) το Σχ4 χωρίει το επίπεδο ε δύο ημιεπίπεδα κάθε έα τω οποίω περιέχει και μια κλάη Κάθε ημείο της ευθείας είαι το πέρας εός διαύματος (, ) που ικαοποιεί τη εξίωη της ευθείας που είαι c (4) ή d( ) όπου d() και,,, c c (4) 38

13 + A B (ε) Σχ 4 θ Α A και B αήκου τη ευθεία θα ιχύου οι χέεις A +c= και (43) Β +c= (44) από όπου με αφαίρεη κατά μέλη προκύπτει ότι ( A - Β )= (45) Η χέη αυτή δείχει ότι το άυμα είαι κάθετο τη ευθεία (ή το επίπεδο α το αήκει το τριδιάτατο χώρο) Όλα τα ημεία του εός ημιεπιπέδου καθιτού τη d()> και του άλλου ημιεπιπέδου τη d()< Πράγματι, α διάυμα με πέρας το έα ημιεπίπεδο και διάυμα με πέρας το ημείο τομής του με τη ευθεία ιχύει ότι: d( )= +c= (46) d()= ( - +)+c= +c+ (- )= - cosθ (47) Η κυρτή γωία θ[, π/) για τα ημεία του εός ημιεπιπέδου (αυτού που δείχει η φορά του αύματος ) και υεπώς το cosθ έχει θετική τιμή, η γωία θ(π/, π] για το άλλο ημιεπίπεδο και το cosθ έχει αρητική τιμή Συεπώς α d()> το πέρας του βρίκεται το ημιεπίπεδο που δείχει το άυμα εώ α d()< το πέρας του βρίκεται το ατίθετο ημιεπίπεδο 39

14 Ο ίδιο ιχύει και για πολυδιάτατους χώρους οποιαδήποτε διάταης ότα =[, N ] και =[, N ] Δηλαδή α d( Α ) d( Β )< τότε υπάρχει που το άκρο του βρίκεται μεταξύ τω ημείω Α, Β και d()= Απόδειξη: Θεωρώ = A +λ( B- A ), (48) τότε το άκρο του βρίκεται μεταξύ τω ημείω Α, Β α <λ< d()= ( A +λ B- λ A )+c=d( Α )+λ d( Β )-λ d( Α ) (49) άρα λ/(λ-)= d( Α )/d( Β )< (4) επειδή <λ< (4) Είαι επίης προφαές πως α =, τότε η ποότητα d() είαι η προημαμέη απόταη του από τη ευθεία (ε) Η υάρτηη d() λέγεται γραμμική διακριτή υάρτηη και η ταξιόμηη εός προτύπου που περιγράφεται από το πίακα τήλης εξαρτάται από τις χέεις d()< ή d()> Α d()> αήκει τη πρώτη κλάη, α d()< τη δεύτερη και α d()= υπάρχει απροδιοριτία Η εξίωη του μεοκαθέτου υπερεπιπέδου δυο ημείω μ Α μ Β μπορεί α βρεθεί εύκολα ως ακολούθως: Ως κάθετο διάυμα μπορεί α επιλεγεί το μ Α μ Β =μ Α μ Β (4) Το ημείο (μ Α +μ Β )/ αήκει το μεοκάθετο υπερεπίπεδο και ιχύει (43) Τ ( μ μ ) / c άρα μa μ Τ Τ B και c ( μa μa μb μb) (44) ΠΑΡΑΔΕΙΓΜΑ Έτω A = [,] Τ, Β = [,3] Τ Η εξίωη της μεοκαθέτου το ευθύγραμμο τμήμα με άκρα τα άκρα τω, αυμάτω είαι A B Τ 3 όπου 4

15 3 A B [,] [,3] [-,-], [,3] A A B B - 3 ( ) ( 33 ( (4 9)) 6 Άρα η ευθεία δίεται από τη χέη ( ε) d() ( ε) 3 3 -, Επαυξημέα διαύματα Α c= 3, [,, ] και ~ [,,] τότε η χέη (4) γράφεται 3 d( ) ~ (4) Ο πίακας ~ λέγεται επαυξημέος του και η ευθεία δίεται από τη χέη ~ Η χέη (4) d( ) =, με =[,, 3 ] περιγράφει έα επίπεδο (Π) το τριδιάτατο χώρο που διέρχεται από το κέτρο τω αξόω και περιέχει τη ευθεία Όλα τα αύματα τω προτύπω αήκου το επίπεδο (Π ) που είαι κάθετο το άξοα τω 3 και το τέμει τη τιμή έα Στο Σχ4 φαίεται η ευθεία της χέης (4) του προηγούμεου παραδείγματος χεδιαμέη το επίπεδο του Ε με άξοες τους, και η τοποθέτηη του Ε το χώρο Ε 3 τω επαυξημέω αυμάτω Φαίεται επίης το επίπεδο (Π) του επαυξημέου χώρου που δίεται από τη χέη (33) Επαυξημέα διαύματα μπορούμε α θεωρήουμε ε οποιοδήποτε πλήθος διατάεω και α μεταβούμε από το χώρο Ε Ν το χώρο Ε Ν+ 4

16 Χ (,3,) (Π ) (3 (,,) (3,,) (,,) Χ Χ 3 (Π) Σχ4 4

17 ΚΕΦΑΛΑΙΟ 3 ΜΕΘΟΔΟΙ ΑΝΑΓΝΩΡΙΣΗΣ ΕΚΠΑΙΔΕΥΣΗ ΜΕ ΕΠΟΠΤΗ 3 Ααγώριη με βάη τα κέτρα τω τάξεω Είαι μια απλοϊκή μέθοδος ααγώριης με επόπτη ύμφωα με τη οποία κατά τη εκμάθηη υπολογίεται η μέη τιμή της κάθε κλάης (κέτρο της κλάης) Κάθε έο πρότυπο ταξιομείται τη κλάη που το κέτρο της απέχει λιγότερο από το πρότυπο Α Τ το πλήθος τω τάξεω με κέτρα μ t, t=,,,τ το πρότυπο με πίακα αποδίδεται τη κλάη min(d(,μ t t Α ως μετρική χρηιμοποιηθεί η Ευκλείδεια απόταη d E η παραπάω διαδικαία μπορεί α τροποποιηθεί ως εξής: Να ελαχιτοποιηθεί η απόταη του αύματος από το κέτρο μ t της t τάξης ύμφωα με τη ακόλουθη χέη: d Ε (, μ t ( - μ t ( - μ t μ t ( μ Προς τούτο αρκεί α μεγιτοποιηθεί η ποότητα d t () = μ t -5 μ t μ t Άρα το πρότυπο αποδίδεται τη κλάη t ) ma(d ( Α για δύο κλάεις Α,Β υπολογίουμε τη διαφορά τω d Ε (,μ Α ) - d Ε (,μ Β ) προκύπτει ότι d Ε (,μ Α )- d Ε (,μ Β )= (μ Β - μ Α )-(μα- μ j ) (μ k - μ j ) d Ε (, μ - dε(, μ ( μ μ) μ μ t t μ μ Α ( μ μ ) μ μ μ μ τότε η χέη περιγράφει το υπερεπίπεδο που είαι μεοκάθετο το ευθύγραμμο τμήμα με άκρα τα κέτρα τω κλάεω και τα δύο μέρη Η διαδικαία αυτή μπορεί α είαι αποδοτική ότα οι κλάεις έχου τη μορφή υπερφαιρώ με ακτίες μικρότερες της ημιαπόταης τω κέτρω τους (Σχ3) 43

18 ΣΧ 3 (Α) (Β) (Γ) Σχήμα 3 Α) Ορθή ταξιόμηη Β) Εφαλμέη ταξιόμηη λόγω διαφορετικής υμμεταβλητότητας τω κλάεω Συιτάται η χρήη απόταης Mahalanobis Γ) Εφαλμέη ταξιόμηη λόγω μορφολογίας τω κλάεω Η διαδικαία αυτή μπορεί α είαι αποδοτική ότα οι κλάεις έχου τη μορφή υπερφαιρώ με ακτίες μικρότερες της ημιαπόταης τω κέτρω τους 44

19 3 ΑΝΑΓΝΩΡΙΣΗ ΜΕ ΓΡΑΜΜΙΚΕΣ ΔΙΑΚΡΙΤΙΚΕΣ ΣΥΝΑΡΤΗΣΕΙΣ Ο υπολογιμός τω αποτάεω είαι υπολογιτικά δαπαηρός και όπως είδαμε δε εξαφαλίει πάτα ορθά αποτελέματα Μία άλλη προέγγιη υπολογιτικά ταχύτερη και περιότερο αποτελεματική μπορεί α βαιθεί το διαχωριμό τω κλάεω με ευθείες, επίπεδα και γεικά υπερεπίπεδα του χώρου τω προτύπω Ας ξεκιήουμε για λόγους εποπτικούς τη παρουίαη του ητήματος το διδιάτατο χώρο 33 Ταξιομητές Νευρωικά δίκτυα Ο ταξιομητής είαι έα ύτημα ταξιόμηης που χρηιμοποιεί υχά γραμμικές διακριτικές υαρτήεις Οι ταξιομητές αυτοί ααπαρίταται υχά με ομάδες κόμβω ετός τω οποίω υπολογίοται οι ποότητες όπου ο πίακας τω υτελετώ τω γραμμικώ διακριτικώ υαρτήεω και ο πίακας προτύπου που θεωρείται ως είοδος το κόμβο (Σχήμα 33) Ν N Σ f() Σχ33 Όπως φαίεται το χήμα οι υτελετές ημειώοται επί τω γραμμώ που οδηγού από τις ειόδους το κόμβο και οομάοται υάψεις Έας τέτοιος κόμβος οομάεται ευρώας λόγω μιας ομοιότητας του με τα ομώυμα βιολογικά κύτταρα του αθρώπιου εγκεφάλου Συτήματα διαυδεδεμέω ευρώω υθέτου τα λεγόμεα τεχητά ευρωικά δίκτυα (ΤΝΔ), (Artificial Neural Netorks) Διάφοροι τύποι ευρωικώ δικτύω επιτελού χρήιμες εργαίες τη ααγώριη προτύπω Προς το παρό θα αχοληθούμε με ευρωικά δίκτυα που βαίοται ε γραμμικές διακριτικές υαρτήεις Υπάρχου διάφορες παραλλαγές τεχητού τύπου (μοτέλω) ευρώω που βαίοται κυρίως τη διαμόρφωη της 45

20 τελικής τιμής της εξόδου με τη χρήη μίας υάρτηης επί της τιμής = Συήθως, τέτοιες υαρτήεις είαι οι ακόλουθες: Βηματική / (step function /): f ( ) (33) 46

21 Βηματική -/ (step function -/): f ( ) (33) Σιγμοειδής-λογιτική (sigmoid - logistic): f ) e ( (333) Σιγμοειδής-Υπερβολική εφαπτομέη (hyperbolic tangent): e f ( ) tan( ) (334) e Συάρτηη κατωφλίου (threshold function): f ( ) (335) Συάρτηη ράμπας (ramp function) f ( ) (336) Γραμμική υάρτηη (linear function f ( ) (337) Οι υαρτήεις καθιτού τους ευρώες μη γραμμικά υτήματα όπως θα μελετήουμε αργότερα Πρωτοπόροι τη μοτελοποίηη τω φυικώ ευρώω είαι οι Αμερικαοί επιτήμοες McCulloch και Pitts Η εξέλιξη τω τεχητώ ευρωικώ δικτύω υπήρξε ηματική τις τελευταίες μετά από μία περίοδο αδράειας από τη αρχική παρουίαή τους τη επιτημοική κοιότητα Σήμερα αποτελού καιοτόμες προεγγίεις τη επίλυη προβλημάτω με ηματικά πλεοεκτήματα 47

22 34 Εκπαίδευη γραμμικώ ταξιομητώ δυο κλάεω Η εκπαίδευη γραμμικώ ταξιομητώ ή γραμμικώ ευρωικώ δικτύω (Perceptron) είαι μια επααληπτική διαδικαία διόρθωης φάλματος Για τη απλούτερη μαθηματική διατύπωη του μηχαιμού διόρθωης θα θεωρήουμε τους επαυξημέους πίακες τω προτύπω Α δηλαδή ο χώρος τω πιάκω τω N προτύπω έχει Ν διατάεις (E ) Ν+ διατάεις οι χέεις θα γραφού το χώρο N E που έχει Έτω D ( ~ ) ~ γραμμική διακριτική υάρτηη [,,,, ] και ~ N [,] όπου άυμα του υόλου εκπαίδευης και ο επόπτης επιθυμεί ~ A D( ) και ~ B D( ) Αρχικά το έχει τυχαίες τιμές και πιθαότατα η D δε διαχωρίει τις κλάεις Η βαική ιδέα της εκμάθηης είαι η διόρθωη του υπερεπιπέδου D( ~ ) του Ε Ν+, κάθε φορά που κάποιο πρότυπο ταξιομείται εφαλμέα ώτε τελικά α αφήει το πρότυπο προς τη πλευρά τω ορθά ταξιομημέω προτύπω Η διόρθωη αυτή γίεται ύμφωα με τη χέη ~ t t ρ (34) Το πρόημο (+) χρηιμοποιείται ότα ταξιομείται λάθος έα πρότυπο της κλάης Α και (-) της κλάης Β Η ποότητα ρ λέγεται παράμετρος εκμάθηης και παίρει τιμές το διάτημα (,) Ο t είαι έας μετρητής επαάληψης της διαδικαίας εκμάθηης Ο μηχαιμός βαίεται το γεγοός ότι επειδή η ποότητα ρ είαι πάτα θετική, η ~ ) ~ ~ ) ( ρ ~ ( ~ ) ρ ~ D ( ~ t t t Dt μειώει τη εφαλμέη απόταη του προτύπου και οδηγεί επααληπτικά το επιθυμητό αποτέλεμα Η παράμετρος ρ ρυθμίει το βήμα διόρθωης και τη ταχύτητα ύγκλιης Τα παραπάω παρουιάοται ακολούθως βηματικά Βήμα ο : Αρχικοποιήεις: Ορίουμε έα μετρητή επαάληψης t=,,,3, και του αποδίδουμε αρχικά τη τιμή μηδέ Αποδίδουμε τυχαίες (υήθως μικρές θετικές) τιμές το άυμα,,, N, N, δημιουργούμε τα επαυξημέα διαύματα του υόλου 48

23 εκπαίδευης ~ [,] και θεωρούμε τη γραμμική διακριτική υάρτηη D ( ~ ) ~ Ζητούμε ~ A D( ) και ~ B D( ) t t Βήμα ο : Αυξάουμε το μετρητή επαάληψης και επιλέγουμε έα τυχαίο πρότυπο με πίακα ~, από το ύολο εκπαίδευης και υπολογίουμε τη ποότητα D t ( ~ ) Α το πρότυπο είαι ωτά ταξιομημέο επααλαμβάουμε το Βήμα αλλιώς διορθώουμε το το ~ t ταξιομήθηκε ωτά t ρ ~ το ~ (343) t t ταξιομήθηκε λάθος Με (+) α το πρότυπο αήκει τη κλάη Α, με (-) τη κλάη Β Βήμα 3 ο : Αυξάεται η τιμή του t κατά έα και η διαδικαία επααλαμβάεται από το Bήμα εωότου όλα τα πρότυπα α ταξιομηθού ωτά ΠΑΡΑΔΕΙΓΜΑ Έτω τα πρότυπα με έα χαρακτηριτικό ( = [ ]) που χωρίοται ε δύο κλάεις Α, Β και με τιμές A A A [], [8], 3 [ ] B B B B 4 [5], 5 [], 6 [8], 7 [3] Οι πίακες τω προτύπω αήκου το χώρο Ε και απεικοίοται τη ευθεία τω πραγματικώ αριθμώ όπως φαίεται το Σχ 34 A 3 M A A B 5 B 4 B 6 B 7 Έτω =[-3, 5] Σχ34 Στο Σχ34 φαίοται τα άκρα τω επαυξημέω διαυμάτω τω προτύπω και η ~ ευθεία ) ( 49

24 A ~3 + (3 (ε ) (ε 3 ) ~ ~ B ~ B ~ B ~ B M A ~ ~ A Σχ34 Θεωρούμε τη ποότητα D ~ ) ~ ( Επιλέγουμε τυχαία έα πρότυπο έτω το 5 που αήκει τη κλάη Β, δηλαδή = 5 Ιχύει 3 3 ( ~ B ( ~ B D ) D 5 ) - 3, (-3) - 45 Θα πρέπει ως εκ τούτου οι επαυξημέοι πίακες τω προτύπω της κλάης Β α καθιτού τη ( ~ ) και αυτοί της κλάης Α το ( ~ ) Εά αυτό δε ιχύει D t πρέπει το t α διορθώεται ύμφωα με τη χέη (34) Προς τούτο ελέγχουμε τη ποότητα D ( ~ t ) για όλα τα πρότυπα με τυχαία ειρά και τη διορθώουμε μεταβάλλοτας το t+ ότα χρειατεί Συγκεκριμέα για ρ = 4 έχουμε τα ακόλουθα βήματα: D t 5

25 t ~ t D( ~ ) ~ Πρόημο κλάης του ~ Διόρθωη ( ~ ) p ~ t t L ~ A = -5 < ~ B = -35 < - Καμία διόρθωη 8-8 ~ A = 7 < ~ B ~ B < -88+3< - Καμία διόρθωη Καμία διόρθωη ~ A ~ B (-8) (-) +3> < + Καμία διόρθωη Καμία διόρθωη ~ A 7 3 (-8)8 +3> + Καμία διόρθωη ~ B (-8) < - Καμία διόρθωη ~ A > + Καμία διόρθωη 5

26 Κατά τα βήματα για t = 3, 4,,9 έχου προπελαθεί όλα τα πρότυπα και έχου ταξιομηθεί ωτά Συεπώς η εξίωη 8 3 δηλαδή 8 3 διαχωρίει τις δύο κλάεις Στο Σχ8 φαίοται οι ευθείες (ε ), (ε 3 ) για και 3 τις ατίτοιχες φάεις διόρθωης Επειδή τα πρότυπά μας περιγράφηκα με επαυξημέους πίακες η = άρα η χέη 8 3 ορίει τη τελική γραμμική διακριτική υάρτηη D ( ) 8 3 Ακολούθως παρουιάεται η υλοποίηη εός γραμμικού ταξιομητή με τη γλώα προγραμματιμού C, για τη εκμάθηη τω τιμώ της λογικής διάευξης (OR) #include<stdioh> #include<conioh> #define K 4 #define N float [K][N+]={,,,,,,,,,,, }; float _class[k] = {,,, }; float [N+] = {,, -5}; float D, r = ; int k, n; bool error; main() { //---- raining phase do {error = false; for(k = ; k < K; k++) { D = [ k][]*[ ] + [ k][ ]*[ ] + [ k][ ]*[ ]; // printf("=(%+f %+f %+f ",[], [], []); printf("=(%+f, %+f, %+f) ",[k][],[k][],[k][]); printf("d()=%+f, class:%f ",D, _class[ k]); // if( D >= && _class[ k] == ) { []-=r*[k][]; []-=r*[k][]; []-=r*[k][]; error = true; printf("false\n"); } else if(d <= && _class[ k] == ) { []+=r*[k][]; []+=r*[k][]; []+=r*[k][]; error = true; printf("false\n"); } else printf("rue\n"); } }hile(error); printf("d() = %+f %+f %+f\n", [], [], []); } 5

27 Από τη εκτέλεη του προγράμματος προκύπτου τα εδιάμεα τάδια εκπαίδευης και η ευθεία διαχωριμού τω κλάεω =( =(+, +, +) D()=-5, class: rue =( =(+, +, +) D()=-5, class: False =( =(+, +, +) D()=-3, class: False =(+ + - =(+, +, +) D()=+3, class: rue =(+ + - =(+, +, +) D()=-, class: rue =(+ + - =(+, +, +) D()=+, class: rue =(+ + - =(+, +, +) D()=+, class: rue =(+ + - =(+, +, +) D()=+3, class: rue D() = Κατόπι τούτω μπορούμε α παρατήουμε διαγραμματικά τη ταξιόμηη εός έου προτύπου ε μία από τις δύο γραμμικά διαχωρίιμες κλάεις Α, Β, όπως δείχεται το Σχ343 Ν N + Σχ343 Με + α κωδικοποιεί (οομάει) κατά ύμβαη τη κλάη Α κα - τη Β Σε παρόμοιο αλγόριθμο οδηγούματε εά θεωρήουμε το πρόβλημα εύρεης του ως πρόβλημα βελτιτοποίηης (optimization) μιας υάρτηης κότους Κ() Μία τέτοια υάρτηη είαι η N Κ( ) : με ( ) ( ~ ) ~ (347) S Σ N+ Α ( ~ ) B όπου S το ύολο τω διαυμάτω που ταξιομήθηκα λάθος Η υάρτηη Κ() εκφράει ουιατικά το υολικό φάλμα ταξιόμηης και είαι κατά τμήματα

28 γραμμική υάρτηη Η βέλτιτη λύη του προβλήματος είαι η εύρεη τέτοιου ώτε Κ()= Α = είαι μία αρχική τιμή, η βέλτιτη τιμή του μπορεί α προεγγιθεί από το τύπο K ( ) ( ~ ) ~ (348) t t t t ρ t S Ο τύπος αυτός αποτελεί έα γεικό επααληπτικό αλγόριθμο ελαχιτοποίηης της υάρτηης κότους Στο Παράρτημα Γ παρουιάεται Α) έα εργαλείο του MatLab και Β) οι ετολές για τη δημιουργία γραμμικού ταξιομητή 34 Η περίπτωη πολλώ κλάεω Στη περίπτωη που το πλήθος τω κλάεω είαι Μ> δύο τότε θα πρέπει α χρηιμοποιήουμε περιότερους του εός γραμμικούς ταξιομητές Μία περίπτωη είαι α διαχωρίουμε γραμμικά κάθε τάξη από τις υπόλοιπες (εά αυτό είαι εφικτό) με Μ το πλήθος γραμμικές διακριτικές υαρτήεις Α d μ ()= Τ μ +c>, μ= Μ, ότα το αήκει τη κλάη C μ (Σχ 34), τότε έα πρότυπο αήκει τη κλάη της οποίας η γραμμική διακριτική υάρτηη d μ () είαι θετική Στη περίπτωη υλοποίηης με ΝΔ και βηματική έξοδο -/ το άγωτο πρότυπο ταξιομείται τη κλάη που ο ατίτοιχος ευρώας έχει έξοδο Μια τέτοια προέγγιη όπως δείχεται το χήμα 34 είαι δυατό α αποδώει έα πρότυπο ε καμία οι ε πολλές τάξεις C N C C 3 3 N N 3 Σχ 34 Έας άλλος τρόπος ατιμετώπιης του προβλήματος είαι ο διαχωριμός τω κλάεω αά δύο αδιαφορώτας για τις υπόλοιπες Το πρότυπο αποδίδεται ε εκείη τη κλάη που έχει Μ- θετικές τιμές τις διακριτικές υαρτήεις που τη χωρίου από τις υπόλοιπες Η μέθοδος αυτή είαι υπολογιτικά πολύπλοκη τη περίπτωη 54

29 τω πολλώ κλάεω (Σχ34) Τέλος α οι διαχωριτικές επιφάειες είαι όπως το χήμα 343 αποφεύγεται η ύπαρξη διφορούμεω περιοχώ το χώρο τω προτύπω Συδυαμοί γραμμικώ ή κατά τμήματα γραμμικώ ταξιομητώ με τη χρήη διαφόρω υαρτήεω τη έξοδο έχου προταθεί όπως είαι τα ΝΔ ADALINE, MADALINE οι μηχαές επιτροπής (COMMIEE MACHINES) κα Στα υτήματα αυτά δε θα ααφερθούμε εδελεχώς δεδομέου ότι η κετρική ιδέα της λειτουργίας του καλύπτεται από όα ααφέρθηκα μέχρι τώρα Ακολούθως θα περιγράψουμε ταξιομητές που αποτελούται από επίπεδα γραμμικώ ταξιομητώ για τη επίλυη μη γραμμικώ προβλημάτω και θα ετιάουμε το επόμεο κεφάλαιο το ευρωικό δίκτυο backpropagration C 3 3 C C Σχ 34 55

30 d 3 ()>, d ()< 3 d ()>, d 3 ()< d ()>, d ()< Σχ αξιομητές πολλώ επιπέδω Ότα το πρόβλημα της ταξιόμηης αφορά περιότερες από δύο κλάεις ή ότα οι κλάεις δε είαι γραμμικά διαχωρίιμες, είαι δυατό α επιτευχθού λύεις με κατάλληλους υδυαμούς γραμμικώ ταξιομητώ Μια τέτοια χαρακτηριτική περίπτωη είαι αυτή της λογικής πύλης XOR της οποίας ο πίακας αληθείας δείχεται το Πι34 Α Β Α XOR β Πιακας 34 56

31 Σύμφωα με αυτό οι υδυαμοί τω τιμώ τω λογικώ μεταβλητώ α, β αποτελού τέερα πρότυπα που περιγράφοται από τα διαύματα τοιχείω υόλου Ω= { (,), (,), (,), (,) } και η πράξη α XOR β ορίει τις κλάεις Α={(,),(,)} και Β={(,),(,)} Στο Σχ34 φαίοται τα άκρα τω διαυμάτω το Ε Είαι προφαές ότι οι κλάεις Α, Β δε διαχωρίοται με μια ευθεία Ο διαχωριμός τω κλάεω μπορεί α γίει με δύο ευθείες (Σχ35) που ορίου μία ώη το εωτερικό της οποίας βρίκοται τα πρότυπα της κλάης Β Η ευθεία ( ) μπορεί α προδιοριτεί από έα γραμμικό ταξιομητή που θα διαχωρίει το πρότυπο (,) από τα υπόλοιπα Η ευθεία ( ) μπορεί α προδιοριθεί από έα γραμμικό ταξιομητή Τ που θα διαχωρίει το πρότυπο (,) από τα υπόλοιπα Οι έξοδοι τω Τ, Τ θα είαι οι τιμές τω υαρτήεω d (), d () για Ω όπως φαίοται το ακόλουθο πίακα 34 : Α Β d () d () ΚΛΑΣΗ - - Α - + Β - + Β + + Α Πίακας 34 Οι τιμές τω d (), d () προδιορίου τις κλάεις Α και Β αποτελώτας έα έο ύολο προτύπω Φ={(-,-),(-,+),(+,+)} (η περίπτωη (+,-) είαι αδύατη) Στο Σχ34 φαίεται ο χώρος του Φ (ε ) (ε ) Σχ 34 57

32 Η κλάη Α προδιορίεται από το ημείο (-,+) του χώρου Φ που διαχωρίεται γραμμικά με τη ευθεία () από τα διαύματα (-,-),(+,+) που προδιορίου τη κλάη Β Έας γραμμικός ταξιομητής Τ μπορεί α προδιορίει τη Σ αυτό α d Τ ()> A και α d Τ ()< B Το όλο ύτημα φαίεται το Σχ343 Αφήεται α άκηη το ααγώτη ο υπολογιμός τω υαπτικώ βαρώ του ΝΔ του χήματος 343 με γραμμικές διακριτικές υαρτήεις όπως τω ευθειώ τω χημάτω 34, 34 Προέξτε παρατηρώτας το πίακα 34, ότι ο έας ευρώας του κρυφού επιπέδου υλοποιεί τη λογική πράξη OR (α+β) και ο άλλος τη λογική πράξη AND (α β) Ο ευρώας εξόδου υλοποιεί τη πράξη d () d () Σχ 34 α not(35) Σ Σ 3 3 d () d () Σ 3 d() Σχήμα 343 Γραμμικός ταξιομητής-νδ Perceptron δύο επιπέδω Με τη χρήη περιότερω ευρώω παρατεταγμέω ε επίπεδα όπως το Σχ343 δημιουργούμε πολυεπίπεδα δίκτυα perceptron (MLP: Multi Layer Perceptron) που μπορού α διαχωρίου κλάεις μη γραμμικά διαχωρίιμες Τα επίπεδα αάμεα το επίπεδο ειόδου τω τιμώ του αύματος και του επιπέδου 58

33 τω ευρώω εξόδου, οομάοται κρυφά επίπεδα Το ευρωικό δίκτυο του Σχ343 έχει έα κρυφό επίπεδο δύο ευρώω Ο διαχωριμός μη γραμμικά διαχωρίιμω κλάεω με τη χρήη MLP απαιτεί τη παρέμβαη του αθρώπου χεδιατή και δε είαι μια γεική και αυτοματοποιημέη διαδικαία Οι περιότεροι αλγόριθμοι εκπαίδευης βαίοται τη ελαχιτοποίηη μιας κατάλληλης υάρτηης κότους τω υαπτικώ βαρώ Μια τέτοια προέγγιη βαίεται τη κατάβαη ατίθετα από τη κλίη (παράγωγο) της υάρτηης αυτής Η βηματικές υαρτήεις που χρηιμοποιήθηκα μέχρι τώρα δε είαι παραγωγίιμες το μηδέ Άλλες υαρτήεις παραγωγίιμες ε όλο το πεδίο οριμού τους μπορού α χρηιμοποιηθού και α δώου ικαοποιητική λύη όπως θα δούμε το ακοκούθως 35 Μη γραμμικοί ταξιομητές ΝΔ Back error propagation Μία διαφορετική τεχική χεδιαμού εός πολυεπίπεδου perceptron για τη ταξιόμηη μη γραμμικά διαχωριομέω κλάεω βαίεται τη ατικατάταη της υάρτηης d() από μία υεχή και διαφορίιμη υάρτηη f() που τη προεγγίει Υπάρχου διάφορες ααλυτικές μορφές για τη f() με ποιο υηθιμέη τη λεγόμεη λογιτική που δίδεται από το τύπο f ( ), (35) a e Η παράμετρος α λέγεται παράμετρος κλίης (slope) ή λοξότητος, Σχ 35 59

34 8 a= a= Σχήμα 35 Η λογιτική υάρτηη για α= και α=8 Η χρήη της f() διευκολύει τη εφαρμογή μιας τυποποιημέης μεθόδου ελαχιτοποίηης της κατάλληλης υάρτηης κότους Το όλο ΝΔ όπως θα παρουιαθεί και θα ααλυθεί παρακάτω βαίεται τα παραπάω και οομάεται λόγω της μεθόδου εκπαίδευής του, ΝΔ Back error propagation ή για υτομία Back propagation Στο ευρωικό δίκτυο υπάρχου επίπεδα δηλαδή ομάδες ευρώω, πλήρως διαυδεδεμέα μεταξύ τους Σχ35 Η έξοδος κάθε ευρώα εός επιπέδου ειέρχεται ε κάθε ευρώα του επόμεου επιπέδου, με ατίτοιχη ύαψη (βάρος) Σχ35 Οι τιμές του πίακα ειόδου αποτελού το επίπεδο ειόδου Εκτός από το επίπεδο ειόδου υπάρχου Ζ το πλήθος επόμεα διαδοχικά επίπεδα, το τελευταίο τω οποίω οομάεται επίπεδο εξόδου Τα επίπεδα που εδεχομέως υπάρχου μεταξύ τω επιπέδω ειόδου και εξόδου, λέγοται κρυφά επίπεδα Στο Σχ 35 φαίεται 6

35 έα ευρωικό όπου το πρότυπο ειόδου εχει δύο χαρακτηριτικά (, ) που ειέρχοται ε έα κρυφό επίπεδο τριώ ευρώω οι έξοδοι τω οποίω είαι είοδοι εός επόμεου επιπέδου με δύο ευρώες και δύο τελικές εξόδους Για τη αρίθμηη τω επιπέδω θα χρηιμοποιούμε το δείκτη με τιμές =,,Ζ, με = για το επίπεδο ειόδου και =Ζ για το επίπεδο εξόδου Σχ 35 Οομάουμε Ν το πλήθος τω ευρώω εός επιπέδου Ως εκ τούτου το πλήθος τω τοιχείω του πίακα ειόδου είαι Ν και του πίακα εξόδου y είαι Ν Ζ Α είαι δείκτης για αρίθμηη τω ευρώω του επιπέδου, τότε οι υάψεις του υθέτου έα πίακα γραμμής Α μ δείκτης για τη αρίθμηη τω ευρώω του προηγουμέου επιπέδου - που αποτελείται από Ν - ευρώες, τότε [,,,, μ Ν- ] Η έξοδος του αθροιτή του ευρώα θα είαι Η τελική έξοδος του ευρώα, μ y - μ μ y - μ με y - y προκύπτει από τη χέη y f όπου f() κατάλληλη υάρτηη με τη οποία θα αχοληθούμε παρακάτω Στο Σχ 353 φαίεται ααλυτικά η δομή εός ευρώα όπως περιγράφηκε παραπάω Επίπεδο Ειόδου = N Κρυφό Επίπεδο = Πλήθος Νευρώω N Κρυφό Επίπεδο = Πλήθος Νευρώω N Κρυφό Επίπεδο Πλήθος Νευρώω N Επίπεδο Εξόδου, =Ζ Πλήθος Νευρώω N Ζ z y z y z y Σχ35 6

36 y y 3 y 3 3 y 3 3 y Σχ35 y - - y - y Ν - yμ f μ O -οτός ευρώας του επιπέδου y - y N - Σχ463 6

37 Οι τιμές τω εξόδω κάθε επιπέδου είαι οι είοδοι του επόμεου επιπέδου όπως περιγράφτηκε παραπάω ξεκιώτας από το επίπεδο ειόδου και προχωρώτας προοδευτικά μέχρι το επίπεδο εξόδου (forard propagation) Εκπαίδευη back-error propagation Έτω Ι το πλήθος ευγώ από πίακες ειόδου και τω ατίτοιχω επιθυμητώ πιάκω εξόδου με γωτές τιμές, το ύολο εκπαίδευης S ορίεται ως S={( i,y i )/( i,y i ) εύγος με i πίακα τήλης ειόδου και y i το ατίτοιχο επιθυμητό πίακα τήλης εξόδου, i=,,i } Α ο δείκτης αριθμεί τους ευρώες του επιπέδου εξόδου Ζ, =,,Ν Ζ και ο πίακας εξόδου του ΝΔ είαι Z z z z y [ y,, y,, y ] για υγκεκριμέο εύγος ( i,y i ) ορίουμε μία υάρτηη Δ(i) με χρήη της ευκλείδειας απόταης ύμφωα με τη χέη: i D N Z Z y, yi ( y y ) ( ) E i v Η χέη Δ(i) είαι έα άθροιμα τετραγωικώ φαλμάτω μεταξύ της παραγόμεης εξόδου y Z του ΝΔ ότα η είοδος είαι i και της επιθυμητής εξόδου y i Μπορούμε α ορίουμε τώρα τη υάρτηη κότους Κ() που θα έχει αεξάρτητες μεταβλητές όλα τα για το υγκεκριμέο ύολο εκπαίδευης S ύμφωα με τη χέη (, S) Ατιμετωπίοτας τη εύρεη ελάχιτης τιμής της Κ ως πρόβλημα βελτιτοποίηης (optimization) οι τιμή τω χέη I i Δ(i) μπορού α εκτιμηθού επααληπτικά ύμφωα με Κ Δ(i) (35) I ( t ) ( t) ρ ( ) ρ ( t) t ( t) i Σύμφωα με το καόα παραγώγιης της αλυίδας Δ(i) Δ(i) (35) 63

38 64 Ο όρος για όλα τα (για κάθε και >) είαι y y y y (353) Απομέει τώρα ο υπολογιμός του πρώτου όρου του γιομέου, το οποίο οομάουμε ) ( i (354) Θα υπολογίουμε πρώτα το για έα ευρώα του επιπέδου εξόδου (=Ζ, Ν =Ν Ζ ) και δείκτη αρίθμηης τω ευρώω μ=,,ν Ζ ) '( ) ) ( ( ) ) ( ( ) ( ) ) ( ( ) ( Ζ i Ζ μ μi Ζ μ Ζ μ Ζ μ μi Ζ μ Ζ Ζ με f y f y f f y y y i ) '( ) ( Ζ i Ζ f y y (355) Για τα κρυφά επίπεδα (<<Ζ) ο υπολογιμός του είαι περιπλοκότερος, επειδή δε είαι δεδομέη η τιμή της εξόδου y i, κάθε ευρώα Ο υπολογιμός ε κάθε κρυφό επίπεδο θα βαιθεί τις τιμές διόρθωης του επομέου του, αρχίοτας από το επίπεδο που προηγείται του επιπέδου εξόδου και οδεύοτας διαδοχικά προς τα πίω (back-error propagation) Συγκεκριμέα α έα κρυφό επίπεδο, το επόμεό του θα είαι το + Έτω ακόμη μ έας μετρητής αρίθμηης τω ευρώω του επιπέδου και κ έας μετρητής αρίθμηης τω ευρώω του + επιπέδου Η υάρτηη Δ(i) εξαρτάται από τα,,,, και κάθε εξαρτάται από το του -οτού ευρώα του επιπέδου Σύμφωα με το καόα της αλυιδωτής παραγώγιης

39 65 κ μ κμ () κ ' ) ( ) ( f y i i κ ' f (356) Τελικά από τις χέεις (35),(35),(353),(354) υάγεται ότι i y i y t t, - δ ) ( ) ( όπου δίεται από τη χέη (355) ) '( ) ( i f y y ότα ο ευρώας βρίκεται το επίπεδο εξόδου και από τη (356) κ ' f ότα ο ευρώας βρίκεται ε κρυφό επίπεδο ξεκιώτας από το τελευταίο και υποχωρώτας προοδευτικά μέχρι το πρώτο επίπεδο (back-error propagation) Το Back error propagation ΝΔ είαι από τα πλέο χρηιμοποιούμεα ΝΔ και έχει εφαρμοθεί ε πληθώρα εφαρμογώ από διαφορετικές επιτημοικές περιοχές Στα κρυφά επίπεδά του προδιορίοται ουιατικά αυτόματα τα αποτελεματικά χαρακτηριτικά για τη ταξιόμηη Το πλήθος τω κλάεω μπορεί α είαι το ίδιο με αυτό τω αυμάτω ειόδου του υόλου εκπαίδευης και έτι το ΝΔ α προεγγίει έα μεταχηματιμό τω αυμάτω ειόδου τα αύματα εξόδου Το ηματικότερο μειοέκτημα του back propagation είαι χρόος ολοκλήρωης της εκπαίδευης του ή χρόος ύγκλιης, όπως αλλιώς λέγεται Είαι δυατό α χρειαθού εκατοτάδες χιλιάδες επααλήψεις εωότου υγκλίει ακόμη και για χετικά απλές εφαρμογές Σε κάποιες εφαρμογές χρειάθηκα μερικές μέρες για τη ύγκλιη του υτήματος Ο εγκλωβιμός της διαδικαίας ύγκλιης ε τοπικά ελάχιτα της υάρτηης κότους είαι έα επιπρόθετο πρόβλημα που θα ααλύουμε ε ακόλουθη παράγραφο

40 36 Δέδρα απόφαης Τα δέδρα απόφαης (decision trees) αποτελού μια ευρεία κατηγορία τεχικώ μη γραμμικώ ταξιομητώ τη οποία ο χώρος τω χαρακτηριτικώ διαιρείται ε περιοχές που ατιτοιχού τις επιθυμητές κλάεις Η απόφαη της ταξιόμηης εός προτύπου προκύπτει από τις απατήεις ε ερωτήματα που υποβάλλοται ύμφωα με μία δεδρική δομή Θα παρουιάουμε ακολούθως μια ατιπροωπευτική και δημοφιλή τεχική τω δέδρω απόφαης κατά τη οποία ο χώρος χωρίεται ε υπερ-παραλληλόγραμμα Για έα υπό ταξιόμηη πρότυπο κάθε ερώτημα αφορά έα χαρακτηριτικό και είαι της μορφής «ιχύει < t» όπου t κατάλληλη τιμή κατωφλίου Τα δέδρα απόφαης αυτής της μορφής οομάοται υήθη δυαδικά δέδρα ταξιόμηης - ΣΔΔΤ(ordinary binary classification trees - OBC) Η λειτουργία εός ΣΔΔΤ γίεται εύκολα ατιληπτή με έα παράδειγμα δύο χαρακτηριτικώ και κλάεις καταεμημέες όπως το Σχ[ 36] 36 Με απλή γεωμετρική παρατήρηη μπορούμε α οδηγηθούμε το δέδρο απόφαης του Σχ[36] 66

41 Σχήμα 36 Ο οπτικός διαχωριμός βέβαια δε είαι δυατός ε χώρους υψηλότερης του τρία διάταης και ε κάθε περίπτωη η εκτέλεη από Υπολογιτές απαιτεί τη αλγοριθμική και μαθηματικολογική διατύπωη Παρατηρώτας το χώρο τω προτύπω του παραδείγματος και τις ορθογώιες περιοχές που περικλείου τις κλάεις, ε χέη με το ατιτοιχο δέδρο απόφαης διαπιτώουμε ότι ε κάθε κόμβο t τίθεται ως ερώτημα μια υθήκη η ιχύς της οποίας χωρίει έα υπούολο Χ t του χώρου το προτύπω ε δύο μέρη Ο ριικός κόμβος αφορά όλο ύολο εκπαίδευης Η απάτηη του ερωτήματος μπορεί α είαι θετική (Ναι) ή αρητική (Όχι) και από αυτή καθορίοται τα δύο υπούοα Χ tn, Χ to που ικαοποιού τις χέεις X tn XtO Xt XtN XtO Πρέπει ακόμη α καθοριθού τα παρακάτω κριτήρια ώτε: ο διαχωριμός α είαι βέλτιτος α τερματίεται ο διαχωριμός εός κόμβου α ατιτοιχίεται ε έα κόμβο-φύλλο μία κλάη Μια ερώτηη κόμβου είαι της μορφής v >α, όπου v η τιμή του χαρακτηριτικού εός προτύπου και α μια τιμή κατωφλίου Το α μπορεί α πάρει απεριόριτες τιμές το πεδίο μεταβολής του, ε τούτοις α Λ t είαι το πλήθος τω προτύπω που αήκου το Χ t, αρκεί έα πεπεραμέο πληθός τιμώ α λ, λ=,,, Λ t, για α 67

42 διαχωριτεί ο χώρος Η τιμή α λ θα επιλεγεί ώτε α ικαοποιείται το κριτήριο του βέλτιτου διαχωριμού Καθοριμός του κριτηρίου διαχωριμού Ο διαχωριμός του X t πρέπει α είαι τέτοιος ώτε ε έα τουλάχιτο από τα δύο μέρη του α κυριαρχού πληθυμιακά τα πρότυπα μιας μόο κλάης, α είαι δηλαδή «καθαρό» ύμφωα με τη ορολογία τω δυαδικώ δέδρω απόφαης Ως μέτρο της καθαρότητας εός κόμβου μπορεί α χρηιμοποιηθεί η ετροπία (μέη πληροφορία) γωτή από τη θεωρία της πληροφορίας Για έα κόμβο t η ετροπία I(t) δίεται από τη χέη M I( t) P( C t) log P( C t) i i i Όπου P(C i t) η πιθαότητα έα πρότυπο του χώρου X(t) α αήκει τη κλάη C i Υπεθυμίεται ότι log = και ότι I(t) μεγιτοποιείται α οι τιμές P(C i t)είαι ίες μεταξύ τους Οι πιθαότητες P(C i t) εκτιμώται με βάη τα ποοτά Λ i t /Λ t όπου Λ t το πλήθος τω προτύπω του κόμβου και Λ i t το πληθος όω εξ αυτώ αήκου τη κλάη C i Με το διαχωριμό του κόμβου η καθαρότητά του μεταβάλλεται κατά ΔI(t) ύμφωα με τη χέη tn to I() t I() t ( tn) ( to) t t Η ποότητα ΔI(t) υπολογίεται για όλα τα χαρακτηριτικά και τις κατάλληλες τιμές κατωφλίου τω προτύπω που αήκου τους χώρους Χ t, Χ tn, Χ to Ακολούθως επιλέγεται το χαρακτηριτικό και το κατώφλι που μεγιτοποιού τη ΔΙ(t) και προκύπτει το ερώτημα του κόμβου t Καθοριμός του κριτηρίου τερματιμού του διαχωριμού Ο διαχωριμός του χώρου X t, είαι δυατό α τερματίει ότα η μέγιτη τιμή ΔΙ(t) είαι μικρότερη από έα προκαθοριμέο όριο Εαλλακτικά μπορεί α τερματιτεί α ο πληθυμός Λ t είαι αρκετά μικρός ή ότα τα πρότυπα αήκου ε μία κλάη (ΔΙ(t)=) Καθοριμός κριτηρίου ατιτοίχηης μιας κλάης το κόμβο-φύλλο Σύμφωα με τα παραπάω μετά το τερματιμό το κόμβο t αποδίδεται ως όομα το όομα της κλάης τω προτύπω που υπερτερού πληθυμιακά το χώρο X t 37 Ταξιομητές με βάη το καόα πιθαοτήτω του Bayes 68

43 Στις προεγγίεις που παρουιάαμε τα προηγούμεα κεφάλαια δε λάβαμε υπόψη τη πιθαότητα εμφάιης τω προτύπω του υόλου εκπαίδευης Στο κεφάλαιο αυτό θα αχοληθούμε με ταξιομητές που βαίοται αυτή τη πιθαότητα και τη ελαχιτοποίηη του φάλματος ταξιόμηης που προκύπτει από αυτή Θα ξεκιήουμε τη παρουίαη με το πρόβλημα τω δύο κλάεω C, C Στόχος μας αρχικά είαι ο υπολογιμός της πιθαότητας το πρότυπο α αήκει τη κλάη C (ή C ) δεδομέου ότι έχει τη τιμή, δηλαδή α βρούμε τις υπό υθήκη πιθαότητες P(C ) και P(C ) Α P(C ) > P(C ) το πρότυπο αήκει τη κλάη C, διαφορετικά τη C Ακολούθως ααητούμε εκείες της περιοχές του χώρου τω προτύπω για τις οποίες ελαχιτοποιείται το φάλμα ταξιόμηης με βάη τη παραπάω θεώρηη Από το καόα του Bayes ιχύει ότι και [37] Όπου P(C ) και P(C ) οι πιθαότητες το πρότυπο α αήκει τις κλάεις C, C ατίτοιχα και p( C ), p( C ) υαρτήεις πυκότητας πιθαότητας (ππ) για τη γεική περίπτωη που το είαι διαυματική υεχής τυχαία μεταβλητή Για τις ππ θα χρηιμοποιούμε το μικρό p και για τις πιθαότητες κεφαλαίο P Άρα το αήκει τη C α p( C ) P(C ) > p( C ) P(C ), τη C α p( C ) P(C ) < p( C ) P(C ) [37] Στα προηγούμεα ημειώεται ότι oι πιθαότητες P(C ) και P(C ) υπολογίοται προεγγιτικά από τις χέεις P(C ) =Ν /Ν, P(C )=Ν /Ν με Ν, N το πλήθος τω προτύπω, οι ποότητες p( C ), p( C ) θεωρούται γωτές ή εκτιμώται από το ύολο εκπαίδευης Από τη χέη [37] βρίκουμε ακολούθως τις περιοχές R και R που διαχωρίου το χώρο τω προτύπω Για παράδειγμα για δύο κλάεις με P(C ) = 5 και P(C )=75, p( C ), p( C ) καοικές καταομές με μέους όρους μ =, μ =3 και διαπορές =, = οι περιοχές R και R θα είαι όπως το Σχ_ Σχ[] Παρακάτω θα δείξουμε ότι με βάη τα παραπάω το λάθος ταξιόμηης ελαχιτοποιείται Α R η περιοχή που περιλαμβάει τις τιμές του που ταξιομούται τη κλάη C και R η περιοχή που περιλαμβάει τις τιμές του που ταξιομούται τη κλάη C το φάλμα θα 69

44 υμβαίει α το αήκει τη R και το πρότυπο τη κλάη C ή α το αήκει τη R και το πρότυπο τη κλάη C και η πιθαότητα P e α υμβεί θα είαι = (373) Ιχύει ακόμη ότι Από τις χέεις (37) και (37) προκύπτει (374) Που ημαίει ότι το φάλμα ελαχιτοποιείται ότα η περιοχή R είαι τέτοια ώτε το ολοκλήρωμα α είαι θετικό δηλαδή Το αυτό ατίτοιχα ιχύει και για τη R Στη περίπτωη τω πολλώ κλάεω το πρότυπο αήκει τη κλάη C i για τη οποία ιχύει Συαρτήεις διάκριης και διαχωριτικές επιφάειες Στη περίπτωη που απόφαη λαμβάεται με κριτήριο τη ελαχιτοποίηη του φάλματος ταξιόμηης για δύο κλάεις η χέη μπορούμε ύμφωα με τα προηγούμεα α ιχυριτούμε ότι το πρότυπο αήκει τη κλάη K α P(C ) P(C )> διαφορετικά αήκει τη κλάη K Θα παρουιάουμε ακολούθως τη δυατότητα ταξιόμηης του προτύπου μέω του προδιοριμού μιας διαχωριτικής επιφάειας του χώρου που θα ελαχιτοποιεί το φάλμα ταξιόμηης τη περίπτωη που η υάρτηη πυκότητας πιθαότητας (ππ, probability density function, pdf) είαι η καοική καταομή (Gaussian) 7

45 Για μοοδιάτατη τυχαία μεταβλητή η ππ της καοική μεταβλητής δίεται από το τύπο Όπου μ και η μέη τιμή και η διαπορά της καταομής Στη γεική περίπτωη που η τυχαία μεταβλητή είαι διάυμα εός Ν διάτατου χώρου ατίτοιχη ππ δίδεται από τη χέη Όπου μ μέη τιμή και C ό πίακας υδιαποράς της ππ και C η ορίουά του Προοχή η χρήη του υμβόλου C δε ααφέρεται πλέο τη κλάη Κ αλλά το πίακα υδιαποράς Για λόγους γεωμετρικής απεικόιης θα θεωρήουμε τη περίπτωη που η τυχαία μεταβλητή αήκει το διδιάτατο χώρο Ο πίακας υδιαποράς αποτελείται από τις διαπορές και τις ετερουχετίεις τω γραμμώ της διαυματικής μεταβλητής =[, ] και είαι της μορφής Στα ακόλουθα χήματα βλέπουμε τις ππ καοικώ καταομώ για διαφορετικούς πίακες υδιαποράς και μέους όρους 3 Probability Density H ππ καοικής καταομής για 7

46 Probability Density H ππ καοικής καταομής για 3 4 Probability Density H ππ καοικής καταομής για Λόγω της εκθετικής μορφής της ππ της εκθετικής καταομής μπορούμε α χρηιμοποιήουμε για απλούτευη τω υπολογιμώ μία μοότοη λογαριθμική υάρτηη,δηλαδή η πρόταη το αήκει τη C α p( Κ ) P(Κ ) > p( Κ ) P(Κ ), τη Κ α p( Κ ) P(Κ ) < p( Κ ) P(Κ ) διατυπώεται το αήκει τη Κ α g ()> g (), τη Κ α g ()<g () με Και ταθερά ποότητα Γεικά αυτή είαι μια μη γραμμική τετραγωική μορφή Τα ημεία του χώρου για τα οποία 7

47 καθορίου τη περιοχή της κλάης Κ i Στη περίπτωη τω δύο κλάεω η διαχωριτική τους καμπύλη ικαοποιεί τη χέη Για διαφορετικές ππ υαρτήεις απόφαης δύο κλάεω Ακολουθού παραδείγματα για Probability Density Οι ππ για μ =[, ], και μ =[4,], Η διαχωριτική επιφάεια τω κλάεω για ιοπίθαες κλάεις 73

48 ΚΕΦΑΛΑΙΟ 4 ΕΚΠΑΙΔΕΥΣΗ ΧΩΡΙΣ ΕΠΟΠΤΗ ο πρόβλημα του προδιοριμού τω υγκετρώεω τω προτύπω ότα δε είαι γωτό το πλήθος τους και η ταυτότητα τους είαι δύκολο Για τη λύη του προτείοται εδιαφέρουες τεχικές με δομή ή όχι ευρωικού δικτύου Η μέτρηη πολλώ χαρακτηριτικώ και η ποικιλία τω προτύπω είαι βαικοί παράγοτες που επιτείου τη δυκολία του προβλήματος Ακολούθως θα παρουιάουμε τρεις μεθόδους εκπαίδευης χωρίς επόπτη Οι δύο πρώτες είαι απλές διαδικαίες που μπορού α δρομολογηθού για τη επίλυη απλώ προβλημάτω μικρού μεγέθους δεδομέω Η τρίτη είαι μία ιχυρή μέθοδος που βαίεται τη λειτουργία εός ευρωικού δικτύου και μπορεί α αποτελέει βάη για τη χεδίαη ταξιομητώ Η δεύτερη και τρίτη μέθοδος δίου τη δυατότητα εποπτείας ε πολυδιάτατους χώρους που η ααπαράταή τους ε έα ύτημα αξόω είαι αέφικτη 4 Προδιοριμός τω υγκετρώεω με τη μέθοδο MAXIMIN Πρόκειται για μία μέθοδο προδιοριμού του πλήθους και του περιεχομέου τω υγκετρώεω τω προτύπω, εποομαόμεη μέθοδος MAXIMIN και βαίεται τη χρήη τω αποτάεω μεταξύ τω προτύπω Η μέθοδος έχει ως εξής: Θεωρούμε Κ (ΚΝ) το πλήθος τω προτύπω Π κ, κ=,,κ, του υόλου εκπαίδευης S και κ το πίακα του προτύπου Π κ Θεωρούμε το μετρητή κλάεω t (tn) με αρχική τιμή έα (t = ) 74

49 Βήμα ο : Επιλέγουμε έα τυχαίο πρότυπο ορίουμε τη πρώτη κλάη ω t =ω (τ t =,,Κ) και με αυτό τt τ Βήμα ο : Δημιουργούμε το ύολο D τω αποτάεω τω προτύπω του S από το τ D / κ S (4) τ κ Βρίκουμε το πρότυπο τ (τ =,,Κ) που απέχει τη μέγιτη απόταη Μ από το τ κ τ ma(d ) (4) D τ τ ma(d ) (43) Βήμα 3 ο : Αυξάουμε το t κατά έα και ορίουμε τη κλάη ω t με τοιχείο το, ω τ t t τ t Βήμα 4 ο : Ταξιομούμε κάθε Π κ S τις τάξεις ω i, I=,,t με το κριτήριο της ελάχιτης απόταης Δημιουργούμε τα ύολα D i τω αποτάεω τω προτύπω κάθε κλάης ω i από το πρότυπο τ i που όριε τη κλάη D i / Π ω, i,, K (44) τ i κ κ i Βρίκουμε τη μέγιτη απόταη Μ t μεταξύ όλω τω αποτάεω τω D i και το ατίτοιχο πρότυπο Π κ το οποίο οομάουμε t τ t ma Di κ (45) i t M t ma D i (46) i Βήμα 5 ο : Α Μ t / Μ t+ ρ <<, όπου ρ θετικός προκαθοριμέος αριθμός ηματικά μικρότερος της μοάδας, η διαδικαία ταματάει και το τt 75

50 πλήθος τω ομάδω είαι ο αριθμός t Αλλιώς υεχίεται επααληπτικά από το βήμα 3 ΠΑΡΑΔΕΙΓΜΑ ΓΙΑ ΤΗΝ ΜΕΘΟΔΟ MAXIMIN Δίοται οι παρακάτω πίακες προτύπω: = [, 8], = [9, 7], 3 = [, ], 4 = [, 8], 5 = [4, ], 6 = [8, 9] Δίεται η τιμή 4 το (π=4) προς χάρι του παραδείγματος διότι τις πραγματικές εφαρμογές εκλαμβάεται μικρότερη Για απλούτευη της διαδικαίας υπολογίουμε όλες τις αποτάεις (πχ Ευκλείδειες) d κλ, κ,λ {,,3,4,5,6,} μεταξύ τω προτύπω Δεδομέου ότι d κλ = d λκ και d κκ = πρέπει α υπολογίουμε για πλήθος προτύπω Κ = 6, Κ(Κ-)/=5 αποτάεις Οι τιμές τω αποτάεω δίοται από το Πί 4: d 3= 85 d 4= 64 d 5= 85 d 6= 5 d = [ (-9) +(8-7) ] / d 3= 73 d 4= 5 d 5= 6 d 6= 5 d 34= 5 d 35= 9 d 36= 5 d 45= 53 d 46= 37 d 56= 8 Πίακας 4 Το πλήθος προτύπω Κ=6 και ο μετρητής υγκετρώεω t= Επιλέγουμε τυχαία το πρότυπο Π 4, άρα τ =4 και ω ={Π 4 } d, d, d, d, d, d 64, 5, 5,, 53, 37 D Μ = ma ( D ) = 64 = 8, άρα τ = t =, ω = {Π } Όλα τα πρότυπα ταξιομούται τις κλάεις ω, ω με βάη το κριτήριο της ελάχιτης απόταης από τα Π 4 και Π Για διευκόλυη δημιουργούμε το ακόλουθο πίακα 76

51 Π Π 3 Π 5 Π 6 Π 4 ω Π ω Π ω Π 3 ω Π 5 ω Π 6 ω Άρα ω ={Π 3, Π 4, Π 5 }, ω ={Π, Π, Π 6 } d, d d, d ma 5, 53,, 5, 53 d τ 5 M ma M /M = 53 / 64 > p και υεχίουμε από το βήμα 3 t = 3, ω 3 τ3 5 Τα πρότυπα ταξιομούται τις κλάεις ω, ω, ω 3 όπως φαίεται το ακόλουθο πίακα Π Π 3 Π 6 Π 4 ω Π ω 85 5 Π 5 ω Π ω Π 3 ω Π 6 ω Οι κλάεις διαμορφώοται ως εξής: ω ={Π 3, Π 4 }, ω ={Π, Π, Π 6 }, ω 3 ={Π 5 } M 3 άρα τ d d,d ma 5,, 5 ma ή d 43 d 6 Μ 3 /Μ = 5 / 53 =37<ρ υθήκη που οδηγεί το τερματιμό της διαδικαίας και το αποτέλεμα τω τριώ κλάεω ω, ω,ω 3 Στο Σχ 4 απεικοίοται 77

52 τα άκρα τω αυμάτω τω προτύπω, ο οπτικός προδιοριμός τω υγκετρώεω υμφωεί με τα αποτελέματα της διαδικαίας Σχήμα 4 4 Απεικόιη αλυίδας Η απεικόιη αλυίδας (chain map) είαι μία μέθοδος που παρέχει τη εποπτεία της καταομής τω προτύπω ε πολυδιάτατους χώρους και μπορεί α χρηιμοποιηθεί για τη εύρεη του πλήθους και του περιεχομέου τω υγκετρώεω τους Σύμφωα με αυτή δημιουργούμε μία καταομή της απόταης κάθε προτύπου με το γειτοικότερό του Συγκεκριμέα διατρέχουμε όλα τα πρότυπα ξεκιώτας από κάποιο τυχαίο μεταβαίοτας το γειτοικότερό του εξαιρουμέου του προηγουμέου του Θεωρούμε έα δείκτη i, i Ν, που αριθμεί τις μεταβάεις από πρότυπο ε πρότυπο αυξαόμεος κατά έα ξεκιώτας με αρχική τιμή τη μοάδα που ατιτοιχεί τη απόταη του αρχικού τυχαίου προτύπου με το γειτοικότερό του Δημιουργούμε τη ακολουθία α i τω αποτάεω τω προτύπω Οι κορυφές της καταομής που περιγράφει η ακολουθία α i, διαχωρίου το ύολο τω προτύπω ε υπούολα που καθορίου τις υγκετρώεις τους ΠΑΡΑΔΕΙΓΜΑ Έτω τα πρότυπα = [, 8], = [9, 7], 3 = [, ], 4 = [, 8], 5 = [4, ], 6 = [8, 9] που χρηιμοποιήαμε και το παράδειγμα της μεθόδου MAXIMIN 78

53 Επιλέγουμε τυχαία το πρότυπο Π 4 και θέτουμε i= Υπολογίουμε τις αποτάεις τω υπολοίπω προτύπω (δίοται το Πί ) και υπολογίουμε τη μικρότερή τους min{d 4, d 4, d 43, d 45, d 46 } = min{ 64, 5, 5, 53, 37 }= 5 = α άρα γειροικότερο του Π 4 είαι το πρότυπο Π 3 Υπολογίουμε τις αποτάεις τω προτύπω πλη του Π 4, από το Π 3 και βρίκουμε τη μικρότερή τους min{ d 3, d 3, d 35, d 36 } = { 85, 73, 9, 5 } = 5 = α και μεταβαίουμε το Π 6 min{d 6, d 6, d 65 } = { 5, 5, 3 } = 5 = α 3 και μεταβαίουμε το Π min{d, d 5 } = {, 6 } = = α 4 και μεταβαίουμε το Π d 5 = 85 = α 5 d 54 = 9 = α d 43 d 36 d 6 d d 5 d 54 Σχ 4 Οι τιμές της ακολουθίας α i, i=,,6 φαίοται το Σχ4 79

54 Οι υψηλές τιμές ορίου τις ομάδες χαμηλώ τιμώ α) d 43, β) d 6, d Από τη πρώτη υμπαιρέεται ότι ω ={Π 3, Π 4 }, από τή δεύτερη ω ={Π 6, Π, Π } Το απομέο Π 5 ω 3 43 Ο Αλγόριθμος ISODAA ή Κ-Μέω (k-means ή c-means) Ο Αλγόριθμος τω Κ-μέω τιτλοφορείται και ως ISODAA ή αλγόριθμος Lloyd s είαι από τους δημοφιλέτερους αλγορίθμους υταδοποίηης Οι ομοιότητα τω προτύπω περιγράφεται με τη Ευκλείδεια Απόταη Κάθε υγκέτρωη περιγράφεται από έα ημείο-ατιπρόωπο το χώρο τω προτύπω και αυτή αήκου τα πρότυπα που απέχου μικρότερη απόταη από το ατιπρόωπο αυτής υγκριτικά με τους ατιπροώπους τω άλλω υγκετρώεω Ο ατιπρόωπος είαι ο μέος όρος τω προτύπω που αποτελού τη υγκέτρωη, οομάεται και κέτρο της κλάης Ακολούθως ο αλγόριθμος περιγράφεται για προκαθοριμέο πλήθος υγκετρώεω Έτω, - Ι το πλήθος τω προτύπω, Κ το πλήθος το υγκετρώεω, - Ν το πλήθος τω χαρακτηριτικώ, - i E N πίακας τήλης που περιγράφει το i πρότυπο, i= I - c k EN πίακας τήλης που περιγράφει το ατιπρόωπο (κέτρο) της k κλάης, k= K - Β πίακας Ι ε κάθε τοιχείο i του οποίου καταχωρείται η υγκέτρωη που αήκει το i πρότυπο, (πχ b i =k), - t μετρητής επαάληψης Για t= αποδίδοται τυχαίες τιμές τα c k, για κάθε k Επαάληψη Για i από έως I N b min c Τέλος για i i k k v Για κάθε πρότυπο υπολογίοται οι αποτάεις του από τα κέτρα όλω τω κλάεω και καταχωρείται αυτή που έχει κοτιότερο κέτρο 8