6. Ανάλυση χαρακτηριστικών

Transcript

1 ρ Χ Στρουθόπουος ΑΤΕΙ Σερρώ 6 Αάυη χαρακτηριτικώ Μια ηατική εργαία ε έα ύτηα ααγώριης είαι η αάυη τω ετρούεω χαρακτηριτικώ τω προτύπω Με τη αάυη τω χαρακτηριτικώ πετυχαίουε τη αξιοόγηη τους τη επιογή τω καταηότερω για τη ταξιόηη τω προτύπω και τη εάττωη του πήθους τους Για παράδειγα έα χαρακτηριτικό ε κοτιές τιές έα ε κάθε ία κάη και αφώς διαφορετικές τιές εταξύ τω κάεω είαι «καό» χαρακτηριτικό ταξιόηης ε κατάηες εθόδους αάυης χαρακτηριτικώ πορούε α οδηγηθούε και ε έα χαρακτηριτικά που προκύπτου από το γραικό υδυαό τω αρχικώ και είαι καταηότερα από αυτά Ακοούθως θα δούε εθόδους αάυης χαρακτηριτικώ ε υτήατα εκάθηης ε και χωρίς επόπτη 6 Αάυη χαρακτηριτικώ τη εκπαίδευη ε επόπτη Μια ηατική εργαία ε έα ύτηα ααγώριης είαι η επιογή εός ικρού υόου κατάηω χαρακτηριτικώ από έα πού εγαύτερο Η επιογή τω ιχυρώ χαρακτηριτικώ είαι κρίιη για τη αποτεεατικότητα της ταξιόηης Για α εαττωθεί το πήθος τω χαρακτηριτικώ ε τη επιογή εός υόου «καώ» που οδηγού τη ορθή εκτεείται ια διαδικαία αξιοόγηης της ευτάθειας (stability) της διαχωριτικότητας (separability) και της οοιότητας (similarity) τω χαρακτηριτικώ Με το έεγχο της ευτάθειας προδιορίζοται τα χαρακτηριτικά που παρουιάζου ηατικά ταθερή υπεριφορά Υποογίζοται οι έες τιές και οι τυπικές αποκίεις τω χαρακτηριτικώ έα ε κάθε κάη Οι τιές τω τυπικώ αποκίεω καοικοποιούται κατόπι το ίδιο διάτηα διαιρούεες ε τις έες τιές τους Τα χαρακτηριτικά διαιρούται ε τρεις οάδες αάογα ε τη καοικοποιηέη τυπική απόκιή τους * Η πρώτη οάδα περιαβάει τα χαρακτηριτικά υψηής ευτάθειας ε *< Η δεύτερη οάδα περιαβάει τα αταθή χαρακτηριτικά ε <*<9 και η τρίτη τα πού αταθή ε *>9 Ααγώριη προτύπω-ευρωικά δίκτυα 6- Τήα Πηροφορικής & Επικοιωιώ

2 ρ Χ Στρουθόπουος ΑΤΕΙ Σερρώ Για το έεγχο της ικαότητας διαχωριού καθορίζεται ο παράγοτας διαχωριτικότητας (seperability factor) χαρακτηριτικό από τη χέη: l S avg εταξύ δύο κάεω ωi και ω j για κάθε (6) S ( i i ) j + ( j ) i j i j όπου είαι οι έες τιές και οι τυπικές αποκίεις ε κάθε κάη Μεγάη διαχωριτικότητα ηαίει ότι το χαρακτηριτικό έχει εγάη ικαότητα α διαχωρίζει τις δύο κάεις εταξύ τους Για τη αάυη της οοιότητας τω χαρακτηριτικώ εκτιάται ο παράγοτας υχέτιης (correlation factor) για κάθε δύο χαρακτηριτικά και που αήκου τη ίδια τάξη p ύφωα ε τη χέη (6) p Κ Κ p p κ ( κ )( κ ) όπου Κ p είαι το πήθος τω τοιχείω της κάης p κ και κ οι τιές τω χαρακτηριτικώ και οι έες τιές και οι τυπικές αποκίεις τω χαρακτηριτικώ τη τάξη p Ο παράγοτας υχέτιης ετρά τη οοιότητα εταξύ τω δύο χαρακτηριτικώ και παίρει τιές εταξύ και + Μια τιή κοτά το + ή το - ηαίει ότι τα δύο χαρακτηριτικά υχετίζοται πού ή υχετίζοται ατίτροφα ατίτοιχα Μια τιή κοτά το ηδέ δείχει ότι τα χαρακτηριτικά είαι κατά πού αυχέτιτα 6 Αάυη χαρακτηριτικώ τη εκπαίδευη χωρίς επόπτη Η αάυη χαρακτηριτικώ τη εκπαίδευη χωρίς επόπτη πετυχαίεται ε τη έθοδο αάυης κύριω υιτωώ (ΑΚΣ) (PA: Principal omponents Analysis) Η ΑΚΣ είαι έα έο ε το οποίο επιτυγχάεται έας κατάηος εταχηατιός ώτε ο χώρος τω χαρακτηριτικώ α εφαίζει τη εγαύτερη δυατή διαπορά Ειδικά ε τη χρήη του ΑΚΣ ο αρχικός χώρος τω χαρακτηριτικώ Ααγώριη προτύπω-ευρωικά δίκτυα 6- Τήα Πηροφορικής & Επικοιωιώ

3 ρ Χ Στρουθόπουος ΑΤΕΙ Σερρώ εταχηατίζεται ε έα άο χώρο που έχει τη ίδια διάταη ε το αρχικό Ωτόο ο εταχηατιός έχει χεδιατεί ώτε α είαι δυατή η ατιπροώπευη του αρχικού υόου τω χαρακτηριτικώ ε άα ιγότερα και αποτεεατικότερα που διατηρού τη περιότερη πηροφορία τω δεδοέω Συεπώς ε τη χρήη της ΑΚΣ επιτυγχάεται όχι όο η αύξηη της διαποράς τω χαρακτηριτικώ αά και η είωη τω διατάεω Ο εταχηατιός Karhunen- oeve (K) είαι έα γωτό εργαείο τη αάυη ποώ εταβητώ και χρηιοποιείται τη ΑΚΣ Για έα ύοο Κ αυάτω ε -διατάεω χώρο χαρακτηριτικώ έτω ότι κ είαι το διάυα που δείχεται από τη χέη (6) κ κ κ κ Νκ και το άυα έης τιής τω τοιχείω του υόου εκπαίδευης (6) Κ E[ κ] Κ κ κ όπου E[] η αθηατική προδοκία Τις τιές κ - υβοίζουε ε τη διαυατική εταβητή κ - Ο πίακας υδιαποράς όω τω αυάτω του υόου εκπαίδευης δίεται από τη χέη (63) Τ Κ Τ E[ ] ( κ )( κ ) Κ κ Ααγώριη προτύπω-ευρωικά δίκτυα 6-3 Τήα Πηροφορικής & Επικοιωιώ

4 ρ Χ Στρουθόπουος ΑΤΕΙ Σερρώ Ν Ν Ν Ν Ν Ν Ν Κάθε διαγώια τιή του πίακα υδιαποράς εκφράζει τη διαπορά τω αυάτω κ για τη εταβητή-άξοα εώ οι υπόοιπες τη υδιαπορά τω δεδοέω εταξύ δύο διαφορετικώ εταβητώ-αξόω Είαι φαερό πως για τη διαδικαία της ταξιόηης είαι επιθυητές εγάες τιές τω διαγωίω τιώ διότι αρτυρού έα εγάο άπωα (spreading) τω δεδοέω κατά ήκος του κ άξοα εώ είαι επιθυητές ηδεικές τιές για τις υδιαπορές ώτε οι εταβητές - άξοες α είαι εταξύ τους αυχέτιτες Για α επιτύχουε αυτό ααζητούε έα τέτοιο εταχηατιό που θα εκφράζεται από έα πίακα pp ώτε τα διαύατα α έχου πίακα υδιαποράς y y ε τη ακόουθη ορφή: (64) Ν Ν > > > > > y Ακόη ιχύει ότι (65) y E[yy ]E[ ( ) ] E[ Τ ] E[ Τ ] Ααγώριη προτύπω-ευρωικά δίκτυα 6-4 Τήα Πηροφορικής & Επικοιωιώ

5 ρ Χ Στρουθόπουος ΑΤΕΙ Σερρώ Είαι φαερό ότι η τιή είαι η διαπορά του y κατά το άξοα ο οποίος εκφράζεται από τη τήη του πίακα Η γραή είαι αποτεεατικό χαρακτηριτικό εώ η τιή αξιοογεί τη πουδαιότητά του Ο πίακας είαι υετρικός και ο πίακας διαγώιος Η χέη ικαοποιείται από τα ιδιοαύατα και τις ιδιοτιές Ν του πίακα ε [ ] (Παράρτηα Β) Επειδή ο πίακας είαι υετρικός τα ιδιοδιαύατα είαι κάθετα εταξύ τους Οι ιδιοτιές είαι ρίζες του χαρακτηριτικού πουωύου όπως αυτό προκύπτει από τη χέη (66) Det( -Ι) Για κάθε ιδιοτιή το ατίτοιχο ιδιοδιάυα είαι ία από τις άπειρες ύεις του αόριτου υτήατος ( - Ι) Είαι κόπιο α επιέγουε τα οαδιαία ιδιοδιαύατα ( ) Σε περίπτωη που απαιτείται επιπέο είωη του πήθους Ν τω ιδιοδιαυάτω πορούε α επιέξουε τα από αυτά (<) ε τις εγαύτερες ατίτοιχες ιδιοτιές αποδεχόεοι έα έο τετραγωικό φάα (67) Ν ε (m) Μ+ ΠΑΡΑ ΕΙΓΜΑ ( ) /5 6 ( ) / (- 6) + (- 6) + ( - 6) + (4-6) + (5-6) 64 5 (-)(-6) + (-)(-6) + (-)(-6) + (3-)(4-6) + (-)(5-6) 48 5 Ααγώριη προτύπω-ευρωικά δίκτυα 6-5 Τήα Πηροφορικής & Επικοιωιώ

6 ρ Χ Στρουθόπουος ΑΤΕΙ Σερρώ ( -) (-) ( -) (3 -) ( -) det ( I) det ( 64 ) ( 36 ) που είαι το χαρακτηριτικό πουώυο Για 4 4 προκύπτου οι ρίζες που είαι οι ιδιοτιές του Τα ατίτοιχα ιδιοδυαύατα ικαοποιού τις χέεις (68) ( Ι) και (69) ( Ι) Για το θα έχουε ααυτικά από το παραπάω αόριτο ύτηα ύη για α είαι [α α65] Ακόη για α ιχύει α + ( α 65) α ± / άρα έα οαδιαίο ιδιοδιάυα είαι το [8455] Όοια για τη ιδιοτιή προκύπτει [55-84] Τα διαύατα είαι κάθετα εταξύ τους όπως ααεότα Στο Σχ6- φαίεται η ορθότητα της εθόδου Σχήα 6- Ααγώριη προτύπω-ευρωικά δίκτυα 6-6 Τήα Πηροφορικής & Επικοιωιώ

7 ρ Χ Στρουθόπουος ΑΤΕΙ Σερρώ O K είαι ία ααυτική διαδικαία για τη εκτίηη τω ιδιοτιώ και τω ιδιοδιαυάτω από το πίακα υδιαποράς τω δεδοέω Ειδικά εά το πήθος τω διατάεω του χώρου τω αυάτω είαι εγάο ο υποογιός και ο χειριός του πίακα είαι αέφικτος Για το παραπάω όγο ατί του K πορούε α χρηιοποιήουε έα γραικό ευρωικό δίκτυο εός επιπέδου (single-layer linear feed forard neural net) το οποίο επιτεεί τη ΑΚΣ Το δίκτυο αυτό εκπαιδεύεται χωρίς επόπτη (unsupervised) από το γεικευέο αγόριθο του Hebb που βαίζεται το καόα εκάθηης του Hebb Με το αγόριθο αυτό το ευρωικό δίκτυο υγκίει ε πιθαότητα έα τα ιδιοδιαύατα εός πίακα υδιαποράς απεριόριτου εγέθους Ο υποογιός του δε είαι ααγκαίος επειδή τα ιδιοδιαύατα προκύπτου κατευθεία από τα δεδοέα Η εκπαίδευη του ευρωικού δικτύου γίεται ως εξής: Έτω ότι t3 ία εταβητή για τη έτρηη της επαάηψης της διαδικαίας (t) το διάυα ειόδου το ευρωικό δίκτυο τη χροική τιγή t ε υιτώες i (t) i p- m το πήθος τω ευρώω (m p) που ως εκ τούτου είαι και το πήθος τω επιθυητώ κύριω υιτωώ j έας δείκτης που αποδίδεται τους ευρώες j { m-} ji (t) η τιή του βάρους της ύαψης που υδέει το j ευρώα ε τη i είοδο κατά τη επαάηψη t m p (t) ο πίακας τω ji (t) και y(t) το άυα εξόδου του δικτύου κατά τη επαάηψη t ε υιτώες y j (t) Εκτεούται τα ακόουθα βήατα υποογιώ: Βήα Αφαιρείται πρώτα το διάυα της έης τιής από κάθε τοιχείο του υόου εκπαίδευης Με το τρόπο αυτό οι τιές που προκύπτου έχου ηδεικό διάυα έης τιής Βήα Αποδίδοται αρχικά (t) τα βάρη ji () τω υάψεω ικρές τυχαίες τιές και τη παράετρο γ του ρυθού εκπαίδευης ικρή θετική τιή (πχ γ7) Ααγώριη προτύπω-ευρωικά δίκτυα 6-7 Τήα Πηροφορικής & Επικοιωιώ

8 ρ Χ Στρουθόπουος ΑΤΕΙ Σερρώ Βήα 3 Υποογίζεται το διάυα εξόδου y(t) ε υιτώες y j (t) για ip- jm- από τη χέη (68) p yj ( t) ji ( t) i ( t) ή y(t)(t) (t) i και η ποότητα ji (t) από τη χέη j (69) ji ( t) γ y j ( t) i( t) yj( t) ki( t) yk( t) 44 3 k ( α ) ( β ) Ο όρος (α) εκφράζει το από καόα του Hebb που έει ότι εά δύο ευρώες που βρίκοται τα άκρα ιας ύαψης (ύδεης) εεργοποιούται υγχρόως τότε η ιχύς της ύαψης αυξάεται Αιώς εξαθεεί ή εκφυίζεται Ο όρος (β) επιβάει έα όριο τη αύξηη της ύαψης Η τιή του ji (t+) προαρόζεται ύφωα ε τη χέη (6) ji (t+) ji (t)+ ji Βήα 4 Αύξηη της εταβητής t κατά έα και επαάηψη από το βήα 3 έως ότου τα βάρη τω υάψεω ji φθάου τη ταθερή κατάταη Μετά τη φάη της εκπαίδευης τα βάρη ji του j υγκίου τη i υιτώα του ιδιοδιαύατος που ατιτοιχεί τη j ιδιοτιή του πίακα υδιαποράς Με άα όγια οι γραές του πίακα έχου προεγγίει τα πρώτα m ιδιοδιαύατα του ταξιοηέες ε φθίουα ειρά Ααγώριη προτύπω-ευρωικά δίκτυα 6-8 Τήα Πηροφορικής & Επικοιωιώ

9 ρ Χ Στρουθόπουος ΑΤΕΙ Σερρώ ΠΑΡΑΡΤΗΜΑ I Ο αάτροφος πίακα Α Τ εός πίακα Α είαι έας πίακας που έχει ως γραές τις τήες του Α ε ίδιο δείκτη Α ο Α Μ έχει Μ γραές και Ν τήες τότε ο Α Τ θα έχει Ν γραές και Μ τήες Η γραή του Α Τ είαι η τήη του Α και η γραή του η τήη του Α Για παράδειγα α 5 A 3 3 A Ποαπαιαός πιάκω Έτω οι πίακες Α Ν Κ και Β Κ Μ το γιόεό τους είαι έας πίακας Γ Ν Μ για το οποίο γραφουε ΓAB και έχει τοιχεία Γ κ που δίοται από τη χέη Γ Κ Α κ Β κ κ Για παράδειγα α Α και Β 3 3 τότε Α Β Γ ( ) + 5 5( ) ( ) ( 5) 5+ 4( 5) 3+ ( 5) Εξιώεις ευθείας και αιώεις ηιεπιπέδω το Ε Έτω η ευθεία (ε) του χήατος ε εξίωη (Π ) θ (ε ) (Π ) (ε) () d( ) + + ε 3 Ααγώριη προτύπω-ευρωικά δίκτυα 6-9 Τήα Πηροφορικής & Επικοιωιώ

10 ρ Χ Στρουθόπουος ΑΤΕΙ Σερρώ Η (ε) χωρίζει το καρτειαό επίπεδο ε ηιεπίπεδα Η κίη θ της (ε) έχει εφθ - Η (ε) τέει το άξοα το ηείο 3 Α d()d> d()-d d 3 Η εξίωη αυτή δίει τα ηεία της ευθείας (ε ) ε κίη θ που έχει εφθ - εφθ άρα 3 d - 3 ε //εη (ε') τέει το άξοα + d τω το ηείο Α > τότε όα τα ηεία της (ε ) βρίκοται το ηιεπίπεδο (Π ) πάω από το ηείο 3 Για d ( + ) η (ε ) αρώει όο το ηιεπίπεδο (Π ) Άρα η χέη d()> επαηθεύεται από τα ηεία του εός ηιεπιπέδου και η d()< του άου Ααγώριη προτύπω-ευρωικά δίκτυα 6- Τήα Πηροφορικής & Επικοιωιώ

11 ρ Χ Στρουθόπουος ΑΤΕΙ Σερρώ ΠΑΡΑΡΤΗΜΑ II Σε έα υετρικό πίακα ε ιδιοτιές X και ατίτοιχα οαδιαία ιδιοδιαύατα ιχύει ότι ηαδή τα ιδιοδιαύατα είαι κάθετα εταξύ τους Απόδειξη: Επειδή ιδιοτιές και ιδιοδιαύατα ιχύου οι χέεις (B) (A) ( ) (Γ) Υπεθυίζεται ότι (ΑΒ) Τ Β Τ Α Τ Από τις χέεις (Α) (Β) (Γ) υεπάγεται ( ) επειδή έπεται ότι Από τα προηγούεα υεπάγεται ότι για το πίακα [ ] ιχύει ότι [ ] I O O Άρα ατίτροφος του είαι ο Για τα ιδιοδιαύατα του ιχύει εξ οριού ότι [ ] [ ] O όπου O Αφού I Ααγώριη προτύπω-ευρωικά δίκτυα 6- Τήα Πηροφορικής & Επικοιωιώ