Κεφάλαιο 5: Γραμμικές Διακρίνουσες Συναρτήσεις 5.1 Εισαγωγή

Μέγεθος: px
Εμφάνιση ξεκινά από τη σελίδα:

Download "Κεφάλαιο 5: Γραμμικές Διακρίνουσες Συναρτήσεις 5.1 Εισαγωγή"

Transcript

1 Κεφάλαιο 5: Γραμμικές Διακρίνουσες Συναρτήσεις 5. Εισαγωγή Στο τρίτο κεφάλαιο θεωρήθηκε ότι η μορφή των συναρτήσεων πυκνότητας πιθανότητας είναι γνωστή και ότι τα δείγματα εκπαίδευσης χρησιμοποιούνται για τον υπολογισμό των τιμών των άγνωστων παραμέτρων τους. Στο κεφάλαιο αυτό θα υποτεθεί ότι είναι γνωστές οι κατάλληλες μορφές των διακρίνουσων συναρτήσεων και θα χρησιμοποιηθούν τα δείγματα εκπαίδευσης για τον υπολογισμό των παραμέτρων του ταξινομητή. Θα διερευνηθούν διάφορες διαδικασίες προσδιορισμού των διακρίνουσων συναρτήσεων, κάποιες από τι οποίες είναι στατιστικές και κάποιες όχι. Καμία πάντως από αυτές δεν απαιτεί τη γνώση της μορφής των αντίστοιχων συναρτήσεων κατανομής πιθανότητας και υπό αυτή την έννοια μπορούν να θεωρηθούν ως μη παραμετρικές. Σε αυτό το κεφάλαιο θα ασχοληθούμε με διακρίνουσες συναρτήσεις οι οποίες είναι είτε γραμμικές ως προς τα στοιχεία του x είτε γραμμικές ως προς ένα δεδομένο σύνολο συναρτήσεων του x. Οι γραμμικές διακρίνουσες συναρτήσεις έχουν πολλές ευπρόσδεκτες αναλυτικές ιδιότητες. Όπως παρουσιάστηκε στο δεύτερο κεφάλαιο, μπορεί να είναι βέλτιστες εάν οι αντίστοιχες κατανομές είναι συνεργατικές, όπως για παράδειγμα Gaussa με ίδιες διασπορές. Τέτοιου είδους κατανομές μπορούν να προκύψουν μέσα από εύστοχη επιλογή των ανιχνευτών χαρακτηριστικών. Ακόμα όμως και στην περίπτωση όπου δεν είναι βέλτιστες, συνήθως επιλέγονται διότι η απλότητά τους αποτελεί πολύ σημαντικό πλεονέκτημα. Οι γραμμικές διακρίνουσες συναρτήσεις είναι σχετικά απλές στους υπολογισμούς, ενώ οι γραμμικοί ταξινομητές, όταν δεν υπάρχει κάποια συγκεκριμένη εκ των προτέρων γνώση, είναι ελκυστικοί υποψήφιοι για χρήση ως αρχικοί, δοκιμαστικοί ταξινομητές. Το πρόβλημα της εύρεσης μιας γραμμικής διακρίνουσας συνάρτησης θα παρουσιαστεί ως το πρόβλημα της ελαχιστοποίησης μιας συνάρτησης κριτήριο. Η προφανής συνάρτηση κριτήριο για προβλήματα ταξινόμησης είναι το λάθος εκπαίδευσης το μέσο κόστος που οφείλεται στην ταξινόμηση του συνόλου των δειγμάτων εκπαίδευσης. Το κριτήριο αυτό όμως, εάν και φαίνεται ιδιαίτερα ελκυστικό, έχει πολλά προβλήματα. Ο αντικειμενικός μας σκοπός είναι η σωστή ταξινόμηση καινούριων δειγμάτων και ένα μικρό λάθος κατά την εκπαίδευση δεν εγγυάται ένα αντίστοιχα μικρό λάθος κατά τη λειτουργία και τον έλεγχο καινούριων δειγμάτων. Όπως θα δούμε στη συνέχεια, είναι δύσκολο να προκύψει η γραμμική διακρίνουσα συνάρτηση του ελάχιστου ρίσκου, και γι αυτό το λόγο συνήθως αναλύονται διάφορες σχετικών κριτηρίων συναρτήσεις οι οποίες έχουν καλύτερες αναλυτικές ιδιότητες. Ιδιαίτερη προσοχή θα δοθεί στη μελέτη των ιδιοτήτων σύγκλισης και της υπολογιστικής πολυπλοκότητας διαφόρων διαδικασιών κλίσης καθόδου (grade desce) για την ελαχιστοποίηση συναρτήσεων κριτηρίου. 5. Γραμμικές Διακρίνουσες Συναρτήσεις και Επιφάνειες Απόφασης Μια διακρίνουσα συνάρτηση που αποτελεί ένα γραμμικό συνδυασμό των στοιχείων του x μπορεί να γραφεί ως εξής: g ( x ) = w x + w (.) 0

2 όπου το w είναι το διάνυσμα των βαρών και το w 0 είναι το βάρος κατωφλίου. Όπως παρουσιάστηκε στο δεύτερο κεφάλαιο, στη γενική περίπτωση θα υπάρχουν c διαφορετικές διακρίνουσες συναρτήσεις, όπου καθεμιά αντιστοιχεί σε μία από τις c διαφορετικές κατηγορίες. Αρχικά, θα διερευνηθεί η απλούστερη περίπτωση όπου υπάρχουν μόνο δύο κατηγορίες. Εικόνα 5.: Ένας απλός γραμμικός ταξινομητής που έχει d μονάδες εισόδου, καθεμιά από τις οποίες αντιστοιχεί στις τιμή ενός στοιχείου του διανύσματος εισόδου. Κάθε είσοδος (τιμή χαρακτηριστικού) x πολλαπλασιάζεται με το αντίστοιχο βάρος της w. Η συνολική είσοδος του νευρώνα εξόδου είναι το άθροισμα όλων των γινομένων w x. Καθεμιά από τις d μονάδες εισόδου είναι γραμμική δίνοντας στην έξοδό της ακριβώς την αντίστοιχη τιμή της εισόδου της. Η μονάδα εξόδου δίνει a + εάν w x + w 0 > 0 ή a διαφορετικά. 5.. Η Περίπτωση Δύο Κατηγοριών Για μια συνάρτηση της μορφής της εξίσωσης 5., ένας ταξινομητής δύο κατηγοριών υλοποιεί τον ακόλουθο κανόνα απόφασης: Αποφάσισε ω εάν g(x) > 0 και ω εάν g(x) < 0. Έτσι, το x ταξινομείται στην ω εάν το εσωτερικό γινόμενο w x υπερβαίνει το όριο w 0 και στην ω διαφορετικά. Εάν g(x) = 0, το x μπορεί να ταξινομηθεί σε οποιαδήποτε από τις δύο κατηγορίες. Παρ όλ αυτά, στο κεφάλαιο αυτό η περίπτωση αυτή θα αντιμετωπίζεται ως απροσδιόριστη. Στην εικόνα 5. παρουσιάζεται μια τυπική υλοποίηση, ένα ξεκάθαρο παράδειγμα της γενικής δομής ενός συστήματος αναγνώρισης προτύπων. Η εξίσωση g(x) = 0 προσδιορίζει την επιφάνεια απόφασης που διαχωρίζει τα σημεία που ταξινομούνται στην ω από τα σημεία που ταξινομούνται στην ω. Όταν η g(x) είναι γραμμική, η περιοχή απόφασης είναι ένα υπερεπίπεδο. Εάν τα x και x βρίσκονται πάνω στην περιοχή απόφασης, τότε w x + w 0 = w x + w 0 ή w ( x x ) = 0 Αυτό δείχνει ότι το διάνυσμα w είναι κανονικό σε κάθε διάνυσμα που βρίσκεται στο υπερεπίπεδο. Γενικά, το υπερεπίπεδο H διαιρεί το χώρο των χαρακτηριστικών σε δύο υποχώρους: την περιοχή απόφασης R για την ω και την περιοχή απόφασης R για την ω. Επειδή ισχύει g(x) > 0 εάν το x ανήκει στην R, ως αποτέλεσμα το κανονικό διάνυσμα w δείχνει στην R. Πολλές φορές αναφέρεται ότι κάθε x που ανήκει στην R βρίσκεται στη θετική πλευρά του H ενώ κάθε x που ανήκει στην R βρίσκεται στην αρνητική πλευρά του. Η διακρίνουσα συνάρτηση g(x) παρέχει ένα αλγεβρικό μέτρο

3 της απόστασης του x από το υπερεπίπεδο. Ίσως ο πιο απλός τρόπος για να δειχθεί αυτό είναι να εκφραστεί το x με τη μορφή w x = x + p r w όπου το x p είναι η κανονική προβολή του x πάνω στο H και το r είναι η επιθυμητή αλγεβρική απόσταση θετική εάν το x είναι στη θετική πλευρά και αρνητική εάν το x βρίσκεται στην αρνητική πλευρά του H. Άρα, αφού g(x p ) = 0, g x w x + w = r ή ( ) w = 0 g ( x ) r = w Πιο συγκεκριμένα, η απόσταση από την αρχή των αξόνων μέχρι το H δίνεται από το w w. Εάν w 0 > 0, η αρχή των αξόνων βρίσκεται στη θετική πλευρά του H, ενώ 0 Εικόνα 5.: Το γραμμικό όριο απόφασης H, όπου g(x) = w x + w 0 = 0, διαχωρίζει το χώρο των χαρακτηριστικών σε δύο υποχώρους R (όπου g(x) > 0) και R (όπου g(x) < 0). εάν w 0 < 0 είναι στην αρνητική πλευρά. Εάν w 0 = 0, η g(x) παίρνει την ομογενή μορφή w x και το υπερεπίπεδο διέρχεται από την κορυφή των αξόνων. Μια γεωμετρική αναπαράσταση των αλγεβρικών αυτών αποτελεσμάτων φαίνεται στην εικόνα 5.. Συνοψίζοντας, μία γραμμική διακρίνουσα συνάρτηση διαιρεί το χώρο των χαρακτηριστικών με μία επιφάνεια απόφασης που έχει τη μορφή υπερεπίπεδου. Ο προσανατολισμός της επιφάνειας καθορίζεται από το κανονικό διάνυσμα w, ενώ η θέση της επιφάνειας καθορίζεται από το βάρος του κατωφλίου w 0. Η διακρίνουσα συνάρτηση g(x) είναι ανάλογη της προσημασμένης απόστασης του x από το υπερεπίπεδο ενώ ισχύει g(x) > 0 εάν το x είναι στη θετική πλευρά και g(x) < 0 εάν το x βρίσκεται στην αρνητική πλευρά του H.

4 ασαφής περιοχή ασαφής περιοχή Εικόνα 5.3: Γραμμικά όρια απόφασης για ένα πρόβλημα τεσσάρων κατηγοριών. Στο πάνω σχήμα φαίνονται οι ω / όχι ω διχοτομήσεις, ενώ στο κάτω οι ω / ω j διχοτομήσεις με τα αντίστοιχα H j όρια απόφασης Η Περίπτωση Πολλών Κατηγοριών Υπάρχουν πολλοί τρόποι με τους οποίους μπορεί να αντιμετωπιστεί ένα πρόβλημα ταξινόμησης πολλών κατηγοριών όπου οι ταξινομητές χρησιμοποιούν γραμμικές διακρίνουσες συναρτήσεις. Για παράδειγμα, μπορεί να απλοποιηθεί σε c προβλήματα δύο κατηγοριών, όπου το οστό πρόβλημα επιλύεται από τη γραμμική διακρίνουσα συνάρτηση που διαχωρίζει τα σημεία που ταξινομούνται στην ω από αυτά που δεν ταξινομούνται στην ω. Μια άλλη προσέγγιση είναι να χρησιμοποιηθούν c(c )/ γραμμικές διακρίνουσες συναρτήσεις, μία για κάθε ζεύγος κατηγοριών. Όπως φαίνεται στην εικόνα 5.3 και οι δύο αυτές προσεγγίσεις μπορεί να οδηγήσουν σε περιοχές όπου η ταξινόμηση δεν μπορεί να οριστεί. Το πρόβλημα αυτό αντιμετωπίζεται υιοθετώντας την προσέγγιση που έγινε στο δεύτερο κεφάλαιο, δηλαδή ορίζοντας c γραμμικές διακρίνουσες συναρτήσεις g x w x + w,..., (.) ( ) c = 0 = και αναθέτοντας το x στην ω εάν g (x) > g j (x) για κάθε j. Στις περιπτώσεις ισοπαλιών, η ταξινόμηση αφήνεται ως αδιευκρίνιστη. Ο ταξινομητής που προκύπτει καλείται γραμμική μηχανή. Μία γραμμική μηχανή διαιρεί το χώρο των χαρακτηριστικών σε c περιοχές απόφασης, με την g (x) να είναι η μεγαλύτερη διακρίνουσα συνάρτηση εάν το x βρίσκεται στην περιοχή R. Εάν οι περιοχές R και R j είναι όμορες, το όριο ανάμεσά τους είναι ένα μέρος του υπερεπιπέδου H j που ορίζεται από τη σχέση g x = g x ή ( ) ( ) j

5 ( w w ) x + ( w w ) 0 j 0 j 0 = Προκύπτει άμεσα ότι το w w j είναι κανονικό ως προς το H j και η προσημασμένη g x g x w w. Έτσι, σε μια ( j ) j απόσταση από το x προς το H j δίνεται από το ( ) ( ) γραμμική μηχανή αυτό που έχει σημασία δεν είναι τα ίδια τα διανύσματα των βαρών αλλά οι διαφορές τους. Ενώ υπάρχουν c(c )/ ζεύγη περιοχών δεν είναι απαραίτητο να είναι σε όλα οι περιοχές όμορες μεταξύ τους και ως αποτέλεσμα ο συνολικός αριθμός των επιφανειών απόφασης είναι συχνά μικρότερος από c(c )/, όπως φαίνεται και στην εικόνα 5.4. Είναι εύκολο να αποδειχθεί ότι οι περιοχές απόφασης σε μία γραμμική μηχανή είναι κυρτές. Αυτός ο περιορισμός περιορίζει φυσικά την προσαρμοστικότητα και την ακεραιότητα του ταξινομητή. Πιο συγκεκριμένα, κάθε περιοχή απόφασης είναι απλά συνδεδεμένη με αποτέλεσμα μια γραμμική μηχανή να είναι περισσότερο αποτελεσματική για προβλήματα στα οποία οι υπό συνθήκη συναρτήσεις πυκνότητας πιθανότητας p(x/ω ) έχουν μόνο ένα ακρότατο (umodal). Αυτό όμως δεν ισχύει πάντα. Υπάρχουν κατανομές με πολλά ακρότατα (mulmodal) για τις οποίες η χρήση γραμμικών διακρίνουσων συναρτήσεων δίνει εξαιρετικά αποτελέσματα και κατανομές με ένα ακρότατο για τις οποίες δίνει πολύ άσχημα αποτελέσματα ταξινόμησης. Εικόνα 5.4: Όρια απόφασης που δημιουργήθηκαν από μία γραμμική μηχανή για ένα πρόβλημα τριών κατηγοριών και πέντε κατηγοριών αντίστοιχα. 5.3 Γενικευμένες Γραμμικές Διακρίνουσες Συναρτήσεις Η γραμμική διακρίνουσα συνάρτηση g(x) μπορεί να γραφεί ως g d ( x ) = w 0 + = (5.3) όπου οι συντελεστές w αποτελούν τα στοιχεία του διανύσματος των βαρών w. Προσθέτοντας επιπλέον όρους που εμπεριέχουν γινόμενα από ζεύγη στοιχείων του x προκύπτει η τετραγωνική διακρίνουσα συνάρτηση g d w x ( x ) = w 0 + w x + = d d = j = w x x j j (5.4) Επειδή ισχύει x x j = x j x, χωρίς απώλεια της γενικότητας μπορεί κάποιος να θεωρήσει ότι w j = w j. Έτσι, η τετραγωνική διακρίνουσα συνάρτηση έχει επιπλέον d(d + )/ συντελεστές με τους οποίους μπορεί να δημιουργήσει πιο πολύπλοκες επιφάνειες διαχωρισμού. Η επιφάνεια διαχωρισμού που ορίζεται από την g(x) = 0 είναι μία δευτέρου βαθμού ή υπερτετραγωνική επιφάνεια. Εάν ο συμμετρικός πίνακας W =

6 [w j ] δεν είναι μη ομαλός (de(w)=0) οι γραμμικοί όροι της g(x) μπορούν να παραληφθούν με μεταφορά των αξόνων. Το βασικό χαρακτηριστικό της επιφάνειας διαχωρισμού μπορεί να περιγραφεί με όρους του κλιμακωτού πίνακα = W W W w w 4w. Εάν ο W είναι ένα θετικό πολλαπλάσιο του ταυτοτικού ( ) 0 πίνακα, η επιφάνεια διαχωρισμού είναι μία υπερσφαίρα. Εάν ο W είναι θετικά ορισμένος, η επιφάνεια διαχωρισμού είναι ένα υπερελλειψοειδές. Εάν κάποιες από τις ιδιοτιμές του W είναι θετικές και άλλες είναι αρνητικές, η επιφάνεια θα είναι μία από την ποικιλία των διαφορετικών τύπων υπερυπερβολοειδών. Όπως αναφέρθηκε στο δεύτερο κεφάλαιο, αυτές οι επιφάνειες εμφανίζονται στη γενικής μορφής Gaussa περίπτωση πολλών μεταβλητών. Συνεχίζοντας την προσθήκη όρων όπως οι w j x x j x, προκύπτει η κατηγορία των πολυωνυμικών διακρίνουσων συναρτήσεων. Αυτές οι συναρτήσεις μπορούν να θεωρηθούν ως στρογγυλοποιημένες επεκτάσεις σειρών κάποιας αυθαίρετης συνάρτησης g(x), τα οποία με τη σειρά τους υποδηλώνουν τη γενικευμένη γραμμική διακρίνουσα συνάρτηση d ˆ (5.5) g x = α x ( ) ( ) = ή g ( x ) = a (5.6) όπου το a είναι ένα d ˆ διάστατο διάνυσμα βαρών και οι d ˆ συναρτήσεις (x) οι οποίες καλούνται και συναρτήσεις φ μπορούν να είναι οποιεσδήποτε συναρτήσεις του x. Τέτοιας μορφής συναρτήσεις μπορούν να υπολογιστούν από ένα υποσύστημα ανίχνευσης χαρακτηριστικών. Επιλέγοντας αυτές τις συναρτήσεις με συνετό τρόπο και επιτρέποντας στο d ˆ να είναι αρκετά μεγάλο, μπορεί να υπολογιστεί οποιαδήποτε επιθυμητή διακρίνουσα συνάρτηση με μια τέτοια expaso. Η διακρίνουσα συνάρτηση που προκύπτει δεν είναι γραμμική ως προς το x, αλλά είναι γραμμική ως προς το. Οι d ˆ συναρτήσεις (x) κυρίως αντιστοιχούν σημεία από το d διάστατο χώρο των x σε σημεία στο d ˆ διάστατο χώρο των. Η ομογενής διακρίνουσα a διαχωρίζει τα σημεία σε αυτόν τον μετασχηματισμένο χώρο χρησιμοποιώντας ένα υπερεπίπεδο το οποίο διέρχεται από την αρχή των αξόνων. Έτσι, η αντιστοίχηση από το x στο ανάγει το πρόβλημα στην εύρεση μιας ομογενούς γραμμικής διακρίνουσας συνάρτησης.

7 Εικόνα 5.5: Η απεικόνιση = (, x, x ) παίρνει μια γραμμή και τη μετασχηματίζει σε μία παραβολή στον τρισδιάστατο χώρο. Ένα επίπεδο χωρίζει τον προκύπτοντα χώρο σε περιοχές που αντιστοιχούν στις δύο κατηγορίες R και R. Στη συνέχεια θα παρουσιαστούν κάποια από τα σημαντικότερα πλεονεκτήματα και μειονεκτήματα αυτής της προσέγγισης χρησιμοποιώντας ένα απλό παράδειγμα. Έστω ότι η τετραγωνική διακρίνουσα συνάρτηση έχει τη μορφή g ( x ) = α + α x + α 3 x (5.7) έτσι ώστε το τριών διαστάσεων διάνυσμα να δίνεται από τη σχέση = x x (5.8) Η αντιστοίχηση από το x στο παρουσιάζεται στην εικόνα 5.5. Τα δεδομένα παραμένουν εγγενώς μονοδιάστατα, επειδή το μεταβλητό x αναγκάζει το να ιχνηλατεί μία καμπύλη στις τρεις διαστάσεις. Έτσι, ένα πρώτο πράγμα που πρέπει να παρατηρήσει κανείς είναι ότι εάν το x καθορίζεται από ένα πιθανοτικό κανόνα p(x), η προκληθείς συνάρτηση πυκνότητας πιθανότητας p ˆ ( ) θα εκφυλιστεί, θα είναι μηδέν παντού εκτός από την καμπύλη, όπου είναι άπειρη. Αυτό είναι ένα σύνηθες πρόβλημα όταν d ˆ > d και η αντιστοίχηση γίνεται από σημεία ενός χώρου με χαμηλότερη διάσταση σε σημεία ενός χώρου με υψηλότερη διάσταση. Το επίπεδο H ˆ που ορίζεται από την a = 0 διαιρεί τον χώρο των σε δύο περιοχές απόφασης R ˆ και R ˆ. Στην εικόνα 5.6 φαίνεται το επίπεδο που αντιστοιχεί στο a = (,, ), οι περιοχές απόφασης R ˆ και R ˆ, και οι αντίστοιχες περιοχές απόφασης R και R στον αρχικό χώρο των x. Η τετραγωνική διακρίνουσα συνάρτηση g(x) = + x + x είναι θετική εάν x < ή εάν x > 0.5 και επομένως η R είναι πολλαπλά συνδεδεμένη. Έτσι, εάν και οι περιοχές απόφασης στον χώρο των είναι κυρτές, αυτό δε συμβαίνει αντίστοιχα στο χώρο των x. Γενικότερα, ακόμα και όταν οι συναρτήσεις (x) είναι σχετικά απλές, οι επιφάνειες απόφασης duced σε έναν χώρο των x μπορεί να είναι ιδιαίτερα πολύπλοκες.

8 Εικόνα 5.6: Ο δισδιάστατος χώρος εισόδων x απεικονίζεται μέσω της πολυωνυμικής συνάρτησης f στον χώρο. Η απεικόνιση είναι = x, = x και 3 = αx x. Ένας γραμμικός διαχωριστής σε αυτόν τον μετασχηματισμένο χώρο είναι ένα υπερεπίπεδο, το οποίο τέμνει την επιφάνεια. Τα σημεία στη θετική πλευρά του H ˆ αντιστοιχούν στην κατηγορία ω, ενώ αυτά που βρίσκονται στην αρνητική αντιστοιχούν στην κατηγορία ω. Μία πλήρης τετραγωνική διακρίνουσα συνάρτηση περιέχει d ˆ = ( d + )( d + ) όρους. Εάν το d είναι πολύ μεγάλο, π.χ. d=50, απαιτείται ο υπολογισμός πάρα πολλών όρων. Η εισαγωγή κυβικών και γενικότερα διάστατων τμημάτων στο πολυώνυμο οδηγεί σε όρους με O ( d ˆ ) υπολογιστικές απαιτήσεις. Επιπλέον, τα d ˆ στοιχεία του διανύσματος των βαρών a πρέπει να καθοριστούν από τα δείγματα εκπαίδευσης. Εάν το d ˆ αντιμετωπιστεί ως ο αριθμός των βαθμών ελευθερίας για τη διακρίνουσα συνάρτηση, είναι φυσικό να απαιτείται ο αριθμός των δειγμάτων να μην είναι μικρότερος από τον αριθμό των βαθμών ελευθερίας. Προφανώς, μία γενική επέκταση σειράς της g(x) μπορεί να οδηγήσει σε εντελώς μη ρεαλιστικές απαιτήσεις για τους υπολογισμούς και τα δεδομένα. Αυτό το μειονέκτημα μπορεί να αντιμετωπιστεί θέτοντας τον περιορισμό να υπάρχουν μεγάλα κενά ανάμεσα στα πρότυπα εκπαίδευσης. Σε αυτή την περίπτωση, δεν προσπαθούμε να προσεγγίσουμε όλες τις ελεύθερες παραμέτρους. Βασιζόμαστε στη θεώρηση ότι η αντιστοίχηση σε έναν χώρο υψηλότερης διάστασης δεν δημιουργεί spurus δομή ή σχέσεις μεταξύ των σημείων εκπαίδευσης. Μια εναλλακτική προσέγγιση στο πρόβλημα αυτό εφαρμόζεται με τη χρήση Νευρωνικών Δικτύων, τα οποία χρησιμοποιούν πολλά αντίγραφα μιας δεδομένης μη γραμμικής συνάρτησης των χαρακτηριστικών εισόδου. Εάν και είναι σχετικά δύσκολο να συνειδητοποιήσει κανείς τα πιθανά πλεονεκτήματα της χρήσης μιας γενικευμένης γραμμικής διακρίνουσας συνάρτησης, μπορεί τουλάχιστον να εκμεταλλευτεί σε πρώτη φάση τη δυνατότητα να γράψει τη g(x) στην ομογενή μορφή a. Πιο συγκεκριμένα, στην περίπτωση της γραμμικής διακρίνουσας συνάρτησης ισχύει g d d x w x (5.9) = = 0 ( ) = w 0 + w x = όπου το x 0 έχει τεθεί ίσο με. Έτσι, προκύπτει x. = =. x (5.0). x d όπου το καλείται πολλές φορές επαυξημένο διάνυσμα χαρακτηριστικών. Ομοίως, ένα επαυξημένο διάνυσμα βαρών μπορεί να γραφεί ως:

9 w 0 w 0 w. a = =. w. w d (5.) Εικόνα 5.7: Ένας τρισδιάστατος επαυξημένος χώρος χαρακτηριστικών και το επαυξημένο διάνυσμα των βαρών a. Το σύνολο των σημείων για τα οποία a = 0, είναι ένα επίπεδο, (ή πιο γενικά ένα υπερεπίπεδο) κάθετο στο a το οποίο περνά από την αρχή των αξόνων του χώρου. Ένα τέτοιο επίπεδο δεν περνάει υποχρεωτικά από την αρχή των αξόνων του δισδιάστατου χώρου χαρακτηριστικών του προβλήματος. Επομένως, υπάρχει ένα επαυξημένο διάνυσμα βαρών a το οποίο οδηγεί άμεσα σε αποφάσεις στο χώρο x. Αυτή η αντιστοίχηση από το d διάστατο χώρο των x στο (d +) διάστατο χώρο των, εάν και από μαθηματικής πλευράς είναι τετριμμένη, είναι ιδιαίτερα βολική. Η προσθήκη ενός σταθερού όρου στο x αφήνει ανεπηρέαστες όλες τις αποστάσεις μεταξύ των δειγμάτων. Τα διανύσματα του που προκύπτουν βρίσκονται όλα σε ένα d διάστατο υποχώρο, ο οποίος δεν είναι άλλος από τον ίδιο το χώρο των x. Η επιφάνεια απόφασης μορφής υπερεπιπέδου H ˆ που ορίζεται από το a = 0 διέρχεται από την αρχή των αξόνων του χώρου των, εάν και το αντίστοιχο υπερεπίπεδο Η μπορεί να βρίσκεται σε οποιαδήποτε θέση στο χώρο των x. Η απόσταση του από το H ˆ δίνεται από τον τύπο a a ή, η απόσταση g ( x ) a. Επειδή ισχύει a w αυτή είναι μικρότερη ή το πολύ ίση με την απόσταση του x από το Η. Χρησιμοποιώντας αυτή την αντιστοίχηση το πρόβλημα της εύρεσης ενός διανύσματος βαρών w και ένος βάρους κατωφλίου w 0 ανάγεται στην εύρεση ενός μόνο διανύσματος βαρών a (εικόνα 5.7). 5.4 Η Περίπτωση Δύο Γραμμικά Διαχωριζόμενων Κατηγοριών Έστω τώρα ότι υπάρχει ένα σύνολο από δείγματα,...,, κάποια από τα οποία έχουν ετικέτα ω (υποτίθεται δηλαδή ότι ανήκουν στην κατηγορία ω ) ενώ τα

10 υπόλοιπα έχουν ετικέτα ω (υποτίθεται δηλαδή ότι ανήκουν στην κατηγορία ω ). Πρέπει χρησιμοποιώντας τα δείγματα αυτά να καθοριστούν τα βάρη του διανύσματος a μιας γραμμικής διακρίνουσας συνάρτησης g(x) = a. Έστω ότι υπάρχει κάποια ένδειξη ότι υπάρχει μία λύση για την οποία η πιθανότητα του λάθους είναι πολύ χαμηλή. Προφανώς μια λογική προσέγγιση είναι να ψάξει κανείς για ένα διάνυσμα βαρών το οποίο θα ταξινομεί σωστά όλα τα δείγματα. Εάν τελικά βρεθεί ένα τέτοιο διάνυσμα βαρών, τα δείγματα λέγεται ότι είναι γραμμικά διαχωρίσιμα. Ένα δείγμα ταξινομείται σωστά εάν ισχύει a > 0 και το έχει ετικέτα ω ή εάν ισχύει a < 0 και το έχει ετικέτα ω. Αυτή η διαδικασία υποδηλώνει μια κανονικοποίηση, η οποία απλοποιεί την αντιμετώπιση της περίπτωσης των δύο κατηγοριών. Η κανονικοποίηση αυτή δεν είναι τίποτα παραπάνω από την αντικατάσταση όλων των δειγμάτων που έχουν ετικέτα ω από τις αντίθετες τιμές τους. Χρησιμοποιώντας αυτή την κανονικοποίηση κάποιος μπορεί να παραλείψει τις ετικέτες και να περιορίσει την αναζήτησή του σε ένα διάνυσμα a τέτοιο ώστε a > 0 για όλα τα δείγματα. Ένα τέτοιο διάνυσμα καλείται διάνυσμα διαχωρισμού ή πιο γενικά διάνυσμα λύσης Γεωμετρία και Ορολογία Το διάνυσμα των βαρών a μπορεί να θεωρηθεί ως ο καθορισμός ενός σημείου στο χώρο των βαρών. Κάθε δείγμα θέτει ένα περιορισμό στην πιθανή θέση ενός διανύσματος λύσης. Η εξίσωση a = 0 ορίζει ένα υπερεπίπεδο που διέρχεται από την αρχή των αξόνων του χώρου των βαρών έχοντας το ως κανονικό διάνυσμα. Το διάνυσμα λύσης εάν υπάρχει πρέπει να βρίσκεται στη θετική πλευρά κάθε υπερεπιπέδου. Έτσι, ένα διάνυσμα λύσης πρέπει να βρίσκεται στην τομή ημιχώρων. Πράγματι, κάθε διάνυσμα που βρίσκεται σε αυτή την περιοχή αποτελεί ένα διάνυσμα λύσης. Η αντίστοιχη περιοχή καλείται περιοχή λύσεων και δεν πρέπει να τη συγχέει κανείς με την περιοχή απόφασης του χώρου των χαρακτηριστικών που αντιστοιχεί σε κάποια συγκεκριμένη κατηγορία. Στην εικόνα 5.8 μπορεί να δει κανείς ένα παράδειγμα δύο διαστάσεων στο οποίο παρουσιάζεται η περιοχή λύσης τόσο για την κανονικοποιημένη όσο και για την μη κανονικοποιημένη περίπτωση. Από τα παραπάνω, είναι προφανές ότι το διάνυσμα λύσης εάν φυσικά υπάρχει δεν είναι μοναδικό. Υπάρχουν διάφοροι τρόποι για να τεθούν επιπλέον απαιτήσεις οι οποίες να περιορίζουν το διάνυσμα λύση. Ένας τρόπος είναι η αναζήτηση για ένα μοναδιαίου μήκους διάνυσμα βαρών το οποίο μεγιστοποιεί την ελάχιστη απόσταση των δειγμάτων από το επίπεδο διαχωρισμού. Ένας άλλος τρόπος είναι η αναζήτηση για το ελάχιστου μήκους διάνυσμα βαρών που ικανοποιεί την a b για όλα τα, όπου το b είναι μία θετική σταθερά που καλείται όριο (marg). Όπως φαίνεται στην εικόνα 5.9 η περιοχή λύσης που προκύπτει από τις τομές των ημιχώρων για τους οποίους ισχύει a b > 0 εμπεριέχεται στην προηγούμενη περιοχή λύσης, διαφοροποιημένη σε σχέση με τα παλιά όρια κατά μια απόσταση ίση με b.

11 Εικόνα 5.8: Τέσσερα δείγματα εκπαίδευσης και η περιοχή λύσης στο χώρο των χαρακτηριστικών. Το σχήμα στα αριστερά, δείχνει τα αρχικά δεδομένα. Τα διανύσματα της λύσης οδηγούν σε ένα επίπεδο το οποίο χωρίζει τα πρότυπα των δύο κατηγοριών. Στο σχήμα στα δεξιά, τα σημεία της μιας κατηγορίας έχουν «κανονικοποιηθεί», δηλαδή έχει αλλαχτεί το πρόσημό τους. Το διάνυσμα λύσης οδηγεί σε ένα επίπεδο που τοποθετεί όλα τα «κανονικοποιημένα» σημεία στην ίδια πλευρά. Το κίνητρο που βρίσκεται πίσω από τις προσπάθειες για την εύρεση ενός διανύσματος λύσης πλησιέστερου στο μέσον της περιοχής λύσης, είναι η πεποίθηση ότι η λύση που θα προκύψει έχει περισσότερες πιθανότητες να ταξινομεί σωστά νέα δείγματα ελέγχου. Παρ όλ αυτά, στις περισσότερες από τις περιπτώσεις που θα εξεταστούν, θα αρκεί να βρεθεί μία λύση που βρίσκεται αυστηρά μέσα στα όρια της περιοχής λύσης. Αυτό που ενδιαφέρει περισσότερο είναι να αποδειχθεί ότι κάθε επαναληπτική διαδικασία από αυτές που θα χρησιμοποιηθούν δε συγκλίνει σε ένα οριακό σημείο στην περιοχή του ορίου. Το πρόβλημα αυτό μπορεί πάντα να αντιμετωπιστεί με την εισαγωγή ενός ορίου, δηλαδή, απαιτώντας να ισχύει a b > 0 για κάθε.

12 Εικόνα 5.9: Το αποτέλεσμα της χρήσης διαστήματος στο διάνυσμα λύσης. Στο αριστερό σχήμα φαίνεται η περίπτωση όπου δεν υπάρχει διάστημα (b = 0) και αντιστοιχεί στο αριστερό σχήμα της εικόνας 5.8. Στο σχήμα στα δεξιά, φαίνεται η περίπτωση όπου υπάρχει κάποιο διάστημα (b > 0) και η περιοχή λύσης περιορίζεται κατά τα διαστήματα b Διαδικασίες Κλίσης Καθόδου (Grade Desce) Η προσέγγιση που θα ακολουθηθεί για την εύρεση μιας λύσης για το σύνολο των γραμμικών ανισοτήτων a > 0 είναι να οριστεί μία συνάρτηση κριτηρίου J(a) η οποία ελαχιστοποιείται εάν το a αποτελεί ένα διάνυσμα λύσης. Αυτό ανάγει το αρχικό πρόβλημα σε ένα πρόβλημα ελαχιστοποίησης μιας συνάρτησης πρώτου βαθμού πρόβλημα το οποίο μπορεί συχνά να επιλυθεί από μια διαδικασία κλίσης καθόδου. Η βασική διαδικασία κλίσης καθόδου είναι πολύ απλή. Στην αρχή επιλέγεται αυθαίρετα ένα διάνυσμα βαρών a() και υπολογίζεται το διάνυσμα κλίσης J(a()). Η επόμενη τιμή a() υπολογίζεται με μετακίνηση από το a() κατά μία συγκεκριμένη απόσταση στη διεύθυνση της κλίσης καθόδου, δηλαδή κατά μήκος της αρνητικής κλίσης. Γενικότερα, το a( + ) υπολογίζεται από το a() με βάση την εξίσωση a ( + ) = a ( ) η ( ) J ( a ( )) (5.) όπου το η είναι ένας θετικός παράγοντας, ο οποίος καλείται παράμετρος μάθησης και καθορίζει το μέγεθος του βήματος. Τελικός σκοπός είναι αυτή η ακολουθία των διανυσμάτων των βαρών να συγκλίνει σε μία λύση η οποία να ελαχιστοποιεί το J(a). Η μορφή του αλγορίθμου είναι η εξής: Αλγόριθμος : Βασικός Grade Desce αρχή αρχικοποίησε a, κατώφλι θ, η( ), 0 κάνε + 3 a a η() J(a) 4 μέχρι η() J(a) < θ 5 επέστρεψε a 6 τέλος Τα πολλά προβλήματα που σχετίζονται με τις διαδικασίες κλίσης καθόδου είναι λίγο πολύ γνωστά. Ευτυχώς, οι συναρτήσεις που πρέπει να μεγιστοποιηθούν συνήθως επιλέγονται έτσι ώστε να επιτρέπουν την αποφυγή των σημαντικότερων από τα προβλήματα αυτά. Κάτι όμως που θα αποτελεί πάντα σημαντικό πρόβλημα, είναι η επιλογή της τιμής της παραμέτρου μάθησης η(). Εάν η τιμή της η() είναι πολύ μικρή, η σύγκλιση είναι αναίτια πολύ αργή, ενώ εάν η τιμή της είναι πολύ μεγάλη, η διαδικασία διόρθωσης είναι τόσο έντονη ώστε πολλές φορές οδηγεί σε απόκλιση. Στη συνέχεια θα περιγραφεί μία πρωταρχική μέθοδος για τον καθορισμό του ρυθμού μάθησης. Έστω ότι η συνάρτηση κριτηρίου μπορεί να υπολογιστεί ικανοποιητικά από την επέκταση δεύτερου βαθμού γύρω από μία τιμή a() ως εξής: J ( a ) J ( a ( )) + J ( a a ( )) + ( a a ( )) H ( a a ( )) (5.3) όπου το Η είναι ο Hessa πίνακας των δεύτερων μερικών παραγώγων J a a j που αποτιμούνται στο a(). Έπειτα, αντικαθιστώντας το a( + ) από την εξίσωση 5. στην εξίσωση 5.3 προκύπτει

13 J ( a ( + )) J ( a ( )) η ( ) J + η ( ) J H J Από αυτό συνεπάγεται ότι το J(a( + )) μπορεί να ελαχιστοποιηθεί επιλέγοντας J η ( ) = J H J (5.4) όπου το Η εξαρτάται από το a και επομένως έμμεσα και από την τιμή του. Αυτή η τιμή αποτελεί τη βέλτιστη επιλογή για το η() δεδομένων των υποθέσεων που έγιναν. Να σημειωθεί ότι εάν η συνάρτηση κριτηρίου J(a) είναι τετραγωνική μέσα στην περιοχή που ενδιαφέρει, τότε το Η είναι σταθερό και το η είναι μία σταθερά ανεξάρτητη από την τιμή του. Μια εναλλακτική προσέγγιση, που προκύπτει αγνοώντας την εξίσωση 5. και επιλέγοντας το a( + ) για ελαχιστοποίηση της επέκτασης δεύτερου βαθμού, είναι ο αλγόριθμος του Newo. Ο αλγόριθμος αυτός προκύπτει από τον ο αλγόριθμο αντικαθιστώντας την τρίτη γραμμή με το εξής: a ( + ) = a ( ) H J (5.5) γεγονός που οδηγεί στον παρακάτω αλγόριθμο: Αλγόριθμος : Newo Desce αρχή αρχικοποίησε a, κατώφλι θ κάνε 3 a a H J(a) 4 μέχρι H J(a) < θ 5 επέστρεψε a 6 τέλος Στην εικόνα 5.0 συγκρίνεται αλγόριθμος του απλού grade desce και ο αλγόριθμος του Newo. Εικόνα 5.0: Η ακολουθία των διανυσμάτων των βαρών που παράγεται από μία απλή μέθοδο κλίσης καθόδου και από το δευτέρου βαθμού αλγόριθμο του Newo. Η μέθοδος του Newo οδηγεί συνήθως σε μεγαλύτερη βελτίωση ανά βήμα ακόμα και στην περίπτωση όπου χρησιμοποιούνται οι βέλτιστοι ρυθμοί μάθησης για τις δύο μεθόδους. Παρ όλ αυτά, το σημαντικό υπολογιστικό βάρος που προσθέτει ο υπολογισμός του Hessa πίνακα στη μέθοδο του Newo, έχει ως αποτέλεσμα πολλές φορές να επιλέγονται οι μέθοδοι κλίσης καθόδου.

14 Γενικότερα, ο αλγόριθμος του Newo προσφέρει συνήθως μία μεγαλύτερη βελτίωση ανά βήμα σε σχέση με τον απλό αλγόριθμο κλίσης καθόδου, ακόμα και στην περίπτωση όπου το η() έχει τη βέλτιστη τιμή του. Παρ όλ αυτά, ο αλγόριθμος του Newo δεν μπορεί να εφαρμοστεί εάν ο Hessa πίνακας Η είναι μη ομαλός (de(h)=0). Επιπλέον, ακόμα και όταν ο Η δεν είναι sgular, ο Ο(d 3 ) χρόνος που απαιτείται για την αντιστροφή του πίνακα σε κάθε επανάληψη συνηγορεί υπέρ του απλού desce αλγόριθμου. Στην πραγματικότητα, συνήθως απαιτείται λιγότερος χρόνος για να τεθεί το η() σε μία σταθερή τιμή η η οποία είναι μικρότερη από την απαιτούμενη και στη συνέχεια να γίνουν οι απαραίτητες διορθώσεις, σε σχέση με τον υπολογισμό του βέλτιστου η() σε κάθε βήμα. 5.5 Ελαχιστοποιώντας τη Συνάρτηση Κριτηρίου του Αλγόριθμου του Percepro 5. H Συνάρτηση Κριτηρίου του Αλγόριθμου του Percepro Έστω το πρόβλημα της κατασκευής μιας συνάρτησης κριτηρίου για την επίλυση των γραμμικών ανισοτήτων a > 0. Η πιο προφανής επιλογή είναι να οριστεί ως J(a;,..., ) το πλήθος των δειγμάτων που ταξινομούνται λανθασμένα από το a. Παρ όλ αυτά, επειδή η παραπάνω συνάρτηση είναι κατά διαστήματα σταθερή, δεν είναι προφανώς κατάλληλη για αναζήτηση κλίσης. Μία καλύτερη επιλογή είναι η συνάρτηση κριτηρίου του αλγόριθμου του Percepro: J p ( a ) = ( a ) Y (5.6) όπου το Υ(a) είναι το σύνολο των δειγμάτων που ταξινομούνται λανθασμένα από το a. Εάν όλα τα δείγματα ταξινομούνται ορθά, το Yείναι άδειο και το J p τίθεται ίσο με το μηδέν. Επειδή ισχύει a 0 όταν το ταξινομείται λανθασμένα, το Jp(a) δεν γίνεται ποτέ αρνητικό ενώ είναι ίσο με το μηδέν μόνο στην περίπτωση όπου το a είναι ένα διάνυσμα λύσης ή βρίσκεται πάνω στο όριο απόφασης. Από γεωμετρική σκοπιά, το J p (a) είναι ανάλογο με το άθροισμα των αποστάσεων των λανθασμένα ταξινομημένων δειγμάτων από το όριο απόφασης. Στην εικόνα 5. παρουσιάζεται η μορφή του J p για ένα απλό παράδειγμα δύο διαστάσεων.

15 Εικόνα 5.: Τέσσερα κριτήρια ως συνάρτηση των βαρών σε ένα γραμμικό ταξινομητή. Στο πάνω αριστερά σχήμα το κριτήριο είναι ο συνολικός αριθμός των μη σωστά ταξινομημένων προτύπων, ο οποίος είναι κατά διαστήματα σταθερός και επομένως μη αποδεκτός για διαδικασίες κλίσης καθόδου. Στο πάνω δεξιό σχήμα, είναι το κριτήριο του Percepro (εξίσωση 5.6) το οποίο είναι κατά διαστήματα γραμμικό και επομένως αποδεκτό για διαδικασίες κλίσης καθόδου. Το κάτω αριστερά είναι το τετραγωνικό λάθος (εξίσωση 5.3) το οποίο έχει αναλυτικές ιδιότητες και είναι χρήσιμο ακόμα και σε περιπτώσεις όπου τα πρότυπα δεν είναι γραμμικά διαχωρίσιμα. Το κάτω δεξιά σχήμα αντιστοιχεί στο τετραγωνικό λάθος με διάστημα (εξίσωση 5.33). Επειδή το j οστό στοιχείο της κλίσης του J p ισούται με J p a j, από την εξίσωση 5.6 προκύπτει ότι J p = ( ) Y (5.7) και επομένως ο κανόνας ενημέρωσης παίρνει τη μορφή a ( + ) = a ( ) + η ( ) Y (5.8) όπου το Y είναι το σύνολο των δειγμάτων που ταξινομείται λανθασμένα από το a(). Ο αλγόριθμος του Percepro είναι ο εξής: Αλγόριθμος 3: Bach Percepro αρχή αρχικοποίησε a, κριτήριο θ, η( ), 0 κάνε + 3 a a + η() Y 4 μέχρι η() Y < θ

16 5 επέστρεψε a 6 τέλος Επομένως, ο σωρηδόν (bach) αλγόριθμος του Percepro για την εύρεση ενός διανύσματος λύσης μπορεί να περιγραφεί με τον εξής απλό τρόπο: Το επόμενο διάνυσμα των βαρών υπολογίζεται με την προσθήκη κάποιου πολλαπλασίου του αθροίσματος των λανθασμένα ταξινομημένων δειγμάτων στο τρέχον διάνυσμα των βαρών. Ο όρος σωρηδόν χρησιμοποιείται για να δείξει ότι, στη γενική περίπτωση, χρησιμοποιείται ένα μεγάλο σύνολο δειγμάτων για κάθε βήμα υπολογισμού της ενημέρωσης των βαρών. Στην εικόνα 5. φαίνεται ο τρόπος με τον οποίο ο αλγόριθμος καταλήγει σε ένα διάνυσμα λύσης για ένα απλό παράδειγμα δύο διαστάσεων με a() = 0 και η() =. Στη συνέχεια θα αποδειχθεί ότι ο αλγόριθμος του Percepro καταλήγει σε λύση για κάθε γραμμικά διαχωριζόμενο πρόβλημα. Εικόνα 5.: Το κριτήριο του Percepro, J p (a), απεικονίζεται γραφικά ως συνάρτηση των βαρών a και a για ένα πρόβλημα τριών προτύπων. Το διάνυσμα των βαρών ξεκινάει από το 0 και ο αλγόριθμος σειριακά προσθέτει σε αυτό διανύσματα ίσα με τα «κανονικοποιημένα» μη σωστά ταξινομημένα. Στο παράδειγμα, η ακολουθία αυτή είναι η, 3,, 3 μετά την οποία το διάνυσμα βρίσκεται μέσα στην περιοχή λύσης και η επαναλήψεις τερματίζονται Απόδειξη Σύγκλισης για την Μέθοδο Διόρθωσης Ενός Δείγματος Η διερεύνηση των ιδιοτήτων σύγκλισης του αλγόριθμου του Percepro θα γίνει θεωρώντας αρχικά μια παραλλαγή η οποία είναι ευκολότερο να αναλυθεί. Αντί να ελέγχεται το a() σε όλα τα δείγματα και να βασίζεται η διόρθωση στο σύνολο Y των λανθασμένα ταξινομημένων δειγμάτων, τα δείγματα τοποθετούνται σε μία ακολουθία και το διάνυσμα των βαρών διορθώνεται κάθε φορά που ταξινομεί λανθασμένα ένα δείγμα. Για την απόδειξη της σύγκλισης, η φύση της διαδικασίας δεν έχει σημασία, αρκεί όλα δείγματα να εμφανίζονται στην ακολουθία οσοδήποτε συχνά. Ο πιο απλός τρόπος για να σιγουρευτεί αυτό είναι η επανάληψη των δειγμάτων κυκλικά, εάν και η τυχαία επιλογή προτιμάται περισσότερο από πρακτικής πλευράς. Προφανώς, ούτε η σωρηδόν ούτε η ενός δείγματος εκδοχή του αλγόριθμου Percepro είναι o le επειδή και στις δύο απαιτείται η αποθήκευση και η πιθανή επαναχρησιμοποίηση όλων των δειγμάτων εκπαίδευσης. Δύο επιπλέον απλοποιήσεις βοηθούν σημαντικά στην clarf περιγραφή. Αρχικά, η ανάλυση θα περιοριστεί στην περίπτωση όπου το η() είναι σταθερό περίπτωση

17 σταθερής αύξησης. Είναι προφανές από την εξίσωση 5.8 ότι εάν το η() είναι σταθερό, περισσότερο χρησιμεύει για κλιμάκωση των δειγμάτων. Έτσι, στην περίπτωση της σταθερής αύξησης μπορεί χωρίς χάσιμο της γενικότητας να τεθεί η() =. Η δεύτερη απλοποίηση είναι κυρίως θέμα συμβολισμού. Όταν τα δείγματα θεωρούνται σειριακά, κάποια θα ταξινομηθούν λανθασμένα. Επειδή οι αλλαγές γίνονται μόνο στο διάνυσμα των βαρών όταν υπάρχει κάποιο λάθος, στην πραγματικότητα δε χρειάζεται να ασχοληθεί κανείς με τα λανθασμένα ταξινομημένα δείγματα. Έτσι, η ακολουθία των δειγμάτων συμβολίζεται με τη χρήση εκθέτη δηλαδή ως,,...,,..., όπου κάθε είναι κάποιο από τα δείγματα,,..., και είναι λανθασμένα ταξινομημένο. Για παράδειγμα, εάν τα δείγματα, και 3 θεωρούνται κυκλικά και εάν τα παρακάτω σημειωμένα δείγματα,, 3,,, 3,,,... (5.9) είναι λανθασμένα ταξινομημένα, η ακολουθία,, 3, 4, 5,... συμβολίζει την ακολουθία, 3,,,,... Χρησιμοποιώντας τον παραπάνω συμβολισμό, ο κανόνας της σταθερής αύξησης για τη δημιουργία μιας ακολουθίας διανυσμάτων βαρών μπορεί να γραφεί ως a τυχα ί α ( ) ( + ) = a ( ) + a (5.0) όπου a () 0 για όλα τα. Εάν με συμβολιστεί ο συνολικός αριθμός των προτύπων, ο αλγόριθμος έχει την εξής μορφή: Αλγόριθμος 4: Σταθερής Αύξησης Ενός Δείγματος Percepro αρχή αρχικοποίησε a, 0 κάνε ( + ) mod 3 εάν το ταξινομηθεί λάθος από το a τότε a a + 4 μέχρι όλα τα πρότυπα να ταξινομηθούν σωστά 5 επέστρεψε a 6 τέλος Ο κανόνας Percepro σταθερής αύξησης είναι από τους πιο απλούς κανόνες που έχουν προταθεί για την επίλυση συστημάτων γραμμικών ανισώσεων. Από γεωμετρική άποψη, η ερμηνεία του στο χώρο των βαρών είναι ιδιαίτερα προφανής. Επειδή το a() ταξινομεί λανθασμένα το, το a() δε βρίσκεται στη θετική πλευρά του υπερεπιπέδου a = 0. Η πρόσθεση του στο a() μετακινεί το διάνυσμα των βαρών προς και ίσως κατά μήκος αυτού του υπερεπιπέδου. Ανεξάρτητα από το εάν το υπερεπίπεδο μετακινείται κατά μήκος ή όχι, το νέο εσωτερικό γινόμενο a ( + ) είναι μεγαλύτερο από το παλιό εσωτερικό γινόμενο a () κατά την ποσότητα, και επομένως η διόρθωση μετακινεί το διάνυσμα των βαρών προς την καλή κατεύθυνση (εικόνα 5.3).

18 Εικόνα 5.3: Τα δείγματα από δύο κατηγορίες ω και ω απεικονίζονται στον επαυξημένο χώρο των χαρακτηριστικών μαζί με το επαυξημένο διάνυσμα των βαρών a. Σε κάθε βήμα σε έναν κανόνα σταθερής αύξησης, ένα από τα μη σωστά ταξινομημένα πρότυπα,, απεικονίζεται με τη μεγάλη κουκίδα. Μία διόρθωση Δa (ανάλογη με το διάνυσμα ) προστίθεται στο διάνυσμα των βαρών ωθώντας προς ένα ω σημείο ή απομακρύνοντας από ένα ω σημείο. Αυτό αλλάζει το όριο απόφασης από την διακεκομμένη γραμμή στην συνεχή. Προφανώς ο αλγόριθμος μπορεί να τερματιστεί μόνο εάν τα δείγματα είναι γραμμικά διαχωρίσιμα. Στη συνέχεια θα παρουσιαστεί η απόδειξη της σύγκλισης του αλγόριθμου του Percepro υπό αυτή τη συνθήκη. Θεώρημα 5.: Σύγκλιση του Αλγόριθμου του Percepro Εάν τα δείγματα είναι γραμμικά διαχωρίσιμα, τότε η ακολουθία των διανυσμάτων των βαρών που παράγεται από τον 4 ο Αλγόριθμο θα τερματίζεται σε ένα διάνυσμα λύσης. Απόδειξη: Προφάνως θα δειχθει ότι κάθε διόρθωση μετακινεί το διάνυσμα των βαρών πιο κοντά στο διάνυσμα λύσης. Δηλαδή, ότι εάν το a ˆ είναι ένα διάνυσμα λύσης, τότε το a + ˆ είναι μικρότερο από το a ( ) a ˆ. Εάν και αυτό δεν ισχύει γενικότερα ( ) a (βήματα 6 και 7 της εικόνας 5.3), θα δειχθεί ότι είναι πραγματικότητα για διανύσματα λύσης τα οποία έχουν αρκετά μεγάλο μήκος.

19 Έστω ότι με a ˆ συμβολίζεται κάποιο διάνυσμα λύση, τέτοιο ώστε το a ˆ να είναι αυστηρά θετικό για κάθε, και έστω ότι με α συμβολίζεται ένας θετικός βαθμωτός παράγοντας. Από την εξίσωση 5.0 προκύπτει a ( + ) α a ˆ = ( a ( ) α a ˆ ) + και επομένως ( + ) α a ˆ = a ( ) α a ˆ + ( a ( ) α a ˆ ) a + Επειδή το ταξινομήθηκε λανθασμένα, a () 0 και έτσι ( + ) α a ˆ a ( ) α a ˆ ( a ( ) α a ˆ ) a + Επειδή το a ˆ είναι αυστηρά θετικό, ο δεύτερος όρος θα υπερισχύσει του τρίτου εάν το α είναι αρκετά μεγάλο. Πιο συγκεκριμένα, εάν το β είναι το μέγιστο μήκος ενός διανύσματος προτύπων, β = max (5.) και το γ είναι το μικρότερο εσωτερικό γινόμενο του διανύσματος λύσης με οποιοδήποτε διάνυσμα προτύπων, δηλαδή, γ = m [ a ˆ ] > 0 (5.) τότε προκύπτει η ανίσωση Εάν επιλεγεί προκύπτει a ( + ) α a ˆ a ( ) α a ˆ αγ + β a α = β γ ( + ) α a ˆ a ( ) α a ˆ β (5.3) Έτσι, η τετραγωνική απόσταση από το a() στο α a ˆ μειώνεται το λιγότερο κατά β σε κάθε επανάληψη. Μετά από επαναλήψεις προκύπτει a ( + ) α a ˆ a ( ) α a ˆ β (5.4) Επειδή αυτή η τετραγωνική απόσταση δεν μπορεί να γίνει αρνητική, οι διορθώσεις πρέπει να ολοκληρώνονται μετά από 0 διορθώσεις, όπου a ( ) αa ˆ 0 = β (5.5) Επειδή μία διόρθωση συμβαίνει κάθε φορά που ένα διάνυσμα ταξινομείται λανθασμένα και επειδή κάθε δείγμα μπορεί να εμφανίζεται οσοδήποτε συχνά στην ακολουθία, συνεπάγεται ότι όταν σταματήσουν οι διορθώσεις το διάνυσμα των βαρών που προκύπτει πρέπει να είναι σε θέση να ταξινομεί όλα τα δείγματα σωστά. Το 0 παρέχει ένα άνω όριο για τον αριθμό των επαναλήψεων. Εάν a() = 0, προκύπτει η ακόλουθη ιδιαίτερα απλή έκφραση για το 0 : α a ˆ β a ˆ max ˆ a 0 = = β γ m [ a ˆ ] (5.6) Ο domaor στην εξίσωση 5.6 δείχνει ότι η δυσκολία του προβλήματος καθορίζεται κυρίως από τα δείγματα που είναι σχεδόν ορθοκανονικά προς το διάνυσμα λύσης. Δυστυχώς, δεν παρέχει καμία βοήθεια όταν αντιμετωπίζεται ένα άλυτο πρόβλημα, διότι στην περίπτωση αυτή το όριο εκφράζεται με όρους ενός άγνωστου διανύσματος

20 λύσης. Είναι προφανές ότι τα γραμμικά διαχωρίσιμα προβλήματα μπορούν να γίνουν πολύ δύσκολα εάν τα δείγματα γίνουν σχεδόν συνεπίπεδα. Παρ όλ αυτά, εάν τα δείγματα εκπαίδευσης είναι γραμμικά διαχωρίσιμα, ο κανόνας της σταθερής αύξησης θα οδηγήσει σε λύση μετά από ένα πεπερασμένο αριθμό βελτιώσεων Κάποιες Άμεσες Γενικεύσεις Ο κανόνας της σταθερής αύξησης μπορεί να γενικευτεί για να παραχθεί μια ποικιλία από σχετικούς αλγόριθμους. Θα γίνει αναφορά σε δύο παραλλαγές που εμφανίζουν ιδιαίτερο ενδιαφέρον. Η πρώτη παραλλαγή εισάγει μια μεταβλητή αύξηση η() και ένα όριο b και εκτελεί μια διόρθωση κάθε φορά που το a () αποτυγχάνει να υπερβεί το όριο. Η εξίσωση ενημέρωσης των βαρών παίρνει τη μορφή a ( ) τυχαία a + = a + η (5.7) ( ) ( ) όπου το a () b για κάθε. Έτσι, για πρότυπα, ο αλγόριθμος παίρνει τη μορφή: Αλγόριθμος 5: Μεταβλητής Αύξησης Percepro με Διάστημα αρχή αρχικοποίησε a, κριτήριο θ, διάστημα b, η( ), 0 κάνε ( + ) mod 3 εάν a b τότε a a + η() 4 μέχρι a > b για όλα τα 5 επέστρεψε a 6 τέλος Μπορεί να δειχθεί ότι εάν τα δείγματα είναι γραμμικά διαχωρίσιμα και εάν η ( ) 0 (5.8) m lm η = (5.9) και m = ( ) m η ( ) = m ( η ( )) lm = 0 m = (5.30) τότε το a() συγκλίνει σε ένα διάνυσμα λύσης a το οποίο ικανοποιεί τη σχέση a > b για κάθε. Πιο συγκεκριμένα, αυτές οι συνθήκες για το η() ικανοποιούνται εάν το η() είναι μία θετική σταθερά ή εάν μειώνεται αντιστρόφως ανάλογα με το. Μία άλλη παραλλαγή που παρουσιάζει ενδιαφέρον είναι ο αρχικός αλγόριθμος κλίσης καθόδου για το J p, a a ( ) ( + ) = a ( ) + ( ) Y τυχαία η (5.3) όπου το Y είναι το σύνολο των δειγμάτων εκπαίδευσης που ταξινομούνται λανθασμένα από το a(). Είναι εύκολο να δει κανείς ότι ο αλγόριθμος αυτός θα οδηγήσει επίσης σε μία λύση, αρκεί να παρατηρήσει ότι εάν το a ˆ είναι ένα διάνυσμα λύσης για τα,..., τότε θα ταξινομεί σωστά και το διάνυσμα διόρθωσης = Y Ο αλγόριθμος παρατίθεται με περισσότερες λεπτομέρειες στη συνέχεια:

21 Αλγόριθμος 6: Μεταβλητής Αύξησης Bach Percepro αρχή αρχικοποίησε a, η( ), 0 κάνε ( + ) mod 3 Y = {} 4 j 0 5 κάνε j j + 6 εάν το j ταξινομείται λάθος τότε βάλε το j στο Y 7 μέχρι j = 8 a a + η() Y 9 μέχρι Y = {} 0 επέστρεψε a τέλος Το πλεονέκτημα του σωρηδόν αλγόριθμου κλίσης καθόδου είναι ότι η τροχιά του διανύσματος λύσης είναι εξομαλυμμένη σε σχέση με αυτή που αντιστοιχεί στους διάφορους ενός δείγματος αλγόριθμους, επειδή σε κάθε ενημέρωση χρησιμοποιείται το πλήρες σύνολο των λανθασμένα ταξινομημένων προτύπων. Έτσι, εάν τα δείγματα είναι γραμμικά διαχωρίσιμα, όλα τα πιθανά διανύσματα διόρθωσης σχηματίζουν ένα γραμμικά διαχωρίσιμο σύνολο, και εάν το η() ικανοποιεί τις εξισώσεις , η ακολουθία των διανυσμάτων των βαρών που παράγεται από τον αλγόριθμο κλίσης καθόδου για το J p ( ) θα συγκλίνει πάντα σε ένα διάνυσμα λύσης. Είναι ενδιαφέρον να σημειωθεί ότι οι συνθήκες για το η() ικανοποιούνται εάν το η() είναι μία θετική σταθερά, ή εάν μειώνεται αντιστρόφως ανάλογα με το, ή ακόμα και εάν αυξάνεται ανάλογα με το. Γενικότερα, είναι προτιμότερο να μειώνεται το η() με το πέρασμα του χρόνου. Αυτό ισχύει κυρίως για περιπτώσεις όπου υπάρχει υπόνοια ότι το σύνολο των δειγμάτων δεν είναι γραμμικά διαχωρίσιμο, επειδή ακριβώς μειώνει τα καταστροφικά αποτελέσματα κάποιων κακών δειγμάτων. Πάντως, στη γραμμικά διαχωρίσιμη περίπτωση, το η() μπορεί να αυξάνεται και παρ όλ αυτά να οδηγηθεί ο αλγόριθμος σε λύση. Η παρατήρηση αυτή φέρνει στην επιφάνεια μία από τις βασικές διαφορές ανάμεσα στη θεωρία και την πράξη. Από θεωρητικής πλευράς, είναι ενδιαφέρον ότι μπορεί να προκύψει λύση σε ένα πεπερασμένο αριθμό βημάτων για οποιοδήποτε πεπερασμένο σύνολο διαχωρίσιμων δειγμάτων, για οποιοδήποτε αρχικό διάνυσμα βαρών a(), για οποιοδήποτε μη αρνητικό διάστημα b και για οποιοδήποτε κλιμακωτό παράγοντα η() που ικανοποιεί τις εξισώσεις Από πρακτικής άποψης, πρέπει να γίνουν όσο το δυνατόν καλύτερες επιλογές για αυτές τις ποσότητες. Θεωρείστε για παράδειγμα το διάστημα b. Εάν το b είναι πολύ μικρότερο από το η ( ), δηλαδή την ποσότητα κατά την οποία μεταβάλλει μία διορθωτική κίνηση το a (), είναι προφανές ότι θα επηρεάζει πολύ λίγο τη διαδικασία μάθησης, εάν την επηρεάζει. Εάν είναι πολύ μεγαλύτερο από το η ( ), θα απαιτηθούν πολλές διορθώσεις για να ικανοποιηθεί η συνθήκη a () > b. Μία τιμή κοντά στο η ( ) αποτελεί συχνά μία καλή επιλογή. Εκτός από την επιλογή των τιμών για το η() και το b, τα αποτελέσματα μπορεί επίσης να επηρεαστούν σημαντικά από την κλιμάκωση των στοιχείων του. Προφανώς, η ύπαρξη ενός θεωρήματος σύγκλισης δεν απαλείφει τους περιορισμούς που πρέπει να ληφθούν υπόψη όταν εφαρμόζονται αυτές οι τεχνικές.

22 Ένας κοντινός απόγονος του αλγόριθμου του Percepro είναι ο αλγόριθμος του Wow, ο οποίος βρίσκει εφαρμογή σε διαχωρίσιμα δεδομένα εκπαίδευσης. Η βασική διαφορά τους είναι ότι ενώ στον αλγόριθμο του Percepro το διάνυσμα των βαρών έχει ως στοιχεία τα α ( = 0,...,d), στον αλγόριθμο του Wow τα στοιχεία αυτά είναι κλιμακούμενα με βάση το sh[α ]. Σε μία εκδοχή, τον εξισορροπημένο αλγόριθμο του Wow, υπάρχουν ξεχωριστά θετικά και αρνητικά διανύσματα βαρών, a + και a, και το καθένα σχετίζεται με μία από τις δύο υπάρχουσες κατηγορίες ταξινόμησης. Διορθώσεις στο διάνυσμα των θετικών βαρών γίνονται εάν και μόνο εάν ένα πρότυπο εκπαίδευσης της ω έχει ταξινομηθεί λανθασμένα. Αντίστοιχα, διορθώσεις στο διάνυσμα των αρνητικών βαρών γίνονται εάν και μόνο εάν ένα πρότυπο εκπαίδευσης της ω έχει ταξινομηθεί λανθασμένα. Αλγόριθμος 7: Balaced Wow αρχή αρχικοποίησε a +, a, η( ), 0, α > εάν sg[a + a ] z (λάθος ταξινόμηση) τότε εάν z = + τότε a a a ; a a a για όλα τα a a a 4 εάν z = τότε a ; 5 επέστρεψε a +, a 6 τέλος a a για όλα τα Αυτή η εκδοχή του αλγόριθμου του Wow παρουσιάζει δύο σημαντικά πλεονεκτήματα. Το πρώτο είναι ότι κατά τη διάρκεια της εκπαίδευσης και τα δύο διανύσματα των βαρών κινούνται ομοιόμορφα και επομένως, για διαχωρίσιμα δεδομένα, η απόσταση, που ορίζεται από τα δύο αυτά διανύσματα, παραμένει σταθερή. Αυτή η διαπίστωση οδηγεί σε μια απόδειξη σύγκλισης η οποία είναι πιο γενική από το θεώρημα σύγκλισης του Percepro. Το δεύτερο πλεονέκτημα είναι ότι η σύγκλιση επιτυγχάνεται γρηγορότερα σε σχέση με τον αλγόριθμο του Percepro, επειδή εάν επιλεγεί ο κατάλληλος ρυθμός μάθησης, κάθε cosue βάρος δεν overshoo την τελική του τιμή. Αυτό το πλεονέκτημα είναι ιδιαίτερα εμφανές όταν υπάρχει μεγάλος αριθμός από μη σχετικά ή πλεονάζοντα χαρακτηριστικά. 5.6 Διαδικασίες Χαλάρωσης (Relaxao) Στις προηγούμενες ενότητες παρουσιάστηκε ο τρόπος με τον οποίο ένας γραμμικός ταξινομητής εκπαιδεύεται μέσω της ελαχιστοποίησης του κριτηρίου του Percepro της εξίσωσης 5.6. Αυτή η προσέγγιση μπορεί να γενικευτεί για να περιλαμβάνει μία ευρύτερη κλάση συναρτήσεων κριτηρίου και μεθόδων για την ελαχιστοποίησή τους Ο Αλγόριθμος Desce Η συνάρτηση κριτηρίου J p ( ) είναι αδιαμφισβήτητα η μοναδική συνάρτηση που μπορεί να κατασκευαστεί έτσι ώστε να ελαχιστοποιείται όταν το a αποτελεί ένα διάνυσμα λύσης. Μία αντίστοιχη διακριτή συνάρτηση είναι η J q ( a ) = ( a ) Y (5.3) όπου το Y(a) δηλώνει το σύνολο των δειγμάτων εκπαίδευσης που ταξινομούνται λανθασμένα από το a. Τόσο το J p όσο και το J q δίνουν έμφαση στα μη σωστά ταξινομημένα δείγματα. Η βασική διαφορά τους είναι ότι η κλίση του J q είναι συνεχής ενώ η κλίση του J p δεν είναι. Έτσι, το J q αντιπροσωπεύει μια πιο ομαλή επιφάνεια αναζήτησης (εικόνα 5.). Δυστυχώς, το J q είναι τόσο ομαλό κοντά στο

23 όριο της περιοχής λύσης ώστε η ακολουθία των διανυσμάτων των βαρών να υπάρχει περίπτωση να συγκλίνει σε ένα σημείο πάνω στο όριο. Είναι εντελώς άσκοπο να χαθεί υπολογιστικός χρόνος για να βρεθεί το οριακό σημείο a = 0. Ένα άλλο πρόβλημα με το J q είναι ότι η τιμή του μπορεί να καθοριστεί αποκλειστικά από τα διανύσματα δειγμάτων με το μεγαλύτερο μήκος. Τα δύο αυτά προβλήματα αντιμετωπίζονται εάν χρησιμοποιηθεί η ακόλουθη συνάρτηση κριτηρίου: J ( ) ( a b ) r a = Y (5.33) όπου το Y(a) είναι το σύνολο των δειγμάτων για τα οποία a b. Εάν το Y(a) είναι άδειο, το J r ορίζεται ίσο με το μηδέν. Έτσι, το J r (a) δεν είναι ποτέ αρνητικό, ενώ είναι ίσο με το μηδέν εάν και μόνο εάν a b για όλα τα δείγματα εκπαίδευσης. Η κλίση του J r δίνεται από a b J r = Y ενώ ο κανόνας ενημέρωσης είναι ο a ( ) τυχα ί α b a a ( + ) = a ( ) + η ( ) Y (5.34) Έτσι, ο αλγόριθμος χαλάρωσης παίρνει τη μορφή: Αλγόριθμος 8: Σωρηδόν Χαλάρωση με Διάστημα αρχή αρχικοποίησε a, η( ), b, 0 κάνε ( + ) mod 3 Y = {} 4 j 0 5 κάνε j j + 6 εάν a j b τότε βάλε το j στο Y 7 μέχρι j = b a 8 a a + η() Y 9 μέχρι Y = {} 0 επέστρεψε a τέλος Όπως και προηγουμένως, είναι ευκολότερο να αποδειχθεί η σύγκλιση όταν τα δείγματα αντιμετωπίζονται ένα κάθε χρονική στιγμή παρά όλα μαζί. Επίσης, το ενδιαφέρον θα περιοριστεί στην περίπτωση της σταθερής αύξησης, η() = η. Επομένως, σχηματίζεται πάλι μία ακολουθία,,... η οποία αποτελείται από τα δείγματα που χρησιμοποιούνται για τη διόρθωση του διανύσματος των βαρών. Ο κανόνας διόρθωσης του μονού δείγματος, σε αντιστοιχία με την εξίσωση 5.33 είναι a ( ) τυχα ί α b a ( ) ( ) ( ) a + = a + η (5.35) όπου a () b για όλα τα. Ο αλγόριθμος έχει την παρακάτω μορφή:

24 Αλγόριθμος 9: Ενός Δείγματος Χαλάρωση με Διάστημα αρχή αρχικοποίησε a, η( ), 0 κάνε ( + ) mod 3 εάν a b a b τότε a a + η() 4 μέχρι a > b για όλα τα 5 επέστρεψε a 6 τέλος [ ] Ο παραπάνω αλγόριθμος είναι γνωστός ως ο ενός δείγματος κανόνας χαλάρωσης με διάστημα και έχει μια απλή γεωμετρική ερμηνεία. Η ποσότητα b a ( ) ( ) r = (5.36) είναι η απόσταση από το a() στο υπερεπίπεδο a = b. Επειδή το αποτελεί το μοναδιαίο κανονικό διάνυσμα για το υπερεπίπεδο, η εξίσωση 5.35 αναγκάζει το a() να μετατοπιστεί κατά ένα συγκεκριμένο κλάσμα η της απόστασης του a() από το υπερεπίπεδο. Εάν η =, το a() μετακινείται ακριβώς προς το υπερεπίπεδο, έτσι ώστε η ένταση που δημιουργήθηκε από την ανίσωση a () b να χαλαρώνει (εικόνα 5.4). Από την εξίσωση 5.35, μετά από μια μικρή διόρθωση, προκύπτει a + b = η a b (5.37) ( ) ( ) ( ) ( ) Εικόνα 5.4: Σε κάθε βήμα του βασικού αλγόριθμου χαλάρωσης, το διάνυσμα των βαρών μετακινείται κατά η φορές την απόσταση προς το υπερεπίπεδο που ορίζεται από την a = b. Εάν η <, τότε το a (+) είναι μικρότερο από το b, ενώ εάν η >, το a (+) είναι μεγαλύτερο. Αυτές οι συνθήκες είναι γνωστές ως υποχαλάρωση (uderrelaxao) ή υπερχαλάρωση (overrelaxao) αντίστοιχα. Γενικότερα, το η θα περιοριστεί στο διάστημα 0 < η < (εικόνες 5.4 και 5.5).

25 5.6. Απόδειξη Σύγκλισης Όταν εφαρμόζεται ο κανόνας χαλάρωσης σε ένα σύνολο γραμμικά διαχωρίσιμων δειγμάτων, ο αριθμός των διορθώσεων μπορεί να είναι αλλά μπορεί και να μην είναι πεπερασμένος. Στην περίπτωση που είναι πεπερασμένος, τότε προφανώς έχουμε καταλήξει σε ένα διάνυσμα λύσης. Εάν δεν είναι πεπερασμένος, το a() συγκλίνει σε ένα οριακό διάνυσμα που βρίσκεται στο όριο της περιοχής λύσης. Επειδή η περιοχή στην οποία ισχύει a b περιέχεται σε μία μεγαλύτερη περιοχή για την οποία ισχύει a >0 εάν b>0, αυτό υποδηλώνει ότι το a() θα βρεθεί σε αυτή τη μεγαλύτερη περιοχή τουλάχιστον μία φορά, και θα παραμείνει εκεί για όλες τις τιμές του που είναι μεγαλύτερες από κάποια καθορισμένη τιμή 0. Η απόδειξη βασίζεται στο ότι εάν το a ˆ είναι οποιοδήποτε διάνυσμα στην περιοχή λύσεων, δηλαδή οποιοδήποτε διάνυσμα που ικανοποιεί τη σχέση a ˆ > b για όλα τα, τότε σε κάθε βήμα, το a() πλησιάζει στο a ˆ. Αυτό προκύπτει άμεσα από την εξίσωση 5.35 επειδή a και ( ) a ˆ = a ( ) έτσι ώστε ( b a ( ) ) ( a ˆ a ( )) + a ˆ η + η ( a ˆ a ( )) > b a ( ) 0 ( b a ( ) ) (5.38 ) (5.39) ( + ) ˆ ( ) ˆ η ( η ) a a a a ( b a ( ) ) (5.40) Επειδή το η έχει περιοριστεί στο διάστημα 0 < η <, προκύπτει ότι a Εικόνα 5.5: Στο αριστερό σχήμα, υποχαλάρωση (η < ) οδηγεί σε μη απαραίτητη αργή σύγκλιση, ακόμα και σε αποτυχία. Στο δεξιό σχήμα, η υπερχαλάρωση ( < η < ) οδηγεί σε βεβιασμένη προσπάθεια για σύγκλιση. Παρ όλ αυτά, η σύγκλιση θα επιτευχθεί τελικά. ( + ) a ˆ a ( ) a ˆ. Έτσι, τα διανύσματα της ακολουθίας a(), a(),... πλησιάζουν όλο και περισσότερο στο a ˆ. Οριακά, για τείνοντος στο άπειρο η απόσταση a ( + ) a ˆ r a ˆ. Αυτό σημαίνει ότι για πλησιάζει μια οριακή απόσταση ( ) τείνοντος στο άπειρο, το a() περιορρίζεται στην επιφάνεια μιας υπερσφαίρας με κέντρο το a ˆ και ακτίνα το r ( a ˆ ). Επειδή αυτό ισχύει για οποιοδήποτε a ˆ που βρίσκεται μέσα στην περιοχή λύσης, το οριακό a() περιορίζεται στην τομή των υπερσφαιρών που έχουν ως κέντρα όλα τα πιθανά διανύσματα λύσης.

26 Στην συνέχεια θα αποδειχθεί ότι η τομή αυτών των υπερσφαιρών είναι ένα σημείο πάνω στο όριο της περιοχής λύσεων. Έστω αρχικά ότι υπάρχουν τουλάχιστον δύο διαφορετικά σημεία a και a πάνω στην τομή των υπερσφαιρών. Τότε a a ˆ = a a ˆ για κάθε a ˆ που βρίσκεται στην περιοχή λύσεων. Αυτό όμως υποδηλώνει ότι η περιοχή λύσεων περιέχεται στο ( d ˆ ) διάστατο υπερεπίπεδο των σημείων που απέχουν ίση απόσταση από τα a και a. Όμως είναι γνωστό ότι η περιοχή λύσεων είναι d ˆ διάστατη. Εάν ˆ a > 0 για =,...,, τότε για ˆ διάστατο διάνυσμα v, ισχύει ( ) 0 οποιοδήποτε d ˆ a + ε v > για =,..., εάν το ε είναι αρκετά μικρό. Επομένως, το a() συγκλίνει σε ένα μοναδικό σημείο a. Αυτό το σημείο βεβαίως δεν είναι μέσα στην περιοχή λύσεων, διότι εάν ήταν η ακολουθία θα ήταν πεπερασμένη. Δεν είναι όμως ούτε έξω από αυτή, διότι κάθε διόρθωση αναγκάζει το διάνυσμα των βαρών να μετακινείται η φορές την απόστασή του από το επίπεδο του ορίου, γεγονός που δεν επιτρέπει στο διάνυσμα να είναι φραγμένο μακριά από το όριο για πάντα. Επομένως, το οριακό σημείο πρέπει να βρίσκεται πάνω στο όριο. 5.7 Μη Διαχωρίσιμη Συμπεριφορά Ο αλγόριθμος του Percepro και οι υπόλοιπες διαδικασίες χαλάρωσης παρέχουν έναν αριθμό από απλές μεθόδους για την εύρεση ενός διανύσματος που έχει την ικανότητα να διαχωρίζει δείγματα που είναι γραμμικά διαχωρίσιμα. Αυτές οι μέθοδοι καλούνται διαδικασίες διόρθωσης λάθους επειδή προκαλούν μια τροποποίηση του διανύσματος των βαρών όταν και μόνο όταν εμφανίζεται κάποιο λάθος. Η επιτυχία τους στην επίλυση γραμμικά διαχωρίσιμων προβλημάτων οφείλεται κυρίως σε αυτή την αέναη αναζήτηση για μία απαλλαγμένη από λάθη λύση. Πρακτικά, αυτές οι μέθοδοι μπορούν να χρησιμοποιηθούν μόνο στην περίπτωση όπου υπάρχει πεποίθηση ότι ο ρυθμός λάθους για τη βέλτιστη γραμμική διακρίνουσα συνάρτηση είναι πολύ μικρός. Φυσικά, ακόμα και στην περίπτωση όπου προκύπτει ένα διάνυσμα διαχωριστής για τα δείγματα εκπαίδευσης, αυτό δε συνεπάγεται ότι ο αντίστοιχος ταξινομητής θα έχει καλή απόδοση σε κάποια άλλα ανεξάρτητα δεδομένα ελέγχου. Στην πραγματικότητα, οποιοδήποτε σύνολο με λιγότερα από d ˆ δείγματα έχει πάρα πολλές πιθανότητες να είναι γραμμικά διαχωρίσιμο. Έτσι, πρέπει να γίνεται προσπάθεια ώστε ο ταξινομητής που προκύπτει να έχει εξίσου καλή απόδοση και στα δεδομένα εκπαίδευσης και στα δεδομένα ελέγχου. Δυστυχώς, εάν ένα σύνολο σχεδιασμού είναι αρκετά μεγάλο είναι σχεδόν σίγουρο ότι δεν είναι γραμμικά διαχωρίσιμο. Αυτό σημαίνει ότι είναι χρήσιμο να είναι γνωστή η συμπεριφορά των διαδικασιών διόρθωσης όταν αυτές εφαρμόζονται σε μη γραμμικά διαχωρίσιμα δείγματα. Επειδή, εξ ορισμού, κανένα διάνυσμα βαρών δεν μπορεί να ταξινομήσει σωστά όλα τα δείγματα ενός μη γραμμικά διαχωρίσιμου συνόλου, είναι προφανές ότι οι διορθώσεις που κάνει μια διαδικασία διόρθωσης λαθών δεν μπορούν να σταματήσουν ποτέ. Κάθε αλγόριθμος παράγει μία μη πεπερασμένη ακολουθία από διανύσματα βαρών, καθένα από τα οποία μπορεί να παρέχει αλλά μπορεί και να μην παρέχει μία χρήσιμη λύση. Η ακριβής συμπεριφορά αυτών των κανόνων, σε περιπτώσεις μη γραμμικά διαχωρίσιμες, έχει μελετηθεί επαρκώς για κάποιες ειδικές περιπτώσεις. Είναι γνωστό για παράδειγμα, ότι το μήκος των διανυσμάτων των βαρών που παράγονται από τον κανόνα σταθερής αύξησης είναι φραγμένο. Πολλοί εμπειρικοί κανόνες για τον τερματισμό της διαδικασίας διόρθωσης βασίζονται πάνω σ αυτήν ακριβώς την τάση που έχει το μήκος του διανύσματος των βαρών να κυμαίνεται

Κεφάλαιο 2: Θεωρία Απόφασης του Bayes 2.1 Εισαγωγή

Κεφάλαιο 2: Θεωρία Απόφασης του Bayes 2.1 Εισαγωγή Κεφάλαιο : Θεωρία Απόφασης του Bayes. Εισαγωγή Η θεωρία απόφασης του Bayes αποτελεί μια από τις σημαντικότερες στατιστικές προσεγγίσεις για το πρόβλημα της ταξινόμησης προτύπων. Βασίζεται στη σύγκριση

Διαβάστε περισσότερα

Θεωρία Λήψης Αποφάσεων

Θεωρία Λήψης Αποφάσεων Θεωρία Λήψης Αποφάσεων Ενότητα 2: Θεωρία Απόφασης του Bayes Μπεληγιάννης Γρηγόριος Σχολή Οργάνωσης και Διοίκησης Επιχειρήσεων Τμήμα Διοίκησης Επιχειρήσεων Αγροτικών Προϊόντων & Τροφίμων (Δ.Ε.Α.Π.Τ.) Θεωρία

Διαβάστε περισσότερα

I. ΜΙΓΑΔΙΚΟΙ ΑΡΙΘΜΟΙ. math-gr

I. ΜΙΓΑΔΙΚΟΙ ΑΡΙΘΜΟΙ. math-gr I ΜΙΓΑΔΙΚΟΙ ΑΡΙΘΜΟΙ i e ΜΕΡΟΣ Ι ΟΡΙΣΜΟΣ - ΒΑΣΙΚΕΣ ΠΡΑΞΕΙΣ Α Ορισμός Ο ορισμός του συνόλου των Μιγαδικών αριθμών (C) βασίζεται στις εξής παραδοχές: Υπάρχει ένας αριθμός i για τον οποίο ισχύει i Το σύνολο

Διαβάστε περισσότερα

Κεφάλαιο 4: Μη Παραμετρικές Τεχνικές 4.1 Εισαγωγή

Κεφάλαιο 4: Μη Παραμετρικές Τεχνικές 4.1 Εισαγωγή Κεφάλαιο 4: Μη Παραμετρικές Τεχνικές 4.1 Εισαγωγή Στο 3 ο κεφάλαιο περιγράφηκε η διαδικασία της μη επιβλεπόμενης μάθησης υπό τη θεώρηση ότι οι μορφές των αντίστοιχων συναρτήσεων πυκνότητας πιθανότητας

Διαβάστε περισσότερα

Αριθμητική εύρεση ριζών μη γραμμικών εξισώσεων

Αριθμητική εύρεση ριζών μη γραμμικών εξισώσεων Αριθμητική εύρεση ριζών μη γραμμικών εξισώσεων Με τον όρο μη γραμμικές εξισώσεις εννοούμε εξισώσεις της μορφής: f( ) 0 που προέρχονται από συναρτήσεις f () που είναι μη γραμμικές ως προς. Περιέχουν δηλαδή

Διαβάστε περισσότερα

Μέθοδοι μονοδιάστατης ελαχιστοποίησης

Μέθοδοι μονοδιάστατης ελαχιστοποίησης Βασικές αρχές μεθόδων ελαχιστοποίησης Μέθοδοι μονοδιάστατης ελαχιστοποίησης Οι μέθοδοι ελαχιστοποίησης είναι επαναληπτικές. Ξεκινώντας από μια αρχική προσέγγιση του ελαχίστου (την συμβολίζουμε ) παράγουν

Διαβάστε περισσότερα

Αναγνώριση Προτύπων Ι

Αναγνώριση Προτύπων Ι Αναγνώριση Προτύπων Ι Ενότητα 1: Μέθοδοι Αναγνώρισης Προτύπων Αν. Καθηγητής Δερματάς Ευάγγελος Τμήμα Ηλεκτρολόγων Μηχανικών και Τεχνολογίας Υπολογιστών Άδειες Χρήσης Το παρόν εκπαιδευτικό υλικό υπόκειται

Διαβάστε περισσότερα

Μέθοδοι μονοδιάστατης ελαχιστοποίησης

Μέθοδοι μονοδιάστατης ελαχιστοποίησης Βασικές αρχές μεθόδων ελαχιστοποίησης Μέθοδοι μονοδιάστατης ελαχιστοποίησης Οι μέθοδοι ελαχιστοποίησης είναι επαναληπτικές. Ξεκινώντας από μια αρχική προσέγγιση του ελαχίστου (την συμβολίζουμε ) παράγουν

Διαβάστε περισσότερα

Βασίλειος Μαχαιράς Πολιτικός Μηχανικός Ph.D.

Βασίλειος Μαχαιράς Πολιτικός Μηχανικός Ph.D. Βασίλειος Μαχαιράς Πολιτικός Μηχανικός Ph.D. Μη γραμμικός προγραμματισμός: μέθοδοι μονοδιάστατης ελαχιστοποίησης Πανεπιστήμιο Θεσσαλίας Σχολή Θετικών Επιστημών ΤμήμαΠληροφορικής Διάλεξη 6 η /2017 Τι παρουσιάστηκε

Διαβάστε περισσότερα

Μέθοδοι πολυδιάστατης ελαχιστοποίησης

Μέθοδοι πολυδιάστατης ελαχιστοποίησης Μέθοδοι πολυδιάστατης ελαχιστοποίησης με παραγώγους Μέθοδοι πολυδιάστατης ελαχιστοποίησης Δ. Γ. Παπαγεωργίου Τμήμα Μηχανικών Επιστήμης Υλικών Πανεπιστήμιο Ιωαννίνων dpapageo@cc.uoi.gr http://pc64.materials.uoi.gr/dpapageo

Διαβάστε περισσότερα

ΜΕΓΙΣΤΙΚΟΣ ΤΕΛΕΣΤΗΣ 18 Σεπτεμβρίου 2014

ΜΕΓΙΣΤΙΚΟΣ ΤΕΛΕΣΤΗΣ 18 Σεπτεμβρίου 2014 ΜΕΓΙΣΤΙΚΟΣ ΤΕΛΕΣΤΗΣ 18 Σεπτεμβρίου 2014 Περιεχόμενα 1 Εισαγωγή 2 2 Μεγιστικός τελέστης στην μπάλα 2 2.1 Βασικό θεώρημα........................ 2 2.2 Γενική περίπτωση μπάλας.................. 6 2.2.1 Στο

Διαβάστε περισσότερα

12. ΑΝΙΣΩΣΕΙΣ Α ΒΑΘΜΟΥ. είναι δύο παραστάσεις μιας μεταβλητής x πού παίρνει τιμές στο

12. ΑΝΙΣΩΣΕΙΣ Α ΒΑΘΜΟΥ. είναι δύο παραστάσεις μιας μεταβλητής x πού παίρνει τιμές στο ΓΕΝΙΚΑ ΠΕΡΙ ΑΝΙΣΩΣΕΩΝ Έστω f σύνολο Α, g Α ΒΑΘΜΟΥ είναι δύο παραστάσεις μιας μεταβλητής πού παίρνει τιμές στο Ανίσωση με έναν άγνωστο λέγεται κάθε σχέση της μορφής f f g g ή, η οποία αληθεύει για ορισμένες

Διαβάστε περισσότερα

Γ. Ν. Π Α Π Α Δ Α Κ Η Σ Μ Α Θ Η Μ Α Τ Ι Κ Ο Σ ( M S C ) ΕΛΛΗΝΙΚΟ ΑΝΟΙΚΤΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΛΥΜΕΝΕΣ ΑΣΚΗΣΕΙΣ. ΠΡΟΓΡΑΜΜΑ: Σπουδές στις Φυσικές Επιστήμες

Γ. Ν. Π Α Π Α Δ Α Κ Η Σ Μ Α Θ Η Μ Α Τ Ι Κ Ο Σ ( M S C ) ΕΛΛΗΝΙΚΟ ΑΝΟΙΚΤΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΛΥΜΕΝΕΣ ΑΣΚΗΣΕΙΣ. ΠΡΟΓΡΑΜΜΑ: Σπουδές στις Φυσικές Επιστήμες Γ. Ν. Π Α Π Α Δ Α Κ Η Σ Μ Α Θ Η Μ Α Τ Ι Κ Ο Σ ( M S C ) ΕΛΛΗΝΙΚΟ ΑΝΟΙΚΤΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΛΥΜΕΝΕΣ ΑΣΚΗΣΕΙΣ ΠΡΟΓΡΑΜΜΑ: Σπουδές στις Φυσικές Επιστήμες ΘΕΜΑΤΙΚΗ ΕΝΟΤΗΤΑ: ΦΥΕ10 (Γενικά Μαθηματικά Ι) ΠΕΡΙΕΧΕΙ ΤΙΣ

Διαβάστε περισσότερα

1. ΣΤΑΤΙΚΗ ΑΡΙΣΤΟΠΟΙΗΣΗ

1. ΣΤΑΤΙΚΗ ΑΡΙΣΤΟΠΟΙΗΣΗ . ΣΤΑΤΙΚΗ ΑΡΙΣΤΟΠΟΙΗΣΗ. Μέγιστα και Ελάχιστα Συναρτήσεων Χωρίς Περιορισμούς Συναρτήσεις μιας Μεταβλητής Εστω f ( x) είναι συνάρτηση μιας μόνο μεταβλητής. Εστω επίσης ότι x είναι ένα σημείο στο πεδίο ορισμού

Διαβάστε περισσότερα

ΘΕΩΡΙΑ Β ΓΥΜΝΑΣΙΟΥ. Μια παράσταση που περιέχει πράξεις με μεταβλητές (γράμματα) και αριθμούς καλείται αλγεβρική, όπως για παράδειγμα η : 2x+3y-8

ΘΕΩΡΙΑ Β ΓΥΜΝΑΣΙΟΥ. Μια παράσταση που περιέχει πράξεις με μεταβλητές (γράμματα) και αριθμούς καλείται αλγεβρική, όπως για παράδειγμα η : 2x+3y-8 ΘΕΩΡΙΑ Β ΓΥΜΝΑΣΙΟΥ Άλγεβρα 1 ο Κεφάλαιο 1. Τι ονομάζουμε αριθμητική και τι αλγεβρική παράσταση; Να δώσετε από ένα παράδειγμα. Μια παράσταση που περιέχει πράξεις με αριθμούς, καλείται αριθμητική παράσταση,

Διαβάστε περισσότερα

Αριθμητική Ανάλυση και Εφαρμογές

Αριθμητική Ανάλυση και Εφαρμογές Αριθμητική Ανάλυση και Εφαρμογές Διδάσκων: Δημήτριος Ι. Φωτιάδης Τμήμα Μηχανικών Επιστήμης Υλικών Ιωάννινα 07-08 Αριθμητική Ολοκλήρωση Εισαγωγή Έστω ότι η f είναι μία φραγμένη συνάρτηση στο πεπερασμένο

Διαβάστε περισσότερα

ΔΕΙΓΜΑ ΠΡΙΝ ΤΙΣ ΔΙΟΡΘΩΣΕΙΣ - ΕΚΔΟΣΕΙΣ ΚΡΙΤΙΚΗ

ΔΕΙΓΜΑ ΠΡΙΝ ΤΙΣ ΔΙΟΡΘΩΣΕΙΣ - ΕΚΔΟΣΕΙΣ ΚΡΙΤΙΚΗ Συναρτήσεις Προεπισκόπηση Κεφαλαίου Τα μαθηματικά είναι μια γλώσσα με ένα συγκεκριμένο λεξιλόγιο και πολλούς κανόνες. Πριν ξεκινήσετε το ταξίδι σας στον Απειροστικό Λογισμό, θα πρέπει να έχετε εξοικειωθεί

Διαβάστε περισσότερα

Ε π ι μ έ λ ε ι α Κ Ο Λ Λ Α Σ Α Ν Τ Ω Ν Η Σ

Ε π ι μ έ λ ε ι α Κ Ο Λ Λ Α Σ Α Ν Τ Ω Ν Η Σ Ε π ι μ έ λ ε ι α Κ Ο Λ Λ Α Σ Α Ν Τ Ω Ν Η Σ 1 Συναρτήσεις Όταν αναφερόμαστε σε μια συνάρτηση, ουσιαστικά αναφερόμαστε σε μια σχέση ή εξάρτηση. Στα μαθηματικά που θα μας απασχολήσουν, με απλά λόγια, η σχέση

Διαβάστε περισσότερα

ΒΑΣΙΚΑ ΣΤΟΙΧΕΙΑ ΘΕΩΡΙΑΣ ΤΗΣ ΜΕΘΟΔΟΥ SIMPLEX

ΒΑΣΙΚΑ ΣΤΟΙΧΕΙΑ ΘΕΩΡΙΑΣ ΤΗΣ ΜΕΘΟΔΟΥ SIMPLEX ΒΑΣΙΚΑ ΣΤΟΙΧΕΙΑ ΘΕΩΡΙΑΣ ΤΗΣ ΜΕΘΟΔΟΥ SIMPLEX Θεμελιώδης αλγόριθμος επίλυσης προβλημάτων Γραμμικού Προγραμματισμού που κάνει χρήση της θεωρίας της Γραμμικής Άλγεβρας Προτάθηκε από το Dantzig (1947) και πλέον

Διαβάστε περισσότερα

Αναγνώριση Προτύπων Ι

Αναγνώριση Προτύπων Ι Αναγνώριση Προτύπων Ι Ενότητα 2: Δομικά Συστήματα Αν. Καθηγητής Δερματάς Ευάγγελος Τμήμα Ηλεκτρολόγων Μηχανικών και Τεχνολογίας Υπολογιστών Άδειες Χρήσης Το παρόν εκπαιδευτικό υλικό υπόκειται σε άδειες

Διαβάστε περισσότερα

Περιεχόμενα μεθόδευση του μαθήματος

Περιεχόμενα μεθόδευση του μαθήματος Περιεχόμενα μεθόδευση του μαθήματος. Πως ορίζεται η έννοια. Το όριο. To f() f() ; f() εφόσον υπάρχει είναι μονοσήμαντα ορισμένο; εξαρτιέται από τα άκρα α, β των ( α, ) και (, β ) ;. Πως ορίζονται τα πλευρικά

Διαβάστε περισσότερα

Γραμμικός Προγραμματισμός Μέθοδος Simplex

Γραμμικός Προγραμματισμός Μέθοδος Simplex ΕΘΝΙΚΟ ΜΕΤΣΟΒΙΟ ΠΟΛΥΤΕΧΝΕΙΟ Επιχειρησιακή Έρευνα Γραμμικός Προγραμματισμός Μέθοδος Simplex Η παρουσίαση προετοιμάστηκε από τον Ν.Α. Παναγιώτου Περιεχόμενα Παρουσίασης 1. Πρότυπη Μορφή ΓΠ 2. Πινακοποίηση

Διαβάστε περισσότερα

Αριθμητική Ανάλυση και Εφαρμογές

Αριθμητική Ανάλυση και Εφαρμογές Αριθμητική Ανάλυση και Εφαρμογές Διδάσκων: Δημήτριος Ι. Φωτιάδης Τμήμα Μηχανικών Επιστήμης Υλικών Ιωάννινα 07-08 Πεπερασμένες και Διαιρεμένες Διαφορές Εισαγωγή Θα εισάγουμε την έννοια των διαφορών με ένα

Διαβάστε περισσότερα

Κεφάλαιο 2: Διανυσματικός λογισμός συστήματα αναφοράς

Κεφάλαιο 2: Διανυσματικός λογισμός συστήματα αναφοράς Κεφάλαιο 2: Διανυσματικός λογισμός συστήματα αναφοράς 2.1 Η έννοια του διανύσματος Ο τρόπος που παριστάνομε τα διανυσματικά μεγέθη είναι με τη μαθηματική έννοια του διανύσματος. Διάνυσμα δεν είναι τίποτε

Διαβάστε περισσότερα

Πανεπιστήμιο Αθηνών Τμήμα Φυσικής Κβαντομηχανική ΙΙ

Πανεπιστήμιο Αθηνών Τμήμα Φυσικής Κβαντομηχανική ΙΙ Πανεπιστήμιο Αθηνών Τμήμα Φυσικής Κβαντομηχανική ΙΙ Χρονικά Ανεξάρτητη Θεωρία Διαταραχών. Τα περισσότερα φυσικά συστήματα που έχομε προσεγγίσει μέχρι τώρα περιγράφονται από μία κύρια Χαμιλτονιανή η οποία

Διαβάστε περισσότερα

Σέργιος Θεοδωρίδης Κωνσταντίνος Κουτρούμπας. Version 2

Σέργιος Θεοδωρίδης Κωνσταντίνος Κουτρούμπας. Version 2 Σέργιος Θεοδωρίδης Κωνσταντίνος Κουτρούμπας Verson ΜΙΑ ΣΥΜΒΑΣΗ: Προκειμένου να καταστήσουμε πιο συμπαγή το συμβολισμό H : ορίζουμε Ετσι έχουμε *=[ ] an *=[ ]. H : * * ΣΗΜΕΙΩΣΗ: Στη συνέχεια εκτός αν ορίζεται

Διαβάστε περισσότερα

Εκπαίδευση ΤΝΔ με ελαχιστοποίηση του τετραγωνικού σφάλματος εκπαίδευσης. "Τεχνητά Νευρωνικά Δίκτυα" (Διαφάνειες), Α. Λύκας, Παν.

Εκπαίδευση ΤΝΔ με ελαχιστοποίηση του τετραγωνικού σφάλματος εκπαίδευσης. Τεχνητά Νευρωνικά Δίκτυα (Διαφάνειες), Α. Λύκας, Παν. Εκπαίδευση ΤΝΔ με ελαχιστοποίηση του τετραγωνικού σφάλματος εκπαίδευσης Ελαχιστοποίηση συνάρτησης σφάλματος Εκπαίδευση ΤΝΔ: μπορεί να διατυπωθεί ως πρόβλημα ελαχιστοποίησης μιας συνάρτησης σφάλματος E(w)

Διαβάστε περισσότερα

ΕΚΤΙΜΙΣΗ ΜΕΓΙΣΤΗΣ ΠΙΘΑΝΟΦΑΝΕΙΑΣ

ΕΚΤΙΜΙΣΗ ΜΕΓΙΣΤΗΣ ΠΙΘΑΝΟΦΑΝΕΙΑΣ 3.1 Εισαγωγή ΕΚΤΙΜΙΣΗ ΜΕΓΙΣΤΗΣ ΠΙΘΑΝΟΦΑΝΕΙΑΣ Στο κεφ. 2 είδαμε πώς θα μπορούσαμε να σχεδιάσουμε έναν βέλτιστο ταξινομητή εάν ξέραμε τις προγενέστερες(prior) πιθανότητες ( ) και τις κλάση-υπό όρους πυκνότητες

Διαβάστε περισσότερα

Κεφάλαιο 5. Το Συμπτωτικό Πολυώνυμο

Κεφάλαιο 5. Το Συμπτωτικό Πολυώνυμο Κεφάλαιο 5. Το Συμπτωτικό Πολυώνυμο Σύνοψη Στο κεφάλαιο αυτό παρουσιάζεται η ιδέα του συμπτωτικού πολυωνύμου, του πολυωνύμου, δηλαδή, που είναι του μικρότερου δυνατού βαθμού και που, για συγκεκριμένες,

Διαβάστε περισσότερα

Εισαγωγικές έννοιες. Κατηγορίες προβλημάτων (σε μια διάσταση) Προβλήματα εύρεσης μεγίστου. Συμβολισμοί

Εισαγωγικές έννοιες. Κατηγορίες προβλημάτων (σε μια διάσταση) Προβλήματα εύρεσης μεγίστου. Συμβολισμοί Κατηγορίες προβλημάτων (σε μια διάσταση) Εισαγωγικές έννοιες Δ. Γ. Παπαγεωργίου Τμήμα Μηχανικών Επιστήμης Υλικών Πανεπιστήμιο Ιωαννίνων dpapageo@cc.uoi.gr http://pc164.materials.uoi.gr/dpapageo Το πρόβλημα

Διαβάστε περισσότερα

Β Γραφικές παραστάσεις - Πρώτο γράφημα Σχεδιάζοντας το μήκος της σανίδας συναρτήσει των φάσεων της σελήνης μπορείτε να δείτε αν υπάρχει κάποιος συσχετισμός μεταξύ των μεγεθών. Ο συνήθης τρόπος γραφικής

Διαβάστε περισσότερα

ΓΥΜΝΑΣΙΟ ΚΑΣΤΕΛΛΑΝΩΝ ΜΕΣΗΣ ΑΛΓΕΒΡΑ

ΓΥΜΝΑΣΙΟ ΚΑΣΤΕΛΛΑΝΩΝ ΜΕΣΗΣ ΑΛΓΕΒΡΑ ΑΛΓΕΒΡΑ ΠΡΟΑΠΑΙΤΟΥΜΕΝΑ ΑΠΟ Α ΓΥΜΝΑΣΙΟΥ Ομόσημοι Ετερόσημοι αριθμοί Αντίθετοι Αντίστροφοι αριθμοί Πρόσθεση ομόσημων και ετερόσημων ρητών αριθμών Απαλοιφή παρενθέσεων Πολλαπλασιασμός και Διαίρεση ρητών αριθμών

Διαβάστε περισσότερα

ΚΕΦΑΛΑΙΟ 3 ΤΟ ΔΙΩΝΥΜΙΚΟ ΘΕΩΡΗΜΑ

ΚΕΦΑΛΑΙΟ 3 ΤΟ ΔΙΩΝΥΜΙΚΟ ΘΕΩΡΗΜΑ ΚΕΦΑΛΑΙΟ 3 ΤΟ ΔΙΩΝΥΜΙΚΟ ΘΕΩΡΗΜΑ Εισαγωγή Οι αριθμοί που εκφράζουν το πλήθος των στοιχείων ανά αποτελούν ίσως τους πιο σημαντικούς αριθμούς της Συνδυαστικής και καλούνται διωνυμικοί συντελεστές διότι εμφανίζονται

Διαβάστε περισσότερα

ΓΡΑΜΜΙΚΗ ΑΛΓΕΒΡΑ (Εξ. Ιουνίου - 02/07/08) ΕΠΙΛΕΓΜΕΝΕΣ ΑΠΑΝΤΗΣΕΙΣ

ΓΡΑΜΜΙΚΗ ΑΛΓΕΒΡΑ (Εξ. Ιουνίου - 02/07/08) ΕΠΙΛΕΓΜΕΝΕΣ ΑΠΑΝΤΗΣΕΙΣ Ονοματεπώνυμο:......... Α.Μ....... Ετος... ΑΙΘΟΥΣΑ:....... I. (περί τις 55μ. = ++5++. Σωστό ή Λάθος: ΓΡΑΜΜΙΚΗ ΑΛΓΕΒΡΑ (Εξ. Ιουνίου - //8 ΕΠΙΛΕΓΜΕΝΕΣ ΑΠΑΝΤΗΣΕΙΣ (αʹ Αν AB = BA όπου A, B τετραγωνικά και

Διαβάστε περισσότερα

ΕΡΩΤΗΣΕΙΣ ΘΕΩΡΙΑΣ ΜΑΘΗΜΑΤΙΚΑ Β ΓΥΜΝΑΣΙΟΥ. ΜΕΡΟΣ 1ο ΑΛΓΕΒΡΑ

ΕΡΩΤΗΣΕΙΣ ΘΕΩΡΙΑΣ ΜΑΘΗΜΑΤΙΚΑ Β ΓΥΜΝΑΣΙΟΥ. ΜΕΡΟΣ 1ο ΑΛΓΕΒΡΑ 1. Τι καλείται μεταβλητή; ΕΡΩΤΗΣΕΙΣ ΘΕΩΡΙΑΣ ΜΑΘΗΜΑΤΙΑ Β ΓΥΜΝΑΣΙΟΥ ΜΕΡΟΣ 1ο ΑΛΓΕΒΡΑ Μεταβλητή είναι ένα γράμμα (π.χ., y, t, ) που το χρησιμοποιούμε για να παραστήσουμε ένα οποιοδήποτε στοιχείο ενός συνόλου..

Διαβάστε περισσότερα

Εφαρμοσμένα Μαθηματικά ΙΙ

Εφαρμοσμένα Μαθηματικά ΙΙ Τμήμα Μηχανολόγων Μηχανικών Πανεπιστήμιο Θεσσαλίας Εφαρμοσμένα Μαθηματικά ΙΙ Γραμμικά Συστήματα Ιωάννης Λυχναρόπουλος Μαθηματικός, MSc, PhD Γραμμικό Σύστημα a11x1 + a12x2 + + a1 nxn = b1 a x + a x + +

Διαβάστε περισσότερα

ΕΝΑΣ ΔΙΚΡΙΤΗΡΙΟΣ ΑΛΓΟΡΙΘΜΟΣ SIMPLEX

ΕΝΑΣ ΔΙΚΡΙΤΗΡΙΟΣ ΑΛΓΟΡΙΘΜΟΣ SIMPLEX ΚΕΦΑΛΑΙΟ 3 ΕΝΑΣ ΔΙΚΡΙΤΗΡΙΟΣ ΑΛΓΟΡΙΘΜΟΣ SIMPLEX 3.1 Εισαγωγή Ο αλγόριθμος Simplex θεωρείται πλέον ως ένας κλασικός αλγόριθμος για την επίλυση γραμμικών προβλημάτων. Η πρακτική αποτελεσματικότητά του έχει

Διαβάστε περισσότερα

Από το Γυμνάσιο στο Λύκειο... 7. 3. Δειγματικός χώρος Ενδεχόμενα... 42 Εύρεση δειγματικού χώρου... 46

Από το Γυμνάσιο στο Λύκειο... 7. 3. Δειγματικός χώρος Ενδεχόμενα... 42 Εύρεση δειγματικού χώρου... 46 ΠEΡΙΕΧΟΜΕΝΑ Από το Γυμνάσιο στο Λύκειο................................................ 7 1. Το Λεξιλόγιο της Λογικής.............................................. 11. Σύνολα..............................................................

Διαβάστε περισσότερα

Μαθηματικά. Ενότητα 2: Διαφορικός Λογισμός. Σαριαννίδης Νικόλαος Τμήμα Διοίκησης Επιχειρήσεων (Κοζάνη)

Μαθηματικά. Ενότητα 2: Διαφορικός Λογισμός. Σαριαννίδης Νικόλαος Τμήμα Διοίκησης Επιχειρήσεων (Κοζάνη) Μαθηματικά Ενότητα 2: Διαφορικός Λογισμός Σαριαννίδης Νικόλαος Τμήμα Διοίκησης Επιχειρήσεων (Κοζάνη) Άδειες Χρήσης Το παρόν εκπαιδευτικό υλικό υπόκειται σε άδειες χρήσης Creative Commons. Για εκπαιδευτικό

Διαβάστε περισσότερα

Ποσοτικές Μέθοδοι στη Διοίκηση Επιχειρήσεων ΙΙ Σύνολο- Περιεχόμενο Μαθήματος

Ποσοτικές Μέθοδοι στη Διοίκηση Επιχειρήσεων ΙΙ Σύνολο- Περιεχόμενο Μαθήματος Ποσοτικές Μέθοδοι στη Διοίκηση Επιχειρήσεων ΙΙ Σύνολο- Περιεχόμενο Μαθήματος Χιωτίδης Γεώργιος Τμήμα Λογιστικής και Χρηματοοικονομικής Άδειες Χρήσης Το παρόν εκπαιδευτικό υλικό υπόκειται σε άδειες χρήσης

Διαβάστε περισσότερα

Παρουσίαση 2 η : Αρχές εκτίμησης παραμέτρων Μέρος 1 ο

Παρουσίαση 2 η : Αρχές εκτίμησης παραμέτρων Μέρος 1 ο Εφαρμογές Ανάλυσης Σήματος στη Γεωδαισία Παρουσίαση η : Αρχές εκτίμησης παραμέτρων Μέρος ο Βασίλειος Δ. Ανδριτσάνος Αναπληρωτής Καθηγητής Γεώργιος Χλούπης Επίκουρος Καθηγητής Τμήμα Μηχανικών Τοπογραφίας

Διαβάστε περισσότερα

Κεφ. 6Β: Συνήθεις διαφορικές εξισώσεις (ΣΔΕ) - προβλήματα αρχικών τιμών

Κεφ. 6Β: Συνήθεις διαφορικές εξισώσεις (ΣΔΕ) - προβλήματα αρχικών τιμών Κεφ. 6Β: Συνήθεις διαφορικές εξισώσεις (ΣΔΕ) - προβλήματα αρχικών τιμών. Εισαγωγή (ορισμός προβλήματος, αριθμητική ολοκλήρωση ΣΔΕ, αντικατάσταση ΣΔΕ τάξης n με n εξισώσεις ης τάξης). Μέθοδος Euler 3. Μέθοδοι

Διαβάστε περισσότερα

Κεφ. 7: Συνήθεις διαφορικές εξισώσεις (ΣΔΕ) - προβλήματα αρχικών τιμών

Κεφ. 7: Συνήθεις διαφορικές εξισώσεις (ΣΔΕ) - προβλήματα αρχικών τιμών Κεφ. 7: Συνήθεις διαφορικές εξισώσεις (ΣΔΕ) - προβλήματα αρχικών τιμών 7. Εισαγωγή (ορισμός προβλήματος, αριθμητική ολοκλήρωση ΣΔΕ, αντικατάσταση ΣΔΕ τάξης n με n εξισώσεις ης τάξης) 7. Μέθοδος Euler 7.3

Διαβάστε περισσότερα

Συνήθεις Διαφορικές Εξισώσεις Ι Ασκήσεις - 09/11/2017. Άσκηση 1. Να βρεθεί η γενική λύση της διαφορικής εξίσωσης. dy dx = 2y + x 2 y 2 2x

Συνήθεις Διαφορικές Εξισώσεις Ι Ασκήσεις - 09/11/2017. Άσκηση 1. Να βρεθεί η γενική λύση της διαφορικής εξίσωσης. dy dx = 2y + x 2 y 2 2x Συνήθεις Διαφορικές Εξισώσεις Ι Ασκήσεις - 09/11/017 Άσκηση 1. Να βρεθεί η γενική λύση της διαφορικής εξίσωσης dx y + x y. x Παρατηρούμε ότι η δ.ε. είναι ομογενής. Πράγματι, dx y x + 1 x y x y x + 1 (

Διαβάστε περισσότερα

Μερικές φορές δεν μπορούμε να αποφανθούμε για την τιμή του άπειρου αθροίσματος.

Μερικές φορές δεν μπορούμε να αποφανθούμε για την τιμή του άπειρου αθροίσματος. Σειρές Σειρές και μερικά αθροίσματα: Το πρόβλημα της άθροισης μιας σειράς άπειρων όρων είναι πολύ παλιό. Μερικές φορές μια τέτοια σειρά καταλήγει σε πεπερασμένο αποτέλεσμα, μερικές φορές απειρίζεται και

Διαβάστε περισσότερα

III.9 ΑΚΡΟΤΑΤΑ ΣΕ ΠΕΡΙΟΧΗ

III.9 ΑΚΡΟΤΑΤΑ ΣΕ ΠΕΡΙΟΧΗ III.9 ΑΚΡΟΤΑΤΑ ΣΕ ΠΕΡΙΟΧΗ.Ολικά και τοπικά ακρότατα..εσωτερικά και συνοριακά ακρότατα 3.Χωριζόμενες μεταβλητές 4.Συνθήκες για ακρότατα 5.Ολικά ακρότατα κυρτών/κοίλων συναρτήσεων 6.Περισσότερες μεταβλητές.

Διαβάστε περισσότερα

Βασικές αρχές εκπαίδευσης ΤΝΔ: το perceptron. "Τεχνητά Νευρωνικά Δίκτυα" (Διαφάνειες), Α. Λύκας, Παν. Ιωαννίνων

Βασικές αρχές εκπαίδευσης ΤΝΔ: το perceptron. Τεχνητά Νευρωνικά Δίκτυα (Διαφάνειες), Α. Λύκας, Παν. Ιωαννίνων Βασικές αρχές εκπαίδευσης ΤΝΔ: το perceptron Βιολογικός Νευρώνας Δενδρίτες, που αποτελούν τις γραμμές εισόδου των ερεθισμάτων (βιολογικών σημάτων) Σώμα, στο οποίο γίνεται η συσσώρευση των ερεθισμάτων και

Διαβάστε περισσότερα

Επαναληπτικές μέθοδοι

Επαναληπτικές μέθοδοι Επαναληπτικές μέθοδοι Η μέθοδος της διχοτόμησης και η μέθοδος Regula Fals που αναφέραμε αξιοποιούσαν το κριτήριο του Bolzano, πραγματοποιώντας διαδοχικές υποδιαιρέσεις του διαστήματος [α, b] στο οποίο,

Διαβάστε περισσότερα

Σέργιος Θεοδωρίδης Κωνσταντίνος Κουτρούμπας. Version 2

Σέργιος Θεοδωρίδης Κωνσταντίνος Κουτρούμπας. Version 2 Σέργιος Θεοδωρίδης Κωνσταντίνος Κουτρούμπας Verson ΧΑΡΤΟΓΡΑΦΗΣΗ ΤΟΥ ΧΩΡΟΥ ΤΩΝ ΤΑΞΙΝΟΜΗΤΩΝ Ταξινομητές Ταξινομητές συναρτ. διάκρισης Ταξινομητές επιφανειών απόφ. Παραμετρικοί ταξινομητές Μη παραμετρικοί

Διαβάστε περισσότερα

. (1) , lim να υπάρχουν και να είναι πεπερασμένα, δηλαδή πραγματικοί αριθμοί.

. (1) , lim να υπάρχουν και να είναι πεπερασμένα, δηλαδή πραγματικοί αριθμοί. O μετασχηματισμός Laplace αποτελεί περίπτωση ολοκληρωτικού μετασχηματισμού, κατά τον οποίο κατάλληλη συνάρτηση (χρονικό σήμα) μετατρέπεται σε συνάρτηση της «συχνότητας» μέσω της σχέσης. (1) Γενικότερα

Διαβάστε περισσότερα

z = c 1 x 1 + c 2 x c n x n

z = c 1 x 1 + c 2 x c n x n Τεχνολογικό Εκπαιδευτικό Ιδρυμα Κεντρικής Μακεδονίας - Σέρρες Τμήμα Μηχανικών Πληροφορικής Γραμμικός Προγραμματισμός & Βελτιστοποίηση Δρ. Δημήτρης Βαρσάμης Καθηγητής Εφαρμογών Δρ. Δημήτρης Βαρσάμης Μάρτιος

Διαβάστε περισσότερα

f(x) = και στην συνέχεια

f(x) = και στην συνέχεια ΕΡΩΤΗΣΕΙΣ ΜΑΘΗΤΩΝ Ερώτηση. Στις συναρτήσεις μπορούμε να μετασχηματίσουμε πρώτα τον τύπο τους και μετά να βρίσκουμε το πεδίο ορισμού τους; Όχι. Το πεδίο ορισμού της συνάρτησης το βρίσκουμε πριν μετασχηματίσουμε

Διαβάστε περισσότερα

Συνδυαστική Βελτιστοποίηση Εισαγωγή στον γραμμικό προγραμματισμό (ΓΠ)

Συνδυαστική Βελτιστοποίηση Εισαγωγή στον γραμμικό προγραμματισμό (ΓΠ) Ανάλυση Ευαισθησίας. Έχοντας λύσει ένας πρόβλημα ΓΠ θα πρέπει να αναρωτηθούμε αν η λύση έχει φυσική σημασία. Είναι επίσης πολύ πιθανό να έχουμε χρησιμοποιήσει δεδομένα για τα οποία δεν είμαστε σίγουροι

Διαβάστε περισσότερα

Συστήματα συντεταγμένων

Συστήματα συντεταγμένων Κεφάλαιο. Για να δημιουργήσουμε τρισδιάστατα αντικείμενα, που μπορούν να παρασταθούν στην οθόνη του υπολογιστή ως ένα σύνολο από γραμμές, επίπεδες πολυγωνικές επιφάνειες ή ακόμη και από ένα συνδυασμό από

Διαβάστε περισσότερα

II.6 ΙΣΟΣΤΑΘΜΙΚΕΣ. 1. Γραφήματα-Επιφάνειες: z= 2. Γραμμική προσέγγιση-εφαπτόμενο επίπεδο. 3. Ισοσταθμικές: f(x, y) = c

II.6 ΙΣΟΣΤΑΘΜΙΚΕΣ. 1. Γραφήματα-Επιφάνειες: z= 2. Γραμμική προσέγγιση-εφαπτόμενο επίπεδο. 3. Ισοσταθμικές: f(x, y) = c II.6 ΙΣΟΣΤΑΘΜΙΚΕΣ.Γραφήματα-Επιφάνειες.Γραμμική προσέγγιση-εφαπτόμενο επίπεδο 3.Ισοσταθμικές 4.Κλίση ισοσταθμικών 5.Διανυσματική ή Ιακωβιανή παράγωγος 6.Ιδιότητες των ισοσταθμικών 7.κυρτότητα των ισοσταθμικών

Διαβάστε περισσότερα

ΘΕΩΡΙΑ ΑΠΟΦΑΣΕΩΝ 3 ο ΦΡΟΝΤΙΣΤΗΡΙΟ ΛΥΣΕΙΣ ΤΩΝ ΑΣΚΗΣΕΩΝ

ΘΕΩΡΙΑ ΑΠΟΦΑΣΕΩΝ 3 ο ΦΡΟΝΤΙΣΤΗΡΙΟ ΛΥΣΕΙΣ ΤΩΝ ΑΣΚΗΣΕΩΝ ΘΕΩΡΙΑ ΑΠΟΦΑΣΕΩΝ 3 ο ΦΡΟΝΤΙΣΤΗΡΙΟ ΛΥΣΕΙΣ ΤΩΝ ΑΣΚΗΣΕΩΝ ΑΣΚΗΣΗ Σύμφωνα με στοιχεία από το Πανεπιστήμιο της Οξφόρδης η πιθανότητα ένας φοιτητής να αποφοιτήσει μέσα σε 5 χρόνια από την ημέρα εγγραφής του στο

Διαβάστε περισσότερα

Συνήθεις διαφορικές εξισώσεις προβλήματα οριακών τιμών

Συνήθεις διαφορικές εξισώσεις προβλήματα οριακών τιμών Συνήθεις διαφορικές εξισώσεις προβλήματα οριακών τιμών Οι παρούσες σημειώσεις αποτελούν βοήθημα στο μάθημα Αριθμητικές Μέθοδοι του 5 ου εξαμήνου του ΤΜΜ ημήτρης Βαλουγεώργης Καθηγητής Εργαστήριο Φυσικών

Διαβάστε περισσότερα

Ισότητα, Αλγεβρικές και Αναλυτικές Ιδιότητες Πραγματικών Ακολουθιών

Ισότητα, Αλγεβρικές και Αναλυτικές Ιδιότητες Πραγματικών Ακολουθιών Ισότητα, Αλγεβρικές και Αναλυτικές Ιδιότητες Πραγματικών Ακολουθιών Συμβολισμοί Σε αναλογία με τους ορισμούς συμβολίζουμε μια ακολουθία: 1 είτε μέσω του διανυσματικού ορισμού, παραθέτοντας αναγκαστικά

Διαβάστε περισσότερα

- ΟΡΙΟ - ΣΥΝΕΧΕΙΑ ΣΥΝΑΡΤΗΣΗΣ ΕΝΟΤΗΤΑ 6: ΜΗ ΠΕΠΕΡΑΣΜΕΝΟ ΟΡΙΟ ΣΤΟ

- ΟΡΙΟ - ΣΥΝΕΧΕΙΑ ΣΥΝΑΡΤΗΣΗΣ ΕΝΟΤΗΤΑ 6: ΜΗ ΠΕΠΕΡΑΣΜΕΝΟ ΟΡΙΟ ΣΤΟ ΚΕΦΑΛΑΙΟ ο: ΣΥΝΑΡΤΗΣΕΙΣ - ΟΡΙΟ - ΣΥΝΕΧΕΙΑ ΣΥΝΑΡΤΗΣΗΣ ΕΝΟΤΗΤΑ 6: ΜΗ ΠΕΠΕΡΑΣΜΕΝΟ ΟΡΙΟ ΣΤΟ R - ΟΡΙΟ ΣΥΝΑΡΤΗΣΗΣ ΣΤΟ ΑΠΕΙΡΟ - ΠΕΠΕΡΑΣΜΕΝΟ ΟΡΙΟ ΑΚΟΛΟΥΘΙΑΣ [Κεφ..6: Μη Πεπερασμένο Όριο στο R - Κεφ..7: Όρια Συνάρτησης

Διαβάστε περισσότερα

Από το Γυμνάσιο στο Λύκειο Δειγματικός χώρος Ενδεχόμενα Εύρεση δειγματικού χώρου... 46

Από το Γυμνάσιο στο Λύκειο Δειγματικός χώρος Ενδεχόμενα Εύρεση δειγματικού χώρου... 46 ΠEΡΙΕΧΟΜΕΝΑ Από το Γυμνάσιο στο Λύκειο................................................ 7 1. Το Λεξιλόγιο της Λογικής.............................................. 11 2. Σύνολα..............................................................

Διαβάστε περισσότερα

Τι είναι βαθμωτό μέγεθος? Ένα μέγεθος που περιγράφεται μόνο με έναν αριθμό (π.χ. πίεση)

Τι είναι βαθμωτό μέγεθος? Ένα μέγεθος που περιγράφεται μόνο με έναν αριθμό (π.χ. πίεση) TETY Εφαρμοσμένα Μαθηματικά Ενότητα ΙΙ: Γραμμική Άλγεβρα Ύλη: Διανυσματικοί χώροι και διανύσματα, μετασχηματισμοί διανυσμάτων, τελεστές και πίνακες, ιδιοδιανύσματα και ιδιοτιμές πινάκων, επίλυση γραμμικών

Διαβάστε περισσότερα

Το μοντέλο Perceptron

Το μοντέλο Perceptron Το μοντέλο Perceptron Αποτελείται από έναν μόνο νευρώνα McCulloch-Pitts w j x x 1, x2,..., w x T 1 1 x 2 w 2 Σ u x n f(u) Άνυσμα Εισόδου s i x j x n w n -θ w w 1, w2,..., w n T Άνυσμα Βαρών 1 Το μοντέλο

Διαβάστε περισσότερα

Θεωρία Αποφάσεων ο. 4 Φροντιστήριο. Λύσεις των Ασκήσεων

Θεωρία Αποφάσεων ο. 4 Φροντιστήριο. Λύσεις των Ασκήσεων Θεωρία Αποφάσεων ο Φροντιστήριο Λύσεις των Ασκήσεων Άσκηση Έστω ένα πρόβλημα ταξινόμησης μιας διάστασης με δύο κατηγορίες, όπου για κάθε κατηγορία έχουν συλλεχθεί τα παρακάτω δεδομένα: D = {, 2,,,,7 }

Διαβάστε περισσότερα

Αναγνώριση Προτύπων Ι

Αναγνώριση Προτύπων Ι Αναγνώριση Προτύπων Ι Ενότητα 3: Στοχαστικά Συστήματα Αν. Καθηγητής Δερματάς Ευάγγελος Τμήμα Ηλεκτρολόγων Μηχανικών και Τεχνολογίας Υπολογιστών Άδειες Χρήσης Το παρόν εκπαιδευτικό υλικό υπόκειται σε άδειες

Διαβάστε περισσότερα

ΔΙΑΦΟΡΙΚΟΣ ΛΟΓΙΣΜΟΣ ΣΥΝΟΠΤΙΚΗ ΘΕΩΡΕΙΑ ΜΕΘΟΔΟΛΟΓΙΑ ΛΥΜΕΝΑ ΠΑΡΑΔΕΙΓΜΑΤΑ

ΔΙΑΦΟΡΙΚΟΣ ΛΟΓΙΣΜΟΣ ΣΥΝΟΠΤΙΚΗ ΘΕΩΡΕΙΑ ΜΕΘΟΔΟΛΟΓΙΑ ΛΥΜΕΝΑ ΠΑΡΑΔΕΙΓΜΑΤΑ ΔΙΑΦΟΡΙΚΟΣ ΛΟΓΙΣΜΟΣ ΣΥΝΟΠΤΙΚΗ ΘΕΩΡΕΙΑ ΜΕΘΟΔΟΛΟΓΙΑ ΛΥΜΕΝΑ ΠΑΡΑΔΕΙΓΜΑΤΑ Φροντιστήριο Μ.Ε. «ΑΙΧΜΗ» Κ.Καρτάλη 8 Βόλος Τηλ. 43598 ΠΊΝΑΚΑΣ ΠΕΡΙΕΧΟΜΈΝΩΝ 3. Η ΕΝΝΟΙΑ ΤΗΣ ΠΑΡΑΓΩΓΟΥ... 5 ΜΕΘΟΔΟΛΟΓΙΑ ΛΥΜΕΝΑ ΠΑΡΑΔΕΙΓΜΑΤΑ...

Διαβάστε περισσότερα

ΑΝΑΓΝΩΡΙΣΗ ΠΡΟΤΥΠΩΝ. ΕΝΟΤΗΤΑ: Γραμμικές Συναρτήσεις Διάκρισης. ΔΙΔΑΣΚΟΝΤΕΣ: Βλάμος Π. Αυλωνίτης Μ. ΙΟΝΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΤΜΗΜΑ ΠΛΗΡΟΦΟΡΙΚΗΣ

ΑΝΑΓΝΩΡΙΣΗ ΠΡΟΤΥΠΩΝ. ΕΝΟΤΗΤΑ: Γραμμικές Συναρτήσεις Διάκρισης. ΔΙΔΑΣΚΟΝΤΕΣ: Βλάμος Π. Αυλωνίτης Μ. ΙΟΝΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΤΜΗΜΑ ΠΛΗΡΟΦΟΡΙΚΗΣ ΑΝΑΓΝΩΡΙΣΗ ΠΡΟΤΥΠΩΝ ΕΝΟΤΗΤΑ: Γραμμικές Συναρτήσεις Διάκρισης ΙΟΝΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΤΜΗΜΑ ΠΛΗΡΟΦΟΡΙΚΗΣ ΔΙΔΑΣΚΟΝΤΕΣ: Βλάμος Π. Αυλωνίτης Μ. Άδειες Χρήσης Το παρόν εκπαιδευτικό υλικό υπόκειται σε άδειες χρήσης

Διαβάστε περισσότερα

Περιεχόμενα. Πρόλογος 3

Περιεχόμενα. Πρόλογος 3 Πρόλογος Η χρησιμότητα της Γραμμικής Άλγεβρας είναι σχεδόν αυταπόδεικτη. Αρκεί μια ματιά στο πρόγραμμα σπουδών, σχεδόν κάθε πανεπιστημιακού τμήματος θετικών επιστημών, για να διαπιστώσει κανείς την παρουσία

Διαβάστε περισσότερα

4.3. Γραµµικοί ταξινοµητές

4.3. Γραµµικοί ταξινοµητές Γραµµικοί ταξινοµητές Γραµµικός ταξινοµητής είναι ένα σύστηµα ταξινόµησης που χρησιµοποιεί γραµµικές διακριτικές συναρτήσεις Οι ταξινοµητές αυτοί αναπαρίστανται συχνά µε οµάδες κόµβων εντός των οποίων

Διαβάστε περισσότερα

= 7. Στο σημείο αυτό θα υπενθυμίσουμε κάποιες βασικές ιδιότητες του μετασχηματισμού Laplace, δηλαδή τις

= 7. Στο σημείο αυτό θα υπενθυμίσουμε κάποιες βασικές ιδιότητες του μετασχηματισμού Laplace, δηλαδή τις 1. Εισαγωγή Δίνεται η συνάρτηση μεταφοράς = = 1 + 6 + 11 + 6 = + 6 + 11 + 6 =. 2 Στο σημείο αυτό θα υπενθυμίσουμε κάποιες βασικές ιδιότητες του μετασχηματισμού Laplace, δηλαδή τις L = 0 # και L $ % &'

Διαβάστε περισσότερα

Κεφάλαιο 1 o Εξισώσεις - Ανισώσεις

Κεφάλαιο 1 o Εξισώσεις - Ανισώσεις 2 ΕΡΩΤΗΣΕΙΙΣ ΘΕΩΡΙΙΑΣ ΑΠΟ ΤΗΝ ΥΛΗ ΤΗΣ Β ΤΑΞΗΣ ΜΕΡΟΣ Α -- ΑΛΓΕΒΡΑ Κεφάλαιο 1 o Εξισώσεις - Ανισώσεις Α. 1 1 1. Τι ονομάζεται Αριθμητική και τι Αλγεβρική παράσταση; Ονομάζεται Αριθμητική παράσταση μια παράσταση

Διαβάστε περισσότερα

Εφαρμοσμένα Μαθηματικά ΙΙ

Εφαρμοσμένα Μαθηματικά ΙΙ Τμήμα Μηχανολόγων Μηχανικών Πανεπιστήμιο Θεσσαλίας Εφαρμοσμένα Μαθηματικά ΙΙ Διανυσματικοί Χώροι Ιωάννης Λυχναρόπουλος Μαθηματικός, MSc, PhD Διανυσματικός Χώρος επί του F Αλγεβρική δομή που αποτελείται

Διαβάστε περισσότερα

Ασκήσεις Φροντιστηρίου «Υπολογιστική Νοημοσύνη Ι» 4 o Φροντιστήριο

Ασκήσεις Φροντιστηρίου «Υπολογιστική Νοημοσύνη Ι» 4 o Φροντιστήριο Ασκήσεις Φροντιστηρίου 4 o Φροντιστήριο Πρόβλημα 1 ο Ο πίνακας συσχέτισης R x του διανύσματος εισόδου x( στον LMS αλγόριθμο 1 0.5 R x = ορίζεται ως: 0.5 1. Ορίστε το διάστημα των τιμών της παραμέτρου μάθησης

Διαβάστε περισσότερα

ΜΙΓΑΔΙΚΟΙ ΑΡΙΘΜΟΙ ΕΠΙΜΕΛΕΙΑ : ΑΥΓΕΡΙΝΟΣ ΒΑΣΙΛΗΣ

ΜΙΓΑΔΙΚΟΙ ΑΡΙΘΜΟΙ ΕΠΙΜΕΛΕΙΑ : ΑΥΓΕΡΙΝΟΣ ΒΑΣΙΛΗΣ ΜΙΓΑΔΙΚΟΙ ΑΡΙΘΜΟΙ ΕΠΙΜΕΛΕΙΑ : ΑΥΓΕΡΙΝΟΣ ΒΑΣΙΛΗΣ ΕΥΡΙΠΙΔΟΥ 80 ΝΙΚΑΙΑ ΝΕΑΠΟΛΗ ΤΗΛΕΦΩΝΟ 0965897 ΔΙΕΥΘΥΝΣΗ ΣΠΟΥΔΩΝ ΒΡΟΥΤΣΗ ΕΥΑΓΓΕΛΙΑ ΜΠΟΥΡΝΟΥΤΣΟΥ ΚΩΝ/ΝΑ ΑΥΓΕΡΙΝΟΣ ΒΑΣΙΛΗΣ ΜΙΓΑΔΙΚΟΙ ΑΡΙΘΜΟΙ Η έννοια του μιγαδικού

Διαβάστε περισσότερα

ΜΕΘΟΔΟΛΟΓΙΕΣ & ΑΣΚΗΣΕΙΣ ΓΙΑ ΤΗΝ ΑΛΓΕΒΡΑ ΤΗΣ Α ΛΥΚΕΙΟΥ

ΜΕΘΟΔΟΛΟΓΙΕΣ & ΑΣΚΗΣΕΙΣ ΓΙΑ ΤΗΝ ΑΛΓΕΒΡΑ ΤΗΣ Α ΛΥΚΕΙΟΥ ΜΕΘΟΔΟΛΟΓΙΕΣ & ΑΣΚΗΣΕΙΣ ΓΙΑ ΤΗΝ ΑΛΓΕΒΡΑ ΤΗΣ Α ΛΥΚΕΙΟΥ Επιμέλεια : Παλαιολόγου Παύλος Μαθηματικός Αγαπητοί μαθητές. αυτό το βιβλίο αποτελεί ένα βοήθημα στην ύλη της Άλγεβρας Α Λυκείου, που είναι ένα από

Διαβάστε περισσότερα

ΔΙΕΡΕΥΝΗΣΗ ΤΟΥ ΠΡΟΒΛΗΜΑΤΟΣ ΤΗΣ ΑΠΟΡΡΟΗΣ ΤΩΝ ΟΜΒΡΙΩΝ ΣΕ ΚΡΙΣΙΜΕΣ ΓΙΑ ΤΗΝ ΑΣΦΑΛΕΙΑ ΠΕΡΙΟΧΕΣ ΤΩΝ ΟΔΙΚΩΝ ΧΑΡΑΞΕΩΝ

ΔΙΕΡΕΥΝΗΣΗ ΤΟΥ ΠΡΟΒΛΗΜΑΤΟΣ ΤΗΣ ΑΠΟΡΡΟΗΣ ΤΩΝ ΟΜΒΡΙΩΝ ΣΕ ΚΡΙΣΙΜΕΣ ΓΙΑ ΤΗΝ ΑΣΦΑΛΕΙΑ ΠΕΡΙΟΧΕΣ ΤΩΝ ΟΔΙΚΩΝ ΧΑΡΑΞΕΩΝ ΔΙΕΡΕΥΝΗΣΗ ΤΟΥ ΠΡΟΒΛΗΜΑΤΟΣ ΤΗΣ ΑΠΟΡΡΟΗΣ ΤΩΝ ΟΜΒΡΙΩΝ ΣΕ ΚΡΙΣΙΜΕΣ ΓΙΑ ΤΗΝ ΑΣΦΑΛΕΙΑ ΠΕΡΙΟΧΕΣ ΤΩΝ ΟΔΙΚΩΝ ΧΑΡΑΞΕΩΝ Ν. Ε. Ηλιού Αναπληρωτής Καθηγητής Τμήματος Πολιτικών Μηχανικών Πανεπιστημίου Θεσσαλίας Γ. Δ.

Διαβάστε περισσότερα

1. Πότε χρησιμοποιούμε την δομή επανάληψης; Ποιες είναι οι διάφορες εντολές (μορφές) της;

1. Πότε χρησιμοποιούμε την δομή επανάληψης; Ποιες είναι οι διάφορες εντολές (μορφές) της; 1. Πότε χρησιμοποιούμε την δομή επανάληψης; Ποιες είναι οι διάφορες (μορφές) της; Η δομή επανάληψης χρησιμοποιείται όταν μια σειρά εντολών πρέπει να εκτελεστεί σε ένα σύνολο περιπτώσεων, που έχουν κάτι

Διαβάστε περισσότερα

Φίλη μαθήτρια, φίλε μαθητή,

Φίλη μαθήτρια, φίλε μαθητή, Φίλη μαθήτρια φίλε μαθητή Η εργασία αυτή έγινε με σκοπό να συμβάλει στην κατανόηση στην εμπέδωση και στην εμβάθυνση των μαθηματικών εννοιών που αναπτύσσονται στην Άλγεβρα της Β Λυκείου. Η ύλη είναι γραμμένη

Διαβάστε περισσότερα

Περιεχόμενα. Κεφάλαιο 3 Οι ιδιότητες των αριθμών... 37 3.1 Αριθμητικά σύνολα... 37 3.2 Ιδιότητες... 37 3.3 Περισσότερες ιδιότητες...

Περιεχόμενα. Κεφάλαιο 3 Οι ιδιότητες των αριθμών... 37 3.1 Αριθμητικά σύνολα... 37 3.2 Ιδιότητες... 37 3.3 Περισσότερες ιδιότητες... Περιεχόμενα Πρόλογος... 5 Κεφάλαιο Βασικές αριθμητικές πράξεις... 5. Τέσσερις πράξεις... 5. Σύστημα πραγματικών αριθμών... 5. Γραφική αναπαράσταση πραγματικών αριθμών... 6.4 Οι ιδιότητες της πρόσθεσης

Διαβάστε περισσότερα

ΜΑΘΗΜΑΤΙΚΑ Θετικής & Τεχνολογικής Κατεύθυνσης Β ΜΕΡΟΣ (ΑΝΑΛΥΣΗ) ΚΕΦ 1 ο : Όριο Συνέχεια Συνάρτησης

ΜΑΘΗΜΑΤΙΚΑ Θετικής & Τεχνολογικής Κατεύθυνσης Β ΜΕΡΟΣ (ΑΝΑΛΥΣΗ) ΚΕΦ 1 ο : Όριο Συνέχεια Συνάρτησης ΜΑΘΗΜΑΤΙΚΑ Θετικής & Τεχνολογικής Κατεύθυνσης Β ΜΕΡΟΣ (ΑΝΑΛΥΣΗ) ΚΕΦ ο : Όριο Συνέχεια Συνάρτησης Φυλλάδιο Φυλλάδι555 4 ο ο.α) ΕΝΝΟΙΑ ΣΥΝΑΡΤΗΣΗΣ - ΓΡΑΦΙΚΗ ΠΑΡΑΣΤΑΣΗ.α) ΕΝΝΟΙΑ ΣΥΝΑΡΤΗΣΗΣ - ΓΡΑΦΙΚΗ ΠΑΡΑΣΤΑΣΗ

Διαβάστε περισσότερα

Εφαρμοσμένα Μαθηματικά ΙΙ 9ο Σετ Ασκήσεων (Λύσεις) Διανυσματικοί Χώροι

Εφαρμοσμένα Μαθηματικά ΙΙ 9ο Σετ Ασκήσεων (Λύσεις) Διανυσματικοί Χώροι Εφαρμοσμένα Μαθηματικά ΙΙ 9ο Σετ Ασκήσεων (Λύσεις) Διανυσματικοί Χώροι Επιμέλεια: Ι. Λυχναρόπουλος. Δείξτε ότι ο V R εφοδιασμένος με τις ακόλουθες πράξεις (, a b) + (, d) ( a+, b+ d) και k ( ab, ) ( kakb,

Διαβάστε περισσότερα

Εφαρμοσμένα Μαθηματικά ΙΙ

Εφαρμοσμένα Μαθηματικά ΙΙ Τμήμα Μηχανολόγων Μηχανικών Πανεπιστήμιο Θεσσαλίας Εφαρμοσμένα Μαθηματικά ΙΙ Διανυσματικοί Χώροι Ιωάννης Λυχναρόπουλος Μαθηματικός, MSc, PhD Διανυσματικός Χώρος επί του F Αλγεβρική δομή που αποτελείται

Διαβάστε περισσότερα

Κεφάλαιο 5 ΔΙΔΙΑΣΤΑΤΑ ΓΡΑΜΜΙΚΑ ΣΥΣΤΗΜΑΤΑ. Ενα αυτόνομο δυναμικό σύστημα δύο διαστάσεων περιγράφεται από τις εξισώσεις

Κεφάλαιο 5 ΔΙΔΙΑΣΤΑΤΑ ΓΡΑΜΜΙΚΑ ΣΥΣΤΗΜΑΤΑ. Ενα αυτόνομο δυναμικό σύστημα δύο διαστάσεων περιγράφεται από τις εξισώσεις Κεφάλαιο 5 ΔΙΔΙΑΣΤΑΤΑ ΓΡΑΜΜΙΚΑ ΣΥΣΤΗΜΑΤΑ Ενα αυτόνομο δυναμικό σύστημα δύο διαστάσεων περιγράφεται από τις εξισώσεις ẋ 1 f 1 (x 1 x 2 ) ẋ 2 f 2 (x 1 x 2 ) (501) Το σύστημα αυτό γράφεται σε διανυσματική

Διαβάστε περισσότερα

τριώνυμο Η εξίσωση δευτέρου βαθμού στην πλήρη της μορφή ονομάζεται τριώνυμο, γιατί αποτελείται από τρία μονώνυμα. Η γενική μορφή της είναι:

τριώνυμο Η εξίσωση δευτέρου βαθμού στην πλήρη της μορφή ονομάζεται τριώνυμο, γιατί αποτελείται από τρία μονώνυμα. Η γενική μορφή της είναι: κεφάλαιο 4 Α τριώνυμο επίλυση της εξίσωσης δευτέρου βαθμού Η εξίσωση δευτέρου βαθμού στην πλήρη της μορφή ονομάζεται τριώνυμο, γιατί αποτελείται από τρία μονώνυμα. Η γενική μορφή της είναι: αx + βx + γ

Διαβάστε περισσότερα

ΔΙΚΤΥO RBF. "Τεχνητά Νευρωνικά Δίκτυα" (Διαφάνειες), Α. Λύκας, Παν. Ιωαννίνων

ΔΙΚΤΥO RBF. Τεχνητά Νευρωνικά Δίκτυα (Διαφάνειες), Α. Λύκας, Παν. Ιωαννίνων ΔΙΚΤΥO RBF Αρχιτεκτονική δικτύου RBF Δίκτυα RBF: δίκτυα συναρτήσεων πυρήνα (radial basis function networks). Πρόσθιας τροφοδότησης (feedforward) για προβλήματα μάθησης με επίβλεψη. Εναλλακτικό του MLP.

Διαβάστε περισσότερα

Γραμμικός Προγραμματισμός και θεωρία Παιγνίων

Γραμμικός Προγραμματισμός και θεωρία Παιγνίων Σε αυτό το κεφάλαιο θα χρησιμοποιήσουμε πίνακες οι οποίοι δεν θα είναι γραμμικές εξισώσεις. Θα πρέπει λοιπόν να δούμε την γεωμετρική ερμηνεία των ανισώσεων. Μια ανίσωση διαιρεί τον n-διάστατο χώρο σε δύο

Διαβάστε περισσότερα

ΕΛΛΗΝΙΚΟ ΑΝΟΙΚΤΟ ΠΑΝΕΠΙΣΤΗΜΙΟ

ΕΛΛΗΝΙΚΟ ΑΝΟΙΚΤΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΕΛΛΗΝΙΚΟ ΑΝΟΙΚΤΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΠΡΟΓΡΑΜΜΑ ΣΠΟΥΔΩΝ ΣΤΗΝ ΠΛΗΡΟΦΟΡΙΚΗ ΜΑΘΗΜΑΤΙΚΑ ΓΙΑ ΤΗΝ ΠΛΗΡΟΦΟΡΙΚΗ Ι (ΘΕ ΠΛΗ ) ΑΠΑΝΤΗΣΕΙΣ ΘΕΜΑΤΩΝ ΤΕΛΙΚΗΣ ΕΞΕΤΑΣΗΣ 9 Ιουνίου (διάρκεια ώρες και λ) Διαβάστε προσεκτικά και απαντήστε

Διαβάστε περισσότερα

ΣΗΜΑΤΑ ΚΑΙ ΣΥΣΤΗΜΑΤΑ Ι

ΣΗΜΑΤΑ ΚΑΙ ΣΥΣΤΗΜΑΤΑ Ι ΣΗΜΑΤΑ ΚΑΙ ΣΥΣΤΗΜΑΤΑ Ι Προσέγγιση και Ομοιότητα Σημάτων Επιμέλεια: Πέτρος Π. Γρουμπός Καθηγητής Γεώργιος Α. Βασκαντήρας Υπ. Διδάκτορας Τμήμα Ηλεκτρολόγων Μηχανικών & Τεχνολογίας Υπολογιστών Άδειες Χρήσης

Διαβάστε περισσότερα

ΠΡΟΒΛΗΜΑΤΑ ΔΥΟ ΔΙΑΣΤΑΣΕΩΝ

ΠΡΟΒΛΗΜΑΤΑ ΔΥΟ ΔΙΑΣΤΑΣΕΩΝ ΠΡΟΒΛΗΜΑΤΑ ΔΥΟ ΔΙΑΣΤΑΣΕΩΝ Η ανάλυση προβλημάτων δύο διαστάσεων με τη μέθοδο των Πεπερασμένων Στοιχείων περιλαμβάνει τα ίδια βήματα όπως και στα προβλήματα μιας διάστασης. Η ανάλυση γίνεται λίγο πιο πολύπλοκη

Διαβάστε περισσότερα

ΠΑΝΕΠΙΣΤΗΜΙΟ ΑΘΗΝΩΝ Τμήμα Φυσικής Σημειώσεις Ανάλυσης Ι (ανανεωμένο στις 5 Δεκεμβρίου 2012)

ΠΑΝΕΠΙΣΤΗΜΙΟ ΑΘΗΝΩΝ Τμήμα Φυσικής Σημειώσεις Ανάλυσης Ι (ανανεωμένο στις 5 Δεκεμβρίου 2012) ΠΑΝΕΠΙΣΤΗΜΙΟ ΑΘΗΝΩΝ Τμήμα Φυσικής Σημειώσεις Ανάλυσης Ι (ανανεωμένο στις 5 Δεκεμβρίου 2012) Τμήμα Θ. Αποστολάτου & Π. Ιωάννου 1 Σειρές O Ζήνων ο Ελεάτης (490-430 π.χ.) στη προσπάθειά του να υποστηρίξει

Διαβάστε περισσότερα

Συνδυαστική Βελτιστοποίηση Εισαγωγή στον γραμμικό προγραμματισμό (ΓΠ)

Συνδυαστική Βελτιστοποίηση Εισαγωγή στον γραμμικό προγραμματισμό (ΓΠ) Δυϊκότητα Θα δείξουμε πώς μπορούμε να αντιστοιχίσουμε ένα πρόβλημα ελαχιστοποίησης με ένα πρόβλημα ΓΠ στην συνήθη του μορφή. Ένα πρόβλημα στην συνήθη του μορφή μπορεί να είναι ένα κατασκευαστικό πρόβλημα,

Διαβάστε περισσότερα

ΜΕΘΟΔΟΣ ΠΕΠΕΡΑΣΜΕΝΩΝ ΣΤΟΙΧΕΙΩΝ

ΜΕΘΟΔΟΣ ΠΕΠΕΡΑΣΜΕΝΩΝ ΣΤΟΙΧΕΙΩΝ ΜΕΘΟΔΟΣ ΠΕΠΕΡΑΣΜΕΝΩΝ ΣΤΟΙΧΕΙΩΝ Βασίζεται στην εφαρμογή των παρακάτω βημάτων:. Το φυσικό πεδίο αναπαριστάται με ένα σύνολο απλών γεωμετρικών σχημάτων που ονομάζονται Πεπερασμένα Στοιχεία.. Σε κάθε στοιχείο

Διαβάστε περισσότερα

4. Μέθοδοι αναγνώρισης ταξινοµητές µε επόπτη

4. Μέθοδοι αναγνώρισης ταξινοµητές µε επόπτη ΑΕΙ Σερρών 4. Μέθοδοι αναγνώρισης ταξινοµητές µε επόπτη 4.. Αναγνώριση µε βάση τα κέντρα των τάξεων Είναι µια απλοϊκή µέθοδος αναγνώρισης µε επόπτη σύµφωνα µε την οποία κατά την εκµάθηση υπολογίζεται η

Διαβάστε περισσότερα

Κεφάλαιο 4: Στοιχεία της εκδοχής hp της ΜΠΣ στις 2- διαστάσεις

Κεφάλαιο 4: Στοιχεία της εκδοχής hp της ΜΠΣ στις 2- διαστάσεις Κεφάλαιο 4: Στοιχεία της εκδοχής hp της ΜΠΣ στις - διαστάσεις Στις -διαστάσεις, η περιγραφή της εκδοχής hp της ΜΠΣ είναι αρκετά πολύπλοκη. Στο παρόν κεφάλαιο θα δούμε κάποια στοιχεία της, ξεκινώντας με

Διαβάστε περισσότερα

ΠΑΝΕΠΙΣΤΗΜΙΟ ΜΑΚΕΔΟΝΙΑΣ ΟΙΚΟΝΟΜΙΚΩΝ ΚΑΙ ΚΟΙΝΩΝΙΚΩΝ ΕΠΙΣΤΗΜΩΝ ΤΜΗΜΑ ΕΦΑΡΜΟΣΜΕΝΗΣ ΠΛΗΡΟΦΟΡΙΚΗΣ ΝΕΥΡΩΝΙΚΑ ΔΙΚΤΥΑ

ΠΑΝΕΠΙΣΤΗΜΙΟ ΜΑΚΕΔΟΝΙΑΣ ΟΙΚΟΝΟΜΙΚΩΝ ΚΑΙ ΚΟΙΝΩΝΙΚΩΝ ΕΠΙΣΤΗΜΩΝ ΤΜΗΜΑ ΕΦΑΡΜΟΣΜΕΝΗΣ ΠΛΗΡΟΦΟΡΙΚΗΣ ΝΕΥΡΩΝΙΚΑ ΔΙΚΤΥΑ ΘΕΜΑ 1 ο (2,5 μονάδες) ΠΑΝΕΠΙΣΤΗΜΙΟ ΜΑΚΕΔΟΝΙΑΣ ΟΙΚΟΝΟΜΙΚΩΝ ΚΑΙ ΚΟΙΝΩΝΙΚΩΝ ΕΠΙΣΤΗΜΩΝ ΤΜΗΜΑ ΕΦΑΡΜΟΣΜΕΝΗΣ ΠΛΗΡΟΦΟΡΙΚΗΣ ΝΕΥΡΩΝΙΚΑ ΔΙΚΤΥΑ Τελικές εξετάσεις Πέμπτη 21 Ιουνίου 2012 16:30-19:30 Υποθέστε ότι θέλουμε

Διαβάστε περισσότερα

3 η ΕΝΟΤΗΤΑ ΜΗ ΓΡΑΜΜΙΚΟΣ ΠΡΟΓΡΑΜΜΑΤΙΣΜΟΣ ΒΕΛΤΙΣΤΟΠΟΙΗΣΗ ΕΝΟΣ ΚΡΙΤΗΡΙΟΥ

3 η ΕΝΟΤΗΤΑ ΜΗ ΓΡΑΜΜΙΚΟΣ ΠΡΟΓΡΑΜΜΑΤΙΣΜΟΣ ΒΕΛΤΙΣΤΟΠΟΙΗΣΗ ΕΝΟΣ ΚΡΙΤΗΡΙΟΥ ΣΧΟΛΗ ΠΟΛΙΤΙΚΩΝ ΜΗΧΑΝΙΚΩΝ ΕΜΠ ΕΙΣΑΓΩΓΗ ΣΤΗN ΒΕΛΤΙΣΤΟΠΟΙΗΣΗ ΣΥΣΤΗΜΑΤΩΝ 3 η ΕΝΟΤΗΤΑ ΜΗ ΓΡΑΜΜΙΚΟΣ ΠΡΟΓΡΑΜΜΑΤΙΣΜΟΣ ΒΕΛΤΙΣΤΟΠΟΙΗΣΗ ΕΝΟΣ ΚΡΙΤΗΡΙΟΥ Μ. Καρλαύτης Ν. Λαγαρός Άδεια Χρήσης Το παρόν εκπαιδευτικό υλικό

Διαβάστε περισσότερα

Μαθηματική Εισαγωγή Συναρτήσεις

Μαθηματική Εισαγωγή Συναρτήσεις Φυσικός Ραδιοηλεκτρολόγος (MSc) ο Γενικό Λύκειο Καστοριάς A. Μαθηματική Εισαγωγή Πράξεις με αριθμούς σε εκθετική μορφή Επίλυση βασικών μορφών εξισώσεων Συναρτήσεις Στοιχεία τριγωνομετρίας Διανύσματα Καστοριά,

Διαβάστε περισσότερα

Αριθμητική Ανάλυση και Εφαρμογές

Αριθμητική Ανάλυση και Εφαρμογές Αριθμητική Ανάλυση και Εφαρμογές Διδάσκων: Δημήτριος Ι. Φωτιάδης Τμήμα Μηχανικών Επιστήμης Υλικών Ιωάννινα 07-08 Αριθμητική Παραγώγιση Εισαγωγή Ορισμός 7. Αν y f x είναι μια συνάρτηση ορισμένη σε ένα διάστημα

Διαβάστε περισσότερα

Η ΜΕΘΟΔΟΣ PCA (Principle Component Analysis)

Η ΜΕΘΟΔΟΣ PCA (Principle Component Analysis) Η ΜΕΘΟΔΟΣ PCA (Principle Component Analysis) Η μέθοδος PCA (Ανάλυση Κύριων Συνιστωσών), αποτελεί μία γραμμική μέθοδο συμπίεσης Δεδομένων η οποία συνίσταται από τον επαναπροσδιορισμό των συντεταγμένων ενός

Διαβάστε περισσότερα

Αριθμητική Ανάλυση & Εφαρμογές

Αριθμητική Ανάλυση & Εφαρμογές Αριθμητική Ανάλυση & Εφαρμογές Διδάσκων: Δημήτριος Ι. Φωτιάδης Τμήμα Μηχανικών Επιστήμης Υλικών Ιωάννινα 2017-2018 Υπολογισμοί και Σφάλματα Παράσταση Πραγματικών Αριθμών Συστήματα Αριθμών Παράσταση Ακέραιου

Διαβάστε περισσότερα