Μη γραµµικοί ταξινοµητές Νευρωνικά ίκτυα
|
|
- Πλειόνη Ζαφειρόπουλος
- 8 χρόνια πριν
- Προβολές:
Transcript
1 KEΣ 3 Αναγνώριση Προτύπων και Ανάλυση Εικόνας Μη γραµµικοί ταξινοµητές Νευρωνικά ίκτυα ΤµήµαΕπιστήµης και Τεχνολογίας Τηλεπικοινωνιών Πανεπιστήµιο Πελοποννήσου Εισαγωγή Πολυεπίπεδες Perceptron Οαλγόριθµος back-propagation Επιλογή παραµέτρων Παραδείγµατα Περιεχόµενα Βιβλιογραφία Περιεχόµενα Ενότητας Εισαγωγή Πολυεπίπεδες Perceptron Οαλγόριθµος back-propagation Επιλογή παραµέτρωνστοναλγόριθµο back-propagation Παραδείγµατα Βιβλιογραφία: Duda [4]: Chapter 6 Theodoridis []: Chapter 4 Bow []: Chapter 8
2 Εισαγωγή Πολυεπίπεδες Perceptron Οαλγόριθµος back-propagation Επιλογή παραµέτρων Παραδείγµατα Εισαγωγή Μέχρι τώρα είδαµε ότιοιγραµµικοί ταξινοµητές µπορούν να σχεδιαστούν µε τέτοιο τρόπο ώστε να ελαχιστοποιούν το σφάλµα ταξινόµησης σε γραµµικά διαχωρίσιµα δεδοµένα (αλγόριθµος Perceptron, SVM) αλλά και σε µη γραµµικά διαχωρίσιµα δεδοµένα (αλγόριθµος Pocket, SVM) Υπάρχουν εντούτοις προβλήµατα στα οποία οι γραµµικοί ταξινοµητές δεν έχουν αποδεκτή απόδοση Σε τέτοιους είδους προβλήµαταπολυεπίπεδαδίκτυαperceptron σε συνδυασµό µε το αλγόριθµο back-propagation αποδεικνύονται ιδιαίτερα αποτελεσµατικά Τα πολυεπίπεδα Perceptron αποτελούν µια υποκατηγορία µιας ευρείας κατηγορίας µη γραµµικών ταξινοµητών που ονοµάζονται Νευρωνικά ίκτυα. Άλλα είδη Νευρωνικών ικτύων είναι τα δίκτυα RBF, τα δίκτυα Hopfiled, κ.λπ. Εισαγωγή Πολυεπίπεδες Perceptron Οαλγόριθµος back-propagation Επιλογή παραµέτρων Παραδείγµατα Το πρόβληµα XOR x x XOR The XOR problem Class ω ω ω ω Το απλούστερο µη γραµµικό πρόβληµα είναι το πρόβληµα XOR (βλέπε σχήµα και πίνακα αληθείας στα αριστερά). Είναι εµφανές ότι δεν µπορούµε να βρούµε µια γραµµή: T = w x + w x γιατηνοποίαναισχύει: >, <, x ω x ω (δηλαδή να διαχωρίζει τις κλάσεις ω, ω ) x
3 Εισαγωγή Πολυεπίπεδες Perceptron Οαλγόριθµος back-propagation Επιλογή παραµέτρων Παραδείγµατα Πολυεπίπεδες Perceptron Το πρόβληµα XOR µπορεί να λυθεί χρησιµοποιώντας δύο γραµµές. Ηκλάσηω, βρίσκεται εκτός της σκιαγραµµισµένης περιοχής και η κλάση ω βρίσκεται εντός. Το XOR πρόβληµα µπορεί να λυθεί σε δύο βήµατα: Βήµα : Σχεδιάζουµε δύογραµµές: g x) = ( = Καθεµία από τις γραµµές υλοποιείται µε µια µηχανή Perceptron (νευρώνας). Η έξοδος τους θα είναι: yi = f ( gi ( x)) = i =, Βήµα : Βρίσκουµε τηθέσητουx σε σχέση και µε τις δύο γραµµές (τιµές y, y ) Εισαγωγή Πολυεπίπεδες Perceptron Οαλγόριθµος back-propagation Επιλογή παραµέτρων Παραδείγµατα x st phase x y (-) (+) (+) (+) y (-) (-) (-) (+) Πολυεπίπεδες Perceptron (II) nd phase ω () ω () ω () ω () Ισοδύναµα: Οι υπολογισµοί στο πρώτο βήµα πραγµατοποιούν µια αντιστοίχιση: T x y = [ y, y] Ηταξινόµηση γίνεται τώρα στα µετασχηµατισµένα δεδοµένα y (βλέπε σχήµα). Ηταξινόµηση αυτή πραγµατοποιείται από µια γραµµή (υπερεπιφάνεια) και εποµένως µπορεί να υλοποιηθεί µέσω µιας µηχανής Perceptron. Οι υπολογισµοί στο πρώτο βήµα εκτελούνµια αντιστοίχιση η οποία µετασχηµατίζει το µη γραµµικά διαχωρίσιµο πρόβληµα σε διαχωρίσιµο 3
4 Εισαγωγή Πολυεπίπεδες Perceptron Οαλγόριθµος back-propagation Επιλογή παραµέτρων Παραδείγµατα Perceptron δύο επιπέδων g( x) = x + x = 3 g( x) = x + x = g( y) = y y = Η αρχιτεκτονική του συνολικού ταξινοµητή για το πρόβληµα XOR φαίνεται στο σχήµα. Η αρχιτεκτονική αυτή είναι γνωστή ως µηχανή Perceptron δύο επιπέδων µε ένακρυφό (hidden) (δύο εσωτερικοί νευρώνες) επίπεδο και ένα επίπεδο εξόδου (εξωτερικός νευρώνας) Η συνάρτηση ενεργοποίησης f όλων των νευρώνων δίνει έξοδο ή. f ( ) = Τα δεδοµένα εισόδου καθορίζουν το επίπεδο εισόδου το οποίο όµως δεν πραγµατοποιεί κάποια επεξεργασία. Συνολικά η µηχανή Perceptron δύο επιπέδων του παραδείγµατος υλοποιεί τις γραµµές (υπερεπίπεδα) που δίνονται από τις σχέσεις στα αριστερά (<=). Εισαγωγή Πολυεπίπεδες Perceptron Οαλγόριθµος back-propagation Επιλογή παραµέτρων Παραδείγµατα Ταξινόµηση από τη µηχανή Perceptron δύο επιπέδων Η αντιστοίχιση που πραγµατοποιείται στο πρώτο επίπεδο µετασχηµατίζει τα δεδοµένα εισόδου στις κορυφές ενός τετραγώνου µοναδιαίας πλευράς, δηλαδή στα σηµεία (, ), (,), (,), (,). Στη γενική περίπτωση (βλέπε σχήµα) έχουµε: l x R T x y = [ y,... y p ], yi, i =,,... { } p και η αντιστοίχιση του διανύσµατος x γίνεται σε µια από τις κορυφές ενός υπερκύβου H p. Η αντιστοίχιση αυτή επιτυγχάνεται από τα p υπερεπίπεδα που ορίζουν οι εσωτερικοί νευρώνες. Η έξοδος καθενός από αυτούς τους νευρώνες είναι είτε µηδέν () είτε ένα () ανάλογα µε τησχετική θέση του x ως προς το υπερεπίπεδο. 4
5 Εισαγωγή Πολυεπίπεδες Perceptron Οαλγόριθµος back-propagation Επιλογή παραµέτρων Παραδείγµατα Ταξινόµηση από τη µηχανή Perceptron δύο επιπέδων (ΙΙ) Οι τοµές των υπερεπιπέδων ορίζουν περιοχές (βλέπε σχήµα) στον l-διάστατο χώρο. Κάθε περιοχή αντιστοιχεί σε µια κορυφή του υπερκύβου. Για παράδειγµα ηπεριοχή βρίσκεται: στην αρνητική (-) πλευρά της g (x)= στην αρνητική (-) πλευρά της g (x)= στη θετική (+) πλευρά της g 3 (x)= Ο νευρώνας εξόδου υλοποιεί ένα υπερεπίπεδο στο µετασχηµατισµένο χώρο y, το οποίο διαχωρίζεις κάποιες κορυφές από κάποιες άλλες. Συγκεκριµένα µπορεί να διαχωρίσει περιοχές των οποίων η ένωση ορίζει µια συνεχή περιοχή αλλά όχι κάθε συνδυασµό περιοχών Εισαγωγή Πολυεπίπεδες Perceptron Οαλγόριθµος back-propagation Επιλογή παραµέτρων Παραδείγµατα Παράδειγµα x Data separable by two layer perceptron Γιαταδεδοµένα του σχήµατος στα αριστερά (κόκκινα κλάση ω, πράσινα κλάση ω ) να βρείτε µια µηχανή Perceptron δύο επιπέδων που να τα ταξινοµεί σωστά. Ζητούµενα: g (x), g (x), g(y) f( ) Transformation to y-space..8.6 y x y 5
6 Εισαγωγή Πολυεπίπεδες Perceptron Οαλγόριθµος back-propagation Επιλογή παραµέτρων Παραδείγµατα Παράδειγµα ΙΙ Οι παρακάτω γραµµές διαχωρίζουν τον διδιάστατο χώρο σε επτά περιοχές: = x + x = 3 = x = x = 4 x =. Να σχηµατίσετε τις ανωτέρω περιοχές. Να βρείτε σε ποιά κορυφή του κύβου αντιστοιχείται κάθε περιοχή 3. Αν οι περιοχές και σχηµατίζουν την κλάση ω καιοιυπόλοιπες την κλάση ω να ελέγξετε κατά πόσο το ανωτέρω πρόβληµα ταξινόµησης είναι επιλύσιµο µε µια µηχανή perceptron δύο επιπέδων. Αν είναι βρείτε την επιφάνεια διαχωρισµού των κλάσεων (δηλαδή τη συνάρτηση g(y)) Εισαγωγή Πολυεπίπεδες Perceptron Οαλγόριθµος back-propagation Επιλογή παραµέτρων Παραδείγµατα Ηαρχιτεκτονικήτηςµηχανής Perceptron τριών επιπέδων φαίνεται στο σχήµα. Μηχανή Perceptron τριών επιπέδων Η µηχανή Perceptron τριών επιπέδων µπορεί να διαχωρίσει οποιοδήποτε συνδυασµό περιοχώνστοµετασχηµατισµένο χώρο y. Ηβασικήιδέαείναιπαρόµοια µε αυτή του XOR προβλήµατος: Χρησιµοποιούµε περισσότερα από ένα υπερεπίπεδα για να διαχωρίσουµε p το χώρο y R Τα υπερεπίπεδα αυτά συνδυάζονται στο επίπεδο εξόδου για τον τελικό διαχωρισµό σεδύοκλάσεις. 6
7 Εισαγωγή Πολυεπίπεδες Perceptron Οαλγόριθµος back-propagation Επιλογή παραµέτρων Παραδείγµατα Η µηχανή Perceptron τριών επιπέδων µπορεί να διαχωρίσει οποιοδήποτε συνδυασµό περιοχών διότι: Μηχανή Perceptron τριών επιπέδων (ΙΙ) Για κάθε κορυφή του υπερκύβου που ανήκει στην κλάση ω µπορούµε να ορίσουµε ένα υπερεπίπεδο που διαχωρίζει αυτή την περιοχή (+) από όλες τις άλλες (-). Το επίπεδο εξόδου υλοποιεί µια συνάρτηση OR (όλων των κορυφών που ανήκουνστηνκλάσηω ). Συνοπτικά: Το πρώτο κρυφό επίπεδο δηµιουργεί τις υπερεπιφάνειες διαχωρισµού Το δεύτερο σχηµατίζει τις περιοχές Το επίπεδο εξόδου σχηµατίζει τις κλάσεις Εισαγωγή Πολυεπίπεδες Perceptron Οαλγόριθµος back-propagation Επιλογή παραµέτρων Παραδείγµατα Παράδειγµα ΙΙΙ Οι παρακάτω γραµµές διαχωρίζουν τον διδιάστατο χώρο σε επτά περιοχές: = x + x = 3 = x = x = 4 x =. Αν οι περιοχές και σχηµατίζουν την κλάση ω καιοιυπόλοιπες την κλάση ω να βρείτε τις υπερεπιφάνειες διαχωρισµού των κλάσεων (δηλαδή τις συνάρτησεις q (y), q (y)) καθώς και την συνάρτηση εξόδου (OR) 7
8 Εισαγωγή Πολυεπίπεδες Perceptron Οαλγόριθµος back-propagation Επιλογή παραµέτρων Παραδείγµατα Με τον όρο σχεδίαση αναφερόµαστε στην εύρεση, µε συστηµατικό τρόπο, των συναρτήσεων αντιστοίχισης (πρώτο επίπεδο), σχηµατισµού περιοχών (δεύτερο επίπεδο), και διαχωρισµού κλάσεων (επίπεδο εξόδου) από ένα σύνολο διανυσµάτων εκπαίδευσης [x, x,, x N ] γιαταοποίαείναιγνωστές οι κλάσεις στις οποίες ανήκουν. Υπάρχουν δύο βασικές κατευθύνσεις όσον αφορά τη σχεδίαση πολυεπίπεδων µηχανών Perceptron: Σχεδίαση πολυεπίπεδων µηχανών Perceptron Κατασκευή perceptron τριών επιπέδων για ορθή ταξινόµηση όλων των διανυσµάτων εκπαίδευσης µε χρήση της µεθοδολογίας που περιγράφηκε στις προηγούµενες διαφάνειες. Προφανώς σε αυτή την περίπτωση η δοµή του δικτύου Perceptron δεν είναι γνωστή και πρέπει να προκύψει από τη διαδικασία µάθησης. Με δεδοµένη µια δοµή γιατοδίκτυοperceptron υπολογίζουµε τα συναπτικά βάρη w ij, w i για την ελαχιστοποίηση ενός κριτηρίου κόστους. Η µεθοδολογία αυτή δεν οδηγεί πάντα σε ορθή ταξινόµηση όλων των διανυσµάτων εκπαίδευσης. Εισαγωγή Πολυεπίπεδες Perceptron Οαλγόριθµος back-propagation Επιλογή παραµέτρων Παραδείγµατα Ο αλγόριθµος backpropagation Οαλγόριθµος backpropagation εφαρµόζεται σε πολυεπίπεδα δίκτυα Perceptron όπως αυτό του σχήµατος Συµβολισµοί: Είσοδος => ιάνυσµα x = [x x x L ] T Έξοδος => z = [z z z k ] T Νευρώνας i m => i-στός νευρώνας m-στού επιπέδου Συναπτικά βάρη w ijm => Βάρος που συνδέει τον i-στο νευρώνα του m-στού επιπέδου µε τονjστο νευρώνα του αµέσως προηγούµενου επιπέδου 8
9 Εισαγωγή Πολυεπίπεδες Perceptron Οαλγόριθµος back-propagation Επιλογή παραµέτρων Παραδείγµατα Ο αλγόριθµος back-propagation είναι µια επαναληπτική διαδικασία υπολογισµού των συναπτικών βαρών [w ik j w i j ] σε ένα πολυεπίπεδο δίκτυο Perceptron µε τη βοήθεια των δεδοµένων εκπαίδευσης (x q, d q ), q =,,,N, όπου: x q = [x q x q x ql ] T το q-στο διάνυσµα εισόδου διάστασης L (x q є R L ) d q : ηεπιθυµητή έξοδος του διανύσµατος x q, µέσω της οποίας παράγεται η τελική κλάση στην οποία ανήκει ( => κλάση ω, => κλάση ω ) Επειδή στον αλγόριθµο back-propagation βελτιστοποιείται ένα κριτήριο κόστους (και όχι στο σφάλµα ταξινόµησης) είναι επιθυµητό οι συναρτήσεις ενεργοποίησης f ( ) τωννευρώνωνναέχουνσυνεχήµορφή ώστε να είναι παραγωγίσιµες: Η συνάρτηση ενεργοποίησης της µηχανής Perceptron δεν είναι αποδεκτή Αντίθετα η σιγµοειδής συνάρτηση: Ο αλγόριθµος backpropagation (ΙΙ) f ( x) = f ( x) = + e x > x < ax έχει παρόµοια συµπεριφορά αλλά επιπλέον είναι και παραγωγίσιµη Εισαγωγή Πολυεπίπεδες Perceptron Οαλγόριθµος back-propagation Επιλογή παραµέτρων Παραδείγµατα Μορφή σιγµοειδούς συνάρτησης Ησιγµοειδής συνάρτηση µε κατάλληλη τιµή του α προσεγγίζει την βηµατική συνάρτηση αλλά εξακολουθεί να είναι παραγωγίσιµη. Η παράγωγος της σιγµοειδούς συνάρτησης δίνεται από τη σχέση: f ( x) = + e ax ax df ( x) ae f ' ( x) = = dx + e ax = af ( x) ( f ( x) ) 9
10 Εισαγωγή Πολυεπίπεδες Perceptron Οαλγόριθµος back-propagation Επιλογή παραµέτρων Παραδείγµατα Βήµατα: Ορισµός µιας συνάρτησης κόστους J. Η συνηθέστερη επιλογή είναι η συνάρτηση σφάλµατος ελαχίστων τετραγώνων (least squares error). Το σφάλµα ορίζεταιωςηδιαφοράανάµεσα στο επιθυµητό διάνυσµα εξόδου d q του διανύσµατος x q και την πραγµατική έξοδο z q που δίνει το συγκεκριµένο διάνυσµα: e q = d q z q Ορισµός µιας επαναληπτικής διαδικασίας βελτιστοποίησης (ελαχιστοποίησης) της συνάρτησης κόστους ως προς τα συναπτικά βάρη w ij m. Η συνηθέστερη επιλογή είναι η χρήση της µεθόδου κατάβασης κατά τη µέγιστη κλίση (Gradient descent). Εναλλακτικές επιλογές: Αλγόριθµος Newton Υπολογισµός συναπτικών βαρών J = N q= Συζυγής κλίση (Conjugate gradient) e T q e q Εισαγωγή Πολυεπίπεδες Perceptron Οαλγόριθµος back-propagation Επιλογή παραµέτρων Παραδείγµατα Η διαδικασία εύρεσης των συναπτικών βαρών είναι ένα µη γραµµικό πρόβληµα βελτιστοποίησης εξαιτίας της συνάρτησης ενεργοποίησης f( ) η οποία στις περισσότερες περιπτώσεις είναι µη γραµµική (π.χ. η σιγµοειδής συνάρτηση). Υπολογισµός συναπτικών βαρών (ΙΙ) Στην περίπτωση της µεθόδου κατάβασης κατά τη µέγιστη κλίση η επαναληπτική διαδικασία υπολογισµού των συναπτικών βαρών περιγράφεται από τις σχέσεις: r r w ( new) = w (old) + w r J w = µ w r r
11 Εισαγωγή Πολυεπίπεδες Perceptron Οαλγόριθµος back-propagation Επιλογή παραµέτρων Παραδείγµατα Υπολογισµός των βαρών στον back-propagation ιαδικασία:. Αρχικοποίηση των συναπτικών βαρών µε µικρές τυχαίες τιµές. Υπολογισµός της κλίσης της συνάρτησης κόστους σε σχέση µε τα συναπτικά βάρη από το τελευταίο επίπεδο (επίπεδο εξόδου) προς τα πίσω 3. ιόρθωση των βαρών µε µεταβολή αντίθετα προς την κλίση της συνάρτησης κόστους 4. Επανάληψη των βηµάτων ()-(3) µέχρι την ικανοποίηση ενός κριτηρίου τερµατισµού (π.χ. πολύ µικρή µεταβολή των βαρών) Υπάρχουν δύο διαφορετικές προσεγγίσεις ως προς την διόρθωση των βαρών. ιόρθωση µετά από τον υπολογισµό της εξόδου κάθε προτύπου (Pattern mode). ιόρθωση µετά από την εφαρµογή του συνόλου των δεδοµένων εκπαίδευσης προτύπων (Batch mode) Εισαγωγή Πολυεπίπεδες Perceptron Οαλγόριθµος back-propagation Επιλογή παραµέτρων Παραδείγµατα Σχηµατική αναπαράσταση του back-propagation
12 Εισαγωγή Πολυεπίπεδες Perceptron Οαλγόριθµος back-propagation Επιλογή παραµέτρων Παραδείγµατα Εξισώσεις διόρθωσης των βαρών Έστω ότι έχουµε κριτήριο κόστους το τετραγωνικό σφάλµα: T J = e e e = d z όπου d ηεπιθυµητή έξοδος για το διάνυσµα εισόδου x και z ηέξοδοςτου δικτύου υπολογισµένη µε τα τρέχοντα βάρη. Η διόρθωση των βαρών στο δεύτερο επίπεδο δίνεται από τις σχέσεις: () () () wi ( new) = wi ( old) + wi () wi = µ y δi, i =,,..., k () T () δi = f ' wi y w + i ( di zi ) όπου <µ< είναι το βήµα προσαρµογής, f ( ) είναι η παράγωγος της συνάρτησης ενεργοποίησης, y είναι το διάνυσµα των εξόδων του πρώτου επιπέδου, και w i () είναι το διάνυσµα συναπτικών βαρών που εισέρχονται στον i-στο νευρώνα του δευτέρου επιπέδου. Εισαγωγή Πολυεπίπεδες Perceptron Οαλγόριθµος back-propagation Επιλογή παραµέτρων Παραδείγµατα Εξισώσεις διόρθωσης των βαρών (ΙΙ) Η διόρθωση των βαρών στο πρώτο επίπεδο δίνεται από τις σχέσεις: () j () j () j w ( new) = w ( old) + w, () T ( ) () T w j = µ u j δ f ' wi x+ w δ () wi j δ () w j δ =, u =... j... () δk w kj () j j =,,..., p x όπου x είναι το πρότυπο εισόδου, w j () είναι το διάνυσµα συναπτικών βαρών που εισέρχονται στον j-στο νευρώνα του πρώτου επιπέδου, και u j είναι το διάνυσµα συναπτικών βαρών που εξέρχονται από τον j-στο νευρώνα του πρώτου επιπέδου
13 Εισαγωγή Πολυεπίπεδες Perceptron Οαλγόριθµος back-propagation Επιλογή παραµέτρων Παραδείγµατα Επιλογή Παραµέτρων Ηεφαρµογή του αλγορίθµου back-propagation απαιτεί τη ρύθµιση κάποιων παραµέτρων εξαρχής: Κριτήριο κόστους Μέσο τετραγωνικό σφάλµα (Least Mean Squares Error LMS Error): J = N i= E( i) k k E( i) = em ( i) = ( d m ( i) z m ( i)) m= m= i =,,..., N όπου d m (i) είναι η επιθυµητή έξοδος από τον m νευρώνα εξόδου για το πρότυπο i (µπορεί να είναι ή ) και z m (i) ηπραγµατική έξοδος (στον ίδιο νευρώνακαιγιατοίδιοπρότυπο) η οποίακυµαίνεται στο διάστηµα [ ] ιασταυρούµενη εντροπία (Cross Entropy) J = N i= k E( i) E( i) = { d ( i) ln z ( i) + ( d ( i)) ln( z ( i)) } m= m m m m Εισαγωγή Πολυεπίπεδες Perceptron Οαλγόριθµος back-propagation Επιλογή παραµέτρων Παραδείγµατα Επιλογή Παραµέτρων (II) Μέγεθος δικτύου Perceptron Συνήθως επιλέγεται δίκτυο µε έναµόνο κρυφό (hidden) επίπεδο. Οι νευρώνες εξόδου καθορίζονται από τον αριθµό των κλάσεων στα οποία θα ταξινοµήσουµε ταδεδοµένα. Εποµένως η επιλογή αφορά το πλήθος των νευρώνων στο κρυφό επίπεδο (p). Υπάρχουν δύο βασικές προσεγγίσεις: Μέθοδοι κλαδέµατος (pruning techniques). Ξεκινάµε απόέναδίκτυοµε πολλούς κόµβους και σταδιακά αφαιρούµε τους πιο ανενεργούς µε χρήση διαφόρων κριτηρίων Μέθοδοι σύνθεσης (constructive techniques). Ξεκινάµε απόέναδίκτυµε λίγους κόµβους και προσθέτουµε νέους µε στόχο τη βελτίωση της ταξινόµησης Γενικά πολλοί κόµβοι στο εσωτερικό επίπεδο οδηγούν σε εύκολη µάθηση αλλά σε πολλές περιπτώσεις φτωχή γενικευτική ικανότητα. Αντίθετα λίγοι κόµβοι µπορεί να µας οδηγήσουν σε ένα τοπικό ελάχιστο της συνάρτησης κόστους (µη επαρκήςλύση). Έχουν όµως καλύτερη γενικευτική ικανότητα 3
14 Εισαγωγή Πολυεπίπεδες Perceptron Οαλγόριθµος back-propagation Επιλογή παραµέτρων Παραδείγµατα Προβλήµατα του backpropagation. Πιθανή σύγκλιση σε τοπικό ελάχιστο:. Φτωχή γενίκευση Εισαγωγή Πολυεπίπεδες Perceptron Οαλγόριθµος back-propagation Επιλογή παραµέτρων Παραδείγµατα Παραδείγµατα Κατά την εφαρµογή του αλγορίθµου back-propagation στην m-στη επανάληψη έχουµε: Είσοδο το πρότυπο x = [ 3] Τ το οποίο έχει επιθυµητή έξοδο d = [ ] Τ Πίνακα βαρών στο πρώτο επίπεδο W = [w () w ()... w p () ] (η τελευταία γραµµή του πίνακα W αντιστοιχεί στα κατώφλια w i () των κόµβων): W.6. = Πίνακα βαρών στο δεύτερο επίπεδο W = [w () w () w k () ] (η τελευταία γραµµή του πίνακα W αντιστοιχεί στα κατώφλια w i () των κόµβων): W.7.9 =
15 Εισαγωγή Πολυεπίπεδες Perceptron Οαλγόριθµος back-propagation Επιλογή παραµέτρων Παραδείγµατα Παραδείγµατα (II) Ζητούµενα:. Να σχηµατίσετε το δίκτυο. Να υπολογίσετε την έξοδο y του κρυφού επιπέδου για το πρότυπο x. 3. Να υπολογίσετε την έξοδο z του δικτύου για το πρότυπο x 4. Να εφαρµόσετε τον αλγόριθµο back-propagation για τον υπολογισµό των πινάκων W, W στην m+ επανάληψη (µετά την εφαρµογή της εισόδου x) Θεωρήστε ότι όλοι οι κόµβοι έχουν συνάρτηση ενεργοποίησης: f ( x) = + e x για την οποία ισχύει: f '( x) = f ( x) ( f ( x) ) 5
Γραµµικοί Ταξινοµητές
ΚΕΣ 3: Αναγνώριση Προτύπων και Ανάλυση Εικόνας KEΣ 3 Αναγνώριση Προτύπων και Ανάλυση Εικόνας Γραµµικοί Ταξινοµητές ΤµήµαΕπιστήµης και Τεχνολογίας Τηλεπικοινωνιών Πανεπιστήµιο Πελοποννήσου 7 Ncolas sapatsouls
Διαβάστε περισσότεραΣέργιος Θεοδωρίδης Κωνσταντίνος Κουτρούμπας. Version 2
Σέργιος Θεοδωρίδης Κωνσταντίνος Κουτρούμπας Verson ΧΑΡΤΟΓΡΑΦΗΣΗ ΤΟΥ ΧΩΡΟΥ ΤΩΝ ΤΑΞΙΝΟΜΗΤΩΝ Ταξινομητές Ταξινομητές συναρτ. διάκρισης Ταξινομητές επιφανειών απόφ. Παραμετρικοί ταξινομητές Μη παραμετρικοί
Διαβάστε περισσότερα4.3. Γραµµικοί ταξινοµητές
Γραµµικοί ταξινοµητές Γραµµικός ταξινοµητής είναι ένα σύστηµα ταξινόµησης που χρησιµοποιεί γραµµικές διακριτικές συναρτήσεις Οι ταξινοµητές αυτοί αναπαρίστανται συχνά µε οµάδες κόµβων εντός των οποίων
Διαβάστε περισσότεραΣέργιος Θεοδωρίδης Κωνσταντίνος Κουτρούμπας. Version 2
Σέργιος Θεοδωρίδης Κωνσταντίνος Κουτρούμπας Verson ΜΗ ΓΡΑΜΜΙΚΟΙ ΤΑΞΙΝΟΜΗΤΕΣ ΝΕΥΡΩΝΙΚΑ ΔΙΚΤΥΑ Η παραπάνω ανάλυση ήταν χρήσιμη προκειμένου να κατανοήσουμε τη λογική των δικτύων perceptrons πολλών επιπέδων
Διαβάστε περισσότεραΜοντέλο Perceptron πολλών στρωμάτων Multi Layer Perceptron (MLP)
Μοντέλο Perceptron πολλών στρωμάτων Multi Layer Perceptron (MLP) x -0,5 a x x 2 0 0 0 0 - -0,5 y y 0 0 x 2 -,5 a 2 θ η τιμή κατωφλίου Μία λύση του προβλήματος XOR Multi Layer Perceptron (MLP) x -0,5 Μία
Διαβάστε περισσότεραΤο μοντέλο Perceptron
Το μοντέλο Perceptron Αποτελείται από έναν μόνο νευρώνα McCulloch-Pitts w j x x 1, x2,..., w x T 1 1 x 2 w 2 Σ u x n f(u) Άνυσμα Εισόδου s i x j x n w n -θ w w 1, w2,..., w n T Άνυσμα Βαρών 1 Το μοντέλο
Διαβάστε περισσότεραΣέργιος Θεοδωρίδης Κωνσταντίνος Κουτρούμπας. Version 2
Σέργιος Θεοδωρίδης Κωνσταντίνος Κουτρούμπας Verson 2 1 ΧΑΡΤΟΓΡΑΦΗΣΗ ΤΟΥ ΧΩΡΟΥ ΤΩΝ ΤΑΞΙΝΟΜΗΤΩΝ Ταξινομητές Ταξινομητές συναρτ. διάκρισης Ταξινομητές επιφανειών απόφ. Παραμετρικοί ταξινομητές Μη παραμετρικοί
Διαβάστε περισσότεραΤο Πολυεπίπεδο Perceptron. "Τεχνητά Νευρωνικά Δίκτυα" (Διαφάνειες), Α. Λύκας, Παν. Ιωαννίνων
Το Πολυ Perceptron Δίκτυα Πρόσθιας Τροφοδότησης (feedforward) Tο αντίστοιχο γράφημα του δικτύου δεν περιλαμβάνει κύκλους: δεν υπάρχει δηλαδή ανατροφοδότηση της εξόδου ενός νευρώνα προς τους νευρώνες από
Διαβάστε περισσότεραΜέθοδοι Μηχανών Μάθησης για Ευφυή Αναγνώριση και ιάγνωση Ιατρικών εδοµένων
Μέθοδοι Μηχανών Μάθησης για Ευφυή Αναγνώριση και ιάγνωση Ιατρικών εδοµένων Εισηγητής: ρ Ηλίας Ζαφειρόπουλος Εισαγωγή Ιατρικά δεδοµένα: Συλλογή Οργάνωση Αξιοποίηση Data Mining ιαχείριση εδοµένων Εκπαίδευση
Διαβάστε περισσότεραΠΑΝΕΠΙΣΤΗΜΙΟ ΜΑΚΕ ΟΝΙΑΣ ΟΙΚΟΝΟΜΙΚΩΝ ΚΑΙ ΚΟΙΝΩΝΙΚΩΝ ΕΠΙΣΤΗΜΩΝ ΤΜΗΜΑ ΕΦΑΡΜΟΣΜΕΝΗΣ ΠΛΗΡΟΦΟΡΙΚΗΣ ΝΕΥΡΩΝΙΚΑ ΙΚΤΥΑ
ΘΕΜΑ ο 2.5 µονάδες ΠΑΝΕΠΙΣΤΗΜΙΟ ΜΑΚΕ ΟΝΙΑΣ ΟΙΚΟΝΟΜΙΚΩΝ ΚΑΙ ΚΟΙΝΩΝΙΚΩΝ ΕΠΙΣΤΗΜΩΝ ΤΜΗΜΑ ΕΦΑΡΜΟΣΜΕΝΗΣ ΠΛΗΡΟΦΟΡΙΚΗΣ ΝΕΥΡΩΝΙΚΑ ΙΚΤΥΑ Τελικές εξετάσεις 2 Σεπτεµβρίου 2005 5:00-8:00 Σχεδιάστε έναν αισθητήρα ercetro
Διαβάστε περισσότεραΒασικές αρχές εκπαίδευσης ΤΝΔ: το perceptron. "Τεχνητά Νευρωνικά Δίκτυα" (Διαφάνειες), Α. Λύκας, Παν. Ιωαννίνων
Βασικές αρχές εκπαίδευσης ΤΝΔ: το perceptron Βιολογικός Νευρώνας Δενδρίτες, που αποτελούν τις γραμμές εισόδου των ερεθισμάτων (βιολογικών σημάτων) Σώμα, στο οποίο γίνεται η συσσώρευση των ερεθισμάτων και
Διαβάστε περισσότεραHMY 795: Αναγνώριση Προτύπων. Διαλέξεις 15-16
HMY 795: Αναγνώριση Προτύπων Διαλέξεις 15-16 Νευρωνικά Δίκτυα(Neural Networks) Fisher s linear discriminant: Μείωση διαστάσεων (dimensionality reduction) y Τ =w x s + s =w S w 2 2 Τ 1 2 W ( ) 2 2 ( ) m2
Διαβάστε περισσότεραΠΑΝΕΠΙΣΤΗΜΙΟ ΜΑΚΕ ΟΝΙΑΣ ΟΙΚΟΝΟΜΙΚΩΝ ΚΑΙ ΚΟΙΝΩΝΙΚΩΝ ΕΠΙΣΤΗΜΩΝ ΤΜΗΜΑ ΕΦΑΡΜΟΣΜΕΝΗΣ ΠΛΗΡΟΦΟΡΙΚΗΣ ΝΕΥΡΩΝΙΚΑ ΙΚΤΥΑ
ΘΕΜΑ ο (2.5 µονάδες) ΠΑΝΕΠΙΣΤΗΜΙΟ ΜΑΚΕ ΟΝΙΑΣ ΟΙΚΟΝΟΜΙΚΩΝ ΚΑΙ ΚΟΙΝΩΝΙΚΩΝ ΕΠΙΣΤΗΜΩΝ ΤΜΗΜΑ ΕΦΑΡΜΟΣΜΕΝΗΣ ΠΛΗΡΟΦΟΡΙΚΗΣ ΝΕΥΡΩΝΙΚΑ ΙΚΤΥΑ Τελικές εξετάσεις Παρασκευή 9 Ιανουαρίου 2007 5:00-8:00 εδοµένου ότι η
Διαβάστε περισσότεραΣέργιος Θεοδωρίδης Κωνσταντίνος Κουτρούμπας. Version 2
Σέργιος Θεοδωρίδης Κωνσταντίνος Κουτρούμπας Verson ΧΑΡΤΟΓΡΑΦΗΣΗ ΤΟΥ ΧΩΡΟΥ ΤΩΝ ΤΑΞΙΝΟΜΗΤΩΝ Ταξινομητές Ταξινομητές συναρτ. διάκρισης Ταξινομητές επιφανειών απόφ. Παραμετρικοί ταξινομητές Μη παραμετρικοί
Διαβάστε περισσότεραΠΑΝΕΠΙΣΤΗΜΙΟ ΜΑΚΕ ΟΝΙΑΣ ΟΙΚΟΝΟΜΙΚΩΝ ΚΑΙ ΚΟΙΝΩΝΙΚΩΝ ΕΠΙΣΤΗΜΩΝ ΤΜΗΜΑ ΕΦΑΡΜΟΣΜΕΝΗΣ ΠΛΗΡΟΦΟΡΙΚΗΣ ΝΕΥΡΩΝΙΚΑ ΙΚΤΥΑ
ΘΕΜΑ ο 2.5 µονάδες ΠΑΝΕΠΙΣΤΗΜΙΟ ΜΑΚΕ ΟΝΙΑΣ ΟΙΚΟΝΟΜΙΚΩΝ ΚΑΙ ΚΟΙΝΩΝΙΚΩΝ ΕΠΙΣΤΗΜΩΝ ΤΜΗΜΑ ΕΑΡΜΟΣΜΕΝΗΣ ΠΛΗΡΟΟΡΙΚΗΣ ΝΕΥΡΩΝΙΚΑ ΙΚΤΥΑ Τελικές εξετάσεις 2 Οκτωβρίου 23 ιάρκεια: 2 ώρες Έστω το παρακάτω γραµµικώς
Διαβάστε περισσότεραΕκπαίδευση ΤΝΔ με ελαχιστοποίηση του τετραγωνικού σφάλματος εκπαίδευσης. "Τεχνητά Νευρωνικά Δίκτυα" (Διαφάνειες), Α. Λύκας, Παν.
Εκπαίδευση ΤΝΔ με ελαχιστοποίηση του τετραγωνικού σφάλματος εκπαίδευσης Ελαχιστοποίηση συνάρτησης σφάλματος Εκπαίδευση ΤΝΔ: μπορεί να διατυπωθεί ως πρόβλημα ελαχιστοποίησης μιας συνάρτησης σφάλματος E(w)
Διαβάστε περισσότεραΑσκήσεις μελέτης της 19 ης διάλεξης
Οικονομικό Πανεπιστήμιο Αθηνών, Τμήμα Πληροφορικής Μάθημα: Τεχνητή Νοημοσύνη, 2016 17 Διδάσκων: Ι. Ανδρουτσόπουλος Ασκήσεις μελέτης της 19 ης διάλεξης 19.1. Δείξτε ότι το Perceptron με (α) συνάρτηση ενεργοποίησης
Διαβάστε περισσότεραΝευρωνικά ίκτυα και Εξελικτικός. Σηµερινό Μάθηµα. επανάληψη Γενετικών Αλγορίθµων 1 η εργασία Επανάληψη νευρωνικών δικτύων Ασκήσεις εφαρµογές
Νευρωνικά ίκτυα και Εξελικτικός Προγραµµατισµός Σηµερινό Μάθηµα επανάληψη Γενετικών Αλγορίθµων η εργασία Επανάληψη νευρωνικών δικτύων Ασκήσεις εφαρµογές Κωδικοποίηση Αντικειµενική Συνάρτ Αρχικοποίηση Αξιολόγηση
Διαβάστε περισσότεραΠΑΝΕΠΙΣΤΗΜΙΟ ΜΑΚΕ ΟΝΙΑΣ ΟΙΚΟΝΟΜΙΚΩΝ ΚΑΙ ΚΟΙΝΩΝΙΚΩΝ ΕΠΙΣΤΗΜΩΝ ΤΜΗΜΑ ΕΦΑΡΜΟΣΜΕΝΗΣ ΠΛΗΡΟΦΟΡΙΚΗΣ ΝΕΥΡΩΝΙΚΑ ΙΚΤΥΑ
ΘΕΜΑ ο 2.5 µονάδες ΠΑΝΕΠΙΣΤΗΜΙΟ ΜΑΚΕ ΟΝΙΑΣ ΟΙΚΟΝΟΜΙΚΩΝ ΚΑΙ ΚΟΙΝΩΝΙΚΩΝ ΕΠΙΣΤΗΜΩΝ ΤΜΗΜΑ ΕΦΑΡΜΟΣΜΕΝΗΣ ΠΛΗΡΟΦΟΡΙΚΗΣ ΝΕΥΡΩΝΙΚΑ ΙΚΤΥΑ Τελικές εξετάσεις 7 Ιανουαρίου 2005 ιάρκεια εξέτασης: 5:00-8:00 Έστω ότι
Διαβάστε περισσότεραΑκαδημαϊκό Έτος , Χειμερινό Εξάμηνο Διδάσκων Καθ.: Νίκος Τσαπατσούλης
ΠΑΝΕΠΙΣΤΗΜΙΟ ΠΕΛΟΠΟΝΝΗΣΟΥ, ΤΜΗΜΑ ΤΕΧΝΟΛΟΓΙΑΣ ΤΗΛΕΠΙΚΟΙΝΩΝΙΩΝ ΚΕΣ 3: ΑΝΑΓΝΩΡΙΣΗ ΠΡΟΤΥΠΩΝ ΚΑΙ ΑΝΑΛΥΣΗ ΕΙΚΟΝΑΣ Ακαδημαϊκό Έτος 7 8, Χειμερινό Εξάμηνο Καθ.: Νίκος Τσαπατσούλης ΕΡΩΤΗΣΕΙΣ ΕΠΑΝΑΛΗΨΗΣ Το παρόν
Διαβάστε περισσότεραΑσκήσεις Φροντιστηρίου «Υπολογιστική Νοημοσύνη Ι» 3ο Φροντιστήριο
Ασκήσεις Φροντιστηρίου 3ο Φροντιστήριο Πρόβλημα 1 ο Το perceptron ενός επιπέδου είναι ένας γραμμικός ταξινομητής προτύπων. Δικαιολογήστε αυτή την πρόταση. x 1 x 2 Έξοδος y x p θ Κατώφλι Perceptron (στοιχειώδης
Διαβάστε περισσότεραΕΡΩΤΗΜΑΤΑ σε ΝΕΥΡΩΝΙΚΑ
ηµήτρης Ψούνης ΠΛΗ3, Απαντήσεις Quiz σε ΝΕΥΡΩΝΙΚΑ ΙΚΤΥΑ ΕΡΩΤΗΜΑΤΑ σε ΝΕΥΡΩΝΙΚΑ Μάθηµα 3. ΕΡΩΤΗΜΑ Ένας αισθητήρας µπορεί να µάθει: a. εδοµένα που ανήκουν σε 5 διαφορετικές κλάσεις. b. εδοµένα που ανήκουν
Διαβάστε περισσότεραΣέργιος Θεοδωρίδης Κωνσταντίνος Κουτρούμπας. Version 2
Σέργιος Θεοδωρίδης Κωνσταντίνος Κουτρούμπας Verson ΜΙΑ ΣΥΜΒΑΣΗ: Προκειμένου να καταστήσουμε πιο συμπαγή το συμβολισμό H : ορίζουμε Ετσι έχουμε *=[ ] an *=[ ]. H : * * ΣΗΜΕΙΩΣΗ: Στη συνέχεια εκτός αν ορίζεται
Διαβάστε περισσότεραΠΑΝΕΠΙΣΤΗΜΙΟ ΜΑΚΕ ΟΝΙΑΣ ΟΙΚΟΝΟΜΙΚΩΝ ΚΑΙ ΚΟΙΝΩΝΙΚΩΝ ΕΠΙΣΤΗΜΩΝ ΤΜΗΜΑ ΕΦΑΡΜΟΣΜΕΝΗΣ ΠΛΗΡΟΦΟΡΙΚΗΣ ΝΕΥΡΩΝΙΚΑ ΙΚΤΥΑ
ΘΕΜΑ ο (2.5 µονάδες) ΠΑΝΕΠΙΣΤΗΜΙΟ ΜΑΚΕ ΟΝΙΑΣ ΟΙΚΟΝΟΜΙΚΩΝ ΚΑΙ ΚΟΙΝΩΝΙΚΩΝ ΕΠΙΣΤΗΜΩΝ ΤΜΗΜΑ ΕΦΑΡΜΟΣΜΕΝΗΣ ΠΛΗΡΟΦΟΡΙΚΗΣ ΝΕΥΡΩΝΙΚΑ ΙΚΤΥΑ Τελικές εξετάσεις 26 Ιανουαρίου 2004 ιάρκεια: 2 ώρες (9:00-:00) Στην παρακάτω
Διαβάστε περισσότεραΤΜΗΜΑ ΔΙΟΙΚΗΣΗΣ ΕΠΙΧΕΙΡΗΣΕΩΝ
ΤΕΙ Δυτικής Μακεδονίας ΤΜΗΜΑ ΔΙΟΙΚΗΣΗΣ ΕΠΙΧΕΙΡΗΣΕΩΝ 2015-2016 Τεχνητή Νοημοσύνη Νευρώνας Perceptron Διδάσκων: Τσίπουρας Μάρκος Εκπαιδευτικό Υλικό: Τσίπουρας Μάρκος Τζώρτζης Γρηγόρης Περιεχόμενα Εισαγωγή
Διαβάστε περισσότεραΑσκήσεις Φροντιστηρίου «Υπολογιστική Νοημοσύνη Ι» 5 o Φροντιστήριο
Πρόβλημα ο Ασκήσεις Φροντιστηρίου 5 o Φροντιστήριο Δίνεται το παρακάτω σύνολο εκπαίδευσης: # Είσοδος Κατηγορία 0 0 0 Α 2 0 0 Α 0 Β 4 0 0 Α 5 0 Β 6 0 0 Α 7 0 Β 8 Β α) Στον παρακάτω κύβο τοποθετείστε τα
Διαβάστε περισσότεραΠΑΝΕΠΙΣΤΗΜΙΟ ΜΑΚΕ ΟΝΙΑΣ ΟΙΚΟΝΟΜΙΚΩΝ ΚΑΙ ΚΟΙΝΩΝΙΚΩΝ ΕΠΙΣΤΗΜΩΝ ΠΜΣΕ ΣΤΗΝ ΕΦΑΡΜΟΣΜΕΝΗ ΠΛΗΡΟΦΟΡΙΚΗ ΝΕΥΡΩΝΙΚΑ ΙΚΤΥΑ ΚΑΙ ΕΞΕΛΙΚΤΙΚΟΙ ΑΛΓΟΡΙΘΜΟΙ
ΠΑΝΕΠΙΣΤΗΜΙΟ ΜΑΚΕ ΟΝΙΑΣ ΟΙΚΟΝΟΜΙΚΩΝ ΚΑΙ ΚΟΙΝΩΝΙΚΩΝ ΕΠΙΣΤΗΜΩΝ ΠΜΣΕ ΣΤΗΝ ΕΦΑΡΜΟΣΜΕΝΗ ΠΛΗΡΟΦΟΡΙΚΗ ΝΕΥΡΩΝΙΚΑ ΙΚΤΥΑ ΚΑΙ ΕΞΕΛΙΚΤΙΚΟΙ ΑΛΓΟΡΙΘΜΟΙ ΟΜΑ Α ΑΣΚΗΣΕΩΝ ΑΣΚΗΣΗ Στην εικόνα παρακάτω φαίνεται ένα νευρωνικό
Διαβάστε περισσότεραΣυστήµατα Μη-Γραµµικών Εξισώσεων Μέθοδος Newton-Raphson
Ιαν. 009 Συστήµατα Μη-Γραµµικών Εξισώσεων Μέθοδος Newton-Raphson Έστω y, y,, yn παρατηρήσεις µιας m -διάστατης τυχαίας µεταβλητής µε συνάρτηση πυκνότητας πιθανότητας p( y; θ) η οποία περιγράφεται από ένα
Διαβάστε περισσότεραΠροσαρµοστικοί Αλγόριθµοι Υλοποίησης Βέλτιστων Ψηφιακών Φίλτρων: Ο αναδροµικός αλγόριθµος ελάχιστων τετραγώνων (RLS Recursive Least Squares)
ΒΕΣ 6 Προσαρµοστικά Συστήµατα στις Τηλεπικοινωνίες Προσαρµοστικοί Αλγόριθµοι Υλοποίησης Βέλτιστων Ψηφιακών Φίλτρων: Ο αναδροµικός αλγόριθµος ελάχιστων τετραγώνων RLS Rcrsiv Last Sqars 27 iclas sapatslis
Διαβάστε περισσότεραΔΙΚΤΥO RBF. "Τεχνητά Νευρωνικά Δίκτυα" (Διαφάνειες), Α. Λύκας, Παν. Ιωαννίνων
ΔΙΚΤΥO RBF Αρχιτεκτονική δικτύου RBF Δίκτυα RBF: δίκτυα συναρτήσεων πυρήνα (radial basis function networks). Πρόσθιας τροφοδότησης (feedforward) για προβλήματα μάθησης με επίβλεψη. Εναλλακτικό του MLP.
Διαβάστε περισσότεραΟΙΚΟΝΟΜΙΚΩΝ ΚΑΙ ΚΟΙΝΩΝΙΚΩΝ ΕΠΙΣΤΗΜΩΝ
ΘΕΜΑ ο (.5 µονάδες) ΠΑΝΕΠΙΣΤΗΜΙΟ ΜΑΚΕ ΟΝΙΑΣ ΟΙΚΟΝΟΜΙΚΩΝ ΚΑΙ ΚΟΙΝΩΝΙΚΩΝ ΕΠΙΣΤΗΜΩΝ ΤΜΗΜΑ ΕΦΑΡΜΟΣΜΕΝΗΣ ΠΛΗΡΟΦΟΡΙΚΗΣ ΝΕΥΡΩΝΙΚΑ ΙΚΤΥΑ Τελικές εξετάσεις Πέµπτη 7 Ιανουαρίου 8 5:-8: Σχεδιάστε έναν αισθητήρα (perceptron)
Διαβάστε περισσότεραΤεχνητή Νοημοσύνη. 19η διάλεξη ( ) Ίων Ανδρουτσόπουλος.
Τεχνητή Νοημοσύνη 19η διάλεξη (2016-17) Ίων Ανδρουτσόπουλος http://www.aueb.gr/users/ion/ 1 Οι διαφάνειες αυτές βασίζονται σε ύλη των βιβλίων: Artificia Inteigence A Modern Approach των S. Russe και P.
Διαβάστε περισσότεραΠΑΝΕΠΙΣΤΗΜΙΟ ΜΑΚΕ ΟΝΙΑΣ ΟΙΚΟΝΟΜΙΚΩΝ ΚΑΙ ΚΟΙΝΩΝΙΚΩΝ ΕΠΙΣΤΗΜΩΝ ΤΜΗΜΑ ΕΦΑΡΜΟΣΜΕΝΗΣ ΠΛΗΡΟΦΟΡΙΚΗΣ ΝΕΥΡΩΝΙΚΑ ΙΚΤΥΑ
ΘΕΜΑ 1 ο (2,5 µονάδες) ΠΑΝΕΠΙΣΤΗΜΙΟ ΜΑΚΕ ΟΝΙΑΣ ΟΙΚΟΝΟΜΙΚΩΝ ΚΑΙ ΚΟΙΝΩΝΙΚΩΝ ΕΠΙΣΤΗΜΩΝ ΤΜΗΜΑ ΕΦΑΡΜΟΣΜΕΝΗΣ ΠΛΗΡΟΦΟΡΙΚΗΣ ΝΕΥΡΩΝΙΚΑ ΙΚΤΥΑ Τελικές εξετάσεις Πέµπτη 19 Ιουνίου 2008 11:00-14:00 Έστω το παρακάτω
Διαβάστε περισσότεραΑναγνώριση Προτύπων Ι
Αναγνώριση Προτύπων Ι Ενότητα 2: Δομικά Συστήματα Αν. Καθηγητής Δερματάς Ευάγγελος Τμήμα Ηλεκτρολόγων Μηχανικών και Τεχνολογίας Υπολογιστών Άδειες Χρήσης Το παρόν εκπαιδευτικό υλικό υπόκειται σε άδειες
Διαβάστε περισσότεραΝευρωνικά ίκτυα. Σηµερινό Μάθηµα
Νευρωνικά ίκτυα Σηµερινό Μάθηµα Perceptron (Αισθητήρας) Aλγόριθµος µάθησης του Perceptron Οι εξισώσεις των Wiener-Hopf Μέθοδος Ταχύτερης Καθόδου (Steepest Descent) Οαλγόριθµος Ελάχιστου Μέσου Τετραγωνικού
Διαβάστε περισσότεραΑ. ΤΕΙ ΚΡΗΤΗΣ Τµήµα Εφαρµοσµένης Πληροφορικής και Πολυµέσων Εργαστήριο Νευρωνικών Δικτύων
Α. ΤΕΙ ΚΡΗΤΗΣ Τµήµα Εφαρµοσµένης Πληροφορικής και Πολυµέσων Εργαστήριο Νευρωνικών Δικτύων 5 BACKPROPAGATION MULTILAYER FEEDFORWARD ΔΙΚΤΥΑ Α. ΕΙΣΑΓΩΓΗ Τα νευρωνικά δίκτυα που εξετάσαµε µέχρι τώρα είχαν
Διαβάστε περισσότερα2 + 0.5 2 + 0.25 + 1 + 0.5 2 + 0.25 + 1 + 0.5 2 + 0.25 2 + 0.5 0 0.125 + 1 + 0.5 1 0.125 + 1 + 0.75 1 0.125 1/5
IOYNIOΣ 23 Δίνονται τα εξής πρότυπα: x! = 2.5 Άσκηση η (3 µονάδες) Χρησιµοποιώντας το κριτήριο της οµοιότητας να απορριφθεί ένα χαρακτηριστικό µε βάση το συντελεστή συσχέτισης. Γράψτε εδώ το χαρακτηριστικό
Διαβάστε περισσότερα4. Ο αισθητήρας (perceptron)
4. Ο αισθητήρας (perceptron) Σκοπός: Προσδοκώµενα αποτελέσµατα: Λέξεις Κλειδιά: To µοντέλο του αισθητήρα (perceptron) είναι από τα πρώτα µοντέλα νευρωνικών δικτύων που αναπτύχθηκαν, και έδωσαν µεγάλη ώθηση
Διαβάστε περισσότεραΥπολογιστική Νοημοσύνη. Μάθημα 6: Μάθηση με Οπισθοδιάδοση Σφάλματος Backpropagation Learning
Υπολογιστική Νοημοσύνη Μάθημα 6: Μάθηση με Οπισθοδιάδοση Σφάλματος Backpropagation Learning Κεντρική ιδέα Τα παραδείγματα μάθησης παρουσιάζονται στο μηεκπαιδευμένο δίκτυο και υπολογίζονται οι έξοδοι. Για
Διαβάστε περισσότεραΑΝΑΓΝΩΡΙΣΗ ΠΡΟΤΥΠΩΝ. ΕΝΟΤΗΤΑ: Γραμμικές Συναρτήσεις Διάκρισης. ΔΙΔΑΣΚΟΝΤΕΣ: Βλάμος Π. Αυλωνίτης Μ. ΙΟΝΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΤΜΗΜΑ ΠΛΗΡΟΦΟΡΙΚΗΣ
ΑΝΑΓΝΩΡΙΣΗ ΠΡΟΤΥΠΩΝ ΕΝΟΤΗΤΑ: Γραμμικές Συναρτήσεις Διάκρισης ΙΟΝΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΤΜΗΜΑ ΠΛΗΡΟΦΟΡΙΚΗΣ ΔΙΔΑΣΚΟΝΤΕΣ: Βλάμος Π. Αυλωνίτης Μ. Άδειες Χρήσης Το παρόν εκπαιδευτικό υλικό υπόκειται σε άδειες χρήσης
Διαβάστε περισσότεραHMY 795: Αναγνώριση Προτύπων
HMY 795: Αναγνώριση Προτύπων Διαλέξεις 15 16 Λογιστική παλινδρόμηση (Logistic regression) Νευρωνικά Δίκτυα (Neural Networks) g ( x) = w x+ w T k k k0 1 ( T T WLS = X X) X T= X T Γραμμικές διαχωριστικές
Διαβάστε περισσότεραΑσκήσεις Φροντιστηρίου «Υπολογιστική Νοημοσύνη Ι» 4 o Φροντιστήριο
Ασκήσεις Φροντιστηρίου 4 o Φροντιστήριο Πρόβλημα 1 ο Ο πίνακας συσχέτισης R x του διανύσματος εισόδου x( στον LMS αλγόριθμο 1 0.5 R x = ορίζεται ως: 0.5 1. Ορίστε το διάστημα των τιμών της παραμέτρου μάθησης
Διαβάστε περισσότεραΑκαδηµαϊκό Έτος , Εαρινό Εξάµηνο ιδάσκων Καθ.: Νίκος Τσαπατσούλης
ΠΑΝΕΠΙΣΤΗΜΙΟ ΠΕΛΟΠΟΝΝΗΣΟΥ, ΤΜΗΜΑ ΤΕΧΝΟΛΟΓΙΑΣ ΤΗΛΕΠΙΚΟΙΝΩΝΙΩΝ ΒΕΣ 6: ΠΡΟΣΑΡΜΟΣΤΙΚΑ ΣΥΣΤΗΜΑΤΑ ΣΤΙΣ ΤΗΛΕΠΙΚΟΙΝΩΝΙΕΣ Ακαδηµαϊκό Έτος 26 27, Εαρινό Εξάµηνο Καθ.: Νίκος Τσαπατσούλης ΕΡΩΤΗΣΕΙΣ ΓΙΑ ΕΠΑΝΑΛΗΨΗ Το
Διαβάστε περισσότεραοµή δικτύου ΣΧΗΜΑ 8.1
8. ίκτυα Kohonen Το µοντέλο αυτό των δικτύων προτάθηκε το 1984 από τον Kοhonen, και αφορά διαδικασία εκµάθησης χωρίς επίβλεψη, δηλαδή δεν δίδεται καµία εξωτερική επέµβαση σχετικά µε τους στόχους που πρέπει
Διαβάστε περισσότεραΥπολογιστική Νοημοσύνη. Μάθημα 4: Μάθηση στον απλό τεχνητό νευρώνα (2)
Υπολογιστική Νοημοσύνη Μάθημα 4: Μάθηση στον απλό τεχνητό νευρώνα (2) Ο κανόνας Δέλτα για συνεχείς συναρτήσεις ενεργοποίησης (1/2) Για συνεχείς συναρτήσεις ενεργοποίησης, θα θέλαμε να αλλάξουμε περισσότερο
Διαβάστε περισσότεραΠΑΝΕΠΙΣΤΗΜΙΟ ΜΑΚΕ ΟΝΙΑΣ ΟΙΚΟΝΟΜΙΚΩΝ ΚΑΙ ΚΟΙΝΩΝΙΚΩΝ ΕΠΙΣΤΗΜΩΝ ΤΜΗΜΑ ΕΦΑΡΜΟΣΜΕΝΗΣ ΠΛΗΡΟΦΟΡΙΚΗΣ ΝΕΥΡΩΝΙΚΑ ΙΚΤΥΑ
ΘΕΜΑ ο (2.5 µονάδες) ΠΑΝΕΠΙΣΤΗΜΙΟ ΜΑΚΕ ΟΝΙΑΣ ΟΙΚΟΝΟΜΙΚΩΝ ΚΑΙ ΚΟΙΝΩΝΙΚΩΝ ΕΠΙΣΤΗΜΩΝ ΤΜΗΜΑ ΕΦΑΡΜΟΣΜΕΝΗΣ ΠΛΗΡΟΦΟΡΙΚΗΣ ΝΕΥΡΩΝΙΚΑ ΙΚΤΥΑ Τελικές εξετάσεις 2 Ιουνίου 24 ιάρκεια: 2 ώρες Σχεδιάστε έναν αισθητήρα
Διαβάστε περισσότεραΣΤΟΧΑΣΤΙΚΑ ΣΗΜΑΤΑ ΚΑΙ ΕΦΑΡΜΟΓΕΣ
ΣΤΟΧΑΣΤΙΚΑ ΣΗΜΑΤΑ ΚΑΙ ΕΦΑΡΜΟΓΕΣ Ακαδηµαϊκό Έτος 007-008 ιδάσκων: Ν. Παπανδρέου (Π.. 407/80) Πανεπιστήµιο Πατρών Τµήµα Μηχανικών Ηλεκτρονικών Υπολογιστών και Πληροφορικής 1η Εργαστηριακή Άσκηση Αναγνώριση
Διαβάστε περισσότεραΓραµµική Αλγεβρα. Ενότητα 3 : ιανυσµατικοί Χώροι και Υπόχωροι. Ευστράτιος Γαλλόπουλος Τµήµα Μηχανικών Η/Υ & Πληροφορικής
Γραµµική Αλγεβρα Ενότητα 3 : ιανυσµατικοί Χώροι και Υπόχωροι Ευστράτιος Γαλλόπουλος Τµήµα Μηχανικών Η/Υ & Πληροφορικής Αδειες Χρήσης Το παρόν εκπαιδευτικό υλικό υπόκειται σε άδειες χρήσης Creative Commons.
Διαβάστε περισσότεραΠανεπιστήµιο Κύπρου Πολυτεχνική Σχολή
Πανεπιστήµιο Κύπρου Πολυτεχνική Σχολή Τµήµα Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών ΗΜΜΥ 795: ΑΝΑΓΝΩΡΙΣΗ ΠΡΟΤΥΠΩΝ Ακαδηµαϊκό έτος 2010-11 Χειµερινό Εξάµηνο Τελική εξέταση Τρίτη, 21 εκεµβρίου 2010,
Διαβάστε περισσότεραΑσκήσεις Φροντιστηρίου «Υπολογιστική Νοηµοσύνη Ι» 7ο Φροντιστήριο 15/1/2008
Ασκήσεις Φροντιστηρίου «Υπολογιστική Νοηµοσύνη Ι» 7ο Φροντιστήριο 5//008 Πρόβληµα ο Στα παρακάτω ερωτήµατα επισηµαίνουµε ότι perceptron είναι ένας νευρώνας και υποθέτουµε, όπου χρειάζεται, τη χρήση δικτύων
Διαβάστε περισσότεραΚινητά Δίκτυα Επικοινωνιών. Συμπληρωματικό υλικό. Προσαρμοστική Ισοστάθμιση Καναλιού
Κινητά Δίκτυα Επικοινωνιών Συμπληρωματικό υλικό Προσαρμοστική Ισοστάθμιση Καναλιού Προσαρμοστικοί Ισοσταθμιστές Για να υπολογίσουμε τους συντελεστές του ισοσταθμιστή MMSE, απαιτείται να λύσουμε ένα γραμμικό
Διαβάστε περισσότεραΤΕΙ ΣΕΡΡΩΝ ΤΜΗΜΑ ΠΛΗΡΟΦΟΡΙΚΗΣ ΚΑΙ ΕΠΙΚΟΙΝΩΝΙΩΝ ΕΞΕΤΑΣΗ ΣΤΟ ΜΑΘΗΜΑ «ΑΝΑΓΝΩΡΙΣΗ ΠΡΟΤΥΠΩΝ ΝΕΥΡΩΝΙΚΑ ΔΙΚΤΥΑ» ΔΕ. 11 ΙΟΥΝΙΟΥ 2012
ΔΕ. ΙΟΥΝΙΟΥ Δίνονται τα εξής πρότυπα: [ ] [ ] [ ] [ ] Άσκηση η ( μονάδες) Χρησιμοποιώντας το κριτήριο της ομοιότητας να απορριφθεί ένα χαρακτηριστικό με βάσει το συντελεστή συσχέτισης. (γράψτε ποιο χαρακτηριστικό
Διαβάστε περισσότεραΑναγνώριση Προτύπων Ι
Αναγνώριση Προτύπων Ι Ενότητα 1: Μέθοδοι Αναγνώρισης Προτύπων Αν. Καθηγητής Δερματάς Ευάγγελος Τμήμα Ηλεκτρολόγων Μηχανικών και Τεχνολογίας Υπολογιστών Άδειες Χρήσης Το παρόν εκπαιδευτικό υλικό υπόκειται
Διαβάστε περισσότεραΚεφάλαιο 1. Αριθµητική ολοκλήρωση συνήθων διαφορικών εξισώσεων και συστηµάτων
Κεφάλαιο Αριθµητική ολοκλήρωση συνήθων διαφορικών εξισώσεων και συστηµάτων. Εισαγωγή Η µοντελοποίηση πολλών φυσικών φαινοµένων και συστηµάτων και κυρίως αυτών που εξελίσσονται στο χρόνο επιτυγχάνεται µε
Διαβάστε περισσότεραΒέλτιστα Ψηφιακά Φίλτρα: Φίλτρα Wiener, Ευθεία και αντίστροφη γραµµική πρόβλεψη
ΒΕΣ 6 Προσαρµοστικά Συστήµατα στις Τηλεπικοινωνίες Βέλτιστα Ψηφιακά Φίλτρα: Φίλτρα Wiener, Ευθεία και αντίστροφη γραµµική πρόβλεψη 7 Nicolas sapatsoulis Βιβλιογραφία Ενότητας Benvenuto []: Κεφάλαιo Wirow
Διαβάστε περισσότεραΕΛΛΗΝΙΚΟ ΑΝΟΙΚΤΟ ΠΑΝΕΠΙΣΤΗΜΙΟ
Θ.Ε. ΠΛΗ31 (2004-5) ΓΡΑΠΤΗ ΕΡΓΑΣΙΑ #3 Στόχος Στόχος αυτής της εργασίας είναι η απόκτηση δεξιοτήτων σε θέματα που αφορούν τα Τεχνητά Νευρωνικά Δίκτυα και ποιο συγκεκριμένα θέματα εκπαίδευσης και υλοποίησης.
Διαβάστε περισσότεραΟι πράξεις που χρειάζονται για την επίλυση αυτών των προβληµάτων (αφού είναι απλές) µπορούν να τεθούν σε µια σειρά και πάρουν µια αλγοριθµική µορφή.
Η Αριθµητική Ανάλυση χρησιµοποιεί απλές αριθµητικές πράξεις για την επίλυση σύνθετων µαθηµατικών προβληµάτων. Τις περισσότερες φορές τα προβλήµατα αυτά είναι ή πολύ περίπλοκα ή δεν έχουν ακριβή αναλυτική
Διαβάστε περισσότεραΜη Συµβολικές Μέθοδοι
Μη Συµβολικές Μέθοδοι! Η Συµβολική (symbolic AI): # Προσοµοιώνει τον τρόπο σκέψης του ανθρώπου, χρησιµοποιώντας ως δοµικές µονάδες τα σύµβολα. # Ένα σύµβολο µπορεί να αναπαριστά µία έννοια ή µία σχέση
Διαβάστε περισσότεραΠανεπιστήμιο Κύπρου Πολυτεχνική Σχολή
Πανεπιστήμιο Κύπρου Πολυτεχνική Σχολή Τμήμα Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών ΗΜΜΥ 795: ΑΝΑΓΝΩΡΙΣΗ ΠΡΟΤΥΠΩΝ Ακαδημαϊκό έτος 2010-11 Χειμερινό Εξάμηνο Practice final exam 1. Έστω ότι για
Διαβάστε περισσότεραΣέργιος Θεοδωρίδης Κωνσταντίνος Κουτρούμπας. Version 2
Σέργιος Θεοδωρίδης Κωνσταντίνος Κουτρούμπας Verson 2 1 C MH ΠΑΡΑΜΕΤΡΙΚΟΙ ΤΑΞΙΝΟΜΗΤΕΣ ΒΑΣΙΣΜΕΝΟΙ ΣΕ ΕΠΙΦΑΝΕΙΕΣ ΑΠΟΦΑΣΗΣ Υπενθύμιση: είναι το σύνολο δεδομένων που περιέχει τα διαθέσιμα δεδομένα από όλες
Διαβάστε περισσότεραΤΕΙ ΣΕΡΡΩΝ ΤΜΗΜΑ ΠΛΗΡΟΦΟΡΙΚΗΣ ΚΑΙ ΕΠΙΚΟΙΝΩΝΙΩΝ ΕΞΕΤΑΣΗ ΣΤΟ ΜΑΘΗΜΑ «ΑΝΑΓΝΩΡΙΣΗ ΠΡΟΤΥΠΩΝ ΝΕΥΡΩΝΙΚΑ ΔΙΚΤΥΑ» ΠΑ. 7 ΣΕΠΤΕΜΒΡΙΟΥ 2012
ΠΑ. 7 ΣΕΠΤΕΜΒΡΙΟΥ Δίνονται τα εξής πρότυπα: [ ] [ ] [ ] [ ] Άσκηση η (3 μονάδες) Χρησιμοποιώντας το κριτήριο της ομοιότητας να απορριφθεί ένα χαρακτηριστικό με βάση το συντελεστή συσχέτισης. (γράψτε ποιο
Διαβάστε περισσότεραΓραµµική Άλγεβρα. Εισαγωγικά. Μέθοδος Απαλοιφής του Gauss
Γραµµική Άλγεβρα Εισαγωγικά Υπάρχουν δύο βασικά αριθµητικά προβλήµατα στη Γραµµική Άλγεβρα. Το πρώτο είναι η λύση γραµµικών συστηµάτων Aλγεβρικών εξισώσεων και το δεύτερο είναι η εύρεση των ιδιοτιµών και
Διαβάστε περισσότεραΕπίλυση Γραµµικών Συστηµάτων
Κεφάλαιο 3 Επίλυση Γραµµικών Συστηµάτων 31 Εισαγωγή Αριθµητική λύση γενικών γραµµικών συστηµάτων n n A n n x n 1 b n 1, όπου a 11 a 12 a 1n a 21 a 22 a 2n A [a i j, x a n1 a n2 a nn x n, b b 1 b 2 b n
Διαβάστε περισσότεραΤεχνητή Νοημοσύνη. 17η διάλεξη ( ) Ίων Ανδρουτσόπουλος.
Τεχνητή Νοημοσύνη 17η διάλεξη (2016-17) Ίων Ανδρουτσόπουλος http://.aueb.gr/users/ion/ 1 Οι διαφάνειες αυτής της διάλεξης βασίζονται: στο βιβλίο Artificia Inteigence A Modern Approach των S. Russe και
Διαβάστε περισσότεραΣέργιος Θεοδωρίδης Κωνσταντίνος Κουτρούμπας. Version 2
Σέργιος Θεοδωρίδης Κωνσταντίνος Κουτρούμπας Verson Μέθοδοι ελαχίστων τετραγώνων Least square methos Αν οι κλάσεις είναι γραμμικώς διαχωρίσιμες το perceptron θα δώσει σαν έξοδο ± Αν οι κλάσεις ΔΕΝ είναι
Διαβάστε περισσότεραΠΑΝΕΠΙΣΤΗΜΙΟ ΜΑΚΕ ΟΝΙΑΣ ΟΙΚΟΝΟΜΙΚΩΝ ΚΑΙ ΚΟΙΝΩΝΙΚΩΝ ΕΠΙΣΤΗΜΩΝ ΤΜΗΜΑ ΕΦΑΡΜΟΣΜΕΝΗΣ ΠΛΗΡΟΦΟΡΙΚΗΣ ΝΕΥΡΩΝΙΚΑ ΙΚΤΥΑ
ΘΕΜΑ ο (2.5 µονάδες) ΠΑΝΕΠΙΣΤΗΜΙΟ ΜΑΚΕ ΟΝΙΑΣ ΟΙΚΟΝΟΜΙΚΩΝ ΚΑΙ ΚΟΙΝΩΝΙΚΩΝ ΕΠΙΣΤΗΜΩΝ ΤΜΗΜΑ ΕΦΑΡΜΟΣΜΕΝΗΣ ΠΛΗΡΟΦΟΡΙΚΗΣ ΝΕΥΡΩΝΙΚΑ ΙΚΤΥΑ Τελικές εξετάσεις 25 Αυγούστου 26 :-4: Κατασκευάστε έναν αισθητήρα (perceptron)
Διαβάστε περισσότερα3. O ΑΛΓΟΡΙΘΜΟΣ ΤΟΥ PERCEPTRON
3. O ΑΛΓΟΡΙΘΜΟΣ ΤΟΥ PERCEPRON 3. ΕΙΣΑΓΩΓΗ: Το Perceptron είναι η απλούστερη μορφή Νευρωνικού δικτύου, το οποίο χρησιμοποιείται για την ταξινόμηση ενός ειδικού τύπου προτύπων, που είναι γραμμικά διαχωριζόμενα.
Διαβάστε περισσότεραΑριθμητική εύρεση ριζών μη γραμμικών εξισώσεων
Αριθμητική εύρεση ριζών μη γραμμικών εξισώσεων Με τον όρο μη γραμμικές εξισώσεις εννοούμε εξισώσεις της μορφής: f( ) 0 που προέρχονται από συναρτήσεις f () που είναι μη γραμμικές ως προς. Περιέχουν δηλαδή
Διαβάστε περισσότεραΜέθοδοι Μηχανικής Μάθησης στην επεξεργασία Τηλεπισκοπικών Δεδομένων. Δρ. Ε. Χάρου
Μέθοδοι Μηχανικής Μάθησης στην επεξεργασία Τηλεπισκοπικών Δεδομένων Δρ. Ε. Χάρου Πρόγραμμα υπολογιστικής ευφυίας Ινστιτούτο Πληροφορικής & Τηλεπικοινωνιών ΕΚΕΦΕ ΔΗΜΟΚΡΙΤΟΣ exarou@iit.demokritos.gr Μηχανική
Διαβάστε περισσότεραΤεχνητή Νοημοσύνη. 18η διάλεξη ( ) Ίων Ανδρουτσόπουλος.
Τεχνητή Νοημοσύνη 18η διάλεξη (2016-17) Ίων Ανδρουτσόπουλος http://www.aueb.gr/users/ion/ 1 Οι διαφάνειες αυτής της διάλεξης βασίζονται: στο βιβλίο Machine Learning του T. Mitchell, McGraw- Hill, 1997,
Διαβάστε περισσότεραΜάθηση και Γενίκευση. "Τεχνητά Νευρωνικά Δίκτυα" (Διαφάνειες), Α. Λύκας, Παν. Ιωαννίνων
Μάθηση και Γενίκευση Το Πολυεπίπεδο Perceptron (MultiLayer Perceptron (MLP)) Έστω σύνολο εκπαίδευσης D={(x n,t n )}, n=1,,n. x n =(x n1,, x nd ) T, t n =(t n1,, t np ) T Θα πρέπει το MLP να έχει d νευρώνες
Διαβάστε περισσότεραΚΕΦΑΛΑΙΟ 4 ΑΡΙΘΜΗΤΙΚΕΣ ΜΕΘΟ ΟΙ ΕΥΡΕΣΗΣ ΠΡΑΓΜΑΤΙΚΩΝ Ι ΙΟΤΙΜΩΝ. 4.1 Γραµµικοί µετασχηµατισµοί-ιδιοτιµές-ιδιοδιανύσµατα
ΚΕΦΑΛΑΙΟ 4 ΑΡΙΘΜΗΤΙΚΕΣ ΜΕΘΟ ΟΙ ΕΥΡΕΣΗΣ ΠΡΑΓΜΑΤΙΚΩΝ Ι ΙΟΤΙΜΩΝ 4. Γραµµικοί µετασχηµατισµοί-ιδιοτιµές-ιδιοδιανύσµατα Εστω R είναι ο γνωστός -διάστατος πραγµατικός διανυσµατικός χώρος. Μία απεικόνιση L :
Διαβάστε περισσότεραΧΑΡΟΚΟΠΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΑΘΗΝΩΝ ΤΜΗΜΑ ΠΛΗΡΟΦΟΡΙΚΗΣ & ΤΗΛΕΜΑΤΙΚΗΣ ΤΕΧΝΗΤΗ ΝΟΗΜΟΣΥΝΗ ΝΕΥΡΩΝΙΚΑ ΔΙΚΤΥΑ. Καραγιώργου Σοφία
ΧΑΡΟΚΟΠΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΑΘΗΝΩΝ ΤΜΗΜΑ ΠΛΗΡΟΦΟΡΙΚΗΣ & ΤΗΛΕΜΑΤΙΚΗΣ ΤΕΧΝΗΤΗ ΝΟΗΜΟΣΥΝΗ ΝΕΥΡΩΝΙΚΑ ΔΙΚΤΥΑ Καραγιώργου Σοφία Εισαγωγή Προσομοιώνει βιολογικές διεργασίες (π.χ. λειτουργία του εγκεφάλου, διαδικασία
Διαβάστε περισσότεραΣέργιος Θεοδωρίδης Κωνσταντίνος Κουτρούμπας. Version 2
Σέργιος Θεοδωρίδης Κωνσταντίνος Κουτρούμπας Versio A ΠΑΡΑΜΕΤΡΙΚΟΙ ΤΑΞΙΝΟΜΗΤΕΣ ΒΑΣΙΣΜΕΝΟΙ ΣΕ ΣΥΝΑΡΤΗΣΕΙΣ ΔΙΑΚΡΙΣΗΣ Η περίπτωση του ταξινομητή Bayes Εκτίμηση μέγιστης εκ των υστέρων πιθανότητας Maimum Aoseriori
Διαβάστε περισσότεραΚΕΦΑΛΑΙΟ 3 ΑΡΙΘΜΗΤΙΚΗ ΕΠΙΛΥΣΗ ΓΡΑΜΜΙΚΩΝ ΣΥΣΤΗΜΑΤΩΝ. nn n n
ΚΕΦΑΛΑΙΟ 3 ΑΡΙΘΜΗΤΙΚΗ ΕΠΙΛΥΣΗ ΓΡΑΜΜΙΚΩΝ ΣΥΣΤΗΜΑΤΩΝ 3 Ο αλγόριθµος Gauss Eστω =,3,, µε τον όρο γραµµικά συστήµατα, εννοούµε συστήµατα εξισώσεων µε αγνώστους της µορφής: a x + + a x = b a x + + a x = b a
Διαβάστε περισσότεραΑναγνώριση Προτύπων (Pattern Recognition)
Αναγνώριση Προτύπων (Pern Recognon) Γραµµικές Συναρτήσεις ιάκρισης (Lner Dscrmnn Funcons) Π. Τσακαλίδης ΠΑΝΕΠΙΣΤΗΜΙΟ ΚΡΗΤΗΣ ΤΜΗΜΑ ΕΠΙΣΤΗΜΗΣ ΥΠΟΛΟΓΙΣΤΩΝ Γραµµικές Συναρτήσεις ιάκρισης Στόχος: Η σχεδίαση
Διαβάστε περισσότεραΓ. Κορίλη Αλγόριθµοι ροµολόγησης
- Γ. Κορίλη Αλγόριθµοι ροµολόγησης http://www.seas.upenn.edu/~tcom50/lectures/lecture.pdf ροµολόγηση σε ίκτυα εδοµένων Αναπαράσταση ικτύου µε Γράφο Μη Κατευθυνόµενοι Γράφοι Εκτεταµένα έντρα Κατευθυνόµενοι
Διαβάστε περισσότεραΕΙΣΑΓΩΓΗ ΣΤΗ ΒΕΛΤΙΣΤΟΠΟΙΗΣΗ ΣΥΣΤΗΜΑΤΩΝ
ΥΠΕΥΘΥΝΟΣ ΚΑΘΗΓΗΤΗΣ Α. Ντούνης ΔΙΔΑΣΚΩΝ Χ. Τσιρώνης ΕΙΣΑΓΩΓΗ ΣΤΗ ΒΕΛΤΙΣΤΟΠΟΙΗΣΗ ΣΥΣΤΗΜΑΤΩΝ - Αλγόριθμοι κλίσης - Gradient tools in MATLAB - Επίλυση ΝCM και CM ΑΛΓΟΡΙΘΜΟΙ ΚΛΙΣΗΣ Κατευθυντική αναζήτηση επί
Διαβάστε περισσότεραQR είναι ˆx τότε x ˆx. 10 ρ. Ποιά είναι η τιµή του ρ και γιατί (σύντοµη εξήγηση). P = [X. 0, X,..., X. (n 1), X. n] a(n + 1 : 1 : 1)
ΕΠΙΣΤΗΜΟΝΙΚΟΣ ΥΠΟΛΟΓΙΣΜΟΣ I (22 Σεπτεµβρίου) ΕΠΙΛΕΓΜΕΝΕΣ ΑΠΑΝΤΗΣΕΙΣ 1ο ΘΕΜΑ 1. Αφού ορίσετε ακριβώς τι σηµαίνει πίσω ευσταθής υπολογισµός, να εξηγήσετε αν ο υ- πολογισµός του εσωτερικού γινοµένου δύο διανυσµάτων
Διαβάστε περισσότεραHMY 795: Αναγνώριση Προτύπων. Διαλέξεις 13-14
HMY 795: Αναγνώριση Προτύπων Διαλέξεις 13-14 Γραμμικές διαχωριστικές συναρτήσεις(συνέχεια) Επιλογή μοντέλου Δεδομένα επικύρωσης Κανονικοποίηση Bayes Model evidence(τεκμήριο): Η πιθανότητα να παρατηρήσουμε
Διαβάστε περισσότεραΕπίλυση δικτύων διανοµής
Επίλυση δικτύων διανοµής Σηµειώσεις στα πλαίσια του µαθήµατος: Τυπικά υδραυλικά έργα Ακαδηµαϊκό έτος 00-06 Ανδρέας Ευστρατιάδης & ηµήτρης Κουτσογιάννης Εθνικό Μετσόβιο Πολυτεχνείο Τοµέας Υδατικών Πόρων
Διαβάστε περισσότεραΣτατιστική περιγραφή τουπεδίουβαρύτητας
Στατιστική περιγραφή τουπεδίουβαρύτητας ΣΤΑΤΙΣΤΙΚΗ ΠΕΡΙΓΡΑΦΗ ΤΟΥ ΠΕ ΙΟΥ ΒΑΡΥΤΗΤΑΣ Οι ανωµαλίες της βαρύτητας σε παγκόσµια κλίµακα θεωρούνται στατιστικά µεγέθη µε µέση τιµή µηδέν Τα στατιστικά χαρακτηριστικά
Διαβάστε περισσότεραΝευρωνικά Δίκτυα στο Matlab
Νευρωνικά Δίκτυα στο Matlab Ρ202 Μηχανική Ευφυΐα (Machine Intelligence) Ευστάθιος Αντωνίου Τμήμα Μηχανικών Πληροφορικής Αλεξάνδρειο ΤΕΙ Θεσσαλονίκης E-mail: antoniou@itteithegr Πρόγραμμα Μεταπτυχιακών
Διαβάστε περισσότεραΣχεδίαση Σ.Α.Ε: Σχεδίαση µε το Γεωµετρικό Τόπο Ριζών
ΚΕΣ : Αυτόµατος Έλεγχος ΚΕΣ Αυτόµατος Έλεγχος Σχεδίαση Σ.Α.Ε: Σχεδίαση µε το Γεωµετρικό Τόπο Ριζών ΚΕΣ : Αυτόµατος Έλεγχος Βιβλιογραφία Ενότητας Παρασκευόπουλος []: Εφαρµογές, Κεφάλαιο 9: Ενότητες 9.-9.4
Διαβάστε περισσότεραΒασίλειος Μαχαιράς Πολιτικός Μηχανικός Ph.D.
Βασίλειος Μαχαιράς Πολιτικός Μηχανικός Ph.D. Μη γραμμικός προγραμματισμός: βελτιστοποίηση χωρίς περιορισμούς Πανεπιστήμιο Θεσσαλίας Σχολή Θετικών Επιστημών ΤμήμαΠληροφορικής Διάλεξη 7-8 η /2017 Τι παρουσιάστηκε
Διαβάστε περισσότεραΣέργιος Θεοδωρίδης Κωνσταντίνος Κουτρούμπας. Version 2
Σέργιος Θεοδωρίδης Κωνσταντίνος Κουτρούμπας Version 2 1 Άλλοι τύποι νευρωνικών δικτύων Αυτοοργανούμενοι χάρτες (Self-organizing maps - SOMs) Αναδρομικά νευρωνικά δίκτυα (Recurrent Neural Networks): γενικής
Διαβάστε περισσότεραΠΑΝΕΠΙΣΤΗΜΙΟ ΜΑΚΕ ΟΝΙΑΣ ΟΙΚΟΝΟΜΙΚΩΝ ΚΑΙ ΚΟΙΝΩΝΙΚΩΝ ΕΠΙΣΤΗΜΩΝ ΤΜΗΜΑ ΕΦΑΡΜΟΣΜΕΝΗΣ ΠΛΗΡΟΦΟΡΙΚΗΣ ΝΕΥΡΩΝΙΚΑ ΙΚΤΥΑ
ΘΕΜΑ ο (.5 µονάδες) ΠΑΝΕΠΙΣΤΗΜΙΟ ΜΑΚΕ ΟΝΙΑΣ ΟΙΚΟΝΟΜΙΚΩΝ ΚΑΙ ΚΟΙΝΩΝΙΚΩΝ ΕΠΙΣΤΗΜΩΝ ΤΜΗΜΑ ΕΦΑΡΜΟΣΜΕΝΗΣ ΠΛΗΡΟΦΟΡΙΚΗΣ ΝΕΥΡΩΝΙΚΑ ΙΚΤΥΑ Τελικές εξετάσεις Τετάρτη Ιουνίου 7 :-4: Κατασκευάστε έναν αισθητήρα (perceptron)
Διαβάστε περισσότεραΤεχνητά Νευρωνικά Δίκτυα. Τσιριγώτης Γεώργιος Τμήμα Μηχανικών Πληροφορικής ΤΕΙ Ανατολικής Μακεδονίας & Θράκης
Τεχνητά Τσιριγώτης Γεώργιος Τμήμα Μηχανικών Πληροφορικής ΤΕΙ Ανατολικής Μακεδονίας & Θράκης Ο Βιολογικός Νευρώνας Δενδρίτες Συνάψεις Πυρήνας (Σώμα) Άξονας 2 Ο Βιολογικός Νευρώνας 3 Βασικά Χαρακτηριστικά
Διαβάστε περισσότεραΑριθµητική Ανάλυση 1 εκεµβρίου / 43
Αριθµητική Ανάλυση 1 εκεµβρίου 2014 Αριθµητική Ανάλυση 1 εκεµβρίου 2014 1 / 43 Κεφ.5. Αριθµητικός Υπολογισµός Ιδιοτιµών και Ιδιοδιανυσµάτων ίνεται ένας πίνακας A C n n και Ϲητούνται να προσδιορισθούν οι
Διαβάστε περισσότεραΠοσοτικές Μέθοδοι στη Διοίκηση Επιχειρήσεων ΙΙ Σύνολο- Περιεχόμενο Μαθήματος
Ποσοτικές Μέθοδοι στη Διοίκηση Επιχειρήσεων ΙΙ Σύνολο- Περιεχόμενο Μαθήματος Χιωτίδης Γεώργιος Τμήμα Λογιστικής και Χρηματοοικονομικής Άδειες Χρήσης Το παρόν εκπαιδευτικό υλικό υπόκειται σε άδειες χρήσης
Διαβάστε περισσότεραπροβλήµατος Το φίλτρο Kalman διαφέρει από τα συνηθισµένα προβλήµατα ΜΕΤ σε δύο χαρακτηριστικά: παραµέτρων αγνώστων
Φίλτρα Kalman Εξαγωγή των εξισώσεων τους µε βάση το κριτήριο ελαχιστοποίησης της Μεθόδου των Ελαχίστων Τετραγώνων. Αναλυτικές Μέθοδοι στη Γεωπληροφορική Μεταπτυχιακό Πρόγραµµα ΓΕΩΠΛΗΡΟΦΟΡΙΚΗ ιατύπωση του
Διαβάστε περισσότεραΠΑΝΕΠΙΣΤΗΜΙΟ ΜΑΚΕΔΟΝΙΑΣ ΟΙΚΟΝΟΜΙΚΩΝ ΚΑΙ ΚΟΙΝΩΝΙΚΩΝ ΕΠΙΣΤΗΜΩΝ ΤΜΗΜΑ ΕΦΑΡΜΟΣΜΕΝΗΣ ΠΛΗΡΟΦΟΡΙΚΗΣ ΝΕΥΡΩΝΙΚΑ ΔΙΚΤΥΑ
ΘΕΜΑ 1 ο (2,5 μονάδες) ΠΑΝΕΠΙΣΤΗΜΙΟ ΜΑΚΕΔΟΝΙΑΣ ΟΙΚΟΝΟΜΙΚΩΝ ΚΑΙ ΚΟΙΝΩΝΙΚΩΝ ΕΠΙΣΤΗΜΩΝ ΤΜΗΜΑ ΕΦΑΡΜΟΣΜΕΝΗΣ ΠΛΗΡΟΦΟΡΙΚΗΣ ΝΕΥΡΩΝΙΚΑ ΔΙΚΤΥΑ Τελικές εξετάσεις Πέμπτη 21 Ιουνίου 2012 16:30-19:30 Υποθέστε ότι θέλουμε
Διαβάστε περισσότεραΕπιστηµονικός Υπολογισµός Ι
Επιστηµονικός Υπολογισµός Ι Ενότητα 5 : Επίλυση Γραµµικών Συστηµάτων Ευστράτιος Γαλλόπουλος Τµήµα Μηχανικών Η/Υ & Πληροφορικής Αδειες Χρήσης Το παρόν εκπαιδευτικό υλικό υπόκειται σε άδειες χρήσης Creative
Διαβάστε περισσότεραΚατάτµηση εικόνας σε οµοιόµορφες περιοχές
KEΣ 03 Αναγνώριση Προτύπων και Ανάλυση Εικόνας Κατάτµηση εικόνας σε οµοιόµορφες περιοχές ΤµήµαΕπιστήµης και Τεχνολογίας Τηλεπικοινωνιών Πανεπιστήµιο Πελοποννήσου Εισαγωγή Κατάτµηση µε πολυκατωφλίωση Ανάπτυξη
Διαβάστε περισσότεραΑριθμητική Ανάλυση & Εφαρμογές
Αριθμητική Ανάλυση & Εφαρμογές Διδάσκων: Δημήτριος Ι. Φωτιάδης Τμήμα Μηχανικών Επιστήμης Υλικών Ιωάννινα 2017-2018 Υπολογισμοί και Σφάλματα Παράσταση Πραγματικών Αριθμών Συστήματα Αριθμών Παράσταση Ακέραιου
Διαβάστε περισσότεραΑναγνώριση Προτύπων (Pattern Recognition) Μπεϋζιανή Θεωρία Αποφάσεων (Bayesian Decision Theory) Π. Τσακαλίδης
Αναγνώριση Προτύπων (Pattern Recognton Μπεϋζιανή Θεωρία Αποφάσεων (Bayesan Decson Theory Π. Τσακαλίδης ΠΑΝΕΠΙΣΤΗΜΙΟ ΚΡΗΤΗΣ ΤΜΗΜΑ ΕΠΙΣΤΗΜΗΣ ΥΠΟΛΟΓΙΣΤΩΝ Μπεϋζιανή Θεωρία Αποφάσεων (Bayes Decson theory Στατιστικά
Διαβάστε περισσότεραΚΕΦΑΛΑΙΟ 18. 18 Μηχανική Μάθηση
ΚΕΦΑΛΑΙΟ 18 18 Μηχανική Μάθηση Ένα φυσικό ή τεχνητό σύστηµα επεξεργασίας πληροφορίας συµπεριλαµβανοµένων εκείνων µε δυνατότητες αντίληψης, µάθησης, συλλογισµού, λήψης απόφασης, επικοινωνίας και δράσης
Διαβάστε περισσότεραHMY 795: Αναγνώριση Προτύπων
HMY 795: Αναγνώριση Προτύπων Διαλέξεις 17 18 Νευρωνικά Δίκτυα (Neural Networks) συνέχεια Minimum squared error procedure for classification 1 ( T T wls = X X) X b= X b Xw = b Logistic sigmoidal function
Διαβάστε περισσότεραΣυγκριτική Μελέτη Μεθόδων Κατηγοριοποίησης σε Ιατρικά Δεδομένα
ΕΘΝΙΚΟ ΜΕΤΣΟΒΙΟ ΠΟΛΥΤΕΧΝΕΙΟ ΣΧΟΛΗ ΗΛΕΚΤΡΟΛΟΓΩΝ ΜΗΧΑΝΙΚΩΝ ΚΑΙ ΜΗΧΑΝΙΚΩΝ ΥΠΟΛΟΓΙΣΤΩΝ ΤΟΜΕΑΣ ΣΥΣΤΗΜΑΤΩΝ ΜΕΤΑΔΟΣΗΣ ΠΛΗΡΟΦΟΡΙΑΣ ΚΑΙ ΤΕΧΝΟΛΟΓΙΑΣ ΥΛΙΚΩΝ Συγκριτική Μελέτη Μεθόδων Κατηγοριοποίησης σε Ιατρικά Δεδομένα
Διαβάστε περισσότεραΑνάλυση Σ.Α.Ε στο χώρο κατάστασης
ΚΕΣ : Αυτόµατος Έλεγχος ΚΕΣ Αυτόµατος Έλεγχος Ανάλυση Σ.Α.Ε στο χώρο 6 Nicola Tapaouli Λύση εξισώσεων ΚΕΣ : Αυτόµατος Έλεγχος Βιβλιογραφία Ενότητας Παρασκευόπουλος [4]: Κεφάλαιο 5: Ενότητες 5.-5. Παρασκευόπουλος
Διαβάστε περισσότερα