Μοντέλο Perceptron πολλών στρωμάτων Multi Layer Perceptron (MLP)
|
|
- Αλθαία Παπανικολάου
- 6 χρόνια πριν
- Προβολές:
Transcript
1 Μοντέλο Perceptron πολλών στρωμάτων Multi Layer Perceptron (MLP) x -0,5 a x x ,5 y y 0 0 x 2 -,5 a 2 θ η τιμή κατωφλίου Μία λύση του προβλήματος XOR
2 Multi Layer Perceptron (MLP) x -0,5 Μία λύση του προβλήματος XOR a -0,5 y x 2 -,5 a 2 - x x 2 α =f(x +x 2-0,5) α 2 =f(x +x 2 -,5) y=f(a -a 2-0,5) 0 0 α =f(-0,5)=0 α 2 =f(-,5)=0 y=f(-0,5)=0 0 α =f(0,5)= α 2 =f(-0,5)=0 y=f(0,5)= 0 α =f(0,5)= α 2 =f(-0,5)=0 y=f(0,5)= α =f(,5)= α 2 =f(0,5)= y=f(-0,5)=0
3 x 2 (0,) (,) (0,0) (,0) x Δηλαδή έχουμε διαχωρισμό με δύο ευθείες
4 Γενική Τοπολογία Δικτύου MLP x x 2 y y m x n Στρώμα Εισόδου Input Layer Κρυφό Στρώμα Hidden Layer Κρυφό Στρώμα Ν Hidden Layer Ν Στρώμα Εξόδου Output Layer
5 Γενικεύοντας στρώμα Γραμμικός διαχωρισμός 2 Στρώματα Κυρτός διαχωρισμός 3 Στρώματα Διαχωρισμός κάθε μορφής Η επίδραση των στρωμάτων στην επεξεργασία
6 Multi Layer Perceptron (MLP) To MLP είναι ένα Νευρωνικό Δίκτυο που έχει πολύ καλές επιδόσεις και επιλύει προβλήματα που ένα απλό Perceptron δεν μπορεί. Έχει μια διαφορά με το Perceptron που συναντήσαμε. Δεν χρησιμοποιεί ως συνάρτηση ενεργοποίησης την βηματική (0/ ή -/) αλλά συνήθως την Σιγμοειδή. Αυτό γίνεται γιατί, καθώς κατά την εκμάθηση, χρησιμοποιούνται αλγόριθμοι βελτιστοποίησης που βασίζονται στην κατάβαση δυναμικού (δηλαδή στην παραγώγιση), η βηματική δεν είναι παραγωγίσιμη. Η Σιγμοειδής και είναι πολύ κοντά στην βηματική και είναι παραγωγίσιμη.
7 Συνάρτηση Ενεργοποίησης (MLP) f u = + e u 0 Βηματική: Δυαδική Μη παραγωγίσιμη Σιγμοειδής: Συνεχείς τιμές Παραγωγίσιμη 7
8 Multi Layer Perceptron (MLP) Μια άλλη συνάρτηση ενεργοποίησης που χρησιμοποιείται στo MLP είναι η υπερβολική εφαπτομένη (hyperbolic tangent), η οποία μοιάζει με την βηματική, είναι κι αυτή παραγωγίσιμη και συνδέεται με την σιγμοειδή: tanh u = eu e u e u = 2f 2u + e u Όπου: f u η Σιγμοειδής
9 Multi Layer Perceptron (MLP) Στις δύο περιπτώσεις της συνάρτησης ενεργοποίησης (σιγμοειδή ή υπερβολικής εφαπτομένης), η έξοδος y του νευρωνικού δικτύου έχει ομαλές μεταβολές, σε αντιπαραβολή με την περίπτωση της βηματικής συνάρτησης όπου οι μεταβολές είναι απότομες. Το λευκό αντιστοιχεί στην τιμή y=, το μπλε στην y=0 και το γκρι-σιέλ στις ενδιάμεσες τιμές. Βηματική Σιγμοειδής
10 Multi Layer Perceptron (MLP) Τα δίκτυα MLP με σιγμοειδή συνάρτηση ενεργοποίησης έχουν πολλές δυνατότητες στην αναπαράσταση συναρτήσεων (κάθε ομαλής συνάρτησης), γι αυτό ονομάζονται και «Καθολικοί Προσεγγιστές» (Universal Approximators). Ακόμα και με μόνο δύο κρυφά στρώματα νευρώνων έχουν πολύ καλές επιδόσεις. Θεώρημα Ένα δίκτυο δύο στρωμάτων μπορεί να προσεγγίσει (θεωρητικά), όσο καλά επιθυμούμε, οποιαδήποτε συνεχή συνάρτηση.
11 Multi Layer Perceptron (MLP) Οι νευρώνες του κρυφού στρώματος έχουν τη σιγμοειδή συνάρτηση ενεργοποίησης. Ο νευρώνας εξόδου έχει τη γραμμική συνάρτηση ενεργοποίησης. Όσο πιο πολύπλοκη είναι η συνάρτηση που επιθυμούμε να προσεγγίσουμε, τόσο περισσότερους κρυφούς νευρώνες θέλουμε. Συνήθως δύο στρώματα αρκούν. Universal Approximator: ισχύει και για συναρτήσεις πολλών εξόδων.
12 Ανάκληση σε δίκτυο (MLP) Στο δίκτυο MLP, οι νευρώνες κάθε στρώματος l τροφοδοτούνται μόνον από τους νευρώνες του προηγούμενου στρώματος l. Συνήθως το στρώμα εισόδου το ονοματίζουμε «μηδενικό στρώμα» το οποίο τροφοδοτεί το ο στρώμα. Σημείωση: Στην διεθνή βιβλιογραφία η ορολογία και οι συμβολισμοί στα Νευρωνικά Δίκτυα ποικίλουν. Έτσι πολλές φορές προκύπτει η αναγκαιότητα εναρμόνισης των συμβολισμών. στρώμα l στρώμα l- i j w ij
13 Ανάκληση σε δίκτυο (MLP) L το πλήθος των στρωμάτων του MLP (χωρίς το στρώμα εισόδου). L το στρώμα εξόδου. N 0, N, N 2,.., N L το πλήθος των νευρώνων στα στρώματα 0,, 2,.,L. Δηλαδή N 0 είναι το πλήθος των εισόδων και N L είναι το πλήθος των εξόδων του δικτύου. a i l οι ενεργοποιήσεις των νευρώνων του στρώματος l. w ij l το συναπτικό βάρος που συνδέει τον νευρώνα a j l του στρώματος l με τον νευρώνα a i l του στρώματος l.
14 Ανάκληση σε δίκτυο (MLP) w i0 l το κατώφλι του νευρώνα a i l του στρώματος l. x i = a i 0 οι είσοδοι του δικτύου. y i = a i L οι έξοδοι του δικτύου. Ανάκληση είναι η διαδικασία υπολογισμού των τιμών των νευρώνων του δικτύου (των εξόδων τους δηλαδή), έχοντας δεδομένες τις τιμές των εισόδων x, x 2,.., x N(0). Για κάθε στρώμα θα είναι: α i l = f N l j= w ij l α j l + w i0 l
15 Αλγόριθμος: Ανάκληση σε δίκτυο (MLP) Είσοδοι: a (0) = x, a 2 (0) = x 2,, a N(0) (0) = x N(0) /* 0 = στρώμα εισόδου, L = στρώμα εξόδου */ Έξοδοι: y = a (L), y 2 = a 2 (L),, y N(L) = a N(L) (L) Για κάθε στρώμα l =,, L { Για κάθε νευρώνα i =,, N(l) { } } α i l = f N l j= w ij l α j l + w i0 l
16 Αλγόριθμος: Ανάκληση σε δίκτυο (MLP) Ο αλγόριθμος δείχνει πως ο νευρώνας i του στρώματος l έχει εισόδους τις ενεργοποιήσεις a i l των νευρώνων από το στρώμα l και κατώφλι το w i0 l. Έτσι έχοντας τις τιμές των εισόδων x i υπολογίζουμε πρώτα τις ενεργοποιήσεις των νευρώνων του στρώματος, μετά (με βάση αυτές) τις ενεργοποιήσεις των νευρώνων του στρώματος 2, κ.λ.π., μέχρι τον υπολογισμό των εξόδων του δικτύου.
17 Εκπαίδευση του δικτύου (MLP) Η εκπαίδευση ενός δικτύου MLP έχει ιδιαίτερο ενδιαφέρον λόγω της ικανότητας του MLP να συμπεριφέρεται ως «Καθολικός Προσεγγιστής» (Universal Approximator). Αποδεικνύεται πως εάν έχουμε το κατάλληλο μέγεθος δικτύου, τότε μπορούμε να το εκπαιδεύσουμε να μάθει όποια συνάρτηση θέλουμε και με οποιαδήποτε ακρίβεια θέλουμε. Αυτό αιτιολογεί και την μεγάλη δημοτικότητα των αλγορίθμων εκπαίδευσης MLP. Ο πιο γνωστός αλγόριθμος εκπαίδευσης είναι ο Back-Propagation.
18 Ο αλγόριθμος εκπαίδευσης Back-Propagation Προτάθηκε από τον Paul Werbos (970 s), αλλά και από άλλους την ίδια περίπου εποχή. Εκπαίδευση με επίβλεψη (ύπαρξη στόχων). Η γενική τοπολογία του MLP είναι: L στρώματα n = N(0) αριθμός εισόδων m = N(L) αριθμός εξόδων x, x 2,.., x n είσοδοι y, y 2,.., y m έξοδοι Για μια σειρά από P διανύσματα εισόδου, επιθυμούμε να έχουμε μια σειρά από P αντίστοιχα διανύσματα εξόδου.
19 Ο αλγόριθμος εκπαίδευσης Back-Propagation x p = x p, x n p T το p-στό διάνυσμα εισόδου y p = y p, y m p T το p-στό διάνυσμα εξόδου d p = d p, d m p T το p-στό διάνυσμα στόχων Για την εκπαίδευση θα χρησιμοποιηθούν τα P ζεύγη διανυσμάτων εισόδων-στόχων: x, d, x 2, d 2,., x p, d p. Η ιδανική εκπαίδευση θα κατέληγε στα ζεύγη: y = d, y 2 = d 2,.., y p = d p. Αυτό βέβαια δεν είναι εφικτό και θα πρέπει να προσαρμοστούμε σε μια βέλτιστη δυνατή προσέγγιση για την επιθυμητή έξοδο, χρησιμοποιώντας ένα κριτήριο κόστους. Το πιο διαδεδομένο κριτήριο είναι το Μέσο Τετραγωνικό Σφάλμα (Mean Square Error) J.
20 Ο αλγόριθμος εκπαίδευσης Back-Propagation P J MSE = P p= d p y p 2 = P p= Σκοπός: Η ελαχιστοποίηση της συνάρτησης MSE. Το MSE το έχουμε ήδη συναντήσει στο ADALINE. Ελαχιστοποιεί την απόσταση μεταξύ των διανυσμάτων y i, d i (επιθυμητή και πραγματική τιμή εξόδου). Παραγωγίζεται και μπορεί να χρησιμοποιηθεί στην μέθοδο κατάβασης δυναμικού για την εύρεση των αναδρομικών τύπων που θα υπολογίζουν την μεταβολή των συναπτικών βαρών για την πραγματοποίηση της εκπαίδευσης του δικτύου. P m i= d i p y i p 2
21 Κατάβαση δυναμικού J MSE Α Κλίση (gradient) στο σημείο Α + Κλίση (gradient) στο σημείο Β Β w παλιό w νέο Αν η κλίση είναι αρνητική τότε πάω μπροστά ( ) w νέο w παλιό Αν η κλίση είναι θετική τότε πάω πίσω ( ) Κινούμαι αντίθετα απ ότι λέει η παράγωγος: αν η παράγωγος είναι θετική τότε μειώνω το βάρος w, αν είναι αρνητική το αυξάνω. w
22 Κατάβαση δυναμικού Για να ελαχιστοποιηθεί το MSE πρέπει να διορθωθούν τα βάρη w ij. Πρέπει δηλαδή, με την μέθοδο κατάβασης δυναμικού, να βρούμε την μεταβολή του w ij ως προς τον χρόνο t (η οποία είναι η κλίση του J ως προς w ij ) δηλαδή πρέπει να βρούμε την παράγωγο του J ως προς w ij ). dw ij dt = J w ij Στον υπολογιστή χρησιμοποιούμε τον διακριτό χρόνο k, του οποίου συναρτήσεις θα είναι τα βάρη του κάθε στρώματος κατά την διάρκεια της εκπαίδευσης.
23 Κατάβαση δυναμικού w ij l, k : Συναπτικό βάρος που συνδέει τον νευρώνα j του στρώματος l με τον νευρώνα i του στρώματος l κατά την χρονική στιγμή k. στρώμα l w ij l, k στρώμα l- i j Η κατάβαση δυναμικού θα γίνει: J w ij l, k + w ij l, k = β w ij l, k J w ij l, k + = w ij l, k β w ij l, k Όπου β: το βήμα εκπαίδευσης
24 Κατάβαση δυναμικού Η έξοδος του νευρώνα i του στρώματος l θα είναι: Όπου: u i k l = a i k l = f u i k l N l ξ= w iξ l, k a ξ k l + w i0 l, k a i k Στρώμα l w ij l, k Στρώμα l- l i j Το μέγεθος u k i l λέγεται δικτυακή διέγερση (net input) του νευρώνα και είναι το άθροισμα των διεγέρσεων των νευρώνων του προηγούμενου στρώματος, συνδυασμένων με τα συναπτικά βάρη w iξ l, k. Το συναπτικό βάρος w i0 l, k αντιστοιχεί στο κατώφλι του νευρώνα i.
25 Ο κανόνας Back-Propagation (BP) Για διευκόλυνση των υπολογισμών, θέτουμε όπου: δ k J i l = u k i l Όπου δ i είναι η παράγωγος του κόστους J ως προς την δικτυακή διέγερση του νευρώνα i και έχει σχέση με το σφάλμα του νευρώνα i. Από την χρήση του ελληνικού γράμματος «δέλτα» στην παράσταση, πήρε και το όνομά του ο κανόνας Back-Propagation και λέγεται «Γενικευμένος κανόνας δέλτα» (Generalized Delta Rule)
26 J w ij l, k = J u k i l u k i l w ij l, k = δ i k u k i l l w ij l, k Η παράγωγος της δικτυακής διέγερσης ως προς το συναπτικό βάρος w ij l, k θα είναι: u i k Για j 0: Για j = 0: Ο κανόνας Back-Propagation (BP) N l l w ij l,k u k i l = w iξ l, k a k ξ l + w i0 l, k u i k ξ= l w ij l,k = a j k l u i k l w i0 l,k =
27 Με βάση αυτά θα έχουμε: Ο κανόνας Back-Propagation (BP) J w ij l, k = δ i k l a k j l για j =,, N(l ) δ k i l για j = 0 Εάν δε απλοποιήσουμε περεταίρω θέτοντας: a k 0 l = για όλα τα στρώματα l =,2,, L. θα έχουμε: J w ij l, k = δ i k l a j k l Για j = 0,,2,, N(l ) και l =,2,, L
28 Ο κανόνας Back-Propagation (BP) Στην ανωτέρω σχέση, ο υπολογισμός των σφαλμάτων δ k i l, για όλους τους νευρώνες i, θα γίνει αντίστροφα σε σχέση με την ανάκληση, δηλαδή ξεκινώντας από το στρώμα εξόδου και πηγαίνοντας πίσω, προς το στρώμα εισόδου. Για το στρώμα εξόδου L: Σφάλμα: παράγωγος του κόστους J ως προς την διέγερση u k i L δ i k = L = J a i k L J u k i L = J a k i f u i k u i k L L L a i k u i k = d i k y i k f u i k L Το σφάλμα δ k i L είναι η διαφορά του στόχου από την έξοδο επί την παράγωγο της συνάρτησης ενεργοποίησης f. L L
29 Ισχύουν διαφορετικοί τύποι για το εξωτερικό στρώμα L και για τα υπόλοιπα στρώματα. Για το στρώμα εξόδου L: Ο κανόνας Back-Propagation (BP) w ij k + = w ij k + βδ i k a j k δ i k = d i k y i k f u i k i =,, N L j = 0,,, N L d i a j w ij Στρώμα L Στρώμα L- Ανάλογα με το ποια συνάρτηση f u ενεργοποίησης χρησιμοποιούμε έχουμε και την διαφορετική παράγωγό της, f u. Για τις πιο συχνά χρησιμοποιούμενες (που πρέπει να είναι και παραγωγίσιμες) έχουμε:
30 Ο κανόνας Back-Propagation (BP) Για την σιγμοειδή: f u = + e u f u = f u f u Για την υπερβολική εφαπτομένη: f u = tanh u = eu e u e u + e u f u = + f u Για την γραμμική: f u = u f u = f u Σημείωση: Κάθε στρώμα μπορεί να έχει την δική του συνάρτηση ενεργοποίησης.
31 Ο κανόνας Back-Propagation (BP)..... d d 2 d 3 d N στρώμα l + d i στρώμα l Για οποιοδήποτε στρώμα l =,, L : Υπολογισμός δ i l προώθηση προς τα πίσω (backward phase). Υπολογίζω τα δ i l χρησιμοποιώντας τα δ i l + του πιο πάνω στρώματος. Εξ ου και το όνομα Back-Propagation.
32 Ο κανόνας Back-Propagation (BP) δ i k = l = N l+ μ= N l+ J u i k J l u k μ l + a i k u k μ l + a k i l u k i = δ k i l + w k μi l + f u k i l μ= l l
33 Ο κανόνας Back-Propagation (BP) Ο τύπος είναι ίδιος με αυτόν για το στρώμα L. Αλλάζει μόνον ο υπολογισμός του δ. d i w ij Στρώμα l+ w ij k + = w ij k + βδ i k a j k δ i k l = f u i k l i =,, N l j = 0,,, N l N l+ μ= a j w μi l + δ μ l + Στρώμα l
34 Εξίσωση ενημέρωσης βαρών j = 0,,, N l, Ο κανόνας Back-Propagation (BP) w ij l, k + = w ij l, k + βδ i k l a j k l l =,, L Τύποι υπολογισμού δ Στρώμα L = τελευταίο στρώμα: δ i k L = f u i k L d i k y i k Στρώμα l =,, L : δ i k l = f u i k l N l+ μ= w μi l + δ μ l +
35 Είσοδοι: P ζεύγη διανυσμάτων εισόδων-στόχων x p, d p Αρχικοποίησε τα βάρη w ij (l) σε μικρές τυχαίες τιμές Για κάθε εποχή =, 2,, MAXepoch { Για κάθε πρότυπο p =,, P { /* Εκπαίδευση */ /* Φάση ανάκλησης = Forward phase */ /* Φάση υπολογισμού d = Backward phase */ /* Φάση ενημέρωσης βαρών = Update phase */ } J=0; Για κάθε πρότυπο p =,, P { /* Υπολογισμός J */ /* Φάση ανάκλησης = Forward phase */ /* Άθροισε το τετραγωνικό σφάλμα στο J */ } } Μέχρι J μικρότερο από κάποιο κατώφλι minimum J Ο κανόνας Back-Propagation (BP)
36 Θέσε το συνολικό σφάλμα=0 Όχι Εάν το συνολικό σφάλμα < τελικού σφάλματος στόχου, σταμάτα Δώσε το ο πρότυπο και κάνε την εκπαίδευση Πρόσθεσε, την απόλυτη τιμή του σφάλματος κάθε νευρώνα εξόδου, στο συνολικό σφάλμα Ναι Stop Ναι, το τελευταίο πρότυπο έχει εκπαιδευτεί Εάν το τελευταίο πρότυπο έχει εκπαιδευθεί, άρχισε ξανά με το ο, διαφορετικά φόρτωσε το επόμενο πρότυπο και κάνε την εκπαίδευση Όχι, το τελευταίο πρότυπο δεν έχει εκπαιδευτεί
37 Τυπική καμπύλη εκπαίδευσης νευρωνικού δικτύου
38 Κατά την εκπαίδευση, υπάρχει ενδεχόμενο να «παγιδευτούμε» σε τοπικά ελάχιστα (Local minima) Τοπικά ελάχιστα (Local minima) Καμπύλη εκπαίδευσης νευρωνικού δικτύου με Local minima
39 Υπάρχει επίσης ενδεχόμενο να «παγιδευτούμε» οριστικά σε συνολικό ελάχιστο (Global minima) Τοπικά ελάχιστα (Local minima) Συνολικό ελάχιστο (Global minima) Καμπύλη εκπαίδευσης νευρωνικού δικτύου με Global minima
40 Εφαρμογή και Προβλήματα του MLP Δυνατότητα επίλυσης πολύπλοκων προβλημάτων. Καλύτερος ταξινομητής από το Perceptron και το ADALINE. Universal Approximator. Κατάβαση Δυναμικού Πρόβλημα τοπικών ελαχίστων: Μπορεί να «κολλήσει» σε μια λύση που δεν είναι ιδιαίτερα καλή. Αργή σύγκλιση. Ποιο b να επιλέξω; Δεν υπάρχει εύκολη και σαφής απάντηση. Συνήθως βάζω τυχαία μικρό b και δοκιμάζω.
41 Παράδειγμα εκπαίδευσης (MLP) 0,35 0, θ i =0 β= 0,9 0,6 0,8 0,4 a a 2 0,3 0,9 w ij l, k + = w ij l, k + βδ k i l a k j l f u = + e u f u = f u f u δ i k L = f u i k L d i k y i k d=0,5 y
42 Παράδειγμα εκπαίδευσης (MLP) u=(0,35x0,)+(0,9x0,8)=0,755 0,35 0, f 0,755 = + e 0,755 = 0,68 = a 0,8 a 0,9 0,6 0,4 a 2 0,3 0,9 f 0,68 = y + e 0,68 = 0,6637 = a 2 u=(0,9x0,6)+(0,35x0,4) = 0,68
43 0,35 0,9 Παράδειγμα εκπαίδευσης (MLP) 0, 0,6 0,8 0,4 a a 2 u=(0,3x0,68)+ (0,9x0,6637) = 0,8033 0,3 0,9 f 0,8033 = y = 0,69 = y + e 0,8033 Σφάλμα εξόδου: δ=(d-y)(-y)y = (0,5-0,69)(-0,69)0,69 = -0,0406 δ k i L = f u k i L d k k i y i f u = + e u f u = f u f u y = f u
44 0,35 0,9 Παράδειγμα εκπαίδευσης (MLP) 0, 0,6 0,8 0,4 a a 2 0,3 0,9 a = 0,68 a 2 = 0,6637 y Σφάλμα εξόδου: δ= -0,0406 w ij l, k + = w ij l, k + βδ i k l a j k l Νέα βάρη για το στρώμα εξόδου (για β=): w+ = w+(δ x είσοδος α) = 0,3 + (-0,0406x0,68) = 0, w2+ = w2+(δ x είσοδος α2) = 0,9 + (-0,0406x0,6637) = 0,87305
45 0,35 0,9 Παράδειγμα εκπαίδευσης (MLP) 0, 0,6 0,8 0,4 δ i k l = f u i k l N l+ μ= a 0, ,87305 a 2 w μi l + δ μ l + w+ = 0, w2+ = 0,87305 y Σφάλμα εξόδου: δ=-0,0406 Δηλαδή το y παίρνει τώρα τις τιμές των α α 2 αντίστοιχα Σφάλματα ενδιάμεσου στρώματος: δ = δ x w x (-y)y = -0,0406 x 0, x (-y)y = -2,406x0-3 δ2= δ x w2 x (-y)y = -0,0406 x 0,87305 x (-y)y = -7,96x0-3
46 Παράδειγμα εκπαίδευσης (MLP) 0,35 0,9 0, 0,8 0,4 0,6 a 0, ,87305 a 2 δ = -2,406x0-3 δ2= -7,96x0-3 y Το a j k l για τα βάρη αυτά είναι η είσοδος, σ αυτό το στρώμα w ij l, k + = w ij l, k + βδ i k l a j k l Νέα βάρη ενδιάμεσου στρώματος: w3+ = 0, + (-2,406 x 0-3 x 0,35) = 0,0996 w4+ = 0,8 + (-2,406 x 0-3 x 0,9) = 0,7978 w5+ = 0,4 + (-7,96 x 0-3 x 0,35) = 0,3972 w6+ = 0,6 + (-7,96 x 0-3 x 0,9) = 0,5928
47 0,0996 0,35 0,7978 0,3972 0,9 0,5928 Παράδειγμα εκπαίδευσης (MLP) Επόμενο βήμα u=(0,35x0,0996)+(0,9x0,7978)=0, a 0, y 0,87305 a 2 u=(0,9x0,5928)+(0,35x0,3972) = 0,67254 f 0, = = 0, e 0, f 0,67254 = = 0,662 + e 0,67254
48 0,35 Επόμενο βήμα 0,9 Παράδειγμα εκπαίδευσης (MLP) u=(0,6799 x0,272392)+(0,662 x0,87305) = 0, ,0996 0,7978 0,3972 0,5928 a 0, ,87305 a 2 a = 0,6799 a 2 = 0,662 f 0,763 = y d=0,5 y = 0,69 y 2 = 0,682 = 0,682 = y + e 0,763 Παλιό σφάλμα: Νέο σφάλμα: Δηλαδή έχουμε διόρθωση των βαρών προς την σωστή κατεύθυνση.
49 Εκπαίδευση χωρίς επίβλεψη (Unsupervised Learning) Η εκπαίδευση χωρίς επίβλεψη, επιτρέπει στο δίκτυο να αυτοοργανωθεί για την δική του ταξινόμηση των δεδομένων εισόδου (πρότυπα εισόδου), επιχειρώντας να βρει μια ενδεχόμενη δομή των δεδομένων χωρίς ετικέτα που δεν είναι προφανής. Σε αυτή την περίπτωση, δεν υπάρχουν επιθυμητές έξοδοι, επακριβώς καθορισμένες. Όταν η μάθηση πραγματοποιείται με έναν ορισμένο αριθμό των παραδειγμάτων (πρότυπα εισόδου) που είναι γνωστά εκ των προτέρων, η μάθηση ονομάζεται μη προσαρμοστική (non adaptive). Αντίθετα, όταν η μάθηση συντελείται συνεχώς, όταν προστίθενται πρότυπα, ονομάζεται προσαρμοστική (adaptive).
Το μοντέλο Perceptron
Το μοντέλο Perceptron Αποτελείται από έναν μόνο νευρώνα McCulloch-Pitts w j x x 1, x2,..., w x T 1 1 x 2 w 2 Σ u x n f(u) Άνυσμα Εισόδου s i x j x n w n -θ w w 1, w2,..., w n T Άνυσμα Βαρών 1 Το μοντέλο
Διαβάστε περισσότεραΤο Πολυεπίπεδο Perceptron. "Τεχνητά Νευρωνικά Δίκτυα" (Διαφάνειες), Α. Λύκας, Παν. Ιωαννίνων
Το Πολυ Perceptron Δίκτυα Πρόσθιας Τροφοδότησης (feedforward) Tο αντίστοιχο γράφημα του δικτύου δεν περιλαμβάνει κύκλους: δεν υπάρχει δηλαδή ανατροφοδότηση της εξόδου ενός νευρώνα προς τους νευρώνες από
Διαβάστε περισσότεραΕκπαίδευση ΤΝΔ με ελαχιστοποίηση του τετραγωνικού σφάλματος εκπαίδευσης. "Τεχνητά Νευρωνικά Δίκτυα" (Διαφάνειες), Α. Λύκας, Παν.
Εκπαίδευση ΤΝΔ με ελαχιστοποίηση του τετραγωνικού σφάλματος εκπαίδευσης Ελαχιστοποίηση συνάρτησης σφάλματος Εκπαίδευση ΤΝΔ: μπορεί να διατυπωθεί ως πρόβλημα ελαχιστοποίησης μιας συνάρτησης σφάλματος E(w)
Διαβάστε περισσότεραΝευρωνικά Δίκτυα στο Matlab
Νευρωνικά Δίκτυα στο Matlab Ρ202 Μηχανική Ευφυΐα (Machine Intelligence) Ευστάθιος Αντωνίου Τμήμα Μηχανικών Πληροφορικής Αλεξάνδρειο ΤΕΙ Θεσσαλονίκης E-mail: antoniou@itteithegr Πρόγραμμα Μεταπτυχιακών
Διαβάστε περισσότεραΤεχνητά Νευρωνικά Δίκτυα. Τσιριγώτης Γεώργιος Τμήμα Μηχανικών Πληροφορικής ΤΕΙ Ανατολικής Μακεδονίας & Θράκης
Τεχνητά Τσιριγώτης Γεώργιος Τμήμα Μηχανικών Πληροφορικής ΤΕΙ Ανατολικής Μακεδονίας & Θράκης Ο Βιολογικός Νευρώνας Δενδρίτες Συνάψεις Πυρήνας (Σώμα) Άξονας 2 Ο Βιολογικός Νευρώνας 3 Βασικά Χαρακτηριστικά
Διαβάστε περισσότεραΑσκήσεις μελέτης της 19 ης διάλεξης
Οικονομικό Πανεπιστήμιο Αθηνών, Τμήμα Πληροφορικής Μάθημα: Τεχνητή Νοημοσύνη, 2016 17 Διδάσκων: Ι. Ανδρουτσόπουλος Ασκήσεις μελέτης της 19 ης διάλεξης 19.1. Δείξτε ότι το Perceptron με (α) συνάρτηση ενεργοποίησης
Διαβάστε περισσότεραΒασικές αρχές εκπαίδευσης ΤΝΔ: το perceptron. "Τεχνητά Νευρωνικά Δίκτυα" (Διαφάνειες), Α. Λύκας, Παν. Ιωαννίνων
Βασικές αρχές εκπαίδευσης ΤΝΔ: το perceptron Βιολογικός Νευρώνας Δενδρίτες, που αποτελούν τις γραμμές εισόδου των ερεθισμάτων (βιολογικών σημάτων) Σώμα, στο οποίο γίνεται η συσσώρευση των ερεθισμάτων και
Διαβάστε περισσότεραΤεχνητή Νοημοσύνη. 19η διάλεξη ( ) Ίων Ανδρουτσόπουλος.
Τεχνητή Νοημοσύνη 19η διάλεξη (2016-17) Ίων Ανδρουτσόπουλος http://www.aueb.gr/users/ion/ 1 Οι διαφάνειες αυτές βασίζονται σε ύλη των βιβλίων: Artificia Inteigence A Modern Approach των S. Russe και P.
Διαβάστε περισσότεραΜη γραµµικοί ταξινοµητές Νευρωνικά ίκτυα
KEΣ 3 Αναγνώριση Προτύπων και Ανάλυση Εικόνας Μη γραµµικοί ταξινοµητές Νευρωνικά ίκτυα ΤµήµαΕπιστήµης και Τεχνολογίας Τηλεπικοινωνιών Πανεπιστήµιο Πελοποννήσου Εισαγωγή Πολυεπίπεδες Perceptron Οαλγόριθµος
Διαβάστε περισσότεραΥπολογιστική Νοημοσύνη. Μάθημα 6: Μάθηση με Οπισθοδιάδοση Σφάλματος Backpropagation Learning
Υπολογιστική Νοημοσύνη Μάθημα 6: Μάθηση με Οπισθοδιάδοση Σφάλματος Backpropagation Learning Κεντρική ιδέα Τα παραδείγματα μάθησης παρουσιάζονται στο μηεκπαιδευμένο δίκτυο και υπολογίζονται οι έξοδοι. Για
Διαβάστε περισσότεραΔΙΚΤΥO RBF. "Τεχνητά Νευρωνικά Δίκτυα" (Διαφάνειες), Α. Λύκας, Παν. Ιωαννίνων
ΔΙΚΤΥO RBF Αρχιτεκτονική δικτύου RBF Δίκτυα RBF: δίκτυα συναρτήσεων πυρήνα (radial basis function networks). Πρόσθιας τροφοδότησης (feedforward) για προβλήματα μάθησης με επίβλεψη. Εναλλακτικό του MLP.
Διαβάστε περισσότεραHMY 795: Αναγνώριση Προτύπων. Διαλέξεις 15-16
HMY 795: Αναγνώριση Προτύπων Διαλέξεις 15-16 Νευρωνικά Δίκτυα(Neural Networks) Fisher s linear discriminant: Μείωση διαστάσεων (dimensionality reduction) y Τ =w x s + s =w S w 2 2 Τ 1 2 W ( ) 2 2 ( ) m2
Διαβάστε περισσότεραΣέργιος Θεοδωρίδης Κωνσταντίνος Κουτρούμπας. Version 2
Σέργιος Θεοδωρίδης Κωνσταντίνος Κουτρούμπας Verson ΜΗ ΓΡΑΜΜΙΚΟΙ ΤΑΞΙΝΟΜΗΤΕΣ ΝΕΥΡΩΝΙΚΑ ΔΙΚΤΥΑ Η παραπάνω ανάλυση ήταν χρήσιμη προκειμένου να κατανοήσουμε τη λογική των δικτύων perceptrons πολλών επιπέδων
Διαβάστε περισσότεραΣέργιος Θεοδωρίδης Κωνσταντίνος Κουτρούμπας. Version 2
Σέργιος Θεοδωρίδης Κωνσταντίνος Κουτρούμπας Verson ΜΙΑ ΣΥΜΒΑΣΗ: Προκειμένου να καταστήσουμε πιο συμπαγή το συμβολισμό H : ορίζουμε Ετσι έχουμε *=[ ] an *=[ ]. H : * * ΣΗΜΕΙΩΣΗ: Στη συνέχεια εκτός αν ορίζεται
Διαβάστε περισσότεραΥπολογιστική Νοημοσύνη. Μάθημα 4: Μάθηση στον απλό τεχνητό νευρώνα (2)
Υπολογιστική Νοημοσύνη Μάθημα 4: Μάθηση στον απλό τεχνητό νευρώνα (2) Ο κανόνας Δέλτα για συνεχείς συναρτήσεις ενεργοποίησης (1/2) Για συνεχείς συναρτήσεις ενεργοποίησης, θα θέλαμε να αλλάξουμε περισσότερο
Διαβάστε περισσότεραΧΑΡΟΚΟΠΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΑΘΗΝΩΝ ΤΜΗΜΑ ΠΛΗΡΟΦΟΡΙΚΗΣ & ΤΗΛΕΜΑΤΙΚΗΣ ΤΕΧΝΗΤΗ ΝΟΗΜΟΣΥΝΗ ΝΕΥΡΩΝΙΚΑ ΔΙΚΤΥΑ. Καραγιώργου Σοφία
ΧΑΡΟΚΟΠΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΑΘΗΝΩΝ ΤΜΗΜΑ ΠΛΗΡΟΦΟΡΙΚΗΣ & ΤΗΛΕΜΑΤΙΚΗΣ ΤΕΧΝΗΤΗ ΝΟΗΜΟΣΥΝΗ ΝΕΥΡΩΝΙΚΑ ΔΙΚΤΥΑ Καραγιώργου Σοφία Εισαγωγή Προσομοιώνει βιολογικές διεργασίες (π.χ. λειτουργία του εγκεφάλου, διαδικασία
Διαβάστε περισσότεραΑσκήσεις Φροντιστηρίου «Υπολογιστική Νοημοσύνη Ι» 5 o Φροντιστήριο
Πρόβλημα ο Ασκήσεις Φροντιστηρίου 5 o Φροντιστήριο Δίνεται το παρακάτω σύνολο εκπαίδευσης: # Είσοδος Κατηγορία 0 0 0 Α 2 0 0 Α 0 Β 4 0 0 Α 5 0 Β 6 0 0 Α 7 0 Β 8 Β α) Στον παρακάτω κύβο τοποθετείστε τα
Διαβάστε περισσότεραΔρ. Βασίλειος Γ. Καμπουρλάζος Δρ. Ανέστης Γ. Χατζημιχαηλίδης
Μάθημα 4 ο Δρ. Ανέστης Γ. Χατζημιχαηλίδης Τμήμα Μηχανικών Πληροφορικής Τ.Ε. ΤΕΙ Ανατολικής Μακεδονίας και Θράκης 2016-2017 Διευρυμένη Υπολογιστική Νοημοσύνη (ΥΝ) Επεκτάσεις της Κλασικής ΥΝ. Μεθοδολογίες
Διαβάστε περισσότεραΝευρωνικά ίκτυα και Εξελικτικός. Σηµερινό Μάθηµα. επανάληψη Γενετικών Αλγορίθµων 1 η εργασία Επανάληψη νευρωνικών δικτύων Ασκήσεις εφαρµογές
Νευρωνικά ίκτυα και Εξελικτικός Προγραµµατισµός Σηµερινό Μάθηµα επανάληψη Γενετικών Αλγορίθµων η εργασία Επανάληψη νευρωνικών δικτύων Ασκήσεις εφαρµογές Κωδικοποίηση Αντικειµενική Συνάρτ Αρχικοποίηση Αξιολόγηση
Διαβάστε περισσότερα4.3. Γραµµικοί ταξινοµητές
Γραµµικοί ταξινοµητές Γραµµικός ταξινοµητής είναι ένα σύστηµα ταξινόµησης που χρησιµοποιεί γραµµικές διακριτικές συναρτήσεις Οι ταξινοµητές αυτοί αναπαρίστανται συχνά µε οµάδες κόµβων εντός των οποίων
Διαβάστε περισσότεραΠαρουσίαση 2 η : Αρχές εκτίμησης παραμέτρων Μέρος 1 ο
Εφαρμογές Ανάλυσης Σήματος στη Γεωδαισία Παρουσίαση η : Αρχές εκτίμησης παραμέτρων Μέρος ο Βασίλειος Δ. Ανδριτσάνος Αναπληρωτής Καθηγητής Γεώργιος Χλούπης Επίκουρος Καθηγητής Τμήμα Μηχανικών Τοπογραφίας
Διαβάστε περισσότεραΣέργιος Θεοδωρίδης Κωνσταντίνος Κουτρούμπας. Version 2
Σέργιος Θεοδωρίδης Κωνσταντίνος Κουτρούμπας Verson ΧΑΡΤΟΓΡΑΦΗΣΗ ΤΟΥ ΧΩΡΟΥ ΤΩΝ ΤΑΞΙΝΟΜΗΤΩΝ Ταξινομητές Ταξινομητές συναρτ. διάκρισης Ταξινομητές επιφανειών απόφ. Παραμετρικοί ταξινομητές Μη παραμετρικοί
Διαβάστε περισσότεραΑναγνώριση Προτύπων Ι
Αναγνώριση Προτύπων Ι Ενότητα 2: Δομικά Συστήματα Αν. Καθηγητής Δερματάς Ευάγγελος Τμήμα Ηλεκτρολόγων Μηχανικών και Τεχνολογίας Υπολογιστών Άδειες Χρήσης Το παρόν εκπαιδευτικό υλικό υπόκειται σε άδειες
Διαβάστε περισσότεραΕΛΕΓΧΟΣ ΠΑΡΑΓΩΓΙΚΩΝ ΔΙΕΡΓΑΣΙΩΝ
ΕΛΛΗΝΙΚΗ ΔΗΜΟΚΡΑΤΙΑ Ανώτατο Εκπαιδευτικό Ίδρυμα Πειραιά Τεχνολογικού Τομέα ΕΛΕΓΧΟΣ ΠΑΡΑΓΩΓΙΚΩΝ ΔΙΕΡΓΑΣΙΩΝ Ενότητα: Αναγνώριση Διεργασίας - Προσαρμοστικός Έλεγχος (Process Identification) Αλαφοδήμος Κωνσταντίνος
Διαβάστε περισσότεραΜάθηση και Γενίκευση. "Τεχνητά Νευρωνικά Δίκτυα" (Διαφάνειες), Α. Λύκας, Παν. Ιωαννίνων
Μάθηση και Γενίκευση Το Πολυεπίπεδο Perceptron (MultiLayer Perceptron (MLP)) Έστω σύνολο εκπαίδευσης D={(x n,t n )}, n=1,,n. x n =(x n1,, x nd ) T, t n =(t n1,, t np ) T Θα πρέπει το MLP να έχει d νευρώνες
Διαβάστε περισσότεραΚινητά Δίκτυα Επικοινωνιών. Συμπληρωματικό υλικό. Προσαρμοστική Ισοστάθμιση Καναλιού
Κινητά Δίκτυα Επικοινωνιών Συμπληρωματικό υλικό Προσαρμοστική Ισοστάθμιση Καναλιού Προσαρμοστικοί Ισοσταθμιστές Για να υπολογίσουμε τους συντελεστές του ισοσταθμιστή MMSE, απαιτείται να λύσουμε ένα γραμμικό
Διαβάστε περισσότεραΤεχνητή Νοημοσύνη. 18η διάλεξη ( ) Ίων Ανδρουτσόπουλος.
Τεχνητή Νοημοσύνη 18η διάλεξη (2016-17) Ίων Ανδρουτσόπουλος http://www.aueb.gr/users/ion/ 1 Οι διαφάνειες αυτής της διάλεξης βασίζονται: στο βιβλίο Machine Learning του T. Mitchell, McGraw- Hill, 1997,
Διαβάστε περισσότεραΤΜΗΜΑ ΔΙΟΙΚΗΣΗΣ ΕΠΙΧΕΙΡΗΣΕΩΝ
ΤΕΙ Δυτικής Μακεδονίας ΤΜΗΜΑ ΔΙΟΙΚΗΣΗΣ ΕΠΙΧΕΙΡΗΣΕΩΝ 2015-2016 Τεχνητή Νοημοσύνη Νευρώνας Perceptron Διδάσκων: Τσίπουρας Μάρκος Εκπαιδευτικό Υλικό: Τσίπουρας Μάρκος Τζώρτζης Γρηγόρης Περιεχόμενα Εισαγωγή
Διαβάστε περισσότεραΑΝΑΓΝΩΡΙΣΗ ΠΡΟΤΥΠΩΝ. ΕΝΟΤΗΤΑ: Γραμμικές Συναρτήσεις Διάκρισης. ΔΙΔΑΣΚΟΝΤΕΣ: Βλάμος Π. Αυλωνίτης Μ. ΙΟΝΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΤΜΗΜΑ ΠΛΗΡΟΦΟΡΙΚΗΣ
ΑΝΑΓΝΩΡΙΣΗ ΠΡΟΤΥΠΩΝ ΕΝΟΤΗΤΑ: Γραμμικές Συναρτήσεις Διάκρισης ΙΟΝΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΤΜΗΜΑ ΠΛΗΡΟΦΟΡΙΚΗΣ ΔΙΔΑΣΚΟΝΤΕΣ: Βλάμος Π. Αυλωνίτης Μ. Άδειες Χρήσης Το παρόν εκπαιδευτικό υλικό υπόκειται σε άδειες χρήσης
Διαβάστε περισσότεραΑκαδημαϊκό Έτος , Χειμερινό Εξάμηνο Διδάσκων Καθ.: Νίκος Τσαπατσούλης
ΠΑΝΕΠΙΣΤΗΜΙΟ ΠΕΛΟΠΟΝΝΗΣΟΥ, ΤΜΗΜΑ ΤΕΧΝΟΛΟΓΙΑΣ ΤΗΛΕΠΙΚΟΙΝΩΝΙΩΝ ΚΕΣ 3: ΑΝΑΓΝΩΡΙΣΗ ΠΡΟΤΥΠΩΝ ΚΑΙ ΑΝΑΛΥΣΗ ΕΙΚΟΝΑΣ Ακαδημαϊκό Έτος 7 8, Χειμερινό Εξάμηνο Καθ.: Νίκος Τσαπατσούλης ΕΡΩΤΗΣΕΙΣ ΕΠΑΝΑΛΗΨΗΣ Το παρόν
Διαβάστε περισσότεραΑριθμητική Ανάλυση & Εφαρμογές
Αριθμητική Ανάλυση & Εφαρμογές Διδάσκων: Δημήτριος Ι. Φωτιάδης Τμήμα Μηχανικών Επιστήμης Υλικών Ιωάννινα 2017-2018 Υπολογισμοί και Σφάλματα Παράσταση Πραγματικών Αριθμών Συστήματα Αριθμών Παράσταση Ακέραιου
Διαβάστε περισσότεραΠΑΝΕΠΙΣΤΗΜΙΟ ΜΑΚΕΔΟΝΙΑΣ ΟΙΚΟΝΟΜΙΚΩΝ ΚΑΙ ΚΟΙΝΩΝΙΚΩΝ ΕΠΙΣΤΗΜΩΝ ΤΜΗΜΑ ΕΦΑΡΜΟΣΜΕΝΗΣ ΠΛΗΡΟΦΟΡΙΚΗΣ ΝΕΥΡΩΝΙΚΑ ΔΙΚΤΥΑ
ΘΕΜΑ 1 ο (2,5 μονάδες) ΠΑΝΕΠΙΣΤΗΜΙΟ ΜΑΚΕΔΟΝΙΑΣ ΟΙΚΟΝΟΜΙΚΩΝ ΚΑΙ ΚΟΙΝΩΝΙΚΩΝ ΕΠΙΣΤΗΜΩΝ ΤΜΗΜΑ ΕΦΑΡΜΟΣΜΕΝΗΣ ΠΛΗΡΟΦΟΡΙΚΗΣ ΝΕΥΡΩΝΙΚΑ ΔΙΚΤΥΑ Τελικές εξετάσεις Πέμπτη 21 Ιουνίου 2012 16:30-19:30 Υποθέστε ότι θέλουμε
Διαβάστε περισσότεραΕΥΦΥΗΣ ΕΛΕΓΧΟΣ. Ενότητα #12: Εισαγωγή στα Nευρωνικά Δίκτυα. Αναστάσιος Ντούνης Τμήμα Μηχανικών Αυτοματισμού Τ.Ε.
ΕΛΛΗΝΙΚΗ ΔΗΜΟΚΡΑΤΙΑ Ανώτατο Εκπαιδευτικό Ίδρυμα Πειραιά Τεχνολογικού Τομέα ΕΥΦΥΗΣ ΕΛΕΓΧΟΣ Ενότητα #12: Εισαγωγή στα Nευρωνικά Δίκτυα Αναστάσιος Ντούνης Τμήμα Μηχανικών Αυτοματισμού Τ.Ε. Άδειες Χρήσης Το
Διαβάστε περισσότεραΜέθοδοι Μηχανών Μάθησης για Ευφυή Αναγνώριση και ιάγνωση Ιατρικών εδοµένων
Μέθοδοι Μηχανών Μάθησης για Ευφυή Αναγνώριση και ιάγνωση Ιατρικών εδοµένων Εισηγητής: ρ Ηλίας Ζαφειρόπουλος Εισαγωγή Ιατρικά δεδοµένα: Συλλογή Οργάνωση Αξιοποίηση Data Mining ιαχείριση εδοµένων Εκπαίδευση
Διαβάστε περισσότεραΓραµµικοί Ταξινοµητές
ΚΕΣ 3: Αναγνώριση Προτύπων και Ανάλυση Εικόνας KEΣ 3 Αναγνώριση Προτύπων και Ανάλυση Εικόνας Γραµµικοί Ταξινοµητές ΤµήµαΕπιστήµης και Τεχνολογίας Τηλεπικοινωνιών Πανεπιστήµιο Πελοποννήσου 7 Ncolas sapatsouls
Διαβάστε περισσότεραΑνδρέας Παπαζώης. Τμ. Διοίκησης Επιχειρήσεων
Ανδρέας Παπαζώης Τμ. Διοίκησης Επιχειρήσεων Περιεχόμενα Εργ. Μαθήματος Εκπαίδευση (μάθηση) Νευρωνικών Δικτύων Απλός αισθητήρας Παράδειγμα εκπαίδευσης Θέματα υλοποίησης Νευρωνικών Δικτύων 2/17 Διαδικασία
Διαβάστε περισσότεραΠληροφοριακά Συστήματα & Περιβάλλον
ΑΡΙΣΤΟΤΕΛΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΟΝΙΚΗΣ ΑΝΟΙΧΤΑ ΑΚΑΔΗΜΑΙΚΑ ΜΑΘΗΜΑΤΑ Πληροφοριακά Συστήματα & Περιβάλλον Ενότητα 8: Τεχνητά Νευρωνικά Δίκτυα Παναγιώτης Λεφάκης Δασολογίας & Φυσικού Περιβάλλοντος Άδειες Χρήσης
Διαβάστε περισσότεραΑναγνώριση Προτύπων Ι
Αναγνώριση Προτύπων Ι Ενότητα 1: Μέθοδοι Αναγνώρισης Προτύπων Αν. Καθηγητής Δερματάς Ευάγγελος Τμήμα Ηλεκτρολόγων Μηχανικών και Τεχνολογίας Υπολογιστών Άδειες Χρήσης Το παρόν εκπαιδευτικό υλικό υπόκειται
Διαβάστε περισσότεραHMY 795: Αναγνώριση Προτύπων
HMY 795: Αναγνώριση Προτύπων Διαλέξεις 15 16 Λογιστική παλινδρόμηση (Logistic regression) Νευρωνικά Δίκτυα (Neural Networks) g ( x) = w x+ w T k k k0 1 ( T T WLS = X X) X T= X T Γραμμικές διαχωριστικές
Διαβάστε περισσότεραΜέθοδοι πολυδιάστατης ελαχιστοποίησης
Μέθοδοι πολυδιάστατης ελαχιστοποίησης με παραγώγους Μέθοδοι πολυδιάστατης ελαχιστοποίησης Δ. Γ. Παπαγεωργίου Τμήμα Μηχανικών Επιστήμης Υλικών Πανεπιστήμιο Ιωαννίνων dpapageo@cc.uoi.gr http://pc64.materials.uoi.gr/dpapageo
Διαβάστε περισσότεραΤΟΠΟΓΡΑΦΙΚΑ ΔΙΚΤΥΑ ΚΑΙ ΥΠΟΛΟΓΙΣΜΟΙ ΑΝΑΣΚΟΠΗΣΗ ΘΕΩΡΙΑΣ ΣΥΝΟΡΘΩΣΕΩΝ
ΤΟΠΟΓΡΑΦΙΚΑ ΔΙΚΤΥΑ ΚΑΙ ΥΠΟΛΟΓΙΣΜΟΙ ΑΝΑΣΚΟΠΗΣΗ ΘΕΩΡΙΑΣ ΣΥΝΟΡΘΩΣΕΩΝ Βασίλης Δ. Ανδριτσάνος Δρ. Αγρονόμος - Τοπογράφος Μηχανικός ΑΠΘ Επίκουρος Καθηγητής ΤΕΙ Αθήνας 3ο εξάμηνο http://eclass.teiath.gr Παρουσιάσεις,
Διαβάστε περισσότεραΑριθμητική Ανάλυση και Εφαρμογές
Αριθμητική Ανάλυση και Εφαρμογές Διδάσκων: Δημήτριος Ι. Φωτιάδης Τμήμα Μηχανικών Επιστήμης Υλικών Ιωάννινα 07-08 Αριθμητική Παραγώγιση Εισαγωγή Ορισμός 7. Αν y f x είναι μια συνάρτηση ορισμένη σε ένα διάστημα
Διαβάστε περισσότερα6. Στατιστικές μέθοδοι εκπαίδευσης
6. Στατιστικές μέθοδοι εκπαίδευσης Μία διαφορετική μέθοδος εκπαίδευσης των νευρωνικών δικτύων χρησιμοποιεί ιδέες από την Στατιστική Φυσική για να φέρει τελικά το ίδιο αποτέλεσμα όπως οι άλλες μέθοδοι,
Διαβάστε περισσότεραΤεχνητά Νευρωνικά Δίκτυα
Τεχνητά Νευρωνικά Δίκτυα & εφαρμογή τους στην πρόγνωση καιρού Πτυχιακή Εργασία Όνομα: Ανδρέας Φωτέας ΑΜ: 200600226 Επιβλέπων: Εμμανουήλ Τσίλης 2 Περιεχόμενα 1. Αρχές Λειτουργίας...7 1.1 Η δομή ενός νευρωνικού
Διαβάστε περισσότεραΒασίλειος Μαχαιράς Πολιτικός Μηχανικός Ph.D.
Βασίλειος Μαχαιράς Πολιτικός Μηχανικός Ph.D. Μη γραμμικός προγραμματισμός: μέθοδοι μονοδιάστατης ελαχιστοποίησης Πανεπιστήμιο Θεσσαλίας Σχολή Θετικών Επιστημών ΤμήμαΠληροφορικής Διάλεξη 6 η /2017 Τι παρουσιάστηκε
Διαβάστε περισσότεραΕισαγωγικές έννοιες. Κατηγορίες προβλημάτων (σε μια διάσταση) Προβλήματα εύρεσης μεγίστου. Συμβολισμοί
Κατηγορίες προβλημάτων (σε μια διάσταση) Εισαγωγικές έννοιες Δ. Γ. Παπαγεωργίου Τμήμα Μηχανικών Επιστήμης Υλικών Πανεπιστήμιο Ιωαννίνων dpapageo@cc.uoi.gr http://pc164.materials.uoi.gr/dpapageo Το πρόβλημα
Διαβάστε περισσότεραΤεχνητή Νοημοσύνη. 17η διάλεξη ( ) Ίων Ανδρουτσόπουλος.
Τεχνητή Νοημοσύνη 17η διάλεξη (2016-17) Ίων Ανδρουτσόπουλος http://.aueb.gr/users/ion/ 1 Οι διαφάνειες αυτής της διάλεξης βασίζονται: στο βιβλίο Artificia Inteigence A Modern Approach των S. Russe και
Διαβάστε περισσότεραΑναγνώριση Προτύπων Ι
Αναγνώριση Προτύπων Ι Ενότητα 3: Στοχαστικά Συστήματα Αν. Καθηγητής Δερματάς Ευάγγελος Τμήμα Ηλεκτρολόγων Μηχανικών και Τεχνολογίας Υπολογιστών Άδειες Χρήσης Το παρόν εκπαιδευτικό υλικό υπόκειται σε άδειες
Διαβάστε περισσότεραΠΑΝΕΠΙΣΤΗΜΙΟ ΜΑΚΕ ΟΝΙΑΣ ΟΙΚΟΝΟΜΙΚΩΝ ΚΑΙ ΚΟΙΝΩΝΙΚΩΝ ΕΠΙΣΤΗΜΩΝ ΤΜΗΜΑ ΕΦΑΡΜΟΣΜΕΝΗΣ ΠΛΗΡΟΦΟΡΙΚΗΣ ΝΕΥΡΩΝΙΚΑ ΙΚΤΥΑ
ΘΕΜΑ ο 2.5 µονάδες ΠΑΝΕΠΙΣΤΗΜΙΟ ΜΑΚΕ ΟΝΙΑΣ ΟΙΚΟΝΟΜΙΚΩΝ ΚΑΙ ΚΟΙΝΩΝΙΚΩΝ ΕΠΙΣΤΗΜΩΝ ΤΜΗΜΑ ΕΑΡΜΟΣΜΕΝΗΣ ΠΛΗΡΟΟΡΙΚΗΣ ΝΕΥΡΩΝΙΚΑ ΙΚΤΥΑ Τελικές εξετάσεις 2 Οκτωβρίου 23 ιάρκεια: 2 ώρες Έστω το παρακάτω γραµµικώς
Διαβάστε περισσότεραΕΡΩΤΗΣΕΙΣ ΜΑΘΗΤΩΝ. Ερώτηση 1. Αν το x o δεν ανήκει στο πεδίο ορισμού μιας συνάρτησης f, έχει νόημα να μιλάμε για παράγωγο της f. στο x = x o?
ΕΡΩΤΗΣΕΙΣ ΜΑΘΗΤΩΝ Ερώτηση 1 Αν το x o δεν ανήκει στο πεδίο ορισμού μιας συνάρτησης f, έχει νόημα να μιλάμε για παράγωγο της f στο x = x o? Δεν έχει νόημα Ερώτηση 2 Αν μία συνάρτηση f είναι συνεχής στο
Διαβάστε περισσότεραΠ Τ Υ Χ Ι Α Κ Η /ΔΙ Π Λ Ω Μ ΑΤ Ι Κ Η Ε Ρ ΓΑ Σ Ι Α
Α Ρ Ι Σ Τ Ο Τ Ε Λ Ε Ι Ο Π Α Ν Ε Π Ι Σ Τ Η Μ Ι Ο Θ Ε Σ Σ Α Λ Ο Ν Ι Κ Η Σ ΣΧΟΛΗ ΘΕΤΙΚΩΝ ΕΠΙΣΤΗΜΩΝ ΤΜΗΜΑ ΠΛΗΡΟΦΟΡΙΚΗΣ Π Τ Υ Χ Ι Α Κ Η /ΔΙ Π Λ Ω Μ ΑΤ Ι Κ Η Ε Ρ ΓΑ Σ Ι Α ΤΕΧΝΙΚΕΣ ΟΜΑΔΟΠΟΙΗΣΗΣ ΜΕ ΧΡΗΣΗ ΝΕΥΡΩΝΙΚΩΝ
Διαβάστε περισσότεραΒασίλειος Μαχαιράς Πολιτικός Μηχανικός Ph.D.
Βασίλειος Μαχαιράς Πολιτικός Μηχανικός Ph.D. Μη γραμμικός προγραμματισμός: βελτιστοποίηση χωρίς περιορισμούς Πανεπιστήμιο Θεσσαλίας Σχολή Θετικών Επιστημών ΤμήμαΠληροφορικής Διάλεξη 7-8 η /2017 Τι παρουσιάστηκε
Διαβάστε περισσότερα3. O ΑΛΓΟΡΙΘΜΟΣ ΤΟΥ PERCEPTRON
3. O ΑΛΓΟΡΙΘΜΟΣ ΤΟΥ PERCEPRON 3. ΕΙΣΑΓΩΓΗ: Το Perceptron είναι η απλούστερη μορφή Νευρωνικού δικτύου, το οποίο χρησιμοποιείται για την ταξινόμηση ενός ειδικού τύπου προτύπων, που είναι γραμμικά διαχωριζόμενα.
Διαβάστε περισσότεραΚΕΦΑΛΑΙΟ 3ο: ΔΙΑΦΟΡΙΚΟΣ ΛΟΓΙΣΜΟΣ ΕΝΟΤΗΤΑ 5: ΘΕΩΡΗΜΑ ROLLE [Θεώρημα Rolle του κεφ.2.5 Μέρος Β του σχολικού βιβλίου]. ΠΑΡΑΔΕΙΓΜΑΤΑ
ΚΕΦΑΛΑΙΟ 3ο: ΔΙΑΦΟΡΙΚΟΣ ΛΟΓΙΣΜΟΣ ΕΝΟΤΗΤΑ 5: ΘΕΩΡΗΜΑ ROLLE [Θεώρημα Rolle του κεφ..5 Μέρος Β του σχολικού βιβλίου]. ΠΑΡΑΔΕΙΓΜΑΤΑ ΘΕΜΑ Β Παράδειγμα. Να εξετάσετε από τις παρακάτω συναρτήσεις ποιές ικανοποιούν
Διαβάστε περισσότεραΕΡΩΤΗΜΑΤΑ σε ΝΕΥΡΩΝΙΚΑ
ηµήτρης Ψούνης ΠΛΗ3, Απαντήσεις Quiz σε ΝΕΥΡΩΝΙΚΑ ΙΚΤΥΑ ΕΡΩΤΗΜΑΤΑ σε ΝΕΥΡΩΝΙΚΑ Μάθηµα 3. ΕΡΩΤΗΜΑ Ένας αισθητήρας µπορεί να µάθει: a. εδοµένα που ανήκουν σε 5 διαφορετικές κλάσεις. b. εδοµένα που ανήκουν
Διαβάστε περισσότεραΣέργιος Θεοδωρίδης Κωνσταντίνος Κουτρούμπας. Version 2
Σέργιος Θεοδωρίδης Κωνσταντίνος Κουτρούμπας Verson 2 1 C MH ΠΑΡΑΜΕΤΡΙΚΟΙ ΤΑΞΙΝΟΜΗΤΕΣ ΒΑΣΙΣΜΕΝΟΙ ΣΕ ΕΠΙΦΑΝΕΙΕΣ ΑΠΟΦΑΣΗΣ Υπενθύμιση: είναι το σύνολο δεδομένων που περιέχει τα διαθέσιμα δεδομένα από όλες
Διαβάστε περισσότεραΑριστοτέλειο Πανεπιστήμιο Θεσσαλονίκης Τμήμα Φυσικής
Αριστοτέλειο Πανεπιστήμιο Θεσσαλονίκης Τμήμα Φυσικής Πρόγραμμα Μεταπτυχιακών Σπουδών Ηλεκτρονικής Φυσικής (Ραδιοηλεκτρολογίας) Κατεύθυνση: Ηλεκτρονική Τεχνολογία Τηλεπικοινωνιών ΔΙΠΛΩΜΑΤΙΚΗ ΕΡΓΑΣΙΑ «ΠΡΟΣΔΙΟΡΙΣΜΟΣ
Διαβάστε περισσότεραΕργαστήριο Υπολογιστικής Νοημοσύνης Ευφυούς Ελέγχου. Αναστάσιος Ντούνης, Καθηγητής
Εργαστήριο Υπολογιστικής Νοημοσύνης Ευφυούς Ελέγχου Αναστάσιος Ντούνης, Καθηγητής Υπολογιστική Νοημοσύνη Εισαγωγή στα Τεχνητά Νευρωνικά Δίκτυα (ΤΝΔ) Αναστάσιος Ντούνης, Καθηγητής 2 Περίγραμμα Διαλέξεων
Διαβάστε περισσότεραΜη Συµβολικές Μέθοδοι
Μη Συµβολικές Μέθοδοι! Η Συµβολική (symbolic AI): # Προσοµοιώνει τον τρόπο σκέψης του ανθρώπου, χρησιµοποιώντας ως δοµικές µονάδες τα σύµβολα. # Ένα σύµβολο µπορεί να αναπαριστά µία έννοια ή µία σχέση
Διαβάστε περισσότεραΠανεπιστήμιο Αιγαίου
Πανεπιστήμιο Αιγαίου Τμήμα Πολιτισμικής Τεχνολογίας και Επικοινωνίας Μελέτη της Επίπτωσης της Διασποράς των Συναρτήσεων Βάσης στο Σχεδιασμό Νευρωνικών Δικτύων Συναρτήσεων Ακτινικής Βάσης Πτυχιακή εργασία
Διαβάστε περισσότεραΠΕΡΙΕΧΟΜΕΝΑ ΣΥΣΤΗΜΑΤΑ ΟΡΘΟΓΩΝΙΩΝ ΣΥΝΤΕΤΑΓΜΕΝΩΝ...23 ΑΠΟΛΥΤΗ ΤΙΜΗ. ΑΝΙΣΟΤΗΤΕΣ...15 ΚΕΦΑΛΑΙΟ 3 ΕΥΘΕΙΕΣ...32 ΚΕΦΑΛΑΙΟ 4 ΚΥΚΛΟΙ...43
ΠΕΡΙΕΧΟΜΕΝΑ ΚΕΦΑΛΑΙΟ ΣΥΣΤΗΜΑΤΑ ΓΡΑΜΜΙΚΩΝ ΣΥΝΤΕΤΑΓΜΕΝΩΝ. ΑΠΟΛΥΤΗ ΤΙΜΗ. ΑΝΙΣΟΤΗΤΕΣ...5 ΚΕΦΑΛΑΙΟ ΣΥΣΤΗΜΑΤΑ ΟΡΘΟΓΩΝΙΩΝ ΣΥΝΤΕΤΑΓΜΕΝΩΝ... ΚΕΦΑΛΑΙΟ ΕΥΘΕΙΕΣ... ΚΕΦΑΛΑΙΟ 4 ΚΥΚΛΟΙ...4 ΚΕΦΑΛΑΙΟ 5 ΕΞΙΣΩΣΕΙΣ ΚΑΙ ΟΙ
Διαβάστε περισσότεραΠΑΝΕΠΙΣΤΗΜΙΟ ΜΑΚΕ ΟΝΙΑΣ ΟΙΚΟΝΟΜΙΚΩΝ ΚΑΙ ΚΟΙΝΩΝΙΚΩΝ ΕΠΙΣΤΗΜΩΝ ΤΜΗΜΑ ΕΦΑΡΜΟΣΜΕΝΗΣ ΠΛΗΡΟΦΟΡΙΚΗΣ ΝΕΥΡΩΝΙΚΑ ΙΚΤΥΑ
ΘΕΜΑ ο (2.5 µονάδες) ΠΑΝΕΠΙΣΤΗΜΙΟ ΜΑΚΕ ΟΝΙΑΣ ΟΙΚΟΝΟΜΙΚΩΝ ΚΑΙ ΚΟΙΝΩΝΙΚΩΝ ΕΠΙΣΤΗΜΩΝ ΤΜΗΜΑ ΕΦΑΡΜΟΣΜΕΝΗΣ ΠΛΗΡΟΦΟΡΙΚΗΣ ΝΕΥΡΩΝΙΚΑ ΙΚΤΥΑ Τελικές εξετάσεις Παρασκευή 9 Ιανουαρίου 2007 5:00-8:00 εδοµένου ότι η
Διαβάστε περισσότεραΜαθηματικά. Ενότητα 13: Κυρτότητα Συνάρτησης Σαριαννίδης Νικόλαος Τμήμα Λογιστικής και Χρηματοοικονομικής
Μαθηματικά Ενότητα 13: Κυρτότητα Συνάρτησης Σαριαννίδης Νικόλαος Τμήμα Λογιστικής και Χρηματοοικονομικής Άδειες Χρήσης Το παρόν εκπαιδευτικό υλικό υπόκειται σε άδειες χρήσης Creative Commons. Για εκπαιδευτικό
Διαβάστε περισσότεραΑνδρέας Παπαζώης. Τμ. Διοίκησης Επιχειρήσεων
Ανδρέας Παπαζώης Τμ. Διοίκησης Επιχειρήσεων Περιεχόμενα Εργ. Μαθήματος Βιολογικά Νευρωνικά Δίκτυα Η έννοια των Τεχνητών Νευρωνικών Δικτύων Η δομή ενός νευρώνα Διαδικασία εκπαίδευσης Παραδείγματα απλών
Διαβάστε περισσότεραΤεχνητή Νοημοσύνη. TMHMA ΠΛΗΡΟΦΟΡΙΚΗΣ & ΤΕΧΝΟΛΟΓΙΑΣ ΥΠΟΛΟΓΙΣΤΩΝ. Εξάμηνο 5ο Οικονόμου Παναγιώτης & Ελπινίκη Παπαγεωργίου. Νευρωνικά Δίκτυα.
Τεχνητή Νοημοσύνη. TMHMA ΠΛΗΡΟΦΟΡΙΚΗΣ & ΤΕΧΝΟΛΟΓΙΑΣ ΥΠΟΛΟΓΙΣΤΩΝ Εξάμηνο 5ο Οικονόμου Παναγιώτης & Ελπινίκη Παπαγεωργίου. Νευρωνικά Δίκτυα. 1 ΤΕΧΝΗΤΑ ΝΕΥΡΩΝΙΚΑ ΔΙΚΤΥΑ Χαρακτηριστικά Είδη εκπαίδευσης Δίκτυα
Διαβάστε περισσότεραΣέργιος Θεοδωρίδης Κωνσταντίνος Κουτρούμπας. Version 2
Σέργιος Θεοδωρίδης Κωνσταντίνος Κουτρούμπας Verson ΧΑΡΤΟΓΡΑΦΗΣΗ ΤΟΥ ΧΩΡΟΥ ΤΩΝ ΤΑΞΙΝΟΜΗΤΩΝ Ταξινομητές Ταξινομητές συναρτ. διάκρισης Ταξινομητές επιφανειών απόφ. Παραμετρικοί ταξινομητές Μη παραμετρικοί
Διαβάστε περισσότεραΝευρωνικά ίκτυα. Σηµερινό Μάθηµα
Νευρωνικά ίκτυα Σηµερινό Μάθηµα Perceptron (Αισθητήρας) Aλγόριθµος µάθησης του Perceptron Οι εξισώσεις των Wiener-Hopf Μέθοδος Ταχύτερης Καθόδου (Steepest Descent) Οαλγόριθµος Ελάχιστου Μέσου Τετραγωνικού
Διαβάστε περισσότεραΑναγνώριση Προτύπων Ι
Αναγνώριση Προτύπων Ι Ενότητα 4: Νευρωνικά Δίκτυα στην Ταξιμόμηση Προτύπων Αν. Καθηγητής Δερματάς Ευάγγελος Τμήμα Ηλεκτρολόγων Μηχανικών και Τεχνολογίας Υπολογιστών Άδειες Χρήσης Το παρόν εκπαιδευτικό
Διαβάστε περισσότεραΒέλτιστος Έλεγχος Συστημάτων
Βέλτιστος Έλεγχος Συστημάτων Ενότητα 10: Δυναμικός προγραμματισμός Καθηγητής Αντώνιος Αλεξανδρίδης Πολυτεχνική Σχολή Τμήμα Ηλεκτρολόγων Μηχανικών και Τεχνολογίας Υπολογιστών Σημείωμα Αδειοδότησης Το παρόν
Διαβάστε περισσότερα( ) ( ) ( ) ( ) Παράγωγος-Κλίση-Μονοτονία ( ) ( ) β = Άσκηση 1 η : Να βρεθούν οι παράγωγοι των συναρτήσεων: log x. 2 x. ln(x, ( ) 2 x x. Έχουμε.
Παράγωγος-Κλίση-Μονοτονία Άσκηση η : Να βρεθούν οι παράγωγοι των συναρτήσεων:, log, ) ln(, e, Λύση: Έχουμε ln ln ( ), f = = e = e R ln ln f ( ) = ( e ) = e ( ln ) = ln = ln, R Γενικά ισχύει: ( a ) = ln
Διαβάστε περισσότεραStochastic Signals Class Estimation Theory. Andreas Polydoros University of Athens Dept. of Physics Electronics Laboratory
Stochastic Signals Class Estimation Theory Andreas Polydoros University of Athens Dept. of Physics Electronics Laboratory 1 Τι ειναι «Εκτιμηση» (Estimation)? Γενικο Πλαισιο: Θεωρια και Πραξη Συμπερασματων
Διαβάστε περισσότεραΑσκήσεις Φροντιστηρίου «Υπολογιστική Νοημοσύνη Ι» 4 o Φροντιστήριο
Ασκήσεις Φροντιστηρίου 4 o Φροντιστήριο Πρόβλημα 1 ο Ο πίνακας συσχέτισης R x του διανύσματος εισόδου x( στον LMS αλγόριθμο 1 0.5 R x = ορίζεται ως: 0.5 1. Ορίστε το διάστημα των τιμών της παραμέτρου μάθησης
Διαβάστε περισσότεραΣημειώσεις διαλέξεων: Βελτιστοποίηση πολυδιάστατων συνεχών συναρτήσεων 1 / 20
Σημειώσεις διαλέξεων: Βελτιστοποίηση πολυδιάστατων συνεχών συναρτήσεων Ισαάκ Η Λαγαρής 1 Τμήμα Μηχανικών Η/Υ & Πληροφορικής Πανεπιστήμιον Ιωαννίνων 1 Με υλικό από το υπό προετοιμασία βιβλίο των: Βόγκλη,
Διαβάστε περισσότεραΦΙΛΤΡΟ KALMAN ΔΙΑΚΡΙΤΟΥ ΧΡΟΝΟΥ
1 ΦΙΛΤΡΟ KALMAN ΔΙΑΚΡΙΤΟΥ ΧΡΟΝΟΥ Σε αυτό το μέρος της πτυχιακής θα ασχοληθούμε λεπτομερώς με το φίλτρο kalman και θα δούμε μια καινούρια έκδοση του φίλτρου πάνω στην εφαρμογή της γραμμικής εκτίμησης διακριτού
Διαβάστε περισσότεραΚεφ. 7: Συνήθεις διαφορικές εξισώσεις (ΣΔΕ) - προβλήματα αρχικών τιμών
Κεφ. 7: Συνήθεις διαφορικές εξισώσεις (ΣΔΕ) - προβλήματα αρχικών τιμών 7. Εισαγωγή (ορισμός προβλήματος, αριθμητική ολοκλήρωση ΣΔΕ, αντικατάσταση ΣΔΕ τάξης n με n εξισώσεις ης τάξης) 7. Μέθοδος Euler 7.3
Διαβάστε περισσότεραΑριθμητική εύρεση ριζών μη γραμμικών εξισώσεων
Αριθμητική εύρεση ριζών μη γραμμικών εξισώσεων Με τον όρο μη γραμμικές εξισώσεις εννοούμε εξισώσεις της μορφής: f( ) 0 που προέρχονται από συναρτήσεις f () που είναι μη γραμμικές ως προς. Περιέχουν δηλαδή
Διαβάστε περισσότερα3 η ΕΝΟΤΗΤΑ ΜΗ ΓΡΑΜΜΙΚΟΣ ΠΡΟΓΡΑΜΜΑΤΙΣΜΟΣ ΒΕΛΤΙΣΤΟΠΟΙΗΣΗ ΕΝΟΣ ΚΡΙΤΗΡΙΟΥ
ΣΧΟΛΗ ΠΟΛΙΤΙΚΩΝ ΜΗΧΑΝΙΚΩΝ ΕΜΠ ΕΙΣΑΓΩΓΗ ΣΤΗN ΒΕΛΤΙΣΤΟΠΟΙΗΣΗ ΣΥΣΤΗΜΑΤΩΝ 3 η ΕΝΟΤΗΤΑ ΜΗ ΓΡΑΜΜΙΚΟΣ ΠΡΟΓΡΑΜΜΑΤΙΣΜΟΣ ΒΕΛΤΙΣΤΟΠΟΙΗΣΗ ΕΝΟΣ ΚΡΙΤΗΡΙΟΥ Μ. Καρλαύτης Ν. Λαγαρός Άδεια Χρήσης Το παρόν εκπαιδευτικό υλικό
Διαβάστε περισσότεραE[ (x- ) ]= trace[(x-x)(x- ) ]
1 ΦΙΛΤΡΟ KALMAN ΔΙΑΚΡΙΤΟΥ ΧΡΟΝΟΥ Σε αυτό το μέρος της πτυχιακής θα ασχοληθούμε λεπτομερώς με το φίλτρο kalman και θα δούμε μια καινούρια έκδοση του φίλτρου πάνω στην εφαρμογή της γραμμικής εκτίμησης διακριτού
Διαβάστε περισσότερα1 Επανάληψη εννοιών από τον Απειροστικό Λογισμό
1 Επανάληψη εννοιών από τον Απειροστικό Λογισμό 1.1 Όρια ακολουθιών Λέμε ότι η ακολουθία { n } συγκλίνει με όριο R αν για κάθε ϵ > 0 υπάρχει ακέραιος N = N(ϵ) τέτοιος ώστε (1.1) n < ϵ για κάθε n > N, και
Διαβάστε περισσότεραΕΥΦΥΗΣ ΕΛΕΓΧΟΣ. Ενότητα #8: Βελτιστοποίηση Συστημάτων Ασαφούς Λογικής. Αναστάσιος Ντούνης Τμήμα Μηχανικών Αυτοματισμού Τ.Ε.
ΕΛΛΗΝΙΚΗ ΔΗΜΟΚΡΑΤΙΑ Ανώτατο Εκπαιδευτικό Ίδρυμα Πειραιά Τεχνολογικού Τομέα ΕΥΦΥΗΣ ΕΛΕΓΧΟΣ Ενότητα #8: Βελτιστοποίηση Συστημάτων Ασαφούς Λογικής Αναστάσιος Ντούνης Τμήμα Μηχανικών Αυτοματισμού Τ.Ε. Άδειες
Διαβάστε περισσότεραHMY 795: Αναγνώριση Προτύπων
HMY 795: Αναγνώριση Προτύπων Διαλέξεις 17 18 Νευρωνικά Δίκτυα (Neural Networks) συνέχεια Minimum squared error procedure for classification 1 ( T T wls = X X) X b= X b Xw = b Logistic sigmoidal function
Διαβάστε περισσότεραΠΑΡΑΔΕΙΓΜΑΤΑ ΘΕΜΑ Β. Να μελετήσετε ως προς τη μονοτονία και τα ακρότατα τις παρακάτω συναρτήσεις: f (x) = 0 x(2ln x + 1) = 0 ln x = x = e x =
ΚΕΦΑΛΑΙΟ ο: ΔΙΑΦΟΡΙΚΟΣ ΛΟΓΙΣΜΟΣ ΕΝΟΤΗΤΑ 0: ΕΥΡΕΣΗ ΤΟΠΙΚΩΝ ΑΚΡΟΤΑΤΩΝ [Ενότητα Προσδιορισμός των Τοπικών Ακροτάτων - Θεώρημα Εύρεση Τοπικών Ακροτάτων του κεφ..7 Μέρος Β του σχολικού βιβλίου]. ΠΑΡΑΔΕΙΓΜΑΤΑ
Διαβάστε περισσότεραI.3 ΔΕΥΤΕΡΗ ΠΑΡΑΓΩΓΟΣ-ΚΥΡΤΟΤΗΤΑ
I.3 ΔΕΥΤΕΡΗ ΠΑΡΑΓΩΓΟΣ-ΚΥΡΤΟΤΗΤΑ.Δεύτερη παράγωγος.κυρτή 3.Κοίλη 4.Ιδιότητες κυρτών/κοίλων συναρτήσεων 5.Σημεία καμπής 6.Παραβολική προσέγγιση(επέκταση) ΠΑΡΑΡΤΗΜΑ 7.Δεύτερη πλεγμένη παραγώγιση 8.Χαρακτηρισμός
Διαβάστε περισσότεραΚινητά Δίκτυα Υπολογιστών
Κινητά Δίκτυα Υπολογιστών Καθ. Κώστας Μπερμπερίδης Πολυτεχνική Σχολή Τμήμα Μηχανικών Η/Υ & Πληροφορικής Σκοποί ενότητας Εξοικείωση του φοιτητή με την έννοια της προσαρμοστικής ισοστάθμισης καναλιού 2 Περιεχόμενα
Διαβάστε περισσότεραΣτοχαστικά Σήματα και Τηλεπικοινωνιές
Στοχαστικά Σήματα και Τηλεπικοινωνιές Ενότητα 7: Βέλτιστο Φίλτρο Wiener και Γραμμικά Περιορισμένο Φίλτρο Ελάχιστης Διασποράς Εφαρμογή στις Έξυπνες Κεραίες Καθηγητής Κώστας Μπερμπερίδης Πολυτεχνική Σχολή
Διαβάστε περισσότεραΑ.Τ.Ε.Ι ΚΡΗΤΗΣ ΤΜΗΜΑ ΕΦΑΡΜΟΣΜΕΝΗΣ ΠΛΗΡΟΦΟΡΙΚΗΣ & ΠΟΛΥΜΕΣΩΝ ΕΡΓΑΣΤΗΡΙΟ ΝΕΥΡΩΝΙΚΩΝ ΔΙΚΤΥΩΝ 4
Α.Τ.Ε.Ι ΚΡΗΤΗΣ ΤΜΗΜΑ ΕΦΑΡΜΟΣΜΕΝΗΣ ΠΛΗΡΟΦΟΡΙΚΗΣ & ΠΟΛΥΜΕΣΩΝ ΕΡΓΑΣΤΗΡΙΟ ΝΕΥΡΩΝΙΚΩΝ ΔΙΚΤΥΩΝ 4 ΤΟ ΔΙΚΤΥΟ PERCEPTRON I. Αρχιτεκτονική του δικτύου Το δίκτυο Perceptron είναι το πρώτο νευρωνικό δίκτυο το οποίο
Διαβάστε περισσότεραΥπολογιστική Νοημοσύνη. Μάθημα 12: Παραδείγματα Ασκήσεων 2
Υπολογιστική Νοημοσύνη Μάθημα 12: Παραδείγματα Ασκήσεων 2 Δίκτυα Πολλών Επιπέδων Με μη γραμμικούς νευρώνες Έστω ένα πρόβλημα κατηγοριοποίησης, με δύο βαθμούς ελευθερίας (x, y) και δύο κατηγορίες (A, B).
Διαβάστε περισσότεραE [ -x ^2 z] = E[x z]
1 1.ΦΙΛΤΡΟ KALMAN ΔΙΑΚΡΙΤΟΥ ΧΡΟΝΟΥ Σε αυτήν την διάλεξη θα πάμε στο φίλτρο με περισσότερες λεπτομέρειες, και θα παράσχουμε μια νέα παραγωγή για το φίλτρο Kalman, αυτή τη φορά βασισμένο στην ιδέα της γραμμικής
Διαβάστε περισσότεραΑσκήσεις Φροντιστηρίου «Υπολογιστική Νοημοσύνη Ι» 3ο Φροντιστήριο
Ασκήσεις Φροντιστηρίου 3ο Φροντιστήριο Πρόβλημα 1 ο Το perceptron ενός επιπέδου είναι ένας γραμμικός ταξινομητής προτύπων. Δικαιολογήστε αυτή την πρόταση. x 1 x 2 Έξοδος y x p θ Κατώφλι Perceptron (στοιχειώδης
Διαβάστε περισσότεραΠρόβλημα 1 «Φασίνα» Εύρεση εκτέλεσης εργασιών με τον μικρότερο συνολικό χρόνο
ΦΡΟΝΤΙΣΤΗΡΙΟ 2 /4/206 Πρόβλημα «Φασίνα» Εύρεση εκτέλεσης εργασιών με τον μικρότερο συνολικό χρόνο Έστω ότι θέλουμε να καθαρίσουμε το σπίτι. Για λόγους μείωσης πολυπλοκότητας θεωρούμε ότι θέλουμε να καθαρίσουμε
Διαβάστε περισσότεραΕΛΕΓΧΟΣ ΒΙΟΜΗΧΑΝΙΚΩΝ ΔΙΕΡΓΑΣΙΩΝ ΚΕΦΑΛΑΙΟ 4 ΚΕΦΑΛΑΙΟ 5. ΑΝΑΓΝΩΡΙΣΗ ΔΙΕΡΓΑΣΙΑΣ ΠΡΟΣΑΡΜΟΣΤΙΚΟΣ ΕΛΕΓΧΟΣ (Process Identifications)
ΚΕΦΑΛΑΙΟ 5 ΑΝΑΓΝΩΡΙΣΗ ΔΙΕΡΓΑΣΙΑΣ ΠΡΟΣΑΡΜΟΣΤΙΚΟΣ ΕΛΕΓΧΟΣ (Process Idetificatios) Στο κεφάλαιο αυτό γίνεται παρουσίαση μεθοδολογίας για την ανεύρεση ενός αξιόπιστου μοντέλου πριν ή κατά την λειτουργία της
Διαβάστε περισσότεραΥπολογιστική Νοημοσύνη. Μέρος Β Εισαγωγή στα Τεχνητά Νευρωνικά Δίκτυα (ΤΝΔ) Αναστάσιος Ντούνης, Καθηγητής 1
Υπολογιστική Νοημοσύνη Μέρος Β Εισαγωγή στα Τεχνητά Νευρωνικά Δίκτυα (ΤΝΔ) Αναστάσιος Ντούνης, Καθηγητής 1 Περίγραμμα Διαλέξεων 1. Ορισμοί - Γενικά στοιχεία στα ΤΝΔ 2. Ιστορική αναδρομή 3. Ανάδραση 4.
Διαβάστε περισσότεραΠροσαρµοστικοί Αλγόριθµοι Υλοποίησης Βέλτιστων Ψηφιακών Φίλτρων: Ο αναδροµικός αλγόριθµος ελάχιστων τετραγώνων (RLS Recursive Least Squares)
ΒΕΣ 6 Προσαρµοστικά Συστήµατα στις Τηλεπικοινωνίες Προσαρµοστικοί Αλγόριθµοι Υλοποίησης Βέλτιστων Ψηφιακών Φίλτρων: Ο αναδροµικός αλγόριθµος ελάχιστων τετραγώνων RLS Rcrsiv Last Sqars 27 iclas sapatslis
Διαβάστε περισσότεραΠΡΟΒΛΗΜΑΤΑ ΔΥΟ ΔΙΑΣΤΑΣΕΩΝ
ΠΡΟΒΛΗΜΑΤΑ ΔΥΟ ΔΙΑΣΤΑΣΕΩΝ Η ανάλυση προβλημάτων δύο διαστάσεων με τη μέθοδο των Πεπερασμένων Στοιχείων περιλαμβάνει τα ίδια βήματα όπως και στα προβλήματα μιας διάστασης. Η ανάλυση γίνεται λίγο πιο πολύπλοκη
Διαβάστε περισσότεραΗλεκτρομαγνητισμός. Χρήσιμες μαθηματικές έννοιες. Νίκος Ν. Αρπατζάνης
Ηλεκτρομαγνητισμός Χρήσιμες μαθηματικές έννοιες Νίκος Ν. Αρπατζάνης Παράγωγος ΓΕΩΜΕΤΡΙΚΗ ΕΡΜΗΝΕΙΑ y y = f(x) x φ y y y = f(x) x φ y y y = f(x) φ x 1 x 1 + х x x 1 x 1 + х x x 1 x tanϕ = y x tanϕ = dy dx
Διαβάστε περισσότεραΜΑΘΗΜΑΤΙΚΑ ΚΑΤΕΥΘΥΝΣΗΣ
Ιουνίου 4 ΜΑΘΗΜΑΤΙΚΑ ΚΑΤΕΥΘΥΝΣΗΣ Απαντήσεις Επαναληπτικών Θεμάτων Πανελληνίων Εξετάσεων Ημερησίων Γενικών Λυκείων ΘΕΜΑ Α Α. Σχολικό βιβλίο σελίδα 63. Α. Σχολικό βιβλίο σελίδα 9. Α3. Σχολικό βιβλίο σελίδα
Διαβάστε περισσότεραΥπολογιστική Νοημοσύνη. Μάθημα 13: Αναδρομικά Δίκτυα - Recurrent Networks
Υπολογιστική Νοημοσύνη Μάθημα 13: Αναδρομικά Δίκτυα - Recurrent Networks Γενικά Ένα νευρωνικό δίκτυο λέγεται αναδρομικό, εάν υπάρχει έστω και μια σύνδεση από έναν νευρώνα επιπέδου i προς έναν νευρώνα επιπέδου
Διαβάστε περισσότεραΒέλτιστα Ψηφιακά Φίλτρα: Φίλτρα Wiener, Ευθεία και αντίστροφη γραµµική πρόβλεψη
ΒΕΣ 6 Προσαρµοστικά Συστήµατα στις Τηλεπικοινωνίες Βέλτιστα Ψηφιακά Φίλτρα: Φίλτρα Wiener, Ευθεία και αντίστροφη γραµµική πρόβλεψη 7 Nicolas sapatsoulis Βιβλιογραφία Ενότητας Benvenuto []: Κεφάλαιo Wirow
Διαβάστε περισσότεραΑριθμητική Ανάλυση και Εφαρμογές
Αριθμητική Ανάλυση και Εφαρμογές Διδάσκων: Δημήτριος Ι. Φωτιάδης Τμήμα Μηχανικών Επιστήμης Υλικών Ιωάννινα 2017-2018 Παρεμβολή και Παρεκβολή Εισαγωγή Ορισμός 6.1 Αν έχουμε στη διάθεσή μας τιμές μιας συνάρτησης
Διαβάστε περισσότεραI.3 ΔΕΥΤΕΡΗ ΠΑΡΑΓΩΓΟΣ-ΚΥΡΤΟΤΗΤΑ
I.3 ΔΕΥΤΕΡΗ ΠΑΡΑΓΩΓΟΣ-ΚΥΡΤΟΤΗΤΑ.Δεύτερη παράγωγος.παραβολική προσέγγιση ή επέκταση 3.Κυρτή 4.Κοίλη 5.Ιδιότητες κυρτών/κοίλων συναρτήσεων 6.Σημεία καμπής ΠΑΡΑΡΤΗΜΑ 7.Δεύτερη πλεγμένη παραγώγιση 8.Χαρακτηρισμός
Διαβάστε περισσότερα