Αναγνώριση Προτύπων Ι
|
|
- Πολυξένη Ἀριστόδημε Αποστολίδης
- 7 χρόνια πριν
- Προβολές:
Transcript
1 Αναγνώριση Προτύπων Ι Ενότητα 4: Νευρωνικά Δίκτυα στην Ταξιμόμηση Προτύπων Αν. Καθηγητής Δερματάς Ευάγγελος Τμήμα Ηλεκτρολόγων Μηχανικών και Τεχνολογίας Υπολογιστών
2 Άδειες Χρήσης Το παρόν εκπαιδευτικό υλικό υπόκειται σε άδειες χρήσης Creative Commons. Για εκπαιδευτικό υλικό, όπως εικόνες, που υπόκειται σε άλλου τύπου άδειας χρήσης, η άδεια χρήσης αναφέρεται ρητώς. 2
3 Χρηματοδότηση Το παρόν εκπαιδευτικό υλικό έχει αναπτυχθεί στα πλαίσια του εκπαιδευτικού έργου του διδάσκοντα. Το έργο «Ανοικτά Ακαδημαϊκά Μαθήματα στο Πανεπιστήμιο Πατρών» έχει χρηματοδοτήσει μόνο τη αναδιαμόρφωση του εκπαιδευτικού υλικού. Το έργο υλοποιείται στο πλαίσιο του Επιχειρησιακού Προγράμματος «Εκπαίδευση και Δια Βίου Μάθηση» και συγχρηματοδοτείται από την Ευρωπαϊκή Ένωση (Ευρωπαϊκό Κοινωνικό Ταμείο) και από εθνικούς πόρους. 3
4 Περιεχόμενα 1. Εισαγωγή 2. Ο Νευρώνας 3. Δομή Νευρωνικών Δικτύων 4. Εκπαίδευση Νευρωνικών Δικτύων 5. Εκπαίδευση Νευρωνικών Δικτύων-Διόρθωση σφάλματος εξόδου 6. Εκπαίδευση Νευρωνικών Δικτύων-Hebbian Εκπαίδευση 7. Εκπαίδευση Νευρωνικών Δικτύων-Ανταγωνιστική Εκπαίδευση 8. Το γραμμικό φίλτρο Wiener 9. Πολυεπίπεδο Δίκτυο Perceptron 10. Πολυεπίπεδο Δίκτυο Perceptron-Αλγόριθμος Οπισθοδρομικής Διάδοσης του Σφάλματος 11. Πολυεπίπεδο Δίκτυο Perceptron-Βελτιώσεις του Αλγορίθμου Οπισθοδρομικής Διάδοσης του Σφάλματος 12. Δίκτυα Ακτινικών Συναρτήσεων 4
5 Εισαγωγή (1) Ένας από τους πρώτους ερευνητές που συνέλαβε την ιδέα, ότι οι εγκεφαλικές λειτουργίες εκτελούνται από στοιχειώδεις υπολογιστικές μονάδες, που ονομάζονται νευρώνες, είναι ο Ramon y Cajal (1911). Πειράματα που έγιναν στην φυσιολογία των νευρικών κυττάρων, έδειξαν ότι η λειτουργία τους μπορεί, σε απλοποιημένη μορφή, να προσομοιωθεί με μη γραμμικούς τελεστές που δέχονται σήματα από ένα πεπερασμένο αριθμό εισόδων και διαθέτουν μια μόνο έξοδο. Η εγκεφαλική ουσία των έμβιων όντων αποτελείται από εκατομμύρια διασυνδεδεμένους νευρώνες. Οι νευρώνες αυτοί αποτελούν ένα πολύπλοκο και ισχυρά μη γραμμικό νευρωνικό δίκτυο. Η τοπολογία του δικτύου διαφέρει σημαντικά στα έμβια όντα και είναι αυτή που δίνει τα διαφορετικά χαρακτηριστικά αντίληψης των ερεθισμάτων του περιβάλλοντος. 5
6 Εισαγωγή (2) Έχουν παρατηρηθεί ποσοτικές και ποιοτικές διαφοροποιήσεις στο είδος των συνδέσεων, τον μηχανισμό επεξεργασίας σημάτων και ό πλήθος των εισόδων των νευρικών κυττάρων. Αυτός είναι και ο λόγος που τα νευρικά κύτταρα έχουν ομαδοποιηθεί σε ένα μικρό αριθμό κατηγοριών, ανάλογα με τους μηχανισμούς λειτουργίας τους. Η υπάρχουσα τεχνολογία δεν επιτρέπει την προσομοίωση των πολύπλοκων επεξεργασιών που εκτελούνται στα νευρωνικά κύτταρα. Έχει αποδειχθεί, όμως, ότι απλές προσομοιώσεις των νευρικών κυττάρων, που περιγράφουν τα βασικά τους γνωρίσματα, δίνουν εντυπωσιακά αποτελέσματα σε εφαρμογές ταξινόμησης προτύπων, προσεγγίσεων απόκρισης συστημάτων, προβλήματα αυτομάτου ελέγχου, κ.α.. 6
7 Εισαγωγή (3) Τα χαρακτηριστικά γνωρίσματα των μηχανισμών των φυσικών νευρωνικών δικτύων, είναι τα ακόλουθα: 1. Μη γραμμικότητα. Το βασικότερο γνώρισμα των φυσικών νευρωνικών δικτύων, είναι ότι η έξοδος, σε καμία περίπτωση, δεν μπορεί να θεωρηθεί ότι αποτελεί έναν γραμμικό συνδυασμό των εισόδων του. 2. Εκπαίδευση από παραδείγματα. Βασικό στοιχείο των νευρωνικών δικτύων, είναι η ικανότητα τους να εκπαιδεύονται, αντλώντας γνώση και τροποποιώντας τα στοιχεία μνήμης του δικτύου. Προηγούμενες τροποποιήσεις του δικτύου, μεταβάλλουν την συμπεριφορά του, έτσι ώστε όταν ενεργοποιηθεί από ίδια ή παρόμοια σήματα εισόδου, να δίνουν με μεγαλύτερη ακρίβεια την επιθυμητή έξοδο. 7
8 Εισαγωγή (4) 3. Προσαρμογή. Τα φυσικά νευρωνικά δίκτυα έχουν την δυνατότητα να αλλάζουν τα δεδομένα των εξόδων τους και να προσαρμόζουν την συμπεριφορά τους, όταν μεγάλης κλίμακας αλλαγές συμβαίνουν στην είσοδο τους. Χαρακτηριστικό παράδειγμα προσαρμογής αποτελεί η μεταβολή της συμπεριφοράς του δικτύου των νευρικών κυττάρων που βρίσκονται πάνω στον αμφιβληστροειδή χιτώνα. 4. Αντοχή σε διακοπές συνδέσεων και λειτουργιών νευρώνων. Η συμπεριφορά του δικτύου δεν διαταράσσεται, σημαντικά, από τυχόν διακοπή συνδέσεων ή και αφαίρεση νευρώνων. Η ιδιότητα αυτή αποτελεί βασικό χαρακτηριστικό της συμπεριφοράς των νευρικών κυττάρων διότι είναι γνωστό ότι διακοπή της λειτουργίας μικρών τμημάτων του εγκεφάλου, επηρεάζει συνήθως σε πολύ μικρό βαθμό τις υπόλοιπες εγκεφαλικές λειτουργίες. 8
9 Εισαγωγή (5) 5. Ομοιότητα της λειτουργίας των νευρώνων. Οι νευρώνες πρέπει να εκτελούν τις ίδιες βασικές λειτουργίες διότι τα νευρικά κύτταρα του ιδίου τύπου έχουν την ίδια φυσιολογία. 6. Παράλληλη επεξεργασία δεδομένων. Λαμβάνοντας υπόψιν τον τρόπο συνδεσμολογίας των νευρικών κυττάρων, το τεράστιο πλήθος των πληροφοριών που επεξεργάζονται και την σχετικά μεγάλη καθυστέρηση απόκρισης του φυσικού κυττάρου (έχει υπολογιστεί ένας μέσος χρόνος απόκρισης της τάξης των 10-3 sec, ενώ η απόκριση ενός ολοκληρωμένου κυκλώματος ανέρχεται σε 10-6 sec), γίνεται φανερό ότι το φυσικό νευρωνικό δίκτυο επεξεργάζεται τα δεδομένα παράλληλα για να είναι σε θέση να επιτύχει απόκριση σε σχεδόν πραγματικό χρόνο και να επεξεργάζεται ταυτόχρονα έναν πολύ μεγάλο αριθμό πληροφοριών. 9
10 Ο Νευρώνας (1) Κάθε νευρωνικό δίκτυο αποτελείται από διασυνδεδεμένες υπολογιστικές μονάδες που ονομάζονται νευρώνες. Κάθε νευρώνας μετασχηματίζει το διάνυσμα εισόδου του, δίνοντας μια μόνο έξοδο, η οποία συνδέεται με εισόδους άλλων νευρώνων, όπως φαίνεται και στο σχήμα που ακολουθεί. 10
11 Ο Νευρώνας (2) Οι προσομοιωτές αποτελούν προσέγγιση των μετασχηματισμών που πραγματοποιούνται στο εσωτερικό των φυσικών νευρικών κυττάρων. Από την απλοποίηση των παρατηρήσεων της φυσιολογίας των νευρικών κυττάρων προέκυψαν τα διάφορα μαθηματικά μοντέλα. Tο σημαντικότερο και το πλέον απλό μοντέλο περιγράφει την συμπεριφορά ενός νευρωνικού κυττάρου με δυο τελεστές, έναν γραμμικό και έναν μη γραμμικό που είναι συνδεδεμένοι σε σειρά. Ο γραμμικός τελεστής παριστάνεται σαν το εσωτερικό γινόμενο του διανύσματος της εισόδου με το διάνυσμα της μνήμης του νευρώνα: Ο μη γραμμικός τελεστής είναι μια μη γραμμική συνάρτηση της εξόδου του γραμμικού τελεστή: 11
12 Ο Νευρώνας (3) Η έξοδος του δικτύου συμβολίζεται με το ίδιο γράμμα με το οποίο συμβολίζεται και η είσοδος του νευρώνα διότι η έξοδος του νευρώνα είναι είσοδος σε άλλους νευρώνες. Η συνάρτηση του μη γραμμικού τελεστή ακολουθεί τα χαρακτηριστικά των σιγμοειδών (sigmoid) συναρτήσεων τα οποία είναι: i. Είναι αύξουσα συνάρτηση. ii. Έχει πεπερασμένα απειροστικά όρια. iii. Έχει πεδίο ορισμού το σύνολο των πραγματικών αριθμών και φραγμένο πεδίο τιμών. 12
13 Ο Νευρώνας (4) Οι πλέον διαδεδομένοι, σε πρακτικές εφαρμογές, μη γραμμικοί τελεστές είναι οι ακόλουθοι: i. Εκθετική σιγμοειδής. Η συνάρτηση αυτή αποτελεί τον πιο διαδεδομένο μη γραμμικό νευρωνικό τελεστή: ii. Υπερβολική εφαπτομένη. Είναι φανερό, ότι ο υπολογισμός των παραπάνω συναρτήσεων είναι χρονοβόρος και πολλές φορές υπερκαλύπτει τον χρόνο υπολογισμού του γραμμικού τελεστή του νευρώνα. Γι αυτό τον λόγο καταφεύγουμε σε απλούστερες υπολογιστικά συναρτήσεις, όπως είναι οι ακόλουθες: 13
14 Ο Νευρώνας (5) iii.τμηματικά γραμμική συνάρτηση. Χρησιμοποιείται σπάνια διότι δεν αποδίδει αξιόπιστα την μη γραμμική συμπεριφορά των νευρωνικών δικτύων. iv. Συνάρτηση δυο κλάδων: v.βηματική συνάρτηση: vi. Μη γραμμικός τελεστής του νευρώνα Adaline: Παράδειγμα 1ο 14
15 Δομή Νευρωνικών Δικτύων (1) Νευρωνικά δίκτυα ενός επιπέδου. Αποτελεί την πιο απλή περίπτωση οργάνωσης ενός νευρωνικού δικτύου. Οι είσοδοι κάθε νευρώνα συνδέονται με τις αντίστοιχες εισόδους του δικτύου και η έξοδος κάθε νευρώνα αποτελεί και έξοδο του δικτύου. Σε μερικές περιπτώσεις, θεωρούμε ότι ο κάθε νευρώνας έχει και μια επιπλέον είσοδο η οποία συνδέεται με μια είσοδο σταθερής στάθμης. 15
16 Δομή Νευρωνικών Δικτύων (2) Τα δίκτυα ενός επιπέδου νευρώνων χρησιμοποιούνται, συνήθως, σε απλά προβλήματα διότι έχουν δυο σοβαρά μειονεκτήματα: I. Έστω ότι το σύστημα που θέλουμε να προσομοιώσουμε έχει Ν εισόδους και Μ εξόδους, Τότε, στην καλύτερη των περιπτώσεων (όταν κάθε νευρώνας έχει συνάψεις που συνδέουν όλες τις εισόδους), το σύστημα προσομοίωσης έχει (Ν+1)*Μ βαθμούς ελευθερίας, γεγονός που περιορίζει την ικανότητα του δικτύου να προσομοιώνει πολύπλοκες διανυσματικές συναρτήσεις. Το πρόβλημα αντιμετωπίζεται, επεκτείνοντας με τεχνητό τρόπο το διάνυσμα εισόδου, με αποτέλεσμα την ταυτόχρονη αύξηση των βαθμών ελευθερίας του συστήματος προσομοίωσης. Η επέκταση αυτή μπορεί να επιτευχθεί όταν συνδέσουμε με γραμμικό ή μη γραμμικό τρόπο τις αρχικές εισόδους του συστήματος. 16
17 Δομή Νευρωνικών Δικτύων (3) II. Ο δεύτερος περιορισμός αναφέρεται στις περιορισμένες δυνατότητες του δικτύου, όσον αφορά στην προσομοίωση των μη γραμμικών χαρακτηριστικών της συνάρτησης που θέλουμε να προσομοιώσουμε. Έτσι, πιο συγκεκριμένα, μπορούμε να δούμε ότι κάθε έξοδος μπορεί να εκφραστεί σαν συνάρτηση των δεδομένων εισόδου, ως εξής: Η έξοδος ο m μπορεί να προσομοιώσει την πραγματική έξοδο του συστήματος μέσω μιας περιορισμένων δυνατοτήτων συνάρτησης. Κλασσικό πρόβλημα των περιορισμένων δυνατοτήτων των νευρωνικών δικτύων ενός επιπέδου, στην ταξινόμηση προτύπων, αποτελεί και η αδυναμία σωστής ταξινόμησης μη γραμμικά διαχωρίσιμων προτύπων. 17
18 Δομή Νευρωνικών Δικτύων (4) Πολυεπίπεδα νευρωνικά δίκτυα. Προσθέτοντας ένα ή περισσότερα κρυφά επίπεδα, μπορούμε να αυξήσουμε απεριόριστα τους βαθμούς ελευθερίας του νευρωνικού δικτύου. Η πιο συνηθισμένη τακτική που ακολουθείται, είναι η σύνδεση των νευρώνων κάθε επιπέδου με τις εξόδους των νευρώνων που βρίσκονται στο προηγούμενο επίπεδο. Όταν ο νευρώνας συνδέεται με όλους τους νευρώνες του προηγούμενου επιπέδου η σύνδεση ονομάζεται πλήρης, διαφορετικά ονομάζεται μερική. 18
19 Δομή Νευρωνικών Δικτύων (5) Κατά την διάρκεια εκπαίδευσης του νευρωνικού δικτύου, αν κάποιος συντελεστής βαρύτητας σύναψης πάρει την τιμή μηδέν, τότε το γεγονός αυτό ισοδυναμεί με την διακοπή σύνδεσης των νευρώνων διότι δεν μεταφέρεται πλέον πληροφορία από αυτή την σύναψη. Στην πράξη, το δίκτυο μπορεί να εμφανίζει αρχιτεκτονική πλήρους σύνδεσης αλλά κατά την διάρκεια εκπαίδευσης κάποιες συνδέσεις μπορεί να αποκοπούν, γεγονός όχι σπάνιο σε πρακτικές εφαρμογές. Στην ταξινόμηση προτύπων έχει αποδειχθεί, ότι ένα δίκτυο που αποτελείται από νευρώνες perceptron δυο επιπέδων (ενός κρυφού και του επιπέδου εξόδου) μπορεί να ταξινομήσει σωστά κατηγορίες μη γραμμικά διαχωρίσιμες, που επιπλέον βρίσκονται σε διαφορετικές νησίδες στον χώρο των μετρήσεων. 19
20 Δομή Νευρωνικών Δικτύων (6) Πολυεπίπεδα νευρωνικά δίκτυα έχουν χρησιμοποιηθεί με επιτυχία στην σχεδίαση πολύπλοκων συστημάτων ταξινόμησης προτύπων και καλύπτουν την πλειονότητα των εφαρμογών ταξινόμησης προτύπων με νευρωνικά δίκτυα. Αν στη είσοδο του δικτύου, το οποίο έχει μόνο μια είσοδο, τοποθετηθούν σήματα διακριτού χρόνου που έχουν δειγματοληπτηθεί, κατά αύξουσα χρονική σειρά, τότε το δίκτυο λειτουργεί σαν ένα μη γραμμικό φίλτρο FIR, όπως φαίνεται στο σχήμα που ακολουθεί: 20
21 Δομή Νευρωνικών Δικτύων (7) Eπανατροφοδοτούμενα νευρωνικά δίκτυα. Όταν υπάρχει, έστω και μια διαδρομή, μέσω της οποίας, ξεκινώντας από έναν νευρώνα και μέσω των συνάψεων και κατά την φορά ενεργοποίησης του δικτύου, μπορούμε να επανέλθουμε στον νευρώνα εκκίνησης, τότε το νευρωνικό δίκτυο θα λέγεται επανατροφοδοτούμενο (recurrent). Η αρχιτεκτονική αυτή προσδίδει στα νευρωνικά δίκτυα κάποια ιδιαίτερα χαρακτηριστικά. Οι χρονικές καθυστερήσεις δίνουν την δυνατότητα στο δίκτυο να προσομοιώσει χρονικά μεταβαλλόμενα πρότυπα. 21
22 Εκπαίδευση Νευρωνικών Δικτύων Τα βήματα που ακολουθούνται για την κατασκευή των νευρωνικών δικτύων, είναι τα ακόλουθα: I. Αρχικά πρέπει να οριστεί η τοπολογία του, δηλαδή ο αριθμός των νευρώνων που θα το αποτελούν και η οργάνωση των συνάψεων, ο τρόπος δηλαδή με τον οποίο η πληροφορία θα μεταβιβάζεται στους νευρώνες. Δυστυχώς, δεν υπάρχει μια γενικά αποδεκτή μέθοδος, η οποία να προσδιορίζει την αρχιτεκτονική του δικτύου, σε σχέση με το πρόβλημα προσομοίωσης. II. Υπολογίζονται οι συντελεστές βαρύτητας των συνάψεων, οι οποίοι ονομάζονται και μνήμη του νευρωνικού δικτύου. Η διαδικασία εκπαίδευσης υπολογίζει, συνήθως, τους συντελεστές βαρύτητας από ένα σύνολο παραδειγμάτων. Αν είναι γνωστή και η έξοδος που επιθυμούμε, τότε εφαρμόζεται ένας αλγόριθμος κατευθυνόμενης εκπαίδευσης, διαφορετικά χρησιμοποιείται αλγόριθμος αυτοεκπαίδευσης του δικτύου. 22
23 Εκπαίδευση Νευρωνικών Δικτύων- Διόρθωση σφάλματος εξόδου (1) Η μέθοδος διόρθωσης του σφάλματος της εξόδου αποτελεί την πιο διαδεδομένη τεχνική κατευθυνόμενης εκπαίδευσης. Είναι μια γενική μέθοδος υπολογισμού των παραμέτρων γραμμικών και μη γραμμικών συστημάτων. Έστω σύστημα s(x,w) όπου x είναι η είσοδος του συστήματος και w είναι ένα σύνολο παραμέτρων του συστήματος, των οποίων θέλουμε να υπολογίσουμε την αριθμητική τους τιμή από παραδείγματα. Έστω ότι είναι διαθέσιμα Μ παραδείγματα. Τοποθετούμε τα παραδείγματα στη είσοδο του συστήματος και υπολογίζουμε την έξοδο για κάθε ένα από αυτά. Έστω ότι x i,i=1,m είναι οι είσοδοι και t i,i=1,m οι επιθυμητές έξοδοι. Το μέσο τετραγωνικό σφάλμα του συστήματος (LMS) είναι: 23
24 Εκπαίδευση Νευρωνικών Δικτύων- Διόρθωση σφάλματος εξόδου (2) Η μέθοδος διόρθωσης του σφάλματος της εξόδου προσπαθεί να υπολογίσει το διάνυσμα w, το οποίο ελαχιστοποιεί το μέσο τετραγωνικό σφάλμα. Η λύση δίνεται συνήθως από την επίλυση του συστήματος εξισώσεων: Στις περιπτώσεις κατά τις οποίες δεν είναι δυνατή η εύρεση αναλυτικής λύσης, χρησιμοποιούμε αριθμητικές μεθόδους επαναληπτικής ελάττωσης του σφάλματος. Με αυτές τις μεθόδους επαναπροσδιορίζουμε τους συντελεστές βαρύτητας των συνάψεων, έτσι ώστε να επιτευχθούν διαδοχικές μειώσεις του συνολικού σφάλματος. Όταν το σφάλμα εκφράζεται σαν το τετράγωνο της διαφοράς της πραγματικής από την επιθυμητή έξοδο του νευρωνικού δικτύου, τότε η μέθοδος καλείται αλγόριθμος LMS (least mean square). 24
25 Εκπαίδευση Νευρωνικών Δικτύων- Hebbian Εκπαίδευση (1) O νευροφυσιολόγος Hebb περιέγραψε την διαδικασία μάθησης των νευρικών κυττάρων στο βιβλίο του «The Organization of Behavior» (1949) ως εξής: Όταν ένα νευρωνικό κύτταρο Α διεγείρει συστηματικά ένα νευρωνικό κύτταρο Β, τότε μία διαδικασία μεταβολισμού αλλάζει την συμπεριφορά του κυττάρου Β, έτσι ώστε η διέγερση του κυττάρου Β να προκαλείται πλέον με ευκολότερο τρόπο από το κύτταρο Α. Προφανώς, η διαδικασία επαναπροσδιορισμού των συντελεστών βαρύτητας, που περιέγραψε ο Hebb, λαμβάνει υπόψιν την σχέση ενεργοποίησης που έχουν αλληλοσυνδεόμενοι νευρώνες, οπότε και δεν χρειάζεται να γνωρίζουμε την επιθυμητή έξοδο του δικτύου. Συνεπώς, οι συνάψεις Hebb αποτελούν μια διαδικασία αυτοεκπαίδευσης ενός νευρωνικού συστήματος. 25
26 Εκπαίδευση Νευρωνικών Δικτύων- Hebbian Εκπαίδευση (2) Εικοσιπέντε χρόνια αργότερα, η σύναψη Hebb ορίσθηκε σαν μια διαδικασία μεταβολής του συντελεστή βαρύτητας σύναψης, εξαρτώμενη από την δραστηριότητα των δυο νευρώνων που συνδέονται στα άκρα της. Πιο συγκεκριμένα, ορίσθηκαν δυο κανόνες που περιγράφουν την συμπεριφορά μιας σύναψης Hebb : i. Όταν οι νευρώνες που βρίσκονται στα άκρα μιας σύναψης Hebb είναι ενεργοποιημένοι ταυτόχρονα, τότε η συνδετική της ικανότητα μεγαλώνει. Η συνδετική ικανότητα σύναψης, η οποία ονομάζεται και κέρδος της σύναψης, δεν είναι τίποτα άλλο από την αριθμητική τιμή του αντίστοιχου συντελεστή βαρύτητας. ii. Όταν οι νευρώνες που βρίσκονται στα άκρα σύναψης Hebb ενεργοποιούνται ασύγχρονα, τότε η συνδετική ικανότητα της σύναψης μειώνεται. 26
27 Εκπαίδευση Νευρωνικών Δικτύων- Hebbian Εκπαίδευση (3) Αν δώσουμε μια ποσοτική περιγραφή της διαδικασίας αυτοεκπαίδευσης μιας σύναψης Hebb, μπορούμε να πούμε ότι η μεταβολή του συντελεστή βαρύτητας w ij που συνδέει τον νευρώνα i με τον νευρώνα j, μπορεί να περιγραφεί από την ακόλουθη σχέση: όπου o i,o j, είναι η στάθμη εξόδου των νευρώνων i (ο δέκτης της πληροφορίας που συνδέεται στην σύναψη) και j (πηγή της πληροφορίας) αντίστοιχα. Η συνάρτηση Η(x,y) επιλέγεται, συνήθως, να έχει πεδίο τομών το, γεγονός που περιορίζει τις δυνατότατες της σύναψης στον πρώτο κανόνα εκπαίδευσης. Η απλούστερη μορφή της συνάρτησης εκπαίδευσης που ικανοποιεί τους περιορισμούς που τέθηκαν είναι: όπου α είναι μικρός θετικός πραγματικός αριθμός που εκφράζει τον ρυθμό εκπαίδευσης της σύναψης. 27
28 Εκπαίδευση Νευρωνικών Δικτύων- Hebbian Εκπαίδευση (4) Το σημαντικότερο μειονέκτημα των συνάψεων Hebb είναι ο κορεσμός που μπορεί να επέλθει στον συντελεστή βαρύτητας των συνάψεων, όταν επαναλαμβάνεται η διαδικασία επαναληπτικού επαναπροσδιορισμού, λόγω διαδοχικών ενεργοποιήσεων των δυο νευρώνων που είναι συνδεδεμένοι στα άκρα της σύναψης. Για την αποφυγή τέτοιων καταστάσεων προτάθηκε πρόσφατα ένας επιπρόσθετος μηχανισμός που ελαττώνει την αυξητική τάση των συντελεστών βαρύτητας των συνάψεων, ικανοποιώντας έτσι και τον δεύτερο κανόνα των συνάψεων Hebb. Το φυσικό νόημα αυτού του επιπρόσθετου όρου, είναι η αφαίρεση της πληροφορίας που έχει συσσωρευτεί στην σύναψη του νευρώνα: Η πιο απλοποιημένη έκφραση που μπορεί να περιγράψει την διπλή λειτουργία εκπαίδευσης μιας σύναψης Hebb, είναι η ακόλουθη: 28
29 Εκπαίδευση Νευρωνικών Δικτύων- Hebbian Εκπαίδευση (5) Η στατιστική προσέγγιση των μηχανισμών μιας σύναψης Hebb μπορεί να περιγραφεί, υπολογίζοντας την στατιστική συσχέτιση των εξόδων των νευρώνων που είναι συνδεδεμένοι στα άκρα της σύναψης. Αν οι νευρώνες ενεργοποιούνται και απενεργοποιούνται ταυτόχρονα, η συσχέτιση θα παρουσιάζει θετικές τιμές, διαφορετικά στην περίπτωση που ενεργοποιούνται ασύγχρονα, η συσχέτιση θα παρουσιάζει αρνητικές τιμές, με συνέπεια την ελάττωση της αριθμητικής τιμής του συντελεστή βαρύτητας του νευρώνα: Η σύναψη που εκτελεί την αντίθετη της Hebbian διαδικασίας εκπαίδευσης, ονομάζεται anti-hebbian σύναψη. Η λειτουργία μιας anti-hebbian σύναψης μπορεί να περιγραφεί ως εξής: i. Όταν οι νευρώνες που βρίσκονται στα άκρα μιας σύναψης anti-hebbian είναι ενεργοποιημένοι ταυτόχρονα, τότε η συνδετική ικανότητα της σύναψης μειώνεται. ii. Όταν οι νευρώνες που βρίσκονται στα άκρα μιας σύναψης anti-hebbian είναι ενεργοποιημένοι ταυτόχρονα, τότε η συνδετική ικανότητα της σύναψης μειώνεται. Παράδειγμα 2ο 29
30 Εκπαίδευση Νευρωνικών Δικτύων- Ανταγωνιστική Εκπαίδευση (1) Η δεύτερη μέθοδος αυτοεκπαίδευσης, που θα εξεταστεί, είναι η ανταγωνιστική εκπαίδευση που εφαρμόζεται σε ανεξάρτητες ομάδες νευρώνων του δικτύου. Σε αντίθεση με την λειτουργία εκπαίδευσης των συνάψεων Hebb, η ανταγωνιστική εκπαίδευση επαναπροσδιορίζει τους συντελεστές βαρύτητας των συνάψεων ενός μόνο νευρώνα από ένα σύνολο ανεξάρτητων ομάδων νευρώνων. Ανεξάρτητη ομάδα νευρώνων, ονομάζεται κάθε υποσύνολο νευρώνων του δικτύου που περιέχει όλους τους νευρώνες οι συνάψεις των οποίων δέχονται σήματα από τους ίδιους ακριβώς νευρώνες. Πιο συγκεκριμένα, αν θεωρήσουμε δυο διαδοχικές ομάδες νευρώνων, την Α και την Β, όπου οι έξοδοι της Α συνδέονται μέσω συνάψεων με τους νευρώνες της Β, τότε η διαδικασία ανταγωνιστικής εκπαίδευσης έχει ως εξής: 30
31 Εκπαίδευση Νευρωνικών Δικτύων- Ανταγωνιστική Εκπαίδευση (2) I. Αρχικές τιμές. Τοποθετούμε τυχαίους πραγματικούς αριθμούς στους συντελεστές βαρύτητας των συνάψεων και κανονικοποιούμε τις τιμές τους για κάθε ένα νευρώνα ξεχωριστά, έτσι ώστε: II. Επιλέγουμε τυχαία ένα πρότυπο εκπαίδευσης και με αυτό ενεργοποιούμε το δίκτυο. III. Βρίσκουμε τον νευρώνα j της ομάδας Β, ο οποίος βρίσκεται στην υψηλότερη στάθμη, έχει δηλαδή την υψηλότερη τιμή εξόδου. Τον νευρώνα αυτό, τον ονομάζουμε νικητή (winning neuron). IV. Επαναπροσδιορίζουμε όλες τις συνάψεις του νικητή νευρώνα, σύμφωνα με την σχέση: όπου α είναι ένας μικρός θετικός πραγματικός αριθμός που καθορίζει τον ρυθμό εκπαίδευσης του δικτύου και ο i είναι η έξοδος του νευρώνα i του προηγούμενου επιπέδου (Α) το οποίο συνδέεται μέσω της σύναψης, που έχει συντελεστή βαρύτητας w ji, με τον νευρώνα j. V. Οι συντελεστές βαρύτητας των συνάψεων του νικητή νευρώνα κανονικοποιούνται. Παράδειγμα 3ο 31
32 Το γραμμικό φίλτρο Wiener (1) Έστω ότι διαθέτουμε ένα δίκτυο νευρώνων ενός επιπέδου, το οποίο δεν περιέχει μη-γραμμικούς τελεστές. Οι έξοδοι του δικτύου αποτελούν έναν γραμμικό συνδυασμό των εισόδων του. Κάθε έξοδος του δικτύου, δίνεται από την ακόλουθη σχέση: όπου Ν είναι ο αριθμός των εισόδων του δικτύου και ο η έξοδος του νευρώνα. Έστω d η επιθυμητή έξοδος για το πρότυπο της εισόδου: Το σφάλμα της εξόδου ισούται με την διαφορά της επιθυμητής από την πραγματική έξοδο: Όταν έχουμε στην διάθεση μας έναν αριθμό παραδειγμάτων, τότε ορίζουμε σαν συνολικό σφάλμα το μισό του στατιστικά αναμενόμενου τετραγώνου του σφάλματος: Όταν υπολογιστούν οι συντελεστές βαρύτητας του γραμμικού δικτύου, που ελαχιστοποιεί το στατιστικά αναμενόμενο σφάλμα, τότε θα λέμε ότι έχουμε κατασκευάσει ένα φίλτρο Wiener. 32
33 Το γραμμικό φίλτρο Wiener (2) Oι συντελεστές βαρύτητας των συνάψεων μπορούν να υπολογιστούν είτε με επαναληπτικό είτε με αναλυτικό τρόπο. Στην συνέχεια ακολουθεί η αναλυτική μέθοδος που δίνει την βέλτιστη λύση και έχει την μικρότερη υπολογιστική πολυπλοκότητα. Αντικαθιστώντας τις αναλυτικές εκφράσεις, στην συνάρτηση του στατιστικά αναμενόμενου σφάλματος, προκύπτει: Οι συντελεστές βαρύτητας των συνάψεων είναι σταθεροί αριθμοί, συνεπώς, οι αναμενόμενες τιμές απλοποιούνται σε: 33
34 Το γραμμικό φίλτρο Wiener (3) Η εύρεση των τιμών των συντελεστών βαρύτητας που ελαχιστοποιούν το στατιστικά αναμενόμενο σφάλμα, υπολογίζονται με την μέθοδο του ελαχίστου μέσου τετραγωνικού σφάλματος (LMS), προκύπτουν, με άλλα λόγια, από την λύση του ακόλουθου συστήματος εξισώσεων: Αντικαθιστώντας την αναλυτική έκφραση του σφάλματος, έχουμε το τελικό γραμμικό σύστημα εξισώσεων, το οποίο συναντάται στην βιβλιογραφία και σαν σύστημα εξισώσεων των Wiener-Hopf: Ο όρος E[xi d] εκφράζει την ετεροσυσχέτιση της εισόδου με την επιθυμητή έξοδο, ενώ ο όρος E[xi xj] είναι η αυτοσυσχέτιση της εισόδου. Παράδειγμα 4ο 34
35 Πολυεπίπεδο Δίκτυο Perceptron (1) Το πλέον διαδεδομένο νευρωνικό δίκτυο συνεχών τιμών εισόδου και εξόδου, είναι το πολυεπίπεδο δίκτυο Perceptron. Ένα τυπικό δίκτυο αποτελείται από νευρώνες του τύπου Perceptron, οι οποίοι διαθέτουν έναν γραμμικό και έναν μη-γραμμικό τελεστή συνδεδεμένους σε σειρά: Το δίκτυο αποτελείται από περισσότερες των δυο ομάδων νευρώνων Perceptron που ονομάζονται και επίπεδα δικτύου. Ένα ή περισσότερα κρυφά επίπεδα επεξεργάζονται τα δεδομένα εισόδου και το επίπεδο εξόδου περιέχει τους νευρώνες, η έξοδος των οποίων είναι ταυτόχρονα και έξοδος του δικτύου. 35
36 Πολυεπίπεδο Δίκτυο Perceptron (2) Η συνήθης σύνδεση των νευρώνων Perceptron ενός επιπέδου περιλαμβάνει συνάψεις που συνδέουν κάθε νευρώνα, με όλους τους νευρώνες του προηγούμενου επιπέδου. Η σύνδεση αυτή ονομάζεται πλήρης (full connected) και χρησιμοποιείται σε περιπτώσεις στις οποίες δεν γίνεται, εκ των προτέρων, να οριστεί η ακριβής τοπολογία του δικτύου. Η γενική αυτή τοπολογία καλύπτει και την πλειονότητα των εφαρμογών. Η ευρεία διάδοση του πολυεπίπεδου δικτύου Perceptron, οφείλεται σε δυο κυρίως λόγους: i. Η ισχυρή πολυπλοκότητα και η μη γραμμικότητα του δικτύου, παρέχουν την δυνατότητα να προσομοιώσουμε με ικανοποιητική ακρίβεια, συνεχείς μη γραμμικές διανυσματικές συναρτήσεις. ii. Ο αλγόριθμος εκπαίδευσης LMS δίνει την δυνατότητα υπολογισμού των συντελεστών βαρύτητας των συνάψεων από παραδείγματα. Η δυνατότητα αυτή επιτρέπει να χρησιμοποιηθεί το δίκτυο σε πρακτικές εφαρμογές. 36
37 Πολυεπίπεδο Δίκτυο Perceptron-Αλγόριθμος Οπισθοδρομικής Διάδοσης του Σφάλματος (1) Ο αλγόριθμος οπισθοδρομικής διάδοσης του σφάλματος, όπως και η μέθοδος της κατευθυνόμενης εκπαίδευσης LMS, έχει σαν σκοπό την εύρεση των συντελεστών βαρύτητας των συνάψεων, με την διαφορά ότι στο πολυεπίπεδο δίκτυο Perceptron, η αναλυτική λύση δεν είναι εφικτή. Αυτός είναι και ο λόγος που ακολουθείται η μέθοδος της διαδοχικής προσέγγισης των συντελεστών βαρύτητας των συνάψεων, κατά την διεύθυνση της αρνητικής τιμής της πρώτης παραγώγου του σφάλματος (steepest descentβαθύτατη κάθοδος). H μέθοδος αυτή, που είναι η πιο διαδεδομένη τεχνική προσδιορισμού της μνήμης πολύπλοκων νευρωνικών δικτύων, ονομάζεται αλγόριθμος οπισθοδρομικής διάδοσης του σφάλματος. 37
38 Πολυεπίπεδο Δίκτυο Perceptron-Αλγόριθμος Οπισθοδρομικής Διάδοσης του Σφάλματος (2) Ο αλγόριθμος οφείλει την ονομασία του στο γεγονός ότι ενώ, κατά την ενεργοποίηση του νευρωνικού δικτύου, οι υπολογισμοί ξεκινούν από τους νευρώνες εισόδου και κατευθύνονται διαδοχικά προς τους νευρώνες της εξόδου, υπολογίζοντας την τιμή της εξόδου των νευρώνων στα κρυφά επίπεδα, η εκπαίδευση εκτελεί την αντίστροφά διαδικασία. Μετά την ενεργοποίηση του δικτύου αρχίζει η διαδικασία επαναπροσδιορισμού των συντελεστών βαρύτητας των συνάψεων, αρχικά στις συνάψεις που βρίσκονται στους νευρώνες εξόδου και στην συνέχεια ακολουθεί ο επαναπροσδιορισμός των συντελεστών βαρύτητας προς τους νευρώνες εισόδου. 38
39 Πολυεπίπεδο Δίκτυο Perceptron-Αλγόριθμος Οπισθοδρομικής Διάδοσης του Σφάλματος (3) Στην γενική περίπτωση, ένα πολυεπίπεδο δίκτυο Perceptron αποτελείται από έναν αριθμό κρυφών επιπέδων και το επίπεδο εξόδου που περιέχει Μ νευρώνες. Στην κατευθυνόμενη εκπαίδευση τα παραδείγματα αποτελούνται από ζεύγη διανυσμάτων εισόδου-εξόδου. Αν η είσοδος του δικτύου αποτελείται από Ν εισόδους, τότε τα παραδείγματα είναι διατεταγμένες δυάδες διανυσμάτων (α,b), Το σφάλμα εκτίμησης για τυχαία είσοδο α είναι το τετράγωνο των διαφορών της πραγματικής εξόδου του δικτύου ο με το αντίστοιχο διάνυσμα των αναμενόμενων τιμών b: Δεδομένου ότι συνήθως έχουμε στην διάθεση μας Q παραδείγματα, το αναμενόμενο σφάλμα υπολογίζεται από την σχέση: 39
40 Πολυεπίπεδο Δίκτυο Perceptron-Αλγόριθμος Οπισθοδρομικής Διάδοσης του Σφάλματος (4) Ο αλγόριθμος της οπισθοδρομικής διάδοσης του σφάλματος επαναπροσδιορίζει την αριθμητική τιμή του συντελεστή βαρύτητας των συνάψεων, σύμφωνα με την ακόλουθη σχέση: όπου n είναι μικρός θετικός πραγματικός αριθμός που ονομάζεται ρυθμός εκπαίδευσης του αλγορίθμου. Διάταξη νευρώνων στον αλγόριθμο οπισθοδρομικής διάδοσης σφάλματος. 40
41 Πολυεπίπεδο Δίκτυο Perceptron-Αλγόριθμος Οπισθοδρομικής Διάδοσης του Σφάλματος (5) H τελευταία εξίσωση, μπορεί να εκφραστεί σαν συνάρτηση της εξόδου και της εσωτερικής κατάστασης του νευρώνα: Αν ορίσουμε σαν δ i την αρνητική τιμή της παραγώγου του σφάλματος ως προς την εσωτερική κατάσταση του νευρώνα y i (εσωτερική κατάσταση του νευρώνα είναι η έξοδος του γραμμικού του τελεστή), τότε: και 41
42 Πολυεπίπεδο Δίκτυο Perceptron-Αλγόριθμος Οπισθοδρομικής Διάδοσης του Σφάλματος (6) Για να πετύχουμε μια αναλυτική έκφραση της συνάρτησης επαναπροσδιορισμού των συντελεστών βαρύτητας των συνάψεων, χωρίζουμε τους νευρώνες σε δυο κατηγορίες: Ι. Νευρώνες εξόδου. Η αρνητική τιμή της παραγώγου του σφάλματος ως προς την εσωτερική κατάσταση του νευρώνα (δ i ), γίνεται: Ο τελευταίος πολλαπλασιαστικός όρος δεν είναι τίποτα άλλο από την πρώτη παράγωγο του μη γραμμικού τελεστή του νευρώνα. Η συνάρτηση επαναπροσδιορισμού των συντελεστών βαρύτητας των συνάψεων για τους νευρώνες εξόδου γίνεται: 42
43 Πολυεπίπεδο Δίκτυο Perceptron-Αλγόριθμος Οπισθοδρομικής Διάδοσης του Σφάλματος (7) ΙΙ. Κρυφοί νευρώνες. Η περίπτωση των κρυφών νευρώνων είναι ελαφρώς πιο πολύπλοκη. Αν υποθέσουμε ότι στο αμέσως υψηλότερο επίπεδο, βρίσκονται Κ νευρώνες, τότε η αρνητική τιμή της παραγώγου του σφάλματος ως προς την εσωτερική κατάσταση του νευρώνα (δ i ), γίνεται: όπου Ι είναι ο αριθμός των νευρώνων του επιπέδου που μελετάμε. Μετά την απλοποίηση των παραπάνω εκφράσεων έχουμε: Η συνάρτηση επαναπροσδιορισμού των συντελεστών βαρύτητας των συνάψεων για του κρυφούς νευρώνες γίνεται: 43
44 Πολυεπίπεδο Δίκτυο Perceptron-Αλγόριθμος Οπισθοδρομικής Διάδοσης του Σφάλματος (8) Επειδή ο υπολογισμός των συντελεστών δ είναι αναδρομικός, από τους νευρώνες υψηλότερων επιπέδων προς χαμηλότερα επίπεδα, η διαδικασία επαναπροσδιορισμού των συντελεστών βαρύτητας των συνάψεων στο πολυεπίπεδο δίκτυο Perceptron, ακολουθεί τα παρακάτω βήματα: I. Τοποθέτηση αρχικών τιμών. Ορίζουμε τον ρυθμό εκπαίδευσης n και τοποθετούμε τυχαίες αρχικές τιμές στους συντελεστές βαρύτητας των συνάψεων. II. Ενεργοποίηση του δικτύου. Τοποθετούμε στην είσοδο του δικτύου τυχαίο πρότυπο από τα παραδείγματα και στην συνέχεια υπολογίζουμε από χαμηλότερο προς υψηλότερο επίπεδο την έξοδο των νευρώνων κάθε επιπέδου. 44
45 Πολυεπίπεδο Δίκτυο Perceptron-Αλγόριθμος Οπισθοδρομικής Διάδοσης του Σφάλματος (9) III. Υπολογισμός των συντελεστών δ. Αντιστρέφοντας την φορά των υπολογισμών, υπολογίζουμε τους συντελεστές δ από υψηλότερα σε χαμηλότερα επίπεδα. IV. Επαναπροσδιορισμός των συντελεστών βαρύτητας των συνάψεων. Έχοντας υπολογίσει τους συντελεστές δ και την αριθμητική τιμή των εξόδων των κόμβων, μπορούμε να επαναπροσδιορίσουμε τους συντελεστές βαρύτητας των συνάψεων όλων των νευρώνων του δικτύου. V. Έλεγχος σύγκλισης. Υπάρχουν διάφορα κριτήρια ελέγχου της σύγκλισης του αλγορίθμου. Οι συνήθεις έλεγχοι που γίνονται είναι οι εξής: 45
46 Πολυεπίπεδο Δίκτυο Perceptron-Αλγόριθμος Οπισθοδρομικής Διάδοσης του Σφάλματος (10) 1. Υπολογίζεται η συνολική απόλυτη μεταβολή των συντελεστών βαρύτητας σε σχέση με έναν πού μικρό θετικό αριθμό, το κριτήριο σύγκλισης. 2. Υπολογίζεται ο μέσος ρυθμός μεταβολής του σφάλματος στα παραδείγματα. Αν η μεταβολή αυτή είναι πολύ μικρή, τότε ο αλγόριθμος τερματίζει. 3. Αν ο μέσος ρυθμός μεταβολής των συντελεστών δ για όλα τα παραδείγματα είναι πολύ μικρός, αποδεικνύεται ότι η αντίστοιχη μεταβολή των συντελεστών βαρύτητας των συνάψεων είναι επίσης πολύ μικρή. VI. Επανάληψη του αλγορίθμου. Τοποθετούμε νέο παράδειγμα στην είσοδο του δικτύου και επαναλαμβάνουμε την διαδικασία από το δεύτερο βήμα. Παράδειγμα 5ο Παράδειγμα 6ο 46
47 Πολυεπίπεδο Δίκτυο Perceptron-Βελτιώσεις του Αλγορίθμου Οπισθοδρομικής Διάδοσης του Σφάλματος (1) Παρατηρήσεις Ο αλγόριθμος οπισθοδρομικής διάδοσης του σφάλματος εξασφαλίζει την σύγκλιση σε ένα τοπικά ελάχιστο σημείο, χωρίς βεβαία αυτό να σημαίνει ότι εξασφαλίζεται η σύγκλιση και για το συνολικά ελάχιστο. Μόνο στην περίπτωση, κατά την οποία μπορούμε να εξασφαλίσουμε την ύπαρξη ενός μόνο τοπικά ελάχιστου σημείου (το οποίο θα είναι τότε και συνολικά ελάχιστο), θα έχουμε σύγκλιση του αλγορίθμου στην επιθυμητή λύση. Η συνθήκη αυτή δεν μπορεί να εξασφαλιστεί στην περίπτωση του πολυεπίπεδου δικτύου, τύπου Perceptron. 47
48 Πολυεπίπεδο Δίκτυο Perceptron-Βελτιώσεις του Αλγορίθμου Οπισθοδρομικής Διάδοσης του Σφάλματος (2) Η λανθασμένη επιλογή του ρυθμού εκπαίδευσης καταλήγει στα δυο παρακάτω, αντίθετα μεταξύ τους, αποτελέσματα: i. Αν ο συντελεστής εκπαίδευσης έχει μεγάλη αριθμητική τιμή, τότε υπάρχει περίπτωση να μην επιτευχθεί σύγκλιση του αλγορίθμου σε κάποιο τοπικά ελάχιστο σημείο του σφάλματος, αλλά να παρατηρηθούν, κατά την διάρκεια της εκπαίδευσης, ταλαντώσεις γύρω από ένα ή περισσότερα τοπικά ελάχιστα. Οι ταλαντώσεις αυτές είναι μεγαλύτερες, όσο μεγαλύτερη είναι και η αριθμητική τομή του ρυθμού εκπαίδευσης. ii. Αντίθετα, αν επιλεγεί μικρός συντελεστής εκπαίδευσης, τότε η σύγκλιση, πιθανόν, να απαιτεί πολύ μεγάλο αριθμό επαναλήψεων. Σε αυτή την περίπτωση ο αλγόριθμος, σε μερικές περιοχές, μεταβάλλει με πολύ χαμηλούς ρυθμούς τους συντελεστές βαρύτητας των συνάψεων, με άμεση συνέπεια την αύξηση των βημάτων του αλγορίθμου μέχρι την τελική σύγκλιση. 48
49 Πολυεπίπεδο Δίκτυο Perceptron-Βελτιώσεις του Αλγορίθμου Οπισθοδρομικής Διάδοσης του Σφάλματος (3) Ακολουθούν μερικές χρήσιμες οδηγίες για την βελτίωση της απόδοσης του αλγορίθμου οπισθοδρομικής διάδοσης του σφάλματος. i. Τα παραδείγματα πρέπει να επιλέγονται με τυχαίο τρόπο. Μια καλή στρατηγική είναι να αναδιαταχθούν με τυχαίο τρόπο τα παραδείγματα και στην συνέχεια να εφαρμοστεί μια κυκλική διαδοχή χρήσης των παραδειγμάτων στον αλγόριθμο. ii. Η συνάρτηση σφάλματος που ελαχιστοποιείται, αναφέρεται στο στιγμιαίο σφάλμα που ορίζεται σαν την διαφορά της επιθυμητής από την πραγματική έξοδο για ένα μόνο παράδειγμα. Αν ελαχιστοποιήσουμε την συνάρτηση σφάλματος που ορίζεται σαν την μέση τιμή του στιγμιαίου σφάλματος στα διαθέσιμα παραδείγματα εκπαίδευσης, τότε προκύπτουν οι ίδιες αναδρομικές εξισώσεις και όλοι οι υπολογισμοί πραγματοποιούνται από τις αντίστοιχες αναμενόμενες τιμές, εφόσον τοποθετηθούν όλα τα παραδείγματα στο δίκτυο. 49
50 Πολυεπίπεδο Δίκτυο Perceptron-Βελτιώσεις του Αλγορίθμου Οπισθοδρομικής Διάδοσης του Σφάλματος (4) ΙΙ. (συνέχεια) Αυτή η παραλλαγή του αλγορίθμου αποφεύγει, σε σημαντικό βαθμό, χρονοβόρους υπολογισμούς διότι για κάθε ένα βήμα επαναπροσδιορισμού των συντελεστών βαρύτητας απαιτείται η τοποθέτηση όλων των διαθέσιμων παραδειγμάτων στο δίκτυο. Σε περιπτώσεις κατά τις οποίες το νευρωνικό δίκτυο περιέχει πολλά επίπεδα, ένα μεγάλο αριθμό νευρώνων και πολλά παραδείγματα, η παραλλαγή του αλγορίθμου, που προτάθηκε πιο πάνω, δύσκολα εφαρμόζεται στη πράξη. Συνοπτικά, η στατιστική εκδοχή του αλγορίθμου οπισθοδρομικής διάδοσης του σφάλματος έχεις εξής: 1. Τοποθετούμε αρχικές τιμές για τον ρυθμό εκπαίδευσης και τους συντελεστές βαρύτητας των νευρώνων. 2. Τοποθετούμε ένα παράδειγμα στην είσοδο του δικτύου και υπολογίζουμε την πραγματική του έξοδο για τη τρέχουσα εκτίμηση των συντελεστών βαρύτητας των νευρώνων. 50
51 Πολυεπίπεδο Δίκτυο Perceptron-Βελτιώσεις του Αλγορίθμου Οπισθοδρομικής Διάδοσης του Σφάλματος (5) 3. Κατά την αντίστροφη φορά υπολογίζουμε τους συντελεστές δ. 4. Επιλέγουμε το επόμενο παράδειγμα και επαναλαμβάνουμε τον αλγόριθμο από το δεύτερο βήμα. 5. Όταν τοποθετήσουμε όλα τα παραδείγματα υπολογίζουμε την μέση τιμή των συντελεστών δ κάθε νευρώνα. Με την βοήθεια της μέσης τιμής δ επαναπροσδιορίζουμε τους συντελεστές βαρύτητας των νευρώνων. 6. Ελέγχουμε την συνθήκη σύγκλισης. Αν δεν επιτευχθεί σύγκλιση ο αλγόριθμος επαναλαμβάνεται από την αρχή. 51
52 Πολυεπίπεδο Δίκτυο Perceptron-Βελτιώσεις του Αλγορίθμου Οπισθοδρομικής Διάδοσης του Σφάλματος (6) ΙΙΙ. Πειράματα έχουν δείξει ότι ο αριθμός των νευρώνων που απαρτίζουν κάθε επίπεδο του νευρωνικού δικτύου, πρέπει να μειώνεται καθώς προχωράμε από την είσοδο προς τη έξοδο του. Η αρχιτεκτονική αυτή τείνει να μειώσει τον αριθμό των τοπικά ελαχίστων του δικτύου. ΙV. Μια καλή επιλογή των αρχικών τιμών των συντελεστών βαρύτητας των νευρώνων, θα ήταν μικροί πραγματικοί αριθμοί στην περιοχή του μηδενός. Οι αριθμοί αυτοί πρέπει να προσεγγίζουν την τιμή του μηδενός. V. Η αριθμητική τιμή του ρυθμού εκπαίδευσης (n) επιλέγεται, τις περισσότερες φορές, εμπειρικά. Συνήθως, οι τιμές που εξασφαλίζουν καλή ταχύτητα σύγκλισης και αποφεύγουν τις ταλαντώσεις, γύρω από τοπικά βέλτιστα, είναι θετικοί πραγματικοί αριθμοί. 52
53 Πολυεπίπεδο Δίκτυο Perceptron-Βελτιώσεις του Αλγορίθμου Οπισθοδρομικής Διάδοσης του Σφάλματος (7) VI. Συνήθως ο παράγοντας δ για τους νευρώνες που περιέχονται σε χαμηλότερα επίπεδα, λαμβάνει μικρότερες αριθμητικές τιμές. Συνεπώς, καλό θα ήταν ο ρυθμός εκπαίδευσης να έχει μεγαλύτερη αριθμητική τιμή για τους νευρώνες των χαμηλότερων επιπέδων. VII. Η σύγκλιση του αλγορίθμου επιβραδύνεται σημαντικά με την αύξηση του αριθμού των επιπέδων του δικτύου. Για τον λόγο αυτό, πρέπει να διατηρούμε τον χαμηλότερο αριθμό επιπέδων στο δίκτυο για το πρόβλημα που καλούμαστε να λύσουμε. Αν είναι απαραίτητο, μπορούμε να αυξήσουμε τον αριθμό των νευρώνων στα ήδη υπάρχοντα επίπεδα. Αν το σφάλμα δεν μειώνεται κατά την επιθυμητή τιμή, τότε πρέπει να δοκιμάσουμε να προσθέσουμε ένα επίπεδο νευρώνων. VIII. Οι επιθυμητές τιμές των παραδειγμάτων δεν θα πρέπει να συμπίπτουν με τα απειροστά όρια της σιγμοειδούς συνάρτησης, αλλά πρέπει να βρίσκονται μέσα στο πεδίο τιμών της. 53
54 Πολυεπίπεδο Δίκτυο Perceptron-Βελτιώσεις του Αλγορίθμου Οπισθοδρομικής Διάδοσης του Σφάλματος (8) IX. Θα ήταν καλό να επιλέξουμε έναν μη γραμμικό τελεστή που να ικανοποιεί τη συνθήκη: f (-x) = - f (x) Έχει παρατηρηθεί ότι στις περισσότερες περιπτώσεις ο αλγόριθμος μαθαίνει γρηγορότερα, όταν ο μη γραμμικός τελεστής ικανοποιεί την παραπάνω σχέση, Τυπικό παράδειγμα μη γραμμικού νευρωνικού τελεστή που ικανοποιεί αυτή την συνθήκη, είναι η συνάρτηση της υπερβολικής εφαπτομένης. X. Αυξημένες δυνατότητες αποφυγής τοπικά ελάχιστων σημείων, παρουσιάζονται αν σε κάθε νευρώνα προστεθεί μια σύναψη, η οποία έχει σταθερή είσοδο (συνήθως επιλέγονται οι τιμές 1 ή -1). Η επέκταση του διανύσματος εισόδου του νευρώνα έχει σαν συνέπεια την αύξηση των βαθμών ελευθερίας του δικτύου και θεωρείται ότι αυτή είναι η κύρια αιτία ελάττωσης της πιθανότητας σύγκλισης σε τοπικά ελάχιστο σημείο της συνάρτησης του σφάλματος. 54
55 Πολυεπίπεδο Δίκτυο Perceptron-Βελτιώσεις του Αλγορίθμου Οπισθοδρομικής Διάδοσης του Σφάλματος (9) XI. Μια έξυπνη τεχνική αύξησης της ταχύτητας εκπαίδευσης του δικτύου, είναι η ανεξάρτητη (ανά νευρώνα) αύξηση του συντελεστή εκπαίδευσης, όταν η πρώτη παράγωγος του σφάλματος ως προς τους συντελεστές βαρύτητας των συνάψεων του νευρώνα παραμένουν ομόσημες για έναν αριθμό διαδοχικών επαναλήψεων του αλγορίθμου με διαφορετικά παραδείγματα. Αντίθετα, όταν έχουμε φαινόμενα αλλαγής πρόσημου (πιθανή ύπαρξη φαινομένων ταλάντωσης γύρω από κάποιο τοπικά ελάχιστο) ο συντελεστής πρέπει να ελαττώνεται. XII. Σε πολλές εφαρμογές, έχει παρατηρηθεί βελτίωση των χαρακτηριστικών σύγκλισης του αλγορίθμου, όταν στην συνάρτηση επαναπροσδιορισμού των συντελεστών βαρύτητας των συνάψεων, προστεθεί και ένας σταθμισμένος όρος που περιέχει την μεταβολή του συντελεστή βαρύτητας, που προήλθε από την εφαρμογή του αλγορίθμου στο προηγούμενο παράδειγμα: Αυτή η παραλλαγή του αλγορίθμου της οπισθοδρομικής διάδοσης του σφάλματος, ονομάζεται momentum-term. Παράδειγμα 7ο 55
56 Δίκτυα Ακτινικών Συναρτήσεων (1) Υπάρχει μια ιδιαίτερη ομάδα νευρωνικών δικτύων, τα οποία ονομάζονται δίκτυα ακτινικών συναρτήσεων (Radial Basis Function networks-rbf networks). Τα δίκτυα αυτά αποτελούνται από ένα κρυφό επίπεδο και ένα επίπεδο νευρώνων εξόδου. Η ονομασία τους οφείλεται στο γεγονός της αντικατάστασης του γραμμικού τελεστή που υπάρχει στους νευρώνες του κρυφού επιπέδου. Ο μη γραμμικός τελεστής είναι μια συνάρτηση που περιέχει έκφραση της γενικευμένης Ευκλείδειας απόστασης του διανύσματος εισόδου με το αντίστοιχο διάνυσμα των συντελεστών βαρύτητας των συνάψεων του νευρώνα. Οι νευρώνες εξόδου δεν διαθέτουν μη γραμμικό τελεστή και γι αυτό τον λόγο εκτελούν μόνο ένα γραμμικό μετασχηματισμό των εξόδων των νευρώνων του κρυφού επιπέδου. 56
57 Δίκτυα Ακτινικών Συναρτήσεων (2) Παρακάτω ακολουθεί η διαδικασία εκπαίδευσης από παραδείγματα. Η διαδικασία αυτή πραγματοποιείται με αναλυτικές εξισώσεις στο επίπεδο εξόδου. Η συνάρτηση που δίνει την σχέση μιας εξόδου του δικτύου με την είσοδο και τους συντελεστές βαρύτητας των συνάψεων είναι η ακόλουθη: όπου x είναι η είσοδος του δικτύου, q i είναι ένα από τα Ν σταθερά σημεία στον χώρο των προτύπων και w i, i=1,n είναι οι συντελεστές βαρύτητας ενός νευρώνα εξόδου. Το πρόβλημα της κατευθυνόμενης εκπαίδευσης των δικτύων ακτινικών συναρτήσεων μπορεί να εκφραστεί ως εξής: Δοσμένου ενός αριθμού παραδειγμάτων εκπαίδευσης, βρείτε τους συντελεστές βαρύτητας των συνάψεων που ελαχιστοποιούν το μέσο σφάλμα της επιθυμητής από την πραγματική έξοδο του δικτύου. 57
58 Δίκτυα Ακτινικών Συναρτήσεων (3) Η εύρεση των συντελεστών βαρύτητας κάθε νευρώνα αποτελεί μια ανεξάρτητη λύση. Αν ορίσουμε σαν b την επιθυμητή έξοδο κάθε νεύρωμα, το μέσο σφάλμα της προσομοίωσης για Μ παραδείγματα είναι: όπου το διάνυσμα των επιθυμητών εξόδων και περιγράφει ένα σύνολο σταθερών αριθμών: οι συντελεστές βαρύτητας του νευρώνα. Το G 58
59 Δίκτυα Ακτινικών Συναρτήσεων (4) Η LMS λύση δίνεται από την εξίσωση: Ο πίνακας G ονομάζεται ψευδοαντίστροφος πίνακας της G + διότι η διαδικασία υπολογισμού της έχει μοιάζει με τον τρόπο που υπολογίζεται ο αντίστροφος ενός τετραγωνικού πίνακα. Από τα παραπάνω παρατηρούμε ότι στην περίπτωση των δικτύων ακτινικών συναρτήσεων, μπορούμε να βρούμε με αναλυτικό τρόπο τους συντελεστές βαρύτητας των συνάψεων. Το γεγονός αυτό, αποτελεί σαφές πλεονέκτημα απέναντι στις μεθόδους εκπαίδευσης του πολυεπίπεδου δικτύου Perceptron. Επίσης έχει αποδειχθεί ότι τα δίκτυα ακτινικών συναρτήσεων μπορούν να προσομοιώσουν, με την επιθυμητή ακρίβεια, οποιαδήποτε συνεχή διανυσματική συνάρτηση. 59
60 Τέλος Ενότητας
61 Σημείωμα Αναφοράς Copyright Πανεπιστήμιο Πατρών,Δερματάς Ευάγγελος «Αναγνώριση Προτύπων Ι». Έκδοση: 1.0. Αθήνα Διαθέσιμο από τη δικτυακή διεύθυνση: 61
Αναγνώριση Προτύπων Ι
Αναγνώριση Προτύπων Ι Ενότητα 1: Μέθοδοι Αναγνώρισης Προτύπων Αν. Καθηγητής Δερματάς Ευάγγελος Τμήμα Ηλεκτρολόγων Μηχανικών και Τεχνολογίας Υπολογιστών Άδειες Χρήσης Το παρόν εκπαιδευτικό υλικό υπόκειται
Διαβάστε περισσότεραΑναγνώριση Προτύπων Ι
Αναγνώριση Προτύπων Ι Ενότητα 2: Δομικά Συστήματα Αν. Καθηγητής Δερματάς Ευάγγελος Τμήμα Ηλεκτρολόγων Μηχανικών και Τεχνολογίας Υπολογιστών Άδειες Χρήσης Το παρόν εκπαιδευτικό υλικό υπόκειται σε άδειες
Διαβάστε περισσότεραΑναγνώριση Προτύπων Ι
Αναγνώριση Προτύπων Ι Ενότητα 3: Στοχαστικά Συστήματα Αν. Καθηγητής Δερματάς Ευάγγελος Τμήμα Ηλεκτρολόγων Μηχανικών και Τεχνολογίας Υπολογιστών Άδειες Χρήσης Το παρόν εκπαιδευτικό υλικό υπόκειται σε άδειες
Διαβάστε περισσότεραΠοσοτικές Μέθοδοι στη Διοίκηση Επιχειρήσεων ΙΙ Σύνολο- Περιεχόμενο Μαθήματος
Ποσοτικές Μέθοδοι στη Διοίκηση Επιχειρήσεων ΙΙ Σύνολο- Περιεχόμενο Μαθήματος Χιωτίδης Γεώργιος Τμήμα Λογιστικής και Χρηματοοικονομικής Άδειες Χρήσης Το παρόν εκπαιδευτικό υλικό υπόκειται σε άδειες χρήσης
Διαβάστε περισσότεραΤο μοντέλο Perceptron
Το μοντέλο Perceptron Αποτελείται από έναν μόνο νευρώνα McCulloch-Pitts w j x x 1, x2,..., w x T 1 1 x 2 w 2 Σ u x n f(u) Άνυσμα Εισόδου s i x j x n w n -θ w w 1, w2,..., w n T Άνυσμα Βαρών 1 Το μοντέλο
Διαβάστε περισσότεραΣΗΜΑΤΑ ΚΑΙ ΣΥΣΤΗΜΑΤΑ Ι
ΣΗΜΑΤΑ ΚΑΙ ΣΥΣΤΗΜΑΤΑ Ι Προσέγγιση και Ομοιότητα Σημάτων Επιμέλεια: Πέτρος Π. Γρουμπός Καθηγητής Γεώργιος Α. Βασκαντήρας Υπ. Διδάκτορας Τμήμα Ηλεκτρολόγων Μηχανικών & Τεχνολογίας Υπολογιστών Άδειες Χρήσης
Διαβάστε περισσότεραΤΜΗΜΑ ΔΙΟΙΚΗΣΗΣ ΕΠΙΧΕΙΡΗΣΕΩΝ
ΤΕΙ Δυτικής Μακεδονίας ΤΜΗΜΑ ΔΙΟΙΚΗΣΗΣ ΕΠΙΧΕΙΡΗΣΕΩΝ 2015-2016 Τεχνητή Νοημοσύνη Νευρώνας Perceptron Διδάσκων: Τσίπουρας Μάρκος Εκπαιδευτικό Υλικό: Τσίπουρας Μάρκος Τζώρτζης Γρηγόρης Περιεχόμενα Εισαγωγή
Διαβάστε περισσότεραΒασικές αρχές εκπαίδευσης ΤΝΔ: το perceptron. "Τεχνητά Νευρωνικά Δίκτυα" (Διαφάνειες), Α. Λύκας, Παν. Ιωαννίνων
Βασικές αρχές εκπαίδευσης ΤΝΔ: το perceptron Βιολογικός Νευρώνας Δενδρίτες, που αποτελούν τις γραμμές εισόδου των ερεθισμάτων (βιολογικών σημάτων) Σώμα, στο οποίο γίνεται η συσσώρευση των ερεθισμάτων και
Διαβάστε περισσότεραΑριθμητική Ανάλυση και Εφαρμογές
Αριθμητική Ανάλυση και Εφαρμογές Διδάσκων: Δημήτριος Ι. Φωτιάδης Τμήμα Μηχανικών Επιστήμης Υλικών Ιωάννινα 07-08 Αριθμητική Παραγώγιση Εισαγωγή Ορισμός 7. Αν y f x είναι μια συνάρτηση ορισμένη σε ένα διάστημα
Διαβάστε περισσότεραΒέλτιστος Έλεγχος Συστημάτων
Βέλτιστος Έλεγχος Συστημάτων Ενότητα 10: Δυναμικός προγραμματισμός Καθηγητής Αντώνιος Αλεξανδρίδης Πολυτεχνική Σχολή Τμήμα Ηλεκτρολόγων Μηχανικών και Τεχνολογίας Υπολογιστών Σημείωμα Αδειοδότησης Το παρόν
Διαβάστε περισσότεραΑστικά υδραυλικά έργα
Εθνικό Μετσόβιο Πολυτεχνείο Τομέας Υδατικών Πόρων και Περιβάλλοντος Αστικά υδραυλικά έργα Υδραυλική ανάλυση δικτύων διανομής Δημήτρης Κουτσογιάννης, Καθηγητής ΕΜΠ Σχολή Πολιτικών Μηχανικών Άδεια Χρήσης
Διαβάστε περισσότεραΕΥΦΥΗΣ ΕΛΕΓΧΟΣ. Ενότητα #12: Εισαγωγή στα Nευρωνικά Δίκτυα. Αναστάσιος Ντούνης Τμήμα Μηχανικών Αυτοματισμού Τ.Ε.
ΕΛΛΗΝΙΚΗ ΔΗΜΟΚΡΑΤΙΑ Ανώτατο Εκπαιδευτικό Ίδρυμα Πειραιά Τεχνολογικού Τομέα ΕΥΦΥΗΣ ΕΛΕΓΧΟΣ Ενότητα #12: Εισαγωγή στα Nευρωνικά Δίκτυα Αναστάσιος Ντούνης Τμήμα Μηχανικών Αυτοματισμού Τ.Ε. Άδειες Χρήσης Το
Διαβάστε περισσότεραΒέλτιστος Έλεγχος Συστημάτων
Βέλτιστος Έλεγχος Συστημάτων Ενότητα 1: Εισαγωγή Καθηγητής Αντώνιος Αλεξανδρίδης Πολυτεχνική Σχολή Τμήμα Ηλεκτρολόγων Μηχανικών και Τεχνολογίας Υπολογιστών Σημείωμα Αδειοδότησης Το παρόν υλικό διατίθεται
Διαβάστε περισσότεραΑΝΑΓΝΩΡΙΣΗ ΠΡΟΤΥΠΩΝ. ΕΝΟΤΗΤΑ: Γραμμικές Συναρτήσεις Διάκρισης. ΔΙΔΑΣΚΟΝΤΕΣ: Βλάμος Π. Αυλωνίτης Μ. ΙΟΝΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΤΜΗΜΑ ΠΛΗΡΟΦΟΡΙΚΗΣ
ΑΝΑΓΝΩΡΙΣΗ ΠΡΟΤΥΠΩΝ ΕΝΟΤΗΤΑ: Γραμμικές Συναρτήσεις Διάκρισης ΙΟΝΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΤΜΗΜΑ ΠΛΗΡΟΦΟΡΙΚΗΣ ΔΙΔΑΣΚΟΝΤΕΣ: Βλάμος Π. Αυλωνίτης Μ. Άδειες Χρήσης Το παρόν εκπαιδευτικό υλικό υπόκειται σε άδειες χρήσης
Διαβάστε περισσότεραΥπολογιστική Νοημοσύνη. Μάθημα 13: Αναδρομικά Δίκτυα - Recurrent Networks
Υπολογιστική Νοημοσύνη Μάθημα 13: Αναδρομικά Δίκτυα - Recurrent Networks Γενικά Ένα νευρωνικό δίκτυο λέγεται αναδρομικό, εάν υπάρχει έστω και μια σύνδεση από έναν νευρώνα επιπέδου i προς έναν νευρώνα επιπέδου
Διαβάστε περισσότεραΥπολογιστικά & Διακριτά Μαθηματικά
Υπολογιστικά & Διακριτά Μαθηματικά Ενότητα 5: Αναδρομικές σχέσεις - Υπολογισμός Αθροισμάτων Στεφανίδης Γεώργιος Άδειες Χρήσης Το παρόν εκπαιδευτικό υλικό υπόκειται σε άδειες χρήσης Creative Commons. Για
Διαβάστε περισσότεραΤΕΧΝΟΛΟΓΙΑ ΛΟΓΙΣΜΙΚΟΥ Ι
ΤΕΧΝΟΛΟΓΙΑ ΛΟΓΙΣΜΙΚΟΥ Ι κ. ΠΕΤΑΛΙΔΗΣ ΤΜΗΜΑ ΜΗΧΑΝΙΚΩΝ ΠΛΗΡΟΦΟΡΙΚΗΣ ΤΕ 1 Άδειες Χρήσης Το παρόν εκπαιδευτικό υλικό υπόκειται σε άδειες χρήσης Creative Commons. Για εκπαιδευτικό υλικό, όπως εικόνες, που υπόκειται
Διαβάστε περισσότεραΓΡΑΜΜΙΚΗ ΑΛΓΕΒΡΑ. ΕΝΟΤΗΤΑ: Διανυσματικοί Χώροι (1) ΔΙΔΑΣΚΩΝ: Βλάμος Παναγιώτης ΙΟΝΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΤΜΗΜΑ ΠΛΗΡΟΦΟΡΙΚΗΣ
ΓΡΑΜΜΙΚΗ ΑΛΓΕΒΡΑ ΕΝΟΤΗΤΑ: Διανυσματικοί Χώροι (1) ΙΟΝΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΤΜΗΜΑ ΠΛΗΡΟΦΟΡΙΚΗΣ ΔΙΔΑΣΚΩΝ: Βλάμος Παναγιώτης Άδειες Χρήσης Το παρόν εκπαιδευτικό υλικό υπόκειται σε άδειες χρήσης Creative Commons
Διαβάστε περισσότεραΑριθμητική εύρεση ριζών μη γραμμικών εξισώσεων
Αριθμητική εύρεση ριζών μη γραμμικών εξισώσεων Με τον όρο μη γραμμικές εξισώσεις εννοούμε εξισώσεις της μορφής: f( ) 0 που προέρχονται από συναρτήσεις f () που είναι μη γραμμικές ως προς. Περιέχουν δηλαδή
Διαβάστε περισσότεραΟΙΚΟΝΟΜΕΤΡΙΑ. Ενότητα 2: Παλινδρόμηση. Αναπλ. Καθηγητής Νικόλαος Σαριαννίδης Τμήμα Διοίκησης Επιχειρήσεων (Γρεβενά)
ΟΙΚΟΝΟΜΕΤΡΙΑ Ενότητα 2: Παλινδρόμηση. Αναπλ. Καθηγητής Νικόλαος Σαριαννίδης Τμήμα Διοίκησης Επιχειρήσεων (Γρεβενά) Άδειες Χρήσης Το παρόν εκπαιδευτικό υλικό υπόκειται σε άδειες χρήσης Creative Commons.
Διαβάστε περισσότερα4. ΚΕΦΑΛΑΙΟ ΕΦΑΡΜΟΓΕΣ ΤΟΥ ΜΕΤΑΣΧΗΜΑΤΙΣΜΟΥ FOURIER
4. ΚΕΦΑΛΑΙΟ ΕΦΑΡΜΟΓΕΣ ΤΟΥ ΜΕΤΑΣΧΗΜΑΤΙΣΜΟΥ FOURIER Σκοπός του κεφαλαίου είναι να παρουσιάσει μερικές εφαρμογές του Μετασχηματισμού Fourier (ΜF). Ειδικότερα στο κεφάλαιο αυτό θα περιγραφούν έμμεσοι τρόποι
Διαβάστε περισσότεραΕΛΕΓΧΟΣ ΠΑΡΑΓΩΓΙΚΩΝ ΔΙΕΡΓΑΣΙΩΝ
ΕΛΛΗΝΙΚΗ ΔΗΜΟΚΡΑΤΙΑ Ανώτατο Εκπαιδευτικό Ίδρυμα Πειραιά Τεχνολογικού Τομέα ΕΛΕΓΧΟΣ ΠΑΡΑΓΩΓΙΚΩΝ ΔΙΕΡΓΑΣΙΩΝ Ενότητα: Αναγνώριση Διεργασίας - Προσαρμοστικός Έλεγχος (Process Identification) Αλαφοδήμος Κωνσταντίνος
Διαβάστε περισσότεραΜαθηματικά. Ενότητα 2: Διαφορικός Λογισμός. Σαριαννίδης Νικόλαος Τμήμα Διοίκησης Επιχειρήσεων (Κοζάνη)
Μαθηματικά Ενότητα 2: Διαφορικός Λογισμός Σαριαννίδης Νικόλαος Τμήμα Διοίκησης Επιχειρήσεων (Κοζάνη) Άδειες Χρήσης Το παρόν εκπαιδευτικό υλικό υπόκειται σε άδειες χρήσης Creative Commons. Για εκπαιδευτικό
Διαβάστε περισσότεραΠΑΝΕΠΙΣΤΗΜΙΟ ΙΩΑΝΝΙΝΩΝ ΑΝΟΙΚΤΑ ΑΚΑΔΗΜΑΪΚΑ ΜΑΘΗΜΑΤΑ ΦΥΣΙΚΟΧΗΜΕΙΑ ΙΙ
ΠΑΝΕΠΙΣΤΗΜΙΟ ΙΩΑΝΝΙΝΩΝ ΑΝΟΙΚΤΑ ΑΚΑΔΗΜΑΪΚΑ ΜΑΘΗΜΑΤΑ ΦΥΣΙΚΟΧΗΜΕΙΑ ΙΙ Στοιχειώδεις αντιδράσεις, μηχανισμός και εύρεση του νόμου ταχύτητας Διδάσκοντες: Αναπλ. Καθ. Β. Μελισσάς, Λέκτορας Θ. Λαζαρίδης Άδειες
Διαβάστε περισσότεραΥπολογιστικά & Διακριτά Μαθηματικά
Υπολογιστικά & Διακριτά Μαθηματικά Ενότητα 4: Διατάξεις Μεταθέσεις Συνδυασμοί Στεφανίδης Γεώργιος Άδειες Χρήσης Το παρόν εκπαιδευτικό υλικό υπόκειται σε άδειες χρήσης Creative Commons. Για εκπαιδευτικό
Διαβάστε περισσότεραΑριθμητική Ανάλυση και Εφαρμογές
Αριθμητική Ανάλυση και Εφαρμογές Διδάσκων: Δημήτριος Ι. Φωτιάδης Τμήμα Μηχανικών Επιστήμης Υλικών Ιωάννινα 07-08 Αριθμητική Ολοκλήρωση Εισαγωγή Έστω ότι η f είναι μία φραγμένη συνάρτηση στο πεπερασμένο
Διαβάστε περισσότεραΜάθηση και Γενίκευση. "Τεχνητά Νευρωνικά Δίκτυα" (Διαφάνειες), Α. Λύκας, Παν. Ιωαννίνων
Μάθηση και Γενίκευση Το Πολυεπίπεδο Perceptron (MultiLayer Perceptron (MLP)) Έστω σύνολο εκπαίδευσης D={(x n,t n )}, n=1,,n. x n =(x n1,, x nd ) T, t n =(t n1,, t np ) T Θα πρέπει το MLP να έχει d νευρώνες
Διαβάστε περισσότεραΕκπαίδευση ΤΝΔ με ελαχιστοποίηση του τετραγωνικού σφάλματος εκπαίδευσης. "Τεχνητά Νευρωνικά Δίκτυα" (Διαφάνειες), Α. Λύκας, Παν.
Εκπαίδευση ΤΝΔ με ελαχιστοποίηση του τετραγωνικού σφάλματος εκπαίδευσης Ελαχιστοποίηση συνάρτησης σφάλματος Εκπαίδευση ΤΝΔ: μπορεί να διατυπωθεί ως πρόβλημα ελαχιστοποίησης μιας συνάρτησης σφάλματος E(w)
Διαβάστε περισσότεραΕφαρμοσμένη Βελτιστοποίηση
Εφαρμοσμένη Βελτιστοποίηση Ενότητα 2: Συναρτήσεις Χώροι - Μεταβλητές Καθηγητής Αντώνιος Αλεξανδρίδης Πολυτεχνική Σχολή Τμήμα Ηλεκτρολόγων Μηχανικών και Τεχνολογίας Υπολογιστών Σημείωμα Αδειοδότησης Το
Διαβάστε περισσότεραΔυναμική Ηλεκτρικών Μηχανών
Δυναμική Ηλεκτρικών Μηχανών Ενότητα 1: Εισαγωγή Βασικές Αρχές Επ. Καθηγήτρια Τζόγια Χ. Καππάτου Τμήμα Ηλεκτρολόγων Μηχανικών και Τεχνολογίας Υπολογιστών Άδειες Χρήσης Το παρόν εκπαιδευτικό υλικό υπόκειται
Διαβάστε περισσότεραΦΑΙΝΟΜΕΝΑ ΜΕΤΑΦΟΡΑΣ ΙΙ ΜΕΤΑΦΟΡΑ ΘΕΡΜΟΤΗΤΑΣ ΚΑΙ ΜΑΖΑΣ
ΦΑΙΝΟΜΕΝΑ ΜΕΤΑΦΟΡΑΣ ΙΙ ΜΕΤΑΦΟΡΑ ΘΕΡΜΟΤΗΤΑΣ ΚΑΙ ΜΑΖΑΣ Διδάσκων: Παπασιώπη Νυμφοδώρα Αναπληρώτρια Καθηγήτρια Ε.Μ.Π. Ενότητα 5 η : Διδιάστατη και τριδιάστατη αγωγή θερμότητας Άδεια Χρήσης Το παρόν εκπαιδευτικό
Διαβάστε περισσότεραΣύστημα και Μαθηματικά μοντέλα συστημάτων
Σύστημα και Μαθηματικά μοντέλα συστημάτων Όταν μελετούμε έναν συγκεκριμένο μηχανισμό η μια φυσική διεργασία επικεντρώνουμε το ενδιαφέρον μας στα φυσικά μεγέθη του μηχανισμού τα οποία μας ενδιαφέρει να
Διαβάστε περισσότεραΜοντέλο Perceptron πολλών στρωμάτων Multi Layer Perceptron (MLP)
Μοντέλο Perceptron πολλών στρωμάτων Multi Layer Perceptron (MLP) x -0,5 a x x 2 0 0 0 0 - -0,5 y y 0 0 x 2 -,5 a 2 θ η τιμή κατωφλίου Μία λύση του προβλήματος XOR Multi Layer Perceptron (MLP) x -0,5 Μία
Διαβάστε περισσότεραΔΙΑΧΕΙΡΙΣΗ ΥΔΑΤΙΚΩΝ ΠΟΡΩΝ
ΑΡΙΣΤΟΤΕΛΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΟΝΙΚΗΣ ΑΝΟΙΧΤΑ ΑΚΑΔΗΜΑΙΚΑ ΜΑΘΗΜΑΤΑ ΔΙΑΧΕΙΡΙΣΗ ΥΔΑΤΙΚΩΝ ΠΟΡΩΝ Συνδυασμένη χρήση μοντέλων προσομοίωσης βελτιστοποίησης. Η μέθοδος του μητρώου μοναδιαίας απόκρισης Νικόλαος
Διαβάστε περισσότεραΕΥΦΥΗΣ ΕΛΕΓΧΟΣ. Ενότητα #8: Βελτιστοποίηση Συστημάτων Ασαφούς Λογικής. Αναστάσιος Ντούνης Τμήμα Μηχανικών Αυτοματισμού Τ.Ε.
ΕΛΛΗΝΙΚΗ ΔΗΜΟΚΡΑΤΙΑ Ανώτατο Εκπαιδευτικό Ίδρυμα Πειραιά Τεχνολογικού Τομέα ΕΥΦΥΗΣ ΕΛΕΓΧΟΣ Ενότητα #8: Βελτιστοποίηση Συστημάτων Ασαφούς Λογικής Αναστάσιος Ντούνης Τμήμα Μηχανικών Αυτοματισμού Τ.Ε. Άδειες
Διαβάστε περισσότεραΕισαγωγικές Έννοιες. ημήτρης Φωτάκης. Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών. Εθνικό Μετσόβιο Πολυτεχνείο
Εισαγωγικές Έννοιες ημήτρης Φωτάκης Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών Εθνικό Μετσόβιο Πολυτεχνείο Άδεια Χρήσης Το παρόν εκπαιδευτικό υλικό υπόκειται σε άδειες χρήσης Creative Commons.
Διαβάστε περισσότεραΕφαρμοσμένη Βελτιστοποίηση
Εφαρμοσμένη Βελτιστοποίηση Ενότητα 1: Το πρόβλημα της βελτιστοποίησης Καθηγητής Αντώνιος Αλεξανδρίδης Πολυτεχνική Σχολή Τμήμα Ηλεκτρολόγων Μηχανικών και Τεχνολογίας Υπολογιστών Σημείωμα Αδειοδότησης Το
Διαβάστε περισσότεραΤο Πολυεπίπεδο Perceptron. "Τεχνητά Νευρωνικά Δίκτυα" (Διαφάνειες), Α. Λύκας, Παν. Ιωαννίνων
Το Πολυ Perceptron Δίκτυα Πρόσθιας Τροφοδότησης (feedforward) Tο αντίστοιχο γράφημα του δικτύου δεν περιλαμβάνει κύκλους: δεν υπάρχει δηλαδή ανατροφοδότηση της εξόδου ενός νευρώνα προς τους νευρώνες από
Διαβάστε περισσότεραΒέλτιστος Έλεγχος Συστημάτων
Βέλτιστος Έλεγχος Συστημάτων Ενότητα 8: Το γραμμικό τετραγωνικό πρόβλημα ρύθμισης (LQ) για συστήματα διακριτού χρόνου Καθηγητής Αντώνιος Αλεξανδρίδης Πολυτεχνική Σχολή Τμήμα Ηλεκτρολόγων Μηχανικών και
Διαβάστε περισσότεραE [ -x ^2 z] = E[x z]
1 1.ΦΙΛΤΡΟ KALMAN ΔΙΑΚΡΙΤΟΥ ΧΡΟΝΟΥ Σε αυτήν την διάλεξη θα πάμε στο φίλτρο με περισσότερες λεπτομέρειες, και θα παράσχουμε μια νέα παραγωγή για το φίλτρο Kalman, αυτή τη φορά βασισμένο στην ιδέα της γραμμικής
Διαβάστε περισσότερα3 η ΕΝΟΤΗΤΑ ΜΗ ΓΡΑΜΜΙΚΟΣ ΠΡΟΓΡΑΜΜΑΤΙΣΜΟΣ ΒΕΛΤΙΣΤΟΠΟΙΗΣΗ ΕΝΟΣ ΚΡΙΤΗΡΙΟΥ
ΣΧΟΛΗ ΠΟΛΙΤΙΚΩΝ ΜΗΧΑΝΙΚΩΝ ΕΜΠ ΕΙΣΑΓΩΓΗ ΣΤΗN ΒΕΛΤΙΣΤΟΠΟΙΗΣΗ ΣΥΣΤΗΜΑΤΩΝ 3 η ΕΝΟΤΗΤΑ ΜΗ ΓΡΑΜΜΙΚΟΣ ΠΡΟΓΡΑΜΜΑΤΙΣΜΟΣ ΒΕΛΤΙΣΤΟΠΟΙΗΣΗ ΕΝΟΣ ΚΡΙΤΗΡΙΟΥ Μ. Καρλαύτης Ν. Λαγαρός Άδεια Χρήσης Το παρόν εκπαιδευτικό υλικό
Διαβάστε περισσότερα4.3. Γραµµικοί ταξινοµητές
Γραµµικοί ταξινοµητές Γραµµικός ταξινοµητής είναι ένα σύστηµα ταξινόµησης που χρησιµοποιεί γραµµικές διακριτικές συναρτήσεις Οι ταξινοµητές αυτοί αναπαρίστανται συχνά µε οµάδες κόµβων εντός των οποίων
Διαβάστε περισσότεραΥπολογιστική Νοημοσύνη. Μάθημα 4: Μάθηση στον απλό τεχνητό νευρώνα (2)
Υπολογιστική Νοημοσύνη Μάθημα 4: Μάθηση στον απλό τεχνητό νευρώνα (2) Ο κανόνας Δέλτα για συνεχείς συναρτήσεις ενεργοποίησης (1/2) Για συνεχείς συναρτήσεις ενεργοποίησης, θα θέλαμε να αλλάξουμε περισσότερο
Διαβάστε περισσότεραΓΡΑΜΜΙΚΟΣ & ΔΙΚΤΥΑΚΟΣ ΠΡΟΓΡΑΜΜΑΤΙΣΜΟΣ
ΓΡΑΜΜΙΚΟΣ & ΔΙΚΤΥΑΚΟΣ ΠΡΟΓΡΑΜΜΑΤΙΣΜΟΣ Ενότητα 5: Τεχνικές Κλιμάκωσης, Γεωμετρία Γραμμικού Προβλήματος Σαμαράς Νικόλαος Άδειες Χρήσης Το παρόν εκπαιδευτικό υλικό υπόκειται σε άδειες χρήσης Creative Commons.
Διαβάστε περισσότεραΈλεγχος Κίνησης
ΕΛΛΗΝΙΚΗ ΔΗΜΟΚΡΑΤΙΑ Ανώτατο Εκπαιδευτικό Ίδρυμα Πειραιά Τεχνολογικού Τομέα 1501 - Έλεγχος Κίνησης Ενότητα: Συστήματα Ελέγχου Κίνησης Μιχαήλ Παπουτσιδάκης Τμήμα Αυτοματισμού Άδειες Χρήσης Το παρόν εκπαιδευτικό
Διαβάστε περισσότεραΕφαρμοσμένη Βελτιστοποίηση
Εφαρμοσμένη Βελτιστοποίηση Ενότητα 3: Αναλυτικές μέθοδοι βελτιστοποίησης για συναρτήσεις μιας μεταβλητής Καθηγητής Αντώνιος Αλεξανδρίδης Πολυτεχνική Σχολή Τμήμα Ηλεκτρολόγων Μηχανικών και Τεχνολογίας Υπολογιστών
Διαβάστε περισσότεραΑριθμητική Ανάλυση & Εφαρμογές
Αριθμητική Ανάλυση & Εφαρμογές Διδάσκων: Δημήτριος Ι. Φωτιάδης Τμήμα Μηχανικών Επιστήμης Υλικών Ιωάννινα 2017-2018 Υπολογισμοί και Σφάλματα Παράσταση Πραγματικών Αριθμών Συστήματα Αριθμών Παράσταση Ακέραιου
Διαβάστε περισσότεραΠροηγμένος έλεγχος ηλεκτρικών μηχανών
Προηγμένος έλεγχος ηλεκτρικών μηχανών Ενότητα 3: Βαθμωτός Έλεγχος Ασύχρονων Μηχανών Επαμεινώνδας Μητρονίκας - Αντώνιος Αλεξανδρίδης Πολυτεχνική Σχολή Τμήμα Ηλεκτρολόγων Μηχανικών & Τεχνολογίας Υπολογιστών
Διαβάστε περισσότερα6. Στατιστικές μέθοδοι εκπαίδευσης
6. Στατιστικές μέθοδοι εκπαίδευσης Μία διαφορετική μέθοδος εκπαίδευσης των νευρωνικών δικτύων χρησιμοποιεί ιδέες από την Στατιστική Φυσική για να φέρει τελικά το ίδιο αποτέλεσμα όπως οι άλλες μέθοδοι,
Διαβάστε περισσότεραΤΕΧΝΟΛΟΓΙΑ ΛΟΓΙΣΜΙΚΟΥ Ι
ΤΕΧΝΟΛΟΓΙΑ ΛΟΓΙΣΜΙΚΟΥ Ι κ. ΠΕΤΑΛΙΔΗΣ ΤΜΗΜΑ ΜΗΧΑΝΙΚΩΝ ΠΛΗΡΟΦΟΡΙΚΗΣ ΤΕ 1 Άδειες Χρήσης Το παρόν εκπαιδευτικό υλικό υπόκειται σε άδειες χρήσης Creative Commons. Για εκπαιδευτικό υλικό, όπως εικόνες, που υπόκειται
Διαβάστε περισσότεραΚινητά Δίκτυα Επικοινωνιών. Συμπληρωματικό υλικό. Προσαρμοστική Ισοστάθμιση Καναλιού
Κινητά Δίκτυα Επικοινωνιών Συμπληρωματικό υλικό Προσαρμοστική Ισοστάθμιση Καναλιού Προσαρμοστικοί Ισοσταθμιστές Για να υπολογίσουμε τους συντελεστές του ισοσταθμιστή MMSE, απαιτείται να λύσουμε ένα γραμμικό
Διαβάστε περισσότεραΕΛΛΗΝΙΚΗ ΔΗΜΟΚΡΑΤΙΑ Ανώτατο Εκπαιδευτικό Ίδρυμα Πειραιά Τεχνολογικού Τομέα ΣΗΜΑΤΑ & ΣΥΣΤΗΜΑΤΑ. Ενότητα : ΤΑΧΥΣ ΜΕΤΑΣΧΗΜΑΤΙΣΜΟΣ FOURIER
ΕΛΛΗΝΙΚΗ ΔΗΜΟΚΡΑΤΙΑ Ανώτατο Εκπαιδευτικό Ίδρυμα Πειραιά Τεχνολογικού Τομέα ΣΗΜΑΤΑ & ΣΥΣΤΗΜΑΤΑ Ενότητα : ΤΑΧΥΣ ΜΕΤΑΣΧΗΜΑΤΙΣΜΟΣ FOURIER Aναστασία Βελώνη Τμήμα Η.Υ.Σ 1 Άδειες Χρήσης Το παρόν εκπαιδευτικό
Διαβάστε περισσότεραΒέλτιστος Έλεγχος Συστημάτων
Βέλτιστος Έλεγχος Συστημάτων Ενότητα 7: Βέλτιστος έλεγχος συστημάτων διακριτού χρόνου Καθηγητής Αντώνιος Αλεξανδρίδης Πολυτεχνική Σχολή Τμήμα Ηλεκτρολόγων Μηχανικών και Τεχνολογίας Υπολογιστών Σημείωμα
Διαβάστε περισσότεραΦυσική (Ε) Ανοικτά Ακαδημαϊκά Μαθήματα. Ενότητα 2: Θεωρία ταλαντώσεων (Συνοπτική περιγραφή) Αικατερίνη Σκουρολιάκου. Τμήμα Ενεργειακής Τεχνολογίας
Ανοικτά Ακαδημαϊκά Μαθήματα Τεχνολογικό Εκπαιδευτικό Ίδρυμα Αθήνας Φυσική (Ε) Ενότητα 2: Θεωρία ταλαντώσεων (Συνοπτική περιγραφή) Αικατερίνη Σκουρολιάκου Τμήμα Ενεργειακής Τεχνολογίας Το περιεχόμενο του
Διαβάστε περισσότεραΕισαγωγή στη Διαδικασία Ιεραρχικής Ανάλυσης. Ρόκου Έλενα Μεταδιδακτορική Ερευνήτρια ΕΜΠ Κηρυττόπουλος Κωνσταντίνος Επ.
Εισαγωγή στη Διαδικασία Ιεραρχικής Ανάλυσης Ρόκου Έλενα Μεταδιδακτορική Ερευνήτρια ΕΜΠ Κηρυττόπουλος Κωνσταντίνος Επ. Καθηγητής ΕΜΠ Άδεια Χρήσης Το παρόν εκπαιδευτικό υλικό υπόκειται σε άδειες χρήσης Creative
Διαβάστε περισσότεραΦίλτρα Kalman. Αναλυτικές μέθοδοι στη Γεωπληροφορική. ιατύπωση του βασικού προβλήματος. προβλήματος. μοντέλο. Πρωτεύων μοντέλο
Φίλτρα Kalman Εξαγωγή των εξισώσεων τους με βάση το κριτήριο ελαχιστοποίησης της Μεθόδου των Ελαχίστων Τετραγώνων. Αναλυτικές Μέθοδοι στη Γεωπληροφορική Μεταπτυχιακό Πρόγραμμα ΓΕΩΠΛΗΡΟΦΟΡΙΚΗ ιατύπωση του
Διαβάστε περισσότεραΆδειες Χρήσης Το παρόν εκπαιδευτικό υλικό υπόκειται σε άδειες χρήσης Creative Commons. Για εκπαιδευτικό υλικό, όπως εικόνες, που υπόκειται σε άλλου τύ
Θεωρία Υπολογισμού Ενότητα 24: Μη Ντεντερμινιστικές Μηχανές Turing Τμήμα Πληροφορικής Άδειες Χρήσης Το παρόν εκπαιδευτικό υλικό υπόκειται σε άδειες χρήσης Creative Commons. Για εκπαιδευτικό υλικό, όπως
Διαβάστε περισσότεραΠληροφοριακά Συστήματα & Περιβάλλον
ΑΡΙΣΤΟΤΕΛΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΟΝΙΚΗΣ ΑΝΟΙΧΤΑ ΑΚΑΔΗΜΑΙΚΑ ΜΑΘΗΜΑΤΑ Πληροφοριακά Συστήματα & Περιβάλλον Ενότητα 8: Τεχνητά Νευρωνικά Δίκτυα Παναγιώτης Λεφάκης Δασολογίας & Φυσικού Περιβάλλοντος Άδειες Χρήσης
Διαβάστε περισσότεραΥπολογιστικά & Διακριτά Μαθηματικά
Υπολογιστικά & Διακριτά Μαθηματικά Ενότητα 9: Εσωτερική πράξη και κλάσεις ισοδυναμίας - Δομές Ισομορφισμοί Στεφανίδης Γεώργιος Άδειες Χρήσης Το παρόν εκπαιδευτικό υλικό υπόκειται σε άδειες χρήσης Creative
Διαβάστε περισσότεραΜαθηματικά. Ενότητα 7: Μη Πεπερασμένα Όρια. Σαριαννίδης Νικόλαος Τμήμα Λογιστικής και Χρηματοοικονομικής
Μαθηματικά Ενότητα 7: Μη Πεπερασμένα Όρια Σαριαννίδης Νικόλαος Τμήμα Λογιστικής και Χρηματοοικονομικής Άδειες Χρήσης Το παρόν εκπαιδευτικό υλικό υπόκειται σε άδειες χρήσης Creative Commons. Για εκπαιδευτικό
Διαβάστε περισσότεραΕΙΣΑΓΩΓΗ ΣΤΗΝ ΑΝΑΛΥΣΗ ΑΛΓΟΡΙΘΜΩΝ
ΕΙΣΑΓΩΓΗ ΣΤΗΝ ΑΝΑΛΥΣΗ ΑΛΓΟΡΙΘΜΩΝ Ενότητα 3: Ασυμπτωτικός συμβολισμός Μαρία Σατρατζέμη Τμήμα Εφαρμοσμένης Πληροφορικής Άδειες Χρήσης Το παρόν εκπαιδευτικό υλικό υπόκειται σε άδειες χρήσης Creative Commons.
Διαβάστε περισσότεραΣτατιστική Επιχειρήσεων Ι
ΕΛΛΗΝΙΚΗ ΔΗΜΟΚΡΑΤΙΑ Τεχνολογικό Εκπαιδευτικό Ίδρυμα Πειραιά Στατιστική Επιχειρήσεων Ι Ενότητα 2: Τυχαίες Μεταβλητές Μιλτιάδης Χαλικιάς, Επίκουρος Καθηγητής Τμήμα Διοίκησης Επιχειρήσεων Άδειες Χρήσης Το
Διαβάστε περισσότεραΣΗΜΑΤΑ ΚΑΙ ΣΥΣΤΗΜΑΤΑ Ι
ΣΗΜΑΤΑ ΚΑΙ ΣΥΣΤΗΜΑΤΑ Ι Εισαγωγή Επιμέλεια: Πέτρος Π. Γρουμπός, Καθηγητής Γεώργιος Α. Βασκαντήρας, Υπ. Διδάκτορας Τμήμα Ηλεκτρολόγων Μηχανικών & Τεχνολογίας Υπολογιστών Άδειες Χρήσης Το παρόν εκπαιδευτικό
Διαβάστε περισσότεραΑριθμητική Ανάλυση. Ενότητα 1: Εισαγωγή Βασικές Έννοιες. Φραγκίσκος Κουτελιέρης Πολυτεχνική Σχολή Τμήμα Χημικών Μηχανικών
Ενότητα 1: Εισαγωγή Βασικές Έννοιες Φραγκίσκος Κουτελιέρης Πολυτεχνική Σχολή Τμήμα Χημικών Μηχανικών ΑΡΙΘΜΗΤΙΚΗ ΑΝΑΛΥΣΗ ΦΡΑΓΚΙΣΚΟΣ ΚΟΥΤΕΛΙΕΡΗΣ Εισαγωγή 2 Περιεχόμενα 1. Εισαγωγή 2. Αριθμητική παραγώγιση
Διαβάστε περισσότεραΦΙΛΤΡΟ KALMAN ΔΙΑΚΡΙΤΟΥ ΧΡΟΝΟΥ
1 ΦΙΛΤΡΟ KALMAN ΔΙΑΚΡΙΤΟΥ ΧΡΟΝΟΥ Σε αυτό το μέρος της πτυχιακής θα ασχοληθούμε λεπτομερώς με το φίλτρο kalman και θα δούμε μια καινούρια έκδοση του φίλτρου πάνω στην εφαρμογή της γραμμικής εκτίμησης διακριτού
Διαβάστε περισσότεραΜαθηματικά. Ενότητα 3: Εξισώσεις και Ανισώσεις 1 ου βαθμού. Σαριαννίδης Νικόλαος Τμήμα Λογιστικής και Χρηματοοικονομικής
Μαθηματικά Ενότητα 3: Εξισώσεις και Ανισώσεις 1 ου βαθμού Σαριαννίδης Νικόλαος Τμήμα Λογιστικής και Χρηματοοικονομικής Άδειες Χρήσης Το παρόν εκπαιδευτικό υλικό υπόκειται σε άδειες χρήσης Creative Commons.
Διαβάστε περισσότεραΣτοχαστικά Σήματα και Τηλεπικοινωνιές
Στοχαστικά Σήματα και Τηλεπικοινωνιές Ενότητα 7: Βέλτιστο Φίλτρο Wiener και Γραμμικά Περιορισμένο Φίλτρο Ελάχιστης Διασποράς Εφαρμογή στις Έξυπνες Κεραίες Καθηγητής Κώστας Μπερμπερίδης Πολυτεχνική Σχολή
Διαβάστε περισσότεραΒέλτιστος Έλεγχος Συστημάτων
Βέλτιστος Έλεγχος Συστημάτων Ενότητα 12: Αρχή ελαχίστου του Pontryagin Καθηγητής Αντώνιος Αλεξανδρίδης Πολυτεχνική Σχολή Τμήμα Ηλεκτρολόγων Μηχανικών και Τεχνολογίας Υπολογιστών Σημείωμα Αδειοδότησης Το
Διαβάστε περισσότεραΜΕΘΟΔΟΛΟΓΙΑ ΕΡΕΥΝΑΣ ΓΙΑ ΔΙΟΙΚΗΤΙΚΑ ΣΤΕΛΕΧΗ
ΕΛΛΗΝΙΚΗ ΔΗΜΟΚΡΑΤΙΑ Ανώτατο Εκπαιδευτικό Ίδρυμα Πειραιά Τεχνολογικού Τομέα ΜΕΘΟΔΟΛΟΓΙΑ ΕΡΕΥΝΑΣ ΓΙΑ ΔΙΟΙΚΗΤΙΚΑ ΣΤΕΛΕΧΗ Ενότητα # 7: Δειγματοληψία Μιλτιάδης Χαλικιάς Τμήμα Διοίκησης Επιχειρήσεων Άδειες Χρήσης
Διαβάστε περισσότεραΠΑΝΕΠΙΣΤΗΜΙΟ ΜΑΚΕ ΟΝΙΑΣ ΟΙΚΟΝΟΜΙΚΩΝ ΚΑΙ ΚΟΙΝΩΝΙΚΩΝ ΕΠΙΣΤΗΜΩΝ ΤΜΗΜΑ ΕΦΑΡΜΟΣΜΕΝΗΣ ΠΛΗΡΟΦΟΡΙΚΗΣ ΝΕΥΡΩΝΙΚΑ ΙΚΤΥΑ
ΘΕΜΑ ο 2.5 µονάδες ΠΑΝΕΠΙΣΤΗΜΙΟ ΜΑΚΕ ΟΝΙΑΣ ΟΙΚΟΝΟΜΙΚΩΝ ΚΑΙ ΚΟΙΝΩΝΙΚΩΝ ΕΠΙΣΤΗΜΩΝ ΤΜΗΜΑ ΕΑΡΜΟΣΜΕΝΗΣ ΠΛΗΡΟΟΡΙΚΗΣ ΝΕΥΡΩΝΙΚΑ ΙΚΤΥΑ Τελικές εξετάσεις 2 Οκτωβρίου 23 ιάρκεια: 2 ώρες Έστω το παρακάτω γραµµικώς
Διαβάστε περισσότεραΨηφιακή Επεξεργασία και Ανάλυση Εικόνας Ενότητα 2 η : Δισδιάστατα Σήματα & Συστήματα Μέρος 1
Ψηφιακή Επεξεργασία και Ανάλυση Εικόνας Ενότητα 2 η : Δισδιάστατα Σήματα & Συστήματα Μέρος 1 Καθ. Κωνσταντίνος Μπερμπερίδης Πολυτεχνική Σχολή Μηχανικών Η/Υ & Πληροφορικής Σκοποί ενότητας Δισδιάστατα σήματα
Διαβάστε περισσότεραΠΡΟΗΓΜΕΝΑ ΣΥΣΤΗΜΑΤΑ ΜΕΤΑΦΟΡΩΝ
ΠΡΟΗΓΜΕΝΑ ΣΥΣΤΗΜΑΤΑ ΜΕΤΑΦΟΡΩΝ Ενότητα 3: Συστήματα Αυτόματου Ελέγχου Διδάσκων: Γεώργιος Στεφανίδης Πολυτεχνική Σχολή Τμήμα Πολιτικών Μηχανικών Σκοποί ενότητας Στην ενότητα αυτή θα ασχοληθούμε με τα Συστήματα
Διαβάστε περισσότεραΠαρουσίαση 2 η : Αρχές εκτίμησης παραμέτρων Μέρος 1 ο
Εφαρμογές Ανάλυσης Σήματος στη Γεωδαισία Παρουσίαση η : Αρχές εκτίμησης παραμέτρων Μέρος ο Βασίλειος Δ. Ανδριτσάνος Αναπληρωτής Καθηγητής Γεώργιος Χλούπης Επίκουρος Καθηγητής Τμήμα Μηχανικών Τοπογραφίας
Διαβάστε περισσότεραΜΑΘΗΜΑΤΙΚΑ ΓΙΑ ΟΙΚΟΝΟΜΟΛΟΓΟΥΣ
ΕΛΛΗΝΙΚΗ ΔΗΜΟΚΡΑΤΙΑ Ανώτατο Εκπαιδευτικό Ίδρυμα Πειραιά Τεχνολογικού Τομέα ΜΑΘΗΜΑΤΙΚΑ ΓΙΑ ΟΙΚΟΝΟΜΟΛΟΓΟΥΣ Ενότητα #7: Μονοτονία- Ακρότατα-Αντιγραφή Εβελίνα Κοσσιέρη Τμήμα Λογιστικής και Χρηματοοικονομικής
Διαβάστε περισσότεραΟικονομετρία. Πολυσυγγραμμικότητα. Τμήμα: Αγροτικής Οικονομίας & Ανάπτυξης. Διδάσκων: Λαζαρίδης Παναγιώτης
Οικονομετρία Πολυσυγγραμμικότητα Τμήμα: Αγροτικής Οικονομίας & Ανάπτυξης Διδάσκων: Λαζαρίδης Παναγιώτης Μαθησιακοί Στόχοι Γνώση και κατανόηση της έννοιας της πολυσυγγραμμικότητας και των συνεπειών της
Διαβάστε περισσότεραΣυστήματα Αυτόματου Ελέγχου
ΕΛΛΗΝΙΚΗ ΔΗΜΟΚΡΑΤΙΑ Ανώτατο Εκπαιδευτικό Ίδρυμα Πειραιά Τεχνολογικού Τομέα Συστήματα Αυτόματου Ελέγχου Ενότητα : Χαρακτηριστικά των Συστημάτων Ελέγχου Aναστασία Βελώνη Τμήμα Η.Υ.Σ Άδειες Χρήσης Το παρόν
Διαβάστε περισσότεραΓΡΑΜΜΙΚΟΣ & ΔΙΚΤΥΑΚΟΣ ΠΡΟΓΡΑΜΜΑΤΙΣΜΟΣ
ΓΡΑΜΜΙΚΟΣ & ΔΙΚΤΥΑΚΟΣ ΠΡΟΓΡΑΜΜΑΤΙΣΜΟΣ Ενότητα 19: Επίλυση Γενικών Γραμμικών Προβλημάτων Σαμαράς Νικόλαος Άδειες Χρήσης Το παρόν εκπαιδευτικό υλικό υπόκειται σε άδειες χρήσης Creative Commons. Για εκπαιδευτικό
Διαβάστε περισσότεραΣέργιος Θεοδωρίδης Κωνσταντίνος Κουτρούμπας. Version 2
Σέργιος Θεοδωρίδης Κωνσταντίνος Κουτρούμπας Verson ΧΑΡΤΟΓΡΑΦΗΣΗ ΤΟΥ ΧΩΡΟΥ ΤΩΝ ΤΑΞΙΝΟΜΗΤΩΝ Ταξινομητές Ταξινομητές συναρτ. διάκρισης Ταξινομητές επιφανειών απόφ. Παραμετρικοί ταξινομητές Μη παραμετρικοί
Διαβάστε περισσότεραΥπολογιστικά & Διακριτά Μαθηματικά
Υπολογιστικά & Διακριτά Μαθηματικά Ενότητα 3: Σύνολα Συνδυαστική Στεφανίδης Γεώργιος Άδειες Χρήσης Το παρόν εκπαιδευτικό υλικό υπόκειται σε άδειες χρήσης Creative Commons. Για εκπαιδευτικό υλικό, όπως
Διαβάστε περισσότεραΜαθηματική Εισαγωγή Συναρτήσεις
Φυσικός Ραδιοηλεκτρολόγος (MSc) ο Γενικό Λύκειο Καστοριάς A. Μαθηματική Εισαγωγή Πράξεις με αριθμούς σε εκθετική μορφή Επίλυση βασικών μορφών εξισώσεων Συναρτήσεις Στοιχεία τριγωνομετρίας Διανύσματα Καστοριά,
Διαβάστε περισσότεραΤίτλος Μαθήματος: ΕΙΣΑΓΩΓΗ ΣΤΗΝ ΑΝΑΛΥΣΗ ΑΛΓΟΡΙΘΜΩΝ
Τίτλος Μαθήματος: ΕΙΣΑΓΩΓΗ ΣΤΗΝ ΑΝΑΛΥΣΗ ΑΛΓΟΡΙΘΜΩΝ Ενότητα 5: Ασκήσεις Μαρία Σατρατζέμη Τμήμα Εφαρμοσμένης Πληροφορικής Άδειες Χρήσης Το παρόν εκπαιδευτικό υλικό υπόκειται σε άδειες χρήσης Creative Commons.
Διαβάστε περισσότεραΓραμμική Άλγεβρα και Μαθηματικός Λογισμός για Οικονομικά και Επιχειρησιακά Προβλήματα
Γραμμική Άλγεβρα και Μαθηματικός Λογισμός για Οικονομικά και Επιχειρησιακά Προβλήματα Ενότητα: Διανυσματικοί Χώροι και Υπόχωροι: Βάσεις και Διάσταση Ανδριανός Ε Τσεκρέκος Τμήμα Λογιστικής & Χρηματοοικονομικής
Διαβάστε περισσότεραΠροηγμένος έλεγχος ηλεκτρικών μηχανών
Προηγμένος έλεγχος ηλεκτρικών μηχανών Ενότητα 9: Άμεσος Διανυσματικός Έλεγχος Ασύγχρονων Μηχανών με προσανατολισμό στην μαγνητική ροή του δρομέα Επαμεινώνδας Μητρονίκας - Αντώνιος Αλεξανδρίδης Πολυτεχνική
Διαβάστε περισσότεραΕπαναληπτικές μέθοδοι
Επαναληπτικές μέθοδοι Η μέθοδος της διχοτόμησης και η μέθοδος Regula Fals που αναφέραμε αξιοποιούσαν το κριτήριο του Bolzano, πραγματοποιώντας διαδοχικές υποδιαιρέσεις του διαστήματος [α, b] στο οποίο,
Διαβάστε περισσότεραΤεχνητά Νευρωνικά Δίκτυα. Τσιριγώτης Γεώργιος Τμήμα Μηχανικών Πληροφορικής ΤΕΙ Ανατολικής Μακεδονίας & Θράκης
Τεχνητά Τσιριγώτης Γεώργιος Τμήμα Μηχανικών Πληροφορικής ΤΕΙ Ανατολικής Μακεδονίας & Θράκης Ο Βιολογικός Νευρώνας Δενδρίτες Συνάψεις Πυρήνας (Σώμα) Άξονας 2 Ο Βιολογικός Νευρώνας 3 Βασικά Χαρακτηριστικά
Διαβάστε περισσότεραΠροσαρµοστικοί Αλγόριθµοι Υλοποίησης Βέλτιστων Ψηφιακών Φίλτρων: Ο αναδροµικός αλγόριθµος ελάχιστων τετραγώνων (RLS Recursive Least Squares)
ΒΕΣ 6 Προσαρµοστικά Συστήµατα στις Τηλεπικοινωνίες Προσαρµοστικοί Αλγόριθµοι Υλοποίησης Βέλτιστων Ψηφιακών Φίλτρων: Ο αναδροµικός αλγόριθµος ελάχιστων τετραγώνων RLS Rcrsiv Last Sqars 27 iclas sapatslis
Διαβάστε περισσότεραΑριθμητική Ανάλυση και Εφαρμογές
Αριθμητική Ανάλυση και Εφαρμογές Διδάσκων: Δημήτριος Ι. Φωτιάδης Τμήμα Μηχανικών Επιστήμης Υλικών Ιωάννινα 07-08 Πεπερασμένες και Διαιρεμένες Διαφορές Εισαγωγή Θα εισάγουμε την έννοια των διαφορών με ένα
Διαβάστε περισσότεραΆδειες Χρήσης Το παρόν εκπαιδευτικό υλικό υπόκειται σε άδειες χρήσης Creative Commons. Για εκπαιδευτικό υλικό, όπως εικόνες, που υπόκειται σε άλλου τύ
Θεωρία Υπολογισμού Ενότητα 8: Πεπερασμένα Αυτόματα Τμήμα Πληροφορικής Άδειες Χρήσης Το παρόν εκπαιδευτικό υλικό υπόκειται σε άδειες χρήσης Creative Commons. Για εκπαιδευτικό υλικό, όπως εικόνες, που υπόκειται
Διαβάστε περισσότεραΑΝΤΑΓΩΝΙΣΤΙΚΗ ΜΑΘΗΣΗ ΔΙΚΤΥA LVQ και SOM. "Τεχνητά Νευρωνικά Δίκτυα" (Διαφάνειες), Α. Λύκας, Παν. Ιωαννίνων
ΑΝΤΑΓΩΝΙΣΤΙΚΗ ΜΑΘΗΣΗ ΔΙΚΤΥA LVQ και SOM Μάθηση χωρίς επίβλεψη (unsupervised learning) Σύνολο εκπαίδευσης D={(x n )}, n=1,,n. x n =(x n1,, x nd ) T, δεν υπάρχουν τιμές-στόχοι t n. Προβλήματα μάθησης χωρίς
Διαβάστε περισσότεραΥπολογιστικά & Διακριτά Μαθηματικά
Υπολογιστικά & Διακριτά Μαθηματικά Ενότητα 11: Αριθμητική υπολοίπων-δυνάμεις Στεφανίδης Γεώργιος Άδειες Χρήσης Το παρόν εκπαιδευτικό υλικό υπόκειται σε άδειες χρήσης Creative Commons. Για εκπαιδευτικό
Διαβάστε περισσότεραΥπολογιστικά & Διακριτά Μαθηματικά
Υπολογιστικά & Διακριτά Μαθηματικά Ενότητα 7: Ανεξάρτητα ενδεχόμενα Στεφανίδης Γεώργιος Άδειες Χρήσης Το παρόν εκπαιδευτικό υλικό υπόκειται σε άδειες χρήσης Creative Commons. Για εκπαιδευτικό υλικό, όπως
Διαβάστε περισσότεραΦΥΣΙΚΗ. Ενότητα 2: ΔΙΑΝΥΣΜΑΤΑ ΚΑΙ ΣΥΣΤΗΜΑΤΑ ΣΥΝΤΕΤΑΓΜΕΝΩΝ. Αν. Καθηγητής Πουλάκης Νικόλαος ΤΜΗΜΑ ΗΛΕΚΤΡΟΛΟΓΩΝ ΜΗΧΑΝΙΚΩΝ Τ.Ε.
ΦΥΣΙΚΗ Ενότητα 2: ΔΙΑΝΥΣΜΑΤΑ ΚΑΙ ΣΥΣΤΗΜΑΤΑ ΣΥΝΤΕΤΑΓΜΕΝΩΝ Αν. Καθηγητής Πουλάκης Νικόλαος ΤΜΗΜΑ ΗΛΕΚΤΡΟΛΟΓΩΝ ΜΗΧΑΝΙΚΩΝ Τ.Ε. Άδειες Χρήσης Το παρόν εκπαιδευτικό υλικό υπόκειται σε άδειες χρήσης Creative
Διαβάστε περισσότεραΒασίλειος Μαχαιράς Πολιτικός Μηχανικός Ph.D.
Βασίλειος Μαχαιράς Πολιτικός Μηχανικός Ph.D. Μη γραμμικός προγραμματισμός: βελτιστοποίηση χωρίς περιορισμούς Πανεπιστήμιο Θεσσαλίας Σχολή Θετικών Επιστημών ΤμήμαΠληροφορικής Διάλεξη 7-8 η /2017 Τι παρουσιάστηκε
Διαβάστε περισσότεραΠροηγμένος έλεγχος ηλεκτρικών μηχανών
Προηγμένος έλεγχος ηλεκτρικών μηχανών Ενότητα 5: Εκτίμηση συνιστωσών μαγνητικής ροής με χρήση του μοντέλου τάσης Επαμεινώνδας Μητρονίκας - Αντώνιος Αλεξανδρίδης Πολυτεχνική Σχολή Τμήμα Ηλεκτρολόγων Μηχανικών
Διαβάστε περισσότεραΜαθηματικά. Ενότητα 6: Ασκήσεις Ορίων Συνάρτησης. Σαριαννίδης Νικόλαος Τμήμα Λογιστικής και Χρηματοοικονομικής
Μαθηματικά Ενότητα 6: Ασκήσεις Ορίων Συνάρτησης Σαριαννίδης Νικόλαος Τμήμα Λογιστικής και Χρηματοοικονομικής Άδειες Χρήσης Το παρόν εκπαιδευτικό υλικό υπόκειται σε άδειες χρήσης Creative Commons. Για εκπαιδευτικό
Διαβάστε περισσότεραΤΟΠΟΓΡΑΦΙΚΑ ΔΙΚΤΥΑ ΚΑΙ ΥΠΟΛΟΓΙΣΜΟΙ ΑΝΑΣΚΟΠΗΣΗ ΘΕΩΡΙΑΣ ΣΥΝΟΡΘΩΣΕΩΝ
ΤΟΠΟΓΡΑΦΙΚΑ ΔΙΚΤΥΑ ΚΑΙ ΥΠΟΛΟΓΙΣΜΟΙ ΑΝΑΣΚΟΠΗΣΗ ΘΕΩΡΙΑΣ ΣΥΝΟΡΘΩΣΕΩΝ Βασίλης Δ. Ανδριτσάνος Δρ. Αγρονόμος - Τοπογράφος Μηχανικός ΑΠΘ Επίκουρος Καθηγητής ΤΕΙ Αθήνας 3ο εξάμηνο http://eclass.teiath.gr Παρουσιάσεις,
Διαβάστε περισσότεραΒιομηχανικοί Ελεγκτές
ΕΛΛΗΝΙΚΗ ΔΗΜΟΚΡΑΤΙΑ Ανώτατο Εκπαιδευτικό Ίδρυμα Πειραιά Τ.Τ Βιομηχανικοί Ελεγκτές Ενότητα #9: Αναλογικά Συστήματα Ελέγχου Κωνσταντίνος Αλαφοδήμος Τμήματος Μηχανικών Αυτοματισμού Τ.Ε. Άδειες Χρήσης Το παρόν
Διαβάστε περισσότεραΥπολογιστικά & Διακριτά Μαθηματικά
Υπολογιστικά & Διακριτά Μαθηματικά Ενότητα 10: Αριθμητική υπολοίπων - Κυκλικές ομάδες: Διαιρετότητα - Ευκλείδειος αλγόριθμος - Κατάλοιπα Στεφανίδης Γεώργιος Άδειες Χρήσης Το παρόν εκπαιδευτικό υλικό υπόκειται
Διαβάστε περισσότεραΕθνικό Μετσόβιο Πολυτεχνείο Σχολή Ηλεκτρολόγων Μηχανικών - Μηχανικών Υπολογιστών. ΑΡΧΙΤΕΚΤΟΝΙΚΗ ΥΠΟΛΟΓΙΣΤΩΝ Νεκτάριος Κοζύρης ΑΡΙΘΜΗΤΙΚΕΣ ΠΡΑΞΕΙΣ
Εθνικό Μετσόβιο Πολυτεχνείο Σχολή Ηλεκτρολόγων Μηχανικών - Μηχανικών Υπολογιστών ΑΡΧΙΤΕΚΤΟΝΙΚΗ ΥΠΟΛΟΓΙΣΤΩΝ Νεκτάριος Κοζύρης ΑΡΙΘΜΗΤΙΚΕΣ ΠΡΑΞΕΙΣ Άδεια Χρήσης Το παρόν εκπαιδευτικό υλικό υπόκειται σε άδειες
Διαβάστε περισσότεραΕπιχειρησιακή Έρευνα
Επιχειρησιακή Έρευνα Ενότητα 7: Επίλυση με τη μέθοδο Simplex (1 ο μέρος) Μπεληγιάννης Γρηγόριος Σχολή Οργάνωσης και Διοίκησης Επιχειρήσεων Τμήμα Διοίκησης Επιχειρήσεων Αγροτικών Προϊόντων & Τροφίμων (Δ.Ε.Α.Π.Τ.)
Διαβάστε περισσότερα