Η Εκπαίδευση Τεχνητών Νευρωνικών ικτύων µε Επίβλεψη ως Πρόβληµα Ελαχιστοποίησης

Μέγεθος: px
Εμφάνιση ξεκινά από τη σελίδα:

Download "Η Εκπαίδευση Τεχνητών Νευρωνικών ικτύων µε Επίβλεψη ως Πρόβληµα Ελαχιστοποίησης"

Transcript

1 Η Εκπαίδευση Τεχνητών Νευρωνικών ικτύων µε Επίβλεψη ως Πρόβληµα Ελαχιστοποίησης Μ.Ν. Βραχάτης 1, Γ.. Μαγουλάς 2, Β.Π. Πλαγιανάκος 1 1 Τµήµα Μαθηµατικών, Πανεπιστήµιο Πατρών, , Πάτρα. 2 Department of Information Systems and Computing, Brunel University, UB8 3PH, U.K. 1. Εισαγωγή Ο όρος Τεχνητό Νευρωνικό ίκτυο (ΤΝ ), αναφέρεται σε µια αρχιτεκτονική που εκτελεί αριθµητικούς υπολογισµούς χρησιµοποιώντας δοµή µαζικού παραλληλισµού (massively parallel structure) ή παράλληλης κατανεµηµένης επεξεργασίας (parallel distributed processing). Τα ΤΝ απαρτίζονται από τεχνητούς νευρώνες που αλληλεπιδρούν µέσω συνδέσµων που ονοµάζονται συντελεστές βάρους ή απλά βάρη. Θετικά ή αρνητικά βάρη αντιστοιχούν σε συνάψεις που µεταδίδουν ή αναστέλλουν ερεθίσµατα από άλλους νευρώνες. Η µάθηση στά ΤΝ αποτελεί ένα µέσο δυναµικής αναπαράστασης κωδικοποιηµένης πληροφορίας στους νευρώνες ενός ΤΝ. Η προσέγγιση ότι η εκπαίδευση ΤΝ µε επίβλεψη αντιστοιχεί στην ελαχιστοποίηση της συνάρτησης σφάλµατος οδηγεί στην ανάπτυξη αλγορίθµων µάθησης που βασίζονται στην αριθµητική ελαχιστοποίηση χωρίς περιορισµούς, και ιδιαίτερα σε τεχνικές που χρησιµοποιούν πληροφορία σχετική µε τη συνάρτηση σφάλµατος, όπως η µέθοδος συζυγών κλίσεων και η µέθοδος του Neton (Luenberger 1969, Ortega & Rheinboldt 1970, Pola 1997). Οι δύο αυτές µέθοδοι χρησιµοποιούν, µολονότι µε διαφορετικό τρόπο, το διάνυσµα των µερικών παραγώγων πρώτης τάξης και την Εσσιανή (δεύτερης τάξης µερικές παράγωγοι) της συνάρτησης σφάλµατος. Στην εργασία του Battiti (1992) παρουσιάζεται µια επισκόπιση τεχνικών ελαχιστοποίησης µε χρήση παραγώγων πρώτης και δεύτερης τάξης, η οποίες εφαρµόζονται στην εκπαίδευση των ΤΝ µε επίβλεψη. Περιγραφή σε ψευδοκώδικα των µεθόδων που καταγράφονται παρακάτω υπάρχει στις εργασίες των Beigi et al. (1993), Møller (1993) και van der Smagt (1994), καθώς και στα βιβλία των Kung (1993) και Hayin (1994). Η µέθοδος µέγιστης κλίσης (steepest descent) και οι τροποποιήσεις της. Η µέθοδος αυτή χαρακτηρίζεται από πολύ καλή απόδοση όταν οι αρχικές τιµές του διανύσµατος βαρών είναι µακριά από το ελάχιστο, κάτι που ισχύει στις περισσότερες περιπτώσεις εκπαίδευσης ΤΝ. Ωστόσο, η σύγκλισή της στην περιοχή του ελαχίστου χαρακτηρίζεται από εξαιρετική βραδύτητα. Σηµαντικοί περιορισµοί για τη χρήσης της µεθόδου στα ΤΝ είναι η αδυναµία της για εγγύηση σύγκλισης στο ολικό ελάχιστο καθώς και η χρήση σταθερού µήκους βήµατος που πολλές φορές εµποδίζει τη σύγκλιση ακόµα και σε ένα τοπικό ελάχιστο. Επιπλέον, η µέθοδος δεν εγγυάται τη µείωση της συνάρτησης σφάλµατος σε κάθε επανάληψη του αλγορίθµου µάθησης. Για πρόσφατες τροποποιήσεις, βελτιώσεις και εφαρµογές αυτής της µεθόδου στα νευρωνικά δίκτυα, βλέπε Magoulas et al. (1997b), Magoulas et al. (1999), Magoulas et al. (2000a), Magoulas et al. (2000b), Magoulas &

2 Vrahatis (2000), Plagianaos et al. (1999a), Plagianaos et al. (1999b), Vrahatis et al. (2000a) και Vrahatis et al. (2000b). Η µέθοδος συζυγών κλίσεων (conjugate gradient) και οι επεκτάσεις της. Η εκπαίδευση των ΤΝ σε πολλές εφαρµογές απαιτεί την προσαρµογή αρκετών εκατοντάδων ή ακόµα χιλιάδων βαρών. Οι µέθοδοι συζυγών κλίσεων µπορούν να αντιµετωπίσουν προβλήµατα µεγάλης κλίµακας και να τεθούν σε εφαρµογή σε υπολογιστές πολλαπλών επεξεργαστών. Αρκετοί αλγόριθµοι µάθησης βασιζόµενοι σε αυτές τις µεθόδους έχουν παρουσιαστεί (Battiti 1989, Kramer & Sangiovanni-Vincentelli 1989, Møller 1990) και τα αποτελέσµατα δείχνουν αυξηµένη ταχύτητα µάθησης σε σχέση µε τις µεθόδους µέγιστης κλίσης. Ωστόσο, χρησιµοποιούν ευθύγραµµη ανίχνευση (line search) για τον καθορισµό του κατάλληλου µήκους βήµατος αυξάνοντας την υπολογιστική πολυπλοκότητα της διεργασίας µάθησης µε αρκετούς υπολογισµούς της συνάρτησης του ολικού τετραγωνικού σφάλµατος µάθησης ή των παραγώγων της ενώ η απόδοσή τους εξαρτάται από την ακρίβεια της ευθύγραµµης ανίχνευσης (Johansson et al. 1990). Χαρακτηριστικό των µεθόδων είναι ότι δεν ακολουθούν πάντα κατευθύνσεις µείωσης (descent directions) του σφάλµατος µε αποτέλεσµα να εµφανίζεται αριθµητική αστάθεια. Επιπλέον αποτυγχάνουν όταν τα αρχικά βάρη είναι µακριά από το επιθυµητό ελάχιστο (συνηθισµένο φαινόµενο στα ΤΝ ) εξαιτίας του ότι η Εσσιανή δεν είναι θετικά ορισµένη σε διάφορες περιοχές του χώρου των βαρών. Η µέθοδος του Neton. Η µέθοδος Neton θεωρείται ως η βασικότερη µέθοδος εύρεσης τοπικού ελαχίστου µε χρήση παραγώγων δεύτερης τάξης, όταν οι αρχικές τιµές του διανύσµατος παραµέτρων είναι κοντά στο ελάχιστο. Η χρήση της στα ΤΝ περιορίζεται από το γεγονός ότι απαιτεί γνώση της Εσσιανής, αναλυτικός υπολογισµός της οποίας είναι πολύπλοκος και κοπιώδης για ΤΝ µε περισσότερα από εκατό βάρη. Ακόµα και στην περίπτωση που η Εσσιανή είναι διαθέσιµη, η αντιστροφή της παραµένει µια χρονοβόρα διαδικασία που τις περισσότερες φορές επιβαρύνει τη διαδικασία εκπαίδευσης πιο πολύ από µερικές ακόµα επαναλήψεις µιας απλούστερης µεθόδου. Επιπλέον µειονεκτήµατα αποτελούν η πολυπλοκότητά της ανά επανάληψη και η υπόθεση της θετικά ορισµένης Εσσιανής, διότι στα ΤΝ η Εσσιανή µπορεί να είναι αρνητικά ορισµένη, να έχει µηδενική ορίζουσα (singular) ή ακόµα να έχει µεγάλο συντελεστή αστάθειας (ill-conditioned). Η µέθοδος µεταβλητής µετρικής Broyden-Fletcher-Goldfarb-Shanno (BFGS). Η µέθοδος αυτή έχει καλές ιδιότητες σύγκλισης τόσο θεωρητικά όσο και πρακτικά. Υπολογίζει µια προσέγγιση της Εσσιανής µειώνοντας έτσι την πολυπλοκότητα σε σχέση µε την µέθοδο Neton. Επιπλέον η Εσσιανή της ορίζεται θεωρητικά ως συµµετρική και θετικά ορισµένη κάτι που εγγυάται την αριθµητική ευστάθεια του αλγορίθµου. Ο Watrous (1987) εφάρµοσε για πρώτη φορά αυτή τη µέθοδο στην εκπαίδευση των ΤΝ. Πέτυχε να επιταχύνει τη διαδικασία εκπαίδευσης σε σχέση µε τις µεθόδους µέγιστης κλίσης και συζυγών κλίσεων, ωστόσο η υπολογιστική πολυπλοκότητα της BFGS είναι σηµαντικά υψηλότερη της µεθόδου µέγιστης κλίσης αφού εκτελεί ευθύγραµµη ανίχνευση όπως η µέθοδος συζυγών κλίσεων, ενώ οι υπολογισµοί που εκτελούνται (υπολογισµός της κατεύθυνσης, αντιστροφή Εσσιανής, υπολογισµός λύσης) είναι ανάλογοι του τετραγώνου των βαρών. Πέρα από τα υπολογιστικά προβλήµατα, σηµαντικό µειονέκτηµα της µεθόδου στα ΤΝ είναι ότι ο απαιτούµενος χώρος µνήµης για την αποθήκευση της Εσσιανής εξαρτάται από το τετράγωνο του αριθµού των βαρών του δικτύου κάτι που καθιστά την εφαρµογή της προβληµατική για ΤΝ µε µερικές εκατοντάδες βάρη. Επίσης στην πράξη είναι δύσκολο να αντιστραφεί η Εσσιανή µια και ο χρόνος που απαιτείται είναι, στις περισσότερες περιπτώσεις, µεγαλύτερος από αυτόν που χρειάζεται για µερικές ακόµα επαναλήψεις της µεθόδου µέγιστης κλίσης. Παρόµοια

3 συµπεράσµατα παρουσιάστηκαν και σε άλλες εργασίες (Battiti & Masulli 1990, van der Smagt 1994). Παρόλα αυτά η µέθοδος παραµένει ανταγωνιστική όταν ο αριθµός των προτύπων προς µάθηση είναι πολύ µεγάλος. Τότε, ο υπολογισµός της συνάρτησης σφάλµατος είναι κοπιώδης και η ταχύτητα µείωσης του σφάλµατος µάθησης παίζει το σπουδαιότερο ρόλο. Η µέθοδος BFGS µε περιορισµένη µνήµη για προβλήµατα µεγάλης κλίµακας. Αν και το πρόβληµα της διαθέσιµης µνήµης αποθήκευσης δεν είναι πλέον τόσο σηµαντικό όσο πριν µια δεκαετία, η µέθοδος αυτή, που οµοιάζει της µεθόδου BFGS, αποφεύγει την αποθήκευση των πινάκων και έτσι είναι πιο εύχρηστη σε προβλήµατα µεγάλης κλίµακας (Liu & Nocedal 1989, Kung 1993). Ο Battiti (1990, 1992) στηριζόµενος σε αυτή τη µέθοδο και αναγνωρίζοντας ότι το υπολογιστικό κόστος παραµένει εξαιρετικά υψηλό για δίκτυα µε περισσότερα από εκατό βάρη πρότεινε µια τροποποίησή της µε πολυπλοκότητα ανάλογη του αριθµού των βαρών. Η µέθοδος αυτή µπορεί να χρησιµοποιηθεί µόνο για µάθηση ανά οµάδα προτύπων, κάτι που αποτελεί περιοριστικό παράγοντα για τη χρήση της, ενώ η ταχύτητα εκπαίδευσης βελτιώνεται σε σχέση µε τη µέθοδο µέγιστης κλίσης µόνο στην περίπτωση που απαιτείται υψηλή ακρίβεια στην εύρεση της λύσης. Στην πράξη ωστόσο, η ακριβής εύρεση του ελαχίστου αντιστοιχεί σε αποµνηµόνευση του συνόλου των προτύπων και σε πολλές εφαρµογές περιορίζει την ικανότητα γενίκευσης του ΤΝ. 2. Μάθηση µε επαναληπτική προσαρµογή των βαρών Η εκπαίδευση µε επίβλεψη µπορεί να ταυτιστεί µε το πρόβληµα της ελαχιστοποίησης της συνάρτησης σφάλµατος του ΤΝ, η οποία θα συµβολίζεται παρακάτω µε E, θεωρείται συνεχής * και παραγωγίσιµη και εξαρτάται από q βάρη. Το ζητούµενο είναι η εύρεση ενός τέτοιο ώστε: * = min E ( ). Στη συνέχεια θα ασχοληθούµε µε αλγόριθµους µάθησης που προσαρµόζουν τα βάρη µε την επαναληπτική σχέση: + 1 = + α d, (1) όπου d είναι η κατεύθυνση ανίχνευσης (search direction) και α είναι το µήκος του βήµατος, το οποίο λαµβάνεται µέσω µονοδιάστατης ανίχνευσης και καθορίζει το ρυθµό µάθησης. Η κατεύθυνση ανίχνευσης στην περίπτωση των µεθόδων συζυγών κλίσεων έχει την παρακάτω µορφή: d = E( ) + β d 1 όπου το βαθµωτό β επιλέγεται έτσι ώστε να προκύπτει η γραµµική µέθοδος συζυγών κλίσεων όταν η συνάρτηση είναι τετραγωνική και η ευθύγραµµη ανίχνευση ακριβής. Μια άλλη κατηγορία µεθόδων ακολουθεί την κατεύθυνση ανίχνευσης που ορίζεται ως εξής: 1 d = B E( ), (2) όπου B είναι ένας συµµετρικός πίνακας µη ιδιάζων (nonsingular), δηλαδή έχει µη µηδενική ορίζουσα. Ειδικές περιπτώσεις δίνονται από τις σχέσεις: B = I (για τη µέθοδο µέγιστης κλίσης) Β κ 2 = E( ) (για τη µέθοδο Neton)

4 Οι µέθοδοι µεταβλητής µετρικής είναι επίσης της µορφής (2), αλλά στην περίπτωση αυτή ο πίνακας B δεν είναι µόνο συνάρτηση του, αλλά εξαρτάται και από τα B -1 και -1. Σηµαντικό για όλους τους αλγόριθµους µάθησης είναι η κατεύθυνση ανίχνευσης d να είναι κατεύθυνση µείωσης της συνάρτησης σφάλµατος, δηλαδή: T d E( ) < 0 ώστε η τιµή της συνάρτησης σφάλµατος να µειώνεται ακολουθώντας ένα µικρό βήµα κατά µήκος της d. Η κατεύθυνση της µεθόδου µέγιστης κλίσης θεωρείται τοπικά ως η κατεύθυνση της ταχύτερης µείωσης, ενώ για µεθόδους που οµοιάζουν της µεθόδου Neton (2) η d είναι κατεύθυνση µείωσης της συνάρτησης όταν ο πίνακας B είναι θετικά ορισµένος. Στην περίπτωση των αλγόριθµων µάθησης που βασίζονται στη µέθοδο συζυγών κλίσεων απαιτείται προσεκτική επιλογή της στρατηγικής ευθύγραµµης ανίχνευσης που θα χρησιµοποιηθεί ώστε να επιτύχουµε κατεύθυνση µείωσης. Η απαίτηση αυτή σχετικά µε την κατεύθυνση ανίχνευσης αποτελεί και τη βάση της ανάπτυξης των αλγόριθµων ευρείας σύγκλισης, δηλαδή µε σύγκλιση σε ένα ελάχιστο από οποιαδήποτε αρχική συνθήκη (Dennis & Schnabel 1983, Byrd et al. 1987) και αποτελεί επιθυµητό χαρακτηριστικό κάθε αλγόριθµου µάθησης (Battitti 1992). Τέλος είναι εµφανές από τα παραπάνω ότι η ελαχιστοποίηση της συνάρτησης σφάλµατος E() απαιτεί τον υπολογισµό των µερικών παραγώγων E() της E() ως προς τα βάρη του ΤΝ. Εποµένως, είναι απαραίτητο η συνάρτηση σφάλµατος να ικανοποιεί τις υποθέσεις για την ύπαρξη των παραγώγων πρώτης τάξης. Ασφαλώς αυτό περιορίζει τη µορφή της E() και καθιστά απαραίτητο οι νευρώνες του ΤΝ να ακολουθούν µοντέλα που επιτρέπουν τον ορισµό της παραγώγου για κάθε νευρώνα. Η δηµοφιλέστερη τεχνική για τον αναλυτικό υπολογισµό των µερικών παραγώγων της E() είναι ο αλγόριθµος οπισθοδροµικής διάδοσης του σφάλµατος (bacpropagation). Η πρώτη προσέγγιση της τεχνικής αυτής οφείλεται στον Werbos (1974), ενώ η µορφή που έγινε ευρέως γνωστή και καθιερώθηκε στο χώρο των ΤΝ οφείλεται στους Rumelhart et al. (1986). Η αναλυτική περιγραφή του αλγόριθµου οπισθοδροµικής διάδοσης του σφάλµατος υπάρχει σε όλα τα βιβλία σχετικά µε ΤΝ και δε θα µας απασχολήσει εδώ. Ωστόσο, αξίζει να αναφερθούν οι προσπάθειες των Saarinen (1992) και Rojas (1993) για µια απλή και συνάµα γενική περιγραφή του αλγόριθµου, πέρα από τη συνηθισµένη που συναντιέται στη βιβλιογραφία και να τονιστεί η δυνατότητα παράλληλης υλοποίησής του µε τεχνολογία VLSI η οποία αποτελεί πόλο έλξης για τις εφαρµογές ΤΝ. Χρησιµοποιώντας τον αλγόριθµο οπισθοδροµικής διάδοσης του σφάλµατος µπορούµε να υπολογίσουµε το σύνολο των q µερικών παραγώγων της συνάρτησης σφάλµατος του δικτύου ως προς τα στοιχεία του διανύσµατος για ένα πρότυπο p (βλέπε Rumelhart et al. 1986). Επαναλαµβάνοντας τους υπολογισµούς για όλα τα πρότυπα p 1, P, όπου P είναι το πλήθος των προτύπων που απαρτίζουν το σύνολο των παραδειγµάτων προς µάθηση, καταλήγουµε σε ένα q P πίνακα µερικών παραγώγων, που χρησιµοποιείται για την περίπτωση µάθησης ανά οµάδα προτύπων εισόδου. Για την περίπτωση µάθησης ανά πρότυπο p εισόδου χρησιµοποιείται µια στιγµιαία προσέγγιση, που δεν είναι άλλη από τη στήλη του πίνακα των µερικών παραγώγων, που αντιστοιχεί στο πρότυπο p. Έχει βρεθεί πειραµατικά ότι σε πολλά προβλήµατα εκπαίδευσης ΤΝ, ο παραπάνω πίνακας των µερικών παραγώγων έχει µεγάλο συντελεστή αστάθειας, γεγονός που οδηγεί σε

5 ελλιπείς πληροφορίες σχετικά µε τις κατευθύνσεις ανίχνευσης και έχει ως αποτέλεσµα εξαιρετικά βραδύ χρόνο µάθησης (Saarinen et al. 1992). 3. Η Εσσιανή της συνάρτησης σφάλµατος και οι προσεγγίσεις της Η πληροφορία των δευτέρων παραγώγων της συνάρτησης σφάλµατος ως προς τα βάρη που 2 περιέχεται στην Εσσιανή E( ) έχει µεγάλη θεωρητική και πρακτική αξία. Για παράδειγµα, επιτρέπει την εφαρµογή σύνθετων αλγόριθµων τύπου Neton για την εκπαίδευση ΤΝ, όπως αυτοί που πρότεινε ο Watrous (1987), εµφανίζεται σε αρκετές τεχνικές πρόβλεψης και ενίσχυσης της γενίκευσης των ΤΝ, όπως αυτές των MacKay (1991), Moody (1992), Le Cun et al. (1990), Hassibi & Stor (1993) και βοηθά στη µελέτη και τη σύγκριση της συµπεριφοράς των αλγόριθµων µάθησης, χρησιµοποιώντας τα ιδιοδιανύσµατα των ακραίων ιδιοτιµών της Εσσιανής, όπως πρότειναν οι Androulais et al. (1997). Μια τεχνική αναλυτικού υπολογισµού της Εσσιανής δεν εφαρµόζει απλά τον κανόνα παραγώγισης των πεπλεγµένων συναρτήσεων. Ασφαλώς και οι δύο καταλήγουν στο ίδιο αποτέλεσµα αλλά όπως και στην περίπτωση του αλγόριθµου οπισθοδροµικής διάδοσης του σφάλµατος για τον υπολογισµό του πίνακα των µερικών παραγώγων, η σηµασία της τεχνικής του αναλυτικού υπολογισµού της Εσσιανής είναι ότι επιτρέπει την οργάνωση των δεδοµένων µε τρόπο ώστε να αποφεύγονται περιττοί υπολογισµοί, καθώς ο υπολογισµός της Εσσιανής περιλαµβάνει επαναλαµβανόµενο υπολογισµό των ίδιων όρων. ιάφορες τεχνικές έχουν προταθεί για να αντιµετωπιστεί η περιπλοκότητα του αναλυτικού υπολογισµού δεύτερων παραγώγων για ένα ΤΝ µε q βάρη, που είναι ανάλογη του τετραγώνου του πλήθους των 2 βαρών O( q) (Werbos et al. 1992, Bishop 1992, Buntine & Weigend 1994). Η τεχνική των Buntine και Weigend είναι η γενικότερη καθώς εφαρµόζεται σε ΤΝ οποιασδήποτε αρχιτεκτονικής και συνάρτησης ενεργοποίησης. Ωστόσο, οι υπολογισµοί επιβαρύνονται και από την αντιστροφή της Εσσιανής που είναι απαραίτητη σε πολλούς αλγόριθµους µάθησης και πρέπει να επαναλαµβάνεται σε κάθε επανάληψη του αλγόριθµου. Απαραίτητη προϋπόθεση είναι η Εσσιανή να έχει µη µηδενική ορίζουσα ώστε να µπορεί να γίνει η αντιστροφή της. υστυχώς παρατηρείται ότι κατά τη διαδικασία εκπαίδευσης η Εσσιανή είναι ως επί το πλείστον µη αντιστρέψιµη. Επιπλέον, πειραµατικά αποτελέσµατα δείχνουν πως έχει µεγάλο συντελεστή αστάθειας, εισάγοντας πρόσθετες υπολογιστικές δυσχέρειες (Saarinen et al. 1992). Τα υπολογιστικά προβλήµατα συνδυάζονται και µε προβλήµατα αποθήκευσης για ΤΝ µε αρκετές εκατοντάδες βάρη καθώς ο χώρος αποθήκευσης που απαιτείται για ένα δίκτυο µε q βάρη είναι q q. Για αυτούς τους λόγους έχουν προταθεί διάφορες τεχνικές για την προσέγγιση πληροφοριών που σχετίζονται µε την συµπεριφορά της επιφάνειας σφάλµατος σε κάθε επανάληψη και περιέχονται στην Εσσιανή. Οι τεχνικές προσέγγισης που ενσωµατώνονται στους αλγόριθµους µάθησης λαµβάνουν ποικίλες µορφές: Αλγόριθµοι µάθησης βασισµένοι σε προσεγγίσεις της Εσσιανής. Για µεγάλα ΤΝ ο αναλυτικός υπολογισµός της Εσσιανής έχει απαγορευτικό υπολογιστικό κόστος. Οι Becer & Le Cun (1988) πρότειναν την απλή προσέγγιση της Εσσιανής από τη διαγώνιό της και τη χρησιµοποίησαν σε έναν αλγόριθµο µάθησης τύπου Neton. Ο Fahlman (1988) χρησιµοποίησε στον αλγόριθµο Quicprop πεπερασµένες διαφορές για να προσεγγίσει τη διαγώνιο (βλέπε Vrahatis et al. 2000b, για µια βελτίωση και απόδειξη σύγκλισης), ενώ οι El-

6 Jaroudi & Mahoul (1990) προσέγγισαν τµήµατα της Εσσιανής θεωρώντας ότι τα βάρη που συνδέουν διαφορετικούς νευρώνες δεν επιδρούν στην Εσσιανή. Μια νέα προσέγγιση σε αλγόριθµους µάθησης που χρησιµοποιούν τη δεύτερη παράγωγο προτείνει την ελάττωση της διάστασης του προβλήµατος µετασχηµατίζοντας την Εσσιανή σε έναν πίνακα ελαττωµένης διάστασης. Σε αυτήν την ελαττωµένη Εσσιανή οι δεύτερες παράγωγοι προσεγγίζονται µε πεπερασµένες διαφορές και ο απαιτούµενος χώρος για την αποθήκευσή της είναι της τάξης ( q 1) ( q 1 ). Ο αλγόριθµος χρησιµοποιεί µόνο το πρόσηµο των παραγώγων, δεν απαιτεί αντιστροφές πινάκων και εµφανίζει βελτιωµένη συµπεριφορά σε περιπτώσεις που η Εσσιανή έχει µηδενική ορίζουσα ή µεγάλο συντελεστή αστάθειας. Σε κάθε επανάληψη προσαρµόζονται τα ( q 1 ) βάρη ενώ το q βάρος, που αποµένει, υπολογίζεται από τις τιµές των άλλων (Magoulas et al. 1997a). Αλγόριθµοι µάθησης χωρίς απευθείας υπολογισµό της Εσσιανής. Αυτή η περίπτωση αφορά συνήθως αλγόριθµους µάθησης που βασίζονται σε συζυγείς κλίσεις και χρησιµοποιούν δεύτερες παραγώγους κατά την ευθύγραµµη ανίχνευση. Σε αυτές τις περιπτώσεις δεν είναι απαραίτητος ο υπολογισµός ολόκληρης της Εσσιανής αλλά ο υπολογισµός του γινοµένου της Εσσιανής µε ένα διάνυσµα. Πεπερασµένες διαφορές και ακριβής υπολογισµός του γινοµένου έχουν προταθεί για αυτές τις περιπτώσεις (Møller 1993, Pearlmutter 1994). Η τεχνική που πρότεινε ο Pearlmutter βρίσκει εφαρµογή και σε άλλους αλγόριθµους µάθησης όπως αυτούς που πρότειναν οι Acley et al. (1985), o Almeida (1987) και ο Pineda (1987). Ενώ η προσέγγιση µε πεπερασµένες διαφορές χρησιµοποιήθηκε και σε αλγόριθµους µάθησης που βασίζονται στη µέθοδο µέγιστης κλίσης για την εκτίµηση των ιδιοδιανυσµάτων και ιδιοτιµών της Εσσιανής µε σκοπό τη µελέτη της τοπικής σύγκλισης αυτών των αλγόριθµων (Le Cun et al. 1991, Pearlmutter 1992) και την εκτίµηση του µεγαλύτερου δυνατού ρυθµού µάθησης για κάθε επανάληψη της διαδικασίας εκπαίδευσης (Le Cun et al. 1993). Στην τελευταία περίπτωση ο αλγόριθµος µάθησης επιβαρύνεται, για µερικές επαναλήψεις στην αρχή της εκπαίδευσης, µε αρκετούς επιπλέον υπολογισµούς της συνάρτησης σφάλµατος. Τέλος πρέπει να αναφερθεί πως οι αλγόριθµοι µάθησης που χρησιµοποιούν την πληροφορία της Εσσιανής ή τις προσεγγίσεις της µπορούν να χρησιµοποιηθούν µόνο για µάθηση ανά οµάδα προτύπων, εξαιτίας του ισχυρού υπολογιστικού κόστους κάθε επανάληψης. 4. Αλγόριθµοι µάθησης µέγιστης κλίσης Οι µέθοδοι µέγιστης κλίσης αποτελούν την πιο δηµοφιλή κατηγορία αλγόριθµων µάθησης. Η εφαρµογή τους είναι απλή και ταυτόχρονα αποτελεσµατική είτε για µάθηση ανά οµάδα προτύπων εισόδου (ντετερµινιστική προσέγγιση) είτε για µάθηση ανά πρότυπο εισόδου (στοχαστική προσέγγιση). Η κατεύθυνση ανίχνευσης των µεθόδων µέγιστης κλίσης θεωρείται τοπικά ως η κατεύθυνση της ταχύτερης µείωσης του σφάλµατος µάθησης. Όπως είναι γνωστό η ελαχιστοποίηση της συνάρτησης σφάλµατος E() µε q παραµέτρους, όπου δηλώνει επαναλήψεις, η οποία συγκλίνει σε ένα σηµείο απαιτεί µια ακολουθία { } =0 που ελαχιστοποιεί το σφάλµα µάθησης E(). Η παρακάτω επαναληπτική σχέση, που προτάθηκε από το Goldstein το 1962, χρησιµοποιείται ευρέως για την προσαρµογή των βαρών ενός ΤΝ :

7 + 1 = + α d = α E( ), (3) όπου το d δηλώνει µια φραγµένη απεικόνιση, ορισµένη στην περιοχή T S = { : E( ) E( 0 )}, που ικανοποιεί την ανισότητα E ( ) d( ) 0 έτσι ώστε για ένα ε > 0, υπάρχει δ > 0 για το οποίο: T E ( ) d( ) < δ E ( ) < ε. Επιπλέον, η ακολουθία { } συγκλίνει σε ένα τοπικό ελάχιστο της E όταν ο ρυθµός =0 µάθησης ικανοποιεί τη σχέση: 1 sup H ( ) < α σε µια φραγµένη περιοχή όπου ισχύει η σχέση E( ) E( 0 ) και H δηλώνει την Εσσιανή της E ως προς το διάνυσµα (Goldstein, 1962). Κάνοντας µια µικρή ιστορική αναδροµή στο πρόβληµα της επιλογής του ρυθµού µάθησης πρέπει να αναφερθεί ότι πρώτος ο Goldstein (1965) πρότεινε µια σχέση που βασίζεται στην Εσσιανή και µπορεί να χρησιµοποιηθεί για τον καθορισµό τουα. Ο ίδιος επίσης απέδειξε τη σύγκλιση της µεθόδου όταν d( ) E( ), µε την προϋπόθεση ότι E C 2 (δηλαδή είναι δύο φορές συνεχώς παραγωγίσιµη) και έδωσε µια εκτίµηση του ρυθµού σύγκλισής της για την περίπτωση που είναι γνωστό ένα φράγµα της νόρµας της H στην περιοχή S( 0 ). Αυτά τα αποτελέσµατα 1 επεκτάθηκαν το 1967 για την περίπτωση d( ) B E( ), όπου B είναι µια προσέγγιση της Εσσιανής στο, χρησιµοποιώντας µόνο τιµές της συνάρτησης και του διανύσµατος των παραγώγων της, ενώ παρουσιάστηκε και ένα αποτέλεσµα για τον ολικό ρυθµό σύγκλισης της µεθόδου, ο οποίος είναι υπερ-γραµµικός (Goldstein & Price, 1967). Ακολουθώντας µια διαφορετική προσέγγιση που δε χρησιµοποιεί την Εσσιανή αλλά τη σταθερά Lipschitz, ο Armijo πρότεινε το 1966 την πρώτη µέθοδο µέγιστης κλίσης που επέτρεπε µεταβλητό a και απέδειξε τη σύγκλισή της υπό λιγότερο αυστηρές προϋποθέσεις από ότι ο Goldstein (Armijo 1966). Μια βελτίωση της µεθόδου αυτής για την εκπαίδευση νευρωνικών δικτύων πρότειναν οι Magoulas et al. (1997b). Στο χώρο της εκπαίδευσης των ΤΝ η επιλογή του κατάλληλου ρυθµού µάθησης έχει σχετιστεί µε τις ιδιοτιµές της Εσσιανής (LeCun et al. 1993), ο υπολογισµός των οποίων είναι επίπονος ακόµα και όταν χρησιµοποιείται µια προσέγγιση της Εσσιανής (Becer & Le Cun 1988, LeCun et al. 1993). Έτσι στις εφαρµογές οι χρήστες συνήθως επιλέγουν αυθαίρετα το ρυθµό µάθησης 0 < α < 1, καθώς σχετικά µικρές τιµές βοηθούν στο να διατηρηθεί η ευστάθεια του αλγόριθµου µάθησης. Το ζήτηµα της εύρεσης ενός κατάλληλου ρυθµού µάθησης ώστε η ακολουθία { } να συγκλίνει σε ένα ελάχιστο της E αποτελεί σηµαντικό αντικείµενο έρευνας στα =0 ΤΝ. 5. Αλγόριθµοι µάθησης µε τοπική σύγκλιση Η µάθηση µε αλγόριθµους τοπικής σύγκλισης χρησιµοποιεί την πληροφορία της Εσσιανής, ή των προσεγγίσεών της. Ειδικότερα, η Εσσιανή χρησιµοποιείται στην περιγραφή των µεθόδων

8 συζυγών κλίσεων, παίζει βασικό ρόλο στη µέθοδο Neton, ενώ οι προσεγγίσεις της χρησιµοποιούνται στις µεθόδους µεταβλητής µετρικής. Θεωρώντας ότι η συνάρτηση σφάλµατος σε ένα σηµείο προσεγγίζεται τοπικά από µια τετραγωνική συνάρτηση και αναπτύσσοντάς τη γύρω από την εκτίµηση ενός τοπικού ελάχιστου, λαµβάνουµε την παρακάτω σχέση ανάµεσα στις συναρτησιακές τιµές των δύο σηµείων: T 1 T 2 E( ) E( ) = E( ) ( ) + ( ) E( )( ), (4) 2 και η οποία έχει ένα µοναδικό ελάχιστο στο σηµείο = E( ) E( ), (5) 2 τότε και µόνο τότε εάν η Εσσιανή E( ) είναι θετικά ορισµένη. Η (5) δίνει σε κάθε επανάληψη του αλγόριθµου µάθησης µια νέα εκτίµηση +1 των βέλτιστων βαρών βασισµένη σε µια προηγούµενη εκτίµησή τους σύµφωνα µε τη µέθοδο Neton. υστυχώς, παρά τον τετραγωνικό ρυθµό σύγκλισης προς το ελάχιστο που χαρακτηρίζει τη µέθοδο Neton, η χρήση της στους αλγόριθµους µάθησης περιορίζεται σηµαντικά από την πολυπλοκότητα των πράξεων υπολογισµού και αντιστροφής της Εσσιανής καθώς και από την τοπική της σύγκλιση. Το ζήτηµα περιπλέκεται περισσότερο καθώς στην εκπαίδευση ΤΝ δεν παρέχεται καµία εγγύηση ότι η Εσσιανή είναι πάντοτε αντιστρέψιµη. Επιπλέον έχει βρεθεί πως έχει µεγάλο συντελεστή αστάθειας (Saarinen et al. 1992). Ο Battiti (1992) προτείνει διάφορες τροποποιήσεις στη µέθοδο Neton που διευκολύνουν τη χρήση της για την εκπαίδευση δικτύων πρόσθιας τροφοδότησης. Σχετικά µε την τοπική σύγκλιση των µεθόδων µεταβλητής µετρικής αναπτύχθηκαν διάφορες ολοκληρωµένες θεωρίες τη δεκαετία του Τα σπουδαιότερα αποτελέσµατα οφείλονται στους Broyden et al. (1973) και Dennis & Moré (1974). Ένα τυπικό αποτέλεσµα τοπικής σύγκλισης ισχύει στην περιοχή ενός ελαχίστου της συνάρτησης σφάλµατος και θεωρεί ότι είναι ένα ελάχιστο στο οποίο η Εσσιανή είναι θετικά ορισµένη. Έτσι εάν 0 είναι στην περιοχή του και µια προσέγγιση της Εσσιανής B 0 είναι ικανοποιητικά κοντά στην πραγµατική 2 * Εσσιανή E( ), τότε οι επαναλήψεις των αλγόριθµων συγκλίνουν στο υπερ-γραµµικά. 6. Αλγόριθµοι µάθησης µε ευρεία σύγκλιση Οι παραπάνω αλγόριθµοι µάθησης δε συγκλίνουν πάντα σε ένα τοπικό ελάχιστο όταν η αρχική τιµή του διανύσµατος βαρών 0 βρίσκεται µακριά από τη γειτονιά του τοπικού ελαχίστου. Αντίθετα ένας αλγόριθµος που έχει την ιδιότητα της ευρείας σύγκλισης (globally convergent algorithm) συγκλίνει σε ένα ελάχιστο ξεκινώντας από οποιαδήποτε αρχική συνθήκη (Dennis & Schnabel 1983, Byrd et al. 1987). Αυτή η συµπεριφορά διευκολύνει ιδιαίτερα τη διαδικασία εκπαίδευσης ΤΝ καθώς τις περισσότερες φορές η µάθηση ενός προβλήµατος ξεκινά για το δίκτυο χρησιµοποιώντας τυχαία αρχικά βάρη, ως επί το πλείστον µακριά από ένα ελάχιστο, ενώ ο χρήστης καλείται να ρυθµίσει ευρετικά διάφορες παραµέτρους, κρίσιµες για τη σύγκλιση του αλγόριθµου και την επιτυχία της µάθησης. Η ευρεία σύγκλιση επιτυγχάνεται εφαρµόζοντας µεθόδους µη ακριβούς ευθύγραµµης ανίχνευσης (Bron & Saad 1990, 1994, Eisenstat & Waler 1994) και µεθόδους ασφαλούς περιοχής (Poell

9 1975, Sorensen 1982, Moré 1983, Dennis & Schnabel 1983, Schultz et al. 1985, Møller 1993). Στη συνέχεια, η ανάλυση της σύγκλισης των αλγόριθµων µάθησης εστιάζεται στη χρήση µεθόδων µη ακριβούς ευθύγραµµης ανίχνευσης. Αυτές οι µέθοδοι είναι γνωστές για την ευκολία της υλοποίησής τους σε λογισµικό και για τη µικρή υπολογιστική πολυπλοκότητά τους. Η ενσωµάτωσή τους σε οποιοδήποτε αλγόριθµο που επαναληπτικά προσαρµόζει τα βάρη ακολουθώντας κατευθύνσεις µείωσης της συνάρτησης σφάλµατος εξασφαλίζει στον αλγόριθµο την ιδιότητα της ευρείας σύγκλισης (Magoulas et al. 2000b, Vrahatis et al. 2000a). 7. Βασικές αρχές σύγκλισης Οι ιδιότητες σύγκλισης των µεθόδων ευθύγραµµης ανίχνευσης µπορούν να µελετηθούν µετρώντας την ποιότητα της κατεύθυνσης ανίχνευσης, όπως αυτή ορίζεται από τη γωνία που σχηµατίζεται µεταξύ της κατεύθυνσης µέγιστης κλίσης E( ) και της κατεύθυνσης ανίχνευσης, δηλαδή T E( ) d cosθ (6) κ E( ) d και λαµβάνοντας υπόψη το µήκος του βήµατος. Το µήκος του βήµατος καθορίζεται από µια επανάληψη της µεθόδου ευθύγραµµης ανίχνευσης. Μια στρατηγική που προτείνεται δέχεται ως βήµα ένα θετικό αριθµό που ικανοποιεί τις παρακάτω συνθήκες: T E( + α d ) E( ) + σ 1α E( ) d, (7) T T E( + α d ) d σ 2 E( ) d, όπου 0<σ 1 <σ 2 <1. Οι δύο ανισότητες είναι γνωστές ως συνθήκες Wolfe. Η πρώτη ανισότητα εξασφαλίζει ότι η συνάρτηση σφάλµατος µειώνεται επαρκώς σε κάθε επανάληψη του αλγόριθµου µάθησης, ενώ η δεύτερη εµποδίζει το ρυθµό µάθησης να γίνει πολύ µικρός. Οι δύο αυτές ανισότητες αρκούν για να διασφαλιστεί η σύγκλιση σε ένα ελάχιστο αρκεί η γωνία µεταξύ της κατεύθυνσης ανίχνευσης και της κλίσης να είναι µικρότερη από 90 ο (Wolfe 1969, 1970). Εύκολα µπορεί να αποδειχθεί ότι εάν η d είναι µια κατεύθυνση µείωσης του αλγόριθµου µάθησης και η συνάρτηση σφάλµατος είναι παραγωγίσιµη και από κάτω φραγµένη κατά µήκος της ακτίνας { + α d α > 0}, τότε πάντοτε υπάρχουν µήκη βηµάτων που ικανοποιούν τις συνθήκες (7) (Wolfe 1969, 1971). Το παρακάτω θεώρηµα µπορεί να χρησιµοποιηθεί για να εξασφαλιστεί ευρεία σύγκλιση και είναι ανεξάρτητο από τη µέθοδο που χρησιµοποιείται για το καθορισµό των κατευθύνσεων µείωσης ή των µηκών των βηµάτων. Θεώρηµα 1 (Zoutendij 1970, Wolfe 1969, 1970). Υποθέτουµε ότι η συνάρτηση E είναι κάτω φραγµένη στο R q. Επίσης ότι για ένα αρχικό διάνυσµα βαρών 0 R q και για κάθε σε µια περιοχή που περιέχει το αρχικό διάνυσµα βαρών, S = { : E( ) E( 0 )}, η E είναι συνεχώς παραγωγίσιµη στο S( 0 ) και Lipschitz συνεχής, δηλαδή υπάρχει µια σταθερά L>0 τέτοια ώστε q E ) E( ) L,, R. (8) (

10 Τότε για κάθε επανάληψη της µορφής (1) και για οποιαδήποτε κατεύθυνση µείωσης d όπου a ικανοποιεί τις συνθήκες του Wolfe (7) ισχύει ότι cos θ E( ) <. (9) Σκοπός της ανισότητας (8) είναι να τεθεί θεωρητικά ένα άνω φράγµα στο βαθµό της µη γραµµικότητας της συνάρτησης σφάλµατος και να διασφαλιστεί ότι οι πρώτες παράγωγοι είναι συνεχείς. Η ανισότητα (9) ονοµάζεται η ανισότητα του Zoutendij και είναι χρήσιµη για την απόδειξη ευρείας σύγκλισης πολλών αλγόριθµων µάθησης. Έτσι αν οι επαναλήψεις (1) είναι τέτοιες ώστε ισχύει cos θ δ >0, για όλα τα. Τότε συµπεραίνουµε απευθείας από την (9) ότι lim E( ) = 0. (10) ηλαδή, εάν η κατεύθυνση ανίχνευσης δεν είναι ορθογώνια στην κλίση E( ), τότε η ακολουθία των κλίσεων συγκλίνει στο µηδέν. Σύµφωνα µε αυτό το αποτέλεσµα ένας αλγόριθµος µάθησης που βασίζεται στη µέθοδο µέγιστης κλίσης έχει την ιδιότητα της ευρείας σύγκλισης αν χρησιµοποιεί ευθύγραµµη ανίχνευση που ικανοποιεί τις συνθήκες του Wolfe για τον καθορισµό του ρυθµού µάθησης. Σε αυτή την περίπτωση έχουµε cosθ =1 για όλα τα και ισχύει η (10). Ας σηµειωθεί πως για µεθόδους ευθύγραµµης ανίχνευσης της µορφής (1), το όριο (10) αποτελεί το καλύτερο αποτέλεσµα ευρείας σύγκλισης που µπορεί να επιτευχθεί. Για την ευρεία σύγκλιση αλγόριθµων που βασίζονται σε µεθόδους Neton και µεταβλητής µετρικής µπορεί να χρησιµοποιηθεί πάλι η (9) για να πάρουµε το αποτέλεσµα (10). Για το σκοπό αυτό υποθέτουµε ότι ο πίνακας B σε κάθε επανάληψη είναι θετικά ορισµένος (αυτό χρειάζεται για να κινηθούµε προς κατεύθυνση µείωσης) και ότι ο συντελεστής αστάθειάς του είναι φραγµένος για όλα τα, δηλαδή: 1 B B, για µια σταθερά >0. Εάν επιπλέον η ευθύγραµµη ανίχνευση ικανοποιεί τις συνθήκες του Wolfe τότε από την (6) έχουµε ότι cos θ 1. Για αλγόριθµους που βασίζονται σε µεθόδους συζυγών κλίσεων δεν είναι δυνατό να δειχθεί ότι ισχύει το όριο (10) παρά µόνο η παρακάτω ασθενέστερη σχέση: lim inf E( ) = 0. (11) Το συµπέρασµα που προκύπτει από τα παραπάνω είναι ότι για την ανάπτυξη αλγόριθµων µάθησης µε καλές ιδιότητες σύγκλισης απαιτείται να εξασφαλίζεται ότι η κατεύθυνση ανίχνευσης δε γίνεται ορθογώνια µε το διάνυσµα της κλίσης, ή ότι παρεµβάλλονται, µεθοδικά, επαναλήψεις της µεθόδου µέγιστης κλίσης µε το α να ικανοποιεί τις συνθήκες του Wolfe. Στην πράξη µια τεχνική που µπορεί να χρησιµοποιηθεί για να εξασφαλιστεί η σύγκλιση είναι να ελέγχεται η γωνία µεταξύ της κατεύθυνση ανίχνευσης και του διανύσµατος της κλίσης και στην περίπτωση που είναι µικρότερη από µια προκαθορισµένη σταθερά τότε να αλλάζουµε την κατεύθυνση ανίχνευσης προς την κατεύθυνση της µέγιστης κλίσης. Επίσης έχει προταθεί η πληροφορία της γωνίας να λαµβάνεται υπόψη κατά την προσαρµογή των βαρών (Sanston et al. 1994, Hsin et al. 1995).

11 Ωστόσο ο υπολογισµός και ο έλεγχος της γωνίας σε κάθε επανάληψη αυξάνει την πολυπλοκότητα του αλγόριθµου χωρίς να αυξάνει απαραίτητα την ταχύτητα σύγκλισης σε ένα ελάχιστο της µη κυρτής συνάρτησης σφάλµατος. Στο σηµείο αυτό πρέπει να σηµειωθεί πως η ευρεία σύγκλιση δεν είναι το µόνο επιθυµητό χαρακτηριστικό ενός αλγόριθµου µάθησης. Η ταχύτητα της µάθησης αποτελεί συχνά σηµαντικότερο χαρακτηριστικό. Για τη µελέτη της ταχύτητας σύγκλισης ενός αλγόριθµου είναι χρήσιµο ένα κλασσικό αποτέλεσµα των Dennis & Moré (1974). Σύµφωνα µε τους Dennis και Moré η επαναληπτική σχέση (1) συγκλίνει µε ταχύτητα υπερ-γραµµική (superlinear) µόνο όταν N N α d = d + O( d ), (12) όπου d N είναι η κατεύθυνση Neton. Εποµένως για να επιτύχουµε γρήγορη µάθηση είναι απαραίτητο να προσεγγίσουµε ασυµπτωτικά την κατεύθυνση Neton. Ο έλεγχος της γωνίας µπορεί να εµποδίσει τη γρήγορη µάθηση, π.χ. ένας αλγόριθµος µάθησης που βασίζεται στη µέθοδο BFGS µπορεί να δηµιουργήσει ασταθείς προσεγγίσεις B της Εσσιανής, δηλαδή πίνακες µε µεγάλο συντελεστή αστάθειας. Σε τέτοιες περιπτώσεις δε µπορεί να καθοριστεί εάν αυτή η συµπεριφορά είναι επιθυµητή, ή εάν οι πίνακες B προσεγγίζουν ικανοποιητικά µια Εσσιανή µε µεγάλο συντελεστή αστάθειας (ill-conditioned). Για να αποφανθούµε θα έπρεπε να γνωρίζουµε το ίδιο το πρόβληµα που προσπαθούµε να επιλύσουµε. Έτσι στις εφαρµογές προτιµούµε όταν εκπαιδεύουµε ΤΝ µε τη µέθοδο BFGS να αφήνουµε τους πίνακες B να εξελίσσονται ελεύθερα γιατί τότε επιταχύνεται η µάθηση. 8. Πρακτική θεώρηση της ευρείας σύγκλισης αλγορίθµων µάθησης Τα προηγούµενα θεωρητικά αποτελέσµατα είναι χρήσιµα για την κατανόηση και τη µελέτη της συµπεριφοράς των αλγόριθµων µάθησης. Ωστόσο οι αλγόριθµοι αυτοί, ελαχιστοποιώντας τη µη γραµµική συνάρτηση σφάλµατος, έχουν να αντιµετωπίσουν κάποια από τα δυσκολότερα πρακτικά προβλήµατα που εµφανίζονται κατά τη βελτιστοποίηση µη γραµµικών συναρτήσεων. Οι κυριότερες δυσκολίες είναι: (i) Το κόστος υπολογισµού των τιµών της συνάρτησης σφάλµατος και των παραγώγων της. Στις εφαρµογές το υπολογιστικό κόστος αποτελεί το βασικό κριτήριο επιλογής του αλγόριθµου µάθησης, καθώς σε πολλές περιπτώσεις είναι προτιµότερες µερικές ακόµα επαναλήψεις ενός αλγόριθµου που βασίζεται στη µέθοδο µέγιστης κλίσης από τη χρήση περίπλοκων αλγόριθµων τοπικής σύγκλισης. (ii) Οι µη ακριβείς τιµές της συνάρτησης σφάλµατος. Είναι γνωστό πως οι αριθµητικοί υπολογισµοί υπόκεινται σε σφάλµατα ακρίβειας (Wilinson 1963). Οι αριθµητικές πράξεις που απαιτούνται στις εξοµοιώσεις των αλγόριθµων µάθησης επηρεάζουν την ακρίβεια των τιµών της συνάρτησης σφάλµατος (Wray & Green 1995). Επιπλέον, τα χαρακτηριστικά των µη γραµµικών νευρώνων εµποδίζουν τον ακριβή υπολογισµό των συναρτησιακών τιµών του σφάλµατος και οδηγούν σε κορεσµό, τόσο στις εξοµοιώσεις όσο και στις υλοποιήσεις των ΤΝ (Holt & Hang 1993). (iii) Τα πολλαπλά ελάχιστα της συνάρτησης σφάλµατος. Η συνάρτηση σφάλµατος είναι µη κυρτή και δηµιουργείται από την υπέρθεση των µη γραµµικών συναρτήσεων

12 ενεργοποίησης που ελαχιστοποιούνται σε διαφορετικά σηµεία. Όταν η τιµή της συνάρτησης σφάλµατος σε ένα ελάχιστο είναι µικρότερη από την «επιθυµητή», τίθεται το θέµα της ποιότητας του ελάχιστου. Για παράδειγµα, σε προβλήµατα προσέγγισης συναρτήσεων ή αναγνώρισης συστηµάτων υπάρχουν πολλαπλά «επιθυµητά» ελάχιστα που προσεγγίσουν, άγνωστο πόσο καλά, το ολικό ελάχιστο. Σε αυτές τις περιπτώσεις το πρόβληµα µπορεί να εξαλειφθεί χρησιµοποιώντας αρκετά µεγάλο αριθµό δεδοµένων. υστυχώς, υπάρχουν και περιπτώσεις που ο αλγόριθµος µάθησης συγκλίνει σε «ανεπιθύµητα» ελάχιστα, δηλαδή σε ελάχιστα µε συναρτησιακές τιµές µεγαλύτερες από την «επιθυµητή». Αυτό συµβαίνει για διάφορους λόγους, π.χ. όταν το πλήθος των νευρώνων δεν επαρκεί για τη συγκεκριµένη εφαρµογή ή όταν ο αλγόριθµος εκκινεί από ακατάλληλα αρχικά βάρη και εµποδίζει το ΤΝ από το να µάθει πλήρως όλα τα πρότυπα. 9. Ευρεία σύγκλιση µε στρατηγικές οπισθοδρόµησης Οι αλγόριθµοι µάθησης µε στρατηγικές ευθύγραµµης ανίχνευσης που ικανοποιούν τις συνθήκες του Wolfe ελαττώνουν το πλήθος των υπολογισµών της συνάρτησης σφάλµατος και των παραγώγων της σε σχέση µε τους αλγόριθµους τοπικής σύγκλισης που χρησιµοποιούν τεχνικές ακριβούς ευθύγραµµης ανίχνευσης. Στην πράξη είναι δυνατό ο αριθµός των απαιτούµενων υπολογισµών να µειωθεί περαιτέρω χρησιµοποιώντας µια διαφορετική στρατηγική ευθύγραµµης ανίχνευσης που ονοµάζεται οπισθοδρόµηση (bactracing) και τις τροποποιήσεις της. Η στρατηγική οπισθοδρόµησης εκµεταλλεύεται τον καλύτερο ρυθµό µάθησης που µπορεί να βρεθεί στο διάστηµα ( 0, α max ], όπου α max είναι ο µέγιστος ρυθµός µάθησης της εκάστοτε επανάληψης. Η ανίχνευση ξεκινά από το µέγιστο ρυθµό και εκτελώντας διαδοχικές ελαττώσεις του προχωρά προς το ελάχιστο έως ότου επιτευχθεί ικανοποιητική µείωση της συνάρτησης σφάλµατος. Για κριτήριο ικανοποιητικής µείωσης µπορούµε να χρησιµοποιούµε την πρώτη από τις συνθήκες του Wolfe (7) που εξασφαλίζει ότι η συνάρτηση σφάλµατος µειώνεται επαρκώς σε κάθε επανάληψη του αλγόριθµου µάθησης. Η παράµετρος σ 1 (0,1) της πρώτης ανισότητας του Wolfe µπορεί να λαµβάνει µικρές τιµές σε επίπεδες επιφάνειες σφάλµατος, ώστε να περιορίζεται ο αριθµός των συναρτησιακών υπολογισµών αφού οι διαφορές των σφαλµάτων για τις διαδοχικές τιµές του ρυθµού είναι µηδαµινές, και µεγάλες τιµές σε απότοµες επιφάνειες, ώστε να εξασφαλίζεται η µεγαλύτερη δυνατή µείωση της συνάρτησης σφάλµατος. Η τιµή σ 1 = 05., χωρίς να είναι πάντοτε η βέλτιστη, αποδείχθηκε στην πράξη πως κατά µέσο όρο περιορίζει τον αριθµό των συναρτησιακών υπολογισµών και χρησιµοποιήθηκε στις παρακάτω εξοµοιώσεις. Οι διαδοχικές ελαττώσεις του ρυθµού µάθησης συντελούνται µε διάφορους µηχανισµούς, όπως η διαίρεση µε ένα σταθερό συντελεστή ή µε µια εκτίµηση του βέλτιστου συντελεστή για κάθε επανάληψη. Πρέπει να σηµειωθεί πως η επιλογή του διαιρέτη δεν είναι κρίσιµη για την ευρεία σύγκλιση. Για παράδειγµα, ο διαιρέτης θα µπορούσε να είναι σταθερός και ίσος µε 2. Ένας διαιρέτης 10, ή 20, είναι πιθανόν καταλληλότερος σε περιπτώσεις που απαιτείται ο ρυθµός να κρατείται χαµηλός για πολλές διαδοχικές επαναλήψεις. Βέβαια τυχόν υπερβολική µείωση του ρυθµού µάθησης µπορεί τελικά να αυξήσει το υπολογιστικό κόστος, επιβαρύνοντας τον αλγόριθµο µε επιπλέον επαναλήψεις.

13 Για το λόγο αυτό ο αλγόριθµος µπορεί να ενσωµατώνει και µηχανισµούς άνω και κάτω φράγµατος που εξασφαλίζουν ότι ο ρυθµός µάθησης κινείται σε επίπεδα που δεν επιβραδύνουν επικίνδυνα την εκπαίδευση, ενώ παράλληλα µειώνουν το σφάλµα σε κάθε επανάληψη. Τα φράγµατα αυτά έχουν το ίδιο θεωρητικό αποτέλεσµα µε τη δεύτερη από τις συνθήκες (7) (Dennis & Schnabel 1983), εµποδίζοντας το ρυθµό µάθησης από το να γίνει πολύ αργός, χωρίς να απαιτούν επιπλέον υπολογισµούς παραγώγων της συνάρτησης σφάλµατος. Πρέπει να σηµειωθεί πως η στρατηγική οπισθοδρόµησης µε φράγµατα στο ρυθµό µάθησης επιτρέπει να εγγυηθούµε την ευρεία σύγκλιση για τους αλγόριθµους µάθησης χωρίς τη χρήση ευθύγραµµης ανίχνευσης που ικανοποιεί τις συνθήκες του Wolfe (βλέπε το σχετικό αποτέλεσµα των Shultz et al. 1982). Έτσι στη πράξη µε αυτή τη στρατηγική µπορούµε να εξασφαλίσουµε την ευστάθεια του αλγόριθµου µάθησης και τη σθεναρότητά του σε ταλαντώσεις. 10. Ανάλυση αλγορίθµων σε ένα κλασσικό παράδειγµα Η ταξινόµηση των τεσσάρων προτύπων του Αποκλειστικού-ΕΙΤΕ (XOR) σε δύο κατηγορίες, την 0 και την 1, είναι ένα κλασσικό πρόβληµα για ΤΝ (Jacobs 1988, Kollias & Anastasiou 1989, van Ooyen 1992, van der Smagt 1994). Το ΤΝ έχει 2 γραµµικούς νευρώνες στην είσοδο, 2 µη γραµµικούς νευρώνες, που ακολουθούν τη λογιστική συνάρτηση (Hayin 1994), στο κρυµµένο επίπεδο και 1 ίδιου τύπου µη γραµµικό νευρώνα στην έξοδο. Αυτή η αρχιτεκτονική δηλώνεται για ευκολία και περιλαµβάνει 9 βάρη. Η µάθηση του XOR παρουσιάζει µεγάλη εξάρτηση από τις αρχικές τιµές των βαρών και τις µεταβολές του ρυθµού µάθησης, ενώ εµφανίζει πολλαπλά ελάχιστα. Το ζήτηµα των πολλαπλών ελάχιστων σε αυτή την εφαρµογή έχει µελετηθεί αναλυτικά (Blum 1989, Lisboa & Perantonis 1991). Τα Σχήµατα 1 και 2 παρουσιάζουν την επιφάνεια σφάλµατος του XOR και τις ισοϋψείς της στο διδιάστατο υπόχωρο του R q που ορίζεται από τα ιδιοδιανύσµατα που αντιστοιχούν στις ακραίες ιδιοτιµές της Εσσιανής, δηλαδή στη µεγαλύτερη και στη µικρότερη ιδιοτιµή της Εσσιανής της συνάρτησης σφάλµατος, σε ένα επιθυµητό ελάχιστο το οποίο αντιστοιχίζεται στο σηµείο (0, 0) των σχηµάτων. Η προσέγγιση αυτή βασίζεται στο ότι η Εσσιανή είναι πραγµατικός και συµµετρικός πίνακας και εποµένως όλες οι ιδιοτιµές της είναι πραγµατικές και τα ιδιοδιανύσµατα που αντιστοιχούν στις διάφορες ιδιοτιµές είναι ορθογώνια. Σε αυτό το πλαίσιο οι κατευθύνσεις των αξόνων των ισοϋψών γραµµών δίνονται από τα ιδιοδιανύσµατα της Εσσιανής, ενώ το µήκος των αξόνων είναι αντίστροφα ανάλογο της τετραγωνικής ρίζας των αντίστοιχων ιδιοτιµών. Οι επίπεδες περιοχές του Σχήµατος 1 δηλώνουν σηµεία µε την ίδια συναρτησιακή τιµή. Η µορφή αυτή αναπαράστασης µιας γενικής επιφάνειας σφάλµατος µε ( q +1) διαστάσεις στις 3 διαστάσεις προτάθηκε από τους Androulais et al. (1997). Στη συγκεκριµένη περίπτωση αυτή η προσέγγιση µας επιτρέπει να οπτικοποιήσουµε την επιφάνεια σφάλµατος του 9-διάστατου προβλήµατος XOR γύρω από ένα ελάχιστο και να µελετήσουµε τη συµπεριφορά διάφορων αλγόριθµων µάθησης γύρω από το ελάχιστο και την ευαισθησία τους στις αρχικές τιµές των βαρών. Στη συνέχεια θα συγκρίνουµε την απόδοση πέντε διαδεδοµένων και πολυ γνωστών αλγόριθµων µάθησης στα ίδια αρχικά διανύσµατα βαρών γύρω από ένα τυχαίο ελάχιστο. Πιο συγκεκριµένα οι αλγόριθµοι ελέγχονται στα σηµεία: * max min = + ( c e + c e ), 1 2

14 παίρνοντας κατάλληλο πλέγµα για τις παραµέτρους c 1 [ 50,50], c2 [ 90,90], το οποίο καθορίζει τις συντεταγµένες των εικονοστοιχείων (οθόνη VGA, , 256 χρώµατα) και max min χρησιµοποιώντας τα ιδιοδιανύσµατα e, e που αντιστοιχούν στη µέγιστη και ελάχιστη ιδιοτιµή της Εσσιανής στο ελάχιστο. Οι αλγόριθµοι των οποίων αποτελέσµατα σύγκλισης παρουσιάζονται είναι οι εξής: µέγιστης κλίσης (SD), Fletcher-Reeves (FR), Pola-Ribière (PR), Davidon-Fletcher-Poell (DFP) και Broyden-Fletcher-Goldfarb-Shanno (BFGS), οι οποίοι µπορούν να βρεθούν στη βιβλιογραφία αναφορικά µε την βελτιστοποίηση χωρίς περιορισµούς (Dennis & Schnabel 1983, Luenberger 1969, Pola (1997), Ortega & Rheinboldt 1970). Σε όλες τις περιπτώσεις η κλίση υπολογίστηκε µε την τεχνική της οπισθοδροµικής διάδοσης του σφάλµατος και χρησιµοποιήθηκε η στρατηγική της οπισθοδρόµησης για τον καθορισµό του ρυθµού µάθησης σε κάθε επανάληψη. Η εκπαίδευση θεωρείται επιτυχής όταν το σφάλµα µάθησης γίνεται E Τα αποτελέσµατα συνοψίζονται στον Πίνακα 1 όπου χρησιµοποιούνται τα εξής σύµβολα: µ είναι η µέση τιµή του αριθµού των υπολογισµών της συνάρτησης σφάλµατος, σ είναι η τυπική απόκλιση και Min/Max είναι ο ελάχιστος/µέγιστος αριθµός συναρτησιακών υπολογισµών που εκτελέστηκαν. Τέλος, % είναι το ποσοστό επιτυχίας του αλγόριθµου µάθησης που ταυτίζεται µε το ποσοστό σύγκλισης σε «επιθυµητά» ελάχιστα, δηλαδή σε βάρη τα οποία δίνουν τιµές σφάλµατος E Σχήµα 1: Η επιφάνεια σφάλµατος του προβλήµατος Αποκλειστικού-ΕΙΤΕ (XOR), γύρω από ένα επιθυµητό ελάχιστο, απεικονισµένη στο διδιάστατο υπόχωρο που ορίζεται από τα ακραία ιδιοδιανυσµάτα της Εσσιανής. Τα ιδιοδιανύσµατα υπολογίζονται στο συγκεκριµένο ελάχιστο, το οποίο στο σχήµα αντιστοιχίζεται στην αρχή των αξόνων.

15 Σχήµα 2: Ισοϋψείς γραµµές της επιφάνειας σφάλµατος του προβλήµατος Αποκλειστικού-ΕΙΤΕ (XOR) απεικονισµένες στο διδιάστατο υπόχωρο που ορίζεται από τα ακραία ιδιοδιανυσµάτα της Εσσιανής. Πίνακας 1: Συγκριτικά αποτελέσµατα για το πρόβληµα XOR. Αλγόριθµος µ σ Min/Max % SD / FR / PR / DFP / BFGS / Τα αποτελέσµατα του Πίνακα 1 δείχνουν ότι η µέθοδος της µέγιστης κλίσης απαιτεί τον µικρότερο αριθµό υπολογισµών της συνάρτησης σφάλµατος και είναι η ταχύτερη στο µέσο όρο. Σηµειώνοντας ότι το ποσοστό επιτυχίας των αλγόριθµων συνδέεται µε το πρόβληµα της σύγκλισης σε ανεπιθύµητα ελάχιστα, που είναι ιδιαίτερα οξυµένο στο XOR, παρατηρούµε ότι η BFGS και η DFP εµφανίζουν τα καλύτερα ποσοστά επιτυχίας. Το ποσοστό επιτυχίας της µεθόδου µέγιστης κλίσης είναι αρκετά ικανοποιητικό, προσεγγίζοντας το ποσοστό της µεθόδου Pola-Ribière, που είναι υπολογιστικά πολυπλοκότερη. Ενδιαφέρον παρουσιάζει η συµπεριφορά των δύο αλγόριθµων που βασίζονται σε συζυγείς κλίσεις. Η συµπεριφορά της µεθόδου Fletcher-Reeves επαληθεύει τις θεωρητικές αναφορές και υπολείπεται της µεθόδου Pola-Ribière. Πέρα από το γεγονός ότι η µέθοδος Pola-Ribière έχει καλύτερα ποσοστά επιτυχίας και αισθητά καλύτερη µέση συµπεριφορά από τη συγγενή της µέθοδο, εµφανίζει έναν από τους δύο χαµηλότερους µέγιστους αριθµούς υπολογισµών των τιµών της συνάρτησης σφάλµατος, γεγονός που δίνει ιδιαίτερη βαρύτητα στη µέση συµπεριφορά της µεθόδου. Είναι επίσης ενδιαφέρον να παρατηρήσουµε στο Σχήµα 3 την ευαισθησία των αλγόριθµων από τα αρχικά βάρη, όπως φαίνεται από την κατανοµή των σηµείων στην περιοχή σύγκλισης απεικονισµένη στο διδιάστατο υπόχωρο του R q.

16 Σχήµα 3: Σύγκριση πέντε αλγόριθµων µάθησης στο πρόβληµα ταξινόµησης προτύπων Αποκλειστικού-ΕΙΤΕ (XOR). Κάθε σηµείο των παρακάτω εικόνων αντιστοιχεί σε ένα αρχικό διάνυσµα βαρών και χρωµατίζεται µαύρο ή άσπρο ανάλογα µε το αν ο αλγόριθµος, µε τη συγκεκριµένη αρχική τιµή, συγκλίνει σε επιθυµητό ελάχιστο, ή όχι. Τα σηµεία ορίζονται στο πλέγµα [-50, 50] [-90, 90] και το κέντρο της εικόνας αντιστοιχεί στο σηµείο (0,0). Περιοχή σύγκλισης του αλγόριθµου µέγιστης κλίσης. Περιοχή σύγκλισης του αλγόριθµου Fletcher-Reeves. Περιοχή σύγκλισης του αλγόριθµου Davidon-Fletcher-Poell. Περιοχή σύγκλισης του αλγόριθµου Pola-Ribière. Περιοχή σύγκλισης του αλγόριθµου Broyden-Fletchet-Goldfarb-Shanno.

17 Αναφορές 1. Acley, D., Hinton, G. & Sejnosi, T. (1985). A learning algorithm for Boltzmann machines, Cognitive Science, 9, Almeida, L. (1987). A learning rule for asynchronous perceptrons ith feedbac in a combinatorial environment, Proceedings of the 1 st IEEE Int. Conf. on Neural Netors, vol. 2, San Diego, CA, Androulais, G.S, Magoulas, G.D. & Vrahatis, M.N. (1997). Geometry of learning: visualizing the performance of neural netor supervised training methods, Nonlinear Analysis, Theory, Methods & Applications, 30, No. 7, Armijo, L. (1966). Minimization of functions having Lipschitz continuous first partial derivatives, Pacific J. of Math.,16, Battiti, R. (1989). Accelerated bacpropagation learning: to optimization methods, Complex Systems, 3, Battiti, R. (1992). First- and second-order methods for learning: beteen steepest descent and Neton's method, Neural Computation, 4, Battiti, R. & Masulli, F. (1990). BFGS optimization for faster and automated supervised learning, in Proceedings of the Inter. Conf. on Neural Netors, Paris, France, Becer, S. & Le Cun, Y. (1988). Improving the convergence of the bac-propagation learning ith second order methods, in Proceedings of the 1988 Connectionist Models Summer School (Touretzy, D., Hinton, G. & Sejnosi, T., eds.), Morgan-Kaufman, San Mateo, CA, Beigi, H. & Li, C. (1993). Learning algorithms for neural netors based on quasi--neton methods ith self-scaling, Trans. of the ASME, Journal of Dynamic Systems, Measurements, and Control, 115, Bishop, C. (1992). Exact calculation of the Hessian matrix for the multi-layer perceptron, Neural Computation, 4, Blum, E. (1989). Approximation of Boolean functions by sigmoidal netors: Part I: XOR and other to-variable functions, Neural Computation, 1, Bron, P. & Saad, Y. (1990). Hybrid Krylov methods for nonlinear systems of equations, SIAM J. Sci. Stat. Comput., 11, Broyden, G., Dennis, J. & Moré, J. (1973). On the local and superlinear convergence of quasi-neton methods, J. Inst. Math. Applics, 12, Buntine, W. & Weigend, A. (1994). Computing second derivatives on feedforard netors: a revie, IEEE Trans. on Neural Netors, 5, Byrd, R., Nocedal, J. & Yuan. Y. (1987). Global convergence of a class of quasi-neton methods on convex problems, SIAM J. Numer. Anal., 24, Dennis, J. & Moré, J. (1974). A characterization of superlinear convergence and its application to quasi-neton methods, Math. Comp., 28, Dennis, J & Schnabel, R. (1983). Numerical methods for unconstrained optimization and nonlinear equations, Prentice-Hall, NJ. 18. Eisenstat, S. & Waler, H (1994). Globally convergent inexact Neton methods, SIAM J. Optim., 4, El-Jaroudi, A. & Mahoul, J. (1990). A ne error criterion for posterior probability estimation ith neural nets, in Proceedings of the Inter. J. Conf. on Neural Netors, Vol. 3, San Diego, CA, Fahlman, S. (1988). Faster learning variations on bac-propagation: an empirical study, in Proceedings of the 1988 Connectionist Models Summer School (Touretzy, D., Hinton, G. & Sejnosi, T., eds.), Morgan-Kaufman, San Mateo, CA,

18 21. Goldstein, A. (1962). Cauchy's method of minimization, Numerische Mathemati, 4, Goldstein, A. (1965). On steepest descent, SIAM J. Control, 3, Goldstein, A. & Price, J. (1967). An effective algorithm for minimization, Numerische Mathemati, 10, Hassibi, B. & Stor, D. (1993). Second order derivatives for netor pruning: Optimal brain surgeon, in Advances in Neural Information Processing Systems 5 (Hanson, S., Coan, J. & Giles, C., eds.), Morgan Kaufmann, San Mateo, CA, Hayin, S. (1994). Neural Netors: a comprehensive foundation, Macmillan College Publishing Company. 26. Holt, J. & Hang, J. (1993). Finite precision error analysis of neural netor hardare implementations, IEEE Trans. on Comp., 42, Hsin, H.-C., Li, C.-C., Sun, M. & Sclabassi, R. (1995). An adaptive training algorithm for bac-propagation neural netors, IEEE Trans. on System, Man and Cybernetics, 25, Jacobs, R. (1988). Increased rates of convergence through learning rate adaptation, Neural Netors, 1, Johansson, E., Dola, F., Goodman, D. (1990). Bac-propagation learning for multi-layer feed-forard neural netors using the conjugate gradient method, Technical report UCRL- JC , Larence Livermore National Laboratory, Livermore, CA. 30. Kollias, S. & Anastassiou, S. (1989). An adaptive least squares algorithm for the efficient training of artificial neural netors, IEEE Trans. Circuits and Systems, 36, Kramer, A. & Sangiovanni-Vincentelli, A. (1989). Efficient parallel learning algorithms for neural netors, in Advances in Neural Information Processing Systems 1 (Touretzy, D., ed.), Morgan-Kaufmann, CA, Kung, S. (1993). Digital neural netors, PTR Prentice-Hall, Engleood Cliffs, NJ. 33. Becer, S. & Le Cun, Y. (1988). Improving the convergence of the bac-propagation learning ith second order methods, in Proceedings of the 1988 Connectionist Models Summer School (Touretzy, D., Hinton, G. & Sejnosi, T., eds.), Morgan-Kaufman, San Mateo, CA, Le Cun, Y., Dener, J. & Solla, S. (1990). Optimal brain damage, in Advances in Neural Information Processing Systems 2 (Touretzy, D., ed.), Morgan-Kaufmann, CA, Le Cun, Y., Kanter, I. & Solla, S. (1991). Second order properties of error surfaces: learning time and generalization, in Advances in Neural Information Processing Systems 3 (Lippmann, R., Moody, J. & Touretzy, D., ed.), Morgan-Kaufmann, CA, Le Cun, Y., Simard, P. & Pearlmutter, B. (1993). Automatic learning rate maximization by on-line estimation of the Hessian's eigenvectors, in Advances in Neural Information Processing Systems 5 (Hanson, S., Coan, J. & Giles, C., eds.), Morgan Kaufmann, San Mateo, CA, Lisboa, P. & Perantonis, S. (1991). Complete solution of the local minima in the XOR problem, Netor, 2, Liu, D. & Nocedal, J. (1989). On the limited memory BFGS method for large scale optimization, Math. Program., 45, Luenberger, D. (1969). Optimization by vector space methods, Wiley, NY. 40. MacKay, D. (1991). A practical Bayesian frameor for bac-prop netors, Neural Computation, 4, Magoulas, G.D, Vrahatis, M.N. & Androulais, G.S. (1996). A ne method in neural netor supervised training ith imprecision, in Proceedings of the 3 rd IEEE Inter. Conf. on Electr. Circuits and Syst., Rodos, Greece,

19 42. Magoulas, G.D., Vrahatis, M.N., Grapsa, T.N. & Androulais, G.S. (1997a). Neural netor supervised training based on a dimension reducing method, in Mathematics of Neural Netors, Models, Algorithms and Applications, S.W. Ellacott, J.C. Mason & I.J. Anderson eds., Kluer Academic Publishers, Boston, 1997, Chapter 41, Magoulas, G.D., Vrahatis, M.N. & Androulais, G.S. (1997b). Effective bac-propagation training ith variable stepsize, Neural Netors, 10, Magoulas, G.D., Vrahatis, M.N. & Androulais, G.S. (1999). Increasing the convergence rate of the error bacpropagation algorithm by learning rate adaptation methods, Neural Computation, 11, No. 7, Magoulas, G.D., Karanis, S.A., Karras, D.A. & Vrahatis, M.N. (2000a). Comparison study of textural descriptors for training neural netor classifiers, Inter. J. Computer Research, accepted for publication. 46. Magoulas, G.D., Plagianaos, V.P., Androulais, G.S. & Vrahatis, M.N. (2000b). A frameor for the development of globally convergent adaptive learning rate algorithms, Inter. J. Computer Research, accepted for publication. 47. Magoulas, G.D. & Vrahatis, M.N. (2000). A class of adaptive learning rate algorithms derived by one-dimensional subminimization methods, Neural, Parallel and Scientific Computations, accepted for publication. 48. Møller, M. (1990). A scaled-conjugate gradient algorithm for fast supervised learning, Technical report PB-339, Computer Science Dept., University of Aarhus, Aarhus, Denmar. 49. Møller, M. (1993). A scaled conjugate gradient algorithm for fast supervised learning, Neural Netors, 6, Moody, J. (1992). The effective number of parameters: an analysis of generalization and regularization in nonlinear learning systems, in Advances in Neural Information Processing Systems 4 (Moody, J., Hanson, S. & Lippmann, R., eds.), Morgan-Kaufmann, CA, Moré, J. (1983). Recent developments in algorithms and softare for trust region methods, in Mathematics Programming, The state of the art (Bachem, A. Grotschel, M. & Korte, G., eds.), Springer-Verlag, Berlin, Ortega, J. & Rheinboldt, W. (1970). Iterative solution of nonlinear equations in several variables, Academic Press, NY. 53. Pearlmutter, B. (1992). Gradient descent: second order momentum and saturating error, in Advances in Neural Information Processing Systems 4 (Moody, J., Hanson, S. & Lippmann, R., eds.), Morgan-Kaufmann, CA, Pearlmutter, B. (1994). Fast exact multiplication by the hessian, Neural Computation, 6, Pineda, F. (1987). Generalization of bac-propagation to recurrent neural netors, Physical Revie Letters, 59, Plagianaos, V.P., Magoulas, G.D. & Vrahatis, M.N. (1999a). Nonmonotone learning rules for bacpropagation netors, in Proceedings of the Sixth IEEE International Conference on Electronics, Circuits and Systems, Pafos, Cyprus, Plagianaos, V.P., Vrahatis, M.N. & Magoulas, G.D. (1999b). Nonmonotone methods for bacpropagation training ith adaptive learning rate, in Proceedings of the 1999 International Joint Conference on Neural Netors, (IJCNN'99), Washington DC, U.S.A., #2001 Session: Pola, E., (1997). Optimization: algorithms and consistent approximations, Springer, Ne Yor. 59. Poell, M. (1975). Convergence properties of a class of minimization algorithms, in Nonlinear Programming 2 (Mangasarian, O., Meyer, R. & Robinson, S., eds.), Academic Press, NY, 1-27.

20 60. Riegler, A., Irvine, J. & Vogl, T. (1991). Rescaling of variables in bac-propagation learning, Neural Netors, 4, Rojas, R. (1993). A graphical proof of the bacpropagation learning algorithm, in Parallel Computing Technologies (Malyshin, V., ed.), Obnins, Russia. 62. Rumelhart, D., Hinton, G. & Williams, R. (1986). Learning internal representations by error bac-propagation, in Parallel distributed processing: explorations in the microstructure of cognition (Rumelhart, D. & McClelland, J., eds.), MIT Press, Cambridge, MA. 63. Saarinen, S., Bramley, R. & Cybeno, G. (1992). Neural netors, bac-propagation and automatic differentiation, in Automatic differentiation of algorithms: theory, implementation and application (Griean, A. & Gorliss, G., eds.), SIAM, Philadelphia, PA, Schultz, G., Schnabel, R. & Byrd, R. (1985). A family of trust region based algorithms for unconstrained minimization ith strong global convergence properties, SIAM J. Numer. Anal., 22, Shultz, G., Schnabel, R. & Byrd, R. (1982). A family of trust region based algorithms for unconstrained minimization ith strong global convergence properties, Technical report CU- CS , Computer Science Dept., University of Colorado. 66. Sorensen, D. (1982). Neton's method ith a model trust region modification, SIAM J. Numer. Anal., 19, Sanston, D., Bishop, J. & Mitchell, R. (1994). Simple adaptive momentum: ne algorithm for training multilayer perceptrons, Electronics Letters, 30, Van der Smagt, P. (1994). Minimization methods for training neural netors, Neural Netors, 7, Van Ooyen, A. & Nienhuis, B. (1992). Improving the convergence of the bacpropagation algorithm, Neural Netors, 5, Vrahatis, M.N., Androulais, G.S., Lambrinos, J.N. & Magoulas, G.D. (2000a). A class of gradient unconstrained minimization algorithms ith adaptive stepsize, J. Comput. Appl. Math., 114, No. 2, Vrahatis, M.N., Magoulas, G.D. & Plagianaos, V.P. (2000b). Globally convergent modification of the Quicprop method, Neural Processing Letters, to appear vol. 12, No. 2, October Watrous, R. (1987). Learning algorithms for connectionist netors: applied gradient methods of nonlinear optimization, in Proceedings of the 1 st IEEE Inter. Conf. on Neural Netors, Vol. 2, San Diego, CA, Werbos, P. (1974). Beyond regression: ne tools for prediction and analysis in the behavioral sciences, Ph.D. Thesis, Harvard University, Cambridge, MA. 74. Werbos, P. (1992). Neural netors and the human mind: ne mathematics fits humanistic insight, IEEE Inter. Conf. on Systems, Man and Cybernetics, Vol. 1, Chicago, IL, Wilinson, J. (1963). Rounding errors in algebraic processes, Prentice-Hall, Engleood Cliffs, NJ. 76. Wolfe, P. (1969). Convergence conditions for ascent methods, SIAM Revie, 11, Wolfe, P. (1971). Convergence conditions for ascent methods. II: Some corrections, SIAM Revie, 13, Wray, J. & Green, G. (1995). Neural Netors, approximation theory and finite precision computation, Neural Netors, 8, Zoutendij, G. (1970). Nonlinear programming, computational methods, in Integer and Nonlinear Programming (Abadie, J., ed.), North-Holland, Amsterdam,

ΜΕΘΟΔΟΙ ΑΕΡΟΔΥΝΑΜΙΚΗΣ

ΜΕΘΟΔΟΙ ΑΕΡΟΔΥΝΑΜΙΚΗΣ ΕΘΝΙΚΟ ΜΕΤΣΟΒΙΟ ΠΟΛΥΤΕΧΝΕΙΟ Εργαστήριο Θερμικών Στροβιλομηχανών Μονάδα Παράλληλης ης Υπολογιστικής Ρευστοδυναμικής & Βελτιστοποίησης ΜΕΘΟΔΟΙ ΑΕΡΟΔΥΝΑΜΙΚΗΣ ΒΕΛΤΙΣΤΟΠΟΙΗΣΗΣ (7 ο Εξάμηνο Σχολής Μηχ.Μηχ. ΕΜΠ)

Διαβάστε περισσότερα

Αριθµητική Ανάλυση 1 εκεµβρίου / 43

Αριθµητική Ανάλυση 1 εκεµβρίου / 43 Αριθµητική Ανάλυση 1 εκεµβρίου 2014 Αριθµητική Ανάλυση 1 εκεµβρίου 2014 1 / 43 Κεφ.5. Αριθµητικός Υπολογισµός Ιδιοτιµών και Ιδιοδιανυσµάτων ίνεται ένας πίνακας A C n n και Ϲητούνται να προσδιορισθούν οι

Διαβάστε περισσότερα

Κινητά Δίκτυα Επικοινωνιών. Συμπληρωματικό υλικό. Προσαρμοστική Ισοστάθμιση Καναλιού

Κινητά Δίκτυα Επικοινωνιών. Συμπληρωματικό υλικό. Προσαρμοστική Ισοστάθμιση Καναλιού Κινητά Δίκτυα Επικοινωνιών Συμπληρωματικό υλικό Προσαρμοστική Ισοστάθμιση Καναλιού Προσαρμοστικοί Ισοσταθμιστές Για να υπολογίσουμε τους συντελεστές του ισοσταθμιστή MMSE, απαιτείται να λύσουμε ένα γραμμικό

Διαβάστε περισσότερα

Αριθµητική Γραµµική ΑλγεβραΚεφάλαιο 4. Αριθµητικός Υπολογισµός Ιδιοτιµών 2 Απριλίου και2015 Ιδιοδιανυσµάτων 1 / 50

Αριθµητική Γραµµική ΑλγεβραΚεφάλαιο 4. Αριθµητικός Υπολογισµός Ιδιοτιµών 2 Απριλίου και2015 Ιδιοδιανυσµάτων 1 / 50 Αριθµητική Γραµµική Αλγεβρα Κεφάλαιο 4. Αριθµητικός Υπολογισµός Ιδιοτιµών και Ιδιοδιανυσµάτων ΕΚΠΑ 2 Απριλίου 205 Αριθµητική Γραµµική ΑλγεβραΚεφάλαιο 4. Αριθµητικός Υπολογισµός Ιδιοτιµών 2 Απριλίου και205

Διαβάστε περισσότερα

Αναγνώριση Προτύπων Ι

Αναγνώριση Προτύπων Ι Αναγνώριση Προτύπων Ι Ενότητα 2: Δομικά Συστήματα Αν. Καθηγητής Δερματάς Ευάγγελος Τμήμα Ηλεκτρολόγων Μηχανικών και Τεχνολογίας Υπολογιστών Άδειες Χρήσης Το παρόν εκπαιδευτικό υλικό υπόκειται σε άδειες

Διαβάστε περισσότερα

21 a 22 a 2n. a m1 a m2 a mn

21 a 22 a 2n. a m1 a m2 a mn Παράρτημα Α Βασική γραμμική άλγεβρα Στην ενότητα αυτή θα παρουσιαστούν με συνοπτικό τρόπο βασικές έννοιες της γραμμικής άλγεβρας. Ο στόχος της ενότητας είναι να αποτελέσει ένα άμεσο σημείο αναφοράς και

Διαβάστε περισσότερα

Μέθοδοι Μηχανών Μάθησης για Ευφυή Αναγνώριση και ιάγνωση Ιατρικών εδοµένων

Μέθοδοι Μηχανών Μάθησης για Ευφυή Αναγνώριση και ιάγνωση Ιατρικών εδοµένων Μέθοδοι Μηχανών Μάθησης για Ευφυή Αναγνώριση και ιάγνωση Ιατρικών εδοµένων Εισηγητής: ρ Ηλίας Ζαφειρόπουλος Εισαγωγή Ιατρικά δεδοµένα: Συλλογή Οργάνωση Αξιοποίηση Data Mining ιαχείριση εδοµένων Εκπαίδευση

Διαβάστε περισσότερα

HMY 795: Αναγνώριση Προτύπων. Διαλέξεις 15-16

HMY 795: Αναγνώριση Προτύπων. Διαλέξεις 15-16 HMY 795: Αναγνώριση Προτύπων Διαλέξεις 15-16 Νευρωνικά Δίκτυα(Neural Networks) Fisher s linear discriminant: Μείωση διαστάσεων (dimensionality reduction) y Τ =w x s + s =w S w 2 2 Τ 1 2 W ( ) 2 2 ( ) m2

Διαβάστε περισσότερα

ΚΕΦΑΛΑΙΟ 3 ΑΡΙΘΜΗΤΙΚΗ ΕΠΙΛΥΣΗ ΓΡΑΜΜΙΚΩΝ ΣΥΣΤΗΜΑΤΩΝ. nn n n

ΚΕΦΑΛΑΙΟ 3 ΑΡΙΘΜΗΤΙΚΗ ΕΠΙΛΥΣΗ ΓΡΑΜΜΙΚΩΝ ΣΥΣΤΗΜΑΤΩΝ. nn n n ΚΕΦΑΛΑΙΟ 3 ΑΡΙΘΜΗΤΙΚΗ ΕΠΙΛΥΣΗ ΓΡΑΜΜΙΚΩΝ ΣΥΣΤΗΜΑΤΩΝ 3 Ο αλγόριθµος Gauss Eστω =,3,, µε τον όρο γραµµικά συστήµατα, εννοούµε συστήµατα εξισώσεων µε αγνώστους της µορφής: a x + + a x = b a x + + a x = b a

Διαβάστε περισσότερα

ΚΕΦΑΛΑΙΟ 18. 18 Μηχανική Μάθηση

ΚΕΦΑΛΑΙΟ 18. 18 Μηχανική Μάθηση ΚΕΦΑΛΑΙΟ 18 18 Μηχανική Μάθηση Ένα φυσικό ή τεχνητό σύστηµα επεξεργασίας πληροφορίας συµπεριλαµβανοµένων εκείνων µε δυνατότητες αντίληψης, µάθησης, συλλογισµού, λήψης απόφασης, επικοινωνίας και δράσης

Διαβάστε περισσότερα

4.3. Γραµµικοί ταξινοµητές

4.3. Γραµµικοί ταξινοµητές Γραµµικοί ταξινοµητές Γραµµικός ταξινοµητής είναι ένα σύστηµα ταξινόµησης που χρησιµοποιεί γραµµικές διακριτικές συναρτήσεις Οι ταξινοµητές αυτοί αναπαρίστανται συχνά µε οµάδες κόµβων εντός των οποίων

Διαβάστε περισσότερα

Ακρότατα υπό συνθήκη και οι πολλαπλασιαστές του Lagrange

Ακρότατα υπό συνθήκη και οι πολλαπλασιαστές του Lagrange 64 Ακρότατα υπό συνθήκη και οι πολλαπλασιαστές του Lagrage Ας υποθέσουµε ότι ένας δεδοµένος χώρος θερµαίνεται και η θερµοκρασία στο σηµείο,, Τ, y, z Ας υποθέσουµε ότι ( y z ) αυτού του χώρου δίδεται από

Διαβάστε περισσότερα

ΣΗΜΕΙΩΣΕΙΣ ΜΑΘΗΜΑΤΙΚΗΣ ΑΝΑΛΥΣΗΣ Ι (2006-07)

ΣΗΜΕΙΩΣΕΙΣ ΜΑΘΗΜΑΤΙΚΗΣ ΑΝΑΛΥΣΗΣ Ι (2006-07) ΤΕΙ ΥΤΙΚΗΣ ΜΑΚΕ ΟΝΙΑΣ ΠΑΡΑΡΤΗΜΑ ΚΑΣΤΟΡΙΑΣ ΤΜΗΜΑ ΠΛΗΡΟΦΟΡΙΚΗΣ ΚΑΙ ΤΕΧΝΟΛΟΓΙΑΣ ΥΠΟΛΟΓΙΣΤΩΝ ΣΗΜΕΙΩΣΕΙΣ ΜΑΘΗΜΑΤΙΚΗΣ ΑΝΑΛΥΣΗΣ Ι (2006-07) Επιµέλεια Σηµειώσεων : Βασιλειάδης Γεώργιος Καστοριά, εκέµβριος 2006

Διαβάστε περισσότερα

Σηµειώσεις στις σειρές

Σηµειώσεις στις σειρές . ΟΡΙΣΜΟΙ - ΓΕΝΙΚΕΣ ΕΝΝΟΙΕΣ Σηµειώσεις στις σειρές Στην Ενότητα αυτή παρουσιάζουµε τις βασικές-απαραίτητες έννοιες για την µελέτη των σειρών πραγµατικών αριθµών και των εφαρµογών τους. Έτσι, δίνονται συστηµατικά

Διαβάστε περισσότερα

Συνήθεις διαφορικές εξισώσεις προβλήματα οριακών τιμών

Συνήθεις διαφορικές εξισώσεις προβλήματα οριακών τιμών Συνήθεις διαφορικές εξισώσεις προβλήματα οριακών τιμών Οι παρούσες σημειώσεις αποτελούν βοήθημα στο μάθημα Αριθμητικές Μέθοδοι του 5 ου εξαμήνου του ΤΜΜ ημήτρης Βαλουγεώργης Καθηγητής Εργαστήριο Φυσικών

Διαβάστε περισσότερα

Αριθµητική Ανάλυση. 27 Οκτωβρίου Αριθµητική Ανάλυση 27 Οκτωβρίου / 72

Αριθµητική Ανάλυση. 27 Οκτωβρίου Αριθµητική Ανάλυση 27 Οκτωβρίου / 72 Αριθµητική Ανάλυση 7 Οκτωβρίου 06 Αριθµητική Ανάλυση 7 Οκτωβρίου 06 / 7 Επαναληπτικές Μέθοδοι για την επίλυση Γραµµικών Συστηµάτων ίνεται το γραµµικό σύστηµα Ax = b όπου A R n n είναι µη ιδιάζων πίνακας

Διαβάστε περισσότερα

Επίλυση Γραµµικών Συστηµάτων

Επίλυση Γραµµικών Συστηµάτων Κεφάλαιο 3 Επίλυση Γραµµικών Συστηµάτων 31 Εισαγωγή Αριθµητική λύση γενικών γραµµικών συστηµάτων n n A n n x n 1 b n 1, όπου a 11 a 12 a 1n a 21 a 22 a 2n A [a i j, x a n1 a n2 a nn x n, b b 1 b 2 b n

Διαβάστε περισσότερα

Αναγνώριση Προτύπων Ι

Αναγνώριση Προτύπων Ι Αναγνώριση Προτύπων Ι Ενότητα 1: Μέθοδοι Αναγνώρισης Προτύπων Αν. Καθηγητής Δερματάς Ευάγγελος Τμήμα Ηλεκτρολόγων Μηχανικών και Τεχνολογίας Υπολογιστών Άδειες Χρήσης Το παρόν εκπαιδευτικό υλικό υπόκειται

Διαβάστε περισσότερα

Q 12. c 3 Q 23. h 12 + h 23 + h 31 = 0 (6)

Q 12. c 3 Q 23. h 12 + h 23 + h 31 = 0 (6) Εθνικό Μετσόβιο Πολυτεχνείο Σχολή Πολιτικών Μηχανικών Τοµέας Υδατικών Πόρων Μάθηµα: Τυπικά Υδραυλικά Έργα Μέρος 2: ίκτυα διανοµής Άσκηση E0: Μαθηµατική διατύπωση µοντέλου επίλυσης απλού δικτύου διανοµής

Διαβάστε περισσότερα

Κεφάλαιο 1. Αριθµητική ολοκλήρωση συνήθων διαφορικών εξισώσεων και συστηµάτων

Κεφάλαιο 1. Αριθµητική ολοκλήρωση συνήθων διαφορικών εξισώσεων και συστηµάτων Κεφάλαιο Αριθµητική ολοκλήρωση συνήθων διαφορικών εξισώσεων και συστηµάτων. Εισαγωγή Η µοντελοποίηση πολλών φυσικών φαινοµένων και συστηµάτων και κυρίως αυτών που εξελίσσονται στο χρόνο επιτυγχάνεται µε

Διαβάστε περισσότερα

Βέλτιστα Ψηφιακά Φίλτρα: Φίλτρα Wiener, Ευθεία και αντίστροφη γραµµική πρόβλεψη

Βέλτιστα Ψηφιακά Φίλτρα: Φίλτρα Wiener, Ευθεία και αντίστροφη γραµµική πρόβλεψη ΒΕΣ 6 Προσαρµοστικά Συστήµατα στις Τηλεπικοινωνίες Βέλτιστα Ψηφιακά Φίλτρα: Φίλτρα Wiener, Ευθεία και αντίστροφη γραµµική πρόβλεψη 7 Nicolas sapatsoulis Βιβλιογραφία Ενότητας Benvenuto []: Κεφάλαιo Wirow

Διαβάστε περισσότερα

Εισαγωγικές έννοιες. Κατηγορίες προβλημάτων (σε μια διάσταση) Προβλήματα εύρεσης μεγίστου. Συμβολισμοί

Εισαγωγικές έννοιες. Κατηγορίες προβλημάτων (σε μια διάσταση) Προβλήματα εύρεσης μεγίστου. Συμβολισμοί Κατηγορίες προβλημάτων (σε μια διάσταση) Εισαγωγικές έννοιες Δ. Γ. Παπαγεωργίου Τμήμα Μηχανικών Επιστήμης Υλικών Πανεπιστήμιο Ιωαννίνων dpapageo@cc.uoi.gr http://pc164.materials.uoi.gr/dpapageo Το πρόβλημα

Διαβάστε περισσότερα

Μέθοδοι πολυδιάστατης ελαχιστοποίησης

Μέθοδοι πολυδιάστατης ελαχιστοποίησης Μέθοδοι πολυδιάστατης ελαχιστοποίησης με παραγώγους Μέθοδοι πολυδιάστατης ελαχιστοποίησης Δ. Γ. Παπαγεωργίου Τμήμα Μηχανικών Επιστήμης Υλικών Πανεπιστήμιο Ιωαννίνων dpapageo@cc.uoi.gr http://pc64.materials.uoi.gr/dpapageo

Διαβάστε περισσότερα

Μάθηση και Γενίκευση. "Τεχνητά Νευρωνικά Δίκτυα" (Διαφάνειες), Α. Λύκας, Παν. Ιωαννίνων

Μάθηση και Γενίκευση. Τεχνητά Νευρωνικά Δίκτυα (Διαφάνειες), Α. Λύκας, Παν. Ιωαννίνων Μάθηση και Γενίκευση Το Πολυεπίπεδο Perceptron (MultiLayer Perceptron (MLP)) Έστω σύνολο εκπαίδευσης D={(x n,t n )}, n=1,,n. x n =(x n1,, x nd ) T, t n =(t n1,, t np ) T Θα πρέπει το MLP να έχει d νευρώνες

Διαβάστε περισσότερα

Κανόνες παραγώγισης ( )

Κανόνες παραγώγισης ( ) 66 Κανόνες παραγώγισης Οι κανόνες παραγώγισης που ισχύουν για συναρτήσεις µιας µεταβλητής, ( παραγώγιση, αθροίσµατος, γινοµένου, πηλίκου και σύνθετων συναρτήσεων ) γενικεύονται και για συναρτήσεις πολλών

Διαβάστε περισσότερα

ΠΡΟΓΡΑΜΜΑ ΣΠΟΥ ΩΝ ΠΛΗΡΟΦΟΡΙΚΗΣ ΜΑΘΗΜΑΤΙΚΑ Ι ΕΡΓΑΣΙΑ 6 ΛΥΣΕΙΣ

ΠΡΟΓΡΑΜΜΑ ΣΠΟΥ ΩΝ ΠΛΗΡΟΦΟΡΙΚΗΣ ΜΑΘΗΜΑΤΙΚΑ Ι ΕΡΓΑΣΙΑ 6 ΛΥΣΕΙΣ ΠΡΟΓΡΑΜΜΑ ΣΠΟΥ ΩΝ ΠΛΗΡΟΦΟΡΙΚΗΣ 00- ΜΑΘΗΜΑΤΙΚΑ Ι ΕΡΓΑΣΙΑ 6 ΛΥΣΕΙΣ. (5 µον.) ίνεται ο πίνακας 0 0 A. 0 (α) (α) Να βρεθούν όλες οι ιδιοτιµές και τα ιδιοδιανύσµατα του πίνακα Α. (β) Είναι δυνατή η διαγωνιοποίηση

Διαβάστε περισσότερα

ΔΙΚΤΥO RBF. "Τεχνητά Νευρωνικά Δίκτυα" (Διαφάνειες), Α. Λύκας, Παν. Ιωαννίνων

ΔΙΚΤΥO RBF. Τεχνητά Νευρωνικά Δίκτυα (Διαφάνειες), Α. Λύκας, Παν. Ιωαννίνων ΔΙΚΤΥO RBF Αρχιτεκτονική δικτύου RBF Δίκτυα RBF: δίκτυα συναρτήσεων πυρήνα (radial basis function networks). Πρόσθιας τροφοδότησης (feedforward) για προβλήματα μάθησης με επίβλεψη. Εναλλακτικό του MLP.

Διαβάστε περισσότερα

ΑΝΑΠΤΥΞΗ ΜΕΘΟ ΟΛΟΓΙΑΣ ΕΚΠΑΙ ΕΥΣΗΣ ΝΕΥΡΩΝΙΚΩΝ ΙΚΤΥΩΝ ΓΙΑ ΜΟΝΤΕΛΟΠΟΙΗΣΗ ΜΗ ΓΡΑΜΜΙΚΩΝ ΣΥΣΤΗΜΑΤΩΝ ΜΕ ΕΦΑΡΜΟΓΗ ΣΤΗΝ ΠΡΟΒΛΕΨΗ ΤΟΥ ΕΙΚΤΗ ΙΑΘΛΑΣΗΣ ΥΛΙΚΩΝ

ΑΝΑΠΤΥΞΗ ΜΕΘΟ ΟΛΟΓΙΑΣ ΕΚΠΑΙ ΕΥΣΗΣ ΝΕΥΡΩΝΙΚΩΝ ΙΚΤΥΩΝ ΓΙΑ ΜΟΝΤΕΛΟΠΟΙΗΣΗ ΜΗ ΓΡΑΜΜΙΚΩΝ ΣΥΣΤΗΜΑΤΩΝ ΜΕ ΕΦΑΡΜΟΓΗ ΣΤΗΝ ΠΡΟΒΛΕΨΗ ΤΟΥ ΕΙΚΤΗ ΙΑΘΛΑΣΗΣ ΥΛΙΚΩΝ ΑΝΑΠΤΥΞΗ ΜΕΘΟ ΟΛΟΓΙΑΣ ΕΚΠΑΙ ΕΥΣΗΣ ΝΕΥΡΩΝΙΚΩΝ ΙΚΤΥΩΝ ΓΙΑ ΜΟΝΤΕΛΟΠΟΙΗΣΗ ΜΗ ΓΡΑΜΜΙΚΩΝ ΣΥΣΤΗΜΑΤΩΝ ΜΕ ΕΦΑΡΜΟΓΗ ΣΤΗΝ ΠΡΟΒΛΕΨΗ ΤΟΥ ΕΙΚΤΗ ΙΑΘΛΑΣΗΣ ΥΛΙΚΩΝ ΠΤΥΧΙΑΚΗ ΕΡΓΑΣΙΑ ΧΟΝ ΡΟ ΗΜΑ ΕΥΑΓΓΕΛΙΑ Επιβλέπων: Αλεξανδρίδης

Διαβάστε περισσότερα

Κινητά Δίκτυα Υπολογιστών

Κινητά Δίκτυα Υπολογιστών Κινητά Δίκτυα Υπολογιστών Καθ. Κώστας Μπερμπερίδης Πολυτεχνική Σχολή Τμήμα Μηχανικών Η/Υ & Πληροφορικής Σκοποί ενότητας Εξοικείωση του φοιτητή με την έννοια της προσαρμοστικής ισοστάθμισης καναλιού 2 Περιεχόμενα

Διαβάστε περισσότερα

ΕΛΛΗΝΙΚΟ ΑΝΟΙΚΤΟ ΠΑΝΕΠΙΣΤΗΜΙΟ

ΕΛΛΗΝΙΚΟ ΑΝΟΙΚΤΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΕΛΛΗΝΙΚΟ ΑΝΟΙΚΤΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΠΡΟΓΡΑΜΜΑ ΣΠΟΥ ΩΝ ΣΤΗΝ ΠΛΗΡΟΦΟΡΙΚΗ ΜΑΘΗΜΑΤΙΚΑ Ι (ΘΕ ΠΛΗ ) Ενδεικτικές Λύσεις ΕΡΓΑΣΙΑ η Ηµεροµηνία Αποστολής στον Φοιτητή: Ιανουαρίου 6 Ηµεροµηνία Παράδοσης της Εργασίας από

Διαβάστε περισσότερα

ΤΟΠΟΓΡΑΦΙΚΑ ΔΙΚΤΥΑ ΚΑΙ ΥΠΟΛΟΓΙΣΜΟΙ ΑΝΑΣΚΟΠΗΣΗ ΘΕΩΡΙΑΣ ΣΥΝΟΡΘΩΣΕΩΝ

ΤΟΠΟΓΡΑΦΙΚΑ ΔΙΚΤΥΑ ΚΑΙ ΥΠΟΛΟΓΙΣΜΟΙ ΑΝΑΣΚΟΠΗΣΗ ΘΕΩΡΙΑΣ ΣΥΝΟΡΘΩΣΕΩΝ ΤΟΠΟΓΡΑΦΙΚΑ ΔΙΚΤΥΑ ΚΑΙ ΥΠΟΛΟΓΙΣΜΟΙ ΑΝΑΣΚΟΠΗΣΗ ΘΕΩΡΙΑΣ ΣΥΝΟΡΘΩΣΕΩΝ Βασίλης Δ. Ανδριτσάνος Δρ. Αγρονόμος - Τοπογράφος Μηχανικός ΑΠΘ Επίκουρος Καθηγητής ΤΕΙ Αθήνας 3ο εξάμηνο http://eclass.teiath.gr Παρουσιάσεις,

Διαβάστε περισσότερα

Τίτλος Μαθήματος: Συνήθεις Διαφορικές Εξισώσεις Ι

Τίτλος Μαθήματος: Συνήθεις Διαφορικές Εξισώσεις Ι Τίτλος Μαθήματος: Συνήθεις Διαφορικές Εξισώσεις Ι Ενότητα: Θεώρημα ύπαρξης και μοναδικότητας της λύσης του Π.Α.Τ.: y = f ( x, y), y( x ) (Θεώρημα Picard) ' Όνομα Καθηγητή: Χρυσή Κοκολογιαννάκη Τμήμα: Μαθηματικών

Διαβάστε περισσότερα

Αριστοτέλειο Πανεπιστήμιο Θεσσαλονίκης Τμήμα Μαθηματικών Π.Μ.Σ. Θεωρητικής Πληροφορικής και Θεωρίας Συστημάτων και Ελέγχου

Αριστοτέλειο Πανεπιστήμιο Θεσσαλονίκης Τμήμα Μαθηματικών Π.Μ.Σ. Θεωρητικής Πληροφορικής και Θεωρίας Συστημάτων και Ελέγχου Αριστοτέλειο Πανεπιστήμιο Θεσσαλονίκης Τμήμα Μαθηματικών Π.Μ.Σ. Θεωρητικής Πληροφορικής και Θεωρίας Συστημάτων και Ελέγχου Κάθε εικόνα μπορεί να αναπαρασταθεί με έναν πίνακα, κάθε κελί του οποίου αντιστοιχεί

Διαβάστε περισσότερα

ΕΛΛΗΝΙΚΟ ΑΝΟΙΚΤΟ ΠΑΝΕΠΙΣΤΗΜΙΟ

ΕΛΛΗΝΙΚΟ ΑΝΟΙΚΤΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΕΛΛΗΝΙΚΟ ΑΝΟΙΚΤΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΠΡΟΓΡΑΜΜΑ ΣΠΟΥ ΩΝ: ΠΛΗΡΟΦΟΡΙΚΗ ΘΕ: ΜΑΘΗΜΑΤΙΚΑ ΓΙΑ ΤΗΝ ΠΛΗΡΟΦΟΡΙΚΉ Ι (ΠΛΗ ) ΛΥΣΕΙΣ ΕΡΓΑΣΙΑΣ 4 Άσκηση. (8 µον.) (α) ίνεται παραγωγίσιµη συνάρτηση f για την οποία ισχύει f /

Διαβάστε περισσότερα

Ποσοτικές Μέθοδοι στη Διοίκηση Επιχειρήσεων ΙΙ Σύνολο- Περιεχόμενο Μαθήματος

Ποσοτικές Μέθοδοι στη Διοίκηση Επιχειρήσεων ΙΙ Σύνολο- Περιεχόμενο Μαθήματος Ποσοτικές Μέθοδοι στη Διοίκηση Επιχειρήσεων ΙΙ Σύνολο- Περιεχόμενο Μαθήματος Χιωτίδης Γεώργιος Τμήμα Λογιστικής και Χρηματοοικονομικής Άδειες Χρήσης Το παρόν εκπαιδευτικό υλικό υπόκειται σε άδειες χρήσης

Διαβάστε περισσότερα

ΒΑΣΙΚΑ ΣΤΟΙΧΕΙΑ ΘΕΩΡΙΑΣ ΤΗΣ ΜΕΘΟΔΟΥ SIMPLEX

ΒΑΣΙΚΑ ΣΤΟΙΧΕΙΑ ΘΕΩΡΙΑΣ ΤΗΣ ΜΕΘΟΔΟΥ SIMPLEX ΒΑΣΙΚΑ ΣΤΟΙΧΕΙΑ ΘΕΩΡΙΑΣ ΤΗΣ ΜΕΘΟΔΟΥ SIMPLEX Θεμελιώδης αλγόριθμος επίλυσης προβλημάτων Γραμμικού Προγραμματισμού που κάνει χρήση της θεωρίας της Γραμμικής Άλγεβρας Προτάθηκε από το Dantzig (1947) και πλέον

Διαβάστε περισσότερα

Κεφάλαιο 2. Μέθοδος πεπερασµένων διαφορών προβλήµατα οριακών τιµών µε Σ Ε

Κεφάλαιο 2. Μέθοδος πεπερασµένων διαφορών προβλήµατα οριακών τιµών µε Σ Ε Κεφάλαιο Μέθοδος πεπερασµένων διαφορών προβλήµατα οριακών τιµών µε Σ Ε. Εισαγωγή Η µέθοδος των πεπερασµένων διαφορών είναι από τις παλαιότερες και πλέον συνηθισµένες και διαδεδοµένες υπολογιστικές τεχνικές

Διαβάστε περισσότερα

Εισαγωγή στη Γνωστική Ψυχολογία. επ. Κωνσταντίνος Π. Χρήστου

Εισαγωγή στη Γνωστική Ψυχολογία. επ. Κωνσταντίνος Π. Χρήστου Εισαγωγή στη Γνωστική Ψυχολογία Inside the black box για µια επιστήµη του Νου Επιστροφή στο Νου Γνωστική Ψυχολογία / Γνωσιακή Επιστήµη Inside the black box για µια επιστήµη του Νου Επιστροφή στο Νου Γνωστική

Διαβάστε περισσότερα

Επίλυση γεωµετρικών περιορισµών σε µικρά µόρια µε αλγεβρικές µεθόδους

Επίλυση γεωµετρικών περιορισµών σε µικρά µόρια µε αλγεβρικές µεθόδους Επίλυση γεωµετρικών περιορισµών σε µικρά µόρια µε αλγεβρικές µεθόδους Επαµεινώνδας. Φριτζίλας Μ Ε Βιοπληροφορικής Τµήµα Βιολογίας ΕΚΠΑ 17 Φεβρουαρίου 2005 Τί σηµαίνει ο τίτλος ; γεωµετρικός περιορισµός:

Διαβάστε περισσότερα

ΕΛΛΗΝΙΚΟ ΑΝΟΙΚΤΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΠΡΟΓΡΑΜΜΑ ΣΠΟΥ ΩΝ «ΠΛΗΡΟΦΟΡΙΚΗ» ΜΑΘΗΜΑΤΙΚΑ Ι (ΘΕ ΠΛΗ 12) ΕΡΓΑΣΙΑ 4

ΕΛΛΗΝΙΚΟ ΑΝΟΙΚΤΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΠΡΟΓΡΑΜΜΑ ΣΠΟΥ ΩΝ «ΠΛΗΡΟΦΟΡΙΚΗ» ΜΑΘΗΜΑΤΙΚΑ Ι (ΘΕ ΠΛΗ 12) ΕΡΓΑΣΙΑ 4 ΕΛΛΗΝΙΚΟ ΑΝΟΙΚΤΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΠΡΟΓΡΑΜΜΑ ΣΠΟΥ ΩΝ «ΠΛΗΡΟΦΟΡΙΚΗ» ΜΑΘΗΜΑΤΙΚΑ Ι (ΘΕ ΠΛΗ ) ΕΡΓΑΣΙΑ 4 Ηµεροµηνία αποστολής στον φοιτητή: 9 Φεβρουαρίου 5. Τελική ηµεροµηνία αποστολής από τον φοιτητή: Μαρτίου 5.

Διαβάστε περισσότερα

Αναγνώριση Προτύπων Ι

Αναγνώριση Προτύπων Ι Αναγνώριση Προτύπων Ι Ενότητα 4: Νευρωνικά Δίκτυα στην Ταξιμόμηση Προτύπων Αν. Καθηγητής Δερματάς Ευάγγελος Τμήμα Ηλεκτρολόγων Μηχανικών και Τεχνολογίας Υπολογιστών Άδειες Χρήσης Το παρόν εκπαιδευτικό

Διαβάστε περισσότερα

ΕΛΕΓΧΟΣ ΠΑΡΑΓΩΓΙΚΩΝ ΔΙΕΡΓΑΣΙΩΝ

ΕΛΕΓΧΟΣ ΠΑΡΑΓΩΓΙΚΩΝ ΔΙΕΡΓΑΣΙΩΝ ΕΛΛΗΝΙΚΗ ΔΗΜΟΚΡΑΤΙΑ Ανώτατο Εκπαιδευτικό Ίδρυμα Πειραιά Τεχνολογικού Τομέα ΕΛΕΓΧΟΣ ΠΑΡΑΓΩΓΙΚΩΝ ΔΙΕΡΓΑΣΙΩΝ Ενότητα: Αναγνώριση Διεργασίας - Προσαρμοστικός Έλεγχος (Process Identification) Αλαφοδήμος Κωνσταντίνος

Διαβάστε περισσότερα

11ο Πανελλήνιο Συνέδριο της ΕΕΦ, Λάρισα 30-31/03, 1-2/04/2006. Πρακτικά Συνεδρίου

11ο Πανελλήνιο Συνέδριο της ΕΕΦ, Λάρισα 30-31/03, 1-2/04/2006. Πρακτικά Συνεδρίου ο Πανελλήνιο Συνέδριο της ΕΕΦ, Λάρισα 30-3/03, -/04/006. Πρακτικά Συνεδρίου Έµµεσες µετρήσεις φυσικών µεγεθών. Παράδειγµα: Ο πειραµατικός υπολογισµός του g µέσω της µέτρησης του χρόνου των αιωρήσεων απλού

Διαβάστε περισσότερα

Αναγνώριση Προτύπων Ι

Αναγνώριση Προτύπων Ι Αναγνώριση Προτύπων Ι Ενότητα 3: Στοχαστικά Συστήματα Αν. Καθηγητής Δερματάς Ευάγγελος Τμήμα Ηλεκτρολόγων Μηχανικών και Τεχνολογίας Υπολογιστών Άδειες Χρήσης Το παρόν εκπαιδευτικό υλικό υπόκειται σε άδειες

Διαβάστε περισσότερα

ΚΕΦΑΛΑΙΟ 4 ΑΡΙΘΜΗΤΙΚΕΣ ΜΕΘΟ ΟΙ ΕΥΡΕΣΗΣ ΠΡΑΓΜΑΤΙΚΩΝ Ι ΙΟΤΙΜΩΝ. 4.1 Γραµµικοί µετασχηµατισµοί-ιδιοτιµές-ιδιοδιανύσµατα

ΚΕΦΑΛΑΙΟ 4 ΑΡΙΘΜΗΤΙΚΕΣ ΜΕΘΟ ΟΙ ΕΥΡΕΣΗΣ ΠΡΑΓΜΑΤΙΚΩΝ Ι ΙΟΤΙΜΩΝ. 4.1 Γραµµικοί µετασχηµατισµοί-ιδιοτιµές-ιδιοδιανύσµατα ΚΕΦΑΛΑΙΟ 4 ΑΡΙΘΜΗΤΙΚΕΣ ΜΕΘΟ ΟΙ ΕΥΡΕΣΗΣ ΠΡΑΓΜΑΤΙΚΩΝ Ι ΙΟΤΙΜΩΝ 4. Γραµµικοί µετασχηµατισµοί-ιδιοτιµές-ιδιοδιανύσµατα Εστω R είναι ο γνωστός -διάστατος πραγµατικός διανυσµατικός χώρος. Μία απεικόνιση L :

Διαβάστε περισσότερα

ιδάσκοντες :Τµήµα Α ( Αρτιοι) : Καθηγητής Ν. Μισυρλής,Τµήµα Β (Περιττοί) : Αριθµητική Επίκ.

ιδάσκοντες :Τµήµα Α ( Αρτιοι) : Καθηγητής Ν. Μισυρλής,Τµήµα Β (Περιττοί) : Αριθµητική Επίκ. Αριθµητική Ανάλυση ιδάσκοντες: Τµήµα Α ( Αρτιοι) : Καθηγητής Ν. Μισυρλής, Τµήµα Β (Περιττοί) : Επίκ. Καθηγητής Φ.Τζαφέρης ΕΚΠΑ Μαρτίου 00 ιδάσκοντες:τµήµα Α ( Αρτιοι) : Καθηγητής Ν. Μισυρλής,Τµήµα Β Αριθµητική

Διαβάστε περισσότερα

Υπολογιστικές Μέθοδοι στις Κατασκευές

Υπολογιστικές Μέθοδοι στις Κατασκευές Γενικά Για Τη Βελτιστοποίηση Η βελτιστοποίηση µπορεί να χωριστεί σε δύο µεγάλες κατηγορίες: α) την Βελτιστοποίηση Τοπολογίας (Topological Optimization) και β) την Βελτιστοποίηση Σχεδίασης (Design Optimization).

Διαβάστε περισσότερα

2.1 Αριθμητική επίλυση εξισώσεων

2.1 Αριθμητική επίλυση εξισώσεων . Αριθμητική επίλυση εξισώσεων Στο κεφάλαιο αυτό διαπραγματεύεται μεθόδους εύρεσης των ριζών εξισώσεων γραμμικών ή μη-γραμμικών για τις οποίες δεν υπάρχουν αναλυτικές 5 4 3 εκφράσεις. Παραδείγματα εξισώσεων

Διαβάστε περισσότερα

Πιο συγκεκριμένα, η χρήση του MATLAB προσφέρει τα ακόλουθα πλεονεκτήματα.

Πιο συγκεκριμένα, η χρήση του MATLAB προσφέρει τα ακόλουθα πλεονεκτήματα. i Π Ρ Ο Λ Ο Γ Ο Σ Το βιβλίο αυτό αποτελεί μια εισαγωγή στα βασικά προβλήματα των αριθμητικών μεθόδων της υπολογιστικής γραμμικής άλγεβρας (computational linear algebra) και της αριθμητικής ανάλυσης (numerical

Διαβάστε περισσότερα

Κανονικ ες ταλαντ ωσεις

Κανονικ ες ταλαντ ωσεις Κανονικες ταλαντωσεις Ειδαµε ηδη οτι φυσικα συστηµατα πλησιον ενος σηµειου ευαταθους ισορροπιας συ- µπεριφερονται οπως σωµατιδια που αλληλεπιδρουν µε γραµµικες δυναµεις επαναφορας οπως θα συνεαινε σε σωµατιδια

Διαβάστε περισσότερα

Non Linear Equations (2)

Non Linear Equations (2) Non Linear Equations () Τρίτη, 17 Φεβρουαρίου 015 5:14 μμ 15.0.19 Page 1 15.0.19 Page 15.0.19 Page 3 15.0.19 Page 4 15.0.19 Page 5 15.0.19 Page 6 15.0.19 Page 7 15.0.19 Page 8 15.0.19 Page 9 15.0.19 Page

Διαβάστε περισσότερα

Συστήµατα Μη-Γραµµικών Εξισώσεων Μέθοδος Newton-Raphson

Συστήµατα Μη-Γραµµικών Εξισώσεων Μέθοδος Newton-Raphson Ιαν. 009 Συστήµατα Μη-Γραµµικών Εξισώσεων Μέθοδος Newton-Raphson Έστω y, y,, yn παρατηρήσεις µιας m -διάστατης τυχαίας µεταβλητής µε συνάρτηση πυκνότητας πιθανότητας p( y; θ) η οποία περιγράφεται από ένα

Διαβάστε περισσότερα

Κεφ. 6Β: Συνήθεις διαφορικές εξισώσεις (ΣΔΕ) - προβλήματα αρχικών τιμών

Κεφ. 6Β: Συνήθεις διαφορικές εξισώσεις (ΣΔΕ) - προβλήματα αρχικών τιμών Κεφ. 6Β: Συνήθεις διαφορικές εξισώσεις (ΣΔΕ) - προβλήματα αρχικών τιμών. Εισαγωγή (ορισμός προβλήματος, αριθμητική ολοκλήρωση ΣΔΕ, αντικατάσταση ΣΔΕ τάξης n με n εξισώσεις ης τάξης). Μέθοδος Euler 3. Μέθοδοι

Διαβάστε περισσότερα

ΜΕΘΟΔΟΙ ΑΕΡΟΔΥΝΑΜΙΚΗΣ

ΜΕΘΟΔΟΙ ΑΕΡΟΔΥΝΑΜΙΚΗΣ ΕΘΝΙΚΟ ΜΕΤΣΟΒΙΟ ΠΟΛΥΤΕΧΝΕΙΟ Εργαστήριο Θερμικών Στροβιλομηχανών Μονάδα Παράλληλης ης Υπολογιστικής Ρευστοδυναμικής & Βελτιστοποίησης ΜΕΘΟΔΟΙ ΑΕΡΟΔΥΝΑΜΙΚΗΣ ΒΕΛΤΙΣΤΟΠΟΙΗΣΗΣ (7 ο Εξάμηνο Σχολής Μηχ.Μηχ. ΕΜΠ)

Διαβάστε περισσότερα

Διδάσκων: Καθηγητής Νικόλαος Μαρμαρίδης, Καθηγητής Ιωάννης Μπεληγιάννης

Διδάσκων: Καθηγητής Νικόλαος Μαρμαρίδης, Καθηγητής Ιωάννης Μπεληγιάννης Τίτλος Μαθήματος: Γραμμική Άλγεβρα ΙΙ Ενότητα: Η Ορίζουσα Gram και οι Εφαρµογές της Διδάσκων: Καθηγητής Νικόλαος Μαρμαρίδης, Καθηγητής Ιωάννης Μπεληγιάννης Τμήμα: Μαθηματικών 65 11 Η Ορίζουσα Gram και

Διαβάστε περισσότερα

ΕΥΦΥΗΣ ΕΛΕΓΧΟΣ. Ενότητα #8: Βελτιστοποίηση Συστημάτων Ασαφούς Λογικής. Αναστάσιος Ντούνης Τμήμα Μηχανικών Αυτοματισμού Τ.Ε.

ΕΥΦΥΗΣ ΕΛΕΓΧΟΣ. Ενότητα #8: Βελτιστοποίηση Συστημάτων Ασαφούς Λογικής. Αναστάσιος Ντούνης Τμήμα Μηχανικών Αυτοματισμού Τ.Ε. ΕΛΛΗΝΙΚΗ ΔΗΜΟΚΡΑΤΙΑ Ανώτατο Εκπαιδευτικό Ίδρυμα Πειραιά Τεχνολογικού Τομέα ΕΥΦΥΗΣ ΕΛΕΓΧΟΣ Ενότητα #8: Βελτιστοποίηση Συστημάτων Ασαφούς Λογικής Αναστάσιος Ντούνης Τμήμα Μηχανικών Αυτοματισμού Τ.Ε. Άδειες

Διαβάστε περισσότερα

ΠΑΝΕΠΙΣΤΗΜΙΟ ΜΑΚΕ ΟΝΙΑΣ ΟΙΚΟΝΟΜΙΚΩΝ ΚΑΙ ΚΟΙΝΩΝΙΚΩΝ ΕΠΙΣΤΗΜΩΝ ΤΜΗΜΑ ΕΦΑΡΜΟΣΜΕΝΗΣ ΠΛΗΡΟΦΟΡΙΚΗΣ ΝΕΥΡΩΝΙΚΑ ΙΚΤΥΑ

ΠΑΝΕΠΙΣΤΗΜΙΟ ΜΑΚΕ ΟΝΙΑΣ ΟΙΚΟΝΟΜΙΚΩΝ ΚΑΙ ΚΟΙΝΩΝΙΚΩΝ ΕΠΙΣΤΗΜΩΝ ΤΜΗΜΑ ΕΦΑΡΜΟΣΜΕΝΗΣ ΠΛΗΡΟΦΟΡΙΚΗΣ ΝΕΥΡΩΝΙΚΑ ΙΚΤΥΑ ΘΕΜΑ ο 2.5 µονάδες ΠΑΝΕΠΙΣΤΗΜΙΟ ΜΑΚΕ ΟΝΙΑΣ ΟΙΚΟΝΟΜΙΚΩΝ ΚΑΙ ΚΟΙΝΩΝΙΚΩΝ ΕΠΙΣΤΗΜΩΝ ΤΜΗΜΑ ΕΑΡΜΟΣΜΕΝΗΣ ΠΛΗΡΟΟΡΙΚΗΣ ΝΕΥΡΩΝΙΚΑ ΙΚΤΥΑ Τελικές εξετάσεις 2 Οκτωβρίου 23 ιάρκεια: 2 ώρες Έστω το παρακάτω γραµµικώς

Διαβάστε περισσότερα

QR είναι ˆx τότε x ˆx. 10 ρ. Ποιά είναι η τιµή του ρ και γιατί (σύντοµη εξήγηση). P = [X. 0, X,..., X. (n 1), X. n] a(n + 1 : 1 : 1)

QR είναι ˆx τότε x ˆx. 10 ρ. Ποιά είναι η τιµή του ρ και γιατί (σύντοµη εξήγηση). P = [X. 0, X,..., X. (n 1), X. n] a(n + 1 : 1 : 1) ΕΠΙΣΤΗΜΟΝΙΚΟΣ ΥΠΟΛΟΓΙΣΜΟΣ I (22 Σεπτεµβρίου) ΕΠΙΛΕΓΜΕΝΕΣ ΑΠΑΝΤΗΣΕΙΣ 1ο ΘΕΜΑ 1. Αφού ορίσετε ακριβώς τι σηµαίνει πίσω ευσταθής υπολογισµός, να εξηγήσετε αν ο υ- πολογισµός του εσωτερικού γινοµένου δύο διανυσµάτων

Διαβάστε περισσότερα

1 Ορισµός ακολουθίας πραγµατικών αριθµών

1 Ορισµός ακολουθίας πραγµατικών αριθµών ΜΑΣ 02. Απειροστικός Λογισµός Ι Ορισµός ακολουθίας πραγµατικών αριθµών Ορισµός.. Ονοµάζουµε ακολουθία πραγµατικών αριθµών κάθε απεικόνιση του συνόλου N των ϕυσικών αριθµών, στο σύνολο R των πραγµατικών

Διαβάστε περισσότερα

Μάθημα Επιλογής 8 ου εξαμήνου

Μάθημα Επιλογής 8 ου εξαμήνου EΘNIKO ΜEΤΣΟΒΙΟ ΠΟΛΥΤΕΧΝΕΙΟ ΣΧΟΛΗ ΧΗΜΙΚΩΝ ΜΗΧΑΝΙΚΩΝ ΤΟΜΕΑΣ ΙΙ: Ανάλυσης, Σχεδιασμού & Ανάπτυξης Διεργασιών & Συστημάτων Υπολογιστικές Μέθοδοι Ανάλυσης και Σχεδιασμού Μάθημα Επιλογής 8 ου εξαμήνου Διδάσκων:

Διαβάστε περισσότερα

Επιστημονικοί Υπολογισμοί (ή Υπολογιστική Επιστήμη)

Επιστημονικοί Υπολογισμοί (ή Υπολογιστική Επιστήμη) Επιστημονικοί Υπολογισμοί (ή Υπολογιστική Επιστήμη) Ασχολoύνται με την κατασκευή μαθηματικών μοντέλων και με τεχνικές ποσοτικής ανάλυσης και τη χρήση υπολογιστών για την ανάλυση και την επίλυση επιστημονικών

Διαβάστε περισσότερα

ΣΕΙΡΕΣ TAYLOR. Στην Ενότητα αυτή θα ασχοληθούµε µε την προσέγγιση συναρτήσεων µέσω πολυωνύµων. Πολυώνυµο είναι κάθε συνάρτηση της µορφής:

ΣΕΙΡΕΣ TAYLOR. Στην Ενότητα αυτή θα ασχοληθούµε µε την προσέγγιση συναρτήσεων µέσω πολυωνύµων. Πολυώνυµο είναι κάθε συνάρτηση της µορφής: ΣΕΙΡΕΣ TAYLOR Στην Ενότητα αυτή θα ασχοληθούµε µε την προσέγγιση συναρτήσεων µέσω πολυωνύµων Πολυώνυµο είναι κάθε συνάρτηση της µορφής: p( ) = a + a + a + a + + a, όπου οι συντελεστές α i θα θεωρούνται

Διαβάστε περισσότερα

Μέθοδοι μονοδιάστατης ελαχιστοποίησης

Μέθοδοι μονοδιάστατης ελαχιστοποίησης Βασικές αρχές μεθόδων ελαχιστοποίησης Μέθοδοι μονοδιάστατης ελαχιστοποίησης Οι μέθοδοι ελαχιστοποίησης είναι επαναληπτικές. Ξεκινώντας από μια αρχική προσέγγιση του ελαχίστου (την συμβολίζουμε ) παράγουν

Διαβάστε περισσότερα

Γεώργιος Ακρίβης. Προσωπικά στοιχεία. Εκπαίδευση. Ακαδημαϊκές Θέσεις. Ηράκλειο. Country, Ισπανία. Λευκωσία, Κύπρος. Rennes, Γαλλία.

Γεώργιος Ακρίβης. Προσωπικά στοιχεία. Εκπαίδευση. Ακαδημαϊκές Θέσεις. Ηράκλειο. Country, Ισπανία. Λευκωσία, Κύπρος. Rennes, Γαλλία. Γεώργιος Ακρίβης Προσωπικά στοιχεία Έτος γέννησης 1950 Τόπος γέννησης Χρυσοβίτσα Ιωαννίνων Εκπαίδευση 1968 1973,, Ιωάννινα. Μαθηματικά 1977 1983,, Μόναχο, Γερμανία. Μαθηματικά, Αριθμητική Ανάλυση Ακαδημαϊκές

Διαβάστε περισσότερα

Μη γραµµικοί ταξινοµητές Νευρωνικά ίκτυα

Μη γραµµικοί ταξινοµητές Νευρωνικά ίκτυα KEΣ 3 Αναγνώριση Προτύπων και Ανάλυση Εικόνας Μη γραµµικοί ταξινοµητές Νευρωνικά ίκτυα ΤµήµαΕπιστήµης και Τεχνολογίας Τηλεπικοινωνιών Πανεπιστήµιο Πελοποννήσου Εισαγωγή Πολυεπίπεδες Perceptron Οαλγόριθµος

Διαβάστε περισσότερα

HY213. ΑΡΙΘΜΗΤΙΚΗ ΑΝΑΛΥΣΗ

HY213. ΑΡΙΘΜΗΤΙΚΗ ΑΝΑΛΥΣΗ HY3. ΑΡΙΘΜΗΤΙΚΗ ΑΝΑΛΥΣΗ ΕΠΙΛΥΣΗ ΜΗ ΓΡΑΜΜΙΚΩΝ ΕΞΙΣΩΣΕΩΝ Π. ΤΣΟΜΠΑΝΟΠΟΥΛΟΥ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΙΑΣ ΤΜΗΜΑ ΗΛΕΚΤΡΟΛΟΓΩΝ ΜΗΧ. & ΜΗΧ. ΥΠΟΛΟΓΙΣΤΩΝ Βασικά σημεία Μη γραμμικές εξισώσεις με πραγματικές ρίζες. Μέθοδος

Διαβάστε περισσότερα

1. Τετραγωνικές μορφές. x y 0. 0x y 0 1α 1β 2α 2β 3. 0x + y 0

1. Τετραγωνικές μορφές. x y 0. 0x y 0 1α 1β 2α 2β 3. 0x + y 0 Β4. ΕΣΣΙΑΝΟΣ ΠΙΝΑΚΑΣ-ΚΥΡΤΟΤΗΤΑ 1.Τετραγωνικές μορφές.χαρακτηρισμός συμμετρικών πινάκων 3.Δεύτερες μερικές παράγωγοι-εσσιανός πίνακας 4.Συνθήκες για ακρότατα 5.Κυρτές/κοίλες συναρτήσεις 6.Ολικά ακρότατα

Διαβάστε περισσότερα

HMY 795: Αναγνώριση Προτύπων

HMY 795: Αναγνώριση Προτύπων HMY 795: Αναγνώριση Προτύπων Διάλεξη 2 Επισκόπηση θεωρίας πιθανοτήτων Τυχαίες μεταβλητές: Βασικές έννοιες Τυχαία μεταβλητή: Μεταβλητή της οποίας δε γνωρίζουμε με βεβαιότητα την τιμή (σε αντίθεση με τις

Διαβάστε περισσότερα

5.1 Ιδιοτιµές και Ιδιοδιανύσµατα

5.1 Ιδιοτιµές και Ιδιοδιανύσµατα Κεφάλαιο 5 Ιδιοτιµές και Ιδιοδιανύσµατα 5 Ιδιοτιµές και Ιδιοδιανύσµατα Αν ο A είναι ένας n n πίνακας και το x είναι ένα διάνυσµα στον R n, τότε το Ax είναι και αυτό ένα διάνυσµα στον R n Συνήθως δεν υπάρχει

Διαβάστε περισσότερα

ΣΤΟΧΑΣΤΙΚΑ ΣΗΜΑΤΑ ΚΑΙ ΕΦΑΡΜΟΓΕΣ

ΣΤΟΧΑΣΤΙΚΑ ΣΗΜΑΤΑ ΚΑΙ ΕΦΑΡΜΟΓΕΣ ΣΤΟΧΑΣΤΙΚΑ ΣΗΜΑΤΑ ΚΑΙ ΕΦΑΡΜΟΓΕΣ Ακαδηµαϊκό Έτος 007-008 ιδάσκων: Ν. Παπανδρέου (Π.. 407/80) Πανεπιστήµιο Πατρών Τµήµα Μηχανικών Ηλεκτρονικών Υπολογιστών και Πληροφορικής 1η Εργαστηριακή Άσκηση Αναγνώριση

Διαβάστε περισσότερα

Η ΤΕΧΝΗ ΤΟΥ ΙΑΒΑΣΜΑΤΟΣ ΜΕΤΑΞΥ ΤΩΝ ΑΡΙΘΜΩΝ (ΠΑΡΕΜΒΟΛΗ ΚΑΙ ΠΡΟΣΕΓΓΙΣΗ)

Η ΤΕΧΝΗ ΤΟΥ ΙΑΒΑΣΜΑΤΟΣ ΜΕΤΑΞΥ ΤΩΝ ΑΡΙΘΜΩΝ (ΠΑΡΕΜΒΟΛΗ ΚΑΙ ΠΡΟΣΕΓΓΙΣΗ) Η ΤΕΧΝΗ ΤΟΥ ΙΑΒΑΣΜΑΤΟΣ ΜΕΤΑΞΥ ΤΩΝ ΑΡΙΘΜΩΝ (ΠΑΡΕΜΒΟΛΗ ΚΑΙ ΠΡΟΣΕΓΓΙΣΗ) ΜΙΧΑΛΗΣ ΤΖΟΥΜΑΣ ΕΣΠΟΤΑΤΟΥ 3 ΑΓΡΙΝΙΟ. ΠΕΡΙΛΗΨΗ Η έννοια της συνάρτησης είναι στενά συνυφασµένη µε τον πίνακα τιµών και τη γραφική παράσταση.

Διαβάστε περισσότερα

15 εκεµβρίου εκεµβρίου / 64

15 εκεµβρίου εκεµβρίου / 64 15 εκεµβρίου 016 15 εκεµβρίου 016 1 / 64 Αριθµητική Ολοκλήρωση Κλειστοί τύποι αριθµητικής ολοκλήρωσης Εστω I(f) = b µε f(x) C[a, b], τότε I(f) = F(b) F(a), όπου F(x) είναι το αόριστο ολοκλήρωµα της f(x).

Διαβάστε περισσότερα

Πεπερασμένες διαφορές

Πεπερασμένες διαφορές Κεφάλαιο 2 Πεπερασμένες διαφορές Αυτό το κεφάλαιο αποτελεί μια εισαγωγή στο αντικείμενο των πεπερασμένων διαφορών για την επίλυση διαφορικών εξισώσεων. Θα εισαγάγουμε ποσότητες που προκύπτουν από διαφορές

Διαβάστε περισσότερα

1. Εισαγωγή Βάση δεδομένων Μεθοδολογία Νευρωνικών Δικτύων Αποτελέσματα Βιβλιογραφια Παραρτήμα Ι...

1. Εισαγωγή Βάση δεδομένων Μεθοδολογία Νευρωνικών Δικτύων Αποτελέσματα Βιβλιογραφια Παραρτήμα Ι... ΣΥΣΤΗΜΑ ΠΑΡΑΚΟΛΟΥΘΗΣΗΣ ΑΕΡΟΣΩΜΑΤΙ ΙΑΚΗΣ ΡΥΠΑΝΣΗΣ ΣΕ ΣΧΕ ΟΝ ΠΡΑΓΜΑΤΙΚΟ ΧΡΟΝΟ ΠΑΡΑ ΟΤΕΟ 7 ΜΕΘΟ ΟΛΟΓΙΑ ΓΙΑ ΚΑΤΗΓΟΡΙΟΠΟΙΗΣΗ ΣΥΝΟΠΤΙΚΩΝ ΚΑΤΑΣΤΑΣΕΩΝ ΚΑΙ ΗΜΙΟΥΡΓΙΑ ΣΥΝΟΠΤΙΚΩΝ ΠΡΟΤΥΠΩΝ Συγγραφείς: Φίλιππος Τύµβιος

Διαβάστε περισσότερα

Εισαγωγή. Οπως είδαµε για την εκκίνηση της Simplex χρειαζόµαστε µια Αρχική Βασική Εφικτή Λύση. υϊσµός

Εισαγωγή. Οπως είδαµε για την εκκίνηση της Simplex χρειαζόµαστε µια Αρχική Βασική Εφικτή Λύση. υϊσµός Εισαγωγή Οπως είδαµε για την εκκίνηση της Simplex χρειαζόµαστε µια Αρχική Βασική Εφικτή Λύση Εισαγωγή Οπως είδαµε για την εκκίνηση της Simplex χρειαζόµαστε µια Αρχική Βασική Εφικτή Λύση Σε περιπτώσεις

Διαβάστε περισσότερα

Ανάλυση Σ.Α.Ε στο χώρο κατάστασης

Ανάλυση Σ.Α.Ε στο χώρο κατάστασης ΚΕΣ : Αυτόµατος Έλεγχος ΚΕΣ Αυτόµατος Έλεγχος Ανάλυση Σ.Α.Ε στο χώρο 6 Nicola Tapaouli Λύση εξισώσεων ΚΕΣ : Αυτόµατος Έλεγχος Βιβλιογραφία Ενότητας Παρασκευόπουλος [4]: Κεφάλαιο 5: Ενότητες 5.-5. Παρασκευόπουλος

Διαβάστε περισσότερα

ΕΛΛΗΝΙΚΟ ΑΝΟΙΚΤΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΠΡΟΓΡΑΜΜΑ ΣΠΟΥ ΩΝ ΣΤΗΝ «ΠΛΗΡΟΦΟΡΙΚΗ» ΘΕΜΑΤΙΚΗ ΕΝΟΤΗΤΑ : ΠΛΗ12 «ΜΑΘΗΜΑΤΙΚΑ Ι» Επαναληπτική Τελική Εξέταση 16 Ιουλίου 2003

ΕΛΛΗΝΙΚΟ ΑΝΟΙΚΤΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΠΡΟΓΡΑΜΜΑ ΣΠΟΥ ΩΝ ΣΤΗΝ «ΠΛΗΡΟΦΟΡΙΚΗ» ΘΕΜΑΤΙΚΗ ΕΝΟΤΗΤΑ : ΠΛΗ12 «ΜΑΘΗΜΑΤΙΚΑ Ι» Επαναληπτική Τελική Εξέταση 16 Ιουλίου 2003 http://edueapgr/pli/pli/studetshtm Page of 6 ΕΛΛΗΝΙΚΟ ΑΝΟΙΚΤΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΠΡΟΓΡΑΜΜΑ ΣΠΟΥ ΩΝ ΣΤΗΝ «ΠΛΗΡΟΦΟΡΙΚΗ» ΘΕΜΑΤΙΚΗ ΕΝΟΤΗΤΑ : ΠΛΗ «ΜΑΘΗΜΑΤΙΚΑ Ι» Επαναληπτική Τελική Εξέταση 6 Ιουλίου Απαντήστε όλα

Διαβάστε περισσότερα

Προσαρµοστικοί Αλγόριθµοι Υλοποίησης Βέλτιστων Ψηφιακών Φίλτρων: Ο αναδροµικός αλγόριθµος ελάχιστων τετραγώνων (RLS Recursive Least Squares)

Προσαρµοστικοί Αλγόριθµοι Υλοποίησης Βέλτιστων Ψηφιακών Φίλτρων: Ο αναδροµικός αλγόριθµος ελάχιστων τετραγώνων (RLS Recursive Least Squares) ΒΕΣ 6 Προσαρµοστικά Συστήµατα στις Τηλεπικοινωνίες Προσαρµοστικοί Αλγόριθµοι Υλοποίησης Βέλτιστων Ψηφιακών Φίλτρων: Ο αναδροµικός αλγόριθµος ελάχιστων τετραγώνων RLS Rcrsiv Last Sqars 27 iclas sapatslis

Διαβάστε περισσότερα

ΚΕΦΑΛΑΙΟ 2 ΜΗ ΓΡΑΜΜΙΚΕΣ ΕΞΙΣΩΣΕΙΣ

ΚΕΦΑΛΑΙΟ 2 ΜΗ ΓΡΑΜΜΙΚΕΣ ΕΞΙΣΩΣΕΙΣ ΚΕΦΑΛΑΙΟ ΜΗ ΓΡΑΜΜΙΚΕΣ ΕΞΙΣΩΣΕΙΣ Η αδυναµία επίλυσης της πλειοψηφίας των µη γραµµικών εξισώσεων µε αναλυτικές µεθόδους, ώθησε στην ανάπτυξη αριθµητικών µεθόδων για την προσεγγιστική επίλυσή τους, π.χ. συν()

Διαβάστε περισσότερα

ΙΙ ιαφορικός Λογισµός πολλών µεταβλητών. ιαφόριση συναρτήσεων πολλών µεταβλητών

ΙΙ ιαφορικός Λογισµός πολλών µεταβλητών. ιαφόριση συναρτήσεων πολλών µεταβλητών 54 ΙΙ ιαφορικός Λογισµός πολλών µεταβλητών ιαφόριση συναρτήσεων πολλών µεταβλητών Ένας στέρεος ορισµός της παραγώγισης για συναρτήσεις πολλών µεταβλητών ανάλογος µε τον ορισµό για συναρτήσεις µιας µεταβλητής

Διαβάστε περισσότερα

Βασικές αρχές εκπαίδευσης ΤΝΔ: το perceptron. "Τεχνητά Νευρωνικά Δίκτυα" (Διαφάνειες), Α. Λύκας, Παν. Ιωαννίνων

Βασικές αρχές εκπαίδευσης ΤΝΔ: το perceptron. Τεχνητά Νευρωνικά Δίκτυα (Διαφάνειες), Α. Λύκας, Παν. Ιωαννίνων Βασικές αρχές εκπαίδευσης ΤΝΔ: το perceptron Βιολογικός Νευρώνας Δενδρίτες, που αποτελούν τις γραμμές εισόδου των ερεθισμάτων (βιολογικών σημάτων) Σώμα, στο οποίο γίνεται η συσσώρευση των ερεθισμάτων και

Διαβάστε περισσότερα

Επιστηµονικοί Υπολογισµοί Μέθοδοι µεταβλητής παρεκτροπής (Variable Extrapolation)

Επιστηµονικοί Υπολογισµοί Μέθοδοι µεταβλητής παρεκτροπής (Variable Extrapolation) Επιστηµονικοί Υπολογισµοί 3.6.1 Μέθοδοι µεταβλητής παρεκτροπής (Variable Extrapolation) Πανεπιστήµιο Αθηνών 10 Μαΐου 2017 (Πανεπιστήµιο Αθηνών) Επιστηµονικοί Υπολογισµοί3.6.1 Μέθοδοι µεταβλητής παρεκτροπής(variable

Διαβάστε περισσότερα

ΕΥΦΥΗΣ ΕΛΕΓΧΟΣ. Ενότητα #12: Εισαγωγή στα Nευρωνικά Δίκτυα. Αναστάσιος Ντούνης Τμήμα Μηχανικών Αυτοματισμού Τ.Ε.

ΕΥΦΥΗΣ ΕΛΕΓΧΟΣ. Ενότητα #12: Εισαγωγή στα Nευρωνικά Δίκτυα. Αναστάσιος Ντούνης Τμήμα Μηχανικών Αυτοματισμού Τ.Ε. ΕΛΛΗΝΙΚΗ ΔΗΜΟΚΡΑΤΙΑ Ανώτατο Εκπαιδευτικό Ίδρυμα Πειραιά Τεχνολογικού Τομέα ΕΥΦΥΗΣ ΕΛΕΓΧΟΣ Ενότητα #12: Εισαγωγή στα Nευρωνικά Δίκτυα Αναστάσιος Ντούνης Τμήμα Μηχανικών Αυτοματισμού Τ.Ε. Άδειες Χρήσης Το

Διαβάστε περισσότερα

A2. ΠΑΡΑΓΩΓΟΣ-ΚΛΙΣΗ-ΜΟΝΟΤΟΝΙΑ

A2. ΠΑΡΑΓΩΓΟΣ-ΚΛΙΣΗ-ΜΟΝΟΤΟΝΙΑ A. ΠΑΡΑΓΩΓΟΣ-ΚΛΙΣΗ-ΜΟΝΟΤΟΝΙΑ d df() = f() = f (), = d d.κλίση ευθείας.μεταβολές 3.(Οριακός) ρυθµός µεταβολής ή παράγωγος 4.Παράγωγοι βασικών συναρτήσεων 5. Κανόνες παραγώγισης 6.Αλυσωτή παράγωγος 7.Μονοτονία

Διαβάστε περισσότερα

Στοχαστικά Σήµατα και Εφαρµογές

Στοχαστικά Σήµατα και Εφαρµογές Στοχαστικά Σήµατα & Εφαρµογές Ανασκόπηση Στοιχείων Γραµµικής Άλγεβρας ιδάσκων: Ν. Παπανδρέου (Π.. 407/80) Πανεπιστήµιο Πατρών ΤµήµαΜηχανικώνΗ/Υ και Πληροφορικής ιανύσµατα Ορίζουµετοδιάνυσµα µε Ν στοιχεία

Διαβάστε περισσότερα

Κεφ. 2: Επίλυση συστημάτων εξισώσεων. 2.1 Επίλυση εξισώσεων

Κεφ. 2: Επίλυση συστημάτων εξισώσεων. 2.1 Επίλυση εξισώσεων Κεφ. : Επίλυση συστημάτων εξισώσεων. Επίλυση εξισώσεων. Επίλυση συστημάτων με απευθείας μεθόδους.. Μέθοδοι Gauss, Gauss-Jorda.. Παραγοντοποίηση LU (ειδικές περιπτώσεις: Cholesky, Thomas).. Νόρμες πινάκων,

Διαβάστε περισσότερα

Αριθµητική Ολοκλήρωση

Αριθµητική Ολοκλήρωση Κεφάλαιο 5 Αριθµητική Ολοκλήρωση 5. Εισαγωγή Για τη συντριπτική πλειοψηφία των συναρτήσεων f (x) δεν υπάρχουν ή είναι πολύ δύσχρηστοι οι τύποι της αντιπαραγώγου της f (x), δηλαδή της F(x) η οποία ικανοποιεί

Διαβάστε περισσότερα

Επιστηµονικός Υπολογισµός Ι

Επιστηµονικός Υπολογισµός Ι Επιστηµονικός Υπολογισµός Ι Ενότητα 5 : Επίλυση Γραµµικών Συστηµάτων Ευστράτιος Γαλλόπουλος Τµήµα Μηχανικών Η/Υ & Πληροφορικής Αδειες Χρήσης Το παρόν εκπαιδευτικό υλικό υπόκειται σε άδειες χρήσης Creative

Διαβάστε περισσότερα

J-GANNO. Σύντοµη αναφορά στους κύριους στόχους σχεδίασης και τα βασικά χαρακτηριστικά του πακέτου (προέκδοση 0.9Β, Φεβ.1998) Χάρης Γεωργίου

J-GANNO. Σύντοµη αναφορά στους κύριους στόχους σχεδίασης και τα βασικά χαρακτηριστικά του πακέτου (προέκδοση 0.9Β, Φεβ.1998) Χάρης Γεωργίου J-GANNO ΓΕΝΙΚΕΥΜΕΝΟ ΠΑΚΕΤΟ ΥΛΟΠΟΙΗΣΗΣ ΤΕΧΝΗΤΩΝ ΝΕΥΡΩΝΙΚΩΝ ΙΚΤΥΩΝ ΣΤΗ ΓΛΩΣΣΑ ΠΡΟΓΡΑΜΜΑΤΙΣΜΟΥ JAVA Σύντοµη αναφορά στους κύριους στόχους σχεδίασης και τα βασικά χαρακτηριστικά του πακέτου (προέκδοση 0.9Β,

Διαβάστε περισσότερα

Όρια συναρτήσεων. ε > υπάρχει ( ) { } = ± ορίζονται αναλόγως. Η διατύπωση αυτών των ορισµών αφήνεται ως άσκηση. x y = +. = και για κάθε (, ) ( 0,0)

Όρια συναρτήσεων. ε > υπάρχει ( ) { } = ± ορίζονται αναλόγως. Η διατύπωση αυτών των ορισµών αφήνεται ως άσκηση. x y = +. = και για κάθε (, ) ( 0,0) Όρια συναρτήσεων 5 Ορισµός Έστω, : Α συνάρτηση συσσώρευσης του Α και b σηµείο Λέµε ότι η έχει ως όριο το διάνυσµα b καθώς το τείνει προς το και συµβολίζουµε li ή b b αν και µόνο αν, για κάθε ε > υπάρχει

Διαβάστε περισσότερα

Υπολογισµός διπλών ολοκληρωµάτων µε διαδοχική ολοκλήρωση

Υπολογισµός διπλών ολοκληρωµάτων µε διαδοχική ολοκλήρωση 8 Υπολογισµός διπλών ολοκληρωµάτων µε διαδοχική ολοκλήρωση Υπάρχουν δύο θεµελιώδη αποτελέσµατα που µας βοηθούν να υπολογίζουµε πολλαπλά ολοκληρώµατα Το πρώτο αποτέλεσµα σχετίζεται µε τον υπολογισµό ενός

Διαβάστε περισσότερα

Εισαγωγή στους Αλγόριθµους. Αλγόριθµοι. Ιστορικά Στοιχεία. Ο πρώτος Αλγόριθµος. Παραδείγµατα Αλγορίθµων. Τι είναι Αλγόριθµος

Εισαγωγή στους Αλγόριθµους. Αλγόριθµοι. Ιστορικά Στοιχεία. Ο πρώτος Αλγόριθµος. Παραδείγµατα Αλγορίθµων. Τι είναι Αλγόριθµος Εισαγωγή στους Αλγόριθµους Αλγόριθµοι Τι είναι αλγόριθµος; Τι µπορεί να υπολογίσει ένας αλγόριθµος; Πως αξιολογείται ένας αλγόριθµος; Παύλος Εφραιµίδης pefraimi@ee.duth.gr Αλγόριθµοι Εισαγωγικές Έννοιες

Διαβάστε περισσότερα

On line αλγόριθμοι δρομολόγησης για στοχαστικά δίκτυα σε πραγματικό χρόνο

On line αλγόριθμοι δρομολόγησης για στοχαστικά δίκτυα σε πραγματικό χρόνο On line αλγόριθμοι δρομολόγησης για στοχαστικά δίκτυα σε πραγματικό χρόνο Υπ. Διδάκτωρ : Ευαγγελία Χρυσοχόου Επιβλέπων Καθηγητής: Αθανάσιος Ζηλιασκόπουλος Τμήμα Μηχανολόγων Μηχανικών Περιεχόμενα Εισαγωγή

Διαβάστε περισσότερα

3. O ΑΛΓΟΡΙΘΜΟΣ ΤΟΥ PERCEPTRON

3. O ΑΛΓΟΡΙΘΜΟΣ ΤΟΥ PERCEPTRON 3. O ΑΛΓΟΡΙΘΜΟΣ ΤΟΥ PERCEPRON 3. ΕΙΣΑΓΩΓΗ: Το Perceptron είναι η απλούστερη μορφή Νευρωνικού δικτύου, το οποίο χρησιμοποιείται για την ταξινόμηση ενός ειδικού τύπου προτύπων, που είναι γραμμικά διαχωριζόμενα.

Διαβάστε περισσότερα

Προσδιορισµός των χαρακτηριστικών (ιδιο-)συχνοτήτων και κανονικών τρόπων ταλάντωσης µε χρήση συµµετριών

Προσδιορισµός των χαρακτηριστικών (ιδιο-)συχνοτήτων και κανονικών τρόπων ταλάντωσης µε χρήση συµµετριών Μηχανική ΙΙ Τµήµα Ιωάννου-Αποστολάτου 6 Μαϊου 2001 Προσδιορισµός των χαρακτηριστικών (ιδιο-)συχνοτήτων και κανονικών τρόπων ταλάντωσης µε χρήση συµµετριών Θεωρούµε ότι 6 ίσες µάζες συνδέονται µε ταυτόσηµα

Διαβάστε περισσότερα

ΠΡΟΒΛΗΜΑΤΑ ΔΥΟ ΔΙΑΣΤΑΣΕΩΝ

ΠΡΟΒΛΗΜΑΤΑ ΔΥΟ ΔΙΑΣΤΑΣΕΩΝ ΠΡΟΒΛΗΜΑΤΑ ΔΥΟ ΔΙΑΣΤΑΣΕΩΝ Η ανάλυση προβλημάτων δύο διαστάσεων με τη μέθοδο των Πεπερασμένων Στοιχείων περιλαμβάνει τα ίδια βήματα όπως και στα προβλήματα μιας διάστασης. Η ανάλυση γίνεται λίγο πιο πολύπλοκη

Διαβάστε περισσότερα

Γ. Κορίλη Αλγόριθµοι ροµολόγησης

Γ. Κορίλη Αλγόριθµοι ροµολόγησης - Γ. Κορίλη Αλγόριθµοι ροµολόγησης http://www.seas.upenn.edu/~tcom50/lectures/lecture.pdf ροµολόγηση σε ίκτυα εδοµένων Αναπαράσταση ικτύου µε Γράφο Μη Κατευθυνόµενοι Γράφοι Εκτεταµένα έντρα Κατευθυνόµενοι

Διαβάστε περισσότερα

Εισαγωγή στα Προσαρµοστικά Συστήµατα

Εισαγωγή στα Προσαρµοστικά Συστήµατα ΒΕΣ 06 Προσαρµοστικά Συστήµατα στις Τηλεπικοινωνίες Εισαγωγή στα Προσαρµοστικά Συστήµατα Νικόλας Τσαπατσούλης Επίκουρος Καθηγητής Π..407/80 Τµήµα Επιστήµη και Τεχνολογίας Τηλεπικοινωνιών Πανεπιστήµιο Πελοποννήσου

Διαβάστε περισσότερα

Εισαγωγή στο Λογισμό των Μεταβολών : Βελτιστοποίηση σε Πεπερασμένες Διαστάσεις & Ισοτικοί Περιορισμοί

Εισαγωγή στο Λογισμό των Μεταβολών : Βελτιστοποίηση σε Πεπερασμένες Διαστάσεις & Ισοτικοί Περιορισμοί Βελτιστοποίηση σε Πεπερασμένες Διαστάσεις & Ισοτικοί Περιορισμοί Τι θα γίνει όμως αν μας ζητηθεί να ελαχιστοποιήσουμε ως προς το R την f ( ) = Q + S Q = Q = S = με ταυτόχρονη ικανοποίηση της g( ) = c b

Διαβάστε περισσότερα

Πρόβλημα δύο σημείων. Κεφάλαιο Διακριτοποίηση

Πρόβλημα δύο σημείων. Κεφάλαιο Διακριτοποίηση Κεφάλαιο 3 Πρόβλημα δύο σημείων Σε αυτό το κεφάλαιο θα μελετήσουμε τη μεθόδο πεπερασμένων διαφορών για προβλήματα Σ.Δ.Ε. δεύτερης τάξεως, τα οποία καλούνται και προβλήματα δύο σημείων. Ο λόγος που θα ασχοληθούμε

Διαβάστε περισσότερα