Η Εκπαίδευση Τεχνητών Νευρωνικών ικτύων µε Επίβλεψη ως Πρόβληµα Ελαχιστοποίησης

Μέγεθος: px
Εμφάνιση ξεκινά από τη σελίδα:

Download "Η Εκπαίδευση Τεχνητών Νευρωνικών ικτύων µε Επίβλεψη ως Πρόβληµα Ελαχιστοποίησης"

Transcript

1 Η Εκπαίδευση Τεχνητών Νευρωνικών ικτύων µε Επίβλεψη ως Πρόβληµα Ελαχιστοποίησης Μ.Ν. Βραχάτης 1, Γ.. Μαγουλάς 2, Β.Π. Πλαγιανάκος 1 1 Τµήµα Μαθηµατικών, Πανεπιστήµιο Πατρών, , Πάτρα. 2 Department of Information Systems and Computing, Brunel University, UB8 3PH, U.K. 1. Εισαγωγή Ο όρος Τεχνητό Νευρωνικό ίκτυο (ΤΝ ), αναφέρεται σε µια αρχιτεκτονική που εκτελεί αριθµητικούς υπολογισµούς χρησιµοποιώντας δοµή µαζικού παραλληλισµού (massively parallel structure) ή παράλληλης κατανεµηµένης επεξεργασίας (parallel distributed processing). Τα ΤΝ απαρτίζονται από τεχνητούς νευρώνες που αλληλεπιδρούν µέσω συνδέσµων που ονοµάζονται συντελεστές βάρους ή απλά βάρη. Θετικά ή αρνητικά βάρη αντιστοιχούν σε συνάψεις που µεταδίδουν ή αναστέλλουν ερεθίσµατα από άλλους νευρώνες. Η µάθηση στά ΤΝ αποτελεί ένα µέσο δυναµικής αναπαράστασης κωδικοποιηµένης πληροφορίας στους νευρώνες ενός ΤΝ. Η προσέγγιση ότι η εκπαίδευση ΤΝ µε επίβλεψη αντιστοιχεί στην ελαχιστοποίηση της συνάρτησης σφάλµατος οδηγεί στην ανάπτυξη αλγορίθµων µάθησης που βασίζονται στην αριθµητική ελαχιστοποίηση χωρίς περιορισµούς, και ιδιαίτερα σε τεχνικές που χρησιµοποιούν πληροφορία σχετική µε τη συνάρτηση σφάλµατος, όπως η µέθοδος συζυγών κλίσεων και η µέθοδος του Neton (Luenberger 1969, Ortega & Rheinboldt 1970, Pola 1997). Οι δύο αυτές µέθοδοι χρησιµοποιούν, µολονότι µε διαφορετικό τρόπο, το διάνυσµα των µερικών παραγώγων πρώτης τάξης και την Εσσιανή (δεύτερης τάξης µερικές παράγωγοι) της συνάρτησης σφάλµατος. Στην εργασία του Battiti (1992) παρουσιάζεται µια επισκόπιση τεχνικών ελαχιστοποίησης µε χρήση παραγώγων πρώτης και δεύτερης τάξης, η οποίες εφαρµόζονται στην εκπαίδευση των ΤΝ µε επίβλεψη. Περιγραφή σε ψευδοκώδικα των µεθόδων που καταγράφονται παρακάτω υπάρχει στις εργασίες των Beigi et al. (1993), Møller (1993) και van der Smagt (1994), καθώς και στα βιβλία των Kung (1993) και Hayin (1994). Η µέθοδος µέγιστης κλίσης (steepest descent) και οι τροποποιήσεις της. Η µέθοδος αυτή χαρακτηρίζεται από πολύ καλή απόδοση όταν οι αρχικές τιµές του διανύσµατος βαρών είναι µακριά από το ελάχιστο, κάτι που ισχύει στις περισσότερες περιπτώσεις εκπαίδευσης ΤΝ. Ωστόσο, η σύγκλισή της στην περιοχή του ελαχίστου χαρακτηρίζεται από εξαιρετική βραδύτητα. Σηµαντικοί περιορισµοί για τη χρήσης της µεθόδου στα ΤΝ είναι η αδυναµία της για εγγύηση σύγκλισης στο ολικό ελάχιστο καθώς και η χρήση σταθερού µήκους βήµατος που πολλές φορές εµποδίζει τη σύγκλιση ακόµα και σε ένα τοπικό ελάχιστο. Επιπλέον, η µέθοδος δεν εγγυάται τη µείωση της συνάρτησης σφάλµατος σε κάθε επανάληψη του αλγορίθµου µάθησης. Για πρόσφατες τροποποιήσεις, βελτιώσεις και εφαρµογές αυτής της µεθόδου στα νευρωνικά δίκτυα, βλέπε Magoulas et al. (1997b), Magoulas et al. (1999), Magoulas et al. (2000a), Magoulas et al. (2000b), Magoulas &

2 Vrahatis (2000), Plagianaos et al. (1999a), Plagianaos et al. (1999b), Vrahatis et al. (2000a) και Vrahatis et al. (2000b). Η µέθοδος συζυγών κλίσεων (conjugate gradient) και οι επεκτάσεις της. Η εκπαίδευση των ΤΝ σε πολλές εφαρµογές απαιτεί την προσαρµογή αρκετών εκατοντάδων ή ακόµα χιλιάδων βαρών. Οι µέθοδοι συζυγών κλίσεων µπορούν να αντιµετωπίσουν προβλήµατα µεγάλης κλίµακας και να τεθούν σε εφαρµογή σε υπολογιστές πολλαπλών επεξεργαστών. Αρκετοί αλγόριθµοι µάθησης βασιζόµενοι σε αυτές τις µεθόδους έχουν παρουσιαστεί (Battiti 1989, Kramer & Sangiovanni-Vincentelli 1989, Møller 1990) και τα αποτελέσµατα δείχνουν αυξηµένη ταχύτητα µάθησης σε σχέση µε τις µεθόδους µέγιστης κλίσης. Ωστόσο, χρησιµοποιούν ευθύγραµµη ανίχνευση (line search) για τον καθορισµό του κατάλληλου µήκους βήµατος αυξάνοντας την υπολογιστική πολυπλοκότητα της διεργασίας µάθησης µε αρκετούς υπολογισµούς της συνάρτησης του ολικού τετραγωνικού σφάλµατος µάθησης ή των παραγώγων της ενώ η απόδοσή τους εξαρτάται από την ακρίβεια της ευθύγραµµης ανίχνευσης (Johansson et al. 1990). Χαρακτηριστικό των µεθόδων είναι ότι δεν ακολουθούν πάντα κατευθύνσεις µείωσης (descent directions) του σφάλµατος µε αποτέλεσµα να εµφανίζεται αριθµητική αστάθεια. Επιπλέον αποτυγχάνουν όταν τα αρχικά βάρη είναι µακριά από το επιθυµητό ελάχιστο (συνηθισµένο φαινόµενο στα ΤΝ ) εξαιτίας του ότι η Εσσιανή δεν είναι θετικά ορισµένη σε διάφορες περιοχές του χώρου των βαρών. Η µέθοδος του Neton. Η µέθοδος Neton θεωρείται ως η βασικότερη µέθοδος εύρεσης τοπικού ελαχίστου µε χρήση παραγώγων δεύτερης τάξης, όταν οι αρχικές τιµές του διανύσµατος παραµέτρων είναι κοντά στο ελάχιστο. Η χρήση της στα ΤΝ περιορίζεται από το γεγονός ότι απαιτεί γνώση της Εσσιανής, αναλυτικός υπολογισµός της οποίας είναι πολύπλοκος και κοπιώδης για ΤΝ µε περισσότερα από εκατό βάρη. Ακόµα και στην περίπτωση που η Εσσιανή είναι διαθέσιµη, η αντιστροφή της παραµένει µια χρονοβόρα διαδικασία που τις περισσότερες φορές επιβαρύνει τη διαδικασία εκπαίδευσης πιο πολύ από µερικές ακόµα επαναλήψεις µιας απλούστερης µεθόδου. Επιπλέον µειονεκτήµατα αποτελούν η πολυπλοκότητά της ανά επανάληψη και η υπόθεση της θετικά ορισµένης Εσσιανής, διότι στα ΤΝ η Εσσιανή µπορεί να είναι αρνητικά ορισµένη, να έχει µηδενική ορίζουσα (singular) ή ακόµα να έχει µεγάλο συντελεστή αστάθειας (ill-conditioned). Η µέθοδος µεταβλητής µετρικής Broyden-Fletcher-Goldfarb-Shanno (BFGS). Η µέθοδος αυτή έχει καλές ιδιότητες σύγκλισης τόσο θεωρητικά όσο και πρακτικά. Υπολογίζει µια προσέγγιση της Εσσιανής µειώνοντας έτσι την πολυπλοκότητα σε σχέση µε την µέθοδο Neton. Επιπλέον η Εσσιανή της ορίζεται θεωρητικά ως συµµετρική και θετικά ορισµένη κάτι που εγγυάται την αριθµητική ευστάθεια του αλγορίθµου. Ο Watrous (1987) εφάρµοσε για πρώτη φορά αυτή τη µέθοδο στην εκπαίδευση των ΤΝ. Πέτυχε να επιταχύνει τη διαδικασία εκπαίδευσης σε σχέση µε τις µεθόδους µέγιστης κλίσης και συζυγών κλίσεων, ωστόσο η υπολογιστική πολυπλοκότητα της BFGS είναι σηµαντικά υψηλότερη της µεθόδου µέγιστης κλίσης αφού εκτελεί ευθύγραµµη ανίχνευση όπως η µέθοδος συζυγών κλίσεων, ενώ οι υπολογισµοί που εκτελούνται (υπολογισµός της κατεύθυνσης, αντιστροφή Εσσιανής, υπολογισµός λύσης) είναι ανάλογοι του τετραγώνου των βαρών. Πέρα από τα υπολογιστικά προβλήµατα, σηµαντικό µειονέκτηµα της µεθόδου στα ΤΝ είναι ότι ο απαιτούµενος χώρος µνήµης για την αποθήκευση της Εσσιανής εξαρτάται από το τετράγωνο του αριθµού των βαρών του δικτύου κάτι που καθιστά την εφαρµογή της προβληµατική για ΤΝ µε µερικές εκατοντάδες βάρη. Επίσης στην πράξη είναι δύσκολο να αντιστραφεί η Εσσιανή µια και ο χρόνος που απαιτείται είναι, στις περισσότερες περιπτώσεις, µεγαλύτερος από αυτόν που χρειάζεται για µερικές ακόµα επαναλήψεις της µεθόδου µέγιστης κλίσης. Παρόµοια

3 συµπεράσµατα παρουσιάστηκαν και σε άλλες εργασίες (Battiti & Masulli 1990, van der Smagt 1994). Παρόλα αυτά η µέθοδος παραµένει ανταγωνιστική όταν ο αριθµός των προτύπων προς µάθηση είναι πολύ µεγάλος. Τότε, ο υπολογισµός της συνάρτησης σφάλµατος είναι κοπιώδης και η ταχύτητα µείωσης του σφάλµατος µάθησης παίζει το σπουδαιότερο ρόλο. Η µέθοδος BFGS µε περιορισµένη µνήµη για προβλήµατα µεγάλης κλίµακας. Αν και το πρόβληµα της διαθέσιµης µνήµης αποθήκευσης δεν είναι πλέον τόσο σηµαντικό όσο πριν µια δεκαετία, η µέθοδος αυτή, που οµοιάζει της µεθόδου BFGS, αποφεύγει την αποθήκευση των πινάκων και έτσι είναι πιο εύχρηστη σε προβλήµατα µεγάλης κλίµακας (Liu & Nocedal 1989, Kung 1993). Ο Battiti (1990, 1992) στηριζόµενος σε αυτή τη µέθοδο και αναγνωρίζοντας ότι το υπολογιστικό κόστος παραµένει εξαιρετικά υψηλό για δίκτυα µε περισσότερα από εκατό βάρη πρότεινε µια τροποποίησή της µε πολυπλοκότητα ανάλογη του αριθµού των βαρών. Η µέθοδος αυτή µπορεί να χρησιµοποιηθεί µόνο για µάθηση ανά οµάδα προτύπων, κάτι που αποτελεί περιοριστικό παράγοντα για τη χρήση της, ενώ η ταχύτητα εκπαίδευσης βελτιώνεται σε σχέση µε τη µέθοδο µέγιστης κλίσης µόνο στην περίπτωση που απαιτείται υψηλή ακρίβεια στην εύρεση της λύσης. Στην πράξη ωστόσο, η ακριβής εύρεση του ελαχίστου αντιστοιχεί σε αποµνηµόνευση του συνόλου των προτύπων και σε πολλές εφαρµογές περιορίζει την ικανότητα γενίκευσης του ΤΝ. 2. Μάθηση µε επαναληπτική προσαρµογή των βαρών Η εκπαίδευση µε επίβλεψη µπορεί να ταυτιστεί µε το πρόβληµα της ελαχιστοποίησης της συνάρτησης σφάλµατος του ΤΝ, η οποία θα συµβολίζεται παρακάτω µε E, θεωρείται συνεχής * και παραγωγίσιµη και εξαρτάται από q βάρη. Το ζητούµενο είναι η εύρεση ενός τέτοιο ώστε: * = min E ( ). Στη συνέχεια θα ασχοληθούµε µε αλγόριθµους µάθησης που προσαρµόζουν τα βάρη µε την επαναληπτική σχέση: + 1 = + α d, (1) όπου d είναι η κατεύθυνση ανίχνευσης (search direction) και α είναι το µήκος του βήµατος, το οποίο λαµβάνεται µέσω µονοδιάστατης ανίχνευσης και καθορίζει το ρυθµό µάθησης. Η κατεύθυνση ανίχνευσης στην περίπτωση των µεθόδων συζυγών κλίσεων έχει την παρακάτω µορφή: d = E( ) + β d 1 όπου το βαθµωτό β επιλέγεται έτσι ώστε να προκύπτει η γραµµική µέθοδος συζυγών κλίσεων όταν η συνάρτηση είναι τετραγωνική και η ευθύγραµµη ανίχνευση ακριβής. Μια άλλη κατηγορία µεθόδων ακολουθεί την κατεύθυνση ανίχνευσης που ορίζεται ως εξής: 1 d = B E( ), (2) όπου B είναι ένας συµµετρικός πίνακας µη ιδιάζων (nonsingular), δηλαδή έχει µη µηδενική ορίζουσα. Ειδικές περιπτώσεις δίνονται από τις σχέσεις: B = I (για τη µέθοδο µέγιστης κλίσης) Β κ 2 = E( ) (για τη µέθοδο Neton)

4 Οι µέθοδοι µεταβλητής µετρικής είναι επίσης της µορφής (2), αλλά στην περίπτωση αυτή ο πίνακας B δεν είναι µόνο συνάρτηση του, αλλά εξαρτάται και από τα B -1 και -1. Σηµαντικό για όλους τους αλγόριθµους µάθησης είναι η κατεύθυνση ανίχνευσης d να είναι κατεύθυνση µείωσης της συνάρτησης σφάλµατος, δηλαδή: T d E( ) < 0 ώστε η τιµή της συνάρτησης σφάλµατος να µειώνεται ακολουθώντας ένα µικρό βήµα κατά µήκος της d. Η κατεύθυνση της µεθόδου µέγιστης κλίσης θεωρείται τοπικά ως η κατεύθυνση της ταχύτερης µείωσης, ενώ για µεθόδους που οµοιάζουν της µεθόδου Neton (2) η d είναι κατεύθυνση µείωσης της συνάρτησης όταν ο πίνακας B είναι θετικά ορισµένος. Στην περίπτωση των αλγόριθµων µάθησης που βασίζονται στη µέθοδο συζυγών κλίσεων απαιτείται προσεκτική επιλογή της στρατηγικής ευθύγραµµης ανίχνευσης που θα χρησιµοποιηθεί ώστε να επιτύχουµε κατεύθυνση µείωσης. Η απαίτηση αυτή σχετικά µε την κατεύθυνση ανίχνευσης αποτελεί και τη βάση της ανάπτυξης των αλγόριθµων ευρείας σύγκλισης, δηλαδή µε σύγκλιση σε ένα ελάχιστο από οποιαδήποτε αρχική συνθήκη (Dennis & Schnabel 1983, Byrd et al. 1987) και αποτελεί επιθυµητό χαρακτηριστικό κάθε αλγόριθµου µάθησης (Battitti 1992). Τέλος είναι εµφανές από τα παραπάνω ότι η ελαχιστοποίηση της συνάρτησης σφάλµατος E() απαιτεί τον υπολογισµό των µερικών παραγώγων E() της E() ως προς τα βάρη του ΤΝ. Εποµένως, είναι απαραίτητο η συνάρτηση σφάλµατος να ικανοποιεί τις υποθέσεις για την ύπαρξη των παραγώγων πρώτης τάξης. Ασφαλώς αυτό περιορίζει τη µορφή της E() και καθιστά απαραίτητο οι νευρώνες του ΤΝ να ακολουθούν µοντέλα που επιτρέπουν τον ορισµό της παραγώγου για κάθε νευρώνα. Η δηµοφιλέστερη τεχνική για τον αναλυτικό υπολογισµό των µερικών παραγώγων της E() είναι ο αλγόριθµος οπισθοδροµικής διάδοσης του σφάλµατος (bacpropagation). Η πρώτη προσέγγιση της τεχνικής αυτής οφείλεται στον Werbos (1974), ενώ η µορφή που έγινε ευρέως γνωστή και καθιερώθηκε στο χώρο των ΤΝ οφείλεται στους Rumelhart et al. (1986). Η αναλυτική περιγραφή του αλγόριθµου οπισθοδροµικής διάδοσης του σφάλµατος υπάρχει σε όλα τα βιβλία σχετικά µε ΤΝ και δε θα µας απασχολήσει εδώ. Ωστόσο, αξίζει να αναφερθούν οι προσπάθειες των Saarinen (1992) και Rojas (1993) για µια απλή και συνάµα γενική περιγραφή του αλγόριθµου, πέρα από τη συνηθισµένη που συναντιέται στη βιβλιογραφία και να τονιστεί η δυνατότητα παράλληλης υλοποίησής του µε τεχνολογία VLSI η οποία αποτελεί πόλο έλξης για τις εφαρµογές ΤΝ. Χρησιµοποιώντας τον αλγόριθµο οπισθοδροµικής διάδοσης του σφάλµατος µπορούµε να υπολογίσουµε το σύνολο των q µερικών παραγώγων της συνάρτησης σφάλµατος του δικτύου ως προς τα στοιχεία του διανύσµατος για ένα πρότυπο p (βλέπε Rumelhart et al. 1986). Επαναλαµβάνοντας τους υπολογισµούς για όλα τα πρότυπα p 1, P, όπου P είναι το πλήθος των προτύπων που απαρτίζουν το σύνολο των παραδειγµάτων προς µάθηση, καταλήγουµε σε ένα q P πίνακα µερικών παραγώγων, που χρησιµοποιείται για την περίπτωση µάθησης ανά οµάδα προτύπων εισόδου. Για την περίπτωση µάθησης ανά πρότυπο p εισόδου χρησιµοποιείται µια στιγµιαία προσέγγιση, που δεν είναι άλλη από τη στήλη του πίνακα των µερικών παραγώγων, που αντιστοιχεί στο πρότυπο p. Έχει βρεθεί πειραµατικά ότι σε πολλά προβλήµατα εκπαίδευσης ΤΝ, ο παραπάνω πίνακας των µερικών παραγώγων έχει µεγάλο συντελεστή αστάθειας, γεγονός που οδηγεί σε

5 ελλιπείς πληροφορίες σχετικά µε τις κατευθύνσεις ανίχνευσης και έχει ως αποτέλεσµα εξαιρετικά βραδύ χρόνο µάθησης (Saarinen et al. 1992). 3. Η Εσσιανή της συνάρτησης σφάλµατος και οι προσεγγίσεις της Η πληροφορία των δευτέρων παραγώγων της συνάρτησης σφάλµατος ως προς τα βάρη που 2 περιέχεται στην Εσσιανή E( ) έχει µεγάλη θεωρητική και πρακτική αξία. Για παράδειγµα, επιτρέπει την εφαρµογή σύνθετων αλγόριθµων τύπου Neton για την εκπαίδευση ΤΝ, όπως αυτοί που πρότεινε ο Watrous (1987), εµφανίζεται σε αρκετές τεχνικές πρόβλεψης και ενίσχυσης της γενίκευσης των ΤΝ, όπως αυτές των MacKay (1991), Moody (1992), Le Cun et al. (1990), Hassibi & Stor (1993) και βοηθά στη µελέτη και τη σύγκριση της συµπεριφοράς των αλγόριθµων µάθησης, χρησιµοποιώντας τα ιδιοδιανύσµατα των ακραίων ιδιοτιµών της Εσσιανής, όπως πρότειναν οι Androulais et al. (1997). Μια τεχνική αναλυτικού υπολογισµού της Εσσιανής δεν εφαρµόζει απλά τον κανόνα παραγώγισης των πεπλεγµένων συναρτήσεων. Ασφαλώς και οι δύο καταλήγουν στο ίδιο αποτέλεσµα αλλά όπως και στην περίπτωση του αλγόριθµου οπισθοδροµικής διάδοσης του σφάλµατος για τον υπολογισµό του πίνακα των µερικών παραγώγων, η σηµασία της τεχνικής του αναλυτικού υπολογισµού της Εσσιανής είναι ότι επιτρέπει την οργάνωση των δεδοµένων µε τρόπο ώστε να αποφεύγονται περιττοί υπολογισµοί, καθώς ο υπολογισµός της Εσσιανής περιλαµβάνει επαναλαµβανόµενο υπολογισµό των ίδιων όρων. ιάφορες τεχνικές έχουν προταθεί για να αντιµετωπιστεί η περιπλοκότητα του αναλυτικού υπολογισµού δεύτερων παραγώγων για ένα ΤΝ µε q βάρη, που είναι ανάλογη του τετραγώνου του πλήθους των 2 βαρών O( q) (Werbos et al. 1992, Bishop 1992, Buntine & Weigend 1994). Η τεχνική των Buntine και Weigend είναι η γενικότερη καθώς εφαρµόζεται σε ΤΝ οποιασδήποτε αρχιτεκτονικής και συνάρτησης ενεργοποίησης. Ωστόσο, οι υπολογισµοί επιβαρύνονται και από την αντιστροφή της Εσσιανής που είναι απαραίτητη σε πολλούς αλγόριθµους µάθησης και πρέπει να επαναλαµβάνεται σε κάθε επανάληψη του αλγόριθµου. Απαραίτητη προϋπόθεση είναι η Εσσιανή να έχει µη µηδενική ορίζουσα ώστε να µπορεί να γίνει η αντιστροφή της. υστυχώς παρατηρείται ότι κατά τη διαδικασία εκπαίδευσης η Εσσιανή είναι ως επί το πλείστον µη αντιστρέψιµη. Επιπλέον, πειραµατικά αποτελέσµατα δείχνουν πως έχει µεγάλο συντελεστή αστάθειας, εισάγοντας πρόσθετες υπολογιστικές δυσχέρειες (Saarinen et al. 1992). Τα υπολογιστικά προβλήµατα συνδυάζονται και µε προβλήµατα αποθήκευσης για ΤΝ µε αρκετές εκατοντάδες βάρη καθώς ο χώρος αποθήκευσης που απαιτείται για ένα δίκτυο µε q βάρη είναι q q. Για αυτούς τους λόγους έχουν προταθεί διάφορες τεχνικές για την προσέγγιση πληροφοριών που σχετίζονται µε την συµπεριφορά της επιφάνειας σφάλµατος σε κάθε επανάληψη και περιέχονται στην Εσσιανή. Οι τεχνικές προσέγγισης που ενσωµατώνονται στους αλγόριθµους µάθησης λαµβάνουν ποικίλες µορφές: Αλγόριθµοι µάθησης βασισµένοι σε προσεγγίσεις της Εσσιανής. Για µεγάλα ΤΝ ο αναλυτικός υπολογισµός της Εσσιανής έχει απαγορευτικό υπολογιστικό κόστος. Οι Becer & Le Cun (1988) πρότειναν την απλή προσέγγιση της Εσσιανής από τη διαγώνιό της και τη χρησιµοποίησαν σε έναν αλγόριθµο µάθησης τύπου Neton. Ο Fahlman (1988) χρησιµοποίησε στον αλγόριθµο Quicprop πεπερασµένες διαφορές για να προσεγγίσει τη διαγώνιο (βλέπε Vrahatis et al. 2000b, για µια βελτίωση και απόδειξη σύγκλισης), ενώ οι El-

6 Jaroudi & Mahoul (1990) προσέγγισαν τµήµατα της Εσσιανής θεωρώντας ότι τα βάρη που συνδέουν διαφορετικούς νευρώνες δεν επιδρούν στην Εσσιανή. Μια νέα προσέγγιση σε αλγόριθµους µάθησης που χρησιµοποιούν τη δεύτερη παράγωγο προτείνει την ελάττωση της διάστασης του προβλήµατος µετασχηµατίζοντας την Εσσιανή σε έναν πίνακα ελαττωµένης διάστασης. Σε αυτήν την ελαττωµένη Εσσιανή οι δεύτερες παράγωγοι προσεγγίζονται µε πεπερασµένες διαφορές και ο απαιτούµενος χώρος για την αποθήκευσή της είναι της τάξης ( q 1) ( q 1 ). Ο αλγόριθµος χρησιµοποιεί µόνο το πρόσηµο των παραγώγων, δεν απαιτεί αντιστροφές πινάκων και εµφανίζει βελτιωµένη συµπεριφορά σε περιπτώσεις που η Εσσιανή έχει µηδενική ορίζουσα ή µεγάλο συντελεστή αστάθειας. Σε κάθε επανάληψη προσαρµόζονται τα ( q 1 ) βάρη ενώ το q βάρος, που αποµένει, υπολογίζεται από τις τιµές των άλλων (Magoulas et al. 1997a). Αλγόριθµοι µάθησης χωρίς απευθείας υπολογισµό της Εσσιανής. Αυτή η περίπτωση αφορά συνήθως αλγόριθµους µάθησης που βασίζονται σε συζυγείς κλίσεις και χρησιµοποιούν δεύτερες παραγώγους κατά την ευθύγραµµη ανίχνευση. Σε αυτές τις περιπτώσεις δεν είναι απαραίτητος ο υπολογισµός ολόκληρης της Εσσιανής αλλά ο υπολογισµός του γινοµένου της Εσσιανής µε ένα διάνυσµα. Πεπερασµένες διαφορές και ακριβής υπολογισµός του γινοµένου έχουν προταθεί για αυτές τις περιπτώσεις (Møller 1993, Pearlmutter 1994). Η τεχνική που πρότεινε ο Pearlmutter βρίσκει εφαρµογή και σε άλλους αλγόριθµους µάθησης όπως αυτούς που πρότειναν οι Acley et al. (1985), o Almeida (1987) και ο Pineda (1987). Ενώ η προσέγγιση µε πεπερασµένες διαφορές χρησιµοποιήθηκε και σε αλγόριθµους µάθησης που βασίζονται στη µέθοδο µέγιστης κλίσης για την εκτίµηση των ιδιοδιανυσµάτων και ιδιοτιµών της Εσσιανής µε σκοπό τη µελέτη της τοπικής σύγκλισης αυτών των αλγόριθµων (Le Cun et al. 1991, Pearlmutter 1992) και την εκτίµηση του µεγαλύτερου δυνατού ρυθµού µάθησης για κάθε επανάληψη της διαδικασίας εκπαίδευσης (Le Cun et al. 1993). Στην τελευταία περίπτωση ο αλγόριθµος µάθησης επιβαρύνεται, για µερικές επαναλήψεις στην αρχή της εκπαίδευσης, µε αρκετούς επιπλέον υπολογισµούς της συνάρτησης σφάλµατος. Τέλος πρέπει να αναφερθεί πως οι αλγόριθµοι µάθησης που χρησιµοποιούν την πληροφορία της Εσσιανής ή τις προσεγγίσεις της µπορούν να χρησιµοποιηθούν µόνο για µάθηση ανά οµάδα προτύπων, εξαιτίας του ισχυρού υπολογιστικού κόστους κάθε επανάληψης. 4. Αλγόριθµοι µάθησης µέγιστης κλίσης Οι µέθοδοι µέγιστης κλίσης αποτελούν την πιο δηµοφιλή κατηγορία αλγόριθµων µάθησης. Η εφαρµογή τους είναι απλή και ταυτόχρονα αποτελεσµατική είτε για µάθηση ανά οµάδα προτύπων εισόδου (ντετερµινιστική προσέγγιση) είτε για µάθηση ανά πρότυπο εισόδου (στοχαστική προσέγγιση). Η κατεύθυνση ανίχνευσης των µεθόδων µέγιστης κλίσης θεωρείται τοπικά ως η κατεύθυνση της ταχύτερης µείωσης του σφάλµατος µάθησης. Όπως είναι γνωστό η ελαχιστοποίηση της συνάρτησης σφάλµατος E() µε q παραµέτρους, όπου δηλώνει επαναλήψεις, η οποία συγκλίνει σε ένα σηµείο απαιτεί µια ακολουθία { } =0 που ελαχιστοποιεί το σφάλµα µάθησης E(). Η παρακάτω επαναληπτική σχέση, που προτάθηκε από το Goldstein το 1962, χρησιµοποιείται ευρέως για την προσαρµογή των βαρών ενός ΤΝ :

7 + 1 = + α d = α E( ), (3) όπου το d δηλώνει µια φραγµένη απεικόνιση, ορισµένη στην περιοχή T S = { : E( ) E( 0 )}, που ικανοποιεί την ανισότητα E ( ) d( ) 0 έτσι ώστε για ένα ε > 0, υπάρχει δ > 0 για το οποίο: T E ( ) d( ) < δ E ( ) < ε. Επιπλέον, η ακολουθία { } συγκλίνει σε ένα τοπικό ελάχιστο της E όταν ο ρυθµός =0 µάθησης ικανοποιεί τη σχέση: 1 sup H ( ) < α σε µια φραγµένη περιοχή όπου ισχύει η σχέση E( ) E( 0 ) και H δηλώνει την Εσσιανή της E ως προς το διάνυσµα (Goldstein, 1962). Κάνοντας µια µικρή ιστορική αναδροµή στο πρόβληµα της επιλογής του ρυθµού µάθησης πρέπει να αναφερθεί ότι πρώτος ο Goldstein (1965) πρότεινε µια σχέση που βασίζεται στην Εσσιανή και µπορεί να χρησιµοποιηθεί για τον καθορισµό τουα. Ο ίδιος επίσης απέδειξε τη σύγκλιση της µεθόδου όταν d( ) E( ), µε την προϋπόθεση ότι E C 2 (δηλαδή είναι δύο φορές συνεχώς παραγωγίσιµη) και έδωσε µια εκτίµηση του ρυθµού σύγκλισής της για την περίπτωση που είναι γνωστό ένα φράγµα της νόρµας της H στην περιοχή S( 0 ). Αυτά τα αποτελέσµατα 1 επεκτάθηκαν το 1967 για την περίπτωση d( ) B E( ), όπου B είναι µια προσέγγιση της Εσσιανής στο, χρησιµοποιώντας µόνο τιµές της συνάρτησης και του διανύσµατος των παραγώγων της, ενώ παρουσιάστηκε και ένα αποτέλεσµα για τον ολικό ρυθµό σύγκλισης της µεθόδου, ο οποίος είναι υπερ-γραµµικός (Goldstein & Price, 1967). Ακολουθώντας µια διαφορετική προσέγγιση που δε χρησιµοποιεί την Εσσιανή αλλά τη σταθερά Lipschitz, ο Armijo πρότεινε το 1966 την πρώτη µέθοδο µέγιστης κλίσης που επέτρεπε µεταβλητό a και απέδειξε τη σύγκλισή της υπό λιγότερο αυστηρές προϋποθέσεις από ότι ο Goldstein (Armijo 1966). Μια βελτίωση της µεθόδου αυτής για την εκπαίδευση νευρωνικών δικτύων πρότειναν οι Magoulas et al. (1997b). Στο χώρο της εκπαίδευσης των ΤΝ η επιλογή του κατάλληλου ρυθµού µάθησης έχει σχετιστεί µε τις ιδιοτιµές της Εσσιανής (LeCun et al. 1993), ο υπολογισµός των οποίων είναι επίπονος ακόµα και όταν χρησιµοποιείται µια προσέγγιση της Εσσιανής (Becer & Le Cun 1988, LeCun et al. 1993). Έτσι στις εφαρµογές οι χρήστες συνήθως επιλέγουν αυθαίρετα το ρυθµό µάθησης 0 < α < 1, καθώς σχετικά µικρές τιµές βοηθούν στο να διατηρηθεί η ευστάθεια του αλγόριθµου µάθησης. Το ζήτηµα της εύρεσης ενός κατάλληλου ρυθµού µάθησης ώστε η ακολουθία { } να συγκλίνει σε ένα ελάχιστο της E αποτελεί σηµαντικό αντικείµενο έρευνας στα =0 ΤΝ. 5. Αλγόριθµοι µάθησης µε τοπική σύγκλιση Η µάθηση µε αλγόριθµους τοπικής σύγκλισης χρησιµοποιεί την πληροφορία της Εσσιανής, ή των προσεγγίσεών της. Ειδικότερα, η Εσσιανή χρησιµοποιείται στην περιγραφή των µεθόδων

8 συζυγών κλίσεων, παίζει βασικό ρόλο στη µέθοδο Neton, ενώ οι προσεγγίσεις της χρησιµοποιούνται στις µεθόδους µεταβλητής µετρικής. Θεωρώντας ότι η συνάρτηση σφάλµατος σε ένα σηµείο προσεγγίζεται τοπικά από µια τετραγωνική συνάρτηση και αναπτύσσοντάς τη γύρω από την εκτίµηση ενός τοπικού ελάχιστου, λαµβάνουµε την παρακάτω σχέση ανάµεσα στις συναρτησιακές τιµές των δύο σηµείων: T 1 T 2 E( ) E( ) = E( ) ( ) + ( ) E( )( ), (4) 2 και η οποία έχει ένα µοναδικό ελάχιστο στο σηµείο = E( ) E( ), (5) 2 τότε και µόνο τότε εάν η Εσσιανή E( ) είναι θετικά ορισµένη. Η (5) δίνει σε κάθε επανάληψη του αλγόριθµου µάθησης µια νέα εκτίµηση +1 των βέλτιστων βαρών βασισµένη σε µια προηγούµενη εκτίµησή τους σύµφωνα µε τη µέθοδο Neton. υστυχώς, παρά τον τετραγωνικό ρυθµό σύγκλισης προς το ελάχιστο που χαρακτηρίζει τη µέθοδο Neton, η χρήση της στους αλγόριθµους µάθησης περιορίζεται σηµαντικά από την πολυπλοκότητα των πράξεων υπολογισµού και αντιστροφής της Εσσιανής καθώς και από την τοπική της σύγκλιση. Το ζήτηµα περιπλέκεται περισσότερο καθώς στην εκπαίδευση ΤΝ δεν παρέχεται καµία εγγύηση ότι η Εσσιανή είναι πάντοτε αντιστρέψιµη. Επιπλέον έχει βρεθεί πως έχει µεγάλο συντελεστή αστάθειας (Saarinen et al. 1992). Ο Battiti (1992) προτείνει διάφορες τροποποιήσεις στη µέθοδο Neton που διευκολύνουν τη χρήση της για την εκπαίδευση δικτύων πρόσθιας τροφοδότησης. Σχετικά µε την τοπική σύγκλιση των µεθόδων µεταβλητής µετρικής αναπτύχθηκαν διάφορες ολοκληρωµένες θεωρίες τη δεκαετία του Τα σπουδαιότερα αποτελέσµατα οφείλονται στους Broyden et al. (1973) και Dennis & Moré (1974). Ένα τυπικό αποτέλεσµα τοπικής σύγκλισης ισχύει στην περιοχή ενός ελαχίστου της συνάρτησης σφάλµατος και θεωρεί ότι είναι ένα ελάχιστο στο οποίο η Εσσιανή είναι θετικά ορισµένη. Έτσι εάν 0 είναι στην περιοχή του και µια προσέγγιση της Εσσιανής B 0 είναι ικανοποιητικά κοντά στην πραγµατική 2 * Εσσιανή E( ), τότε οι επαναλήψεις των αλγόριθµων συγκλίνουν στο υπερ-γραµµικά. 6. Αλγόριθµοι µάθησης µε ευρεία σύγκλιση Οι παραπάνω αλγόριθµοι µάθησης δε συγκλίνουν πάντα σε ένα τοπικό ελάχιστο όταν η αρχική τιµή του διανύσµατος βαρών 0 βρίσκεται µακριά από τη γειτονιά του τοπικού ελαχίστου. Αντίθετα ένας αλγόριθµος που έχει την ιδιότητα της ευρείας σύγκλισης (globally convergent algorithm) συγκλίνει σε ένα ελάχιστο ξεκινώντας από οποιαδήποτε αρχική συνθήκη (Dennis & Schnabel 1983, Byrd et al. 1987). Αυτή η συµπεριφορά διευκολύνει ιδιαίτερα τη διαδικασία εκπαίδευσης ΤΝ καθώς τις περισσότερες φορές η µάθηση ενός προβλήµατος ξεκινά για το δίκτυο χρησιµοποιώντας τυχαία αρχικά βάρη, ως επί το πλείστον µακριά από ένα ελάχιστο, ενώ ο χρήστης καλείται να ρυθµίσει ευρετικά διάφορες παραµέτρους, κρίσιµες για τη σύγκλιση του αλγόριθµου και την επιτυχία της µάθησης. Η ευρεία σύγκλιση επιτυγχάνεται εφαρµόζοντας µεθόδους µη ακριβούς ευθύγραµµης ανίχνευσης (Bron & Saad 1990, 1994, Eisenstat & Waler 1994) και µεθόδους ασφαλούς περιοχής (Poell

9 1975, Sorensen 1982, Moré 1983, Dennis & Schnabel 1983, Schultz et al. 1985, Møller 1993). Στη συνέχεια, η ανάλυση της σύγκλισης των αλγόριθµων µάθησης εστιάζεται στη χρήση µεθόδων µη ακριβούς ευθύγραµµης ανίχνευσης. Αυτές οι µέθοδοι είναι γνωστές για την ευκολία της υλοποίησής τους σε λογισµικό και για τη µικρή υπολογιστική πολυπλοκότητά τους. Η ενσωµάτωσή τους σε οποιοδήποτε αλγόριθµο που επαναληπτικά προσαρµόζει τα βάρη ακολουθώντας κατευθύνσεις µείωσης της συνάρτησης σφάλµατος εξασφαλίζει στον αλγόριθµο την ιδιότητα της ευρείας σύγκλισης (Magoulas et al. 2000b, Vrahatis et al. 2000a). 7. Βασικές αρχές σύγκλισης Οι ιδιότητες σύγκλισης των µεθόδων ευθύγραµµης ανίχνευσης µπορούν να µελετηθούν µετρώντας την ποιότητα της κατεύθυνσης ανίχνευσης, όπως αυτή ορίζεται από τη γωνία που σχηµατίζεται µεταξύ της κατεύθυνσης µέγιστης κλίσης E( ) και της κατεύθυνσης ανίχνευσης, δηλαδή T E( ) d cosθ (6) κ E( ) d και λαµβάνοντας υπόψη το µήκος του βήµατος. Το µήκος του βήµατος καθορίζεται από µια επανάληψη της µεθόδου ευθύγραµµης ανίχνευσης. Μια στρατηγική που προτείνεται δέχεται ως βήµα ένα θετικό αριθµό που ικανοποιεί τις παρακάτω συνθήκες: T E( + α d ) E( ) + σ 1α E( ) d, (7) T T E( + α d ) d σ 2 E( ) d, όπου 0<σ 1 <σ 2 <1. Οι δύο ανισότητες είναι γνωστές ως συνθήκες Wolfe. Η πρώτη ανισότητα εξασφαλίζει ότι η συνάρτηση σφάλµατος µειώνεται επαρκώς σε κάθε επανάληψη του αλγόριθµου µάθησης, ενώ η δεύτερη εµποδίζει το ρυθµό µάθησης να γίνει πολύ µικρός. Οι δύο αυτές ανισότητες αρκούν για να διασφαλιστεί η σύγκλιση σε ένα ελάχιστο αρκεί η γωνία µεταξύ της κατεύθυνσης ανίχνευσης και της κλίσης να είναι µικρότερη από 90 ο (Wolfe 1969, 1970). Εύκολα µπορεί να αποδειχθεί ότι εάν η d είναι µια κατεύθυνση µείωσης του αλγόριθµου µάθησης και η συνάρτηση σφάλµατος είναι παραγωγίσιµη και από κάτω φραγµένη κατά µήκος της ακτίνας { + α d α > 0}, τότε πάντοτε υπάρχουν µήκη βηµάτων που ικανοποιούν τις συνθήκες (7) (Wolfe 1969, 1971). Το παρακάτω θεώρηµα µπορεί να χρησιµοποιηθεί για να εξασφαλιστεί ευρεία σύγκλιση και είναι ανεξάρτητο από τη µέθοδο που χρησιµοποιείται για το καθορισµό των κατευθύνσεων µείωσης ή των µηκών των βηµάτων. Θεώρηµα 1 (Zoutendij 1970, Wolfe 1969, 1970). Υποθέτουµε ότι η συνάρτηση E είναι κάτω φραγµένη στο R q. Επίσης ότι για ένα αρχικό διάνυσµα βαρών 0 R q και για κάθε σε µια περιοχή που περιέχει το αρχικό διάνυσµα βαρών, S = { : E( ) E( 0 )}, η E είναι συνεχώς παραγωγίσιµη στο S( 0 ) και Lipschitz συνεχής, δηλαδή υπάρχει µια σταθερά L>0 τέτοια ώστε q E ) E( ) L,, R. (8) (

10 Τότε για κάθε επανάληψη της µορφής (1) και για οποιαδήποτε κατεύθυνση µείωσης d όπου a ικανοποιεί τις συνθήκες του Wolfe (7) ισχύει ότι cos θ E( ) <. (9) Σκοπός της ανισότητας (8) είναι να τεθεί θεωρητικά ένα άνω φράγµα στο βαθµό της µη γραµµικότητας της συνάρτησης σφάλµατος και να διασφαλιστεί ότι οι πρώτες παράγωγοι είναι συνεχείς. Η ανισότητα (9) ονοµάζεται η ανισότητα του Zoutendij και είναι χρήσιµη για την απόδειξη ευρείας σύγκλισης πολλών αλγόριθµων µάθησης. Έτσι αν οι επαναλήψεις (1) είναι τέτοιες ώστε ισχύει cos θ δ >0, για όλα τα. Τότε συµπεραίνουµε απευθείας από την (9) ότι lim E( ) = 0. (10) ηλαδή, εάν η κατεύθυνση ανίχνευσης δεν είναι ορθογώνια στην κλίση E( ), τότε η ακολουθία των κλίσεων συγκλίνει στο µηδέν. Σύµφωνα µε αυτό το αποτέλεσµα ένας αλγόριθµος µάθησης που βασίζεται στη µέθοδο µέγιστης κλίσης έχει την ιδιότητα της ευρείας σύγκλισης αν χρησιµοποιεί ευθύγραµµη ανίχνευση που ικανοποιεί τις συνθήκες του Wolfe για τον καθορισµό του ρυθµού µάθησης. Σε αυτή την περίπτωση έχουµε cosθ =1 για όλα τα και ισχύει η (10). Ας σηµειωθεί πως για µεθόδους ευθύγραµµης ανίχνευσης της µορφής (1), το όριο (10) αποτελεί το καλύτερο αποτέλεσµα ευρείας σύγκλισης που µπορεί να επιτευχθεί. Για την ευρεία σύγκλιση αλγόριθµων που βασίζονται σε µεθόδους Neton και µεταβλητής µετρικής µπορεί να χρησιµοποιηθεί πάλι η (9) για να πάρουµε το αποτέλεσµα (10). Για το σκοπό αυτό υποθέτουµε ότι ο πίνακας B σε κάθε επανάληψη είναι θετικά ορισµένος (αυτό χρειάζεται για να κινηθούµε προς κατεύθυνση µείωσης) και ότι ο συντελεστής αστάθειάς του είναι φραγµένος για όλα τα, δηλαδή: 1 B B, για µια σταθερά >0. Εάν επιπλέον η ευθύγραµµη ανίχνευση ικανοποιεί τις συνθήκες του Wolfe τότε από την (6) έχουµε ότι cos θ 1. Για αλγόριθµους που βασίζονται σε µεθόδους συζυγών κλίσεων δεν είναι δυνατό να δειχθεί ότι ισχύει το όριο (10) παρά µόνο η παρακάτω ασθενέστερη σχέση: lim inf E( ) = 0. (11) Το συµπέρασµα που προκύπτει από τα παραπάνω είναι ότι για την ανάπτυξη αλγόριθµων µάθησης µε καλές ιδιότητες σύγκλισης απαιτείται να εξασφαλίζεται ότι η κατεύθυνση ανίχνευσης δε γίνεται ορθογώνια µε το διάνυσµα της κλίσης, ή ότι παρεµβάλλονται, µεθοδικά, επαναλήψεις της µεθόδου µέγιστης κλίσης µε το α να ικανοποιεί τις συνθήκες του Wolfe. Στην πράξη µια τεχνική που µπορεί να χρησιµοποιηθεί για να εξασφαλιστεί η σύγκλιση είναι να ελέγχεται η γωνία µεταξύ της κατεύθυνση ανίχνευσης και του διανύσµατος της κλίσης και στην περίπτωση που είναι µικρότερη από µια προκαθορισµένη σταθερά τότε να αλλάζουµε την κατεύθυνση ανίχνευσης προς την κατεύθυνση της µέγιστης κλίσης. Επίσης έχει προταθεί η πληροφορία της γωνίας να λαµβάνεται υπόψη κατά την προσαρµογή των βαρών (Sanston et al. 1994, Hsin et al. 1995).

11 Ωστόσο ο υπολογισµός και ο έλεγχος της γωνίας σε κάθε επανάληψη αυξάνει την πολυπλοκότητα του αλγόριθµου χωρίς να αυξάνει απαραίτητα την ταχύτητα σύγκλισης σε ένα ελάχιστο της µη κυρτής συνάρτησης σφάλµατος. Στο σηµείο αυτό πρέπει να σηµειωθεί πως η ευρεία σύγκλιση δεν είναι το µόνο επιθυµητό χαρακτηριστικό ενός αλγόριθµου µάθησης. Η ταχύτητα της µάθησης αποτελεί συχνά σηµαντικότερο χαρακτηριστικό. Για τη µελέτη της ταχύτητας σύγκλισης ενός αλγόριθµου είναι χρήσιµο ένα κλασσικό αποτέλεσµα των Dennis & Moré (1974). Σύµφωνα µε τους Dennis και Moré η επαναληπτική σχέση (1) συγκλίνει µε ταχύτητα υπερ-γραµµική (superlinear) µόνο όταν N N α d = d + O( d ), (12) όπου d N είναι η κατεύθυνση Neton. Εποµένως για να επιτύχουµε γρήγορη µάθηση είναι απαραίτητο να προσεγγίσουµε ασυµπτωτικά την κατεύθυνση Neton. Ο έλεγχος της γωνίας µπορεί να εµποδίσει τη γρήγορη µάθηση, π.χ. ένας αλγόριθµος µάθησης που βασίζεται στη µέθοδο BFGS µπορεί να δηµιουργήσει ασταθείς προσεγγίσεις B της Εσσιανής, δηλαδή πίνακες µε µεγάλο συντελεστή αστάθειας. Σε τέτοιες περιπτώσεις δε µπορεί να καθοριστεί εάν αυτή η συµπεριφορά είναι επιθυµητή, ή εάν οι πίνακες B προσεγγίζουν ικανοποιητικά µια Εσσιανή µε µεγάλο συντελεστή αστάθειας (ill-conditioned). Για να αποφανθούµε θα έπρεπε να γνωρίζουµε το ίδιο το πρόβληµα που προσπαθούµε να επιλύσουµε. Έτσι στις εφαρµογές προτιµούµε όταν εκπαιδεύουµε ΤΝ µε τη µέθοδο BFGS να αφήνουµε τους πίνακες B να εξελίσσονται ελεύθερα γιατί τότε επιταχύνεται η µάθηση. 8. Πρακτική θεώρηση της ευρείας σύγκλισης αλγορίθµων µάθησης Τα προηγούµενα θεωρητικά αποτελέσµατα είναι χρήσιµα για την κατανόηση και τη µελέτη της συµπεριφοράς των αλγόριθµων µάθησης. Ωστόσο οι αλγόριθµοι αυτοί, ελαχιστοποιώντας τη µη γραµµική συνάρτηση σφάλµατος, έχουν να αντιµετωπίσουν κάποια από τα δυσκολότερα πρακτικά προβλήµατα που εµφανίζονται κατά τη βελτιστοποίηση µη γραµµικών συναρτήσεων. Οι κυριότερες δυσκολίες είναι: (i) Το κόστος υπολογισµού των τιµών της συνάρτησης σφάλµατος και των παραγώγων της. Στις εφαρµογές το υπολογιστικό κόστος αποτελεί το βασικό κριτήριο επιλογής του αλγόριθµου µάθησης, καθώς σε πολλές περιπτώσεις είναι προτιµότερες µερικές ακόµα επαναλήψεις ενός αλγόριθµου που βασίζεται στη µέθοδο µέγιστης κλίσης από τη χρήση περίπλοκων αλγόριθµων τοπικής σύγκλισης. (ii) Οι µη ακριβείς τιµές της συνάρτησης σφάλµατος. Είναι γνωστό πως οι αριθµητικοί υπολογισµοί υπόκεινται σε σφάλµατα ακρίβειας (Wilinson 1963). Οι αριθµητικές πράξεις που απαιτούνται στις εξοµοιώσεις των αλγόριθµων µάθησης επηρεάζουν την ακρίβεια των τιµών της συνάρτησης σφάλµατος (Wray & Green 1995). Επιπλέον, τα χαρακτηριστικά των µη γραµµικών νευρώνων εµποδίζουν τον ακριβή υπολογισµό των συναρτησιακών τιµών του σφάλµατος και οδηγούν σε κορεσµό, τόσο στις εξοµοιώσεις όσο και στις υλοποιήσεις των ΤΝ (Holt & Hang 1993). (iii) Τα πολλαπλά ελάχιστα της συνάρτησης σφάλµατος. Η συνάρτηση σφάλµατος είναι µη κυρτή και δηµιουργείται από την υπέρθεση των µη γραµµικών συναρτήσεων

12 ενεργοποίησης που ελαχιστοποιούνται σε διαφορετικά σηµεία. Όταν η τιµή της συνάρτησης σφάλµατος σε ένα ελάχιστο είναι µικρότερη από την «επιθυµητή», τίθεται το θέµα της ποιότητας του ελάχιστου. Για παράδειγµα, σε προβλήµατα προσέγγισης συναρτήσεων ή αναγνώρισης συστηµάτων υπάρχουν πολλαπλά «επιθυµητά» ελάχιστα που προσεγγίσουν, άγνωστο πόσο καλά, το ολικό ελάχιστο. Σε αυτές τις περιπτώσεις το πρόβληµα µπορεί να εξαλειφθεί χρησιµοποιώντας αρκετά µεγάλο αριθµό δεδοµένων. υστυχώς, υπάρχουν και περιπτώσεις που ο αλγόριθµος µάθησης συγκλίνει σε «ανεπιθύµητα» ελάχιστα, δηλαδή σε ελάχιστα µε συναρτησιακές τιµές µεγαλύτερες από την «επιθυµητή». Αυτό συµβαίνει για διάφορους λόγους, π.χ. όταν το πλήθος των νευρώνων δεν επαρκεί για τη συγκεκριµένη εφαρµογή ή όταν ο αλγόριθµος εκκινεί από ακατάλληλα αρχικά βάρη και εµποδίζει το ΤΝ από το να µάθει πλήρως όλα τα πρότυπα. 9. Ευρεία σύγκλιση µε στρατηγικές οπισθοδρόµησης Οι αλγόριθµοι µάθησης µε στρατηγικές ευθύγραµµης ανίχνευσης που ικανοποιούν τις συνθήκες του Wolfe ελαττώνουν το πλήθος των υπολογισµών της συνάρτησης σφάλµατος και των παραγώγων της σε σχέση µε τους αλγόριθµους τοπικής σύγκλισης που χρησιµοποιούν τεχνικές ακριβούς ευθύγραµµης ανίχνευσης. Στην πράξη είναι δυνατό ο αριθµός των απαιτούµενων υπολογισµών να µειωθεί περαιτέρω χρησιµοποιώντας µια διαφορετική στρατηγική ευθύγραµµης ανίχνευσης που ονοµάζεται οπισθοδρόµηση (bactracing) και τις τροποποιήσεις της. Η στρατηγική οπισθοδρόµησης εκµεταλλεύεται τον καλύτερο ρυθµό µάθησης που µπορεί να βρεθεί στο διάστηµα ( 0, α max ], όπου α max είναι ο µέγιστος ρυθµός µάθησης της εκάστοτε επανάληψης. Η ανίχνευση ξεκινά από το µέγιστο ρυθµό και εκτελώντας διαδοχικές ελαττώσεις του προχωρά προς το ελάχιστο έως ότου επιτευχθεί ικανοποιητική µείωση της συνάρτησης σφάλµατος. Για κριτήριο ικανοποιητικής µείωσης µπορούµε να χρησιµοποιούµε την πρώτη από τις συνθήκες του Wolfe (7) που εξασφαλίζει ότι η συνάρτηση σφάλµατος µειώνεται επαρκώς σε κάθε επανάληψη του αλγόριθµου µάθησης. Η παράµετρος σ 1 (0,1) της πρώτης ανισότητας του Wolfe µπορεί να λαµβάνει µικρές τιµές σε επίπεδες επιφάνειες σφάλµατος, ώστε να περιορίζεται ο αριθµός των συναρτησιακών υπολογισµών αφού οι διαφορές των σφαλµάτων για τις διαδοχικές τιµές του ρυθµού είναι µηδαµινές, και µεγάλες τιµές σε απότοµες επιφάνειες, ώστε να εξασφαλίζεται η µεγαλύτερη δυνατή µείωση της συνάρτησης σφάλµατος. Η τιµή σ 1 = 05., χωρίς να είναι πάντοτε η βέλτιστη, αποδείχθηκε στην πράξη πως κατά µέσο όρο περιορίζει τον αριθµό των συναρτησιακών υπολογισµών και χρησιµοποιήθηκε στις παρακάτω εξοµοιώσεις. Οι διαδοχικές ελαττώσεις του ρυθµού µάθησης συντελούνται µε διάφορους µηχανισµούς, όπως η διαίρεση µε ένα σταθερό συντελεστή ή µε µια εκτίµηση του βέλτιστου συντελεστή για κάθε επανάληψη. Πρέπει να σηµειωθεί πως η επιλογή του διαιρέτη δεν είναι κρίσιµη για την ευρεία σύγκλιση. Για παράδειγµα, ο διαιρέτης θα µπορούσε να είναι σταθερός και ίσος µε 2. Ένας διαιρέτης 10, ή 20, είναι πιθανόν καταλληλότερος σε περιπτώσεις που απαιτείται ο ρυθµός να κρατείται χαµηλός για πολλές διαδοχικές επαναλήψεις. Βέβαια τυχόν υπερβολική µείωση του ρυθµού µάθησης µπορεί τελικά να αυξήσει το υπολογιστικό κόστος, επιβαρύνοντας τον αλγόριθµο µε επιπλέον επαναλήψεις.

13 Για το λόγο αυτό ο αλγόριθµος µπορεί να ενσωµατώνει και µηχανισµούς άνω και κάτω φράγµατος που εξασφαλίζουν ότι ο ρυθµός µάθησης κινείται σε επίπεδα που δεν επιβραδύνουν επικίνδυνα την εκπαίδευση, ενώ παράλληλα µειώνουν το σφάλµα σε κάθε επανάληψη. Τα φράγµατα αυτά έχουν το ίδιο θεωρητικό αποτέλεσµα µε τη δεύτερη από τις συνθήκες (7) (Dennis & Schnabel 1983), εµποδίζοντας το ρυθµό µάθησης από το να γίνει πολύ αργός, χωρίς να απαιτούν επιπλέον υπολογισµούς παραγώγων της συνάρτησης σφάλµατος. Πρέπει να σηµειωθεί πως η στρατηγική οπισθοδρόµησης µε φράγµατα στο ρυθµό µάθησης επιτρέπει να εγγυηθούµε την ευρεία σύγκλιση για τους αλγόριθµους µάθησης χωρίς τη χρήση ευθύγραµµης ανίχνευσης που ικανοποιεί τις συνθήκες του Wolfe (βλέπε το σχετικό αποτέλεσµα των Shultz et al. 1982). Έτσι στη πράξη µε αυτή τη στρατηγική µπορούµε να εξασφαλίσουµε την ευστάθεια του αλγόριθµου µάθησης και τη σθεναρότητά του σε ταλαντώσεις. 10. Ανάλυση αλγορίθµων σε ένα κλασσικό παράδειγµα Η ταξινόµηση των τεσσάρων προτύπων του Αποκλειστικού-ΕΙΤΕ (XOR) σε δύο κατηγορίες, την 0 και την 1, είναι ένα κλασσικό πρόβληµα για ΤΝ (Jacobs 1988, Kollias & Anastasiou 1989, van Ooyen 1992, van der Smagt 1994). Το ΤΝ έχει 2 γραµµικούς νευρώνες στην είσοδο, 2 µη γραµµικούς νευρώνες, που ακολουθούν τη λογιστική συνάρτηση (Hayin 1994), στο κρυµµένο επίπεδο και 1 ίδιου τύπου µη γραµµικό νευρώνα στην έξοδο. Αυτή η αρχιτεκτονική δηλώνεται για ευκολία και περιλαµβάνει 9 βάρη. Η µάθηση του XOR παρουσιάζει µεγάλη εξάρτηση από τις αρχικές τιµές των βαρών και τις µεταβολές του ρυθµού µάθησης, ενώ εµφανίζει πολλαπλά ελάχιστα. Το ζήτηµα των πολλαπλών ελάχιστων σε αυτή την εφαρµογή έχει µελετηθεί αναλυτικά (Blum 1989, Lisboa & Perantonis 1991). Τα Σχήµατα 1 και 2 παρουσιάζουν την επιφάνεια σφάλµατος του XOR και τις ισοϋψείς της στο διδιάστατο υπόχωρο του R q που ορίζεται από τα ιδιοδιανύσµατα που αντιστοιχούν στις ακραίες ιδιοτιµές της Εσσιανής, δηλαδή στη µεγαλύτερη και στη µικρότερη ιδιοτιµή της Εσσιανής της συνάρτησης σφάλµατος, σε ένα επιθυµητό ελάχιστο το οποίο αντιστοιχίζεται στο σηµείο (0, 0) των σχηµάτων. Η προσέγγιση αυτή βασίζεται στο ότι η Εσσιανή είναι πραγµατικός και συµµετρικός πίνακας και εποµένως όλες οι ιδιοτιµές της είναι πραγµατικές και τα ιδιοδιανύσµατα που αντιστοιχούν στις διάφορες ιδιοτιµές είναι ορθογώνια. Σε αυτό το πλαίσιο οι κατευθύνσεις των αξόνων των ισοϋψών γραµµών δίνονται από τα ιδιοδιανύσµατα της Εσσιανής, ενώ το µήκος των αξόνων είναι αντίστροφα ανάλογο της τετραγωνικής ρίζας των αντίστοιχων ιδιοτιµών. Οι επίπεδες περιοχές του Σχήµατος 1 δηλώνουν σηµεία µε την ίδια συναρτησιακή τιµή. Η µορφή αυτή αναπαράστασης µιας γενικής επιφάνειας σφάλµατος µε ( q +1) διαστάσεις στις 3 διαστάσεις προτάθηκε από τους Androulais et al. (1997). Στη συγκεκριµένη περίπτωση αυτή η προσέγγιση µας επιτρέπει να οπτικοποιήσουµε την επιφάνεια σφάλµατος του 9-διάστατου προβλήµατος XOR γύρω από ένα ελάχιστο και να µελετήσουµε τη συµπεριφορά διάφορων αλγόριθµων µάθησης γύρω από το ελάχιστο και την ευαισθησία τους στις αρχικές τιµές των βαρών. Στη συνέχεια θα συγκρίνουµε την απόδοση πέντε διαδεδοµένων και πολυ γνωστών αλγόριθµων µάθησης στα ίδια αρχικά διανύσµατα βαρών γύρω από ένα τυχαίο ελάχιστο. Πιο συγκεκριµένα οι αλγόριθµοι ελέγχονται στα σηµεία: * max min = + ( c e + c e ), 1 2

14 παίρνοντας κατάλληλο πλέγµα για τις παραµέτρους c 1 [ 50,50], c2 [ 90,90], το οποίο καθορίζει τις συντεταγµένες των εικονοστοιχείων (οθόνη VGA, , 256 χρώµατα) και max min χρησιµοποιώντας τα ιδιοδιανύσµατα e, e που αντιστοιχούν στη µέγιστη και ελάχιστη ιδιοτιµή της Εσσιανής στο ελάχιστο. Οι αλγόριθµοι των οποίων αποτελέσµατα σύγκλισης παρουσιάζονται είναι οι εξής: µέγιστης κλίσης (SD), Fletcher-Reeves (FR), Pola-Ribière (PR), Davidon-Fletcher-Poell (DFP) και Broyden-Fletcher-Goldfarb-Shanno (BFGS), οι οποίοι µπορούν να βρεθούν στη βιβλιογραφία αναφορικά µε την βελτιστοποίηση χωρίς περιορισµούς (Dennis & Schnabel 1983, Luenberger 1969, Pola (1997), Ortega & Rheinboldt 1970). Σε όλες τις περιπτώσεις η κλίση υπολογίστηκε µε την τεχνική της οπισθοδροµικής διάδοσης του σφάλµατος και χρησιµοποιήθηκε η στρατηγική της οπισθοδρόµησης για τον καθορισµό του ρυθµού µάθησης σε κάθε επανάληψη. Η εκπαίδευση θεωρείται επιτυχής όταν το σφάλµα µάθησης γίνεται E Τα αποτελέσµατα συνοψίζονται στον Πίνακα 1 όπου χρησιµοποιούνται τα εξής σύµβολα: µ είναι η µέση τιµή του αριθµού των υπολογισµών της συνάρτησης σφάλµατος, σ είναι η τυπική απόκλιση και Min/Max είναι ο ελάχιστος/µέγιστος αριθµός συναρτησιακών υπολογισµών που εκτελέστηκαν. Τέλος, % είναι το ποσοστό επιτυχίας του αλγόριθµου µάθησης που ταυτίζεται µε το ποσοστό σύγκλισης σε «επιθυµητά» ελάχιστα, δηλαδή σε βάρη τα οποία δίνουν τιµές σφάλµατος E Σχήµα 1: Η επιφάνεια σφάλµατος του προβλήµατος Αποκλειστικού-ΕΙΤΕ (XOR), γύρω από ένα επιθυµητό ελάχιστο, απεικονισµένη στο διδιάστατο υπόχωρο που ορίζεται από τα ακραία ιδιοδιανυσµάτα της Εσσιανής. Τα ιδιοδιανύσµατα υπολογίζονται στο συγκεκριµένο ελάχιστο, το οποίο στο σχήµα αντιστοιχίζεται στην αρχή των αξόνων.

15 Σχήµα 2: Ισοϋψείς γραµµές της επιφάνειας σφάλµατος του προβλήµατος Αποκλειστικού-ΕΙΤΕ (XOR) απεικονισµένες στο διδιάστατο υπόχωρο που ορίζεται από τα ακραία ιδιοδιανυσµάτα της Εσσιανής. Πίνακας 1: Συγκριτικά αποτελέσµατα για το πρόβληµα XOR. Αλγόριθµος µ σ Min/Max % SD / FR / PR / DFP / BFGS / Τα αποτελέσµατα του Πίνακα 1 δείχνουν ότι η µέθοδος της µέγιστης κλίσης απαιτεί τον µικρότερο αριθµό υπολογισµών της συνάρτησης σφάλµατος και είναι η ταχύτερη στο µέσο όρο. Σηµειώνοντας ότι το ποσοστό επιτυχίας των αλγόριθµων συνδέεται µε το πρόβληµα της σύγκλισης σε ανεπιθύµητα ελάχιστα, που είναι ιδιαίτερα οξυµένο στο XOR, παρατηρούµε ότι η BFGS και η DFP εµφανίζουν τα καλύτερα ποσοστά επιτυχίας. Το ποσοστό επιτυχίας της µεθόδου µέγιστης κλίσης είναι αρκετά ικανοποιητικό, προσεγγίζοντας το ποσοστό της µεθόδου Pola-Ribière, που είναι υπολογιστικά πολυπλοκότερη. Ενδιαφέρον παρουσιάζει η συµπεριφορά των δύο αλγόριθµων που βασίζονται σε συζυγείς κλίσεις. Η συµπεριφορά της µεθόδου Fletcher-Reeves επαληθεύει τις θεωρητικές αναφορές και υπολείπεται της µεθόδου Pola-Ribière. Πέρα από το γεγονός ότι η µέθοδος Pola-Ribière έχει καλύτερα ποσοστά επιτυχίας και αισθητά καλύτερη µέση συµπεριφορά από τη συγγενή της µέθοδο, εµφανίζει έναν από τους δύο χαµηλότερους µέγιστους αριθµούς υπολογισµών των τιµών της συνάρτησης σφάλµατος, γεγονός που δίνει ιδιαίτερη βαρύτητα στη µέση συµπεριφορά της µεθόδου. Είναι επίσης ενδιαφέρον να παρατηρήσουµε στο Σχήµα 3 την ευαισθησία των αλγόριθµων από τα αρχικά βάρη, όπως φαίνεται από την κατανοµή των σηµείων στην περιοχή σύγκλισης απεικονισµένη στο διδιάστατο υπόχωρο του R q.

16 Σχήµα 3: Σύγκριση πέντε αλγόριθµων µάθησης στο πρόβληµα ταξινόµησης προτύπων Αποκλειστικού-ΕΙΤΕ (XOR). Κάθε σηµείο των παρακάτω εικόνων αντιστοιχεί σε ένα αρχικό διάνυσµα βαρών και χρωµατίζεται µαύρο ή άσπρο ανάλογα µε το αν ο αλγόριθµος, µε τη συγκεκριµένη αρχική τιµή, συγκλίνει σε επιθυµητό ελάχιστο, ή όχι. Τα σηµεία ορίζονται στο πλέγµα [-50, 50] [-90, 90] και το κέντρο της εικόνας αντιστοιχεί στο σηµείο (0,0). Περιοχή σύγκλισης του αλγόριθµου µέγιστης κλίσης. Περιοχή σύγκλισης του αλγόριθµου Fletcher-Reeves. Περιοχή σύγκλισης του αλγόριθµου Davidon-Fletcher-Poell. Περιοχή σύγκλισης του αλγόριθµου Pola-Ribière. Περιοχή σύγκλισης του αλγόριθµου Broyden-Fletchet-Goldfarb-Shanno.

17 Αναφορές 1. Acley, D., Hinton, G. & Sejnosi, T. (1985). A learning algorithm for Boltzmann machines, Cognitive Science, 9, Almeida, L. (1987). A learning rule for asynchronous perceptrons ith feedbac in a combinatorial environment, Proceedings of the 1 st IEEE Int. Conf. on Neural Netors, vol. 2, San Diego, CA, Androulais, G.S, Magoulas, G.D. & Vrahatis, M.N. (1997). Geometry of learning: visualizing the performance of neural netor supervised training methods, Nonlinear Analysis, Theory, Methods & Applications, 30, No. 7, Armijo, L. (1966). Minimization of functions having Lipschitz continuous first partial derivatives, Pacific J. of Math.,16, Battiti, R. (1989). Accelerated bacpropagation learning: to optimization methods, Complex Systems, 3, Battiti, R. (1992). First- and second-order methods for learning: beteen steepest descent and Neton's method, Neural Computation, 4, Battiti, R. & Masulli, F. (1990). BFGS optimization for faster and automated supervised learning, in Proceedings of the Inter. Conf. on Neural Netors, Paris, France, Becer, S. & Le Cun, Y. (1988). Improving the convergence of the bac-propagation learning ith second order methods, in Proceedings of the 1988 Connectionist Models Summer School (Touretzy, D., Hinton, G. & Sejnosi, T., eds.), Morgan-Kaufman, San Mateo, CA, Beigi, H. & Li, C. (1993). Learning algorithms for neural netors based on quasi--neton methods ith self-scaling, Trans. of the ASME, Journal of Dynamic Systems, Measurements, and Control, 115, Bishop, C. (1992). Exact calculation of the Hessian matrix for the multi-layer perceptron, Neural Computation, 4, Blum, E. (1989). Approximation of Boolean functions by sigmoidal netors: Part I: XOR and other to-variable functions, Neural Computation, 1, Bron, P. & Saad, Y. (1990). Hybrid Krylov methods for nonlinear systems of equations, SIAM J. Sci. Stat. Comput., 11, Broyden, G., Dennis, J. & Moré, J. (1973). On the local and superlinear convergence of quasi-neton methods, J. Inst. Math. Applics, 12, Buntine, W. & Weigend, A. (1994). Computing second derivatives on feedforard netors: a revie, IEEE Trans. on Neural Netors, 5, Byrd, R., Nocedal, J. & Yuan. Y. (1987). Global convergence of a class of quasi-neton methods on convex problems, SIAM J. Numer. Anal., 24, Dennis, J. & Moré, J. (1974). A characterization of superlinear convergence and its application to quasi-neton methods, Math. Comp., 28, Dennis, J & Schnabel, R. (1983). Numerical methods for unconstrained optimization and nonlinear equations, Prentice-Hall, NJ. 18. Eisenstat, S. & Waler, H (1994). Globally convergent inexact Neton methods, SIAM J. Optim., 4, El-Jaroudi, A. & Mahoul, J. (1990). A ne error criterion for posterior probability estimation ith neural nets, in Proceedings of the Inter. J. Conf. on Neural Netors, Vol. 3, San Diego, CA, Fahlman, S. (1988). Faster learning variations on bac-propagation: an empirical study, in Proceedings of the 1988 Connectionist Models Summer School (Touretzy, D., Hinton, G. & Sejnosi, T., eds.), Morgan-Kaufman, San Mateo, CA,

18 21. Goldstein, A. (1962). Cauchy's method of minimization, Numerische Mathemati, 4, Goldstein, A. (1965). On steepest descent, SIAM J. Control, 3, Goldstein, A. & Price, J. (1967). An effective algorithm for minimization, Numerische Mathemati, 10, Hassibi, B. & Stor, D. (1993). Second order derivatives for netor pruning: Optimal brain surgeon, in Advances in Neural Information Processing Systems 5 (Hanson, S., Coan, J. & Giles, C., eds.), Morgan Kaufmann, San Mateo, CA, Hayin, S. (1994). Neural Netors: a comprehensive foundation, Macmillan College Publishing Company. 26. Holt, J. & Hang, J. (1993). Finite precision error analysis of neural netor hardare implementations, IEEE Trans. on Comp., 42, Hsin, H.-C., Li, C.-C., Sun, M. & Sclabassi, R. (1995). An adaptive training algorithm for bac-propagation neural netors, IEEE Trans. on System, Man and Cybernetics, 25, Jacobs, R. (1988). Increased rates of convergence through learning rate adaptation, Neural Netors, 1, Johansson, E., Dola, F., Goodman, D. (1990). Bac-propagation learning for multi-layer feed-forard neural netors using the conjugate gradient method, Technical report UCRL- JC , Larence Livermore National Laboratory, Livermore, CA. 30. Kollias, S. & Anastassiou, S. (1989). An adaptive least squares algorithm for the efficient training of artificial neural netors, IEEE Trans. Circuits and Systems, 36, Kramer, A. & Sangiovanni-Vincentelli, A. (1989). Efficient parallel learning algorithms for neural netors, in Advances in Neural Information Processing Systems 1 (Touretzy, D., ed.), Morgan-Kaufmann, CA, Kung, S. (1993). Digital neural netors, PTR Prentice-Hall, Engleood Cliffs, NJ. 33. Becer, S. & Le Cun, Y. (1988). Improving the convergence of the bac-propagation learning ith second order methods, in Proceedings of the 1988 Connectionist Models Summer School (Touretzy, D., Hinton, G. & Sejnosi, T., eds.), Morgan-Kaufman, San Mateo, CA, Le Cun, Y., Dener, J. & Solla, S. (1990). Optimal brain damage, in Advances in Neural Information Processing Systems 2 (Touretzy, D., ed.), Morgan-Kaufmann, CA, Le Cun, Y., Kanter, I. & Solla, S. (1991). Second order properties of error surfaces: learning time and generalization, in Advances in Neural Information Processing Systems 3 (Lippmann, R., Moody, J. & Touretzy, D., ed.), Morgan-Kaufmann, CA, Le Cun, Y., Simard, P. & Pearlmutter, B. (1993). Automatic learning rate maximization by on-line estimation of the Hessian's eigenvectors, in Advances in Neural Information Processing Systems 5 (Hanson, S., Coan, J. & Giles, C., eds.), Morgan Kaufmann, San Mateo, CA, Lisboa, P. & Perantonis, S. (1991). Complete solution of the local minima in the XOR problem, Netor, 2, Liu, D. & Nocedal, J. (1989). On the limited memory BFGS method for large scale optimization, Math. Program., 45, Luenberger, D. (1969). Optimization by vector space methods, Wiley, NY. 40. MacKay, D. (1991). A practical Bayesian frameor for bac-prop netors, Neural Computation, 4, Magoulas, G.D, Vrahatis, M.N. & Androulais, G.S. (1996). A ne method in neural netor supervised training ith imprecision, in Proceedings of the 3 rd IEEE Inter. Conf. on Electr. Circuits and Syst., Rodos, Greece,

19 42. Magoulas, G.D., Vrahatis, M.N., Grapsa, T.N. & Androulais, G.S. (1997a). Neural netor supervised training based on a dimension reducing method, in Mathematics of Neural Netors, Models, Algorithms and Applications, S.W. Ellacott, J.C. Mason & I.J. Anderson eds., Kluer Academic Publishers, Boston, 1997, Chapter 41, Magoulas, G.D., Vrahatis, M.N. & Androulais, G.S. (1997b). Effective bac-propagation training ith variable stepsize, Neural Netors, 10, Magoulas, G.D., Vrahatis, M.N. & Androulais, G.S. (1999). Increasing the convergence rate of the error bacpropagation algorithm by learning rate adaptation methods, Neural Computation, 11, No. 7, Magoulas, G.D., Karanis, S.A., Karras, D.A. & Vrahatis, M.N. (2000a). Comparison study of textural descriptors for training neural netor classifiers, Inter. J. Computer Research, accepted for publication. 46. Magoulas, G.D., Plagianaos, V.P., Androulais, G.S. & Vrahatis, M.N. (2000b). A frameor for the development of globally convergent adaptive learning rate algorithms, Inter. J. Computer Research, accepted for publication. 47. Magoulas, G.D. & Vrahatis, M.N. (2000). A class of adaptive learning rate algorithms derived by one-dimensional subminimization methods, Neural, Parallel and Scientific Computations, accepted for publication. 48. Møller, M. (1990). A scaled-conjugate gradient algorithm for fast supervised learning, Technical report PB-339, Computer Science Dept., University of Aarhus, Aarhus, Denmar. 49. Møller, M. (1993). A scaled conjugate gradient algorithm for fast supervised learning, Neural Netors, 6, Moody, J. (1992). The effective number of parameters: an analysis of generalization and regularization in nonlinear learning systems, in Advances in Neural Information Processing Systems 4 (Moody, J., Hanson, S. & Lippmann, R., eds.), Morgan-Kaufmann, CA, Moré, J. (1983). Recent developments in algorithms and softare for trust region methods, in Mathematics Programming, The state of the art (Bachem, A. Grotschel, M. & Korte, G., eds.), Springer-Verlag, Berlin, Ortega, J. & Rheinboldt, W. (1970). Iterative solution of nonlinear equations in several variables, Academic Press, NY. 53. Pearlmutter, B. (1992). Gradient descent: second order momentum and saturating error, in Advances in Neural Information Processing Systems 4 (Moody, J., Hanson, S. & Lippmann, R., eds.), Morgan-Kaufmann, CA, Pearlmutter, B. (1994). Fast exact multiplication by the hessian, Neural Computation, 6, Pineda, F. (1987). Generalization of bac-propagation to recurrent neural netors, Physical Revie Letters, 59, Plagianaos, V.P., Magoulas, G.D. & Vrahatis, M.N. (1999a). Nonmonotone learning rules for bacpropagation netors, in Proceedings of the Sixth IEEE International Conference on Electronics, Circuits and Systems, Pafos, Cyprus, Plagianaos, V.P., Vrahatis, M.N. & Magoulas, G.D. (1999b). Nonmonotone methods for bacpropagation training ith adaptive learning rate, in Proceedings of the 1999 International Joint Conference on Neural Netors, (IJCNN'99), Washington DC, U.S.A., #2001 Session: Pola, E., (1997). Optimization: algorithms and consistent approximations, Springer, Ne Yor. 59. Poell, M. (1975). Convergence properties of a class of minimization algorithms, in Nonlinear Programming 2 (Mangasarian, O., Meyer, R. & Robinson, S., eds.), Academic Press, NY, 1-27.

20 60. Riegler, A., Irvine, J. & Vogl, T. (1991). Rescaling of variables in bac-propagation learning, Neural Netors, 4, Rojas, R. (1993). A graphical proof of the bacpropagation learning algorithm, in Parallel Computing Technologies (Malyshin, V., ed.), Obnins, Russia. 62. Rumelhart, D., Hinton, G. & Williams, R. (1986). Learning internal representations by error bac-propagation, in Parallel distributed processing: explorations in the microstructure of cognition (Rumelhart, D. & McClelland, J., eds.), MIT Press, Cambridge, MA. 63. Saarinen, S., Bramley, R. & Cybeno, G. (1992). Neural netors, bac-propagation and automatic differentiation, in Automatic differentiation of algorithms: theory, implementation and application (Griean, A. & Gorliss, G., eds.), SIAM, Philadelphia, PA, Schultz, G., Schnabel, R. & Byrd, R. (1985). A family of trust region based algorithms for unconstrained minimization ith strong global convergence properties, SIAM J. Numer. Anal., 22, Shultz, G., Schnabel, R. & Byrd, R. (1982). A family of trust region based algorithms for unconstrained minimization ith strong global convergence properties, Technical report CU- CS , Computer Science Dept., University of Colorado. 66. Sorensen, D. (1982). Neton's method ith a model trust region modification, SIAM J. Numer. Anal., 19, Sanston, D., Bishop, J. & Mitchell, R. (1994). Simple adaptive momentum: ne algorithm for training multilayer perceptrons, Electronics Letters, 30, Van der Smagt, P. (1994). Minimization methods for training neural netors, Neural Netors, 7, Van Ooyen, A. & Nienhuis, B. (1992). Improving the convergence of the bacpropagation algorithm, Neural Netors, 5, Vrahatis, M.N., Androulais, G.S., Lambrinos, J.N. & Magoulas, G.D. (2000a). A class of gradient unconstrained minimization algorithms ith adaptive stepsize, J. Comput. Appl. Math., 114, No. 2, Vrahatis, M.N., Magoulas, G.D. & Plagianaos, V.P. (2000b). Globally convergent modification of the Quicprop method, Neural Processing Letters, to appear vol. 12, No. 2, October Watrous, R. (1987). Learning algorithms for connectionist netors: applied gradient methods of nonlinear optimization, in Proceedings of the 1 st IEEE Inter. Conf. on Neural Netors, Vol. 2, San Diego, CA, Werbos, P. (1974). Beyond regression: ne tools for prediction and analysis in the behavioral sciences, Ph.D. Thesis, Harvard University, Cambridge, MA. 74. Werbos, P. (1992). Neural netors and the human mind: ne mathematics fits humanistic insight, IEEE Inter. Conf. on Systems, Man and Cybernetics, Vol. 1, Chicago, IL, Wilinson, J. (1963). Rounding errors in algebraic processes, Prentice-Hall, Engleood Cliffs, NJ. 76. Wolfe, P. (1969). Convergence conditions for ascent methods, SIAM Revie, 11, Wolfe, P. (1971). Convergence conditions for ascent methods. II: Some corrections, SIAM Revie, 13, Wray, J. & Green, G. (1995). Neural Netors, approximation theory and finite precision computation, Neural Netors, 8, Zoutendij, G. (1970). Nonlinear programming, computational methods, in Integer and Nonlinear Programming (Abadie, J., ed.), North-Holland, Amsterdam,

Κινητά Δίκτυα Επικοινωνιών. Συμπληρωματικό υλικό. Προσαρμοστική Ισοστάθμιση Καναλιού

Κινητά Δίκτυα Επικοινωνιών. Συμπληρωματικό υλικό. Προσαρμοστική Ισοστάθμιση Καναλιού Κινητά Δίκτυα Επικοινωνιών Συμπληρωματικό υλικό Προσαρμοστική Ισοστάθμιση Καναλιού Προσαρμοστικοί Ισοσταθμιστές Για να υπολογίσουμε τους συντελεστές του ισοσταθμιστή MMSE, απαιτείται να λύσουμε ένα γραμμικό

Διαβάστε περισσότερα

Μέθοδοι Μηχανών Μάθησης για Ευφυή Αναγνώριση και ιάγνωση Ιατρικών εδοµένων

Μέθοδοι Μηχανών Μάθησης για Ευφυή Αναγνώριση και ιάγνωση Ιατρικών εδοµένων Μέθοδοι Μηχανών Μάθησης για Ευφυή Αναγνώριση και ιάγνωση Ιατρικών εδοµένων Εισηγητής: ρ Ηλίας Ζαφειρόπουλος Εισαγωγή Ιατρικά δεδοµένα: Συλλογή Οργάνωση Αξιοποίηση Data Mining ιαχείριση εδοµένων Εκπαίδευση

Διαβάστε περισσότερα

ΚΕΦΑΛΑΙΟ 3 ΑΡΙΘΜΗΤΙΚΗ ΕΠΙΛΥΣΗ ΓΡΑΜΜΙΚΩΝ ΣΥΣΤΗΜΑΤΩΝ. nn n n

ΚΕΦΑΛΑΙΟ 3 ΑΡΙΘΜΗΤΙΚΗ ΕΠΙΛΥΣΗ ΓΡΑΜΜΙΚΩΝ ΣΥΣΤΗΜΑΤΩΝ. nn n n ΚΕΦΑΛΑΙΟ 3 ΑΡΙΘΜΗΤΙΚΗ ΕΠΙΛΥΣΗ ΓΡΑΜΜΙΚΩΝ ΣΥΣΤΗΜΑΤΩΝ 3 Ο αλγόριθµος Gauss Eστω =,3,, µε τον όρο γραµµικά συστήµατα, εννοούµε συστήµατα εξισώσεων µε αγνώστους της µορφής: a x + + a x = b a x + + a x = b a

Διαβάστε περισσότερα

ΚΕΦΑΛΑΙΟ 18. 18 Μηχανική Μάθηση

ΚΕΦΑΛΑΙΟ 18. 18 Μηχανική Μάθηση ΚΕΦΑΛΑΙΟ 18 18 Μηχανική Μάθηση Ένα φυσικό ή τεχνητό σύστηµα επεξεργασίας πληροφορίας συµπεριλαµβανοµένων εκείνων µε δυνατότητες αντίληψης, µάθησης, συλλογισµού, λήψης απόφασης, επικοινωνίας και δράσης

Διαβάστε περισσότερα

4.3. Γραµµικοί ταξινοµητές

4.3. Γραµµικοί ταξινοµητές Γραµµικοί ταξινοµητές Γραµµικός ταξινοµητής είναι ένα σύστηµα ταξινόµησης που χρησιµοποιεί γραµµικές διακριτικές συναρτήσεις Οι ταξινοµητές αυτοί αναπαρίστανται συχνά µε οµάδες κόµβων εντός των οποίων

Διαβάστε περισσότερα

Σηµειώσεις στις σειρές

Σηµειώσεις στις σειρές . ΟΡΙΣΜΟΙ - ΓΕΝΙΚΕΣ ΕΝΝΟΙΕΣ Σηµειώσεις στις σειρές Στην Ενότητα αυτή παρουσιάζουµε τις βασικές-απαραίτητες έννοιες για την µελέτη των σειρών πραγµατικών αριθµών και των εφαρµογών τους. Έτσι, δίνονται συστηµατικά

Διαβάστε περισσότερα

Ακρότατα υπό συνθήκη και οι πολλαπλασιαστές του Lagrange

Ακρότατα υπό συνθήκη και οι πολλαπλασιαστές του Lagrange 64 Ακρότατα υπό συνθήκη και οι πολλαπλασιαστές του Lagrage Ας υποθέσουµε ότι ένας δεδοµένος χώρος θερµαίνεται και η θερµοκρασία στο σηµείο,, Τ, y, z Ας υποθέσουµε ότι ( y z ) αυτού του χώρου δίδεται από

Διαβάστε περισσότερα

ΣΗΜΕΙΩΣΕΙΣ ΜΑΘΗΜΑΤΙΚΗΣ ΑΝΑΛΥΣΗΣ Ι (2006-07)

ΣΗΜΕΙΩΣΕΙΣ ΜΑΘΗΜΑΤΙΚΗΣ ΑΝΑΛΥΣΗΣ Ι (2006-07) ΤΕΙ ΥΤΙΚΗΣ ΜΑΚΕ ΟΝΙΑΣ ΠΑΡΑΡΤΗΜΑ ΚΑΣΤΟΡΙΑΣ ΤΜΗΜΑ ΠΛΗΡΟΦΟΡΙΚΗΣ ΚΑΙ ΤΕΧΝΟΛΟΓΙΑΣ ΥΠΟΛΟΓΙΣΤΩΝ ΣΗΜΕΙΩΣΕΙΣ ΜΑΘΗΜΑΤΙΚΗΣ ΑΝΑΛΥΣΗΣ Ι (2006-07) Επιµέλεια Σηµειώσεων : Βασιλειάδης Γεώργιος Καστοριά, εκέµβριος 2006

Διαβάστε περισσότερα

Επίλυση Γραµµικών Συστηµάτων

Επίλυση Γραµµικών Συστηµάτων Κεφάλαιο 3 Επίλυση Γραµµικών Συστηµάτων 31 Εισαγωγή Αριθµητική λύση γενικών γραµµικών συστηµάτων n n A n n x n 1 b n 1, όπου a 11 a 12 a 1n a 21 a 22 a 2n A [a i j, x a n1 a n2 a nn x n, b b 1 b 2 b n

Διαβάστε περισσότερα

Συνήθεις διαφορικές εξισώσεις προβλήματα οριακών τιμών

Συνήθεις διαφορικές εξισώσεις προβλήματα οριακών τιμών Συνήθεις διαφορικές εξισώσεις προβλήματα οριακών τιμών Οι παρούσες σημειώσεις αποτελούν βοήθημα στο μάθημα Αριθμητικές Μέθοδοι του 5 ου εξαμήνου του ΤΜΜ ημήτρης Βαλουγεώργης Καθηγητής Εργαστήριο Φυσικών

Διαβάστε περισσότερα

Βέλτιστα Ψηφιακά Φίλτρα: Φίλτρα Wiener, Ευθεία και αντίστροφη γραµµική πρόβλεψη

Βέλτιστα Ψηφιακά Φίλτρα: Φίλτρα Wiener, Ευθεία και αντίστροφη γραµµική πρόβλεψη ΒΕΣ 6 Προσαρµοστικά Συστήµατα στις Τηλεπικοινωνίες Βέλτιστα Ψηφιακά Φίλτρα: Φίλτρα Wiener, Ευθεία και αντίστροφη γραµµική πρόβλεψη 7 Nicolas sapatsoulis Βιβλιογραφία Ενότητας Benvenuto []: Κεφάλαιo Wirow

Διαβάστε περισσότερα

ΤΟΠΟΓΡΑΦΙΚΑ ΔΙΚΤΥΑ ΚΑΙ ΥΠΟΛΟΓΙΣΜΟΙ ΑΝΑΣΚΟΠΗΣΗ ΘΕΩΡΙΑΣ ΣΥΝΟΡΘΩΣΕΩΝ

ΤΟΠΟΓΡΑΦΙΚΑ ΔΙΚΤΥΑ ΚΑΙ ΥΠΟΛΟΓΙΣΜΟΙ ΑΝΑΣΚΟΠΗΣΗ ΘΕΩΡΙΑΣ ΣΥΝΟΡΘΩΣΕΩΝ ΤΟΠΟΓΡΑΦΙΚΑ ΔΙΚΤΥΑ ΚΑΙ ΥΠΟΛΟΓΙΣΜΟΙ ΑΝΑΣΚΟΠΗΣΗ ΘΕΩΡΙΑΣ ΣΥΝΟΡΘΩΣΕΩΝ Βασίλης Δ. Ανδριτσάνος Δρ. Αγρονόμος - Τοπογράφος Μηχανικός ΑΠΘ Επίκουρος Καθηγητής ΤΕΙ Αθήνας 3ο εξάμηνο http://eclass.teiath.gr Παρουσιάσεις,

Διαβάστε περισσότερα

Μάθηση και Γενίκευση. "Τεχνητά Νευρωνικά Δίκτυα" (Διαφάνειες), Α. Λύκας, Παν. Ιωαννίνων

Μάθηση και Γενίκευση. Τεχνητά Νευρωνικά Δίκτυα (Διαφάνειες), Α. Λύκας, Παν. Ιωαννίνων Μάθηση και Γενίκευση Το Πολυεπίπεδο Perceptron (MultiLayer Perceptron (MLP)) Έστω σύνολο εκπαίδευσης D={(x n,t n )}, n=1,,n. x n =(x n1,, x nd ) T, t n =(t n1,, t np ) T Θα πρέπει το MLP να έχει d νευρώνες

Διαβάστε περισσότερα

Κεφάλαιο 2. Μέθοδος πεπερασµένων διαφορών προβλήµατα οριακών τιµών µε Σ Ε

Κεφάλαιο 2. Μέθοδος πεπερασµένων διαφορών προβλήµατα οριακών τιµών µε Σ Ε Κεφάλαιο Μέθοδος πεπερασµένων διαφορών προβλήµατα οριακών τιµών µε Σ Ε. Εισαγωγή Η µέθοδος των πεπερασµένων διαφορών είναι από τις παλαιότερες και πλέον συνηθισµένες και διαδεδοµένες υπολογιστικές τεχνικές

Διαβάστε περισσότερα

ΑΝΑΠΤΥΞΗ ΜΕΘΟ ΟΛΟΓΙΑΣ ΕΚΠΑΙ ΕΥΣΗΣ ΝΕΥΡΩΝΙΚΩΝ ΙΚΤΥΩΝ ΓΙΑ ΜΟΝΤΕΛΟΠΟΙΗΣΗ ΜΗ ΓΡΑΜΜΙΚΩΝ ΣΥΣΤΗΜΑΤΩΝ ΜΕ ΕΦΑΡΜΟΓΗ ΣΤΗΝ ΠΡΟΒΛΕΨΗ ΤΟΥ ΕΙΚΤΗ ΙΑΘΛΑΣΗΣ ΥΛΙΚΩΝ

ΑΝΑΠΤΥΞΗ ΜΕΘΟ ΟΛΟΓΙΑΣ ΕΚΠΑΙ ΕΥΣΗΣ ΝΕΥΡΩΝΙΚΩΝ ΙΚΤΥΩΝ ΓΙΑ ΜΟΝΤΕΛΟΠΟΙΗΣΗ ΜΗ ΓΡΑΜΜΙΚΩΝ ΣΥΣΤΗΜΑΤΩΝ ΜΕ ΕΦΑΡΜΟΓΗ ΣΤΗΝ ΠΡΟΒΛΕΨΗ ΤΟΥ ΕΙΚΤΗ ΙΑΘΛΑΣΗΣ ΥΛΙΚΩΝ ΑΝΑΠΤΥΞΗ ΜΕΘΟ ΟΛΟΓΙΑΣ ΕΚΠΑΙ ΕΥΣΗΣ ΝΕΥΡΩΝΙΚΩΝ ΙΚΤΥΩΝ ΓΙΑ ΜΟΝΤΕΛΟΠΟΙΗΣΗ ΜΗ ΓΡΑΜΜΙΚΩΝ ΣΥΣΤΗΜΑΤΩΝ ΜΕ ΕΦΑΡΜΟΓΗ ΣΤΗΝ ΠΡΟΒΛΕΨΗ ΤΟΥ ΕΙΚΤΗ ΙΑΘΛΑΣΗΣ ΥΛΙΚΩΝ ΠΤΥΧΙΑΚΗ ΕΡΓΑΣΙΑ ΧΟΝ ΡΟ ΗΜΑ ΕΥΑΓΓΕΛΙΑ Επιβλέπων: Αλεξανδρίδης

Διαβάστε περισσότερα

Κινητά Δίκτυα Υπολογιστών

Κινητά Δίκτυα Υπολογιστών Κινητά Δίκτυα Υπολογιστών Καθ. Κώστας Μπερμπερίδης Πολυτεχνική Σχολή Τμήμα Μηχανικών Η/Υ & Πληροφορικής Σκοποί ενότητας Εξοικείωση του φοιτητή με την έννοια της προσαρμοστικής ισοστάθμισης καναλιού 2 Περιεχόμενα

Διαβάστε περισσότερα

Ποσοτικές Μέθοδοι στη Διοίκηση Επιχειρήσεων ΙΙ Σύνολο- Περιεχόμενο Μαθήματος

Ποσοτικές Μέθοδοι στη Διοίκηση Επιχειρήσεων ΙΙ Σύνολο- Περιεχόμενο Μαθήματος Ποσοτικές Μέθοδοι στη Διοίκηση Επιχειρήσεων ΙΙ Σύνολο- Περιεχόμενο Μαθήματος Χιωτίδης Γεώργιος Τμήμα Λογιστικής και Χρηματοοικονομικής Άδειες Χρήσης Το παρόν εκπαιδευτικό υλικό υπόκειται σε άδειες χρήσης

Διαβάστε περισσότερα

Πιο συγκεκριμένα, η χρήση του MATLAB προσφέρει τα ακόλουθα πλεονεκτήματα.

Πιο συγκεκριμένα, η χρήση του MATLAB προσφέρει τα ακόλουθα πλεονεκτήματα. i Π Ρ Ο Λ Ο Γ Ο Σ Το βιβλίο αυτό αποτελεί μια εισαγωγή στα βασικά προβλήματα των αριθμητικών μεθόδων της υπολογιστικής γραμμικής άλγεβρας (computational linear algebra) και της αριθμητικής ανάλυσης (numerical

Διαβάστε περισσότερα

Εισαγωγή στη Γνωστική Ψυχολογία. επ. Κωνσταντίνος Π. Χρήστου

Εισαγωγή στη Γνωστική Ψυχολογία. επ. Κωνσταντίνος Π. Χρήστου Εισαγωγή στη Γνωστική Ψυχολογία Inside the black box για µια επιστήµη του Νου Επιστροφή στο Νου Γνωστική Ψυχολογία / Γνωσιακή Επιστήµη Inside the black box για µια επιστήµη του Νου Επιστροφή στο Νου Γνωστική

Διαβάστε περισσότερα

ΕΛΛΗΝΙΚΟ ΑΝΟΙΚΤΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΠΡΟΓΡΑΜΜΑ ΣΠΟΥ ΩΝ «ΠΛΗΡΟΦΟΡΙΚΗ» ΜΑΘΗΜΑΤΙΚΑ Ι (ΘΕ ΠΛΗ 12) ΕΡΓΑΣΙΑ 4

ΕΛΛΗΝΙΚΟ ΑΝΟΙΚΤΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΠΡΟΓΡΑΜΜΑ ΣΠΟΥ ΩΝ «ΠΛΗΡΟΦΟΡΙΚΗ» ΜΑΘΗΜΑΤΙΚΑ Ι (ΘΕ ΠΛΗ 12) ΕΡΓΑΣΙΑ 4 ΕΛΛΗΝΙΚΟ ΑΝΟΙΚΤΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΠΡΟΓΡΑΜΜΑ ΣΠΟΥ ΩΝ «ΠΛΗΡΟΦΟΡΙΚΗ» ΜΑΘΗΜΑΤΙΚΑ Ι (ΘΕ ΠΛΗ ) ΕΡΓΑΣΙΑ 4 Ηµεροµηνία αποστολής στον φοιτητή: 9 Φεβρουαρίου 5. Τελική ηµεροµηνία αποστολής από τον φοιτητή: Μαρτίου 5.

Διαβάστε περισσότερα

Υπολογιστικές Μέθοδοι στις Κατασκευές

Υπολογιστικές Μέθοδοι στις Κατασκευές Γενικά Για Τη Βελτιστοποίηση Η βελτιστοποίηση µπορεί να χωριστεί σε δύο µεγάλες κατηγορίες: α) την Βελτιστοποίηση Τοπολογίας (Topological Optimization) και β) την Βελτιστοποίηση Σχεδίασης (Design Optimization).

Διαβάστε περισσότερα

QR είναι ˆx τότε x ˆx. 10 ρ. Ποιά είναι η τιµή του ρ και γιατί (σύντοµη εξήγηση). P = [X. 0, X,..., X. (n 1), X. n] a(n + 1 : 1 : 1)

QR είναι ˆx τότε x ˆx. 10 ρ. Ποιά είναι η τιµή του ρ και γιατί (σύντοµη εξήγηση). P = [X. 0, X,..., X. (n 1), X. n] a(n + 1 : 1 : 1) ΕΠΙΣΤΗΜΟΝΙΚΟΣ ΥΠΟΛΟΓΙΣΜΟΣ I (22 Σεπτεµβρίου) ΕΠΙΛΕΓΜΕΝΕΣ ΑΠΑΝΤΗΣΕΙΣ 1ο ΘΕΜΑ 1. Αφού ορίσετε ακριβώς τι σηµαίνει πίσω ευσταθής υπολογισµός, να εξηγήσετε αν ο υ- πολογισµός του εσωτερικού γινοµένου δύο διανυσµάτων

Διαβάστε περισσότερα

Κανονικ ες ταλαντ ωσεις

Κανονικ ες ταλαντ ωσεις Κανονικες ταλαντωσεις Ειδαµε ηδη οτι φυσικα συστηµατα πλησιον ενος σηµειου ευαταθους ισορροπιας συ- µπεριφερονται οπως σωµατιδια που αλληλεπιδρουν µε γραµµικες δυναµεις επαναφορας οπως θα συνεαινε σε σωµατιδια

Διαβάστε περισσότερα

1 Ορισµός ακολουθίας πραγµατικών αριθµών

1 Ορισµός ακολουθίας πραγµατικών αριθµών ΜΑΣ 02. Απειροστικός Λογισµός Ι Ορισµός ακολουθίας πραγµατικών αριθµών Ορισµός.. Ονοµάζουµε ακολουθία πραγµατικών αριθµών κάθε απεικόνιση του συνόλου N των ϕυσικών αριθµών, στο σύνολο R των πραγµατικών

Διαβάστε περισσότερα

ΣΕΙΡΕΣ TAYLOR. Στην Ενότητα αυτή θα ασχοληθούµε µε την προσέγγιση συναρτήσεων µέσω πολυωνύµων. Πολυώνυµο είναι κάθε συνάρτηση της µορφής:

ΣΕΙΡΕΣ TAYLOR. Στην Ενότητα αυτή θα ασχοληθούµε µε την προσέγγιση συναρτήσεων µέσω πολυωνύµων. Πολυώνυµο είναι κάθε συνάρτηση της µορφής: ΣΕΙΡΕΣ TAYLOR Στην Ενότητα αυτή θα ασχοληθούµε µε την προσέγγιση συναρτήσεων µέσω πολυωνύµων Πολυώνυµο είναι κάθε συνάρτηση της µορφής: p( ) = a + a + a + a + + a, όπου οι συντελεστές α i θα θεωρούνται

Διαβάστε περισσότερα

ΕΛΕΓΧΟΣ ΠΑΡΑΓΩΓΙΚΩΝ ΔΙΕΡΓΑΣΙΩΝ

ΕΛΕΓΧΟΣ ΠΑΡΑΓΩΓΙΚΩΝ ΔΙΕΡΓΑΣΙΩΝ ΕΛΛΗΝΙΚΗ ΔΗΜΟΚΡΑΤΙΑ Ανώτατο Εκπαιδευτικό Ίδρυμα Πειραιά Τεχνολογικού Τομέα ΕΛΕΓΧΟΣ ΠΑΡΑΓΩΓΙΚΩΝ ΔΙΕΡΓΑΣΙΩΝ Ενότητα: Αναγνώριση Διεργασίας - Προσαρμοστικός Έλεγχος (Process Identification) Αλαφοδήμος Κωνσταντίνος

Διαβάστε περισσότερα

Μη γραµµικοί ταξινοµητές Νευρωνικά ίκτυα

Μη γραµµικοί ταξινοµητές Νευρωνικά ίκτυα KEΣ 3 Αναγνώριση Προτύπων και Ανάλυση Εικόνας Μη γραµµικοί ταξινοµητές Νευρωνικά ίκτυα ΤµήµαΕπιστήµης και Τεχνολογίας Τηλεπικοινωνιών Πανεπιστήµιο Πελοποννήσου Εισαγωγή Πολυεπίπεδες Perceptron Οαλγόριθµος

Διαβάστε περισσότερα

Συστήµατα Μη-Γραµµικών Εξισώσεων Μέθοδος Newton-Raphson

Συστήµατα Μη-Γραµµικών Εξισώσεων Μέθοδος Newton-Raphson Ιαν. 009 Συστήµατα Μη-Γραµµικών Εξισώσεων Μέθοδος Newton-Raphson Έστω y, y,, yn παρατηρήσεις µιας m -διάστατης τυχαίας µεταβλητής µε συνάρτηση πυκνότητας πιθανότητας p( y; θ) η οποία περιγράφεται από ένα

Διαβάστε περισσότερα

ΣΤΟΧΑΣΤΙΚΑ ΣΗΜΑΤΑ ΚΑΙ ΕΦΑΡΜΟΓΕΣ

ΣΤΟΧΑΣΤΙΚΑ ΣΗΜΑΤΑ ΚΑΙ ΕΦΑΡΜΟΓΕΣ ΣΤΟΧΑΣΤΙΚΑ ΣΗΜΑΤΑ ΚΑΙ ΕΦΑΡΜΟΓΕΣ Ακαδηµαϊκό Έτος 007-008 ιδάσκων: Ν. Παπανδρέου (Π.. 407/80) Πανεπιστήµιο Πατρών Τµήµα Μηχανικών Ηλεκτρονικών Υπολογιστών και Πληροφορικής 1η Εργαστηριακή Άσκηση Αναγνώριση

Διαβάστε περισσότερα

Non Linear Equations (2)

Non Linear Equations (2) Non Linear Equations () Τρίτη, 17 Φεβρουαρίου 015 5:14 μμ 15.0.19 Page 1 15.0.19 Page 15.0.19 Page 3 15.0.19 Page 4 15.0.19 Page 5 15.0.19 Page 6 15.0.19 Page 7 15.0.19 Page 8 15.0.19 Page 9 15.0.19 Page

Διαβάστε περισσότερα

Γεώργιος Ακρίβης. Προσωπικά στοιχεία. Εκπαίδευση. Ακαδημαϊκές Θέσεις. Ηράκλειο. Country, Ισπανία. Λευκωσία, Κύπρος. Rennes, Γαλλία.

Γεώργιος Ακρίβης. Προσωπικά στοιχεία. Εκπαίδευση. Ακαδημαϊκές Θέσεις. Ηράκλειο. Country, Ισπανία. Λευκωσία, Κύπρος. Rennes, Γαλλία. Γεώργιος Ακρίβης Προσωπικά στοιχεία Έτος γέννησης 1950 Τόπος γέννησης Χρυσοβίτσα Ιωαννίνων Εκπαίδευση 1968 1973,, Ιωάννινα. Μαθηματικά 1977 1983,, Μόναχο, Γερμανία. Μαθηματικά, Αριθμητική Ανάλυση Ακαδημαϊκές

Διαβάστε περισσότερα

ΕΛΛΗΝΙΚΟ ΑΝΟΙΚΤΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΠΡΟΓΡΑΜΜΑ ΣΠΟΥ ΩΝ ΣΤΗΝ «ΠΛΗΡΟΦΟΡΙΚΗ» ΘΕΜΑΤΙΚΗ ΕΝΟΤΗΤΑ : ΠΛΗ12 «ΜΑΘΗΜΑΤΙΚΑ Ι» Επαναληπτική Τελική Εξέταση 16 Ιουλίου 2003

ΕΛΛΗΝΙΚΟ ΑΝΟΙΚΤΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΠΡΟΓΡΑΜΜΑ ΣΠΟΥ ΩΝ ΣΤΗΝ «ΠΛΗΡΟΦΟΡΙΚΗ» ΘΕΜΑΤΙΚΗ ΕΝΟΤΗΤΑ : ΠΛΗ12 «ΜΑΘΗΜΑΤΙΚΑ Ι» Επαναληπτική Τελική Εξέταση 16 Ιουλίου 2003 http://edueapgr/pli/pli/studetshtm Page of 6 ΕΛΛΗΝΙΚΟ ΑΝΟΙΚΤΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΠΡΟΓΡΑΜΜΑ ΣΠΟΥ ΩΝ ΣΤΗΝ «ΠΛΗΡΟΦΟΡΙΚΗ» ΘΕΜΑΤΙΚΗ ΕΝΟΤΗΤΑ : ΠΛΗ «ΜΑΘΗΜΑΤΙΚΑ Ι» Επαναληπτική Τελική Εξέταση 6 Ιουλίου Απαντήστε όλα

Διαβάστε περισσότερα

ΚΕΦΑΛΑΙΟ 2 ΜΗ ΓΡΑΜΜΙΚΕΣ ΕΞΙΣΩΣΕΙΣ

ΚΕΦΑΛΑΙΟ 2 ΜΗ ΓΡΑΜΜΙΚΕΣ ΕΞΙΣΩΣΕΙΣ ΚΕΦΑΛΑΙΟ ΜΗ ΓΡΑΜΜΙΚΕΣ ΕΞΙΣΩΣΕΙΣ Η αδυναµία επίλυσης της πλειοψηφίας των µη γραµµικών εξισώσεων µε αναλυτικές µεθόδους, ώθησε στην ανάπτυξη αριθµητικών µεθόδων για την προσεγγιστική επίλυσή τους, π.χ. συν()

Διαβάστε περισσότερα

Ανάλυση Σ.Α.Ε στο χώρο κατάστασης

Ανάλυση Σ.Α.Ε στο χώρο κατάστασης ΚΕΣ : Αυτόµατος Έλεγχος ΚΕΣ Αυτόµατος Έλεγχος Ανάλυση Σ.Α.Ε στο χώρο 6 Nicola Tapaouli Λύση εξισώσεων ΚΕΣ : Αυτόµατος Έλεγχος Βιβλιογραφία Ενότητας Παρασκευόπουλος [4]: Κεφάλαιο 5: Ενότητες 5.-5. Παρασκευόπουλος

Διαβάστε περισσότερα

HY213. ΑΡΙΘΜΗΤΙΚΗ ΑΝΑΛΥΣΗ

HY213. ΑΡΙΘΜΗΤΙΚΗ ΑΝΑΛΥΣΗ HY3. ΑΡΙΘΜΗΤΙΚΗ ΑΝΑΛΥΣΗ ΕΠΙΛΥΣΗ ΜΗ ΓΡΑΜΜΙΚΩΝ ΕΞΙΣΩΣΕΩΝ Π. ΤΣΟΜΠΑΝΟΠΟΥΛΟΥ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΙΑΣ ΤΜΗΜΑ ΗΛΕΚΤΡΟΛΟΓΩΝ ΜΗΧ. & ΜΗΧ. ΥΠΟΛΟΓΙΣΤΩΝ Βασικά σημεία Μη γραμμικές εξισώσεις με πραγματικές ρίζες. Μέθοδος

Διαβάστε περισσότερα

HMY 795: Αναγνώριση Προτύπων

HMY 795: Αναγνώριση Προτύπων HMY 795: Αναγνώριση Προτύπων Διάλεξη 2 Επισκόπηση θεωρίας πιθανοτήτων Τυχαίες μεταβλητές: Βασικές έννοιες Τυχαία μεταβλητή: Μεταβλητή της οποίας δε γνωρίζουμε με βεβαιότητα την τιμή (σε αντίθεση με τις

Διαβάστε περισσότερα

Στοχαστικά Σήµατα και Εφαρµογές

Στοχαστικά Σήµατα και Εφαρµογές Στοχαστικά Σήµατα & Εφαρµογές Ανασκόπηση Στοιχείων Γραµµικής Άλγεβρας ιδάσκων: Ν. Παπανδρέου (Π.. 407/80) Πανεπιστήµιο Πατρών ΤµήµαΜηχανικώνΗ/Υ και Πληροφορικής ιανύσµατα Ορίζουµετοδιάνυσµα µε Ν στοιχεία

Διαβάστε περισσότερα

Βελτιστοποίηση Μη Γραµµικών Συναρτήσεων.

Βελτιστοποίηση Μη Γραµµικών Συναρτήσεων. Πανεπιστήµιο Πατρών Τµήµατα: Μαθηµατικών Μηχανικών Ηλεκτρονικών Υπολογιστών και Πληροφορικής ιατµηµατικό Πρόγραµµα Μεταπτυχιακών Σπουδών: «Μαθηµατικά των Υπολογιστών και των Αποφάσεων» ιπλωµατική Εργασία

Διαβάστε περισσότερα

Η ΤΕΧΝΗ ΤΟΥ ΙΑΒΑΣΜΑΤΟΣ ΜΕΤΑΞΥ ΤΩΝ ΑΡΙΘΜΩΝ (ΠΑΡΕΜΒΟΛΗ ΚΑΙ ΠΡΟΣΕΓΓΙΣΗ)

Η ΤΕΧΝΗ ΤΟΥ ΙΑΒΑΣΜΑΤΟΣ ΜΕΤΑΞΥ ΤΩΝ ΑΡΙΘΜΩΝ (ΠΑΡΕΜΒΟΛΗ ΚΑΙ ΠΡΟΣΕΓΓΙΣΗ) Η ΤΕΧΝΗ ΤΟΥ ΙΑΒΑΣΜΑΤΟΣ ΜΕΤΑΞΥ ΤΩΝ ΑΡΙΘΜΩΝ (ΠΑΡΕΜΒΟΛΗ ΚΑΙ ΠΡΟΣΕΓΓΙΣΗ) ΜΙΧΑΛΗΣ ΤΖΟΥΜΑΣ ΕΣΠΟΤΑΤΟΥ 3 ΑΓΡΙΝΙΟ. ΠΕΡΙΛΗΨΗ Η έννοια της συνάρτησης είναι στενά συνυφασµένη µε τον πίνακα τιµών και τη γραφική παράσταση.

Διαβάστε περισσότερα

ΕΥΦΥΗΣ ΕΛΕΓΧΟΣ. Ενότητα #12: Εισαγωγή στα Nευρωνικά Δίκτυα. Αναστάσιος Ντούνης Τμήμα Μηχανικών Αυτοματισμού Τ.Ε.

ΕΥΦΥΗΣ ΕΛΕΓΧΟΣ. Ενότητα #12: Εισαγωγή στα Nευρωνικά Δίκτυα. Αναστάσιος Ντούνης Τμήμα Μηχανικών Αυτοματισμού Τ.Ε. ΕΛΛΗΝΙΚΗ ΔΗΜΟΚΡΑΤΙΑ Ανώτατο Εκπαιδευτικό Ίδρυμα Πειραιά Τεχνολογικού Τομέα ΕΥΦΥΗΣ ΕΛΕΓΧΟΣ Ενότητα #12: Εισαγωγή στα Nευρωνικά Δίκτυα Αναστάσιος Ντούνης Τμήμα Μηχανικών Αυτοματισμού Τ.Ε. Άδειες Χρήσης Το

Διαβάστε περισσότερα

Αριθµητική Ολοκλήρωση

Αριθµητική Ολοκλήρωση Κεφάλαιο 5 Αριθµητική Ολοκλήρωση 5. Εισαγωγή Για τη συντριπτική πλειοψηφία των συναρτήσεων f (x) δεν υπάρχουν ή είναι πολύ δύσχρηστοι οι τύποι της αντιπαραγώγου της f (x), δηλαδή της F(x) η οποία ικανοποιεί

Διαβάστε περισσότερα

ΑΕΠΠ Ερωτήσεις θεωρίας

ΑΕΠΠ Ερωτήσεις θεωρίας ΑΕΠΠ Ερωτήσεις θεωρίας Κεφάλαιο 1 1. Τα δεδομένα μπορούν να παρέχουν πληροφορίες όταν υποβάλλονται σε 2. Το πρόβλημα μεγιστοποίησης των κερδών μιας επιχείρησης είναι πρόβλημα 3. Για την επίλυση ενός προβλήματος

Διαβάστε περισσότερα

Εισαγωγή στους Αλγόριθµους. Αλγόριθµοι. Ιστορικά Στοιχεία. Ο πρώτος Αλγόριθµος. Παραδείγµατα Αλγορίθµων. Τι είναι Αλγόριθµος

Εισαγωγή στους Αλγόριθµους. Αλγόριθµοι. Ιστορικά Στοιχεία. Ο πρώτος Αλγόριθµος. Παραδείγµατα Αλγορίθµων. Τι είναι Αλγόριθµος Εισαγωγή στους Αλγόριθµους Αλγόριθµοι Τι είναι αλγόριθµος; Τι µπορεί να υπολογίσει ένας αλγόριθµος; Πως αξιολογείται ένας αλγόριθµος; Παύλος Εφραιµίδης pefraimi@ee.duth.gr Αλγόριθµοι Εισαγωγικές Έννοιες

Διαβάστε περισσότερα

5.1 Ιδιοτιµές και Ιδιοδιανύσµατα

5.1 Ιδιοτιµές και Ιδιοδιανύσµατα Κεφάλαιο 5 Ιδιοτιµές και Ιδιοδιανύσµατα 5 Ιδιοτιµές και Ιδιοδιανύσµατα Αν ο A είναι ένας n n πίνακας και το x είναι ένα διάνυσµα στον R n, τότε το Ax είναι και αυτό ένα διάνυσµα στον R n Συνήθως δεν υπάρχει

Διαβάστε περισσότερα

Κεφ. 2: Επίλυση συστημάτων εξισώσεων. 2.1 Επίλυση εξισώσεων

Κεφ. 2: Επίλυση συστημάτων εξισώσεων. 2.1 Επίλυση εξισώσεων Κεφ. : Επίλυση συστημάτων εξισώσεων. Επίλυση εξισώσεων. Επίλυση συστημάτων με απευθείας μεθόδους.. Μέθοδοι Gauss, Gauss-Jorda.. Παραγοντοποίηση LU (ειδικές περιπτώσεις: Cholesky, Thomas).. Νόρμες πινάκων,

Διαβάστε περισσότερα

3. O ΑΛΓΟΡΙΘΜΟΣ ΤΟΥ PERCEPTRON

3. O ΑΛΓΟΡΙΘΜΟΣ ΤΟΥ PERCEPTRON 3. O ΑΛΓΟΡΙΘΜΟΣ ΤΟΥ PERCEPRON 3. ΕΙΣΑΓΩΓΗ: Το Perceptron είναι η απλούστερη μορφή Νευρωνικού δικτύου, το οποίο χρησιμοποιείται για την ταξινόμηση ενός ειδικού τύπου προτύπων, που είναι γραμμικά διαχωριζόμενα.

Διαβάστε περισσότερα

ΙΙ ιαφορικός Λογισµός πολλών µεταβλητών. ιαφόριση συναρτήσεων πολλών µεταβλητών

ΙΙ ιαφορικός Λογισµός πολλών µεταβλητών. ιαφόριση συναρτήσεων πολλών µεταβλητών 54 ΙΙ ιαφορικός Λογισµός πολλών µεταβλητών ιαφόριση συναρτήσεων πολλών µεταβλητών Ένας στέρεος ορισµός της παραγώγισης για συναρτήσεις πολλών µεταβλητών ανάλογος µε τον ορισµό για συναρτήσεις µιας µεταβλητής

Διαβάστε περισσότερα

Εισαγωγή στα Προσαρµοστικά Συστήµατα

Εισαγωγή στα Προσαρµοστικά Συστήµατα ΒΕΣ 06 Προσαρµοστικά Συστήµατα στις Τηλεπικοινωνίες Εισαγωγή στα Προσαρµοστικά Συστήµατα Νικόλας Τσαπατσούλης Επίκουρος Καθηγητής Π..407/80 Τµήµα Επιστήµη και Τεχνολογίας Τηλεπικοινωνιών Πανεπιστήµιο Πελοποννήσου

Διαβάστε περισσότερα

Γραμμικός Προγραμματισμός Μέθοδος Simplex

Γραμμικός Προγραμματισμός Μέθοδος Simplex ΕΘΝΙΚΟ ΜΕΤΣΟΒΙΟ ΠΟΛΥΤΕΧΝΕΙΟ Επιχειρησιακή Έρευνα Γραμμικός Προγραμματισμός Μέθοδος Simplex Η παρουσίαση προετοιμάστηκε από τον Ν.Α. Παναγιώτου Περιεχόμενα Παρουσίασης 1. Πρότυπη Μορφή ΓΠ 2. Πινακοποίηση

Διαβάστε περισσότερα

ιατύπωση τυπικής µορφής προβληµάτων Γραµµικού

ιατύπωση τυπικής µορφής προβληµάτων Γραµµικού Ο αλγόριθµος είναι αλγεβρική διαδικασία η οποία χρησιµοποιείται για την επίλυση προβληµάτων (προτύπων) Γραµµικού Προγραµµατισµού (ΠΓΠ). Ο αλγόριθµος έχει διάφορες παραλλαγές όπως η πινακοποιηµένη µορφή.

Διαβάστε περισσότερα

Ευστάθεια Συστηµάτων Αυτοµάτου Ελέγχου: Αλγεβρικά κριτήρια

Ευστάθεια Συστηµάτων Αυτοµάτου Ελέγχου: Αλγεβρικά κριτήρια ΚΕΣ : Αυτόµατος Έλεγχος ΚΕΣ Αυτόµατος Έλεγχος Ευστάθεια Συστηµάτων Αυτοµάτου Ελέγχου: Αλγεβρικά κριτήρια 6 Nicol Tptouli Ευστάθεια και θέση πόλων Σ.Α.Ε ΚΕΣ : Αυτόµατος Έλεγχος Βιβλιογραφία Ενότητας Παρασκευόπουλος

Διαβάστε περισσότερα

J-GANNO. Σύντοµη αναφορά στους κύριους στόχους σχεδίασης και τα βασικά χαρακτηριστικά του πακέτου (προέκδοση 0.9Β, Φεβ.1998) Χάρης Γεωργίου

J-GANNO. Σύντοµη αναφορά στους κύριους στόχους σχεδίασης και τα βασικά χαρακτηριστικά του πακέτου (προέκδοση 0.9Β, Φεβ.1998) Χάρης Γεωργίου J-GANNO ΓΕΝΙΚΕΥΜΕΝΟ ΠΑΚΕΤΟ ΥΛΟΠΟΙΗΣΗΣ ΤΕΧΝΗΤΩΝ ΝΕΥΡΩΝΙΚΩΝ ΙΚΤΥΩΝ ΣΤΗ ΓΛΩΣΣΑ ΠΡΟΓΡΑΜΜΑΤΙΣΜΟΥ JAVA Σύντοµη αναφορά στους κύριους στόχους σχεδίασης και τα βασικά χαρακτηριστικά του πακέτου (προέκδοση 0.9Β,

Διαβάστε περισσότερα

Κεφάλαιο 5ο: Εντολές Επανάληψης

Κεφάλαιο 5ο: Εντολές Επανάληψης Χρήστος Τσαγγάρης ΕΕ ΙΠ Τµήµατος Μαθηµατικών, Πανεπιστηµίου Αιγαίου Κεφάλαιο 5ο: Εντολές Επανάληψης Η διαδικασία της επανάληψης είναι ιδιαίτερη συχνή, αφού πλήθος προβληµάτων µπορούν να επιλυθούν µε κατάλληλες

Διαβάστε περισσότερα

Κατάτµηση Εικόνων: Ανίχνευση Ακµών και Κατάτµηση µε Κατωφλίωση

Κατάτµηση Εικόνων: Ανίχνευση Ακµών και Κατάτµηση µε Κατωφλίωση ΤΨΣ 50 Ψηφιακή Επεξεργασία Εικόνας Κατάτµηση Εικόνων: Ανίχνευση Ακµών και Κατάτµηση µε Κατωφλίωση Τµήµα ιδακτικής της Τεχνολογίας και Ψηφιακών Συστηµάτων Πανεπιστήµιο Πειραιώς Περιεχόµενα Βιβλιογραφία

Διαβάστε περισσότερα

HMY 795: Αναγνώριση Προτύπων

HMY 795: Αναγνώριση Προτύπων HMY 795: Αναγνώριση Προτύπων Διδάσκων: Γεώργιος Μήτσης, Λέκτορας, Τμήμα ΗΜΜΥ Γραφείο: GP401 Ώρες γραφείου: Οποτεδήποτε (κατόπιν επικοινωνίας) Τηλ: 22892239 Ηλ. Ταχ.: gmitsis@ucy.ac.cy Βιβλιογραφία C. M.

Διαβάστε περισσότερα

Kalman Filter Γιατί ο όρος φίλτρο;

Kalman Filter Γιατί ο όρος φίλτρο; Kalman Filter Γιατί ο όρος φίλτρο; Συνήθως ο όρος φίλτρο υποδηλώνει µια διαδικασία αποµάκρυνσης µη επιθυµητών στοιχείων Απότολατινικόόροfelt : το υλικό για το φιλτράρισµα υγρών Στη εποχή των ραδιολυχνίων:

Διαβάστε περισσότερα

HY213. ΑΡΙΘΜΗΤΙΚΗ ΑΝΑΛΥΣΗ ΕΛΑΧΙΣΤΑ ΤΕΤΡΑΓΩΝΑ AΝΑΛΥΣΗ ΙΔΙΑΖΟΥΣΩΝ ΤΙΜΩΝ

HY213. ΑΡΙΘΜΗΤΙΚΗ ΑΝΑΛΥΣΗ ΕΛΑΧΙΣΤΑ ΤΕΤΡΑΓΩΝΑ AΝΑΛΥΣΗ ΙΔΙΑΖΟΥΣΩΝ ΤΙΜΩΝ HY3. ΑΡΙΘΜΗΤΙΚΗ ΑΝΑΛΥΣΗ ΕΛΑΧΙΣΤΑ ΤΕΤΡΑΓΩΝΑ AΝΑΛΥΣΗ ΙΔΙΑΖΟΥΣΩΝ ΤΙΜΩΝ Π. ΤΣΟΜΠΑΝΟΠΟΥΛΟΥ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΙΑΣ ΤΜΗΜΑ ΗΛΕΚΤΡΟΛΟΓΩΝ ΜΗΧΑΝΙΚΩΝ & ΜΗΧΑΝΙΚΩΝ ΥΠΟΛΟΓΙΣΤΩΝ Μέθοδος ελαχίστων τετραγώνων Τα σφάλματα

Διαβάστε περισσότερα

Κεφάλαιο 12: Υδραυλική ανάλυση δικτύων διανομής

Κεφάλαιο 12: Υδραυλική ανάλυση δικτύων διανομής Κεφάλαιο 12: Υδραυλική ανάλυση δικτύων διανομής Εννοιολογική αναπαράσταση δίκτυων διανομής Σχηματοποίηση: δικτυακή απεικόνιση των συνιστωσών του φυσικού συστήματος ως συνιστώσες ενός εννοιολογικού μοντέλου

Διαβάστε περισσότερα

Η Θεωρία στα Μαθηματικά κατεύθυνσης της Γ Λυκείου

Η Θεωρία στα Μαθηματικά κατεύθυνσης της Γ Λυκείου Η Θεωρία στα Μαθηματικά κατεύθυνσης της Γ Λυκείου wwwaskisopolisgr έκδοση 5-6 wwwaskisopolisgr ΣΥΝΑΡΤΗΣΕΙΣ 5 Τι ονομάζουμε πραγματική συνάρτηση; Έστω Α ένα υποσύνολο του Ονομάζουμε πραγματική συνάρτηση

Διαβάστε περισσότερα

ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΙΑΣ ΤΜΗΜΑ ΠΟΛΙΤΙΚΩΝ ΜΗΧΑΝΙΚΩΝ ΤΟΜΕΑΣ ΥΔΡΑΥΛΙΚΗΣ ΚΑΙ ΠΕΡΙΒΑΛΛΟΝΤΙΚΗΣ ΤΕΧΝΙΚΗΣ. Διάλεξη 15: O αλγόριθμος SIMPLE

ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΙΑΣ ΤΜΗΜΑ ΠΟΛΙΤΙΚΩΝ ΜΗΧΑΝΙΚΩΝ ΤΟΜΕΑΣ ΥΔΡΑΥΛΙΚΗΣ ΚΑΙ ΠΕΡΙΒΑΛΛΟΝΤΙΚΗΣ ΤΕΧΝΙΚΗΣ. Διάλεξη 15: O αλγόριθμος SIMPLE ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΙΑΣ ΤΜΗΜΑ ΠΟΛΙΤΙΚΩΝ ΜΗΧΑΝΙΚΩΝ ΤΟΜΕΑΣ ΥΔΡΑΥΛΙΚΗΣ ΚΑΙ ΠΕΡΙΒΑΛΛΟΝΤΙΚΗΣ ΤΕΧΝΙΚΗΣ Διάλεξη 15: O αλγόριθμος SIMPLE Χειμερινό εξάμηνο 2008 Προηγούμενη παρουσίαση... Εξετάσαμε τις θέσεις που

Διαβάστε περισσότερα

ΤΕΤΥ Εφαρμοσμένα Μαθηματικά 1. Τελεστές και πίνακες. 1. Τελεστές και πίνακες Γενικά. Τι είναι συνάρτηση? Απεικόνιση ενός αριθμού σε έναν άλλο.

ΤΕΤΥ Εφαρμοσμένα Μαθηματικά 1. Τελεστές και πίνακες. 1. Τελεστές και πίνακες Γενικά. Τι είναι συνάρτηση? Απεικόνιση ενός αριθμού σε έναν άλλο. ΤΕΤΥ Εφαρμοσμένα Μαθηματικά 1 Τελεστές και πίνακες 1. Τελεστές και πίνακες Γενικά Τι είναι συνάρτηση? Απεικόνιση ενός αριθμού σε έναν άλλο. Ανάλογα, τελεστής είναι η απεικόνιση ενός διανύσματος σε ένα

Διαβάστε περισσότερα

Matrix Algorithms. Παρουσίαση στα πλαίσια του μαθήματος «Παράλληλοι. Αλγόριθμοι» Γ. Καούρη Β. Μήτσου

Matrix Algorithms. Παρουσίαση στα πλαίσια του μαθήματος «Παράλληλοι. Αλγόριθμοι» Γ. Καούρη Β. Μήτσου Matrix Algorithms Παρουσίαση στα πλαίσια του μαθήματος «Παράλληλοι Αλγόριθμοι» Γ. Καούρη Β. Μήτσου Περιεχόμενα παρουσίασης Πολλαπλασιασμός πίνακα με διάνυσμα Πολλαπλασιασμός πινάκων Επίλυση τριγωνικού

Διαβάστε περισσότερα

chatzipa@math.uoc.gr http://www.math.uoc.gr/ chatzipa

chatzipa@math.uoc.gr http://www.math.uoc.gr/ chatzipa ΒΙΟΓΡΑΦΙΚΟ ΣΗΜΕΙΩΜΑ Ονοµατεπώνυµο : ιεύθυνση : Email: Web: ΠΑΝΑΓΙΩΤΗΣ ΧΑΤΖΗΠΑΝΤΕΛΙ ΗΣ Τµήµα Μαθηµατικών, Λεωφ. Κνωσσού, Ηράκλειο, 71409. chatzipa@math.uoc.gr http://www.math.uoc.gr/ chatzipa Προσωπικά

Διαβάστε περισσότερα

ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΙΑΣ ΤΜΗΜΑ ΠΟΛΙΤΙΚΩΝ ΜΗΧΑΝΙΚΩΝ ΤΟΜΕΑΣ ΥΔΡΑΥΛΙΚΗΣ ΚΑΙ ΠΕΡΙΒΑΛΛΟΝΤΙΚΗΣ ΤΕΧΝΙΚΗΣ. Διάλεξη 10: Συναγωγή και διάχυση (συνέχεια)

ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΙΑΣ ΤΜΗΜΑ ΠΟΛΙΤΙΚΩΝ ΜΗΧΑΝΙΚΩΝ ΤΟΜΕΑΣ ΥΔΡΑΥΛΙΚΗΣ ΚΑΙ ΠΕΡΙΒΑΛΛΟΝΤΙΚΗΣ ΤΕΧΝΙΚΗΣ. Διάλεξη 10: Συναγωγή και διάχυση (συνέχεια) ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΙΑΣ ΤΜΗΜΑ ΠΟΛΙΤΙΚΩΝ ΜΗΧΑΝΙΚΩΝ ΤΟΜΕΑΣ ΥΔΡΑΥΛΙΚΗΣ ΚΑΙ ΠΕΡΙΒΑΛΛΟΝΤΙΚΗΣ ΤΕΧΝΙΚΗΣ Διάλεξη 10: Συναγωγή και διάχυση (συνέχεια) Χειμερινό εξάμηνο 2008 Προηγούμενη παρουσίαση... Ολοκληρώσαμε

Διαβάστε περισσότερα

Κεφάλαιο 3 ΠΑΡΑΓΩΓΟΣ. 3.1 Η έννοια της παραγώγου. y = f(x) f(x 0 ), = f(x 0 + x) f(x 0 )

Κεφάλαιο 3 ΠΑΡΑΓΩΓΟΣ. 3.1 Η έννοια της παραγώγου. y = f(x) f(x 0 ), = f(x 0 + x) f(x 0 ) Κεφάλαιο 3 ΠΑΡΑΓΩΓΟΣ 3.1 Η έννοια της παραγώγου Εστω y = f(x) µία συνάρτηση, που συνδέει τις µεταβλητές ποσότητες x και y. Ενα ερώτηµα που µπορεί να προκύψει καθώς µελετούµε τις δύο αυτές ποσοτήτες είναι

Διαβάστε περισσότερα

Γραµµικοί Ταξινοµητές

Γραµµικοί Ταξινοµητές ΚΕΣ 3: Αναγνώριση Προτύπων και Ανάλυση Εικόνας KEΣ 3 Αναγνώριση Προτύπων και Ανάλυση Εικόνας Γραµµικοί Ταξινοµητές ΤµήµαΕπιστήµης και Τεχνολογίας Τηλεπικοινωνιών Πανεπιστήµιο Πελοποννήσου 7 Ncolas sapatsouls

Διαβάστε περισσότερα

Γραµµικη Αλγεβρα Ι Επιλυση Επιλεγµενων Ασκησεων Φυλλαδιου 4

Γραµµικη Αλγεβρα Ι Επιλυση Επιλεγµενων Ασκησεων Φυλλαδιου 4 Γραµµικη Αλγεβρα Ι Επιλυση Επιλεγµενων Ασκησεων Φυλλαδιου 4 ιδασκοντες: Ν Μαρµαρίδης - Α Μπεληγιάννης Βοηθος Ασκησεων: Χ Ψαρουδάκης Ιστοσελιδα Μαθηµατος : http://wwwmathuoigr/ abeligia/linearalgebrai/laihtml

Διαβάστε περισσότερα

Πεπερασμένες Διαφορές.

Πεπερασμένες Διαφορές. Κεφάλαιο 1 Πεπερασμένες Διαφορές. 1.1 Προσέγγιση παραγώγων. 1.1.1 Πρώτη παράγωγος. Από τον ορισμό της παραγώγου για συναρτήσεις μιας μεταβλητής γνωρίζουμε ότι η παράγωγος μιας συνάρτησης f στο σημείο x

Διαβάστε περισσότερα

Γραµµικός Προγραµµατισµός - Μέθοδος Simplex

Γραµµικός Προγραµµατισµός - Μέθοδος Simplex Γραµµικός Προγραµµατισµός - Μέθοδος Simplex Η πλέον γνωστή και περισσότερο χρησιµοποιηµένη µέθοδος για την επίλυση ενός γενικού προβλήµατος γραµµικού προγραµµατισµού, είναι η µέθοδος Simplex η οποία αναπτύχθηκε

Διαβάστε περισσότερα

Προβλήµατα Μεταφορών (Transportation)

Προβλήµατα Μεταφορών (Transportation) Προβλήµατα Μεταφορών (Transportation) Προβλήµατα Μεταφορών (Transportation) Μέθοδος Simplex για Προβλήµατα Μεταφοράς Προβλήµατα Εκχώρησης (assignment) Παράδειγµα: Κατανοµή Νερού Η υδατοπροµήθεια µιας περιφέρεια

Διαβάστε περισσότερα

HMY 795: Αναγνώριση Προτύπων

HMY 795: Αναγνώριση Προτύπων HMY 795: Αναγνώριση Προτύπων Διάλεξη 3 Επιλογή μοντέλου Επιλογή μοντέλου Θεωρία αποφάσεων Επιλογή μοντέλου δεδομένα επικύρωσης Η επιλογή του είδους του μοντέλου που θα χρησιμοποιηθεί σε ένα πρόβλημα (π.χ.

Διαβάστε περισσότερα

ΔΙΑΦΟΡΙΚΟΣ ΛΟΓΙΣΜΟΣ ΣΥΝΟΠΤΙΚΗ ΘΕΩΡΕΙΑ ΜΕΘΟΔΟΛΟΓΙΑ ΛΥΜΕΝΑ ΠΑΡΑΔΕΙΓΜΑΤΑ

ΔΙΑΦΟΡΙΚΟΣ ΛΟΓΙΣΜΟΣ ΣΥΝΟΠΤΙΚΗ ΘΕΩΡΕΙΑ ΜΕΘΟΔΟΛΟΓΙΑ ΛΥΜΕΝΑ ΠΑΡΑΔΕΙΓΜΑΤΑ ΔΙΑΦΟΡΙΚΟΣ ΛΟΓΙΣΜΟΣ ΣΥΝΟΠΤΙΚΗ ΘΕΩΡΕΙΑ ΜΕΘΟΔΟΛΟΓΙΑ ΛΥΜΕΝΑ ΠΑΡΑΔΕΙΓΜΑΤΑ Φροντιστήριο Μ.Ε. «ΑΙΧΜΗ» Κ.Καρτάλη 8 Βόλος Τηλ. 43598 ΠΊΝΑΚΑΣ ΠΕΡΙΕΧΟΜΈΝΩΝ 3. Η ΕΝΝΟΙΑ ΤΗΣ ΠΑΡΑΓΩΓΟΥ... 5 ΜΕΘΟΔΟΛΟΓΙΑ ΛΥΜΕΝΑ ΠΑΡΑΔΕΙΓΜΑΤΑ...

Διαβάστε περισσότερα

Εργαστήριο Ιατρικής Φυσικής

Εργαστήριο Ιατρικής Φυσικής Γενικές Πληροφορίες για Μέλη ΔΕΠ Ονοματεπώνυμο Αδάμ Αδαμόπουλος Βαθμίδα Επίκουρος Καθηγητής Γνωστικό Αντικείμενο Ιατρική Φυσική Εργαστήριο/Κλινική Εργαστήριο Ιατρικής Φυσικής Γραφείο Τηλέφωνο 25510 30501

Διαβάστε περισσότερα

Επιστημονικοί Υπολογισμοί - Μέρος ΙΙΙ: Παράλληλοι Υπολογισμοί

Επιστημονικοί Υπολογισμοί - Μέρος ΙΙΙ: Παράλληλοι Υπολογισμοί Επιστημονικοί Υπολογισμοί - Μέρος ΙΙΙ: Παράλληλοι Υπολογισμοί Χαρμανδάρης Βαγγέλης, Τμήμα Εφαρμοσμένων Μαθηματικών Πανεπιστήμιο Κρήτης, Εαρινό Εξάμηνο 2013/14 Κεφάλαιο 3: Θεωρία Παράλληλου Προγραμματισμού

Διαβάστε περισσότερα

ΕΚΤΙΜΗΣΗ ΠΟΣΟΣΤΙΑΙΩΝ ΣΗΜΕΙΩΝ ΓΙΑ ΕΠΙΛΕΓΜΕΝΟ ΕΚΘΕΤΙΚΟ ΠΛΗΘΥΣΜΟ ΑΠΟ k ΠΛΗΘΥΣΜΟΥΣ

ΕΚΤΙΜΗΣΗ ΠΟΣΟΣΤΙΑΙΩΝ ΣΗΜΕΙΩΝ ΓΙΑ ΕΠΙΛΕΓΜΕΝΟ ΕΚΘΕΤΙΚΟ ΠΛΗΘΥΣΜΟ ΑΠΟ k ΠΛΗΘΥΣΜΟΥΣ ΚΩΝΣΤΑΝΤΙΝΟΣ Γ. ΑΓΓΕΛΟΥ ΕΚΤΙΜΗΣΗ ΠΟΣΟΣΤΙΑΙΩΝ ΣΗΜΕΙΩΝ ΓΙΑ ΕΠΙΛΕΓΜΕΝΟ ΕΚΘΕΤΙΚΟ ΠΛΗΘΥΣΜΟ ΑΠΟ k ΠΛΗΘΥΣΜΟΥΣ ΜΕΤΑΠΤΥΧΙΑΚΗ ΔΙΑΤΡΙΒΗ ΣΧΟΛΗ ΘΕΤΙΚΩΝ ΕΠΙΣΤΗΜΩΝ ΔΙΑΤΜΗΜΑΤΙΚΟ ΠΡΟΓΡΑΜΜΑ ΜΕΤΑΠΤΥΧΙΑΚΩΝ ΣΠΟΥΔΩΝ «ΜΑΘΗΜΑΤΙΚΑ

Διαβάστε περισσότερα

Kεφάλαιο 4. Συστήµατα διαφορικών εξισώσεων

Kεφάλαιο 4. Συστήµατα διαφορικών εξισώσεων 4 Εισαγωγή Kεφάλαιο 4 Συστήµατα διαφορικών εξισώσεων Εστω διανυσµατικό πεδίο F: : F=F( r), όπου r = ( x, ) και Fr είναι η ταχύτητα στο σηµείο r πχ ενός ρευστού στο επίπεδο Εστω ότι ψάχνουµε τις τροχιές

Διαβάστε περισσότερα

Ο ΕΥΚΛΕΙ ΕΙΟΣ ΧΩΡΟΣ. Το εσωτερικό γινόµενο

Ο ΕΥΚΛΕΙ ΕΙΟΣ ΧΩΡΟΣ. Το εσωτερικό γινόµενο Ο ΕΥΚΛΕΙ ΕΙΟΣ ΧΩΡΟΣ Το εσωτερικό γινόµενο Σε πολλές πρακτικές καταστάσεις, η τιµή µιας ποσότητας εξαρτάται από τις τιµές δύο ή περισσότερων άλλων ποσοτήτων. Για παράδειγµα η συνάρτηση V = π r h υπολογίζει

Διαβάστε περισσότερα

«ΣΥΝΕΧΗ ΚΛΑΣΜΑΤΑ ΚΑΙ ΠΡΑΓΜΑΤΙΚΟΙ ΑΡΙΘΜΟΙ: ΠΡΟΣΕΓΓΙΣΕΙΣ ΚΑΙ ΕΦΑΡΜΟΓΕΣ»

«ΣΥΝΕΧΗ ΚΛΑΣΜΑΤΑ ΚΑΙ ΠΡΑΓΜΑΤΙΚΟΙ ΑΡΙΘΜΟΙ: ΠΡΟΣΕΓΓΙΣΕΙΣ ΚΑΙ ΕΦΑΡΜΟΓΕΣ» Σχολή Εφαρμοσμένων Μαθηματικών και Φυσικών Επιστημών Εθνικό Μετσόβιο Πολυτεχνείο «ΣΥΝΕΧΗ ΚΛΑΣΜΑΤΑ ΚΑΙ ΠΡΑΓΜΑΤΙΚΟΙ ΑΡΙΘΜΟΙ: ΠΡΟΣΕΓΓΙΣΕΙΣ ΚΑΙ ΕΦΑΡΜΟΓΕΣ» ΜΠΙΘΗΜΗΤΡΗ ΒΑΣΙΛΙΚΗ ΣΤΕΛΛΑ Επιβλέπουσα: Αν. Καθηγήτρια

Διαβάστε περισσότερα

Η αβεβαιότητα στη μέτρηση.

Η αβεβαιότητα στη μέτρηση. Η αβεβαιότητα στη μέτρηση. 1. Εισαγωγή. Κάθε μέτρηση, όσο προσεκτικά και αν έχει γίνει, περικλείει κάποια αβεβαιότητα. Η ανάλυση των σφαλμάτων είναι η μελέτη και ο υπολογισμός αυτής της αβεβαιότητας στη

Διαβάστε περισσότερα

ΠΡΟΧΩΡΗΜΕΝΕΣ ΜΕΘΟ ΟΙ ΤΕΧΝΟΟΙΚΟΝΟΜΙΚΟΥ ΣΧΕ ΙΑΣΜΟΥ

ΠΡΟΧΩΡΗΜΕΝΕΣ ΜΕΘΟ ΟΙ ΤΕΧΝΟΟΙΚΟΝΟΜΙΚΟΥ ΣΧΕ ΙΑΣΜΟΥ ΠΡΟΧΩΡΗΜΕΝΕΣ ΜΕΘΟ ΟΙ ΤΕΧΝΟΟΙΚΟΝΟΜΙΚΟΥ ΣΧΕ ΙΑΣΜΟΥ Ν.Α.Μανδέλλος ρ Χηµικός Μηχανικός ΕΜΠ Χ.Θ.Κυρανούδης Καθηγητής ΕΜΠ ΕΘΝΙΚΟ ΜΕΤΣΟΒΙΟ ΠΟΛΥΤΕΧΝΕΙΟ 2013 ΕΙΣΑΓΩΓΗ Μιλώντας για αριστοποίηση, εννοούµε την µαθηµατική

Διαβάστε περισσότερα

Τεχνικές Μείωσης Διαστάσεων. Ειδικά θέματα ψηφιακής επεξεργασίας σήματος και εικόνας Σ. Φωτόπουλος- Α. Μακεδόνας

Τεχνικές Μείωσης Διαστάσεων. Ειδικά θέματα ψηφιακής επεξεργασίας σήματος και εικόνας Σ. Φωτόπουλος- Α. Μακεδόνας Τεχνικές Μείωσης Διαστάσεων Ειδικά θέματα ψηφιακής επεξεργασίας σήματος και εικόνας Σ. Φωτόπουλος- Α. Μακεδόνας 1 Εισαγωγή Το μεγαλύτερο μέρος των δεδομένων που καλούμαστε να επεξεργαστούμε είναι πολυδιάστατα.

Διαβάστε περισσότερα

ΕΡΩΤΗΣΕΙΣ ΘΕΩΡΙΑΣ ΜΑΘΗΜΑΤΙΚΑ Β ΓΥΜΝΑΣΙΟΥ. ΜΕΡΟΣ 1ο ΑΛΓΕΒΡΑ

ΕΡΩΤΗΣΕΙΣ ΘΕΩΡΙΑΣ ΜΑΘΗΜΑΤΙΚΑ Β ΓΥΜΝΑΣΙΟΥ. ΜΕΡΟΣ 1ο ΑΛΓΕΒΡΑ 1. Τι καλείται μεταβλητή; ΕΡΩΤΗΣΕΙΣ ΘΕΩΡΙΑΣ ΜΑΘΗΜΑΤΙΑ Β ΓΥΜΝΑΣΙΟΥ ΜΕΡΟΣ 1ο ΑΛΓΕΒΡΑ Μεταβλητή είναι ένα γράμμα (π.χ., y, t, ) που το χρησιμοποιούμε για να παραστήσουμε ένα οποιοδήποτε στοιχείο ενός συνόλου..

Διαβάστε περισσότερα

, όπου οι σταθερές προσδιορίζονται από τις αρχικές συνθήκες.

, όπου οι σταθερές προσδιορίζονται από τις αρχικές συνθήκες. Στην περίπτωση της ταλάντωσης µε κρίσιµη απόσβεση οι δύο γραµµικώς ανεξάρτητες λύσεις εκφυλίζονται (καταλήγουν να ταυτίζονται) Στην περιοχή ασθενούς απόσβεσης ( ) δύο γραµµικώς ανεξάρτητες λύσεις είναι

Διαβάστε περισσότερα

Αριθμητικές Μέθοδοι σε Προγραμματιστικό Περιβάλλον

Αριθμητικές Μέθοδοι σε Προγραμματιστικό Περιβάλλον Τμήμα Μηχανικών Πληροφορικής Αριθμητικές Μέθοδοι σε Προγραμματιστικό Περιβάλλον Δρ. Δημήτρης Βαρσάμης Επίκουρος Καθηγητής Οκτώβριος 2014 Δρ. Δημήτρης Βαρσάμης Οκτώβριος 2014 1 / 42 Αριθμητικές Μέθοδοι

Διαβάστε περισσότερα

3.7 Παραδείγματα Μεθόδου Simplex

3.7 Παραδείγματα Μεθόδου Simplex 3.7 Παραδείγματα Μεθόδου Simplex Παράδειγμα 1ο (Παράδειγμα 1ο - Κεφάλαιο 2ο - σελ. 10): Το πρόβλημα εκφράζεται από το μαθηματικό μοντέλο: max z = 600x T + 250x K + 750x Γ + 450x B 5x T + x K + 9x Γ + 12x

Διαβάστε περισσότερα

Μέθοδοι Μηχανικής Μάθησης στην επεξεργασία Τηλεπισκοπικών Δεδομένων. Δρ. Ε. Χάρου

Μέθοδοι Μηχανικής Μάθησης στην επεξεργασία Τηλεπισκοπικών Δεδομένων. Δρ. Ε. Χάρου Μέθοδοι Μηχανικής Μάθησης στην επεξεργασία Τηλεπισκοπικών Δεδομένων Δρ. Ε. Χάρου Πρόγραμμα υπολογιστικής ευφυίας Ινστιτούτο Πληροφορικής & Τηλεπικοινωνιών ΕΚΕΦΕ ΔΗΜΟΚΡΙΤΟΣ exarou@iit.demokritos.gr Μηχανική

Διαβάστε περισσότερα

I. ΜΙΓΑΔΙΚΟΙ ΑΡΙΘΜΟΙ. math-gr

I. ΜΙΓΑΔΙΚΟΙ ΑΡΙΘΜΟΙ. math-gr I ΜΙΓΑΔΙΚΟΙ ΑΡΙΘΜΟΙ i e ΜΕΡΟΣ Ι ΟΡΙΣΜΟΣ - ΒΑΣΙΚΕΣ ΠΡΑΞΕΙΣ Α Ορισμός Ο ορισμός του συνόλου των Μιγαδικών αριθμών (C) βασίζεται στις εξής παραδοχές: Υπάρχει ένας αριθμός i για τον οποίο ισχύει i Το σύνολο

Διαβάστε περισσότερα

ΓΡΑΜΜΙΚΗ ΑΛΓΕΒΡΑ ( , c Ε. Γαλλόπουλος) ΓΡΑΜΜΙΚΗ ΑΛΓΕΒΡΑ. Ε. Γαλλόπουλος. ΤΜΗΥΠ Πανεπιστήµιο Πατρών. ιαφάνειες διαλέξεων 28/2/12

ΓΡΑΜΜΙΚΗ ΑΛΓΕΒΡΑ ( , c Ε. Γαλλόπουλος) ΓΡΑΜΜΙΚΗ ΑΛΓΕΒΡΑ. Ε. Γαλλόπουλος. ΤΜΗΥΠ Πανεπιστήµιο Πατρών. ιαφάνειες διαλέξεων 28/2/12 ΓΡΑΜΜΙΚΗ ΑΛΓΕΒΡΑ Ε. Γαλλόπουλος ΤΜΗΥΠ Πανεπιστήµιο Πατρών ιαφάνειες διαλέξεων 28/2/12 Μαθηµατική Οµάδα Οµάδα είναι ένα σύνολο F µαζί µε µία πράξη + : F F F έτσι ώστε (Α1) α + (β + γ) = (α + β) + γ για

Διαβάστε περισσότερα

ΕΛΛΗΝΙΚΟ ΑΝΟΙΚΤΟ ΠΑΝΕΠΙΣΤΗΜΙΟ

ΕΛΛΗΝΙΚΟ ΑΝΟΙΚΤΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΕΛΛΗΝΙΚΟ ΑΝΟΙΚΤΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΠΡΟΓΡΑΜΜΑ ΣΠΟΥ ΩΝ ΣΤΗΝ «ΠΛΗΡΟΦΟΡΙΚΗ» ΘΕΜΑΤΙΚΗ ΕΝΟΤΗΤΑ : ΠΛΗ «ΜΑΘΗΜΑΤΙΚΑ Ι» Τελική Εξέταση 5 Ιουνίου 00 Απαντήστε όλα τα κάτωθι ερωτήµατα, παρέχοντας επεξηγηµατικά σχόλια όπου

Διαβάστε περισσότερα

Κεφάλαιο 7 Βασικά Θεωρήµατα του ιαφορικού Λογισµού

Κεφάλαιο 7 Βασικά Θεωρήµατα του ιαφορικού Λογισµού Σελίδα 1 από Κεφάλαιο 7 Βασικά Θεωρήµατα του ιαφορικού Λογισµού Στο κεφάλαιο αυτό θα ασχοληθούµε µε τα βασικά θεωρήµατα του διαφορικού λογισµού καθώς και µε προβλήµατα που µπορούν να επιλυθούν χρησιµοποιώντας

Διαβάστε περισσότερα

Ανάπτυξη και δηµιουργία µοντέλων προσοµοίωσης ροής και µεταφοράς µάζας υπογείων υδάτων σε καρστικούς υδροφορείς µε χρήση θεωρίας νευρωνικών δικτύων

Ανάπτυξη και δηµιουργία µοντέλων προσοµοίωσης ροής και µεταφοράς µάζας υπογείων υδάτων σε καρστικούς υδροφορείς µε χρήση θεωρίας νευρωνικών δικτύων Ανάπτυξη και δηµιουργία µοντέλων προσοµοίωσης ροής και µεταφοράς µάζας υπογείων υδάτων σε καρστικούς υδροφορείς µε χρήση θεωρίας νευρωνικών δικτύων Περίληψη ιδακτορικής ιατριβής Τριχακης Ιωάννης Εργαστήριο

Διαβάστε περισσότερα

Εισαγωγή Αλγόριθµοι Αποτελέσµατα Επίλογος Ορισµός του Προβλήµατος Ευθυγράµµιση : Εύρεση ενός γεωµετρικού µετασχηµατισµού που ϕέρνει κοντά δύο τρισδιάσ

Εισαγωγή Αλγόριθµοι Αποτελέσµατα Επίλογος Ορισµός του Προβλήµατος Ευθυγράµµιση : Εύρεση ενός γεωµετρικού µετασχηµατισµού που ϕέρνει κοντά δύο τρισδιάσ Εισαγωγή Αλγόριθµοι Αποτελέσµατα Επίλογος Αλγόριθµοι Ευθυγράµµισης Τρισδιάστατων Αντικειµένων Τµήµα Πληροφορικής και Τηλεπικοινωνιών Εθνικό & Καποδιστριακό Πανεπιστήµιο Αθηνών 20 Οκτωβρίου 2005 Εισαγωγή

Διαβάστε περισσότερα

Α. ΤΕΙ ΚΡΗΤΗΣ Τµήµα Εφαρµοσµένης Πληροφορικής και Πολυµέσων Εργαστήριο Νευρωνικών Δικτύων

Α. ΤΕΙ ΚΡΗΤΗΣ Τµήµα Εφαρµοσµένης Πληροφορικής και Πολυµέσων Εργαστήριο Νευρωνικών Δικτύων Α. ΤΕΙ ΚΡΗΤΗΣ Τµήµα Εφαρµοσµένης Πληροφορικής και Πολυµέσων Εργαστήριο Νευρωνικών Δικτύων 5 BACKPROPAGATION MULTILAYER FEEDFORWARD ΔΙΚΤΥΑ Α. ΕΙΣΑΓΩΓΗ Τα νευρωνικά δίκτυα που εξετάσαµε µέχρι τώρα είχαν

Διαβάστε περισσότερα

Έργο µιας χρονικά µεταβαλλόµενης δύναµης

Έργο µιας χρονικά µεταβαλλόµενης δύναµης Έργο µιας χρονικά µεταβαλλόµενης δύναµης Κ. Ι. Παπαχρήστου Τοµέας Φυσικών Επιστηµών, Σχολή Ναυτικών οκίµων papachristou@snd.edu.gr Θα συζητήσουµε µερικά λεπτά σηµεία που αφορούν το έργο ενός χρονικά µεταβαλλόµενου

Διαβάστε περισσότερα

Τεχνολογίες Υλοποίησης Αλγορίθµων

Τεχνολογίες Υλοποίησης Αλγορίθµων Τεχνολογίες Υλοποίησης Αλγορίθµων Χρήστος Ζαρολιάγκης Καθηγητής Τµήµα Μηχ/κων Η/Υ & Πληροφορικής Πανεπιστήµιο Πατρών email: zaro@ceid.upatras.gr Ενότητα 2 1 / 26 Ενότητα 2 Τεχνολογίες Υλοποίησης Αλγορίθµων

Διαβάστε περισσότερα

Νευρωνικά ίκτυα και Εξελικτικός. Σηµερινό Μάθηµα. επανάληψη Γενετικών Αλγορίθµων 1 η εργασία Επανάληψη νευρωνικών δικτύων Ασκήσεις εφαρµογές

Νευρωνικά ίκτυα και Εξελικτικός. Σηµερινό Μάθηµα. επανάληψη Γενετικών Αλγορίθµων 1 η εργασία Επανάληψη νευρωνικών δικτύων Ασκήσεις εφαρµογές Νευρωνικά ίκτυα και Εξελικτικός Προγραµµατισµός Σηµερινό Μάθηµα επανάληψη Γενετικών Αλγορίθµων η εργασία Επανάληψη νευρωνικών δικτύων Ασκήσεις εφαρµογές Κωδικοποίηση Αντικειµενική Συνάρτ Αρχικοποίηση Αξιολόγηση

Διαβάστε περισσότερα

Δρ. Βασίλειος Γ. Καμπουρλάζος Δρ. Ανέστης Γ. Χατζημιχαηλίδης

Δρ. Βασίλειος Γ. Καμπουρλάζος Δρ. Ανέστης Γ. Χατζημιχαηλίδης Μάθημα 4 ο Δρ. Ανέστης Γ. Χατζημιχαηλίδης Τμήμα Μηχανικών Πληροφορικής Τ.Ε. ΤΕΙ Ανατολικής Μακεδονίας και Θράκης 2016-2017 Διευρυμένη Υπολογιστική Νοημοσύνη (ΥΝ) Επεκτάσεις της Κλασικής ΥΝ. Μεθοδολογίες

Διαβάστε περισσότερα

11 Το ολοκλήρωµα Riemann

11 Το ολοκλήρωµα Riemann Το ολοκλήρωµα Riem Το πρόβληµα υπολογισµού του εµβαδού οποιασδήποτε επιφάνειας ( όπως κυκλικοί τοµείς, δακτύλιοι και δίσκοι, ελλειπτικοί δίσκοι, παραβολικά και υπερβολικά χωρία κτλ) είναι γνωστό από την

Διαβάστε περισσότερα

Μία μέθοδος προσομοίωσης ψηφιακών κυκλωμάτων Εξελικτικής Υπολογιστικής

Μία μέθοδος προσομοίωσης ψηφιακών κυκλωμάτων Εξελικτικής Υπολογιστικής Μία μέθοδος προσομοίωσης ψηφιακών κυκλωμάτων Εξελικτικής Υπολογιστικής Βασισμένο σε μια εργασία των Καζαρλή, Καλόμοιρου, Μαστοροκώστα, Μπαλουκτσή, Καλαϊτζή, Βαλαή, Πετρίδη Εισαγωγή Η Εξελικτική Υπολογιστική

Διαβάστε περισσότερα

4.1 Το αόριστο ολοκλήρωµα - Βασικά ολοκληρώ-

4.1 Το αόριστο ολοκλήρωµα - Βασικά ολοκληρώ- Κεφάλαιο 4 ΟΛΟΚΛΗΡΩΜΑ 4.1 Το αόριστο ολοκλήρωµα - Βασικά ολοκληρώ- µατα Ορισµός 4.1.1. Αρχική ή παράγουσα συνάρτηση ή αντιπαράγωγος µιας συνάρτησης f(x), x [, b], λέγεται κάθε συνάρτηση F (x) που επαληθεύει

Διαβάστε περισσότερα