Η Εκπαίδευση Τεχνητών Νευρωνικών ικτύων µε Επίβλεψη ως Πρόβληµα Ελαχιστοποίησης

Μέγεθος: px
Εμφάνιση ξεκινά από τη σελίδα:

Download "Η Εκπαίδευση Τεχνητών Νευρωνικών ικτύων µε Επίβλεψη ως Πρόβληµα Ελαχιστοποίησης"

Transcript

1 Η Εκπαίδευση Τεχνητών Νευρωνικών ικτύων µε Επίβλεψη ως Πρόβληµα Ελαχιστοποίησης Μ.Ν. Βραχάτης 1, Γ.. Μαγουλάς 2, Β.Π. Πλαγιανάκος 1 1 Τµήµα Μαθηµατικών, Πανεπιστήµιο Πατρών, , Πάτρα. 2 Department of Information Systems and Computing, Brunel University, UB8 3PH, U.K. 1. Εισαγωγή Ο όρος Τεχνητό Νευρωνικό ίκτυο (ΤΝ ), αναφέρεται σε µια αρχιτεκτονική που εκτελεί αριθµητικούς υπολογισµούς χρησιµοποιώντας δοµή µαζικού παραλληλισµού (massively parallel structure) ή παράλληλης κατανεµηµένης επεξεργασίας (parallel distributed processing). Τα ΤΝ απαρτίζονται από τεχνητούς νευρώνες που αλληλεπιδρούν µέσω συνδέσµων που ονοµάζονται συντελεστές βάρους ή απλά βάρη. Θετικά ή αρνητικά βάρη αντιστοιχούν σε συνάψεις που µεταδίδουν ή αναστέλλουν ερεθίσµατα από άλλους νευρώνες. Η µάθηση στά ΤΝ αποτελεί ένα µέσο δυναµικής αναπαράστασης κωδικοποιηµένης πληροφορίας στους νευρώνες ενός ΤΝ. Η προσέγγιση ότι η εκπαίδευση ΤΝ µε επίβλεψη αντιστοιχεί στην ελαχιστοποίηση της συνάρτησης σφάλµατος οδηγεί στην ανάπτυξη αλγορίθµων µάθησης που βασίζονται στην αριθµητική ελαχιστοποίηση χωρίς περιορισµούς, και ιδιαίτερα σε τεχνικές που χρησιµοποιούν πληροφορία σχετική µε τη συνάρτηση σφάλµατος, όπως η µέθοδος συζυγών κλίσεων και η µέθοδος του Neton (Luenberger 1969, Ortega & Rheinboldt 1970, Pola 1997). Οι δύο αυτές µέθοδοι χρησιµοποιούν, µολονότι µε διαφορετικό τρόπο, το διάνυσµα των µερικών παραγώγων πρώτης τάξης και την Εσσιανή (δεύτερης τάξης µερικές παράγωγοι) της συνάρτησης σφάλµατος. Στην εργασία του Battiti (1992) παρουσιάζεται µια επισκόπιση τεχνικών ελαχιστοποίησης µε χρήση παραγώγων πρώτης και δεύτερης τάξης, η οποίες εφαρµόζονται στην εκπαίδευση των ΤΝ µε επίβλεψη. Περιγραφή σε ψευδοκώδικα των µεθόδων που καταγράφονται παρακάτω υπάρχει στις εργασίες των Beigi et al. (1993), Møller (1993) και van der Smagt (1994), καθώς και στα βιβλία των Kung (1993) και Hayin (1994). Η µέθοδος µέγιστης κλίσης (steepest descent) και οι τροποποιήσεις της. Η µέθοδος αυτή χαρακτηρίζεται από πολύ καλή απόδοση όταν οι αρχικές τιµές του διανύσµατος βαρών είναι µακριά από το ελάχιστο, κάτι που ισχύει στις περισσότερες περιπτώσεις εκπαίδευσης ΤΝ. Ωστόσο, η σύγκλισή της στην περιοχή του ελαχίστου χαρακτηρίζεται από εξαιρετική βραδύτητα. Σηµαντικοί περιορισµοί για τη χρήσης της µεθόδου στα ΤΝ είναι η αδυναµία της για εγγύηση σύγκλισης στο ολικό ελάχιστο καθώς και η χρήση σταθερού µήκους βήµατος που πολλές φορές εµποδίζει τη σύγκλιση ακόµα και σε ένα τοπικό ελάχιστο. Επιπλέον, η µέθοδος δεν εγγυάται τη µείωση της συνάρτησης σφάλµατος σε κάθε επανάληψη του αλγορίθµου µάθησης. Για πρόσφατες τροποποιήσεις, βελτιώσεις και εφαρµογές αυτής της µεθόδου στα νευρωνικά δίκτυα, βλέπε Magoulas et al. (1997b), Magoulas et al. (1999), Magoulas et al. (2000a), Magoulas et al. (2000b), Magoulas &

2 Vrahatis (2000), Plagianaos et al. (1999a), Plagianaos et al. (1999b), Vrahatis et al. (2000a) και Vrahatis et al. (2000b). Η µέθοδος συζυγών κλίσεων (conjugate gradient) και οι επεκτάσεις της. Η εκπαίδευση των ΤΝ σε πολλές εφαρµογές απαιτεί την προσαρµογή αρκετών εκατοντάδων ή ακόµα χιλιάδων βαρών. Οι µέθοδοι συζυγών κλίσεων µπορούν να αντιµετωπίσουν προβλήµατα µεγάλης κλίµακας και να τεθούν σε εφαρµογή σε υπολογιστές πολλαπλών επεξεργαστών. Αρκετοί αλγόριθµοι µάθησης βασιζόµενοι σε αυτές τις µεθόδους έχουν παρουσιαστεί (Battiti 1989, Kramer & Sangiovanni-Vincentelli 1989, Møller 1990) και τα αποτελέσµατα δείχνουν αυξηµένη ταχύτητα µάθησης σε σχέση µε τις µεθόδους µέγιστης κλίσης. Ωστόσο, χρησιµοποιούν ευθύγραµµη ανίχνευση (line search) για τον καθορισµό του κατάλληλου µήκους βήµατος αυξάνοντας την υπολογιστική πολυπλοκότητα της διεργασίας µάθησης µε αρκετούς υπολογισµούς της συνάρτησης του ολικού τετραγωνικού σφάλµατος µάθησης ή των παραγώγων της ενώ η απόδοσή τους εξαρτάται από την ακρίβεια της ευθύγραµµης ανίχνευσης (Johansson et al. 1990). Χαρακτηριστικό των µεθόδων είναι ότι δεν ακολουθούν πάντα κατευθύνσεις µείωσης (descent directions) του σφάλµατος µε αποτέλεσµα να εµφανίζεται αριθµητική αστάθεια. Επιπλέον αποτυγχάνουν όταν τα αρχικά βάρη είναι µακριά από το επιθυµητό ελάχιστο (συνηθισµένο φαινόµενο στα ΤΝ ) εξαιτίας του ότι η Εσσιανή δεν είναι θετικά ορισµένη σε διάφορες περιοχές του χώρου των βαρών. Η µέθοδος του Neton. Η µέθοδος Neton θεωρείται ως η βασικότερη µέθοδος εύρεσης τοπικού ελαχίστου µε χρήση παραγώγων δεύτερης τάξης, όταν οι αρχικές τιµές του διανύσµατος παραµέτρων είναι κοντά στο ελάχιστο. Η χρήση της στα ΤΝ περιορίζεται από το γεγονός ότι απαιτεί γνώση της Εσσιανής, αναλυτικός υπολογισµός της οποίας είναι πολύπλοκος και κοπιώδης για ΤΝ µε περισσότερα από εκατό βάρη. Ακόµα και στην περίπτωση που η Εσσιανή είναι διαθέσιµη, η αντιστροφή της παραµένει µια χρονοβόρα διαδικασία που τις περισσότερες φορές επιβαρύνει τη διαδικασία εκπαίδευσης πιο πολύ από µερικές ακόµα επαναλήψεις µιας απλούστερης µεθόδου. Επιπλέον µειονεκτήµατα αποτελούν η πολυπλοκότητά της ανά επανάληψη και η υπόθεση της θετικά ορισµένης Εσσιανής, διότι στα ΤΝ η Εσσιανή µπορεί να είναι αρνητικά ορισµένη, να έχει µηδενική ορίζουσα (singular) ή ακόµα να έχει µεγάλο συντελεστή αστάθειας (ill-conditioned). Η µέθοδος µεταβλητής µετρικής Broyden-Fletcher-Goldfarb-Shanno (BFGS). Η µέθοδος αυτή έχει καλές ιδιότητες σύγκλισης τόσο θεωρητικά όσο και πρακτικά. Υπολογίζει µια προσέγγιση της Εσσιανής µειώνοντας έτσι την πολυπλοκότητα σε σχέση µε την µέθοδο Neton. Επιπλέον η Εσσιανή της ορίζεται θεωρητικά ως συµµετρική και θετικά ορισµένη κάτι που εγγυάται την αριθµητική ευστάθεια του αλγορίθµου. Ο Watrous (1987) εφάρµοσε για πρώτη φορά αυτή τη µέθοδο στην εκπαίδευση των ΤΝ. Πέτυχε να επιταχύνει τη διαδικασία εκπαίδευσης σε σχέση µε τις µεθόδους µέγιστης κλίσης και συζυγών κλίσεων, ωστόσο η υπολογιστική πολυπλοκότητα της BFGS είναι σηµαντικά υψηλότερη της µεθόδου µέγιστης κλίσης αφού εκτελεί ευθύγραµµη ανίχνευση όπως η µέθοδος συζυγών κλίσεων, ενώ οι υπολογισµοί που εκτελούνται (υπολογισµός της κατεύθυνσης, αντιστροφή Εσσιανής, υπολογισµός λύσης) είναι ανάλογοι του τετραγώνου των βαρών. Πέρα από τα υπολογιστικά προβλήµατα, σηµαντικό µειονέκτηµα της µεθόδου στα ΤΝ είναι ότι ο απαιτούµενος χώρος µνήµης για την αποθήκευση της Εσσιανής εξαρτάται από το τετράγωνο του αριθµού των βαρών του δικτύου κάτι που καθιστά την εφαρµογή της προβληµατική για ΤΝ µε µερικές εκατοντάδες βάρη. Επίσης στην πράξη είναι δύσκολο να αντιστραφεί η Εσσιανή µια και ο χρόνος που απαιτείται είναι, στις περισσότερες περιπτώσεις, µεγαλύτερος από αυτόν που χρειάζεται για µερικές ακόµα επαναλήψεις της µεθόδου µέγιστης κλίσης. Παρόµοια

3 συµπεράσµατα παρουσιάστηκαν και σε άλλες εργασίες (Battiti & Masulli 1990, van der Smagt 1994). Παρόλα αυτά η µέθοδος παραµένει ανταγωνιστική όταν ο αριθµός των προτύπων προς µάθηση είναι πολύ µεγάλος. Τότε, ο υπολογισµός της συνάρτησης σφάλµατος είναι κοπιώδης και η ταχύτητα µείωσης του σφάλµατος µάθησης παίζει το σπουδαιότερο ρόλο. Η µέθοδος BFGS µε περιορισµένη µνήµη για προβλήµατα µεγάλης κλίµακας. Αν και το πρόβληµα της διαθέσιµης µνήµης αποθήκευσης δεν είναι πλέον τόσο σηµαντικό όσο πριν µια δεκαετία, η µέθοδος αυτή, που οµοιάζει της µεθόδου BFGS, αποφεύγει την αποθήκευση των πινάκων και έτσι είναι πιο εύχρηστη σε προβλήµατα µεγάλης κλίµακας (Liu & Nocedal 1989, Kung 1993). Ο Battiti (1990, 1992) στηριζόµενος σε αυτή τη µέθοδο και αναγνωρίζοντας ότι το υπολογιστικό κόστος παραµένει εξαιρετικά υψηλό για δίκτυα µε περισσότερα από εκατό βάρη πρότεινε µια τροποποίησή της µε πολυπλοκότητα ανάλογη του αριθµού των βαρών. Η µέθοδος αυτή µπορεί να χρησιµοποιηθεί µόνο για µάθηση ανά οµάδα προτύπων, κάτι που αποτελεί περιοριστικό παράγοντα για τη χρήση της, ενώ η ταχύτητα εκπαίδευσης βελτιώνεται σε σχέση µε τη µέθοδο µέγιστης κλίσης µόνο στην περίπτωση που απαιτείται υψηλή ακρίβεια στην εύρεση της λύσης. Στην πράξη ωστόσο, η ακριβής εύρεση του ελαχίστου αντιστοιχεί σε αποµνηµόνευση του συνόλου των προτύπων και σε πολλές εφαρµογές περιορίζει την ικανότητα γενίκευσης του ΤΝ. 2. Μάθηση µε επαναληπτική προσαρµογή των βαρών Η εκπαίδευση µε επίβλεψη µπορεί να ταυτιστεί µε το πρόβληµα της ελαχιστοποίησης της συνάρτησης σφάλµατος του ΤΝ, η οποία θα συµβολίζεται παρακάτω µε E, θεωρείται συνεχής * και παραγωγίσιµη και εξαρτάται από q βάρη. Το ζητούµενο είναι η εύρεση ενός τέτοιο ώστε: * = min E ( ). Στη συνέχεια θα ασχοληθούµε µε αλγόριθµους µάθησης που προσαρµόζουν τα βάρη µε την επαναληπτική σχέση: + 1 = + α d, (1) όπου d είναι η κατεύθυνση ανίχνευσης (search direction) και α είναι το µήκος του βήµατος, το οποίο λαµβάνεται µέσω µονοδιάστατης ανίχνευσης και καθορίζει το ρυθµό µάθησης. Η κατεύθυνση ανίχνευσης στην περίπτωση των µεθόδων συζυγών κλίσεων έχει την παρακάτω µορφή: d = E( ) + β d 1 όπου το βαθµωτό β επιλέγεται έτσι ώστε να προκύπτει η γραµµική µέθοδος συζυγών κλίσεων όταν η συνάρτηση είναι τετραγωνική και η ευθύγραµµη ανίχνευση ακριβής. Μια άλλη κατηγορία µεθόδων ακολουθεί την κατεύθυνση ανίχνευσης που ορίζεται ως εξής: 1 d = B E( ), (2) όπου B είναι ένας συµµετρικός πίνακας µη ιδιάζων (nonsingular), δηλαδή έχει µη µηδενική ορίζουσα. Ειδικές περιπτώσεις δίνονται από τις σχέσεις: B = I (για τη µέθοδο µέγιστης κλίσης) Β κ 2 = E( ) (για τη µέθοδο Neton)

4 Οι µέθοδοι µεταβλητής µετρικής είναι επίσης της µορφής (2), αλλά στην περίπτωση αυτή ο πίνακας B δεν είναι µόνο συνάρτηση του, αλλά εξαρτάται και από τα B -1 και -1. Σηµαντικό για όλους τους αλγόριθµους µάθησης είναι η κατεύθυνση ανίχνευσης d να είναι κατεύθυνση µείωσης της συνάρτησης σφάλµατος, δηλαδή: T d E( ) < 0 ώστε η τιµή της συνάρτησης σφάλµατος να µειώνεται ακολουθώντας ένα µικρό βήµα κατά µήκος της d. Η κατεύθυνση της µεθόδου µέγιστης κλίσης θεωρείται τοπικά ως η κατεύθυνση της ταχύτερης µείωσης, ενώ για µεθόδους που οµοιάζουν της µεθόδου Neton (2) η d είναι κατεύθυνση µείωσης της συνάρτησης όταν ο πίνακας B είναι θετικά ορισµένος. Στην περίπτωση των αλγόριθµων µάθησης που βασίζονται στη µέθοδο συζυγών κλίσεων απαιτείται προσεκτική επιλογή της στρατηγικής ευθύγραµµης ανίχνευσης που θα χρησιµοποιηθεί ώστε να επιτύχουµε κατεύθυνση µείωσης. Η απαίτηση αυτή σχετικά µε την κατεύθυνση ανίχνευσης αποτελεί και τη βάση της ανάπτυξης των αλγόριθµων ευρείας σύγκλισης, δηλαδή µε σύγκλιση σε ένα ελάχιστο από οποιαδήποτε αρχική συνθήκη (Dennis & Schnabel 1983, Byrd et al. 1987) και αποτελεί επιθυµητό χαρακτηριστικό κάθε αλγόριθµου µάθησης (Battitti 1992). Τέλος είναι εµφανές από τα παραπάνω ότι η ελαχιστοποίηση της συνάρτησης σφάλµατος E() απαιτεί τον υπολογισµό των µερικών παραγώγων E() της E() ως προς τα βάρη του ΤΝ. Εποµένως, είναι απαραίτητο η συνάρτηση σφάλµατος να ικανοποιεί τις υποθέσεις για την ύπαρξη των παραγώγων πρώτης τάξης. Ασφαλώς αυτό περιορίζει τη µορφή της E() και καθιστά απαραίτητο οι νευρώνες του ΤΝ να ακολουθούν µοντέλα που επιτρέπουν τον ορισµό της παραγώγου για κάθε νευρώνα. Η δηµοφιλέστερη τεχνική για τον αναλυτικό υπολογισµό των µερικών παραγώγων της E() είναι ο αλγόριθµος οπισθοδροµικής διάδοσης του σφάλµατος (bacpropagation). Η πρώτη προσέγγιση της τεχνικής αυτής οφείλεται στον Werbos (1974), ενώ η µορφή που έγινε ευρέως γνωστή και καθιερώθηκε στο χώρο των ΤΝ οφείλεται στους Rumelhart et al. (1986). Η αναλυτική περιγραφή του αλγόριθµου οπισθοδροµικής διάδοσης του σφάλµατος υπάρχει σε όλα τα βιβλία σχετικά µε ΤΝ και δε θα µας απασχολήσει εδώ. Ωστόσο, αξίζει να αναφερθούν οι προσπάθειες των Saarinen (1992) και Rojas (1993) για µια απλή και συνάµα γενική περιγραφή του αλγόριθµου, πέρα από τη συνηθισµένη που συναντιέται στη βιβλιογραφία και να τονιστεί η δυνατότητα παράλληλης υλοποίησής του µε τεχνολογία VLSI η οποία αποτελεί πόλο έλξης για τις εφαρµογές ΤΝ. Χρησιµοποιώντας τον αλγόριθµο οπισθοδροµικής διάδοσης του σφάλµατος µπορούµε να υπολογίσουµε το σύνολο των q µερικών παραγώγων της συνάρτησης σφάλµατος του δικτύου ως προς τα στοιχεία του διανύσµατος για ένα πρότυπο p (βλέπε Rumelhart et al. 1986). Επαναλαµβάνοντας τους υπολογισµούς για όλα τα πρότυπα p 1, P, όπου P είναι το πλήθος των προτύπων που απαρτίζουν το σύνολο των παραδειγµάτων προς µάθηση, καταλήγουµε σε ένα q P πίνακα µερικών παραγώγων, που χρησιµοποιείται για την περίπτωση µάθησης ανά οµάδα προτύπων εισόδου. Για την περίπτωση µάθησης ανά πρότυπο p εισόδου χρησιµοποιείται µια στιγµιαία προσέγγιση, που δεν είναι άλλη από τη στήλη του πίνακα των µερικών παραγώγων, που αντιστοιχεί στο πρότυπο p. Έχει βρεθεί πειραµατικά ότι σε πολλά προβλήµατα εκπαίδευσης ΤΝ, ο παραπάνω πίνακας των µερικών παραγώγων έχει µεγάλο συντελεστή αστάθειας, γεγονός που οδηγεί σε

5 ελλιπείς πληροφορίες σχετικά µε τις κατευθύνσεις ανίχνευσης και έχει ως αποτέλεσµα εξαιρετικά βραδύ χρόνο µάθησης (Saarinen et al. 1992). 3. Η Εσσιανή της συνάρτησης σφάλµατος και οι προσεγγίσεις της Η πληροφορία των δευτέρων παραγώγων της συνάρτησης σφάλµατος ως προς τα βάρη που 2 περιέχεται στην Εσσιανή E( ) έχει µεγάλη θεωρητική και πρακτική αξία. Για παράδειγµα, επιτρέπει την εφαρµογή σύνθετων αλγόριθµων τύπου Neton για την εκπαίδευση ΤΝ, όπως αυτοί που πρότεινε ο Watrous (1987), εµφανίζεται σε αρκετές τεχνικές πρόβλεψης και ενίσχυσης της γενίκευσης των ΤΝ, όπως αυτές των MacKay (1991), Moody (1992), Le Cun et al. (1990), Hassibi & Stor (1993) και βοηθά στη µελέτη και τη σύγκριση της συµπεριφοράς των αλγόριθµων µάθησης, χρησιµοποιώντας τα ιδιοδιανύσµατα των ακραίων ιδιοτιµών της Εσσιανής, όπως πρότειναν οι Androulais et al. (1997). Μια τεχνική αναλυτικού υπολογισµού της Εσσιανής δεν εφαρµόζει απλά τον κανόνα παραγώγισης των πεπλεγµένων συναρτήσεων. Ασφαλώς και οι δύο καταλήγουν στο ίδιο αποτέλεσµα αλλά όπως και στην περίπτωση του αλγόριθµου οπισθοδροµικής διάδοσης του σφάλµατος για τον υπολογισµό του πίνακα των µερικών παραγώγων, η σηµασία της τεχνικής του αναλυτικού υπολογισµού της Εσσιανής είναι ότι επιτρέπει την οργάνωση των δεδοµένων µε τρόπο ώστε να αποφεύγονται περιττοί υπολογισµοί, καθώς ο υπολογισµός της Εσσιανής περιλαµβάνει επαναλαµβανόµενο υπολογισµό των ίδιων όρων. ιάφορες τεχνικές έχουν προταθεί για να αντιµετωπιστεί η περιπλοκότητα του αναλυτικού υπολογισµού δεύτερων παραγώγων για ένα ΤΝ µε q βάρη, που είναι ανάλογη του τετραγώνου του πλήθους των 2 βαρών O( q) (Werbos et al. 1992, Bishop 1992, Buntine & Weigend 1994). Η τεχνική των Buntine και Weigend είναι η γενικότερη καθώς εφαρµόζεται σε ΤΝ οποιασδήποτε αρχιτεκτονικής και συνάρτησης ενεργοποίησης. Ωστόσο, οι υπολογισµοί επιβαρύνονται και από την αντιστροφή της Εσσιανής που είναι απαραίτητη σε πολλούς αλγόριθµους µάθησης και πρέπει να επαναλαµβάνεται σε κάθε επανάληψη του αλγόριθµου. Απαραίτητη προϋπόθεση είναι η Εσσιανή να έχει µη µηδενική ορίζουσα ώστε να µπορεί να γίνει η αντιστροφή της. υστυχώς παρατηρείται ότι κατά τη διαδικασία εκπαίδευσης η Εσσιανή είναι ως επί το πλείστον µη αντιστρέψιµη. Επιπλέον, πειραµατικά αποτελέσµατα δείχνουν πως έχει µεγάλο συντελεστή αστάθειας, εισάγοντας πρόσθετες υπολογιστικές δυσχέρειες (Saarinen et al. 1992). Τα υπολογιστικά προβλήµατα συνδυάζονται και µε προβλήµατα αποθήκευσης για ΤΝ µε αρκετές εκατοντάδες βάρη καθώς ο χώρος αποθήκευσης που απαιτείται για ένα δίκτυο µε q βάρη είναι q q. Για αυτούς τους λόγους έχουν προταθεί διάφορες τεχνικές για την προσέγγιση πληροφοριών που σχετίζονται µε την συµπεριφορά της επιφάνειας σφάλµατος σε κάθε επανάληψη και περιέχονται στην Εσσιανή. Οι τεχνικές προσέγγισης που ενσωµατώνονται στους αλγόριθµους µάθησης λαµβάνουν ποικίλες µορφές: Αλγόριθµοι µάθησης βασισµένοι σε προσεγγίσεις της Εσσιανής. Για µεγάλα ΤΝ ο αναλυτικός υπολογισµός της Εσσιανής έχει απαγορευτικό υπολογιστικό κόστος. Οι Becer & Le Cun (1988) πρότειναν την απλή προσέγγιση της Εσσιανής από τη διαγώνιό της και τη χρησιµοποίησαν σε έναν αλγόριθµο µάθησης τύπου Neton. Ο Fahlman (1988) χρησιµοποίησε στον αλγόριθµο Quicprop πεπερασµένες διαφορές για να προσεγγίσει τη διαγώνιο (βλέπε Vrahatis et al. 2000b, για µια βελτίωση και απόδειξη σύγκλισης), ενώ οι El-

6 Jaroudi & Mahoul (1990) προσέγγισαν τµήµατα της Εσσιανής θεωρώντας ότι τα βάρη που συνδέουν διαφορετικούς νευρώνες δεν επιδρούν στην Εσσιανή. Μια νέα προσέγγιση σε αλγόριθµους µάθησης που χρησιµοποιούν τη δεύτερη παράγωγο προτείνει την ελάττωση της διάστασης του προβλήµατος µετασχηµατίζοντας την Εσσιανή σε έναν πίνακα ελαττωµένης διάστασης. Σε αυτήν την ελαττωµένη Εσσιανή οι δεύτερες παράγωγοι προσεγγίζονται µε πεπερασµένες διαφορές και ο απαιτούµενος χώρος για την αποθήκευσή της είναι της τάξης ( q 1) ( q 1 ). Ο αλγόριθµος χρησιµοποιεί µόνο το πρόσηµο των παραγώγων, δεν απαιτεί αντιστροφές πινάκων και εµφανίζει βελτιωµένη συµπεριφορά σε περιπτώσεις που η Εσσιανή έχει µηδενική ορίζουσα ή µεγάλο συντελεστή αστάθειας. Σε κάθε επανάληψη προσαρµόζονται τα ( q 1 ) βάρη ενώ το q βάρος, που αποµένει, υπολογίζεται από τις τιµές των άλλων (Magoulas et al. 1997a). Αλγόριθµοι µάθησης χωρίς απευθείας υπολογισµό της Εσσιανής. Αυτή η περίπτωση αφορά συνήθως αλγόριθµους µάθησης που βασίζονται σε συζυγείς κλίσεις και χρησιµοποιούν δεύτερες παραγώγους κατά την ευθύγραµµη ανίχνευση. Σε αυτές τις περιπτώσεις δεν είναι απαραίτητος ο υπολογισµός ολόκληρης της Εσσιανής αλλά ο υπολογισµός του γινοµένου της Εσσιανής µε ένα διάνυσµα. Πεπερασµένες διαφορές και ακριβής υπολογισµός του γινοµένου έχουν προταθεί για αυτές τις περιπτώσεις (Møller 1993, Pearlmutter 1994). Η τεχνική που πρότεινε ο Pearlmutter βρίσκει εφαρµογή και σε άλλους αλγόριθµους µάθησης όπως αυτούς που πρότειναν οι Acley et al. (1985), o Almeida (1987) και ο Pineda (1987). Ενώ η προσέγγιση µε πεπερασµένες διαφορές χρησιµοποιήθηκε και σε αλγόριθµους µάθησης που βασίζονται στη µέθοδο µέγιστης κλίσης για την εκτίµηση των ιδιοδιανυσµάτων και ιδιοτιµών της Εσσιανής µε σκοπό τη µελέτη της τοπικής σύγκλισης αυτών των αλγόριθµων (Le Cun et al. 1991, Pearlmutter 1992) και την εκτίµηση του µεγαλύτερου δυνατού ρυθµού µάθησης για κάθε επανάληψη της διαδικασίας εκπαίδευσης (Le Cun et al. 1993). Στην τελευταία περίπτωση ο αλγόριθµος µάθησης επιβαρύνεται, για µερικές επαναλήψεις στην αρχή της εκπαίδευσης, µε αρκετούς επιπλέον υπολογισµούς της συνάρτησης σφάλµατος. Τέλος πρέπει να αναφερθεί πως οι αλγόριθµοι µάθησης που χρησιµοποιούν την πληροφορία της Εσσιανής ή τις προσεγγίσεις της µπορούν να χρησιµοποιηθούν µόνο για µάθηση ανά οµάδα προτύπων, εξαιτίας του ισχυρού υπολογιστικού κόστους κάθε επανάληψης. 4. Αλγόριθµοι µάθησης µέγιστης κλίσης Οι µέθοδοι µέγιστης κλίσης αποτελούν την πιο δηµοφιλή κατηγορία αλγόριθµων µάθησης. Η εφαρµογή τους είναι απλή και ταυτόχρονα αποτελεσµατική είτε για µάθηση ανά οµάδα προτύπων εισόδου (ντετερµινιστική προσέγγιση) είτε για µάθηση ανά πρότυπο εισόδου (στοχαστική προσέγγιση). Η κατεύθυνση ανίχνευσης των µεθόδων µέγιστης κλίσης θεωρείται τοπικά ως η κατεύθυνση της ταχύτερης µείωσης του σφάλµατος µάθησης. Όπως είναι γνωστό η ελαχιστοποίηση της συνάρτησης σφάλµατος E() µε q παραµέτρους, όπου δηλώνει επαναλήψεις, η οποία συγκλίνει σε ένα σηµείο απαιτεί µια ακολουθία { } =0 που ελαχιστοποιεί το σφάλµα µάθησης E(). Η παρακάτω επαναληπτική σχέση, που προτάθηκε από το Goldstein το 1962, χρησιµοποιείται ευρέως για την προσαρµογή των βαρών ενός ΤΝ :

7 + 1 = + α d = α E( ), (3) όπου το d δηλώνει µια φραγµένη απεικόνιση, ορισµένη στην περιοχή T S = { : E( ) E( 0 )}, που ικανοποιεί την ανισότητα E ( ) d( ) 0 έτσι ώστε για ένα ε > 0, υπάρχει δ > 0 για το οποίο: T E ( ) d( ) < δ E ( ) < ε. Επιπλέον, η ακολουθία { } συγκλίνει σε ένα τοπικό ελάχιστο της E όταν ο ρυθµός =0 µάθησης ικανοποιεί τη σχέση: 1 sup H ( ) < α σε µια φραγµένη περιοχή όπου ισχύει η σχέση E( ) E( 0 ) και H δηλώνει την Εσσιανή της E ως προς το διάνυσµα (Goldstein, 1962). Κάνοντας µια µικρή ιστορική αναδροµή στο πρόβληµα της επιλογής του ρυθµού µάθησης πρέπει να αναφερθεί ότι πρώτος ο Goldstein (1965) πρότεινε µια σχέση που βασίζεται στην Εσσιανή και µπορεί να χρησιµοποιηθεί για τον καθορισµό τουα. Ο ίδιος επίσης απέδειξε τη σύγκλιση της µεθόδου όταν d( ) E( ), µε την προϋπόθεση ότι E C 2 (δηλαδή είναι δύο φορές συνεχώς παραγωγίσιµη) και έδωσε µια εκτίµηση του ρυθµού σύγκλισής της για την περίπτωση που είναι γνωστό ένα φράγµα της νόρµας της H στην περιοχή S( 0 ). Αυτά τα αποτελέσµατα 1 επεκτάθηκαν το 1967 για την περίπτωση d( ) B E( ), όπου B είναι µια προσέγγιση της Εσσιανής στο, χρησιµοποιώντας µόνο τιµές της συνάρτησης και του διανύσµατος των παραγώγων της, ενώ παρουσιάστηκε και ένα αποτέλεσµα για τον ολικό ρυθµό σύγκλισης της µεθόδου, ο οποίος είναι υπερ-γραµµικός (Goldstein & Price, 1967). Ακολουθώντας µια διαφορετική προσέγγιση που δε χρησιµοποιεί την Εσσιανή αλλά τη σταθερά Lipschitz, ο Armijo πρότεινε το 1966 την πρώτη µέθοδο µέγιστης κλίσης που επέτρεπε µεταβλητό a και απέδειξε τη σύγκλισή της υπό λιγότερο αυστηρές προϋποθέσεις από ότι ο Goldstein (Armijo 1966). Μια βελτίωση της µεθόδου αυτής για την εκπαίδευση νευρωνικών δικτύων πρότειναν οι Magoulas et al. (1997b). Στο χώρο της εκπαίδευσης των ΤΝ η επιλογή του κατάλληλου ρυθµού µάθησης έχει σχετιστεί µε τις ιδιοτιµές της Εσσιανής (LeCun et al. 1993), ο υπολογισµός των οποίων είναι επίπονος ακόµα και όταν χρησιµοποιείται µια προσέγγιση της Εσσιανής (Becer & Le Cun 1988, LeCun et al. 1993). Έτσι στις εφαρµογές οι χρήστες συνήθως επιλέγουν αυθαίρετα το ρυθµό µάθησης 0 < α < 1, καθώς σχετικά µικρές τιµές βοηθούν στο να διατηρηθεί η ευστάθεια του αλγόριθµου µάθησης. Το ζήτηµα της εύρεσης ενός κατάλληλου ρυθµού µάθησης ώστε η ακολουθία { } να συγκλίνει σε ένα ελάχιστο της E αποτελεί σηµαντικό αντικείµενο έρευνας στα =0 ΤΝ. 5. Αλγόριθµοι µάθησης µε τοπική σύγκλιση Η µάθηση µε αλγόριθµους τοπικής σύγκλισης χρησιµοποιεί την πληροφορία της Εσσιανής, ή των προσεγγίσεών της. Ειδικότερα, η Εσσιανή χρησιµοποιείται στην περιγραφή των µεθόδων

8 συζυγών κλίσεων, παίζει βασικό ρόλο στη µέθοδο Neton, ενώ οι προσεγγίσεις της χρησιµοποιούνται στις µεθόδους µεταβλητής µετρικής. Θεωρώντας ότι η συνάρτηση σφάλµατος σε ένα σηµείο προσεγγίζεται τοπικά από µια τετραγωνική συνάρτηση και αναπτύσσοντάς τη γύρω από την εκτίµηση ενός τοπικού ελάχιστου, λαµβάνουµε την παρακάτω σχέση ανάµεσα στις συναρτησιακές τιµές των δύο σηµείων: T 1 T 2 E( ) E( ) = E( ) ( ) + ( ) E( )( ), (4) 2 και η οποία έχει ένα µοναδικό ελάχιστο στο σηµείο = E( ) E( ), (5) 2 τότε και µόνο τότε εάν η Εσσιανή E( ) είναι θετικά ορισµένη. Η (5) δίνει σε κάθε επανάληψη του αλγόριθµου µάθησης µια νέα εκτίµηση +1 των βέλτιστων βαρών βασισµένη σε µια προηγούµενη εκτίµησή τους σύµφωνα µε τη µέθοδο Neton. υστυχώς, παρά τον τετραγωνικό ρυθµό σύγκλισης προς το ελάχιστο που χαρακτηρίζει τη µέθοδο Neton, η χρήση της στους αλγόριθµους µάθησης περιορίζεται σηµαντικά από την πολυπλοκότητα των πράξεων υπολογισµού και αντιστροφής της Εσσιανής καθώς και από την τοπική της σύγκλιση. Το ζήτηµα περιπλέκεται περισσότερο καθώς στην εκπαίδευση ΤΝ δεν παρέχεται καµία εγγύηση ότι η Εσσιανή είναι πάντοτε αντιστρέψιµη. Επιπλέον έχει βρεθεί πως έχει µεγάλο συντελεστή αστάθειας (Saarinen et al. 1992). Ο Battiti (1992) προτείνει διάφορες τροποποιήσεις στη µέθοδο Neton που διευκολύνουν τη χρήση της για την εκπαίδευση δικτύων πρόσθιας τροφοδότησης. Σχετικά µε την τοπική σύγκλιση των µεθόδων µεταβλητής µετρικής αναπτύχθηκαν διάφορες ολοκληρωµένες θεωρίες τη δεκαετία του Τα σπουδαιότερα αποτελέσµατα οφείλονται στους Broyden et al. (1973) και Dennis & Moré (1974). Ένα τυπικό αποτέλεσµα τοπικής σύγκλισης ισχύει στην περιοχή ενός ελαχίστου της συνάρτησης σφάλµατος και θεωρεί ότι είναι ένα ελάχιστο στο οποίο η Εσσιανή είναι θετικά ορισµένη. Έτσι εάν 0 είναι στην περιοχή του και µια προσέγγιση της Εσσιανής B 0 είναι ικανοποιητικά κοντά στην πραγµατική 2 * Εσσιανή E( ), τότε οι επαναλήψεις των αλγόριθµων συγκλίνουν στο υπερ-γραµµικά. 6. Αλγόριθµοι µάθησης µε ευρεία σύγκλιση Οι παραπάνω αλγόριθµοι µάθησης δε συγκλίνουν πάντα σε ένα τοπικό ελάχιστο όταν η αρχική τιµή του διανύσµατος βαρών 0 βρίσκεται µακριά από τη γειτονιά του τοπικού ελαχίστου. Αντίθετα ένας αλγόριθµος που έχει την ιδιότητα της ευρείας σύγκλισης (globally convergent algorithm) συγκλίνει σε ένα ελάχιστο ξεκινώντας από οποιαδήποτε αρχική συνθήκη (Dennis & Schnabel 1983, Byrd et al. 1987). Αυτή η συµπεριφορά διευκολύνει ιδιαίτερα τη διαδικασία εκπαίδευσης ΤΝ καθώς τις περισσότερες φορές η µάθηση ενός προβλήµατος ξεκινά για το δίκτυο χρησιµοποιώντας τυχαία αρχικά βάρη, ως επί το πλείστον µακριά από ένα ελάχιστο, ενώ ο χρήστης καλείται να ρυθµίσει ευρετικά διάφορες παραµέτρους, κρίσιµες για τη σύγκλιση του αλγόριθµου και την επιτυχία της µάθησης. Η ευρεία σύγκλιση επιτυγχάνεται εφαρµόζοντας µεθόδους µη ακριβούς ευθύγραµµης ανίχνευσης (Bron & Saad 1990, 1994, Eisenstat & Waler 1994) και µεθόδους ασφαλούς περιοχής (Poell

9 1975, Sorensen 1982, Moré 1983, Dennis & Schnabel 1983, Schultz et al. 1985, Møller 1993). Στη συνέχεια, η ανάλυση της σύγκλισης των αλγόριθµων µάθησης εστιάζεται στη χρήση µεθόδων µη ακριβούς ευθύγραµµης ανίχνευσης. Αυτές οι µέθοδοι είναι γνωστές για την ευκολία της υλοποίησής τους σε λογισµικό και για τη µικρή υπολογιστική πολυπλοκότητά τους. Η ενσωµάτωσή τους σε οποιοδήποτε αλγόριθµο που επαναληπτικά προσαρµόζει τα βάρη ακολουθώντας κατευθύνσεις µείωσης της συνάρτησης σφάλµατος εξασφαλίζει στον αλγόριθµο την ιδιότητα της ευρείας σύγκλισης (Magoulas et al. 2000b, Vrahatis et al. 2000a). 7. Βασικές αρχές σύγκλισης Οι ιδιότητες σύγκλισης των µεθόδων ευθύγραµµης ανίχνευσης µπορούν να µελετηθούν µετρώντας την ποιότητα της κατεύθυνσης ανίχνευσης, όπως αυτή ορίζεται από τη γωνία που σχηµατίζεται µεταξύ της κατεύθυνσης µέγιστης κλίσης E( ) και της κατεύθυνσης ανίχνευσης, δηλαδή T E( ) d cosθ (6) κ E( ) d και λαµβάνοντας υπόψη το µήκος του βήµατος. Το µήκος του βήµατος καθορίζεται από µια επανάληψη της µεθόδου ευθύγραµµης ανίχνευσης. Μια στρατηγική που προτείνεται δέχεται ως βήµα ένα θετικό αριθµό που ικανοποιεί τις παρακάτω συνθήκες: T E( + α d ) E( ) + σ 1α E( ) d, (7) T T E( + α d ) d σ 2 E( ) d, όπου 0<σ 1 <σ 2 <1. Οι δύο ανισότητες είναι γνωστές ως συνθήκες Wolfe. Η πρώτη ανισότητα εξασφαλίζει ότι η συνάρτηση σφάλµατος µειώνεται επαρκώς σε κάθε επανάληψη του αλγόριθµου µάθησης, ενώ η δεύτερη εµποδίζει το ρυθµό µάθησης να γίνει πολύ µικρός. Οι δύο αυτές ανισότητες αρκούν για να διασφαλιστεί η σύγκλιση σε ένα ελάχιστο αρκεί η γωνία µεταξύ της κατεύθυνσης ανίχνευσης και της κλίσης να είναι µικρότερη από 90 ο (Wolfe 1969, 1970). Εύκολα µπορεί να αποδειχθεί ότι εάν η d είναι µια κατεύθυνση µείωσης του αλγόριθµου µάθησης και η συνάρτηση σφάλµατος είναι παραγωγίσιµη και από κάτω φραγµένη κατά µήκος της ακτίνας { + α d α > 0}, τότε πάντοτε υπάρχουν µήκη βηµάτων που ικανοποιούν τις συνθήκες (7) (Wolfe 1969, 1971). Το παρακάτω θεώρηµα µπορεί να χρησιµοποιηθεί για να εξασφαλιστεί ευρεία σύγκλιση και είναι ανεξάρτητο από τη µέθοδο που χρησιµοποιείται για το καθορισµό των κατευθύνσεων µείωσης ή των µηκών των βηµάτων. Θεώρηµα 1 (Zoutendij 1970, Wolfe 1969, 1970). Υποθέτουµε ότι η συνάρτηση E είναι κάτω φραγµένη στο R q. Επίσης ότι για ένα αρχικό διάνυσµα βαρών 0 R q και για κάθε σε µια περιοχή που περιέχει το αρχικό διάνυσµα βαρών, S = { : E( ) E( 0 )}, η E είναι συνεχώς παραγωγίσιµη στο S( 0 ) και Lipschitz συνεχής, δηλαδή υπάρχει µια σταθερά L>0 τέτοια ώστε q E ) E( ) L,, R. (8) (

10 Τότε για κάθε επανάληψη της µορφής (1) και για οποιαδήποτε κατεύθυνση µείωσης d όπου a ικανοποιεί τις συνθήκες του Wolfe (7) ισχύει ότι cos θ E( ) <. (9) Σκοπός της ανισότητας (8) είναι να τεθεί θεωρητικά ένα άνω φράγµα στο βαθµό της µη γραµµικότητας της συνάρτησης σφάλµατος και να διασφαλιστεί ότι οι πρώτες παράγωγοι είναι συνεχείς. Η ανισότητα (9) ονοµάζεται η ανισότητα του Zoutendij και είναι χρήσιµη για την απόδειξη ευρείας σύγκλισης πολλών αλγόριθµων µάθησης. Έτσι αν οι επαναλήψεις (1) είναι τέτοιες ώστε ισχύει cos θ δ >0, για όλα τα. Τότε συµπεραίνουµε απευθείας από την (9) ότι lim E( ) = 0. (10) ηλαδή, εάν η κατεύθυνση ανίχνευσης δεν είναι ορθογώνια στην κλίση E( ), τότε η ακολουθία των κλίσεων συγκλίνει στο µηδέν. Σύµφωνα µε αυτό το αποτέλεσµα ένας αλγόριθµος µάθησης που βασίζεται στη µέθοδο µέγιστης κλίσης έχει την ιδιότητα της ευρείας σύγκλισης αν χρησιµοποιεί ευθύγραµµη ανίχνευση που ικανοποιεί τις συνθήκες του Wolfe για τον καθορισµό του ρυθµού µάθησης. Σε αυτή την περίπτωση έχουµε cosθ =1 για όλα τα και ισχύει η (10). Ας σηµειωθεί πως για µεθόδους ευθύγραµµης ανίχνευσης της µορφής (1), το όριο (10) αποτελεί το καλύτερο αποτέλεσµα ευρείας σύγκλισης που µπορεί να επιτευχθεί. Για την ευρεία σύγκλιση αλγόριθµων που βασίζονται σε µεθόδους Neton και µεταβλητής µετρικής µπορεί να χρησιµοποιηθεί πάλι η (9) για να πάρουµε το αποτέλεσµα (10). Για το σκοπό αυτό υποθέτουµε ότι ο πίνακας B σε κάθε επανάληψη είναι θετικά ορισµένος (αυτό χρειάζεται για να κινηθούµε προς κατεύθυνση µείωσης) και ότι ο συντελεστής αστάθειάς του είναι φραγµένος για όλα τα, δηλαδή: 1 B B, για µια σταθερά >0. Εάν επιπλέον η ευθύγραµµη ανίχνευση ικανοποιεί τις συνθήκες του Wolfe τότε από την (6) έχουµε ότι cos θ 1. Για αλγόριθµους που βασίζονται σε µεθόδους συζυγών κλίσεων δεν είναι δυνατό να δειχθεί ότι ισχύει το όριο (10) παρά µόνο η παρακάτω ασθενέστερη σχέση: lim inf E( ) = 0. (11) Το συµπέρασµα που προκύπτει από τα παραπάνω είναι ότι για την ανάπτυξη αλγόριθµων µάθησης µε καλές ιδιότητες σύγκλισης απαιτείται να εξασφαλίζεται ότι η κατεύθυνση ανίχνευσης δε γίνεται ορθογώνια µε το διάνυσµα της κλίσης, ή ότι παρεµβάλλονται, µεθοδικά, επαναλήψεις της µεθόδου µέγιστης κλίσης µε το α να ικανοποιεί τις συνθήκες του Wolfe. Στην πράξη µια τεχνική που µπορεί να χρησιµοποιηθεί για να εξασφαλιστεί η σύγκλιση είναι να ελέγχεται η γωνία µεταξύ της κατεύθυνση ανίχνευσης και του διανύσµατος της κλίσης και στην περίπτωση που είναι µικρότερη από µια προκαθορισµένη σταθερά τότε να αλλάζουµε την κατεύθυνση ανίχνευσης προς την κατεύθυνση της µέγιστης κλίσης. Επίσης έχει προταθεί η πληροφορία της γωνίας να λαµβάνεται υπόψη κατά την προσαρµογή των βαρών (Sanston et al. 1994, Hsin et al. 1995).

11 Ωστόσο ο υπολογισµός και ο έλεγχος της γωνίας σε κάθε επανάληψη αυξάνει την πολυπλοκότητα του αλγόριθµου χωρίς να αυξάνει απαραίτητα την ταχύτητα σύγκλισης σε ένα ελάχιστο της µη κυρτής συνάρτησης σφάλµατος. Στο σηµείο αυτό πρέπει να σηµειωθεί πως η ευρεία σύγκλιση δεν είναι το µόνο επιθυµητό χαρακτηριστικό ενός αλγόριθµου µάθησης. Η ταχύτητα της µάθησης αποτελεί συχνά σηµαντικότερο χαρακτηριστικό. Για τη µελέτη της ταχύτητας σύγκλισης ενός αλγόριθµου είναι χρήσιµο ένα κλασσικό αποτέλεσµα των Dennis & Moré (1974). Σύµφωνα µε τους Dennis και Moré η επαναληπτική σχέση (1) συγκλίνει µε ταχύτητα υπερ-γραµµική (superlinear) µόνο όταν N N α d = d + O( d ), (12) όπου d N είναι η κατεύθυνση Neton. Εποµένως για να επιτύχουµε γρήγορη µάθηση είναι απαραίτητο να προσεγγίσουµε ασυµπτωτικά την κατεύθυνση Neton. Ο έλεγχος της γωνίας µπορεί να εµποδίσει τη γρήγορη µάθηση, π.χ. ένας αλγόριθµος µάθησης που βασίζεται στη µέθοδο BFGS µπορεί να δηµιουργήσει ασταθείς προσεγγίσεις B της Εσσιανής, δηλαδή πίνακες µε µεγάλο συντελεστή αστάθειας. Σε τέτοιες περιπτώσεις δε µπορεί να καθοριστεί εάν αυτή η συµπεριφορά είναι επιθυµητή, ή εάν οι πίνακες B προσεγγίζουν ικανοποιητικά µια Εσσιανή µε µεγάλο συντελεστή αστάθειας (ill-conditioned). Για να αποφανθούµε θα έπρεπε να γνωρίζουµε το ίδιο το πρόβληµα που προσπαθούµε να επιλύσουµε. Έτσι στις εφαρµογές προτιµούµε όταν εκπαιδεύουµε ΤΝ µε τη µέθοδο BFGS να αφήνουµε τους πίνακες B να εξελίσσονται ελεύθερα γιατί τότε επιταχύνεται η µάθηση. 8. Πρακτική θεώρηση της ευρείας σύγκλισης αλγορίθµων µάθησης Τα προηγούµενα θεωρητικά αποτελέσµατα είναι χρήσιµα για την κατανόηση και τη µελέτη της συµπεριφοράς των αλγόριθµων µάθησης. Ωστόσο οι αλγόριθµοι αυτοί, ελαχιστοποιώντας τη µη γραµµική συνάρτηση σφάλµατος, έχουν να αντιµετωπίσουν κάποια από τα δυσκολότερα πρακτικά προβλήµατα που εµφανίζονται κατά τη βελτιστοποίηση µη γραµµικών συναρτήσεων. Οι κυριότερες δυσκολίες είναι: (i) Το κόστος υπολογισµού των τιµών της συνάρτησης σφάλµατος και των παραγώγων της. Στις εφαρµογές το υπολογιστικό κόστος αποτελεί το βασικό κριτήριο επιλογής του αλγόριθµου µάθησης, καθώς σε πολλές περιπτώσεις είναι προτιµότερες µερικές ακόµα επαναλήψεις ενός αλγόριθµου που βασίζεται στη µέθοδο µέγιστης κλίσης από τη χρήση περίπλοκων αλγόριθµων τοπικής σύγκλισης. (ii) Οι µη ακριβείς τιµές της συνάρτησης σφάλµατος. Είναι γνωστό πως οι αριθµητικοί υπολογισµοί υπόκεινται σε σφάλµατα ακρίβειας (Wilinson 1963). Οι αριθµητικές πράξεις που απαιτούνται στις εξοµοιώσεις των αλγόριθµων µάθησης επηρεάζουν την ακρίβεια των τιµών της συνάρτησης σφάλµατος (Wray & Green 1995). Επιπλέον, τα χαρακτηριστικά των µη γραµµικών νευρώνων εµποδίζουν τον ακριβή υπολογισµό των συναρτησιακών τιµών του σφάλµατος και οδηγούν σε κορεσµό, τόσο στις εξοµοιώσεις όσο και στις υλοποιήσεις των ΤΝ (Holt & Hang 1993). (iii) Τα πολλαπλά ελάχιστα της συνάρτησης σφάλµατος. Η συνάρτηση σφάλµατος είναι µη κυρτή και δηµιουργείται από την υπέρθεση των µη γραµµικών συναρτήσεων

12 ενεργοποίησης που ελαχιστοποιούνται σε διαφορετικά σηµεία. Όταν η τιµή της συνάρτησης σφάλµατος σε ένα ελάχιστο είναι µικρότερη από την «επιθυµητή», τίθεται το θέµα της ποιότητας του ελάχιστου. Για παράδειγµα, σε προβλήµατα προσέγγισης συναρτήσεων ή αναγνώρισης συστηµάτων υπάρχουν πολλαπλά «επιθυµητά» ελάχιστα που προσεγγίσουν, άγνωστο πόσο καλά, το ολικό ελάχιστο. Σε αυτές τις περιπτώσεις το πρόβληµα µπορεί να εξαλειφθεί χρησιµοποιώντας αρκετά µεγάλο αριθµό δεδοµένων. υστυχώς, υπάρχουν και περιπτώσεις που ο αλγόριθµος µάθησης συγκλίνει σε «ανεπιθύµητα» ελάχιστα, δηλαδή σε ελάχιστα µε συναρτησιακές τιµές µεγαλύτερες από την «επιθυµητή». Αυτό συµβαίνει για διάφορους λόγους, π.χ. όταν το πλήθος των νευρώνων δεν επαρκεί για τη συγκεκριµένη εφαρµογή ή όταν ο αλγόριθµος εκκινεί από ακατάλληλα αρχικά βάρη και εµποδίζει το ΤΝ από το να µάθει πλήρως όλα τα πρότυπα. 9. Ευρεία σύγκλιση µε στρατηγικές οπισθοδρόµησης Οι αλγόριθµοι µάθησης µε στρατηγικές ευθύγραµµης ανίχνευσης που ικανοποιούν τις συνθήκες του Wolfe ελαττώνουν το πλήθος των υπολογισµών της συνάρτησης σφάλµατος και των παραγώγων της σε σχέση µε τους αλγόριθµους τοπικής σύγκλισης που χρησιµοποιούν τεχνικές ακριβούς ευθύγραµµης ανίχνευσης. Στην πράξη είναι δυνατό ο αριθµός των απαιτούµενων υπολογισµών να µειωθεί περαιτέρω χρησιµοποιώντας µια διαφορετική στρατηγική ευθύγραµµης ανίχνευσης που ονοµάζεται οπισθοδρόµηση (bactracing) και τις τροποποιήσεις της. Η στρατηγική οπισθοδρόµησης εκµεταλλεύεται τον καλύτερο ρυθµό µάθησης που µπορεί να βρεθεί στο διάστηµα ( 0, α max ], όπου α max είναι ο µέγιστος ρυθµός µάθησης της εκάστοτε επανάληψης. Η ανίχνευση ξεκινά από το µέγιστο ρυθµό και εκτελώντας διαδοχικές ελαττώσεις του προχωρά προς το ελάχιστο έως ότου επιτευχθεί ικανοποιητική µείωση της συνάρτησης σφάλµατος. Για κριτήριο ικανοποιητικής µείωσης µπορούµε να χρησιµοποιούµε την πρώτη από τις συνθήκες του Wolfe (7) που εξασφαλίζει ότι η συνάρτηση σφάλµατος µειώνεται επαρκώς σε κάθε επανάληψη του αλγόριθµου µάθησης. Η παράµετρος σ 1 (0,1) της πρώτης ανισότητας του Wolfe µπορεί να λαµβάνει µικρές τιµές σε επίπεδες επιφάνειες σφάλµατος, ώστε να περιορίζεται ο αριθµός των συναρτησιακών υπολογισµών αφού οι διαφορές των σφαλµάτων για τις διαδοχικές τιµές του ρυθµού είναι µηδαµινές, και µεγάλες τιµές σε απότοµες επιφάνειες, ώστε να εξασφαλίζεται η µεγαλύτερη δυνατή µείωση της συνάρτησης σφάλµατος. Η τιµή σ 1 = 05., χωρίς να είναι πάντοτε η βέλτιστη, αποδείχθηκε στην πράξη πως κατά µέσο όρο περιορίζει τον αριθµό των συναρτησιακών υπολογισµών και χρησιµοποιήθηκε στις παρακάτω εξοµοιώσεις. Οι διαδοχικές ελαττώσεις του ρυθµού µάθησης συντελούνται µε διάφορους µηχανισµούς, όπως η διαίρεση µε ένα σταθερό συντελεστή ή µε µια εκτίµηση του βέλτιστου συντελεστή για κάθε επανάληψη. Πρέπει να σηµειωθεί πως η επιλογή του διαιρέτη δεν είναι κρίσιµη για την ευρεία σύγκλιση. Για παράδειγµα, ο διαιρέτης θα µπορούσε να είναι σταθερός και ίσος µε 2. Ένας διαιρέτης 10, ή 20, είναι πιθανόν καταλληλότερος σε περιπτώσεις που απαιτείται ο ρυθµός να κρατείται χαµηλός για πολλές διαδοχικές επαναλήψεις. Βέβαια τυχόν υπερβολική µείωση του ρυθµού µάθησης µπορεί τελικά να αυξήσει το υπολογιστικό κόστος, επιβαρύνοντας τον αλγόριθµο µε επιπλέον επαναλήψεις.

13 Για το λόγο αυτό ο αλγόριθµος µπορεί να ενσωµατώνει και µηχανισµούς άνω και κάτω φράγµατος που εξασφαλίζουν ότι ο ρυθµός µάθησης κινείται σε επίπεδα που δεν επιβραδύνουν επικίνδυνα την εκπαίδευση, ενώ παράλληλα µειώνουν το σφάλµα σε κάθε επανάληψη. Τα φράγµατα αυτά έχουν το ίδιο θεωρητικό αποτέλεσµα µε τη δεύτερη από τις συνθήκες (7) (Dennis & Schnabel 1983), εµποδίζοντας το ρυθµό µάθησης από το να γίνει πολύ αργός, χωρίς να απαιτούν επιπλέον υπολογισµούς παραγώγων της συνάρτησης σφάλµατος. Πρέπει να σηµειωθεί πως η στρατηγική οπισθοδρόµησης µε φράγµατα στο ρυθµό µάθησης επιτρέπει να εγγυηθούµε την ευρεία σύγκλιση για τους αλγόριθµους µάθησης χωρίς τη χρήση ευθύγραµµης ανίχνευσης που ικανοποιεί τις συνθήκες του Wolfe (βλέπε το σχετικό αποτέλεσµα των Shultz et al. 1982). Έτσι στη πράξη µε αυτή τη στρατηγική µπορούµε να εξασφαλίσουµε την ευστάθεια του αλγόριθµου µάθησης και τη σθεναρότητά του σε ταλαντώσεις. 10. Ανάλυση αλγορίθµων σε ένα κλασσικό παράδειγµα Η ταξινόµηση των τεσσάρων προτύπων του Αποκλειστικού-ΕΙΤΕ (XOR) σε δύο κατηγορίες, την 0 και την 1, είναι ένα κλασσικό πρόβληµα για ΤΝ (Jacobs 1988, Kollias & Anastasiou 1989, van Ooyen 1992, van der Smagt 1994). Το ΤΝ έχει 2 γραµµικούς νευρώνες στην είσοδο, 2 µη γραµµικούς νευρώνες, που ακολουθούν τη λογιστική συνάρτηση (Hayin 1994), στο κρυµµένο επίπεδο και 1 ίδιου τύπου µη γραµµικό νευρώνα στην έξοδο. Αυτή η αρχιτεκτονική δηλώνεται για ευκολία και περιλαµβάνει 9 βάρη. Η µάθηση του XOR παρουσιάζει µεγάλη εξάρτηση από τις αρχικές τιµές των βαρών και τις µεταβολές του ρυθµού µάθησης, ενώ εµφανίζει πολλαπλά ελάχιστα. Το ζήτηµα των πολλαπλών ελάχιστων σε αυτή την εφαρµογή έχει µελετηθεί αναλυτικά (Blum 1989, Lisboa & Perantonis 1991). Τα Σχήµατα 1 και 2 παρουσιάζουν την επιφάνεια σφάλµατος του XOR και τις ισοϋψείς της στο διδιάστατο υπόχωρο του R q που ορίζεται από τα ιδιοδιανύσµατα που αντιστοιχούν στις ακραίες ιδιοτιµές της Εσσιανής, δηλαδή στη µεγαλύτερη και στη µικρότερη ιδιοτιµή της Εσσιανής της συνάρτησης σφάλµατος, σε ένα επιθυµητό ελάχιστο το οποίο αντιστοιχίζεται στο σηµείο (0, 0) των σχηµάτων. Η προσέγγιση αυτή βασίζεται στο ότι η Εσσιανή είναι πραγµατικός και συµµετρικός πίνακας και εποµένως όλες οι ιδιοτιµές της είναι πραγµατικές και τα ιδιοδιανύσµατα που αντιστοιχούν στις διάφορες ιδιοτιµές είναι ορθογώνια. Σε αυτό το πλαίσιο οι κατευθύνσεις των αξόνων των ισοϋψών γραµµών δίνονται από τα ιδιοδιανύσµατα της Εσσιανής, ενώ το µήκος των αξόνων είναι αντίστροφα ανάλογο της τετραγωνικής ρίζας των αντίστοιχων ιδιοτιµών. Οι επίπεδες περιοχές του Σχήµατος 1 δηλώνουν σηµεία µε την ίδια συναρτησιακή τιµή. Η µορφή αυτή αναπαράστασης µιας γενικής επιφάνειας σφάλµατος µε ( q +1) διαστάσεις στις 3 διαστάσεις προτάθηκε από τους Androulais et al. (1997). Στη συγκεκριµένη περίπτωση αυτή η προσέγγιση µας επιτρέπει να οπτικοποιήσουµε την επιφάνεια σφάλµατος του 9-διάστατου προβλήµατος XOR γύρω από ένα ελάχιστο και να µελετήσουµε τη συµπεριφορά διάφορων αλγόριθµων µάθησης γύρω από το ελάχιστο και την ευαισθησία τους στις αρχικές τιµές των βαρών. Στη συνέχεια θα συγκρίνουµε την απόδοση πέντε διαδεδοµένων και πολυ γνωστών αλγόριθµων µάθησης στα ίδια αρχικά διανύσµατα βαρών γύρω από ένα τυχαίο ελάχιστο. Πιο συγκεκριµένα οι αλγόριθµοι ελέγχονται στα σηµεία: * max min = + ( c e + c e ), 1 2

14 παίρνοντας κατάλληλο πλέγµα για τις παραµέτρους c 1 [ 50,50], c2 [ 90,90], το οποίο καθορίζει τις συντεταγµένες των εικονοστοιχείων (οθόνη VGA, , 256 χρώµατα) και max min χρησιµοποιώντας τα ιδιοδιανύσµατα e, e που αντιστοιχούν στη µέγιστη και ελάχιστη ιδιοτιµή της Εσσιανής στο ελάχιστο. Οι αλγόριθµοι των οποίων αποτελέσµατα σύγκλισης παρουσιάζονται είναι οι εξής: µέγιστης κλίσης (SD), Fletcher-Reeves (FR), Pola-Ribière (PR), Davidon-Fletcher-Poell (DFP) και Broyden-Fletcher-Goldfarb-Shanno (BFGS), οι οποίοι µπορούν να βρεθούν στη βιβλιογραφία αναφορικά µε την βελτιστοποίηση χωρίς περιορισµούς (Dennis & Schnabel 1983, Luenberger 1969, Pola (1997), Ortega & Rheinboldt 1970). Σε όλες τις περιπτώσεις η κλίση υπολογίστηκε µε την τεχνική της οπισθοδροµικής διάδοσης του σφάλµατος και χρησιµοποιήθηκε η στρατηγική της οπισθοδρόµησης για τον καθορισµό του ρυθµού µάθησης σε κάθε επανάληψη. Η εκπαίδευση θεωρείται επιτυχής όταν το σφάλµα µάθησης γίνεται E Τα αποτελέσµατα συνοψίζονται στον Πίνακα 1 όπου χρησιµοποιούνται τα εξής σύµβολα: µ είναι η µέση τιµή του αριθµού των υπολογισµών της συνάρτησης σφάλµατος, σ είναι η τυπική απόκλιση και Min/Max είναι ο ελάχιστος/µέγιστος αριθµός συναρτησιακών υπολογισµών που εκτελέστηκαν. Τέλος, % είναι το ποσοστό επιτυχίας του αλγόριθµου µάθησης που ταυτίζεται µε το ποσοστό σύγκλισης σε «επιθυµητά» ελάχιστα, δηλαδή σε βάρη τα οποία δίνουν τιµές σφάλµατος E Σχήµα 1: Η επιφάνεια σφάλµατος του προβλήµατος Αποκλειστικού-ΕΙΤΕ (XOR), γύρω από ένα επιθυµητό ελάχιστο, απεικονισµένη στο διδιάστατο υπόχωρο που ορίζεται από τα ακραία ιδιοδιανυσµάτα της Εσσιανής. Τα ιδιοδιανύσµατα υπολογίζονται στο συγκεκριµένο ελάχιστο, το οποίο στο σχήµα αντιστοιχίζεται στην αρχή των αξόνων.

15 Σχήµα 2: Ισοϋψείς γραµµές της επιφάνειας σφάλµατος του προβλήµατος Αποκλειστικού-ΕΙΤΕ (XOR) απεικονισµένες στο διδιάστατο υπόχωρο που ορίζεται από τα ακραία ιδιοδιανυσµάτα της Εσσιανής. Πίνακας 1: Συγκριτικά αποτελέσµατα για το πρόβληµα XOR. Αλγόριθµος µ σ Min/Max % SD / FR / PR / DFP / BFGS / Τα αποτελέσµατα του Πίνακα 1 δείχνουν ότι η µέθοδος της µέγιστης κλίσης απαιτεί τον µικρότερο αριθµό υπολογισµών της συνάρτησης σφάλµατος και είναι η ταχύτερη στο µέσο όρο. Σηµειώνοντας ότι το ποσοστό επιτυχίας των αλγόριθµων συνδέεται µε το πρόβληµα της σύγκλισης σε ανεπιθύµητα ελάχιστα, που είναι ιδιαίτερα οξυµένο στο XOR, παρατηρούµε ότι η BFGS και η DFP εµφανίζουν τα καλύτερα ποσοστά επιτυχίας. Το ποσοστό επιτυχίας της µεθόδου µέγιστης κλίσης είναι αρκετά ικανοποιητικό, προσεγγίζοντας το ποσοστό της µεθόδου Pola-Ribière, που είναι υπολογιστικά πολυπλοκότερη. Ενδιαφέρον παρουσιάζει η συµπεριφορά των δύο αλγόριθµων που βασίζονται σε συζυγείς κλίσεις. Η συµπεριφορά της µεθόδου Fletcher-Reeves επαληθεύει τις θεωρητικές αναφορές και υπολείπεται της µεθόδου Pola-Ribière. Πέρα από το γεγονός ότι η µέθοδος Pola-Ribière έχει καλύτερα ποσοστά επιτυχίας και αισθητά καλύτερη µέση συµπεριφορά από τη συγγενή της µέθοδο, εµφανίζει έναν από τους δύο χαµηλότερους µέγιστους αριθµούς υπολογισµών των τιµών της συνάρτησης σφάλµατος, γεγονός που δίνει ιδιαίτερη βαρύτητα στη µέση συµπεριφορά της µεθόδου. Είναι επίσης ενδιαφέρον να παρατηρήσουµε στο Σχήµα 3 την ευαισθησία των αλγόριθµων από τα αρχικά βάρη, όπως φαίνεται από την κατανοµή των σηµείων στην περιοχή σύγκλισης απεικονισµένη στο διδιάστατο υπόχωρο του R q.

16 Σχήµα 3: Σύγκριση πέντε αλγόριθµων µάθησης στο πρόβληµα ταξινόµησης προτύπων Αποκλειστικού-ΕΙΤΕ (XOR). Κάθε σηµείο των παρακάτω εικόνων αντιστοιχεί σε ένα αρχικό διάνυσµα βαρών και χρωµατίζεται µαύρο ή άσπρο ανάλογα µε το αν ο αλγόριθµος, µε τη συγκεκριµένη αρχική τιµή, συγκλίνει σε επιθυµητό ελάχιστο, ή όχι. Τα σηµεία ορίζονται στο πλέγµα [-50, 50] [-90, 90] και το κέντρο της εικόνας αντιστοιχεί στο σηµείο (0,0). Περιοχή σύγκλισης του αλγόριθµου µέγιστης κλίσης. Περιοχή σύγκλισης του αλγόριθµου Fletcher-Reeves. Περιοχή σύγκλισης του αλγόριθµου Davidon-Fletcher-Poell. Περιοχή σύγκλισης του αλγόριθµου Pola-Ribière. Περιοχή σύγκλισης του αλγόριθµου Broyden-Fletchet-Goldfarb-Shanno.

17 Αναφορές 1. Acley, D., Hinton, G. & Sejnosi, T. (1985). A learning algorithm for Boltzmann machines, Cognitive Science, 9, Almeida, L. (1987). A learning rule for asynchronous perceptrons ith feedbac in a combinatorial environment, Proceedings of the 1 st IEEE Int. Conf. on Neural Netors, vol. 2, San Diego, CA, Androulais, G.S, Magoulas, G.D. & Vrahatis, M.N. (1997). Geometry of learning: visualizing the performance of neural netor supervised training methods, Nonlinear Analysis, Theory, Methods & Applications, 30, No. 7, Armijo, L. (1966). Minimization of functions having Lipschitz continuous first partial derivatives, Pacific J. of Math.,16, Battiti, R. (1989). Accelerated bacpropagation learning: to optimization methods, Complex Systems, 3, Battiti, R. (1992). First- and second-order methods for learning: beteen steepest descent and Neton's method, Neural Computation, 4, Battiti, R. & Masulli, F. (1990). BFGS optimization for faster and automated supervised learning, in Proceedings of the Inter. Conf. on Neural Netors, Paris, France, Becer, S. & Le Cun, Y. (1988). Improving the convergence of the bac-propagation learning ith second order methods, in Proceedings of the 1988 Connectionist Models Summer School (Touretzy, D., Hinton, G. & Sejnosi, T., eds.), Morgan-Kaufman, San Mateo, CA, Beigi, H. & Li, C. (1993). Learning algorithms for neural netors based on quasi--neton methods ith self-scaling, Trans. of the ASME, Journal of Dynamic Systems, Measurements, and Control, 115, Bishop, C. (1992). Exact calculation of the Hessian matrix for the multi-layer perceptron, Neural Computation, 4, Blum, E. (1989). Approximation of Boolean functions by sigmoidal netors: Part I: XOR and other to-variable functions, Neural Computation, 1, Bron, P. & Saad, Y. (1990). Hybrid Krylov methods for nonlinear systems of equations, SIAM J. Sci. Stat. Comput., 11, Broyden, G., Dennis, J. & Moré, J. (1973). On the local and superlinear convergence of quasi-neton methods, J. Inst. Math. Applics, 12, Buntine, W. & Weigend, A. (1994). Computing second derivatives on feedforard netors: a revie, IEEE Trans. on Neural Netors, 5, Byrd, R., Nocedal, J. & Yuan. Y. (1987). Global convergence of a class of quasi-neton methods on convex problems, SIAM J. Numer. Anal., 24, Dennis, J. & Moré, J. (1974). A characterization of superlinear convergence and its application to quasi-neton methods, Math. Comp., 28, Dennis, J & Schnabel, R. (1983). Numerical methods for unconstrained optimization and nonlinear equations, Prentice-Hall, NJ. 18. Eisenstat, S. & Waler, H (1994). Globally convergent inexact Neton methods, SIAM J. Optim., 4, El-Jaroudi, A. & Mahoul, J. (1990). A ne error criterion for posterior probability estimation ith neural nets, in Proceedings of the Inter. J. Conf. on Neural Netors, Vol. 3, San Diego, CA, Fahlman, S. (1988). Faster learning variations on bac-propagation: an empirical study, in Proceedings of the 1988 Connectionist Models Summer School (Touretzy, D., Hinton, G. & Sejnosi, T., eds.), Morgan-Kaufman, San Mateo, CA,

18 21. Goldstein, A. (1962). Cauchy's method of minimization, Numerische Mathemati, 4, Goldstein, A. (1965). On steepest descent, SIAM J. Control, 3, Goldstein, A. & Price, J. (1967). An effective algorithm for minimization, Numerische Mathemati, 10, Hassibi, B. & Stor, D. (1993). Second order derivatives for netor pruning: Optimal brain surgeon, in Advances in Neural Information Processing Systems 5 (Hanson, S., Coan, J. & Giles, C., eds.), Morgan Kaufmann, San Mateo, CA, Hayin, S. (1994). Neural Netors: a comprehensive foundation, Macmillan College Publishing Company. 26. Holt, J. & Hang, J. (1993). Finite precision error analysis of neural netor hardare implementations, IEEE Trans. on Comp., 42, Hsin, H.-C., Li, C.-C., Sun, M. & Sclabassi, R. (1995). An adaptive training algorithm for bac-propagation neural netors, IEEE Trans. on System, Man and Cybernetics, 25, Jacobs, R. (1988). Increased rates of convergence through learning rate adaptation, Neural Netors, 1, Johansson, E., Dola, F., Goodman, D. (1990). Bac-propagation learning for multi-layer feed-forard neural netors using the conjugate gradient method, Technical report UCRL- JC , Larence Livermore National Laboratory, Livermore, CA. 30. Kollias, S. & Anastassiou, S. (1989). An adaptive least squares algorithm for the efficient training of artificial neural netors, IEEE Trans. Circuits and Systems, 36, Kramer, A. & Sangiovanni-Vincentelli, A. (1989). Efficient parallel learning algorithms for neural netors, in Advances in Neural Information Processing Systems 1 (Touretzy, D., ed.), Morgan-Kaufmann, CA, Kung, S. (1993). Digital neural netors, PTR Prentice-Hall, Engleood Cliffs, NJ. 33. Becer, S. & Le Cun, Y. (1988). Improving the convergence of the bac-propagation learning ith second order methods, in Proceedings of the 1988 Connectionist Models Summer School (Touretzy, D., Hinton, G. & Sejnosi, T., eds.), Morgan-Kaufman, San Mateo, CA, Le Cun, Y., Dener, J. & Solla, S. (1990). Optimal brain damage, in Advances in Neural Information Processing Systems 2 (Touretzy, D., ed.), Morgan-Kaufmann, CA, Le Cun, Y., Kanter, I. & Solla, S. (1991). Second order properties of error surfaces: learning time and generalization, in Advances in Neural Information Processing Systems 3 (Lippmann, R., Moody, J. & Touretzy, D., ed.), Morgan-Kaufmann, CA, Le Cun, Y., Simard, P. & Pearlmutter, B. (1993). Automatic learning rate maximization by on-line estimation of the Hessian's eigenvectors, in Advances in Neural Information Processing Systems 5 (Hanson, S., Coan, J. & Giles, C., eds.), Morgan Kaufmann, San Mateo, CA, Lisboa, P. & Perantonis, S. (1991). Complete solution of the local minima in the XOR problem, Netor, 2, Liu, D. & Nocedal, J. (1989). On the limited memory BFGS method for large scale optimization, Math. Program., 45, Luenberger, D. (1969). Optimization by vector space methods, Wiley, NY. 40. MacKay, D. (1991). A practical Bayesian frameor for bac-prop netors, Neural Computation, 4, Magoulas, G.D, Vrahatis, M.N. & Androulais, G.S. (1996). A ne method in neural netor supervised training ith imprecision, in Proceedings of the 3 rd IEEE Inter. Conf. on Electr. Circuits and Syst., Rodos, Greece,

19 42. Magoulas, G.D., Vrahatis, M.N., Grapsa, T.N. & Androulais, G.S. (1997a). Neural netor supervised training based on a dimension reducing method, in Mathematics of Neural Netors, Models, Algorithms and Applications, S.W. Ellacott, J.C. Mason & I.J. Anderson eds., Kluer Academic Publishers, Boston, 1997, Chapter 41, Magoulas, G.D., Vrahatis, M.N. & Androulais, G.S. (1997b). Effective bac-propagation training ith variable stepsize, Neural Netors, 10, Magoulas, G.D., Vrahatis, M.N. & Androulais, G.S. (1999). Increasing the convergence rate of the error bacpropagation algorithm by learning rate adaptation methods, Neural Computation, 11, No. 7, Magoulas, G.D., Karanis, S.A., Karras, D.A. & Vrahatis, M.N. (2000a). Comparison study of textural descriptors for training neural netor classifiers, Inter. J. Computer Research, accepted for publication. 46. Magoulas, G.D., Plagianaos, V.P., Androulais, G.S. & Vrahatis, M.N. (2000b). A frameor for the development of globally convergent adaptive learning rate algorithms, Inter. J. Computer Research, accepted for publication. 47. Magoulas, G.D. & Vrahatis, M.N. (2000). A class of adaptive learning rate algorithms derived by one-dimensional subminimization methods, Neural, Parallel and Scientific Computations, accepted for publication. 48. Møller, M. (1990). A scaled-conjugate gradient algorithm for fast supervised learning, Technical report PB-339, Computer Science Dept., University of Aarhus, Aarhus, Denmar. 49. Møller, M. (1993). A scaled conjugate gradient algorithm for fast supervised learning, Neural Netors, 6, Moody, J. (1992). The effective number of parameters: an analysis of generalization and regularization in nonlinear learning systems, in Advances in Neural Information Processing Systems 4 (Moody, J., Hanson, S. & Lippmann, R., eds.), Morgan-Kaufmann, CA, Moré, J. (1983). Recent developments in algorithms and softare for trust region methods, in Mathematics Programming, The state of the art (Bachem, A. Grotschel, M. & Korte, G., eds.), Springer-Verlag, Berlin, Ortega, J. & Rheinboldt, W. (1970). Iterative solution of nonlinear equations in several variables, Academic Press, NY. 53. Pearlmutter, B. (1992). Gradient descent: second order momentum and saturating error, in Advances in Neural Information Processing Systems 4 (Moody, J., Hanson, S. & Lippmann, R., eds.), Morgan-Kaufmann, CA, Pearlmutter, B. (1994). Fast exact multiplication by the hessian, Neural Computation, 6, Pineda, F. (1987). Generalization of bac-propagation to recurrent neural netors, Physical Revie Letters, 59, Plagianaos, V.P., Magoulas, G.D. & Vrahatis, M.N. (1999a). Nonmonotone learning rules for bacpropagation netors, in Proceedings of the Sixth IEEE International Conference on Electronics, Circuits and Systems, Pafos, Cyprus, Plagianaos, V.P., Vrahatis, M.N. & Magoulas, G.D. (1999b). Nonmonotone methods for bacpropagation training ith adaptive learning rate, in Proceedings of the 1999 International Joint Conference on Neural Netors, (IJCNN'99), Washington DC, U.S.A., #2001 Session: Pola, E., (1997). Optimization: algorithms and consistent approximations, Springer, Ne Yor. 59. Poell, M. (1975). Convergence properties of a class of minimization algorithms, in Nonlinear Programming 2 (Mangasarian, O., Meyer, R. & Robinson, S., eds.), Academic Press, NY, 1-27.

20 60. Riegler, A., Irvine, J. & Vogl, T. (1991). Rescaling of variables in bac-propagation learning, Neural Netors, 4, Rojas, R. (1993). A graphical proof of the bacpropagation learning algorithm, in Parallel Computing Technologies (Malyshin, V., ed.), Obnins, Russia. 62. Rumelhart, D., Hinton, G. & Williams, R. (1986). Learning internal representations by error bac-propagation, in Parallel distributed processing: explorations in the microstructure of cognition (Rumelhart, D. & McClelland, J., eds.), MIT Press, Cambridge, MA. 63. Saarinen, S., Bramley, R. & Cybeno, G. (1992). Neural netors, bac-propagation and automatic differentiation, in Automatic differentiation of algorithms: theory, implementation and application (Griean, A. & Gorliss, G., eds.), SIAM, Philadelphia, PA, Schultz, G., Schnabel, R. & Byrd, R. (1985). A family of trust region based algorithms for unconstrained minimization ith strong global convergence properties, SIAM J. Numer. Anal., 22, Shultz, G., Schnabel, R. & Byrd, R. (1982). A family of trust region based algorithms for unconstrained minimization ith strong global convergence properties, Technical report CU- CS , Computer Science Dept., University of Colorado. 66. Sorensen, D. (1982). Neton's method ith a model trust region modification, SIAM J. Numer. Anal., 19, Sanston, D., Bishop, J. & Mitchell, R. (1994). Simple adaptive momentum: ne algorithm for training multilayer perceptrons, Electronics Letters, 30, Van der Smagt, P. (1994). Minimization methods for training neural netors, Neural Netors, 7, Van Ooyen, A. & Nienhuis, B. (1992). Improving the convergence of the bacpropagation algorithm, Neural Netors, 5, Vrahatis, M.N., Androulais, G.S., Lambrinos, J.N. & Magoulas, G.D. (2000a). A class of gradient unconstrained minimization algorithms ith adaptive stepsize, J. Comput. Appl. Math., 114, No. 2, Vrahatis, M.N., Magoulas, G.D. & Plagianaos, V.P. (2000b). Globally convergent modification of the Quicprop method, Neural Processing Letters, to appear vol. 12, No. 2, October Watrous, R. (1987). Learning algorithms for connectionist netors: applied gradient methods of nonlinear optimization, in Proceedings of the 1 st IEEE Inter. Conf. on Neural Netors, Vol. 2, San Diego, CA, Werbos, P. (1974). Beyond regression: ne tools for prediction and analysis in the behavioral sciences, Ph.D. Thesis, Harvard University, Cambridge, MA. 74. Werbos, P. (1992). Neural netors and the human mind: ne mathematics fits humanistic insight, IEEE Inter. Conf. on Systems, Man and Cybernetics, Vol. 1, Chicago, IL, Wilinson, J. (1963). Rounding errors in algebraic processes, Prentice-Hall, Engleood Cliffs, NJ. 76. Wolfe, P. (1969). Convergence conditions for ascent methods, SIAM Revie, 11, Wolfe, P. (1971). Convergence conditions for ascent methods. II: Some corrections, SIAM Revie, 13, Wray, J. & Green, G. (1995). Neural Netors, approximation theory and finite precision computation, Neural Netors, 8, Zoutendij, G. (1970). Nonlinear programming, computational methods, in Integer and Nonlinear Programming (Abadie, J., ed.), North-Holland, Amsterdam,

ΚΕΦΑΛΑΙΟ 18. 18 Μηχανική Μάθηση

ΚΕΦΑΛΑΙΟ 18. 18 Μηχανική Μάθηση ΚΕΦΑΛΑΙΟ 18 18 Μηχανική Μάθηση Ένα φυσικό ή τεχνητό σύστηµα επεξεργασίας πληροφορίας συµπεριλαµβανοµένων εκείνων µε δυνατότητες αντίληψης, µάθησης, συλλογισµού, λήψης απόφασης, επικοινωνίας και δράσης

Διαβάστε περισσότερα

4.3. Γραµµικοί ταξινοµητές

4.3. Γραµµικοί ταξινοµητές Γραµµικοί ταξινοµητές Γραµµικός ταξινοµητής είναι ένα σύστηµα ταξινόµησης που χρησιµοποιεί γραµµικές διακριτικές συναρτήσεις Οι ταξινοµητές αυτοί αναπαρίστανται συχνά µε οµάδες κόµβων εντός των οποίων

Διαβάστε περισσότερα

Σηµειώσεις στις σειρές

Σηµειώσεις στις σειρές . ΟΡΙΣΜΟΙ - ΓΕΝΙΚΕΣ ΕΝΝΟΙΕΣ Σηµειώσεις στις σειρές Στην Ενότητα αυτή παρουσιάζουµε τις βασικές-απαραίτητες έννοιες για την µελέτη των σειρών πραγµατικών αριθµών και των εφαρµογών τους. Έτσι, δίνονται συστηµατικά

Διαβάστε περισσότερα

ΤΟΠΟΓΡΑΦΙΚΑ ΔΙΚΤΥΑ ΚΑΙ ΥΠΟΛΟΓΙΣΜΟΙ ΑΝΑΣΚΟΠΗΣΗ ΘΕΩΡΙΑΣ ΣΥΝΟΡΘΩΣΕΩΝ

ΤΟΠΟΓΡΑΦΙΚΑ ΔΙΚΤΥΑ ΚΑΙ ΥΠΟΛΟΓΙΣΜΟΙ ΑΝΑΣΚΟΠΗΣΗ ΘΕΩΡΙΑΣ ΣΥΝΟΡΘΩΣΕΩΝ ΤΟΠΟΓΡΑΦΙΚΑ ΔΙΚΤΥΑ ΚΑΙ ΥΠΟΛΟΓΙΣΜΟΙ ΑΝΑΣΚΟΠΗΣΗ ΘΕΩΡΙΑΣ ΣΥΝΟΡΘΩΣΕΩΝ Βασίλης Δ. Ανδριτσάνος Δρ. Αγρονόμος - Τοπογράφος Μηχανικός ΑΠΘ Επίκουρος Καθηγητής ΤΕΙ Αθήνας 3ο εξάμηνο http://eclass.teiath.gr Παρουσιάσεις,

Διαβάστε περισσότερα

Μάθηση και Γενίκευση. "Τεχνητά Νευρωνικά Δίκτυα" (Διαφάνειες), Α. Λύκας, Παν. Ιωαννίνων

Μάθηση και Γενίκευση. Τεχνητά Νευρωνικά Δίκτυα (Διαφάνειες), Α. Λύκας, Παν. Ιωαννίνων Μάθηση και Γενίκευση Το Πολυεπίπεδο Perceptron (MultiLayer Perceptron (MLP)) Έστω σύνολο εκπαίδευσης D={(x n,t n )}, n=1,,n. x n =(x n1,, x nd ) T, t n =(t n1,, t np ) T Θα πρέπει το MLP να έχει d νευρώνες

Διαβάστε περισσότερα

Συνήθεις διαφορικές εξισώσεις προβλήματα οριακών τιμών

Συνήθεις διαφορικές εξισώσεις προβλήματα οριακών τιμών Συνήθεις διαφορικές εξισώσεις προβλήματα οριακών τιμών Οι παρούσες σημειώσεις αποτελούν βοήθημα στο μάθημα Αριθμητικές Μέθοδοι του 5 ου εξαμήνου του ΤΜΜ ημήτρης Βαλουγεώργης Καθηγητής Εργαστήριο Φυσικών

Διαβάστε περισσότερα

ΣΗΜΕΙΩΣΕΙΣ ΜΑΘΗΜΑΤΙΚΗΣ ΑΝΑΛΥΣΗΣ Ι (2006-07)

ΣΗΜΕΙΩΣΕΙΣ ΜΑΘΗΜΑΤΙΚΗΣ ΑΝΑΛΥΣΗΣ Ι (2006-07) ΤΕΙ ΥΤΙΚΗΣ ΜΑΚΕ ΟΝΙΑΣ ΠΑΡΑΡΤΗΜΑ ΚΑΣΤΟΡΙΑΣ ΤΜΗΜΑ ΠΛΗΡΟΦΟΡΙΚΗΣ ΚΑΙ ΤΕΧΝΟΛΟΓΙΑΣ ΥΠΟΛΟΓΙΣΤΩΝ ΣΗΜΕΙΩΣΕΙΣ ΜΑΘΗΜΑΤΙΚΗΣ ΑΝΑΛΥΣΗΣ Ι (2006-07) Επιµέλεια Σηµειώσεων : Βασιλειάδης Γεώργιος Καστοριά, εκέµβριος 2006

Διαβάστε περισσότερα

Βέλτιστα Ψηφιακά Φίλτρα: Φίλτρα Wiener, Ευθεία και αντίστροφη γραµµική πρόβλεψη

Βέλτιστα Ψηφιακά Φίλτρα: Φίλτρα Wiener, Ευθεία και αντίστροφη γραµµική πρόβλεψη ΒΕΣ 6 Προσαρµοστικά Συστήµατα στις Τηλεπικοινωνίες Βέλτιστα Ψηφιακά Φίλτρα: Φίλτρα Wiener, Ευθεία και αντίστροφη γραµµική πρόβλεψη 7 Nicolas sapatsoulis Βιβλιογραφία Ενότητας Benvenuto []: Κεφάλαιo Wirow

Διαβάστε περισσότερα

Πιο συγκεκριμένα, η χρήση του MATLAB προσφέρει τα ακόλουθα πλεονεκτήματα.

Πιο συγκεκριμένα, η χρήση του MATLAB προσφέρει τα ακόλουθα πλεονεκτήματα. i Π Ρ Ο Λ Ο Γ Ο Σ Το βιβλίο αυτό αποτελεί μια εισαγωγή στα βασικά προβλήματα των αριθμητικών μεθόδων της υπολογιστικής γραμμικής άλγεβρας (computational linear algebra) και της αριθμητικής ανάλυσης (numerical

Διαβάστε περισσότερα

Εισαγωγή στη Γνωστική Ψυχολογία. επ. Κωνσταντίνος Π. Χρήστου

Εισαγωγή στη Γνωστική Ψυχολογία. επ. Κωνσταντίνος Π. Χρήστου Εισαγωγή στη Γνωστική Ψυχολογία Inside the black box για µια επιστήµη του Νου Επιστροφή στο Νου Γνωστική Ψυχολογία / Γνωσιακή Επιστήµη Inside the black box για µια επιστήµη του Νου Επιστροφή στο Νου Γνωστική

Διαβάστε περισσότερα

QR είναι ˆx τότε x ˆx. 10 ρ. Ποιά είναι η τιµή του ρ και γιατί (σύντοµη εξήγηση). P = [X. 0, X,..., X. (n 1), X. n] a(n + 1 : 1 : 1)

QR είναι ˆx τότε x ˆx. 10 ρ. Ποιά είναι η τιµή του ρ και γιατί (σύντοµη εξήγηση). P = [X. 0, X,..., X. (n 1), X. n] a(n + 1 : 1 : 1) ΕΠΙΣΤΗΜΟΝΙΚΟΣ ΥΠΟΛΟΓΙΣΜΟΣ I (22 Σεπτεµβρίου) ΕΠΙΛΕΓΜΕΝΕΣ ΑΠΑΝΤΗΣΕΙΣ 1ο ΘΕΜΑ 1. Αφού ορίσετε ακριβώς τι σηµαίνει πίσω ευσταθής υπολογισµός, να εξηγήσετε αν ο υ- πολογισµός του εσωτερικού γινοµένου δύο διανυσµάτων

Διαβάστε περισσότερα

Υπολογιστικές Μέθοδοι στις Κατασκευές

Υπολογιστικές Μέθοδοι στις Κατασκευές Γενικά Για Τη Βελτιστοποίηση Η βελτιστοποίηση µπορεί να χωριστεί σε δύο µεγάλες κατηγορίες: α) την Βελτιστοποίηση Τοπολογίας (Topological Optimization) και β) την Βελτιστοποίηση Σχεδίασης (Design Optimization).

Διαβάστε περισσότερα

ΣΕΙΡΕΣ TAYLOR. Στην Ενότητα αυτή θα ασχοληθούµε µε την προσέγγιση συναρτήσεων µέσω πολυωνύµων. Πολυώνυµο είναι κάθε συνάρτηση της µορφής:

ΣΕΙΡΕΣ TAYLOR. Στην Ενότητα αυτή θα ασχοληθούµε µε την προσέγγιση συναρτήσεων µέσω πολυωνύµων. Πολυώνυµο είναι κάθε συνάρτηση της µορφής: ΣΕΙΡΕΣ TAYLOR Στην Ενότητα αυτή θα ασχοληθούµε µε την προσέγγιση συναρτήσεων µέσω πολυωνύµων Πολυώνυµο είναι κάθε συνάρτηση της µορφής: p( ) = a + a + a + a + + a, όπου οι συντελεστές α i θα θεωρούνται

Διαβάστε περισσότερα

Non Linear Equations (2)

Non Linear Equations (2) Non Linear Equations () Τρίτη, 17 Φεβρουαρίου 015 5:14 μμ 15.0.19 Page 1 15.0.19 Page 15.0.19 Page 3 15.0.19 Page 4 15.0.19 Page 5 15.0.19 Page 6 15.0.19 Page 7 15.0.19 Page 8 15.0.19 Page 9 15.0.19 Page

Διαβάστε περισσότερα

Κανονικ ες ταλαντ ωσεις

Κανονικ ες ταλαντ ωσεις Κανονικες ταλαντωσεις Ειδαµε ηδη οτι φυσικα συστηµατα πλησιον ενος σηµειου ευαταθους ισορροπιας συ- µπεριφερονται οπως σωµατιδια που αλληλεπιδρουν µε γραµµικες δυναµεις επαναφορας οπως θα συνεαινε σε σωµατιδια

Διαβάστε περισσότερα

Γεώργιος Ακρίβης. Προσωπικά στοιχεία. Εκπαίδευση. Ακαδημαϊκές Θέσεις. Ηράκλειο. Country, Ισπανία. Λευκωσία, Κύπρος. Rennes, Γαλλία.

Γεώργιος Ακρίβης. Προσωπικά στοιχεία. Εκπαίδευση. Ακαδημαϊκές Θέσεις. Ηράκλειο. Country, Ισπανία. Λευκωσία, Κύπρος. Rennes, Γαλλία. Γεώργιος Ακρίβης Προσωπικά στοιχεία Έτος γέννησης 1950 Τόπος γέννησης Χρυσοβίτσα Ιωαννίνων Εκπαίδευση 1968 1973,, Ιωάννινα. Μαθηματικά 1977 1983,, Μόναχο, Γερμανία. Μαθηματικά, Αριθμητική Ανάλυση Ακαδημαϊκές

Διαβάστε περισσότερα

Ανάλυση Σ.Α.Ε στο χώρο κατάστασης

Ανάλυση Σ.Α.Ε στο χώρο κατάστασης ΚΕΣ : Αυτόµατος Έλεγχος ΚΕΣ Αυτόµατος Έλεγχος Ανάλυση Σ.Α.Ε στο χώρο 6 Nicola Tapaouli Λύση εξισώσεων ΚΕΣ : Αυτόµατος Έλεγχος Βιβλιογραφία Ενότητας Παρασκευόπουλος [4]: Κεφάλαιο 5: Ενότητες 5.-5. Παρασκευόπουλος

Διαβάστε περισσότερα

Ευστάθεια Συστηµάτων Αυτοµάτου Ελέγχου: Αλγεβρικά κριτήρια

Ευστάθεια Συστηµάτων Αυτοµάτου Ελέγχου: Αλγεβρικά κριτήρια ΚΕΣ : Αυτόµατος Έλεγχος ΚΕΣ Αυτόµατος Έλεγχος Ευστάθεια Συστηµάτων Αυτοµάτου Ελέγχου: Αλγεβρικά κριτήρια 6 Nicol Tptouli Ευστάθεια και θέση πόλων Σ.Α.Ε ΚΕΣ : Αυτόµατος Έλεγχος Βιβλιογραφία Ενότητας Παρασκευόπουλος

Διαβάστε περισσότερα

J-GANNO. Σύντοµη αναφορά στους κύριους στόχους σχεδίασης και τα βασικά χαρακτηριστικά του πακέτου (προέκδοση 0.9Β, Φεβ.1998) Χάρης Γεωργίου

J-GANNO. Σύντοµη αναφορά στους κύριους στόχους σχεδίασης και τα βασικά χαρακτηριστικά του πακέτου (προέκδοση 0.9Β, Φεβ.1998) Χάρης Γεωργίου J-GANNO ΓΕΝΙΚΕΥΜΕΝΟ ΠΑΚΕΤΟ ΥΛΟΠΟΙΗΣΗΣ ΤΕΧΝΗΤΩΝ ΝΕΥΡΩΝΙΚΩΝ ΙΚΤΥΩΝ ΣΤΗ ΓΛΩΣΣΑ ΠΡΟΓΡΑΜΜΑΤΙΣΜΟΥ JAVA Σύντοµη αναφορά στους κύριους στόχους σχεδίασης και τα βασικά χαρακτηριστικά του πακέτου (προέκδοση 0.9Β,

Διαβάστε περισσότερα

ΕΛΛΗΝΙΚΟ ΑΝΟΙΚΤΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΠΡΟΓΡΑΜΜΑ ΣΠΟΥ ΩΝ ΣΤΗΝ «ΠΛΗΡΟΦΟΡΙΚΗ» ΘΕΜΑΤΙΚΗ ΕΝΟΤΗΤΑ : ΠΛΗ12 «ΜΑΘΗΜΑΤΙΚΑ Ι» Επαναληπτική Τελική Εξέταση 16 Ιουλίου 2003

ΕΛΛΗΝΙΚΟ ΑΝΟΙΚΤΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΠΡΟΓΡΑΜΜΑ ΣΠΟΥ ΩΝ ΣΤΗΝ «ΠΛΗΡΟΦΟΡΙΚΗ» ΘΕΜΑΤΙΚΗ ΕΝΟΤΗΤΑ : ΠΛΗ12 «ΜΑΘΗΜΑΤΙΚΑ Ι» Επαναληπτική Τελική Εξέταση 16 Ιουλίου 2003 http://edueapgr/pli/pli/studetshtm Page of 6 ΕΛΛΗΝΙΚΟ ΑΝΟΙΚΤΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΠΡΟΓΡΑΜΜΑ ΣΠΟΥ ΩΝ ΣΤΗΝ «ΠΛΗΡΟΦΟΡΙΚΗ» ΘΕΜΑΤΙΚΗ ΕΝΟΤΗΤΑ : ΠΛΗ «ΜΑΘΗΜΑΤΙΚΑ Ι» Επαναληπτική Τελική Εξέταση 6 Ιουλίου Απαντήστε όλα

Διαβάστε περισσότερα

ΕΥΦΥΗΣ ΕΛΕΓΧΟΣ. Ενότητα #12: Εισαγωγή στα Nευρωνικά Δίκτυα. Αναστάσιος Ντούνης Τμήμα Μηχανικών Αυτοματισμού Τ.Ε.

ΕΥΦΥΗΣ ΕΛΕΓΧΟΣ. Ενότητα #12: Εισαγωγή στα Nευρωνικά Δίκτυα. Αναστάσιος Ντούνης Τμήμα Μηχανικών Αυτοματισμού Τ.Ε. ΕΛΛΗΝΙΚΗ ΔΗΜΟΚΡΑΤΙΑ Ανώτατο Εκπαιδευτικό Ίδρυμα Πειραιά Τεχνολογικού Τομέα ΕΥΦΥΗΣ ΕΛΕΓΧΟΣ Ενότητα #12: Εισαγωγή στα Nευρωνικά Δίκτυα Αναστάσιος Ντούνης Τμήμα Μηχανικών Αυτοματισμού Τ.Ε. Άδειες Χρήσης Το

Διαβάστε περισσότερα

Η ΤΕΧΝΗ ΤΟΥ ΙΑΒΑΣΜΑΤΟΣ ΜΕΤΑΞΥ ΤΩΝ ΑΡΙΘΜΩΝ (ΠΑΡΕΜΒΟΛΗ ΚΑΙ ΠΡΟΣΕΓΓΙΣΗ)

Η ΤΕΧΝΗ ΤΟΥ ΙΑΒΑΣΜΑΤΟΣ ΜΕΤΑΞΥ ΤΩΝ ΑΡΙΘΜΩΝ (ΠΑΡΕΜΒΟΛΗ ΚΑΙ ΠΡΟΣΕΓΓΙΣΗ) Η ΤΕΧΝΗ ΤΟΥ ΙΑΒΑΣΜΑΤΟΣ ΜΕΤΑΞΥ ΤΩΝ ΑΡΙΘΜΩΝ (ΠΑΡΕΜΒΟΛΗ ΚΑΙ ΠΡΟΣΕΓΓΙΣΗ) ΜΙΧΑΛΗΣ ΤΖΟΥΜΑΣ ΕΣΠΟΤΑΤΟΥ 3 ΑΓΡΙΝΙΟ. ΠΕΡΙΛΗΨΗ Η έννοια της συνάρτησης είναι στενά συνυφασµένη µε τον πίνακα τιµών και τη γραφική παράσταση.

Διαβάστε περισσότερα

Εισαγωγή στους Αλγόριθµους. Αλγόριθµοι. Ιστορικά Στοιχεία. Ο πρώτος Αλγόριθµος. Παραδείγµατα Αλγορίθµων. Τι είναι Αλγόριθµος

Εισαγωγή στους Αλγόριθµους. Αλγόριθµοι. Ιστορικά Στοιχεία. Ο πρώτος Αλγόριθµος. Παραδείγµατα Αλγορίθµων. Τι είναι Αλγόριθµος Εισαγωγή στους Αλγόριθµους Αλγόριθµοι Τι είναι αλγόριθµος; Τι µπορεί να υπολογίσει ένας αλγόριθµος; Πως αξιολογείται ένας αλγόριθµος; Παύλος Εφραιµίδης pefraimi@ee.duth.gr Αλγόριθµοι Εισαγωγικές Έννοιες

Διαβάστε περισσότερα

Κατάτµηση Εικόνων: Ανίχνευση Ακµών και Κατάτµηση µε Κατωφλίωση

Κατάτµηση Εικόνων: Ανίχνευση Ακµών και Κατάτµηση µε Κατωφλίωση ΤΨΣ 50 Ψηφιακή Επεξεργασία Εικόνας Κατάτµηση Εικόνων: Ανίχνευση Ακµών και Κατάτµηση µε Κατωφλίωση Τµήµα ιδακτικής της Τεχνολογίας και Ψηφιακών Συστηµάτων Πανεπιστήµιο Πειραιώς Περιεχόµενα Βιβλιογραφία

Διαβάστε περισσότερα

ΔΙΑΦΟΡΙΚΟΣ ΛΟΓΙΣΜΟΣ ΣΥΝΟΠΤΙΚΗ ΘΕΩΡΕΙΑ ΜΕΘΟΔΟΛΟΓΙΑ ΛΥΜΕΝΑ ΠΑΡΑΔΕΙΓΜΑΤΑ

ΔΙΑΦΟΡΙΚΟΣ ΛΟΓΙΣΜΟΣ ΣΥΝΟΠΤΙΚΗ ΘΕΩΡΕΙΑ ΜΕΘΟΔΟΛΟΓΙΑ ΛΥΜΕΝΑ ΠΑΡΑΔΕΙΓΜΑΤΑ ΔΙΑΦΟΡΙΚΟΣ ΛΟΓΙΣΜΟΣ ΣΥΝΟΠΤΙΚΗ ΘΕΩΡΕΙΑ ΜΕΘΟΔΟΛΟΓΙΑ ΛΥΜΕΝΑ ΠΑΡΑΔΕΙΓΜΑΤΑ Φροντιστήριο Μ.Ε. «ΑΙΧΜΗ» Κ.Καρτάλη 8 Βόλος Τηλ. 43598 ΠΊΝΑΚΑΣ ΠΕΡΙΕΧΟΜΈΝΩΝ 3. Η ΕΝΝΟΙΑ ΤΗΣ ΠΑΡΑΓΩΓΟΥ... 5 ΜΕΘΟΔΟΛΟΓΙΑ ΛΥΜΕΝΑ ΠΑΡΑΔΕΙΓΜΑΤΑ...

Διαβάστε περισσότερα

Γραµµικός Προγραµµατισµός - Μέθοδος Simplex

Γραµµικός Προγραµµατισµός - Μέθοδος Simplex Γραµµικός Προγραµµατισµός - Μέθοδος Simplex Η πλέον γνωστή και περισσότερο χρησιµοποιηµένη µέθοδος για την επίλυση ενός γενικού προβλήµατος γραµµικού προγραµµατισµού, είναι η µέθοδος Simplex η οποία αναπτύχθηκε

Διαβάστε περισσότερα

Στοχαστικά Σήµατα και Εφαρµογές

Στοχαστικά Σήµατα και Εφαρµογές Στοχαστικά Σήµατα & Εφαρµογές Ανασκόπηση Στοιχείων Γραµµικής Άλγεβρας ιδάσκων: Ν. Παπανδρέου (Π.. 407/80) Πανεπιστήµιο Πατρών ΤµήµαΜηχανικώνΗ/Υ και Πληροφορικής ιανύσµατα Ορίζουµετοδιάνυσµα µε Ν στοιχεία

Διαβάστε περισσότερα

HMY 795: Αναγνώριση Προτύπων

HMY 795: Αναγνώριση Προτύπων HMY 795: Αναγνώριση Προτύπων Διάλεξη 3 Επιλογή μοντέλου Επιλογή μοντέλου Θεωρία αποφάσεων Επιλογή μοντέλου δεδομένα επικύρωσης Η επιλογή του είδους του μοντέλου που θα χρησιμοποιηθεί σε ένα πρόβλημα (π.χ.

Διαβάστε περισσότερα

Προβλήµατα Μεταφορών (Transportation)

Προβλήµατα Μεταφορών (Transportation) Προβλήµατα Μεταφορών (Transportation) Προβλήµατα Μεταφορών (Transportation) Μέθοδος Simplex για Προβλήµατα Μεταφοράς Προβλήµατα Εκχώρησης (assignment) Παράδειγµα: Κατανοµή Νερού Η υδατοπροµήθεια µιας περιφέρεια

Διαβάστε περισσότερα

Κεφάλαιο 5ο: Εντολές Επανάληψης

Κεφάλαιο 5ο: Εντολές Επανάληψης Χρήστος Τσαγγάρης ΕΕ ΙΠ Τµήµατος Μαθηµατικών, Πανεπιστηµίου Αιγαίου Κεφάλαιο 5ο: Εντολές Επανάληψης Η διαδικασία της επανάληψης είναι ιδιαίτερη συχνή, αφού πλήθος προβληµάτων µπορούν να επιλυθούν µε κατάλληλες

Διαβάστε περισσότερα

Κεφάλαιο 3 ΠΑΡΑΓΩΓΟΣ. 3.1 Η έννοια της παραγώγου. y = f(x) f(x 0 ), = f(x 0 + x) f(x 0 )

Κεφάλαιο 3 ΠΑΡΑΓΩΓΟΣ. 3.1 Η έννοια της παραγώγου. y = f(x) f(x 0 ), = f(x 0 + x) f(x 0 ) Κεφάλαιο 3 ΠΑΡΑΓΩΓΟΣ 3.1 Η έννοια της παραγώγου Εστω y = f(x) µία συνάρτηση, που συνδέει τις µεταβλητές ποσότητες x και y. Ενα ερώτηµα που µπορεί να προκύψει καθώς µελετούµε τις δύο αυτές ποσοτήτες είναι

Διαβάστε περισσότερα

HY213. ΑΡΙΘΜΗΤΙΚΗ ΑΝΑΛΥΣΗ ΕΛΑΧΙΣΤΑ ΤΕΤΡΑΓΩΝΑ AΝΑΛΥΣΗ ΙΔΙΑΖΟΥΣΩΝ ΤΙΜΩΝ

HY213. ΑΡΙΘΜΗΤΙΚΗ ΑΝΑΛΥΣΗ ΕΛΑΧΙΣΤΑ ΤΕΤΡΑΓΩΝΑ AΝΑΛΥΣΗ ΙΔΙΑΖΟΥΣΩΝ ΤΙΜΩΝ HY3. ΑΡΙΘΜΗΤΙΚΗ ΑΝΑΛΥΣΗ ΕΛΑΧΙΣΤΑ ΤΕΤΡΑΓΩΝΑ AΝΑΛΥΣΗ ΙΔΙΑΖΟΥΣΩΝ ΤΙΜΩΝ Π. ΤΣΟΜΠΑΝΟΠΟΥΛΟΥ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΙΑΣ ΤΜΗΜΑ ΗΛΕΚΤΡΟΛΟΓΩΝ ΜΗΧΑΝΙΚΩΝ & ΜΗΧΑΝΙΚΩΝ ΥΠΟΛΟΓΙΣΤΩΝ Μέθοδος ελαχίστων τετραγώνων Τα σφάλματα

Διαβάστε περισσότερα

Τεχνικές Μείωσης Διαστάσεων. Ειδικά θέματα ψηφιακής επεξεργασίας σήματος και εικόνας Σ. Φωτόπουλος- Α. Μακεδόνας

Τεχνικές Μείωσης Διαστάσεων. Ειδικά θέματα ψηφιακής επεξεργασίας σήματος και εικόνας Σ. Φωτόπουλος- Α. Μακεδόνας Τεχνικές Μείωσης Διαστάσεων Ειδικά θέματα ψηφιακής επεξεργασίας σήματος και εικόνας Σ. Φωτόπουλος- Α. Μακεδόνας 1 Εισαγωγή Το μεγαλύτερο μέρος των δεδομένων που καλούμαστε να επεξεργαστούμε είναι πολυδιάστατα.

Διαβάστε περισσότερα

Kalman Filter Γιατί ο όρος φίλτρο;

Kalman Filter Γιατί ο όρος φίλτρο; Kalman Filter Γιατί ο όρος φίλτρο; Συνήθως ο όρος φίλτρο υποδηλώνει µια διαδικασία αποµάκρυνσης µη επιθυµητών στοιχείων Απότολατινικόόροfelt : το υλικό για το φιλτράρισµα υγρών Στη εποχή των ραδιολυχνίων:

Διαβάστε περισσότερα

ΤΕΤΥ Εφαρμοσμένα Μαθηματικά 1. Τελεστές και πίνακες. 1. Τελεστές και πίνακες Γενικά. Τι είναι συνάρτηση? Απεικόνιση ενός αριθμού σε έναν άλλο.

ΤΕΤΥ Εφαρμοσμένα Μαθηματικά 1. Τελεστές και πίνακες. 1. Τελεστές και πίνακες Γενικά. Τι είναι συνάρτηση? Απεικόνιση ενός αριθμού σε έναν άλλο. ΤΕΤΥ Εφαρμοσμένα Μαθηματικά 1 Τελεστές και πίνακες 1. Τελεστές και πίνακες Γενικά Τι είναι συνάρτηση? Απεικόνιση ενός αριθμού σε έναν άλλο. Ανάλογα, τελεστής είναι η απεικόνιση ενός διανύσματος σε ένα

Διαβάστε περισσότερα

ιατύπωση τυπικής µορφής προβληµάτων Γραµµικού

ιατύπωση τυπικής µορφής προβληµάτων Γραµµικού Ο αλγόριθµος είναι αλγεβρική διαδικασία η οποία χρησιµοποιείται για την επίλυση προβληµάτων (προτύπων) Γραµµικού Προγραµµατισµού (ΠΓΠ). Ο αλγόριθµος έχει διάφορες παραλλαγές όπως η πινακοποιηµένη µορφή.

Διαβάστε περισσότερα

Matrix Algorithms. Παρουσίαση στα πλαίσια του μαθήματος «Παράλληλοι. Αλγόριθμοι» Γ. Καούρη Β. Μήτσου

Matrix Algorithms. Παρουσίαση στα πλαίσια του μαθήματος «Παράλληλοι. Αλγόριθμοι» Γ. Καούρη Β. Μήτσου Matrix Algorithms Παρουσίαση στα πλαίσια του μαθήματος «Παράλληλοι Αλγόριθμοι» Γ. Καούρη Β. Μήτσου Περιεχόμενα παρουσίασης Πολλαπλασιασμός πίνακα με διάνυσμα Πολλαπλασιασμός πινάκων Επίλυση τριγωνικού

Διαβάστε περισσότερα

ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΙΑΣ ΤΜΗΜΑ ΠΟΛΙΤΙΚΩΝ ΜΗΧΑΝΙΚΩΝ ΤΟΜΕΑΣ ΥΔΡΑΥΛΙΚΗΣ ΚΑΙ ΠΕΡΙΒΑΛΛΟΝΤΙΚΗΣ ΤΕΧΝΙΚΗΣ. Διάλεξη 10: Συναγωγή και διάχυση (συνέχεια)

ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΙΑΣ ΤΜΗΜΑ ΠΟΛΙΤΙΚΩΝ ΜΗΧΑΝΙΚΩΝ ΤΟΜΕΑΣ ΥΔΡΑΥΛΙΚΗΣ ΚΑΙ ΠΕΡΙΒΑΛΛΟΝΤΙΚΗΣ ΤΕΧΝΙΚΗΣ. Διάλεξη 10: Συναγωγή και διάχυση (συνέχεια) ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΙΑΣ ΤΜΗΜΑ ΠΟΛΙΤΙΚΩΝ ΜΗΧΑΝΙΚΩΝ ΤΟΜΕΑΣ ΥΔΡΑΥΛΙΚΗΣ ΚΑΙ ΠΕΡΙΒΑΛΛΟΝΤΙΚΗΣ ΤΕΧΝΙΚΗΣ Διάλεξη 10: Συναγωγή και διάχυση (συνέχεια) Χειμερινό εξάμηνο 2008 Προηγούμενη παρουσίαση... Ολοκληρώσαμε

Διαβάστε περισσότερα

4.1 Το αόριστο ολοκλήρωµα - Βασικά ολοκληρώ-

4.1 Το αόριστο ολοκλήρωµα - Βασικά ολοκληρώ- Κεφάλαιο 4 ΟΛΟΚΛΗΡΩΜΑ 4.1 Το αόριστο ολοκλήρωµα - Βασικά ολοκληρώ- µατα Ορισµός 4.1.1. Αρχική ή παράγουσα συνάρτηση ή αντιπαράγωγος µιας συνάρτησης f(x), x [, b], λέγεται κάθε συνάρτηση F (x) που επαληθεύει

Διαβάστε περισσότερα

Πεπερασμένες Διαφορές.

Πεπερασμένες Διαφορές. Κεφάλαιο 1 Πεπερασμένες Διαφορές. 1.1 Προσέγγιση παραγώγων. 1.1.1 Πρώτη παράγωγος. Από τον ορισμό της παραγώγου για συναρτήσεις μιας μεταβλητής γνωρίζουμε ότι η παράγωγος μιας συνάρτησης f στο σημείο x

Διαβάστε περισσότερα

Εισόδημα Κατανάλωση 1500 500 1600 600 1300 450 1100 400 600 250 700 275 900 300 800 352 850 400 1100 500

Εισόδημα Κατανάλωση 1500 500 1600 600 1300 450 1100 400 600 250 700 275 900 300 800 352 850 400 1100 500 Εισόδημα Κατανάλωση 1500 500 1600 600 1300 450 1100 400 600 250 700 275 900 300 800 352 850 400 1100 500 Πληθυσμός Δείγμα Δείγμα Δείγμα Ο ρόλος της Οικονομετρίας Οικονομική Θεωρία Διατύπωση της

Διαβάστε περισσότερα

chatzipa@math.uoc.gr http://www.math.uoc.gr/ chatzipa

chatzipa@math.uoc.gr http://www.math.uoc.gr/ chatzipa ΒΙΟΓΡΑΦΙΚΟ ΣΗΜΕΙΩΜΑ Ονοµατεπώνυµο : ιεύθυνση : Email: Web: ΠΑΝΑΓΙΩΤΗΣ ΧΑΤΖΗΠΑΝΤΕΛΙ ΗΣ Τµήµα Μαθηµατικών, Λεωφ. Κνωσσού, Ηράκλειο, 71409. chatzipa@math.uoc.gr http://www.math.uoc.gr/ chatzipa Προσωπικά

Διαβάστε περισσότερα

Ανάπτυξη και δηµιουργία µοντέλων προσοµοίωσης ροής και µεταφοράς µάζας υπογείων υδάτων σε καρστικούς υδροφορείς µε χρήση θεωρίας νευρωνικών δικτύων

Ανάπτυξη και δηµιουργία µοντέλων προσοµοίωσης ροής και µεταφοράς µάζας υπογείων υδάτων σε καρστικούς υδροφορείς µε χρήση θεωρίας νευρωνικών δικτύων Ανάπτυξη και δηµιουργία µοντέλων προσοµοίωσης ροής και µεταφοράς µάζας υπογείων υδάτων σε καρστικούς υδροφορείς µε χρήση θεωρίας νευρωνικών δικτύων Περίληψη ιδακτορικής ιατριβής Τριχακης Ιωάννης Εργαστήριο

Διαβάστε περισσότερα

I. ΜΙΓΑΔΙΚΟΙ ΑΡΙΘΜΟΙ. math-gr

I. ΜΙΓΑΔΙΚΟΙ ΑΡΙΘΜΟΙ. math-gr I ΜΙΓΑΔΙΚΟΙ ΑΡΙΘΜΟΙ i e ΜΕΡΟΣ Ι ΟΡΙΣΜΟΣ - ΒΑΣΙΚΕΣ ΠΡΑΞΕΙΣ Α Ορισμός Ο ορισμός του συνόλου των Μιγαδικών αριθμών (C) βασίζεται στις εξής παραδοχές: Υπάρχει ένας αριθμός i για τον οποίο ισχύει i Το σύνολο

Διαβάστε περισσότερα

ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΙΑΣ ΤΜΗΜΑ ΠΟΛΙΤΙΚΩΝ ΜΗΧΑΝΙΚΩΝ ΤΟΜΕΑΣ ΥΔΡΑΥΛΙΚΗΣ ΚΑΙ ΠΕΡΙΒΑΛΛΟΝΤΙΚΗΣ ΤΕΧΝΙΚΗΣ. Διάλεξη 15: O αλγόριθμος SIMPLE

ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΙΑΣ ΤΜΗΜΑ ΠΟΛΙΤΙΚΩΝ ΜΗΧΑΝΙΚΩΝ ΤΟΜΕΑΣ ΥΔΡΑΥΛΙΚΗΣ ΚΑΙ ΠΕΡΙΒΑΛΛΟΝΤΙΚΗΣ ΤΕΧΝΙΚΗΣ. Διάλεξη 15: O αλγόριθμος SIMPLE ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΙΑΣ ΤΜΗΜΑ ΠΟΛΙΤΙΚΩΝ ΜΗΧΑΝΙΚΩΝ ΤΟΜΕΑΣ ΥΔΡΑΥΛΙΚΗΣ ΚΑΙ ΠΕΡΙΒΑΛΛΟΝΤΙΚΗΣ ΤΕΧΝΙΚΗΣ Διάλεξη 15: O αλγόριθμος SIMPLE Χειμερινό εξάμηνο 2008 Προηγούμενη παρουσίαση... Εξετάσαμε τις θέσεις που

Διαβάστε περισσότερα

Εισαγωγή στις Ηλεκτρικές Μετρήσεις

Εισαγωγή στις Ηλεκτρικές Μετρήσεις Εισαγωγή στις Ηλεκτρικές Μετρήσεις Σφάλματα Μετρήσεων Συμβατικά όργανα μετρήσεων Χαρακτηριστικά μεγέθη οργάνων Παλμογράφος Λέκτορας Σοφία Τσεκερίδου 1 Σφάλματα μετρήσεων Επιτυχημένη μέτρηση Σωστή εκλογή

Διαβάστε περισσότερα

ΠΡΟΧΩΡΗΜΕΝΕΣ ΜΕΘΟ ΟΙ ΤΕΧΝΟΟΙΚΟΝΟΜΙΚΟΥ ΣΧΕ ΙΑΣΜΟΥ

ΠΡΟΧΩΡΗΜΕΝΕΣ ΜΕΘΟ ΟΙ ΤΕΧΝΟΟΙΚΟΝΟΜΙΚΟΥ ΣΧΕ ΙΑΣΜΟΥ ΠΡΟΧΩΡΗΜΕΝΕΣ ΜΕΘΟ ΟΙ ΤΕΧΝΟΟΙΚΟΝΟΜΙΚΟΥ ΣΧΕ ΙΑΣΜΟΥ Ν.Α.Μανδέλλος ρ Χηµικός Μηχανικός ΕΜΠ Χ.Θ.Κυρανούδης Καθηγητής ΕΜΠ ΕΘΝΙΚΟ ΜΕΤΣΟΒΙΟ ΠΟΛΥΤΕΧΝΕΙΟ 2013 ΕΙΣΑΓΩΓΗ Μιλώντας για αριστοποίηση, εννοούµε την µαθηµατική

Διαβάστε περισσότερα

Αριθμητικές Μέθοδοι σε Προγραμματιστικό Περιβάλλον

Αριθμητικές Μέθοδοι σε Προγραμματιστικό Περιβάλλον Τμήμα Μηχανικών Πληροφορικής Αριθμητικές Μέθοδοι σε Προγραμματιστικό Περιβάλλον Δρ. Δημήτρης Βαρσάμης Επίκουρος Καθηγητής Οκτώβριος 2014 Δρ. Δημήτρης Βαρσάμης Οκτώβριος 2014 1 / 42 Αριθμητικές Μέθοδοι

Διαβάστε περισσότερα

ΕΡΩΤΗΣΕΙΣ ΘΕΩΡΙΑΣ ΜΑΘΗΜΑΤΙΚΑ Β ΓΥΜΝΑΣΙΟΥ. ΜΕΡΟΣ 1ο ΑΛΓΕΒΡΑ

ΕΡΩΤΗΣΕΙΣ ΘΕΩΡΙΑΣ ΜΑΘΗΜΑΤΙΚΑ Β ΓΥΜΝΑΣΙΟΥ. ΜΕΡΟΣ 1ο ΑΛΓΕΒΡΑ 1. Τι καλείται μεταβλητή; ΕΡΩΤΗΣΕΙΣ ΘΕΩΡΙΑΣ ΜΑΘΗΜΑΤΙΑ Β ΓΥΜΝΑΣΙΟΥ ΜΕΡΟΣ 1ο ΑΛΓΕΒΡΑ Μεταβλητή είναι ένα γράμμα (π.χ., y, t, ) που το χρησιμοποιούμε για να παραστήσουμε ένα οποιοδήποτε στοιχείο ενός συνόλου..

Διαβάστε περισσότερα

Μέτρα της οργάνωσης και της ποιότητας για τον Self-Organizing Hidden Markov Model Map (SOHMMM)

Μέτρα της οργάνωσης και της ποιότητας για τον Self-Organizing Hidden Markov Model Map (SOHMMM) Μέτρα της οργάνωσης και της ποιότητας για τον Self-Organizing Hidden Markov Model Map (SOHMMM) Γενική περιγραφή του SOHMMM Ένα υβριδικό νευρωνικό δίκτυο, σύζευξη δύο πολύ επιτυχημένων μοντέλων: -Self-Organizing

Διαβάστε περισσότερα

Γραµµικη Αλγεβρα Ι Επιλυση Επιλεγµενων Ασκησεων Φυλλαδιου 4

Γραµµικη Αλγεβρα Ι Επιλυση Επιλεγµενων Ασκησεων Φυλλαδιου 4 Γραµµικη Αλγεβρα Ι Επιλυση Επιλεγµενων Ασκησεων Φυλλαδιου 4 ιδασκοντες: Ν Μαρµαρίδης - Α Μπεληγιάννης Βοηθος Ασκησεων: Χ Ψαρουδάκης Ιστοσελιδα Μαθηµατος : http://wwwmathuoigr/ abeligia/linearalgebrai/laihtml

Διαβάστε περισσότερα

Η αβεβαιότητα στη μέτρηση.

Η αβεβαιότητα στη μέτρηση. Η αβεβαιότητα στη μέτρηση. 1. Εισαγωγή. Κάθε μέτρηση, όσο προσεκτικά και αν έχει γίνει, περικλείει κάποια αβεβαιότητα. Η ανάλυση των σφαλμάτων είναι η μελέτη και ο υπολογισμός αυτής της αβεβαιότητας στη

Διαβάστε περισσότερα

Εργαστήριο Ιατρικής Φυσικής

Εργαστήριο Ιατρικής Φυσικής Γενικές Πληροφορίες για Μέλη ΔΕΠ Ονοματεπώνυμο Αδάμ Αδαμόπουλος Βαθμίδα Επίκουρος Καθηγητής Γνωστικό Αντικείμενο Ιατρική Φυσική Εργαστήριο/Κλινική Εργαστήριο Ιατρικής Φυσικής Γραφείο Τηλέφωνο 25510 30501

Διαβάστε περισσότερα

Μέθοδοι Μηχανικής Μάθησης στην επεξεργασία Τηλεπισκοπικών Δεδομένων. Δρ. Ε. Χάρου

Μέθοδοι Μηχανικής Μάθησης στην επεξεργασία Τηλεπισκοπικών Δεδομένων. Δρ. Ε. Χάρου Μέθοδοι Μηχανικής Μάθησης στην επεξεργασία Τηλεπισκοπικών Δεδομένων Δρ. Ε. Χάρου Πρόγραμμα υπολογιστικής ευφυίας Ινστιτούτο Πληροφορικής & Τηλεπικοινωνιών ΕΚΕΦΕ ΔΗΜΟΚΡΙΤΟΣ exarou@iit.demokritos.gr Μηχανική

Διαβάστε περισσότερα

«ΣΥΝΕΧΗ ΚΛΑΣΜΑΤΑ ΚΑΙ ΠΡΑΓΜΑΤΙΚΟΙ ΑΡΙΘΜΟΙ: ΠΡΟΣΕΓΓΙΣΕΙΣ ΚΑΙ ΕΦΑΡΜΟΓΕΣ»

«ΣΥΝΕΧΗ ΚΛΑΣΜΑΤΑ ΚΑΙ ΠΡΑΓΜΑΤΙΚΟΙ ΑΡΙΘΜΟΙ: ΠΡΟΣΕΓΓΙΣΕΙΣ ΚΑΙ ΕΦΑΡΜΟΓΕΣ» Σχολή Εφαρμοσμένων Μαθηματικών και Φυσικών Επιστημών Εθνικό Μετσόβιο Πολυτεχνείο «ΣΥΝΕΧΗ ΚΛΑΣΜΑΤΑ ΚΑΙ ΠΡΑΓΜΑΤΙΚΟΙ ΑΡΙΘΜΟΙ: ΠΡΟΣΕΓΓΙΣΕΙΣ ΚΑΙ ΕΦΑΡΜΟΓΕΣ» ΜΠΙΘΗΜΗΤΡΗ ΒΑΣΙΛΙΚΗ ΣΤΕΛΛΑ Επιβλέπουσα: Αν. Καθηγήτρια

Διαβάστε περισσότερα

Έργο µιας χρονικά µεταβαλλόµενης δύναµης

Έργο µιας χρονικά µεταβαλλόµενης δύναµης Έργο µιας χρονικά µεταβαλλόµενης δύναµης Κ. Ι. Παπαχρήστου Τοµέας Φυσικών Επιστηµών, Σχολή Ναυτικών οκίµων papachristou@snd.edu.gr Θα συζητήσουµε µερικά λεπτά σηµεία που αφορούν το έργο ενός χρονικά µεταβαλλόµενου

Διαβάστε περισσότερα

5 ΣΥΝΑΡΤΗΣΕΙΣ ΔΥΟ ΜΕΤΑΒΛΗΤΩΝ

5 ΣΥΝΑΡΤΗΣΕΙΣ ΔΥΟ ΜΕΤΑΒΛΗΤΩΝ 48 49 5 ΣΥΝΑΡΤΗΣΕΙΣ ΔΥΟ ΜΕΤΑΒΛΗΤΩΝ 5 ΕΙΣΑΓΩΓΗ ΟΡΙΣΜΟΣ: Κάθε συνάρτηση : A B με Α R n και Β R ονομάζεται πραγματική συνάρτηση n μεταβλητών ΠΑΡΑΤΗΡΗΣΕΙΣ: Ι Αν Α R n και Β R n τότε έχουμε διανυσματική συνάρτηση

Διαβάστε περισσότερα

ΕΛΛΗΝΙΚΟ ΑΝΟΙΚΤΟ ΠΑΝΕΠΙΣΤΗΜΙΟ

ΕΛΛΗΝΙΚΟ ΑΝΟΙΚΤΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΕΛΛΗΝΙΚΟ ΑΝΟΙΚΤΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΠΡΟΓΡΑΜΜΑ ΣΠΟΥ ΩΝ «ΠΛΗΡΟΦΟΡΙΚΗ» ΜΑΘΗΜΑΤΙΚΑ Ι (ΘΕ ΠΛΗ ) TEΛΙΚΕΣ ΕΞΕΤΑΣΕΙΣ 4 Ιουνίου 7 Από τα κάτωθι Θέµατα καλείστε να λύσετε το ο που περιλαµβάνει ερωτήµατα από όλη την ύλη

Διαβάστε περισσότερα

ΘΕΩΡΗΤΙΚΗ ΜΗΧΑΝΙΚΗ ΙΙ

ΘΕΩΡΗΤΙΚΗ ΜΗΧΑΝΙΚΗ ΙΙ ΑΡΙΣΤΟΤΕΛΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΟΝΙΚΗΣ ΤΜΗΜΑ ΦΥΣΙΚΗΣ ΤΟΜΕΑΣ ΑΣΤΡΟΝΟΜΙΑΣ ΑΣΤΡΟΦΥΣΙΚΗΣ ΚΑΙ ΜΗΧΑΝΙΚΗΣ ΣΠΟΥΔΑΣΤΗΡΙΟ ΜΗΧΑΝΙΚΗΣ ΑΣΚΗΣΕΙΣ ΑΝΑΛΥΤΙΚΗΣ ΔΥΝΑΜΙΚΗΣ ( Μεθοδολογία- Παραδείγματα ) Κλεομένης Γ. Τσιγάνης

Διαβάστε περισσότερα

ΘΕΩΡΗΤΙΚΗ ΑΣΚΗΣΗ Γραφικές παραστάσεις, κλίση καµπύλης Μέθοδος των ελαχίστων τετραγώνων

ΘΕΩΡΗΤΙΚΗ ΑΣΚΗΣΗ Γραφικές παραστάσεις, κλίση καµπύλης Μέθοδος των ελαχίστων τετραγώνων ΘΕ ΘΕΩΡΗΤΙΚΗ ΑΣΚΗΣΗ Γραφικές παραστάσεις, κλίση καµπύλης Μέθοδος των ελαχίστων τετραγώνων 1. Σκοπός Πρόκειται για θεωρητική άσκηση που σκοπό έχει την περιληπτική αναφορά σε θεµατολογίες που αφορούν την

Διαβάστε περισσότερα

ΓΡΑΜΜΙΚΑ ΣΥΣΤΗΜΑΤΑ ΕΞΙΣΩΣΕΩΝ

ΓΡΑΜΜΙΚΑ ΣΥΣΤΗΜΑΤΑ ΕΞΙΣΩΣΕΩΝ ΓΡΑΜΜΙΚΑ ΣΥΣΤΗΜΑΤΑ ΕΞΙΣΩΣΕΩΝ Θα ξεκινήσουµε την παρουσίαση των γραµµικών συστηµάτων µε ένα απλό παράδειγµα από τη Γεωµετρία, το οποίο ϑα µας ϐοηθήσει στην κατανόηση των συστηµάτων αυτών και των συνθηκών

Διαβάστε περισσότερα

Μετασχηµατισµοί Laplace, Αναλογικά Συστήµατα, ιαφορικές Εξισώσεις

Μετασχηµατισµοί Laplace, Αναλογικά Συστήµατα, ιαφορικές Εξισώσεις ΚΕΦΑΛΑΙΟ 2 Μετασχηµατισµοί Laplace, Αναλογικά Συστήµατα, ιαφορικές Εξισώσεις 2.1 ΕΙΣΑΓΩΓΗ Όπως έχουµε δει, για να προσδιορίσουµε τις αποκρίσεις ενός κυκλώµατος, πρέπει να λύσουµε ένα σύνολο διαφορικών

Διαβάστε περισσότερα

Κεφάλαιο 7 Βασικά Θεωρήµατα του ιαφορικού Λογισµού

Κεφάλαιο 7 Βασικά Θεωρήµατα του ιαφορικού Λογισµού Σελίδα 1 από Κεφάλαιο 7 Βασικά Θεωρήµατα του ιαφορικού Λογισµού Στο κεφάλαιο αυτό θα ασχοληθούµε µε τα βασικά θεωρήµατα του διαφορικού λογισµού καθώς και µε προβλήµατα που µπορούν να επιλυθούν χρησιµοποιώντας

Διαβάστε περισσότερα

ΠΙΝΑΚΑΣ 3-1 Προσομοιωση και Βελτιστοποιηση Συστηματος (Haimes, 1977) ΠΡΑΓΜΑΤΙΚΗ ΑΠΟΚΡΙΣΗ ΦΥΣΙΚΟΥ ΣΥΣΤΗΜΑΤΟΣ ΜΑΘΗΜΑΤΙΚΗ ΑΠΟΚΡΙΣΗ ΣΥΣΤΗΜΑΤΟΣ

ΠΙΝΑΚΑΣ 3-1 Προσομοιωση και Βελτιστοποιηση Συστηματος (Haimes, 1977) ΠΡΑΓΜΑΤΙΚΗ ΑΠΟΚΡΙΣΗ ΦΥΣΙΚΟΥ ΣΥΣΤΗΜΑΤΟΣ ΜΑΘΗΜΑΤΙΚΗ ΑΠΟΚΡΙΣΗ ΣΥΣΤΗΜΑΤΟΣ 3 ΤΕΧΝΙΚΕΣ ΑΝΑΛΥΣΗΣ 3.1 Εισαγωγη ΣΥΣΤΗΜΑΤΩΝ Τα συστηματα εφαρμοζονται σε αναπτυξιακα προγραμματα, σε μελετες σχεδιασμου εργων, σε προγραμματα διατηρησης ή προστασιας περιβαλλοντος και υδατικων πορων και

Διαβάστε περισσότερα

ΓΡΑΠΤΗΣ ΕΡΓΑΣΙΑΣ. ΛΥΣΕΙΣ 3 ης. Άσκηση 1. , z1. Παρατηρούµε ότι: z0 = z5. = + ) και. β) 1 ος τρόπος: Έστω z = x+ iy, x, = x + y.

ΓΡΑΠΤΗΣ ΕΡΓΑΣΙΑΣ. ΛΥΣΕΙΣ 3 ης. Άσκηση 1. , z1. Παρατηρούµε ότι: z0 = z5. = + ) και. β) 1 ος τρόπος: Έστω z = x+ iy, x, = x + y. ΛΥΣΕΙΣ ης ΓΡΑΠΤΗΣ ΕΡΓΑΣΙΑΣ Άσκηση 6 6 Λύση: α) 7z + z (cosπ + isi π ) π+ kπ π+ kπ Κατά συνέπεια z (cos + isi ), k,,, 5 Παίρνουµε τις ρίζες 6 6 z (cos + isi ) ( + i ) + i, π π 6 6 6 z (cos + isi ) (cos

Διαβάστε περισσότερα

HMY 795: Αναγνώριση Προτύπων

HMY 795: Αναγνώριση Προτύπων HMY 795: Αναγνώριση Προτύπων Διάλεξη 5 Κατανομές πιθανότητας και εκτίμηση παραμέτρων δυαδικές τυχαίες μεταβλητές Bayesian decision Minimum misclassificaxon rate decision: διαλέγουμε την κατηγορία Ck για

Διαβάστε περισσότερα

Τσάπελη Φανή ΑΜ: 2004030113. Ενισχυτική Μάθηση για το παιχνίδι dots. Τελική Αναφορά

Τσάπελη Φανή ΑΜ: 2004030113. Ενισχυτική Μάθηση για το παιχνίδι dots. Τελική Αναφορά Τσάπελη Φανή ΑΜ: 243113 Ενισχυτική Μάθηση για το παιχνίδι dots Τελική Αναφορά Περιγραφή του παιχνιδιού Το παιχνίδι dots παίζεται με δύο παίχτες. Έχουμε έναν πίνακα 4x4 με τελείες, και σκοπός του κάθε παίχτη

Διαβάστε περισσότερα

Αριθµητική Ανάλυση. ιδάσκοντες: Καθηγητής Ν. Μισυρλής, Επίκ. Καθηγητής Φ.Τζαφέρης ΕΚΠΑ. 16 Ιανουαρίου 2015

Αριθµητική Ανάλυση. ιδάσκοντες: Καθηγητής Ν. Μισυρλής, Επίκ. Καθηγητής Φ.Τζαφέρης ΕΚΠΑ. 16 Ιανουαρίου 2015 Αριθµητική Ανάλυση ιδάσκοντες: Καθηγητής Ν. Μισυρλής, Επίκ. Καθηγητής Φ.Τζαφέρης ΕΚΠΑ 16 Ιανουαρίου 2015 ιδάσκοντες:καθηγητής Ν. Μισυρλής,Επίκ. Καθηγητής Φ.Τζαφέρης Αριθµητική (ΕΚΠΑ) Ανάλυση 16 Ιανουαρίου

Διαβάστε περισσότερα

ΒΙΟΓΡΑΦΙΚΟ ΣΗΜΕΙΩΜΑ ΛΕΩΝΙΔΑΣ Α. ΣΠΥΡΟΥ. 2004 2009 Διδακτορικό σε Υπολογιστική Εμβιομηχανική, Τμήμα Μηχανολόγων Μηχανικών, Πανεπιστήμιο Θεσσαλίας.

ΒΙΟΓΡΑΦΙΚΟ ΣΗΜΕΙΩΜΑ ΛΕΩΝΙΔΑΣ Α. ΣΠΥΡΟΥ. 2004 2009 Διδακτορικό σε Υπολογιστική Εμβιομηχανική, Τμήμα Μηχανολόγων Μηχανικών, Πανεπιστήμιο Θεσσαλίας. ΒΙΟΓΡΑΦΙΚΟ ΣΗΜΕΙΩΜΑ ΛΕΩΝΙΔΑΣ Α. ΣΠΥΡΟΥ ΔΙΕΥΘΥΝΣΗ Ινστιτούτο Έρευνας και Τεχνολογίας Θεσσαλίας (ΙΕΤΕΘ) Εθνικό Κέντρο Έρευνας και Τεχνολογικής Ανάπτυξης (ΕΚΕΤΑ) Δημητριάδος 95 και Παύλου Μελά 38333 Βόλος

Διαβάστε περισσότερα

Περιγραφή Συστηµάτων Αυτοµάτου Ελέγχου

Περιγραφή Συστηµάτων Αυτοµάτου Ελέγχου ΚΕΣ : Αυτόµατος Έλεγχος ΚΕΣ Αυτόµατος Έλεγχος Περιγραφή Συστηµάτων Αυτοµάτου Ελέγχου ΚΕΣ : Αυτόµατος Έλεγχος Βιβλιογραφία Ενότητας Παρασκευόπουλος [5]: Κεφάλαιο 3, Ενότητες 3. 3.8 Παρασκευόπουλος [5]:

Διαβάστε περισσότερα

Μαθηµατικές Μέθοδοι Βελτιστοποίησης Πϱοβληµάτων Μεγάλης Κλίµακας

Μαθηµατικές Μέθοδοι Βελτιστοποίησης Πϱοβληµάτων Μεγάλης Κλίµακας Πανεπιστήµιο Πατρών Σχολή Θετικών Επιστηµών Τµήµα Μαθηµατικών Μαθηµατικές Μέθοδοι Βελτιστοποίησης Πϱοβληµάτων Μεγάλης Κλίµακας ιδακτορική ιατριβή Μαριάννα Σ. Αποστολοπούλου Μάρτιος, 2011 c 2011 Μαριάννα

Διαβάστε περισσότερα

Ασκήσεις Φροντιστηρίου «Υπολογιστική Νοηµοσύνη Ι» 7ο Φροντιστήριο 15/1/2008

Ασκήσεις Φροντιστηρίου «Υπολογιστική Νοηµοσύνη Ι» 7ο Φροντιστήριο 15/1/2008 Ασκήσεις Φροντιστηρίου «Υπολογιστική Νοηµοσύνη Ι» 7ο Φροντιστήριο 5//008 Πρόβληµα ο Στα παρακάτω ερωτήµατα επισηµαίνουµε ότι perceptron είναι ένας νευρώνας και υποθέτουµε, όπου χρειάζεται, τη χρήση δικτύων

Διαβάστε περισσότερα

ιεργασίες και Επεξεργαστές στα Κατανεµηµένων Συστηµάτων

ιεργασίες και Επεξεργαστές στα Κατανεµηµένων Συστηµάτων ιεργασίες και Επεξεργαστές στα Κατανεµηµένων Συστηµάτων Μαρία Ι. Ανδρέου ΗΜΥ417, ΗΜΥ 663 Κατανεµηµένα Συστήµατα Χειµερινό Εξάµηνο 2006-2007 Τµήµα Ηλεκτρολόγων Μηχανικών & Μηχανικών Υπολογιστών Πανεπιστήµιο

Διαβάστε περισσότερα

ΠΡΟΓΡΑΜΜΑ ΣΠΟΥΔΩΝ ΣΤΗΝ ΠΛΗΡΟΦΟΡΙΚΗ ΜΑΘΗΜΑΤΙΚΑ Ι (ΘΕ ΠΛΗ 12) ΕΡΓΑΣΙΑ 3 η Ημερομηνία Αποστολής στον Φοιτητή: 12 Ιανουαρίου 2009

ΠΡΟΓΡΑΜΜΑ ΣΠΟΥΔΩΝ ΣΤΗΝ ΠΛΗΡΟΦΟΡΙΚΗ ΜΑΘΗΜΑΤΙΚΑ Ι (ΘΕ ΠΛΗ 12) ΕΡΓΑΣΙΑ 3 η Ημερομηνία Αποστολής στον Φοιτητή: 12 Ιανουαρίου 2009 ΕΛΛΗΝΙΚΟ ΑΝΟΙΚΤΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΠΡΟΓΡΑΜΜΑ ΣΠΟΥΔΩΝ ΣΤΗΝ ΠΛΗΡΟΦΟΡΙΚΗ ΜΑΘΗΜΑΤΙΚΑ Ι (ΘΕ ΠΛΗ ) ΕΡΓΑΣΙΑ η Ημερομηνία Αποστολής στον Φοιτητή: Ιανουαρίου 009 Ημερομηνία παράδοσης της Εργασίας: Φεβρουαρίου 009. Πριν

Διαβάστε περισσότερα

ΘΕΩΡΗΤΙΚΗ ΑΣΚΗΣΗ Σφάλµατα και στατιστική επεξεργασία πειραµατικών µετρήσεων

ΘΕΩΡΗΤΙΚΗ ΑΣΚΗΣΗ Σφάλµατα και στατιστική επεξεργασία πειραµατικών µετρήσεων ΘΕ1 ΘΕΩΡΗΤΙΚΗ ΑΣΚΗΣΗ Σφάλµατα και στατιστική επεξεργασία πειραµατικών µετρήσεων 1. Σκοπός Πρόκειται για θεωρητική άσκηση που σκοπό έχει την περιληπτική αναφορά σε θεµατολογίες όπως : σφάλµατα, στατιστική

Διαβάστε περισσότερα

2.3 ΜΕΤΡΟ ΜΙΓΑΔΙΚΟΥ ΑΡΙΘΜΟΥ

2.3 ΜΕΤΡΟ ΜΙΓΑΔΙΚΟΥ ΑΡΙΘΜΟΥ ΕΠΙΜΕΛΕΙΑ : ΠΑΛΑΙΟΛΟΓΟΥ ΠΑΥΛΟΣ.ptetragono.gr Σελίδα. ΜΕΤΡΟ ΜΙΓΑΔΙΚΟΥ ΑΡΙΘΜΟΥ Να βρεθεί το μέτρο των μιγαδικών :..... 0 0. 5 5 6.. 0 0. 5. 5 5 0 0 0 0 0 0 0 0 ΜΕΘΟΔΟΛΟΓΙΑ : ΜΕΤΡΟ ΜΙΓΑΔΙΚΟΥ Αν τότε. Αν χρειαστεί

Διαβάστε περισσότερα

Ε ανάληψη. Ε αναλαµβανόµενες καταστάσεις. Αναζήτηση µε µερική ληροφόρηση. Πληροφορηµένη αναζήτηση. µέθοδοι αποφυγής

Ε ανάληψη. Ε αναλαµβανόµενες καταστάσεις. Αναζήτηση µε µερική ληροφόρηση. Πληροφορηµένη αναζήτηση. µέθοδοι αποφυγής ΠΛΗ 405 Τεχνητή Νοηµοσύνη Πληροφορηµένη Αναζήτηση II Τµήµα Ηλεκτρονικών Μηχανικών και Μηχανικών Υ ολογιστών Πολυτεχνείο Κρήτης Ε ανάληψη Ε αναλαµβανόµενες καταστάσεις µέθοδοι αποφυγής Αναζήτηση µε µερική

Διαβάστε περισσότερα

ΑΡΧΙΜΗ ΗΣ - ΕΝΙΣΧΥΣΗ ΕΡΕΥΝΗΤΙΚΩΝ ΟΜΑ ΩΝ ΣΤΑ ΤΕΙ. Υποέργο: «Ανάκτηση και προστασία πνευµατικών δικαιωµάτων σε δεδοµένα

ΑΡΧΙΜΗ ΗΣ - ΕΝΙΣΧΥΣΗ ΕΡΕΥΝΗΤΙΚΩΝ ΟΜΑ ΩΝ ΣΤΑ ΤΕΙ. Υποέργο: «Ανάκτηση και προστασία πνευµατικών δικαιωµάτων σε δεδοµένα ΑΡΧΙΜΗ ΗΣ - ΕΝΙΣΧΥΣΗ ΕΡΕΥΝΗΤΙΚΩΝ ΟΜΑ ΩΝ ΣΤΑ ΤΕΙ Υποέργο: «Ανάκτηση και προστασία πνευµατικών δικαιωµάτων σε δεδοµένα πολυδιάστατου ψηφιακού σήµατος (Εικόνες Εικονοσειρές)» Πακέτο Εργασίας 4: Προστασία

Διαβάστε περισσότερα

Μια εισαγωγή στο φίλτρο Kalman

Μια εισαγωγή στο φίλτρο Kalman 1 Μια εισαγωγή στο φίλτρο Kalman Το 1960, R.E. Kalman δημόσιευσε το διάσημο έγγραφό του περιγράφοντας μια επαναλαμβανόμενη λύση στο γραμμικό πρόβλημα φιλτραρίσματος διακριτών δεδομένων. Από εκείνη τη στιγμή,

Διαβάστε περισσότερα

Κεφάλαιο 6 Παράγωγος

Κεφάλαιο 6 Παράγωγος Σελίδα από 5 Κεφάλαιο 6 Παράγωγος Στο κεφάλαιο αυτό στόχος µας είναι να συνδέσουµε µία συγκεκριµένη συνάρτηση f ( ) µε µία δεύτερη συνάρτηση f ( ), την οποία και θα ονοµάζουµε παράγωγο της f. Η τιµή της

Διαβάστε περισσότερα

Τοποθέτηση τοπωνυµίων και άλλων στοιχείων ονοµατολογίας στους χάρτες

Τοποθέτηση τοπωνυµίων και άλλων στοιχείων ονοµατολογίας στους χάρτες Τοποθέτηση τοπωνυµίων και άλλων στοιχείων ονοµατολογίας στους χάρτες Miroshnikov & Tchepine 1999 Ahn & Freeman 1984 Ένας σηµαντικός παράγοντας που επηρεάζει την αποτελεσµατικότητα ενός χάρτη ως µέσω επικοινωνίας

Διαβάστε περισσότερα

1η Οµάδα Ασκήσεων. ΑΣΚΗΣΗ 1 (Θεωρία)

1η Οµάδα Ασκήσεων. ΑΣΚΗΣΗ 1 (Θεωρία) ΕΘΝΙΚΟ ΚΑΙ ΚΑΠΟ ΙΣΤΡΙΑΚΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΑΘΗΝΩΝ ΤΜΗΜΑ ΠΛΗΡΟΦΟΡΙΚΗΣ KAI THΛΕΠΙΚΟΙΝΩΝΙΩΝ ΤΟΜΕΑΣ ΘΕΩΡΗΤΙΚΗΣ ΠΛΗΡΟΦΟΡΙΚΗΣ ΜΑΘΗΜΑ: ΑΡΙΘΜΗΤΙΚΗ ΑΝΑΛΥΣΗ /5/007 η Οµάδα Ασκήσεων ΑΣΚΗΣΗ (Θεωρία). α) Έστω fl() x η παράσταση

Διαβάστε περισσότερα

ΕΦΑΡΜΟΓΕΣ ΔΙΟΙΚΗΤΙΚΗΣ ΕΠΙΣΤΗΜΗΣ

ΕΦΑΡΜΟΓΕΣ ΔΙΟΙΚΗΤΙΚΗΣ ΕΠΙΣΤΗΜΗΣ ΕΦΑΡΜΟΓΕΣ ΔΙΟΙΚΗΤΙΚΗΣ ΕΠΙΣΤΗΜΗΣ Dr. Christos D. Tarantilis Associate Professor in Operations Research & Management Science http://tarantilis.dmst.aueb.gr/ ΕΦΑΡΜΟΓΕΣ ΙΟΙΚΗΤΙΚΗΣ ΕΠΙΣΤΗΜΗΣ Ι - 1- ΜΕΙΟΝΕΚΤΗΜΑ

Διαβάστε περισσότερα

ΠΡΟΒΛΗΜΑΤΑ ΜΕΤΑΦΟΡΑΣ

ΠΡΟΒΛΗΜΑΤΑ ΜΕΤΑΦΟΡΑΣ (Transportation Problems) Βασίλης Κώστογλου E-mail: vkostogl@it.teithe.gr URL: www.it.teithe.gr/~vkostogl Περιγραφή Ένα πρόβλημα μεταφοράς ασχολείται με το πρόβλημα του προσδιορισμού του καλύτερου δυνατού

Διαβάστε περισσότερα

ΘΕΤΙΚΗΣ ΚΑΙ ΤΕΧΝΟΛΟΓΙΚΗΣ ΚΑΤΕΥΘΥΝΣΗΣ

ΘΕΤΙΚΗΣ ΚΑΙ ΤΕΧΝΟΛΟΓΙΚΗΣ ΚΑΤΕΥΘΥΝΣΗΣ Γιώργος Πρέσβης ΜΑΘΗΜΑΤΙΚΑ B ΛΥΚΕΙΟΥ ΘΕΤΙΚΗΣ ΚΑΙ ΤΕΧΝΟΛΟΓΙΚΗΣ ΚΑΤΕΥΘΥΝΣΗΣ ΚΕΦΑΛΑΙΟ Ο : ΕΞΙΣΩΣΗ ΕΥΘΕΙΑΣ ΕΠΑΝΑΛΗΨΗ Φροντιστήρια Φροντιστήρια ΜΕΘΟΔΟΛΟΓΙΑ ΑΣΚΗΣΕΩΝ 1η Κατηγορία : Εξίσωση Γραμμής 1.1 Να εξετάσετε

Διαβάστε περισσότερα

ΕΙΣΑΓΩΓΗ ΣΤΟ MATLAB- SIMULINK

ΕΙΣΑΓΩΓΗ ΣΤΟ MATLAB- SIMULINK ΕΙΣΑΓΩΓΗ ΣΤΟ MATLAB- SIMULINK ρ. Γεώργιος Φ. Φραγκούλης Καθηγητής Ver. 0.2 9/2012 ιανύσµατα & ισδιάστατοι πίνακες Ένα διάνυσµα u = (u1, u2,, u ) εισάγεται στη MATLAB ως εξής : u=[ u1, u2,, un ] ή u=[ u1

Διαβάστε περισσότερα

5. Γεννήτριες Τυχαίων Αριθµών.

5. Γεννήτριες Τυχαίων Αριθµών. 5. Γεννήτριες Τυχαίων Αριθµών. 5.1. Εισαγωγή. Στο Κεφάλαιο αυτό θα δούµε πώς µπορούµε να δηµιουργήσουµε τυχαίους αριθµούς από την οµοιόµορφη κατανοµή στο διάστηµα [0,1]. Την κατανοµή αυτή, συµβολίζουµε

Διαβάστε περισσότερα

ΤΕΙ Χαλκίδας Σχολή Διοίκησης και Οικονομίας Τμήμα Διοίκησης Επιχειρήσεων

ΤΕΙ Χαλκίδας Σχολή Διοίκησης και Οικονομίας Τμήμα Διοίκησης Επιχειρήσεων ΤΕΙ Χαλκίδας Σχολή Διοίκησης και Οικονομίας Τμήμα Διοίκησης Επιχειρήσεων Επιχειρησιακή Έρευνα Τυπικό Εξάμηνο: Δ Αλέξιος Πρελορέντζος Εισαγωγή Ορισμός 1 Η συστηματική εφαρμογή ποσοτικών μεθόδων, τεχνικών

Διαβάστε περισσότερα

2 + 0.5 2 + 0.25 + 1 + 0.5 2 + 0.25 + 1 + 0.5 2 + 0.25 2 + 0.5 0 0.125 + 1 + 0.5 1 0.125 + 1 + 0.75 1 0.125 1/5

2 + 0.5 2 + 0.25 + 1 + 0.5 2 + 0.25 + 1 + 0.5 2 + 0.25 2 + 0.5 0 0.125 + 1 + 0.5 1 0.125 + 1 + 0.75 1 0.125 1/5 IOYNIOΣ 23 Δίνονται τα εξής πρότυπα: x! = 2.5 Άσκηση η (3 µονάδες) Χρησιµοποιώντας το κριτήριο της οµοιότητας να απορριφθεί ένα χαρακτηριστικό µε βάση το συντελεστή συσχέτισης. Γράψτε εδώ το χαρακτηριστικό

Διαβάστε περισσότερα

iii ΠΕΡΙΕΧΟΜΕΝΑ Πρόλογος

iii ΠΕΡΙΕΧΟΜΕΝΑ Πρόλογος iii ΠΕΡΙΕΧΟΜΕΝΑ Πρόλογος xi 1 Αντικείμενα των Πιθανοτήτων και της Στατιστικής 1 1.1 Πιθανοτικά Πρότυπα και Αντικείμενο των Πιθανοτήτων, 1 1.2 Αντικείμενο της Στατιστικής, 3 1.3 Ο Ρόλος των Πιθανοτήτων

Διαβάστε περισσότερα

Παντελής Μπουμπούλης, M.Sc., Ph.D. σελ. 2 math-gr.blogspot.com, bouboulis.mysch.gr

Παντελής Μπουμπούλης, M.Sc., Ph.D. σελ. 2 math-gr.blogspot.com, bouboulis.mysch.gr VI Ολοκληρώματα Παντελής Μπουμπούλης, MSc, PhD σελ mth-grlogspotcom, ououlismyschgr ΜΕΡΟΣ Αρχική Συνάρτηση Ορισμός Έστω f μια συνάρτηση ορισμένη σε ένα διάστημα Δ Αρχική συνάρτηση ή παράγουσα της στο Δ

Διαβάστε περισσότερα

ΒΙΟΓΡΑΦΙΚΟ ΣΗΜΕΙΩΜΑ ΣΤΥΛΙΑΝΗΣ Κ. ΣΟΦΙΑΝΟΠΟΥΛΟΥ Αναπληρώτρια Καθηγήτρια. Τµήµα Τεχνολογίας & Συστηµάτων Παραγωγής.

ΒΙΟΓΡΑΦΙΚΟ ΣΗΜΕΙΩΜΑ ΣΤΥΛΙΑΝΗΣ Κ. ΣΟΦΙΑΝΟΠΟΥΛΟΥ Αναπληρώτρια Καθηγήτρια. Τµήµα Τεχνολογίας & Συστηµάτων Παραγωγής. ΒΙΟΓΡΑΦΙΚΟ ΣΗΜΕΙΩΜΑ ΣΤΥΛΙΑΝΗΣ Κ. ΣΟΦΙΑΝΟΠΟΥΛΟΥ Αναπληρώτρια Καθηγήτρια Τµήµα Τεχνολογίας & Συστηµάτων Παραγωγής Πανεπιστήµιο Πειραιώς, Καραολή ηµητρίου 80, 18534 Πειραιάς Τηλ. 210 414-2147, e-mail: sofianop@unipi.gr

Διαβάστε περισσότερα

Μαρκοβιανές Αλυσίδες

Μαρκοβιανές Αλυσίδες Μαρκοβιανές Αλυσίδες { θ * } Στοχαστική Ανέλιξη είναι μια συλλογή τ.μ. Ο χώρος Τ (συνήθως είναι χρόνος) μπορεί να είναι είτε διακριτός είτε συνεχής και καλείται παραμετρικός χώρος. Το σύνολο των δυνατών

Διαβάστε περισσότερα

ΜΑΘΗΜΑΤΙΚΑ Θετικής & Τεχνολογικής Κατεύθυνσης Β ΜΕΡΟΣ (ΑΝΑΛΥΣΗ) ΚΕΦ 1 ο : Όριο Συνέχεια Συνάρτησης

ΜΑΘΗΜΑΤΙΚΑ Θετικής & Τεχνολογικής Κατεύθυνσης Β ΜΕΡΟΣ (ΑΝΑΛΥΣΗ) ΚΕΦ 1 ο : Όριο Συνέχεια Συνάρτησης ΜΑΘΗΜΑΤΙΚΑ Θετικής & Τεχνολογικής Κατεύθυνσης Β ΜΕΡΟΣ (ΑΝΑΛΥΣΗ) ΚΕΦ ο : Όριο Συνέχεια Συνάρτησης Φυλλάδιο Φυλλάδι555 4 ο ο.α) ΕΝΝΟΙΑ ΣΥΝΑΡΤΗΣΗΣ - ΓΡΑΦΙΚΗ ΠΑΡΑΣΤΑΣΗ.α) ΕΝΝΟΙΑ ΣΥΝΑΡΤΗΣΗΣ - ΓΡΑΦΙΚΗ ΠΑΡΑΣΤΑΣΗ

Διαβάστε περισσότερα

= x. = x1. math60.nb

= x. = x1. math60.nb MH ΓΡΑΜΜΙΚΑ ΑΥΤΟΝΟΜΑ ΥΝΑΜΙΚΑ ΣΥΣΤΗΜΑΤΑ ΙΑΣΤΑΣΕΩΝ Χώρος Φάσεων : Επίπεδο (, Φασικές Τροχιές : Επίπεδες µονοπαραµετρικές καµπύλες (t (t χωρίς εγκάρσιες τοµές. Οι φασικές τροχιές µπορούν να υπολογιστούν από

Διαβάστε περισσότερα

Περιεχόμενα. Κεφάλαιο 1 ΣΥΣΤΗΜΑΤΑ ΣΥΝΤΕΤΑΓΜΕΝΩΝ ΣΕ ΜΙΑ ΕΥΘΕΙΑ... 13 1.1 Οι συντεταγμένες ενός σημείου...13 1.2 Απόλυτη τιμή...14

Περιεχόμενα. Κεφάλαιο 1 ΣΥΣΤΗΜΑΤΑ ΣΥΝΤΕΤΑΓΜΕΝΩΝ ΣΕ ΜΙΑ ΕΥΘΕΙΑ... 13 1.1 Οι συντεταγμένες ενός σημείου...13 1.2 Απόλυτη τιμή...14 Περιεχόμενα Κεφάλαιο 1 ΣΥΣΤΗΜΑΤΑ ΣΥΝΤΕΤΑΓΜΕΝΩΝ ΣΕ ΜΙΑ ΕΥΘΕΙΑ... 13 1.1 Οι συντεταγμένες ενός σημείου...13 1.2 Απόλυτη τιμή...14 Κεφάλαιο 2 ΣΥΣΤΗΜΑΤΑ ΣΥΝΤΕΤΑΓΜΕΝΩΝ ΣΕ ΕΝΑ ΕΠΙΠΕΔΟ 20 2.1 Οι συντεταγμένες

Διαβάστε περισσότερα

ΜΑΘΗΜΑΤΙΚΑ & ΣΤΟΙΧΕΙΑ ΣΤΑΤΙΣΤΙΚΗΣ ΓΕΝΙΚΗΣ ΠΑΙ ΕΙΑΣ 2010 ΕΚΦΩΝΗΣΕΙΣ

ΜΑΘΗΜΑΤΙΚΑ & ΣΤΟΙΧΕΙΑ ΣΤΑΤΙΣΤΙΚΗΣ ΓΕΝΙΚΗΣ ΠΑΙ ΕΙΑΣ 2010 ΕΚΦΩΝΗΣΕΙΣ ΜΑΘΗΜΑΤΙΚΑ & ΣΤΟΙΧΕΙΑ ΣΤΑΤΙΣΤΙΚΗΣ ΓΕΝΙΚΗΣ ΠΑΙ ΕΙΑΣ 00 ΕΚΦΩΝΗΣΕΙΣ ΘΕΜΑ Α Α. Έστω t, t,..., t ν οι παρατηρήσεις µιας ποσοτικής µεταβλητής Χ ενός δείγµατος µεγέθους ν, που έχουν µέση τιµή x. Σχηµατίζουµε

Διαβάστε περισσότερα

e-mail@p-theodoropoulos.gr

e-mail@p-theodoropoulos.gr Ασκήσεις Μαθηµατικών Κατεύθυνσης Γ Λυκείου Παναγιώτης Λ. Θεοδωρόπουλος Σχολικός Σύµβουλος Μαθηµατικών e-mail@p-theodoropoulos.gr Στην εργασία αυτή ξεχωρίζουµε και µελετάµε µερικές περιπτώσεις ασκήσεων

Διαβάστε περισσότερα

ΠΑΝΕΠΙΣΤΗΜΙΟ ΑΙΓΑΙΟΥ ΕΡΓΑΛΕΙΑ ΙΟΙΚΗΣΗΣ ΜΕΤΑΠΤΥΧΙΑΚΟ ΠΡΟΓΡΑΜΜΑ ΣΠΟΥ ΩΝ ΜΑΘΗΜΑ: ΙΟΙΚΗΣΗ ΕΠΙΧΕΙΡΗΣΕΩΝ

ΠΑΝΕΠΙΣΤΗΜΙΟ ΑΙΓΑΙΟΥ ΕΡΓΑΛΕΙΑ ΙΟΙΚΗΣΗΣ ΜΕΤΑΠΤΥΧΙΑΚΟ ΠΡΟΓΡΑΜΜΑ ΣΠΟΥ ΩΝ ΜΑΘΗΜΑ: ΙΟΙΚΗΣΗ ΕΠΙΧΕΙΡΗΣΕΩΝ ΠΑΝΕΠΙΣΤΗΜΙΟ ΑΙΓΑΙΟΥ ΤΜΗΜΑ ΜΗΧΑΝΙΚΩΝ ΠΛΗΡΟΦΟΡΙΑΚΩΝ ΚΑΙ ΕΠΙΚΟΙΝΩΝΙΑΚΩΝ ΣΥΣΤΗΜΑΤΩΝ ΜΕΤΑΠΤΥΧΙΑΚΟ ΠΡΟΓΡΑΜΜΑ ΣΠΟΥ ΩΝ ΙΟΙΚΗΣΗ ΠΛΗΡΟΦΟΡΙΑΚΩΝ ΣΥΣΤΗΜΑΤΩΝ ΜΑΘΗΜΑ: ΙΟΙΚΗΣΗ ΕΠΙΧΕΙΡΗΣΕΩΝ ΕΡΓΑΛΕΙΑ ΙΟΙΚΗΣΗΣ ιδάσκων:

Διαβάστε περισσότερα

Ακρότατα πραγματικών συναρτήσεων

Ακρότατα πραγματικών συναρτήσεων Ακρότατα πραγματικών συναρτήσεων Ορισμός Έστω U R, U και f : U R R συνάρτηση τότε: )Το λέγεται τοπικό ελάχιστο της f αν υπάρχει περιοχή V του ώστε f f για κάθε V U Το λέγεται τοπικό μέγιστο της f αν υπάρχει

Διαβάστε περισσότερα