Επαγωγικές Μηχανές Διανυσμάτων Στήριξης και εφαρμογή σε προβλήματα ταξινόμησης

Μέγεθος: px
Εμφάνιση ξεκινά από τη σελίδα:

Download "Επαγωγικές Μηχανές Διανυσμάτων Στήριξης και εφαρμογή σε προβλήματα ταξινόμησης"

Transcript

1 ΑΡΙΣΤΟΤΕΛΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΟΝΙΚΗΣ ΤΜΗΜΑ ΗΛΕΚΤΡΟΛΟΓΩΝ ΜΗΧΑΝΙΚΩΝ ΚΑΙ ΜΗΧΑΝΙΚΩΝ ΥΠΟΛΟΓΙΣΤΩΝ ΤΟΜΕΑΣ ΗΛΕΚΤΡΟΝΙΚΗΣ ΚΑΙ ΗΛΕΚΤΡΟΝΙΚΩΝ ΥΠΟΛΟΓΙΣΤΩΝ ΔΙΠΛΩΜΑΤΙΚΗ ΕΡΓΑΣΙΑ Επαγωγικές Μηχανές Διανυσμάτων Στήριξης και εφαρμογή σε προβλήματα ταξινόμησης Θωμαΐδης Παναγιώτης Καρλαύτης Βασίλειος Μισάκ Επιβλέπων: Θεοχάρης Ιωάννης, Καθηγητής ΑΠΘ Θεσσαλονίκη, Ιούνιος 2011

2 2 ΠΕΡΙΕΧΟΜΕΝΑ Περίληψη 3 Κεφάλαιο 1 Εισαγωγή 4 Κεφάλαιο 2 Μηχανές Διανυσμάτων Στήριξης Γραμμικές Μηχανές Διανυσμάτων Στήριξης Μη διαχωρίσιμη μορφή των Μηχανών Διανυσμάτων Στήριξης Μη γραμμικές Μηχανές Διανυσμάτων Στήριξης 17 ΚΕΦΑΛΑΙΟ 3 Επαγωγικές Μηχανές Διανυσμάτων Στήριξης Εισαγωγή Αλγόριθμος Δυαδικά προβλήματα Προβλήματα Πολλών Κλάσεων 29 ΚΕΦΑΛΑΙΟ 4 Πειραματικά Αποτελέσματα Περιγραφή του Υλοποιημένου Αλγόριθμου Πειραματική διαδικασία Αποτελέσματα σε προβλήματα δύο κλάσεων Αποτελέσματα σε προβλήματα πολλών κλάσεων 80 ΚΕΦΑΛΑΙΟ 5 Συμπεράσματα 100 ΒΙΒΛΙΟΓΡΑΦΙΑ 103

3 3 ΠΕΡΙΛΗΨΗ Στην παρούσα εργασία ασχολούμαστε με την χρησιμότητα των Επαγωγικών Μηχανών Διανυσμάτων Στήριξης στην επίλυση προβλημάτων ταξινόμησης. Για την εξαγωγή συμπερασμάτων σχετικά με την λειτουργία τους, παρουσιάζουμε τα αποτελέσματα του αλγορίθμου που υλοποιήσαμε για την μέθοδο αυτή σε πληθώρα προβλημάτων, δύο και περισσοτέρων κλάσεων. Για την καλύτερη κατανόηση του θέματος, στα πρώτα κεφάλαια γίνεται η εισαγωγή στο πρόβλημα της ταξινόμησης και των Μηχανών Διανυσμάτων Στήριξης και περιγράφεται βήμα βήμα η λειτουργία του αλγορίθμου που υλοποιήθηκε και εφαρμόστηκε στα προβήματα που παρουσιάζονται στο κεφάλαιο 4. Αρχικά, στο κεφάλαιο 1 γίνεται η εισαγωγή στο πρόβλημα της ταξινόμησης και της χρησιμότητας των Μηχανών Διανυσμάτων Στήριξης για την επίλυσή του. Στο κεφάλαιο 2 παρουσιάζεται αναλυτικά η θεωρία των Μηχανών Διανυσμάτων Στήριξης, ενώ στο κεφάλαιο 3 επεκτείνεται η προηγούμενη θεωρία για την περίπτωση των Επαγωγικών Μηχανών Διανυσμάτων Στήριξης και εξηγείται η λειτουργία του αλγορίθμου που αναφέρεται στο [3] και ήταν η βάση και του αλγορίθμου που υλοποιήσαμε. Στην συνέχεια στο κεφάλαιο 4, στο πρώτο μέρος παρουσιάζεται ο αλγόριθμος που υλοποιήσαμε και η πειραματική διαδικασία που ακολουθήθηκε για την εξαγωγή των αποτελεσμάτων σε διάφορα προβλήματα ταξινόμησης. Στο δεύτερο μέρος του κεφαλαίο αυτού παρουσιάζονται αναλυτικά τα αποτελέσματα του αλγορίθμου σε 5 προβλήματα δύο κλάσεων και 4 προβλήματα πολλών κλάσεων μέσω πινάκων και γραφημάτων. Τέλος, στο κεφάλαιο 5 περιγράφονται τα συμπεράσματά μας από την υλοποίηση και χρήση των Επαγωγικών Μηχανών Διανυσμάτων Στήριξης και τα προβλήματα που αντιμετωπίσαμε.

4 4 ΚΕΦΑΛΑΙΟ 1 ΕΙΣΑΓΩΓΗ Η αναγνώριση προτύπων ή ταξινόμηση (classification) ορίζει μια κατηγορία προβλημάτων και αλγορίθμων στον γενικότερο τομέα της υπολογιστικής νοημοσύνης και της μηχανικής μάθησης. Αναφέρεται σε έναν συγκεκριμένο τύπο προβλημάτων που περιλαμβάνουν κάποια δείγματα τα οποία μπορεί να είναι στιγμιότυπα κάποιας διαδικασίας ή καταστάσεις ή περιγραφές κάποιων αντικειμένων κτλ, τα οποία είναι διαχωρισμένα σε κατηγορίες ομάδες πρότυπα που ονομάζονται κλάσεις. Ο στόχος των μεθόδων και των αλγόριθμων της αναγνώρισης προτύπων είναι να κατασκευαστεί ένα μοντέλο το οποίο θα έχει την ικανότητα, δοθέντος ενός δείγματος, να αναγνωρίζει σε ποια κλάση ανήκει. Το σημαντικότερο χαρακτηριστικό που πρέπει να έχει το μοντέλο είναι η ικανότητά του να γενικεύει. Αυτό σημαίνει ότι απαιτούμε από το μοντέλο να ταξινομεί σωστά ακόμα και δείγματα που δεν χρησιμοποιήθηκαν για την κατασκευή του. Αυτό απαιτεί φυσικά να υπάρχει κάποιας μορφής συσχέτιση ανάμεσα στα δείγματα που ανήκουν στην ίδια κλάση που θα τα διαχωρίζει από δείγματα που ανήκουν σε άλλες κλάσεις. Υπάρχουν τρεις κύριες προσεγγίσεις για την στρατηγική κατασκευής του μοντέλου. Η πρώτη προσέγγιση ονομάζεται supervised learning και χρησιμοποιεί για την κατασκευή ένα πλήθος δειγμάτων με γνωστή ετικέτα. Η δεύτερη ονομάζεται unsupervisedlearning, στην οποία επιχειρείται ο διαχωρισμός των δειγμάτων σε κλάσεις σύμφωνα με την στατιστική τους κατανομή. Η τρίτη ονομάζεται semi supervisedlearning, στην οποία επιχειρείται ένας συγκερασμός των δύο προηγούμενων μεθόδων. Στους αλγόριθμους supervised learning χρειάζεται αρχικά ένα πλήθος δειγμάτων με γνωστή την κλάση που ανήκουν (δείγματα εκπαίδευσης), από τα οποία ο αλγόριθμος εξάγει την πληροφορία που χρειάζεται ώστε να χτίσει το μοντέλο. Με βάση το μοντέλο αυτό μπορεί να γίνεται η ταξινόμηση και νέων,

5 5 άγνωστων από πριν δειγμάτων. Η λειτουργία ενός αλγόριθμου ταξινόμησης μπορεί να διακριθεί σε δύο φάσεις, οι οποίες μπορεί και να επικαλύπτονται. Η πρώτη λέγεται φάση της εκπαίδευσης και η δεύτερη φάση του ελέγχου. Κατά τη διαδικασία της εκπαίδευσης τα δείγματα κωδικοποιούνται ως διανύσματα για να είναι δυνατή η μαθηματική επίλυση του προβλήματος. Στη συνέχεια, τα δείγματα παρουσιάζονται στον αλγόριθμο ο οποίος κατασκευάζει μια μαθηματική περιγραφή ενός μοντέλου. Ο στόχος είναι το μοντέλο που θα δημιουργηθεί με βάση τα δεδομένα εκπαίδευσης, να κάνει ακριβείς προβλέψεις όταν δοθούν νέα, άγνωστα δείγματα στον αλγόριθμο, τα δείγματα ελέγχου (testing samples) x, και να βρεθούν οι σωστές ετικέτες y, δηλαδή να γίνει σωστή ταξινόμησή τους. Κατά την δημιουργία ενός τέτοιου αλγόριθμου, για να ελεγθεί η απόδοσή του, τα διαθέσιμα δεδομένα χωρίζονται σε δείγματα εκπαίδευσης (που αναφέρθηκαν παραπάνω) και σε δείγματα ελέγχου. Τα δείγματα ελέγχου δεν παρουσιάζονται στον αλγόριθμο κατά την δημιουργία του μοντέλου, αλλά χρησιμοποιούνται για να ελεγχθεί κατά πόσον το μοντέλο προβλέπει τις σωστές ετικέτες. Σε αυτή την εργασία πραγματευόμαστε μια κατηγορία αλγορίθμων που ονομάζονται Μηχανές Διανυσμάτων Στήριξης (Support Vector Machines) και πιο συγκεκριμένα μια επέκταση αυτών που ονομάζονται Επαγωγικές Μηχανές Διανυσμάτων Στήριξης (Transductive Support Vector Machines). Τα Support Vector Machines, ή SVMs για συντομία, αποτελούν μια οικογένεια αλγορίθμων που χρησιμοποιούνται για την επίλυση προβλημάτων ταξινόμησης και προβλημάτων προσέγγισης συνάρτησης (regression). Εδώ θα ασχοληθούμε με την πρώτη τους λειτουργία. Επίσης, στην βασική τους μορφή, ανήκουν στην κατηγορία των αλγόριθμων που εκτελούν supervised learning. Αντίθετα, η Επαγωγική Μηχανή Διανυσμάτων Στήριξης που αναπτύσσουμε σε αυτήν την εργασία ανήκει στην κατηγορία semi supervised learning. Η διαφορά των SVMs από άλλους αλγόριθμους ταξινόμησης έγκειται στο ότι βρίσκουν το βέλτιστο με στατιστική έννοια μοντέλο διαχωρισμού των κλάσεων αντί να βρουν ένα οποιοδήποτε μοντέλο. Ένα σοβαρό μειονέκτημα των supervised learning αλγορίθμων, που περιορίζει κάπως την χρησιμότητά τους σε πρακτικά προβλήματα, είναι το γεγονός

6 6 ότι χρειάζονται έναν ικανό αριθμό δειγμάτων για την εκπαίδευσή τους, δηλαδή για την δημιουργία του μοντέλου. Στον πραγματικό κόσμο, πολλές φορές, είναι δύσκολο να βρεθούν και να κατασκευαστούν αυτά τα δείγματα εκπαίδευσης και κυρίως να αντιστοιχηθούν σε ετικέτες αφού χρειάζεται να γίνει από τον χρήστη του συστήματος. Αντίθετα, δείγματα χωρίς ετικέτα συνήθως αφθονούν. Λόγω της δυσκολίας αυτής να βρεθούν δείγματα εκπαίδευσης, έχει αναπτυχθεί μια άλλη κατηγορία μεθόδων ταξινόμησης που ονομάζεται semi supervised learning. Οι αλγόριθμοι που ανήκουν σε αυτήν την κατηγορία χρησιμοποιούν την πληροφορία που περιέχεται στα δεδομένα με ετικέτα, αλλά επιπλέον χρησιμοποιούν και ό,τι πληροφορία μπορούν να εξάγουν από ένα πλήθος δειγμάτων χωρίς ετικέτα. Εκμεταλλεύονται δηλαδή την κατανομή αυτών των δειγμάτων για να βελτιώσουν τα μοντέλα που κατασκευάζουν. Έτσι καθίσταται δυνατό να κατασκευαστούν μοντέλα διαχωρισμού που προσεγγίζουν αυτά που θα κατασκευάζονταν αν ο αλγόριθμος γνώριζε όλες τις ετικέτες. Στην παρούσα εργασία επιχειρήσαμε την κατασκευή ενός semi supervised αλγόριθμου που χρησιμοποιεί σαν βασική μονάδα κατασκευής μοντέλων ένα SVM. Ο αλγόριθμος ονομάζεται TSVM (Transductive Support Vector Machine). Σαν βάση χρησιμοποιήσαμε τον αλγόριθμο που περιγράφεται στο [3]. Στο [3] ο αλγόριθμος χρησιμοποιείται για να λυθεί ένα πρόβλημα remote sensing με ικανοποιητικά αποτελέσματα. Στην εργασία μας υλοποιήσαμε τον αλγόριθμο και ελέγξαμε την απόδοσή του σε μια πληθώρα προβλημάτων για να ελεγθεί η ικανότητα γενίκευσής του. Κάναμε δοκιμές σε προβλήματα δύο κλάσεων, όπως επίσης και προβλήματα πολλών κλάσεων.

7 7 ΚΕΦΑΛΑΙΟ 2 Μηχανές Διανυσμάτων Στήριξης (Support Vector Machines) 2.1. Γραμμικές Μηχανές Διανυσμάτων Στήριξης Σε αυτήν την ενότητα παρουσιάζεται ο αλγόριθμος για την πιο απλή μορφή του προβλήματος ταξινόμησης και στις επόμενες παρουσιάζονται κατάλληλες γενικεύσεις ώστε ο αλγόριθμος να μπορεί να αντιμετωπίσει πιο σύνθετα προβλήματα. Η απλούστερη περίπτωση σε ένα πρόβλημα ταξινόμησης, όσον αφορά τον αριθμό των κλάσεων, είναι η ταξινόμηση σε δύο κλάσεις (binary classification) ενώ όσον αφορά τις ιδιότητες του μοντέλου, ο πιο απλός τρόπος διαχωρισμού είναι μέσω μιας γραμμικής εξίσωσης. Ακόμα πιο ειδικά, έστω ότι το πρόβλημα είναι διαχωρίσιμο. Υπάρχει δηλαδή κάποια γραμμική εξίσωση η οποία διαχωρίζει όλα τα δείγματα σωστά στις κλάσεις που ανήκουν. Στο σχήμα 2.1 φαίνεται ένα παράδειγμα δυαδικού προβλήματος που μπορεί να λυθεί με μια γραμμική εξίσωση και στο σχήμα 2.2 μια πιθανή λύση του. Σχήμα 2.1 Παράδειγμα ενός γραμμικού, διαχωρίσιμου προβλήματος ταξινόμησης.

8 8 Μαθηματικά, το πρόβλημα της ταξινόμησης μπορεί να κωδικοποιηθεί ως εξής: Δίνονται διανύσματα x i και σε κάθε διάνυσμα αντιστοιχίζεται μια ετικέτα που αντιπροσωπεύει την κλάση στην οποία ανήκει. Για παράδειγμα έστω ότι υπάρχουν δύο μόνο κλάσεις, με ετικέτες +1 και 1, τότε τα ζευγάρια (δείγμα,κλάση) θα έχουν τη μορφή: y i ( 1, 1),...( m, m) x y x y X {±1} (2.1) Έστω ότι το πρόβλημα ορίζεται σε κάποιο χώρο όπου έχει οριστεί το εσωτερικό γινόμενο, για παράδειγμα τον Ευκλείδιο. Τότε, η εξίσωση μιας γραμμικής εξίσωσης διαχωρισμού έχει την μορφή: f ( x) = ( w x) + b (2.2) η οποία ορίζει ένα επίπεδο σε αυτόν τον χώρο, όπως φαίνεται στο σχήμα 2.2. Σχήμα 2.2 Μια πιθανή λύση του προβλήματος στο σχήμα 2.1. Ο διαχωρισμός σε δύο κλάσεις γίνεται με βάση το πρόσημο της f ( x ), δηλαδή (στην περίπτωση που επιλέξαμε τις τιμές +1 και 1 για τις ετικέτες): ( w xi) + b> 0, yi = + 1 (2.3) ( w xi) + b< 0, yi = 1 (2.4)

9 9 ή y = sign(( w x) + b) (2.5) Η επιφάνεια που ορίζεται από την σχέση y = 0 ονομάζεται διαχωριστική επιφάνεια ή επίπεδο διαχωρισμού (separating hyperplane) και διαμερίζει τον χώρο σε δύο μέρη που αντιστοιχούν στις δύο κλάσεις. Το πρόσημο της εξίσωσης διαχωρισμού, συνάρτηση (2.5), εκφράζει σε ποιο από αυτά τα δύο μέρη βρίσκεται το δείγμα. Περιθώριο (margin): Κατά την κατασκευή ενός αλγορίθμου ταξινόμησης κάνουμε την υπόθεση ότι τα δείγματα που ανήκουν στην ίδια κλάση βρίσκονται πιο κοντά μεταξύ τους (με κάποιο μέτρο απόστασης στο χώρο που ανήκουν). Αυτό σημαίνει ότι προβλέπουμε ότι οι πιθανές θέσεις των νέων δειγμάτων, που θα παρουσιαστούν στο μοντέλο στη φάση του ελέγχου, θα δίνονται από κάποια στατιστική κατανομή που θα δίνει μεγαλύτερη πιθανότητα εμφάνισης κοντά στα υπόλοιπα δείγματα της κλάσης που ανήκουν και χαμηλότερη κοντά σε δείγματα άλλων κλάσεων. Η έννοια του περιθωρίου ορίζεται για να δοθεί ένα κριτήριο για την επιφάνεια διαχωρισμού που θα λαμβάνει υπ οψιν όσα αναφέρθηκαν παραπάνω. Ονομάζουμε d + την ελάχιστη απόσταση των δειγμάτων της κλάσης με ετικέτα y =+ 1 από την διαχωριστική επιφάνεια. Το d + δηλαδή εκφράζει την απόσταση ανάμεσα στην διαχωριστική επιφάνεια και στο δείγμα της κλάσης +1 που βρίσκεται πιο κοντά στην επιφάνεια. Αντίστοιχα προκύπτει και το d ως η ελάχιστη απόσταση ανάμεσα στην διαχωριστική επιφάνεια και την κλάση με ετικέτα y = 1. Τότε το περιθώριο ορίζεται ως το άθροισμα d + + d και είναι ένα μέτρο της εγγύτητας των δειγμάτων των δύο κλάσεων στον χώρο. Ο στόχος είναι να αυξήσουμε αυτήν την απόσταση όσο γίνεται περισσότερο ώστε να μειωθεί η πιθανότητα νέα δείγματα κάποιας κλάσης να βρεθούν στην άλλη πλευρά της διαχωριστικής επιφάνειας και να ταξινομηθούν λανθασμένα. Θέλουμε δηλαδή το περιθώριο να γίνει μέγιστο. Ο τρόπος που γίνεται αυτό θα φανεί παρακάτω.

10 10 Η συνθήκη διαχωρισμού που εκφράστηκε παραπάνω μπορεί να γίνει πιο αυστηρή ώστε να απαιτηθεί να ισχύουν οι σχέσεις: ( w xi) + b +1, yi = + 1 (2.6) ( w xi) + b 1, yi = 1 (2.7) (Αυτό είναι δυνατόν να επιτευχθεί με κατάλληλη επιλογή των w και b της εξίσωσης της διαχωριστικής επιφάνειας εφ όσον το πρόβλημα είναι γραμμικά διαχωρίσιμο.) Με βάση αυτές τις συνθήκες κατασκευάζεται το βέλτιστο επίπεδο διαχωρισμού. Θεωρώντας τα σημεία για τα οποία ισχύουν οι ισότητες στις παραπάνω εξισώσεις έχουμε τον ορισμό ακόμα δύο επιφανειών, εκατέρωθεν της επιφάνειας διαχωρισμού και παράλληλες με αυτήν, που δίνονται από τις εξισώσεις: ( w xi) + b=+1, yi =+ 1 (2.8) ( w xi) + b= 1, yi = 1 (2.9) Η κάθετη απόσταση της διαχωριστικής επιφάνειας από το 0 είναι b w. Ενώ η κάθετη απόσταση των επιφανειών που ορίζονται από τις παραπάνω ισότητες είναι αντίστοιχα 1 b w και 1 b, και εφ όσον (σύμφωνα με την επιλογή των w και b ) w τα σημεία των δύο κλάσεων που βρίσκονται εγγύτερα στην διαχωριστική επιφάνεια βρίσκονται ακριβώς πάνω σε αυτές τις επιφάνειες, το περιθώριο (margin) ισούται με 2 w. Παρατηρούμε από την τελευταία σχέση ότι το περιθώριο είναι αντιστρόφως ανάλογο του w. Με βάση τα παραπάνω μπορεί να οριστεί το πρόβλημα εύρεσης της βέλτιστης διαχωριστικής επιφάνειας σαν ένα πρόβλημα βελτιστοποίησης ως εξής:

11 Ελαχιστοποίησε ως προς w την: 2 w (2.10) υπό τις συνθήκες ( w xi) + b +1 για yi =+ 1, i ( w xi) + b 1 για yi = 1, i (Επιλέγεται η w αντί του w για να διευκολυνθεί η επίλυση του προβλήματος.) Πολλαπλασιαστές Lagrange: Μπορούμε αρχικά να εκφράσουμε τις συνθήκες του προβλήματος βελτιστοποίησης (2.10) σαν ανισότητες με το 0 στην μία πλευρά, δηλαδή: ( w xi) + b 1 0 για yi = + 1, i (2.11) ( w xi) + b+ 1 0για yi = 1, i (2.12) ή yi(( w xi) + b) 1 0 (2.13) Τότε, από την θεωρία βελτιστοποίησης προκύπτει η Λαγκρανζιανή (Lagrangian) ως: 1 L w ay( w x + b) + a 2 l l 2 P i i i i (2.14) i= 1 i= 1 όπου a i είναι οι πολλαπλασιαστές Lagrange. Tο σχετικό πρόβλημα βελτιστοποίησης ορίζεται ως εξής: Ελαχιστοποίησε την: 1 L w ay( x w+ b) + a 2 l l 2 P i i i i (2.15) i= 1 i= 1 και ταυτόχρονα απαιτούμε να μηδενιστούν οι παράγωγοι της υπό την συνθήκη: ai 0. L P ως προς τα a i Η παραπάνω ονομάζεται κύρια μορφή του προβλήματος βελτιστοποίησης (primal form).

12 12 Δυαδική μορφή (dual form): Από την κύρια μορφή (2.15) μπορεί να οριστεί το λεγόμενο δυαδικό πρόβλημα. Η δυαδική μορφή είναι η εξής: Μεγιστοποίησε ως προς a i την: 1 L w ay x w b a l l 2 P i i( i + ) + i 2 i= 1 i= 1 απαιτώντας ταυτόχρονα να μηδενιστούν παράγωγοι της υπό την συνθήκη: ai 0 (2.16) L P ως προς τα w και b. Αυτός ο ορισμός του προβλήματος ονομάζεται και Wolfe dual και οι λύσεις του για τα w, b και a i είναι ίδιες με τις λύσεις που θα προέκυπταν αν είχε λυθεί το αρχικό πρόβλημα. Η απαίτηση να μηδενιστεί η παράγωγος της παρακάτω σχέσεις: L P ως προς τα w και b δίνει τις w = ayx i i i (2.17) i και ay i i= 0 (2.18) i Με αντικατάσταση των δύο τελευταίων σχέσεων στο δυαδικό πρόβλημα βελτιστοποίησης, αυτό παίρνει την εξής μορφή: Μεγιστοποίησε την: 1 LD ai aayy i j i j( xi xj) 2 (2.19) i i, j υπό την συνθήκη: ai 0 Στο δυαδικό πρόβλημα βελτιστοποίησης (2.19) φαίνεται ότι σε κάθε δείγμα εκπαίδευσης αντιστοιχίζεται ένας συντελεστής a i. Παρατηρούμε όμως ότι στο άθροισμα συνεισφέρουν μόνο δείγματα με a i > 0, ενώ για όσα ισχύει a i = 0 δεν συνεισφέρουν στο τελικό αποτέλεσμα. Τα δείγματα με a i > 0 ονομάζονται Διανύσματα Στήριξης (Support Vectors). Αυτά τα σημεία βρίσκονται εγγύτερα στην διαχωριστική επιφάνεια και είναι αυτά που καθορίζουν αποκλειστικά την μορφή της. Αυτό σημαίνει ότι τα δείγματα που δεν είναι support vectors ακόμα και αν

13 13 αφαιρεθούν ή αλλάξουν θέση, η διαχωριστική επιφάνεια που θα προκύψει θα είναι η ίδια. Μια τελευταία παρατήρηση είναι ότι αυτή η σχέση εξαρτάται μόνο από τα εσωτερικά γινόμενα ανάμεσα στα σημεία, κάτι που θα επιτρέψει στη συνέχεια να γενικευτεί ο αλγόριθμος για να μπορεί να χειριστεί και μη γραμμικά μοντέλα. Εύρεση της βέλτιστης επιφάνειας διαχωρισμού: Η διαδικασία κατασκευής της επιφάνειας διαχωρισμού είναι η λύση του τελευταίου προβλήματος βελτιστοποίησης (2.19) για την εύρεση των βέλτιστων συντελεστών του w. a i και η αντικατάστασή τους στη σχέση (2.17) για να προκύψει η τιμή Η τιμή του b προκύπτει από τις συνθήκες του αρχικού προβλήματος βελτιστοποίησης, δηλαδή τις: yi(( w xi) + b) 1 Στα support vectors, δηλαδή στα σημεία που βρίσκονται ακριβώς πάνω στις επιφάνειες του περιθωρίου, ισχύει η ισότητα, άρα: y (( w x ) + b) = 1 i i ( w x ) + b= i 1 y i 1 b= ( w x i ) (2.20) y i η οποία μπορεί να επιλυθεί για μια οποιαδήποτε τιμή του i που αντιστοιχεί σε support vector ή να λυθεί για πολλές τιμές του i και να υπολογιστεί ο μέσος όρος. Όσα λέχθηκαν παραπάνω αναφέρονται στην φάση της εκπαίδευσης του αλγορίθμου. Η πρόβλεψη της κλάσης ενός δείγματος γίνεται με βάση την συνάρτηση διαχωρισμού (2.5) που επαναλαμβάνεται παρακάτω: y = sgn(( w x) + b)

14 14 και ορίζουμε την συνάρτηση απόφασης, f ( x) = ( w x) + b (2.21) Αν αντικαταστήσουμε σε αυτήν, την τιμή που βρέθηκε για το w, έχουμε: i i i (2.22) i ( ) (, ) f x = a yk x x + b Γενικά, δεν είναι απαραίτητο να βρεθεί η ακριβής μορφή της διαχωριστικής επιφάνειας, μόνο οι συντελεστές a i. Στη συνέχεια, για την πρόβλεψη της κλάσης ενός δείγματος χρησιμοποιείται το πρόσημο της συνάρτησης απόφασης (2.22). Η συνάρτηση απόφασης (2.22) εκφράζει την βεβαιότητα με την οποία το δείγμα ανήκει στην κλάση. Στην συγκεκριμένη περίπτωση που το πρόβλημα είναι διαχωρίσιμο ισχύει: f ( x) 1 όπως όριζαν οι συνθήκες που τέθηκαν στο πρόβλημα βελτιστοποίησης. Αναλογία στη μηχανική: Για μια πιο διαισθητική αντίληψη της λειτουργίας του SVM μπορεί να κατασκευαστεί ένα πρόβλημα μηχανικής που θα έχει άμεση αναλογία με τον αλγόριθμο SVM. Έστω ότι η διαχωριστική επιφάνεια αποτελείται από ένα λεπτό φύλλο και το κάθε διάνυσμα στήριξης σπρώχνει αυτό το φύλλο με δύναμη: F i i i ^ = a y w (2.23) όπου το ^ w δηλώνει το μοναδιαίο διάνυσμα στην κατεύθυνση του w. Τότε η λύση (2.17) για το w ικανοποιεί τις συνθήκες για μηχανική ισσοροπία: Forces = a y w = 0 i i i ^ ^ ^ ^ Torques = s ( a y w) = w w = 0 i i i i για τις δυνάμεις και τις ροπές αντίστοιχα ( s i είναι τα διανύσματα στήριξης). Άρα βλέπουμε ότι αν θεωρήσουμε την αναλογία αυτή, η λύση του SVM, δηλαδή η

15 15 βέλτιστη διαχωριστική επιφάνεια βρίσκεται στο σημείο που θα ισορροπούσε ένα λεπτό φύλλο αν βρισκόταν υπό την επιρροή μηχανικών δυνάμεων της μορφής (2.23). Μια χρήσιμη παρατήρηση που προκύπτει είναι ότι διανύσματα με τιμή του συντελεστή a i = 0 δεν σπρώχνουν την διαχωριστική επιφάνεια, δηλαδή δεν την επηρεάζουν, όπως αναφέρθηκε και παραπάνω. Επίσης διανύσματα με την μεγαλύτερη τιμή για τον συντελεστή a σπρώχνουν περισσότερο την διαχωριστική επιφάνεια, δηλαδή είναι πιο σημαντικά στην διαμόρφωση του μοντέλου. Αυτή η αναλογία συνεχίζει να ισχύει και για την μη διαχωρισίμη μορφή, που θα παρουσιαστεί παρακάτω, αλλά και για την μη γραμμική μορφή του SVM. Ακολουθούν δύο γενικεύσεις που αποτελούν την δύναμη των SVMs και του επιτρέπουν να λύνει και γενικότερα προβλήματα από τα γραμμικά και διαχωρίσιμα. 2.2 Μη διαχωρίσιμη μορφή των Μηχανών Διανυσμάτων Στήριξης Η πρώτη γενίκευση αφορά την ικανότητα των SVMs να χειριστούν μη διαχωρίσιμα προβλήματα. Επιτρέπει επίσης να γίνει ένας συμβιβασμός ανάμεσα στην απόδοση του αλγορίθμου ως προς τον διαχωρισμό και στην ικανότητα του μοντέλου να γενικεύει καλά σε άγνωστα δείγματα. Αυτό γίνεται με την εισαγωγή κάποιων μεταβλητών που ονομάζονται μεταβλητές χαλαρότητας (slack variables) ξ i στις συνθήκες του προβλήματος βελτιστοποίησης ώστε να χαλαρώσουν οι περιορισμοί ως εξής: ( w xi) + b +1 ξ, i yi = + 1, i (2.24) ( w xi) + b 1+ξ, i yi = 1, i (2.25) ξi 0 Οι μεταβλητές ξ i εκφράζουν την θέση ενός δείγματος σε σχέση με την επιφάνεια διαχωρισμού και τα περιθώρια. Στην προηγούμενη ενότητα εκφράστηκε

16 16 η συνθήκη να βρίσκονται όλα τα δείγματα εκτός της περιοχής ανάμεσα στα περιθώρια. Τα ξ i είναι ένα μέτρο του βαθμού στον οποίο παραβιάζεται αυτή η συνθήκη. Σχήμα 2.3 Γεωμετρική ερμηνεία των παραμέτρων ξ i Για να ληφθούν υπ όψιν και τα ξ i στην συνάρτηση κόστους που δημιουργήθηκε παραπάνω, προστίθεται ένας επιπλέον όρος στην συνάρτηση βελτιστοποίησης (2.10) όπως φαίνεται παρακάτω: 1 2 w 2 i (2.26) i + C ξ όπου C είναι μια παράμετρος που ορίζει ο χρήστης και ορίζει πόσο βάρος θα δοθεί στα σφάλματα σε σχέση με την αύξηση του margin. Η μεταβλητή C λοιπόν εκφράζει σε ποιο βαθμό θα επιτρέπεται στα δείγματα να βρίσκονται εντός της περιοχής ανάμεσα στα όρια του περιθωρίου και πόσο βαθιά μέσα σε αυτήν την περιοχή, δηλαδή πόσο κοντά στην διαχωριστική επιφάνεια. Γενικά ισχύει ότι: μεγαλύτερο C > αυστηρότερος διαχωρισμός (λιγότερα σφάλματα λάθος ταξινομημένα δείγματα) μικρότερο C > πιο χαλαρός διαχωρισμός (περισσότερα σφάλματα λάθος ταξινομημένα δείγματα)

17 17 Στο δυαδικό πρόβλημα βελτιστοποίησης (2.19) οι μεταβλητές ξ i δεν εμφανίζονται στην εξίσωση της βελτιστοποίησης, εμφανίζεται όμως η παράμετρος C σαν άνω όριο στην τιμή των πολλαπλασσιαστών Lagrange a i, δηλαδή: 0 ai C Το τελικό πρόβλημα βελτιστοποίησης έχει την ίδια μορφή, εκφράζεται δηλαδή από την σχέση: 1 LD ai aayy i j i j( xi xj) 2 i i, j με τον περιορισμό 0 ai C. Αυτή η εκδοχή του αλγορίθμου ονομάζεται soft margin classifier, καθώς επιτρέπει δείγματα να βρίσκονται εντός της περιοχής ανάμεσα στην επιφάνεια διαχωρισμού και στις επιφάνειες που ορίζουν το περιθώριο (margin). Σε αντίθεση με τον hard margin classifier που ορίστηκε στην προηγούμενη ενότητα και δεν το επιτρέπει. Να σημειωθεί ότι όσο αυξάνεται η τιμή του συντελεστή C, η λειτουργία του soft margin classifier προσεγγίζει την λειτουργία του hard margin classifier. Τέλος, να αναφέρουμε ότι στον soft margin classifier η συνάρτηση απόφασης μπορεί να πάρει και τιμές μικρότερες της μονάδας. 2.3 Μη γραμμικές Μηχανές Διανυσμάτων Στήριξης Το επόμενο βήμα είναι να δοθεί στα SVMs η δυνατότητα να λειτουργήσουν και για την εύρεση μη γραμμικών επιφανειών διαχωρισμού. Αυτό γίνεται μέσω μιας τεχνικής, η οποία ονομάζεται kernel trick, και εντάσσει τα SVMs στην μεγαλύτερη κατηγορία των kernel machines. Η κύρια ιδέα πίσω από αυτήν την γενίκευση είναι η παρατήρηση ότι στο τελικό πρόβλημα βελτιστοποίησης τα δείγματα εμφανίζονται μόνο μέσω των μεταξύ τους εσωτερικών γινομένων.

18 18 Με απευθείας τρόπο μπορεί να αντικατασταθεί το εσωτερικό γινόμενο με κάποια άλλη συνάρτηση, δηλαδή κάποιον άλλο ορισμό της πράξης του εσωτερικού γινομένου, η οποία μπορεί να είναι μη γραμμική και θα προσδώσει αυτήν την ιδιότητα και στην διαχωριστική επιφάνεια. Οι συναρτήσεις που χρησιμοποιούνται για αυτό το σκοπό ονομάζονται συναρτήσεις πυρήνα (kernel functions). Η νέα μορφή της συνάρτησης βελτιστοποίησης φαίνεται παρακάτω: 1 L a aayyk x x 2 (2.27) D i i j i j ( i, j) i i, j που είναι όμοια με την εξίσωση (2.19) με μόνη διαφορά την προσθήκη της συνάρτησης K. Σχήμα 2.4: Γραφική απεικόνιση της χαρτογράφησης του χώρου L (αριστερά) στον χώρο H (δεξιά) Ερμηνεία της συνάρτησης K : Για μια γεωμετρική ερμηνεία του kernel trick θα πρέπει να διαχωρίσουμε ανάμεσα σε δύο γεωμετρικούς χώρους, τον αρχικό χώρο L στον οποίο βρίσκονται τα δεδομένα, και έναν άλλο χώρο H, στον οποίο έχει οριστεί η πράξη του εσωτερικού γινομένου (μεγαλύτερης συνήθως διάστασης από τον αρχικό). Η μέθοδος που ακολουθείται, για να αποκτήσει ο αλγόριθμος την ικανότητα κατασκευής μη γραμμικών επιπέδων διαχωρισμού, είναι η χαρτογράφηση των δειγμάτων του

19 19 προβλήματος από τον χώρο L στον χώρο H και η επίλυση του προβλήματος ταξινόμησης σε αυτόν τον χώρο με τον κλασσικό αλγόριθμο, άρα και η εύρεση ενός γραμμικού επιπέδου διαχωρισμού στον χώρο H. Το επίπεδο που θα προκύψει με την αντίστροφη χαρτογράφηση θα αντιστοιχεί σε ένα μη γραμμικό επίπεδο διαχωρισμού στον αρχικό χώρο. Αν ονομάσουμε Φ την συνάρτηση της χαρτογράφησης, τα μετασχηματισμένα δείγματα θα έχουν τη μορφή Φ ( xi). Έστω K το εσωτερικό γινόμενο στον χώρο H, τότε: K( xi, xj) = Φ( xi) Φ ( xj) (2.28) Εφ όσον όμως στο πρόβλημα τα δείγματα εμφανίζονται μόνο μέσω εσωτερικών γινομένων, δεν χρειάζεται ο απευθείας υπολογισμός της Φ αλλά μόνο ο υπολογισμός του K, υπό τη συνθήκη φυσικά να υπάρχει κάποια τέτοια συνάρτηση με αυτήν την ιδιότητα. Αυτή είναι η δύναμη του kernel trick, ότι παρέχει την διευκόλυνση να υπολογίζονται εσωτερικά γινόμενα σε χώρους πολλών, ενδεχομένως άπειρων, διαστάσεων χωρίς να απαιτείται ο απευθείας υπολογισμός της χαρτογράφησης. Για να μπορεί μια συνάρτηση να χρησιμοποιηθεί σαν συνάρτηση πυρήνα πρέπει να ισχύει μια συνθήκη που ονομάζεται Mercer s condition. Η συνθήκη έχει ως εξής: Mercer s condition: Υπάρχει χαρτογράφηση K( x, y) =Φ( x) Φ ( y) = Φ( x) Φ( y) αν και μόνο αν για κάθε gx ( ) όπου τότε K( x, y) g( x) g( y) dxdy 0 2 gx ( ) Οι συναρτήσεις που ικανοποιούν τον παραπάνω περιορισμό ονομάζονται και Mercer kernels. Έχει παρατηρηθεί ότι αρκετές φορές η χρήση συναρτήσεων πυρήνα που δεν ικανοποιούν την συνθήκη αυτή λειτουργεί ικανοποιητικά σε πολλά προβλήματα. < k k k

20 20 Παρακάτω φαίνονται οι κυριότερες συναρτήσεις πυρήνα που χρησιμοποιούνται: Ακτινική Συνάρτηση Βάσης (Radial Basis Function ή Gaussian kernel): 2 xi xj 2σ 2 e K( xi, xj) = (2.29) ή e γ 2 xi xj K( xi, xj) = (2.30) Πολυωνυμικός πυρήνας (Polynomial kernel): K( xi, xj) = ( xi xj+ 1) p (2.31) Σιγμοειδής πυρήνας (Hyperbolic Tangent (Sigmoid) kernel): K( xi, xj) = tanh( kxi xj δ ) (2.32) Η επιλογή της συνάρτησης πυρήνα που θα χρησιμοποιηθεί εξαρτάται από το πρόβλημα. Γενικά η συνάρτηση πυρήνα επιλέγεται μέσα από δοκιμές. Όταν δεν υπάρχει προηγούμενη πληροφορία για την στατιστική κατανομή των δεδομένων στο πρόβλημα επιλέγεται συνήθως η Ακτινική Συνάρτηση Βάσης σαν πυρήνας (2.29).

21 21 ΚΕΦΑΛΑΙΟ 3 Επαγωγικές Μηχανές Διανυσμάτων Στήριξης (Transductive Support Vector Machines) 3.1 Εισαγωγή Η Επαγωγική Μηχανή Διανυσμάτων Στήριξης (TSVM) είναι ένας επαναληπτικός αλγόριθμος για τον διαχωρισμό των δειγμάτων δύο κλάσεων με semi supervised εκμάθηση. Αυτό σημαίνει ότι για την κατασκευή της διαχωριστικής επιφάνειας χρησιμοποιούνται τόσο δεδομένα με γνωστές τις ετικέτες τους (labeled δεδομένα) όσο και δεδομένα χωρίς ετικέτες (unlabeled δεδομένα). Η βασική φιλοσοφία του TSVM είναι η κατασκευή ενός αρχικού μοντέλου με τα labeled δείγματα και η σταδιακή τροποποίηση αυτής της επιφάνειας με βάση τις προβλεφθείσες ετικέτες των unlabeled δειγμάτων. Έτσι, αρχικά κατασκευάζεται η διαχωριστική επιφάνεια με βάση μόνο τα labeled δεδομένα (όπως θα γινόταν και με βάση το κλασσικό SVM) και στην συνέχεια, χρησιμοποιώντας το μοντέλο αυτό εκτιμώνται οι ετικέτες των unlabeled δεδομένων και επιλέγονται αυτά τα δείγματα (patterns) που θεωρούμε ότι περιέχουν την περισσότερη πληροφορία αλλά και συνάμα έχουν ακριβέστερες προβλεφθείσες ετικέτες. Ακολούθως, τα παραπάνω επιλεχθέντα δείγματα (semi labeled δείγματα) ενσωματώνονται στο σύνολο των labeled δεδομένων και με αυτόν τον τρόπο κατασκευάζεται το νέο σύνολο για την εκπαίδευση του επόμενου μοντέλου. Η παραπάνω διαδικασία εκτελείται επαναληπτικά έως ότου εκτελεστεί ένας προκαθορισμένος αριθμός επαναλήψεων ή δεν υπάρχουν άλλα διαθέσιμα unlabeled δείγματα για εισαγωγή. Τα νέα δείγματα που αφαιρούνται από το σύνολο των unlabeled και προστίθενται στο σύνολο των labeled ονομάζονται semi labeled δείγματα καθώς έχουν μεν ετικέτα αλλά αυτή η ετικέτα δεν είναι βέβαιο ότι είναι η σωστή.

22 22 Η βέλτιστη διαχωριστική επιφάνεια, με την έννοια που ορίστηκε στο κεφάλαιο 2, αυτή δηλαδή που έχει την μέγιστη απόσταση και από τις δύο κλάσεις, βρίσκεται λύνοντας το παρακάτω πρόβλημα βελτιστοποίησης: ( ( 1 )) * n d * * 1 2 * * ϕ w y,..., yd = min w + C ξl + C ξu w, ξ l, ξ u 2 l= 1 u= 1 n T υπό τις συνθήκες φ( ) : 1, 0 l 1 y = l w xl + b ξl ξl > ( ) = + > d : * T * 1 *, * 0 u 1 yu w φ xu b ξ ξ u u (3.1) όπου ξ, ξ * είναι οι μεταβλητές χαλαρότητας και C, C * οι ποινές του soft margin classifier για τα δείγματα των labeled και των semi labeled δεδομένων αντίστοιχα. Οι παράμετροι ποινής εκφράζουν την βαρύτητα που δίνει ο αλγόριθμος για την σωστή ταξινόμηση των αντίστοιχων δειγμάτων, και γενικά όσο μεγαλύτερη είναι η τιμή της παραμέτρου ποινής, τόσο μεγαλύτερη η επιρροή τους στο επίπεδο διαχωρισμού. Το πλήθος των labeled δεδομένων είναι n, των unlabeled m και των semi labeled d, και ισχύει d m. Το παραπάνω σύστημα απλοποιείται στο εξής, με χρήση του θεωρήματος Lagrange (κατά αντιστοιχία με την περίπτωση του κλασσικού SVM): n d n n 1 L aa y a a k x x yyaa * * * Μεγιστοποίησε την: (,, ) = + (, ) l u l i l i l i l= 1 u= 1 2 l= 1 i= 1 n d d d * * * * * * * * * k( xl xu) ylyuaa l u k( xu xj) yuyjauaj (3.2) + 2, +, l= 1 u= 1 u= 1 j= 1 υπό τις συνθήκες 0 a C,1 l n l * * 0 u,1 a C u d n d * * ya l l ya u u l= 1 u= 1 + = 0 Κατόπιν, έχοντας λύσει το παραπάνω σύστημα και έχοντας βρει τις τιμές των πολλαπλασιαστών Lagrange a l και * a u, δύναται να βρεθεί το μοντέλο διαχωρισμού. Η συνάρτηση απόφασης στην περίπτωση του TSVM δίνεται από τη σχέση 3.3:

23 23 n d ( ) = (, ) * * (, * l l l + u u u) + (3.3) f x a yk x x a y k x x b l= 1 u= 1 που έχει την ίδια μορφή με την (2.22) που ισχύει για το κλασσικό SVM με την μόνη διαφορά ότι έχουν διαχωριστεί τα αθροίσματα για τα labeled και τα semi labeled δείγματα. Τέλος, με βάση την παραπάνω εξίσωση, εύκολα προκύπτει η συνάρτηση απόφασης για την κλάση στην οποία ανήκουν τα δείγματα και η οποία είναι η ακόλουθη, όπως και στον κλασσικό SVM: ( ) sgn ( ) y x = f x (3.4) όπου η f ( x ) εκφράζεται από την (3.3) και το πρόσημο της υποδηλώνει σε ποια περιοχή του χώρου βρίσκεται το δείγμα υπό εξέταση από τις δύο στις οποίες διαμερίζεται από την διαχωριστική επιφάνεια. 3.2 Αλγόριθμος Δυαδικά προβλήματα Ο αλγόριθμος για την επίλυση δυαδικών προβλημάτων (δηλαδή προβλήματα δύο κλάσεων, binary) βασίζεται στην θεωρία που περιγράφηκε στην προηγούμενη παράγραφο. Το σημαντικότερο τμήμα του αλγορίθμου αυτού είναι τα κριτήρια που θα χρησιμοποιηθούν για την επιλογή των unlabeled δειγμάτων που θα ενσωματωθούν στο σύνολο εκπαίδευσης και πόσα θα είναι αυτά. Επίσης, μια σημαντική παράμετρος είναι το πως αυτά τα νέα δείγματα θα ενσωματωθούν στο σύνολο αυτό, δηλαδή η τιμή που θα έχει η παράμετρος ποινής C * για αυτά (από θεωρητική σκοπιά, η ποινή για αυτά τα δείγματα πρέπει να είναι μικρότερη από αυτή των labeled, επειδή είναι αβέβαια και για τον λόγο αυτό πρέπει να έχουν μικρότερη επιρροή στην διαμόρφωση της διαχωριστικής επιφάνειας). Παρακάτω θα αναλυθεί ξεχωριστά κάθε κομμάτι του αλγορίθμου TSVM.

Αναγνώριση Προτύπων Ι

Αναγνώριση Προτύπων Ι Αναγνώριση Προτύπων Ι Ενότητα 1: Μέθοδοι Αναγνώρισης Προτύπων Αν. Καθηγητής Δερματάς Ευάγγελος Τμήμα Ηλεκτρολόγων Μηχανικών και Τεχνολογίας Υπολογιστών Άδειες Χρήσης Το παρόν εκπαιδευτικό υλικό υπόκειται

Διαβάστε περισσότερα

Μέθοδοι Μηχανών Μάθησης για Ευφυή Αναγνώριση και ιάγνωση Ιατρικών εδοµένων

Μέθοδοι Μηχανών Μάθησης για Ευφυή Αναγνώριση και ιάγνωση Ιατρικών εδοµένων Μέθοδοι Μηχανών Μάθησης για Ευφυή Αναγνώριση και ιάγνωση Ιατρικών εδοµένων Εισηγητής: ρ Ηλίας Ζαφειρόπουλος Εισαγωγή Ιατρικά δεδοµένα: Συλλογή Οργάνωση Αξιοποίηση Data Mining ιαχείριση εδοµένων Εκπαίδευση

Διαβάστε περισσότερα

Αναγνώριση Προτύπων Ι

Αναγνώριση Προτύπων Ι Αναγνώριση Προτύπων Ι Ενότητα 2: Δομικά Συστήματα Αν. Καθηγητής Δερματάς Ευάγγελος Τμήμα Ηλεκτρολόγων Μηχανικών και Τεχνολογίας Υπολογιστών Άδειες Χρήσης Το παρόν εκπαιδευτικό υλικό υπόκειται σε άδειες

Διαβάστε περισσότερα

Αναγνώριση Προτύπων Ι

Αναγνώριση Προτύπων Ι Αναγνώριση Προτύπων Ι Ενότητα 3: Στοχαστικά Συστήματα Αν. Καθηγητής Δερματάς Ευάγγελος Τμήμα Ηλεκτρολόγων Μηχανικών και Τεχνολογίας Υπολογιστών Άδειες Χρήσης Το παρόν εκπαιδευτικό υλικό υπόκειται σε άδειες

Διαβάστε περισσότερα

z = c 1 x 1 + c 2 x c n x n

z = c 1 x 1 + c 2 x c n x n Τεχνολογικό Εκπαιδευτικό Ιδρυμα Κεντρικής Μακεδονίας - Σέρρες Τμήμα Μηχανικών Πληροφορικής Γραμμικός Προγραμματισμός & Βελτιστοποίηση Δρ. Δημήτρης Βαρσάμης Καθηγητής Εφαρμογών Δρ. Δημήτρης Βαρσάμης Μάρτιος

Διαβάστε περισσότερα

Ποσοτικές Μέθοδοι στη Διοίκηση Επιχειρήσεων ΙΙ Σύνολο- Περιεχόμενο Μαθήματος

Ποσοτικές Μέθοδοι στη Διοίκηση Επιχειρήσεων ΙΙ Σύνολο- Περιεχόμενο Μαθήματος Ποσοτικές Μέθοδοι στη Διοίκηση Επιχειρήσεων ΙΙ Σύνολο- Περιεχόμενο Μαθήματος Χιωτίδης Γεώργιος Τμήμα Λογιστικής και Χρηματοοικονομικής Άδειες Χρήσης Το παρόν εκπαιδευτικό υλικό υπόκειται σε άδειες χρήσης

Διαβάστε περισσότερα

Πανεπιστήµιο Κύπρου Πολυτεχνική Σχολή

Πανεπιστήµιο Κύπρου Πολυτεχνική Σχολή Πανεπιστήµιο Κύπρου Πολυτεχνική Σχολή Τµήµα Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών ΗΜΜΥ 795: ΑΝΑΓΝΩΡΙΣΗ ΠΡΟΤΥΠΩΝ Ακαδηµαϊκό έτος 2010-11 Χειµερινό Εξάµηνο Τελική εξέταση Τρίτη, 21 εκεµβρίου 2010,

Διαβάστε περισσότερα

Ασκήσεις Φροντιστηρίου «Υπολογιστική Νοημοσύνη Ι» 5 o Φροντιστήριο

Ασκήσεις Φροντιστηρίου «Υπολογιστική Νοημοσύνη Ι» 5 o Φροντιστήριο Πρόβλημα ο Ασκήσεις Φροντιστηρίου 5 o Φροντιστήριο Δίνεται το παρακάτω σύνολο εκπαίδευσης: # Είσοδος Κατηγορία 0 0 0 Α 2 0 0 Α 0 Β 4 0 0 Α 5 0 Β 6 0 0 Α 7 0 Β 8 Β α) Στον παρακάτω κύβο τοποθετείστε τα

Διαβάστε περισσότερα

Βασικές αρχές εκπαίδευσης ΤΝΔ: το perceptron. "Τεχνητά Νευρωνικά Δίκτυα" (Διαφάνειες), Α. Λύκας, Παν. Ιωαννίνων

Βασικές αρχές εκπαίδευσης ΤΝΔ: το perceptron. Τεχνητά Νευρωνικά Δίκτυα (Διαφάνειες), Α. Λύκας, Παν. Ιωαννίνων Βασικές αρχές εκπαίδευσης ΤΝΔ: το perceptron Βιολογικός Νευρώνας Δενδρίτες, που αποτελούν τις γραμμές εισόδου των ερεθισμάτων (βιολογικών σημάτων) Σώμα, στο οποίο γίνεται η συσσώρευση των ερεθισμάτων και

Διαβάστε περισσότερα

3.7 Παραδείγματα Μεθόδου Simplex

3.7 Παραδείγματα Μεθόδου Simplex 3.7 Παραδείγματα Μεθόδου Simplex Παράδειγμα 1ο (Παράδειγμα 1ο - Κεφάλαιο 2ο - σελ. 10): Το πρόβλημα εκφράζεται από το μαθηματικό μοντέλο: max z = 600x T + 250x K + 750x Γ + 450x B 5x T + x K + 9x Γ + 12x

Διαβάστε περισσότερα

ΒΑΣΙΚΑ ΣΤΟΙΧΕΙΑ ΘΕΩΡΙΑΣ ΤΗΣ ΜΕΘΟΔΟΥ SIMPLEX

ΒΑΣΙΚΑ ΣΤΟΙΧΕΙΑ ΘΕΩΡΙΑΣ ΤΗΣ ΜΕΘΟΔΟΥ SIMPLEX ΒΑΣΙΚΑ ΣΤΟΙΧΕΙΑ ΘΕΩΡΙΑΣ ΤΗΣ ΜΕΘΟΔΟΥ SIMPLEX Θεμελιώδης αλγόριθμος επίλυσης προβλημάτων Γραμμικού Προγραμματισμού που κάνει χρήση της θεωρίας της Γραμμικής Άλγεβρας Προτάθηκε από το Dantzig (1947) και πλέον

Διαβάστε περισσότερα

HMY 795: Αναγνώριση Προτύπων

HMY 795: Αναγνώριση Προτύπων HMY 795: Αναγνώριση Προτύπων Διάλεξη 3 Επιλογή μοντέλου Επιλογή μοντέλου Θεωρία αποφάσεων Επιλογή μοντέλου δεδομένα επικύρωσης Η επιλογή του είδους του μοντέλου που θα χρησιμοποιηθεί σε ένα πρόβλημα (π.χ.

Διαβάστε περισσότερα

4.4 Μετατροπή από μία μορφή δομής επανάληψης σε μία άλλη.

4.4 Μετατροπή από μία μορφή δομής επανάληψης σε μία άλλη. 4.4 Μετατροπή από μία μορφή δομής επανάληψης σε μία άλλη. Η μετατροπή μιας εντολής επανάληψης σε μία άλλη ή στις άλλες δύο εντολές επανάληψης, αποτελεί ένα θέμα που αρκετές φορές έχει εξεταστεί σε πανελλαδικό

Διαβάστε περισσότερα

Μάθηση και Γενίκευση. "Τεχνητά Νευρωνικά Δίκτυα" (Διαφάνειες), Α. Λύκας, Παν. Ιωαννίνων

Μάθηση και Γενίκευση. Τεχνητά Νευρωνικά Δίκτυα (Διαφάνειες), Α. Λύκας, Παν. Ιωαννίνων Μάθηση και Γενίκευση Το Πολυεπίπεδο Perceptron (MultiLayer Perceptron (MLP)) Έστω σύνολο εκπαίδευσης D={(x n,t n )}, n=1,,n. x n =(x n1,, x nd ) T, t n =(t n1,, t np ) T Θα πρέπει το MLP να έχει d νευρώνες

Διαβάστε περισσότερα

ΠΑΝΕΠΙΣΤΗΜΙΟ ΜΑΚΕΔΟΝΙΑΣ ΟΙΚΟΝΟΜΙΚΩΝ ΚΑΙ ΚΟΙΝΩΝΙΚΩΝ ΕΠΙΣΤΗΜΩΝ ΤΜΗΜΑ ΕΦΑΡΜΟΣΜΕΝΗΣ ΠΛΗΡΟΦΟΡΙΚΗΣ ΝΕΥΡΩΝΙΚΑ ΔΙΚΤΥΑ

ΠΑΝΕΠΙΣΤΗΜΙΟ ΜΑΚΕΔΟΝΙΑΣ ΟΙΚΟΝΟΜΙΚΩΝ ΚΑΙ ΚΟΙΝΩΝΙΚΩΝ ΕΠΙΣΤΗΜΩΝ ΤΜΗΜΑ ΕΦΑΡΜΟΣΜΕΝΗΣ ΠΛΗΡΟΦΟΡΙΚΗΣ ΝΕΥΡΩΝΙΚΑ ΔΙΚΤΥΑ ΘΕΜΑ 1 ο (2,5 μονάδες) ΠΑΝΕΠΙΣΤΗΜΙΟ ΜΑΚΕΔΟΝΙΑΣ ΟΙΚΟΝΟΜΙΚΩΝ ΚΑΙ ΚΟΙΝΩΝΙΚΩΝ ΕΠΙΣΤΗΜΩΝ ΤΜΗΜΑ ΕΦΑΡΜΟΣΜΕΝΗΣ ΠΛΗΡΟΦΟΡΙΚΗΣ ΝΕΥΡΩΝΙΚΑ ΔΙΚΤΥΑ Τελικές εξετάσεις Πέμπτη 21 Ιουνίου 2012 16:30-19:30 Υποθέστε ότι θέλουμε

Διαβάστε περισσότερα

Ακαδημαϊκό Έτος , Χειμερινό Εξάμηνο Διδάσκων Καθ.: Νίκος Τσαπατσούλης

Ακαδημαϊκό Έτος , Χειμερινό Εξάμηνο Διδάσκων Καθ.: Νίκος Τσαπατσούλης ΠΑΝΕΠΙΣΤΗΜΙΟ ΠΕΛΟΠΟΝΝΗΣΟΥ, ΤΜΗΜΑ ΤΕΧΝΟΛΟΓΙΑΣ ΤΗΛΕΠΙΚΟΙΝΩΝΙΩΝ ΚΕΣ 3: ΑΝΑΓΝΩΡΙΣΗ ΠΡΟΤΥΠΩΝ ΚΑΙ ΑΝΑΛΥΣΗ ΕΙΚΟΝΑΣ Ακαδημαϊκό Έτος 7 8, Χειμερινό Εξάμηνο Καθ.: Νίκος Τσαπατσούλης ΕΡΩΤΗΣΕΙΣ ΕΠΑΝΑΛΗΨΗΣ Το παρόν

Διαβάστε περισσότερα

ΔΙΚΤΥO RBF. "Τεχνητά Νευρωνικά Δίκτυα" (Διαφάνειες), Α. Λύκας, Παν. Ιωαννίνων

ΔΙΚΤΥO RBF. Τεχνητά Νευρωνικά Δίκτυα (Διαφάνειες), Α. Λύκας, Παν. Ιωαννίνων ΔΙΚΤΥO RBF Αρχιτεκτονική δικτύου RBF Δίκτυα RBF: δίκτυα συναρτήσεων πυρήνα (radial basis function networks). Πρόσθιας τροφοδότησης (feedforward) για προβλήματα μάθησης με επίβλεψη. Εναλλακτικό του MLP.

Διαβάστε περισσότερα

Τεχνητή Νοημοσύνη. 17η διάλεξη ( ) Ίων Ανδρουτσόπουλος.

Τεχνητή Νοημοσύνη. 17η διάλεξη ( ) Ίων Ανδρουτσόπουλος. Τεχνητή Νοημοσύνη 17η διάλεξη (2016-17) Ίων Ανδρουτσόπουλος http://.aueb.gr/users/ion/ 1 Οι διαφάνειες αυτής της διάλεξης βασίζονται: στο βιβλίο Artificia Inteigence A Modern Approach των S. Russe και

Διαβάστε περισσότερα

I. ΜΙΓΑΔΙΚΟΙ ΑΡΙΘΜΟΙ. math-gr

I. ΜΙΓΑΔΙΚΟΙ ΑΡΙΘΜΟΙ. math-gr I ΜΙΓΑΔΙΚΟΙ ΑΡΙΘΜΟΙ i e ΜΕΡΟΣ Ι ΟΡΙΣΜΟΣ - ΒΑΣΙΚΕΣ ΠΡΑΞΕΙΣ Α Ορισμός Ο ορισμός του συνόλου των Μιγαδικών αριθμών (C) βασίζεται στις εξής παραδοχές: Υπάρχει ένας αριθμός i για τον οποίο ισχύει i Το σύνολο

Διαβάστε περισσότερα

Συνδυασμός Ταξινομητών χρησιμοποιώντας Μήτρες Αποφάσεων (Decision Templates) με εφαρμογή στην Ταξινόμηση Καρκινικών Δεδομένων ΔΙΠΛΩΜΑΤΙΚΗ ΕΡΓΑΣΙΑ

Συνδυασμός Ταξινομητών χρησιμοποιώντας Μήτρες Αποφάσεων (Decision Templates) με εφαρμογή στην Ταξινόμηση Καρκινικών Δεδομένων ΔΙΠΛΩΜΑΤΙΚΗ ΕΡΓΑΣΙΑ Πολυτεχνείο Κρήτης Τμήμα Ηλεκτρονικών Μηχανικών και Μηχανικών Ηλεκτρονικών Υπολογιστών Τομέας Τηλεπικοινωνιών Συνδυασμός Ταξινομητών χρησιμοποιώντας Μήτρες Αποφάσεων (Decision Templates) με εφαρμογή στην

Διαβάστε περισσότερα

Υπολογιστικά & Διακριτά Μαθηματικά

Υπολογιστικά & Διακριτά Μαθηματικά Υπολογιστικά & Διακριτά Μαθηματικά Ενότητα 3: Σύνολα Συνδυαστική Στεφανίδης Γεώργιος Άδειες Χρήσης Το παρόν εκπαιδευτικό υλικό υπόκειται σε άδειες χρήσης Creative Commons. Για εκπαιδευτικό υλικό, όπως

Διαβάστε περισσότερα

Εισόδημα Κατανάλωση 1500 500 1600 600 1300 450 1100 400 600 250 700 275 900 300 800 352 850 400 1100 500

Εισόδημα Κατανάλωση 1500 500 1600 600 1300 450 1100 400 600 250 700 275 900 300 800 352 850 400 1100 500 Εισόδημα Κατανάλωση 1500 500 1600 600 1300 450 1100 400 600 250 700 275 900 300 800 352 850 400 1100 500 Πληθυσμός Δείγμα Δείγμα Δείγμα Ο ρόλος της Οικονομετρίας Οικονομική Θεωρία Διατύπωση της

Διαβάστε περισσότερα

Από το Γυμνάσιο στο Λύκειο Δειγματικός χώρος Ενδεχόμενα Εύρεση δειγματικού χώρου... 46

Από το Γυμνάσιο στο Λύκειο Δειγματικός χώρος Ενδεχόμενα Εύρεση δειγματικού χώρου... 46 ΠEΡΙΕΧΟΜΕΝΑ Από το Γυμνάσιο στο Λύκειο................................................ 7 1. Το Λεξιλόγιο της Λογικής.............................................. 11 2. Σύνολα..............................................................

Διαβάστε περισσότερα

ΚΕΦΑΛΑΙΟ 18. 18 Μηχανική Μάθηση

ΚΕΦΑΛΑΙΟ 18. 18 Μηχανική Μάθηση ΚΕΦΑΛΑΙΟ 18 18 Μηχανική Μάθηση Ένα φυσικό ή τεχνητό σύστηµα επεξεργασίας πληροφορίας συµπεριλαµβανοµένων εκείνων µε δυνατότητες αντίληψης, µάθησης, συλλογισµού, λήψης απόφασης, επικοινωνίας και δράσης

Διαβάστε περισσότερα

Τεχνητή Νοημοσύνη. 18η διάλεξη ( ) Ίων Ανδρουτσόπουλος.

Τεχνητή Νοημοσύνη. 18η διάλεξη ( ) Ίων Ανδρουτσόπουλος. Τεχνητή Νοημοσύνη 18η διάλεξη (2016-17) Ίων Ανδρουτσόπουλος http://www.aueb.gr/users/ion/ 1 Οι διαφάνειες αυτής της διάλεξης βασίζονται: στο βιβλίο Machine Learning του T. Mitchell, McGraw- Hill, 1997,

Διαβάστε περισσότερα

Μέθοδοι πολυδιάστατης ελαχιστοποίησης

Μέθοδοι πολυδιάστατης ελαχιστοποίησης Μέθοδοι πολυδιάστατης ελαχιστοποίησης με παραγώγους Μέθοδοι πολυδιάστατης ελαχιστοποίησης Δ. Γ. Παπαγεωργίου Τμήμα Μηχανικών Επιστήμης Υλικών Πανεπιστήμιο Ιωαννίνων dpapageo@cc.uoi.gr http://pc64.materials.uoi.gr/dpapageo

Διαβάστε περισσότερα

Μέθοδοι μονοδιάστατης ελαχιστοποίησης

Μέθοδοι μονοδιάστατης ελαχιστοποίησης Βασικές αρχές μεθόδων ελαχιστοποίησης Μέθοδοι μονοδιάστατης ελαχιστοποίησης Οι μέθοδοι ελαχιστοποίησης είναι επαναληπτικές. Ξεκινώντας από μια αρχική προσέγγιση του ελαχίστου (την συμβολίζουμε ) παράγουν

Διαβάστε περισσότερα

1. Πότε χρησιμοποιούμε την δομή επανάληψης; Ποιες είναι οι διάφορες εντολές (μορφές) της;

1. Πότε χρησιμοποιούμε την δομή επανάληψης; Ποιες είναι οι διάφορες εντολές (μορφές) της; 1. Πότε χρησιμοποιούμε την δομή επανάληψης; Ποιες είναι οι διάφορες (μορφές) της; Η δομή επανάληψης χρησιμοποιείται όταν μια σειρά εντολών πρέπει να εκτελεστεί σε ένα σύνολο περιπτώσεων, που έχουν κάτι

Διαβάστε περισσότερα

Μέθοδοι εκμάθησης ταξινομητών από θετικά παραδείγματα με αριθμητικά χαρακτηριστικά. Νικόλαος Α. Τρογκάνης Διπλωματική Εργασία

Μέθοδοι εκμάθησης ταξινομητών από θετικά παραδείγματα με αριθμητικά χαρακτηριστικά. Νικόλαος Α. Τρογκάνης Διπλωματική Εργασία Μέθοδοι εκμάθησης ταξινομητών από θετικά παραδείγματα με αριθμητικά χαρακτηριστικά Νικόλαος Α. Τρογκάνης Διπλωματική Εργασία Αντικείμενο Μελέτη και ανάπτυξη μεθόδων από τον χώρο της μηχανικής μάθησης για

Διαβάστε περισσότερα

Γ. Πειραματισμός - Βιομετρία

Γ. Πειραματισμός - Βιομετρία Γ. Πειραματισμός - Βιομετρία Πληθυσμοί και δείγματα Πληθυσμός Περιλαμβάνει όλες τις πιθανές τιμές μιας μεταβλητής, δηλαδή αναφέρεται σε μια παρατήρηση σε όλα τα άτομα του πληθυσμού Ο πληθυσμός προσδιορίζεται

Διαβάστε περισσότερα

ΤΟΠΟΓΡΑΦΙΚΑ ΔΙΚΤΥΑ ΚΑΙ ΥΠΟΛΟΓΙΣΜΟΙ ΑΝΑΣΚΟΠΗΣΗ ΘΕΩΡΙΑΣ ΣΥΝΟΡΘΩΣΕΩΝ

ΤΟΠΟΓΡΑΦΙΚΑ ΔΙΚΤΥΑ ΚΑΙ ΥΠΟΛΟΓΙΣΜΟΙ ΑΝΑΣΚΟΠΗΣΗ ΘΕΩΡΙΑΣ ΣΥΝΟΡΘΩΣΕΩΝ ΤΟΠΟΓΡΑΦΙΚΑ ΔΙΚΤΥΑ ΚΑΙ ΥΠΟΛΟΓΙΣΜΟΙ ΑΝΑΣΚΟΠΗΣΗ ΘΕΩΡΙΑΣ ΣΥΝΟΡΘΩΣΕΩΝ Βασίλης Δ. Ανδριτσάνος Δρ. Αγρονόμος - Τοπογράφος Μηχανικός ΑΠΘ Επίκουρος Καθηγητής ΤΕΙ Αθήνας 3ο εξάμηνο http://eclass.teiath.gr Παρουσιάσεις,

Διαβάστε περισσότερα

4.3. Γραµµικοί ταξινοµητές

4.3. Γραµµικοί ταξινοµητές Γραµµικοί ταξινοµητές Γραµµικός ταξινοµητής είναι ένα σύστηµα ταξινόµησης που χρησιµοποιεί γραµµικές διακριτικές συναρτήσεις Οι ταξινοµητές αυτοί αναπαρίστανται συχνά µε οµάδες κόµβων εντός των οποίων

Διαβάστε περισσότερα

Πανεπιστήμιο Κύπρου Πολυτεχνική Σχολή

Πανεπιστήμιο Κύπρου Πολυτεχνική Σχολή Πανεπιστήμιο Κύπρου Πολυτεχνική Σχολή Τμήμα Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών ΗΜΜΥ 795: ΑΝΑΓΝΩΡΙΣΗ ΠΡΟΤΥΠΩΝ Ακαδημαϊκό έτος 2010-11 Χειμερινό Εξάμηνο Practice final exam 1. Έστω ότι για

Διαβάστε περισσότερα

HMY 795: Αναγνώριση Προτύπων

HMY 795: Αναγνώριση Προτύπων HMY 795: Αναγνώριση Προτύπων Διάλεξη 5 Κατανομές πιθανότητας και εκτίμηση παραμέτρων δυαδικές τυχαίες μεταβλητές Bayesian decision Minimum misclassificaxon rate decision: διαλέγουμε την κατηγορία Ck για

Διαβάστε περισσότερα

HMY 795: Αναγνώριση Προτύπων. Διαλέξεις 15-16

HMY 795: Αναγνώριση Προτύπων. Διαλέξεις 15-16 HMY 795: Αναγνώριση Προτύπων Διαλέξεις 15-16 Νευρωνικά Δίκτυα(Neural Networks) Fisher s linear discriminant: Μείωση διαστάσεων (dimensionality reduction) y Τ =w x s + s =w S w 2 2 Τ 1 2 W ( ) 2 2 ( ) m2

Διαβάστε περισσότερα

Γραμμικός Προγραμματισμός Μέθοδος Simplex

Γραμμικός Προγραμματισμός Μέθοδος Simplex ΕΘΝΙΚΟ ΜΕΤΣΟΒΙΟ ΠΟΛΥΤΕΧΝΕΙΟ Επιχειρησιακή Έρευνα Γραμμικός Προγραμματισμός Μέθοδος Simplex Η παρουσίαση προετοιμάστηκε από τον Ν.Α. Παναγιώτου Περιεχόμενα Παρουσίασης 1. Πρότυπη Μορφή ΓΠ 2. Πινακοποίηση

Διαβάστε περισσότερα

Χρήστος Ι. Σχοινάς Αν. Καθηγητής ΔΠΘ. Συμπληρωματικές σημειώσεις για το μάθημα: «Επιχειρησιακή Έρευνα ΙΙ»

Χρήστος Ι. Σχοινάς Αν. Καθηγητής ΔΠΘ. Συμπληρωματικές σημειώσεις για το μάθημα: «Επιχειρησιακή Έρευνα ΙΙ» Χρήστος Ι. Σχοινάς Αν. Καθηγητής ΔΠΘ Συμπληρωματικές σημειώσεις για το μάθημα: «Επιχειρησιακή Έρευνα ΙΙ» 2 ΔΥΝΑΜΙΚΟΣ ΠΡΟΓΡΑΜΜΑΤΙΣΜΟΣ Προβλήματα ελάχιστης συνεκτικότητας δικτύου Το πρόβλημα της ελάχιστης

Διαβάστε περισσότερα

Πίνακας 4.4 Διαστήματα Εμπιστοσύνης. Τιμές που Επίπεδο εμπιστοσύνης. Διάστημα εμπιστοσύνης

Πίνακας 4.4 Διαστήματα Εμπιστοσύνης. Τιμές που Επίπεδο εμπιστοσύνης. Διάστημα εμπιστοσύνης Σφάλματα Μετρήσεων 4.45 Πίνακας 4.4 Διαστήματα Εμπιστοσύνης. Τιμές που Επίπεδο εμπιστοσύνης Διάστημα εμπιστοσύνης βρίσκονται εκτός του Διαστήματος Εμπιστοσύνης 0.500 X 0.674σ 1 στις 0.800 X 1.8σ 1 στις

Διαβάστε περισσότερα

Στατιστική Ι. Ανάλυση Παλινδρόμησης

Στατιστική Ι. Ανάλυση Παλινδρόμησης Στατιστική Ι Ανάλυση Παλινδρόμησης Ανάλυση παλινδρόμησης Η πρόβλεψη πωλήσεων, εσόδων, κόστους, παραγωγής, κτλ. είναι η βάση του επιχειρηματικού σχεδιασμού. Η ανάλυση παλινδρόμησης και συσχέτισης είναι

Διαβάστε περισσότερα

Υπολογιστική Νοημοσύνη. Μάθημα 9: Γενίκευση

Υπολογιστική Νοημοσύνη. Μάθημα 9: Γενίκευση Υπολογιστική Νοημοσύνη Μάθημα 9: Γενίκευση Υπερπροσαρμογή (Overfitting) Ένα από τα βασικά προβλήματα που μπορεί να εμφανιστεί κατά την εκπαίδευση νευρωνικών δικτύων είναι αυτό της υπερβολικής εκπαίδευσης.

Διαβάστε περισσότερα

Τεχνητή Νοημοσύνη (ΥΠ23) 6 ο εξάμηνο Τμήμα Πληροφορικής και Τηλεματικής Χαροκόπειο Πανεπιστήμιο Ουρανία Χατζή

Τεχνητή Νοημοσύνη (ΥΠ23) 6 ο εξάμηνο Τμήμα Πληροφορικής και Τηλεματικής Χαροκόπειο Πανεπιστήμιο Ουρανία Χατζή Τεχνητή Νοημοσύνη (ΥΠ23) 6 ο εξάμηνο Τμήμα Πληροφορικής και Τηλεματικής Χαροκόπειο Πανεπιστήμιο Ουρανία Χατζή raniah@hua.gr 1 Ασάφεια (Fuzziness) Ποσοτικοποίηση της ποιοτικής πληροφορίας Οφείλεται κυρίως

Διαβάστε περισσότερα

Αριθμητική εύρεση ριζών μη γραμμικών εξισώσεων

Αριθμητική εύρεση ριζών μη γραμμικών εξισώσεων Αριθμητική εύρεση ριζών μη γραμμικών εξισώσεων Με τον όρο μη γραμμικές εξισώσεις εννοούμε εξισώσεις της μορφής: f( ) 0 που προέρχονται από συναρτήσεις f () που είναι μη γραμμικές ως προς. Περιέχουν δηλαδή

Διαβάστε περισσότερα

Επίλυση Προβλημάτων 1

Επίλυση Προβλημάτων 1 Επίλυση Προβλημάτων 1 Επίλυση Προβλημάτων Περιγραφή Προβλημάτων Αλγόριθμοι αναζήτησης Αλγόριθμοι τυφλής αναζήτησης Αναζήτηση πρώτα σε βάθος Αναζήτηση πρώτα σε πλάτος (ΒFS) Αλγόριθμοι ευρετικής αναζήτησης

Διαβάστε περισσότερα

Αριθμητικά Συστήματα

Αριθμητικά Συστήματα Αριθμητικά Συστήματα Σε οποιοδήποτε αριθμητικό σύστημα, με βάση τον αριθμό Β, ένας ακέραιος αριθμός με πλήθος ψηφίων ν, εκφράζεται ως ακολούθως: α ν-1 α ν-2 α 1 α 0 = α ν-1 Β ν-1 + α ν-2 Β ν-2 + + α 1

Διαβάστε περισσότερα

ΤΕΙ ΣΕΡΡΩΝ ΤΜΗΜΑ ΠΛΗΡΟΦΟΡΙΚΗΣ ΚΑΙ ΕΠΙΚΟΙΝΩΝΙΩΝ ΕΞΕΤΑΣΗ ΣΤΟ ΜΑΘΗΜΑ «ΑΝΑΓΝΩΡΙΣΗ ΠΡΟΤΥΠΩΝ ΝΕΥΡΩΝΙΚΑ ΔΙΚΤΥΑ» ΠΑ. 7 ΣΕΠΤΕΜΒΡΙΟΥ 2012

ΤΕΙ ΣΕΡΡΩΝ ΤΜΗΜΑ ΠΛΗΡΟΦΟΡΙΚΗΣ ΚΑΙ ΕΠΙΚΟΙΝΩΝΙΩΝ ΕΞΕΤΑΣΗ ΣΤΟ ΜΑΘΗΜΑ «ΑΝΑΓΝΩΡΙΣΗ ΠΡΟΤΥΠΩΝ ΝΕΥΡΩΝΙΚΑ ΔΙΚΤΥΑ» ΠΑ. 7 ΣΕΠΤΕΜΒΡΙΟΥ 2012 ΠΑ. 7 ΣΕΠΤΕΜΒΡΙΟΥ Δίνονται τα εξής πρότυπα: [ ] [ ] [ ] [ ] Άσκηση η (3 μονάδες) Χρησιμοποιώντας το κριτήριο της ομοιότητας να απορριφθεί ένα χαρακτηριστικό με βάση το συντελεστή συσχέτισης. (γράψτε ποιο

Διαβάστε περισσότερα

ΕΡΩΤΗΣΕΙΣ ΘΕΩΡΙΑΣ ΜΑΘΗΜΑΤΙΚΑ Β ΓΥΜΝΑΣΙΟΥ. ΜΕΡΟΣ 1ο ΑΛΓΕΒΡΑ

ΕΡΩΤΗΣΕΙΣ ΘΕΩΡΙΑΣ ΜΑΘΗΜΑΤΙΚΑ Β ΓΥΜΝΑΣΙΟΥ. ΜΕΡΟΣ 1ο ΑΛΓΕΒΡΑ 1. Τι καλείται μεταβλητή; ΕΡΩΤΗΣΕΙΣ ΘΕΩΡΙΑΣ ΜΑΘΗΜΑΤΙΑ Β ΓΥΜΝΑΣΙΟΥ ΜΕΡΟΣ 1ο ΑΛΓΕΒΡΑ Μεταβλητή είναι ένα γράμμα (π.χ., y, t, ) που το χρησιμοποιούμε για να παραστήσουμε ένα οποιοδήποτε στοιχείο ενός συνόλου..

Διαβάστε περισσότερα

Σέργιος Θεοδωρίδης Κωνσταντίνος Κουτρούμπας. Version 2

Σέργιος Θεοδωρίδης Κωνσταντίνος Κουτρούμπας. Version 2 Σέργιος Θεοδωρίδης Κωνσταντίνος Κουτρούμπας Verson 2 1 ΧΑΡΤΟΓΡΑΦΗΣΗ ΤΟΥ ΧΩΡΟΥ ΤΩΝ ΤΑΞΙΝΟΜΗΤΩΝ Ταξινομητές Ταξινομητές συναρτ. διάκρισης Ταξινομητές επιφανειών απόφ. Παραμετρικοί ταξινομητές Μη παραμετρικοί

Διαβάστε περισσότερα

2. ΜΑΘΗΜΑΤΙΚΟΣ ΠΡΟΓΡΑΜΜΑΤΙΣΜΟΣ

2. ΜΑΘΗΜΑΤΙΚΟΣ ΠΡΟΓΡΑΜΜΑΤΙΣΜΟΣ . ΜΑΘΗΜΑΤΙΚΟΣ ΠΡΟΓΡΑΜΜΑΤΙΣΜΟΣ. Εισαγωγή Οι κλασσικές μέθοδοι αριστοποίησης βασίζονται κατά κύριο λόγο στο διαφορικό λογισμό. Ο Μαθηματικός Προγραμματισμός ο οποίος περιλαμβάνει τον Γραμμικό Προγραμματισμό

Διαβάστε περισσότερα

1. ΣΤΑΤΙΚΗ ΑΡΙΣΤΟΠΟΙΗΣΗ

1. ΣΤΑΤΙΚΗ ΑΡΙΣΤΟΠΟΙΗΣΗ . ΣΤΑΤΙΚΗ ΑΡΙΣΤΟΠΟΙΗΣΗ. Μέγιστα και Ελάχιστα Συναρτήσεων Χωρίς Περιορισμούς Συναρτήσεις μιας Μεταβλητής Εστω f ( x) είναι συνάρτηση μιας μόνο μεταβλητής. Εστω επίσης ότι x είναι ένα σημείο στο πεδίο ορισμού

Διαβάστε περισσότερα

ΠΡΟΒΛΗΜΑΤΑ ΕΛΑΧΙΣΤΟΠΟΙΗΣΗΣ

ΠΡΟΒΛΗΜΑΤΑ ΕΛΑΧΙΣΤΟΠΟΙΗΣΗΣ ΠΡΟΒΛΗΜΑΤΑ ΕΛΑΧΙΣΤΟΠΟΙΗΣΗΣ Ελαχιστοποίηση κόστους διατροφής Ηεπιχείρηση ζωοτροφών ΒΙΟΤΡΟΦΕΣ εξασφάλισε µια ειδική παραγγελίααπό έναν πελάτη της για την παρασκευή 1.000 κιλών ζωοτροφής, η οποία θα πρέπει

Διαβάστε περισσότερα

Η μέθοδος Simplex. Χρήστος Γκόγκος. Χειμερινό Εξάμηνο ΤΕΙ Ηπείρου

Η μέθοδος Simplex. Χρήστος Γκόγκος. Χειμερινό Εξάμηνο ΤΕΙ Ηπείρου Η μέθοδος Simplex Χρήστος Γκόγκος ΤΕΙ Ηπείρου Χειμερινό Εξάμηνο 2014-2015 1 / 17 Η μέθοδος Simplex Simplex Είναι μια καθορισμένη σειρά επαναλαμβανόμενων υπολογισμών μέσω των οποίων ξεκινώντας από ένα αρχικό

Διαβάστε περισσότερα

Από το Γυμνάσιο στο Λύκειο... 7. 3. Δειγματικός χώρος Ενδεχόμενα... 42 Εύρεση δειγματικού χώρου... 46

Από το Γυμνάσιο στο Λύκειο... 7. 3. Δειγματικός χώρος Ενδεχόμενα... 42 Εύρεση δειγματικού χώρου... 46 ΠEΡΙΕΧΟΜΕΝΑ Από το Γυμνάσιο στο Λύκειο................................................ 7 1. Το Λεξιλόγιο της Λογικής.............................................. 11. Σύνολα..............................................................

Διαβάστε περισσότερα

ΚΕΦΑΛΑΙΟ 2: ΟΡΙΖΟΥΣΕΣ

ΚΕΦΑΛΑΙΟ 2: ΟΡΙΖΟΥΣΕΣ ΚΕΦΑΛΑΙΟ ΚΕΦΑΛΑΙΟ :. ΕΙΣΑΓΩΓΗ Σε κάθε τετραγωνικό πίνακα ) τάξης n θα αντιστοιχίσουμε έναν πραγματικό ( ij αριθμό, τον οποίο θα ονομάσουμε ορίζουσα του πίνακα. Η ορίζουσα θα συμβολίζεται det ή Α ή n n

Διαβάστε περισσότερα

LOGO. Εξόρυξη Δεδομένων. Δειγματοληψία. Πίνακες συνάφειας. Καμπύλες ROC και AUC. Σύγκριση Μεθόδων Εξόρυξης

LOGO. Εξόρυξη Δεδομένων. Δειγματοληψία. Πίνακες συνάφειας. Καμπύλες ROC και AUC. Σύγκριση Μεθόδων Εξόρυξης Εξόρυξη Δεδομένων Δειγματοληψία Πίνακες συνάφειας Καμπύλες ROC και AUC Σύγκριση Μεθόδων Εξόρυξης Πασχάλης Θρήσκος PhD Λάρισα 2016-2017 pthriskos@mnec.gr LOGO Συμπερισματολογία - Τι σημαίνει ; Πληθυσμός

Διαβάστε περισσότερα

Κεφ. 6Β: Συνήθεις διαφορικές εξισώσεις (ΣΔΕ) - προβλήματα αρχικών τιμών

Κεφ. 6Β: Συνήθεις διαφορικές εξισώσεις (ΣΔΕ) - προβλήματα αρχικών τιμών Κεφ. 6Β: Συνήθεις διαφορικές εξισώσεις (ΣΔΕ) - προβλήματα αρχικών τιμών. Εισαγωγή (ορισμός προβλήματος, αριθμητική ολοκλήρωση ΣΔΕ, αντικατάσταση ΣΔΕ τάξης n με n εξισώσεις ης τάξης). Μέθοδος Euler 3. Μέθοδοι

Διαβάστε περισσότερα

Διάλεξη 04: Παραδείγματα Ανάλυσης

Διάλεξη 04: Παραδείγματα Ανάλυσης Διάλεξη 04: Παραδείγματα Ανάλυσης Πολυπλοκότητας/Ανάλυση Αναδρομικών Αλγόριθμων Στην ενότητα αυτή θα μελετηθούν τα εξής επιμέρους θέματα: - Παραδείγματα Ανάλυσης Πολυπλοκότητας : Μέθοδοι, παραδείγματα

Διαβάστε περισσότερα

Διδάσκουσα: Χάλκου Χαρά,

Διδάσκουσα: Χάλκου Χαρά, Διδάσκουσα: Χάλκου Χαρά, Διπλωματούχος Ηλεκτρολόγος Μηχανικός & Τεχνολογίας Η/Υ, MSc e-mail: chalkou@upatras.gr Επιβλεπόμενοι Μη Επιβλεπόμενοι Ομάδα Κατηγορία Κανονικοποίηση Δεδομένων Συμπλήρωση Ελλιπών

Διαβάστε περισσότερα

6. Στατιστικές μέθοδοι εκπαίδευσης

6. Στατιστικές μέθοδοι εκπαίδευσης 6. Στατιστικές μέθοδοι εκπαίδευσης Μία διαφορετική μέθοδος εκπαίδευσης των νευρωνικών δικτύων χρησιμοποιεί ιδέες από την Στατιστική Φυσική για να φέρει τελικά το ίδιο αποτέλεσμα όπως οι άλλες μέθοδοι,

Διαβάστε περισσότερα

Τμήμα Μηχανολόγων Μηχανικών Πανεπιστήμιο Θεσσαλίας ΠΡΟΓΡΑΜΜΑΤΙΣΜΟΣ Η/Υ. Δομή Επανάληψης. Ιωάννης Λυχναρόπουλος Μαθηματικός, MSc, PhD

Τμήμα Μηχανολόγων Μηχανικών Πανεπιστήμιο Θεσσαλίας ΠΡΟΓΡΑΜΜΑΤΙΣΜΟΣ Η/Υ. Δομή Επανάληψης. Ιωάννης Λυχναρόπουλος Μαθηματικός, MSc, PhD Τμήμα Μηχανολόγων Μηχανικών Πανεπιστήμιο Θεσσαλίας ΠΡΟΓΡΑΜΜΑΤΙΣΜΟΣ Η/Υ Δομή Επανάληψης Ιωάννης Λυχναρόπουλος Μαθηματικός, MSc, PhD Δομή Επανάληψης Επανάληψη με αρίθμηση DO = ,

Διαβάστε περισσότερα

ΑΛΓΟΡΙΘΜΟΙ Ενότητα 10

ΑΛΓΟΡΙΘΜΟΙ Ενότητα 10 ΑΡΙΣΤΟΤΕΛΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΟΝΙΚΗΣ ΑΝΟΙΚΤΑ ΑΚΑΔΗΜΑΪΚΑ ΜΑΘΗΜΑΤΑ ΑΛΓΟΡΙΘΜΟΙ Ενότητα 10: Επαναληπτική Βελτίωση Ιωάννης Μανωλόπουλος, Καθηγητής Αναστάσιος Γούναρης, Επίκουρος Καθηγητής Άδειες Χρήσης Το

Διαβάστε περισσότερα

Συνήθεις διαφορικές εξισώσεις προβλήματα οριακών τιμών

Συνήθεις διαφορικές εξισώσεις προβλήματα οριακών τιμών Συνήθεις διαφορικές εξισώσεις προβλήματα οριακών τιμών Οι παρούσες σημειώσεις αποτελούν βοήθημα στο μάθημα Αριθμητικές Μέθοδοι του 5 ου εξαμήνου του ΤΜΜ ημήτρης Βαλουγεώργης Καθηγητής Εργαστήριο Φυσικών

Διαβάστε περισσότερα

3. O ΑΛΓΟΡΙΘΜΟΣ ΤΟΥ PERCEPTRON

3. O ΑΛΓΟΡΙΘΜΟΣ ΤΟΥ PERCEPTRON 3. O ΑΛΓΟΡΙΘΜΟΣ ΤΟΥ PERCEPRON 3. ΕΙΣΑΓΩΓΗ: Το Perceptron είναι η απλούστερη μορφή Νευρωνικού δικτύου, το οποίο χρησιμοποιείται για την ταξινόμηση ενός ειδικού τύπου προτύπων, που είναι γραμμικά διαχωριζόμενα.

Διαβάστε περισσότερα

Υπολογιστικό Πρόβληµα

Υπολογιστικό Πρόβληµα Υπολογιστικό Πρόβληµα Μετασχηµατισµός δεδοµένων εισόδου σε δεδοµένα εξόδου. Δοµή δεδοµένων εισόδου (έγκυρο στιγµιότυπο). Δοµή και ιδιότητες δεδοµένων εξόδου (απάντηση ή λύση). Τυπικά: διµελής σχέση στις

Διαβάστε περισσότερα

Matrix Algorithms. Παρουσίαση στα πλαίσια του μαθήματος «Παράλληλοι. Αλγόριθμοι» Γ. Καούρη Β. Μήτσου

Matrix Algorithms. Παρουσίαση στα πλαίσια του μαθήματος «Παράλληλοι. Αλγόριθμοι» Γ. Καούρη Β. Μήτσου Matrix Algorithms Παρουσίαση στα πλαίσια του μαθήματος «Παράλληλοι Αλγόριθμοι» Γ. Καούρη Β. Μήτσου Περιεχόμενα παρουσίασης Πολλαπλασιασμός πίνακα με διάνυσμα Πολλαπλασιασμός πινάκων Επίλυση τριγωνικού

Διαβάστε περισσότερα

Θεωρία Δυαδικότητας ΕΘΝΙΚΟ ΜΕΤΣΟΒΙΟ ΠΟΛΥΤΕΧΝΕΙΟ. Η παρουσίαση προετοιμάστηκε από τον Ν.Α. Παναγιώτου. Επιχειρησιακή Έρευνα

Θεωρία Δυαδικότητας ΕΘΝΙΚΟ ΜΕΤΣΟΒΙΟ ΠΟΛΥΤΕΧΝΕΙΟ. Η παρουσίαση προετοιμάστηκε από τον Ν.Α. Παναγιώτου. Επιχειρησιακή Έρευνα Θεωρία Δυαδικότητας Η παρουσίαση προετοιμάστηκε από τον Ν.Α. Παναγιώτου ΕΘΝΙΚΟ ΜΕΤΣΟΒΙΟ ΠΟΛΥΤΕΧΝΕΙΟ Επιχειρησιακή Έρευνα Περιεχόμενα Παρουσίασης 1. Βασικά Θεωρήματα 2. Παραδείγματα 3. Οικονομική Ερμηνεία

Διαβάστε περισσότερα

ΠΛΗ 513-Αυτόνομοι Πράκτορες Χειμερινό εξάμηνο 2012 Εφαρμογή αλγορίθμων ενισχυτικής μάθησης στο παιχνίδι Βlackjack. Χλης Νικόλαος-Κοσμάς

ΠΛΗ 513-Αυτόνομοι Πράκτορες Χειμερινό εξάμηνο 2012 Εφαρμογή αλγορίθμων ενισχυτικής μάθησης στο παιχνίδι Βlackjack. Χλης Νικόλαος-Κοσμάς ΠΛΗ 513-Αυτόνομοι Πράκτορες Χειμερινό εξάμηνο 2012 Εφαρμογή αλγορίθμων ενισχυτικής μάθησης στο παιχνίδι Βlackjack Χλης Νικόλαος-Κοσμάς Περιγραφή παιχνιδιού Βlackjack: Σκοπός του παιχνιδιού είναι ο παίκτης

Διαβάστε περισσότερα

ΜΑΘΗΜΑΤΙΚΑ Β ΓΥΜΝΑΣΙΟΥ

ΜΑΘΗΜΑΤΙΚΑ Β ΓΥΜΝΑΣΙΟΥ ΜΑΘΗΜΑΤΙΚΑ Β ΓΥΜΝΑΣΙΟΥ Βρέντζου Τίνα Φυσικός Μεταπτυχιακός τίτλος ΜEd: «Σπουδές στην εκπαίδευση» ΚΕΦΑΛΑΙΟ 1 Ο : Εξισώσεις - Ανισώσεις 1 1.1 Η ΕΝΝΟΙΑ ΤΗΣ ΜΕΤΑΒΛΗΤΗΣ ΑΛΓΕΒΡΙΚΕΣ ΠΑΡΑΣΤΑΣΕΙΣ ΟΡΙΣΜΟΙ Μεταβλητή

Διαβάστε περισσότερα

Γραφική Λύση & Πρότυπη Μορφή Μαθηματικού Μοντέλου

Γραφική Λύση & Πρότυπη Μορφή Μαθηματικού Μοντέλου ΕΘΝΙΚΟ ΜΕΤΣΟΒΙΟ ΠΟΛΥΤΕΧΝΕΙΟ Επιχειρησιακή Έρευνα Γραφική Λύση & Πρότυπη Μορφή Μαθηματικού Μοντέλου Η παρουσίαση προετοιμάστηκε από τον Ν.Α. Παναγιώτου Περιεχόμενα Παρουσίασης 1. Προϋποθέσεις Εφαρμογής

Διαβάστε περισσότερα

Κεφάλαιο 6. Μέθοδοι επίλυσης προβλημάτων ακέραιου προγραμματισμού

Κεφάλαιο 6. Μέθοδοι επίλυσης προβλημάτων ακέραιου προγραμματισμού Κεφάλαιο 6 Μέθοδοι επίλυσης προβλημάτων ακέραιου προγραμματισμού 1 Γραφική επίλυση Η γραφική μέθοδος επίλυσης μπορεί να χρησιμοποιηθεί μόνο για πολύ μικρά προβλήματα με δύο ή το πολύ τρεις μεταβλητές απόφασης.

Διαβάστε περισσότερα

Κεφάλαιο 1 o Εξισώσεις - Ανισώσεις

Κεφάλαιο 1 o Εξισώσεις - Ανισώσεις 2 ΕΡΩΤΗΣΕΙΙΣ ΘΕΩΡΙΙΑΣ ΑΠΟ ΤΗΝ ΥΛΗ ΤΗΣ Β ΤΑΞΗΣ ΜΕΡΟΣ Α -- ΑΛΓΕΒΡΑ Κεφάλαιο 1 o Εξισώσεις - Ανισώσεις Α. 1 1 1. Τι ονομάζεται Αριθμητική και τι Αλγεβρική παράσταση; Ονομάζεται Αριθμητική παράσταση μια παράσταση

Διαβάστε περισσότερα

Κεφάλαιο 5ο: Ακέραιος προγραμματισμός

Κεφάλαιο 5ο: Ακέραιος προγραμματισμός Κεφάλαιο 5ο: Ακέραιος προγραμματισμός 5.1 Εισαγωγή Ο ακέραιος προγραμματισμός ασχολείται με προβλήματα γραμμικού προγραμματισμού στα οποία μερικές ή όλες οι μεταβλητές είναι ακέραιες. Ένα γενικό πρόβλημα

Διαβάστε περισσότερα

Α Ν Α Λ Τ Η Α Λ Γ Ο Ρ Ι Θ Μ Ω Ν Κ Ε Υ Α Λ Α Ι Ο 5. Πως υπολογίζεται ο χρόνος εκτέλεσης ενός αλγορίθμου;

Α Ν Α Λ Τ Η Α Λ Γ Ο Ρ Ι Θ Μ Ω Ν Κ Ε Υ Α Λ Α Ι Ο 5. Πως υπολογίζεται ο χρόνος εκτέλεσης ενός αλγορίθμου; 5.1 Επίδοση αλγορίθμων Μέχρι τώρα έχουμε γνωρίσει διάφορους αλγόριθμους (αναζήτησης, ταξινόμησης, κ.α.). Στο σημείο αυτό θα παρουσιάσουμε ένα τρόπο εκτίμησης της επίδοσης (performance) η της αποδοτικότητας

Διαβάστε περισσότερα

ΠΡΟΒΛΗΜΑΤΑ ΜΕΤΑΦΟΡΑΣ

ΠΡΟΒΛΗΜΑΤΑ ΜΕΤΑΦΟΡΑΣ (Transportation Problems) Βασίλης Κώστογλου E-mail: vkostogl@it.teithe.gr URL: www.it.teithe.gr/~vkostogl Περιγραφή Ένα πρόβλημα μεταφοράς ασχολείται με το πρόβλημα του προσδιορισμού του καλύτερου δυνατού

Διαβάστε περισσότερα

Στατιστική είναι το σύνολο των μεθόδων και θεωριών που εφαρμόζονται σε αριθμητικά δεδομένα προκειμένου να ληφθεί κάποια απόφαση σε συνθήκες

Στατιστική είναι το σύνολο των μεθόδων και θεωριών που εφαρμόζονται σε αριθμητικά δεδομένα προκειμένου να ληφθεί κάποια απόφαση σε συνθήκες Ορισμός Στατιστική είναι το σύνολο των μεθόδων και θεωριών που εφαρμόζονται σε αριθμητικά δεδομένα προκειμένου να ληφθεί κάποια απόφαση σε συνθήκες αβεβαιότητας. Βασικές έννοιες Η μελέτη ενός πληθυσμού

Διαβάστε περισσότερα

HMY 799 1: Αναγνώριση Συστημάτων

HMY 799 1: Αναγνώριση Συστημάτων HMY 799 : Αναγνώριση Συστημάτων Διάλεξη Γραμμική παλινδρόμηση (Linear regression) Εμπειρική συνάρτηση μεταφοράς Ομαλοποίηση (smoothing) Y ( ) ( ) ω G ω = U ( ω) ω +Δ ω γ ω Δω = ω +Δω W ( ξ ω ) U ( ξ) G(

Διαβάστε περισσότερα

Απλή Γραμμική Παλινδρόμηση και Συσχέτιση 19/5/2017

Απλή Γραμμική Παλινδρόμηση και Συσχέτιση 19/5/2017 Απλή Γραμμική Παλινδρόμηση και Συσχέτιση 2 Εισαγωγή Η ανάλυση παλινδρόμησης περιλαμβάνει το σύνολο των μεθόδων της στατιστικής που αναφέρονται σε ποσοτικές σχέσεις μεταξύ μεταβλητών Πρότυπα παλινδρόμησης

Διαβάστε περισσότερα

Κεφάλαιο 4: Επιλογή σημείου παραγωγής

Κεφάλαιο 4: Επιλογή σημείου παραγωγής Κ4.1 Μέθοδος ανάλυσης νεκρού σημείου για την επιλογή διαδικασίας παραγωγής ή σημείου παραγωγής Επιλογή διαδικασίας παραγωγής Η μέθοδος ανάλυσης νεκρού για την επιλογή διαδικασίας παραγωγής αναγνωρίζει

Διαβάστε περισσότερα

Ασκήσεις μελέτης της 4 ης διάλεξης. ), για οποιοδήποτε μονοπάτι n 1

Ασκήσεις μελέτης της 4 ης διάλεξης. ), για οποιοδήποτε μονοπάτι n 1 Οικονομικό Πανεπιστήμιο Αθηνών, Τμήμα Πληροφορικής Μάθημα: Τεχνητή Νοημοσύνη, 2016 17 Διδάσκων: Ι. Ανδρουτσόπουλος Ασκήσεις μελέτης της 4 ης διάλεξης 4.1. (α) Αποδείξτε ότι αν η h είναι συνεπής, τότε h(n

Διαβάστε περισσότερα

Διάλεξη 04: Παραδείγματα Ανάλυσης Πολυπλοκότητας/Ανάλυση Αναδρομικών Αλγόριθμων

Διάλεξη 04: Παραδείγματα Ανάλυσης Πολυπλοκότητας/Ανάλυση Αναδρομικών Αλγόριθμων Διάλεξη 04: Παραδείγματα Ανάλυσης Πολυπλοκότητας/Ανάλυση Αναδρομικών Αλγόριθμων Στην ενότητα αυτή θα μελετηθούν τα εξής επιμέρους θέματα: - Παραδείγματα Ανάλυσης Πολυπλοκότητας : Μέθοδοι, παραδείγματα

Διαβάστε περισσότερα

Κεφάλαιο 4: Επιλογή σημείου παραγωγής

Κεφάλαιο 4: Επιλογή σημείου παραγωγής Κεφάλαιο 4: Επιλογή σημείου παραγωγής Κ4.1 Μέθοδος ανάλυσης νεκρού σημείου για την επιλογή διαδικασίας παραγωγής ή σημείου παραγωγής Επιλογή διαδικασίας παραγωγής Η μέθοδος ανάλυσης νεκρού για την επιλογή

Διαβάστε περισσότερα

= 7. Στο σημείο αυτό θα υπενθυμίσουμε κάποιες βασικές ιδιότητες του μετασχηματισμού Laplace, δηλαδή τις

= 7. Στο σημείο αυτό θα υπενθυμίσουμε κάποιες βασικές ιδιότητες του μετασχηματισμού Laplace, δηλαδή τις 1. Εισαγωγή Δίνεται η συνάρτηση μεταφοράς = = 1 + 6 + 11 + 6 = + 6 + 11 + 6 =. 2 Στο σημείο αυτό θα υπενθυμίσουμε κάποιες βασικές ιδιότητες του μετασχηματισμού Laplace, δηλαδή τις L = 0 # και L $ % &'

Διαβάστε περισσότερα

Γραµµικοί Ταξινοµητές

Γραµµικοί Ταξινοµητές ΚΕΣ 3: Αναγνώριση Προτύπων και Ανάλυση Εικόνας KEΣ 3 Αναγνώριση Προτύπων και Ανάλυση Εικόνας Γραµµικοί Ταξινοµητές ΤµήµαΕπιστήµης και Τεχνολογίας Τηλεπικοινωνιών Πανεπιστήµιο Πελοποννήσου 7 Ncolas sapatsouls

Διαβάστε περισσότερα

ΓΡΑΜΜΙΚΟΣ & ΔΙΚΤΥΑΚΟΣ ΠΡΟΓΡΑΜΜΑΤΙΣΜΟΣ

ΓΡΑΜΜΙΚΟΣ & ΔΙΚΤΥΑΚΟΣ ΠΡΟΓΡΑΜΜΑΤΙΣΜΟΣ ΓΡΑΜΜΙΚΟΣ & ΔΙΚΤΥΑΚΟΣ ΠΡΟΓΡΑΜΜΑΤΙΣΜΟΣ Ενότητα 21: Δυϊκή Θεωρία, Θεώρημα Συμπληρωματικής Χαλαρότητας και τρόποι χρήσης του Σαμαράς Νικόλαος Άδειες Χρήσης Το παρόν εκπαιδευτικό υλικό υπόκειται σε άδειες

Διαβάστε περισσότερα

Έλεγχος Υποθέσεων. Δρ. Αθανάσιος Δαγούμας, Επ. Καθηγητής Οικονομικής της Ενέργειας & των Φυσικών Πόρων, Πανεπιστήμιο Πειραιώς

Έλεγχος Υποθέσεων. Δρ. Αθανάσιος Δαγούμας, Επ. Καθηγητής Οικονομικής της Ενέργειας & των Φυσικών Πόρων, Πανεπιστήμιο Πειραιώς Δρ. Αθανάσιος Δαγούμας, Επ. Καθηγητής Οικονομικής της Ενέργειας & των Φυσικών Πόρων, Πανεπιστήμιο Πειραιώς Η μηδενική υπόθεση είναι ένας ισχυρισμός σχετικά με την τιμή μιας πληθυσμιακής παραμέτρου. Είναι

Διαβάστε περισσότερα

Αριθμητικές μέθοδοι σε ταλαντώσεις μηχανολογικών συστημάτων

Αριθμητικές μέθοδοι σε ταλαντώσεις μηχανολογικών συστημάτων ΠΟΛΥΤΕΧΝΙΚΗ ΣΧΟΛΗ ΤΜΗΜΑ ΜΗΧΑΝΟΛΟΓΩΝ ΜΗΧΑΝΙΚΩΝ Καθηγητής κ. Σ. Νατσιάβας Αριθμητικές μέθοδοι σε ταλαντώσεις μηχανολογικών συστημάτων Στοιχεία Φοιτητή Ονοματεπώνυμο: Νατσάκης Αναστάσιος Αριθμός Ειδικού Μητρώου:

Διαβάστε περισσότερα

Q 12. c 3 Q 23. h 12 + h 23 + h 31 = 0 (6)

Q 12. c 3 Q 23. h 12 + h 23 + h 31 = 0 (6) Εθνικό Μετσόβιο Πολυτεχνείο Σχολή Πολιτικών Μηχανικών Τοµέας Υδατικών Πόρων Μάθηµα: Τυπικά Υδραυλικά Έργα Μέρος 2: ίκτυα διανοµής Άσκηση E0: Μαθηµατική διατύπωση µοντέλου επίλυσης απλού δικτύου διανοµής

Διαβάστε περισσότερα

Β Γραφικές παραστάσεις - Πρώτο γράφημα Σχεδιάζοντας το μήκος της σανίδας συναρτήσει των φάσεων της σελήνης μπορείτε να δείτε αν υπάρχει κάποιος συσχετισμός μεταξύ των μεγεθών. Ο συνήθης τρόπος γραφικής

Διαβάστε περισσότερα

Σ ΤΑΤ Ι Σ Τ Ι Κ Η. Statisticum collegium iv

Σ ΤΑΤ Ι Σ Τ Ι Κ Η. Statisticum collegium iv Σ ΤΑΤ Ι Σ Τ Ι Κ Η i Statisticum collegium iv Στατιστική Συμπερασματολογία Ι Σημειακές Εκτιμήσεις Διαστήματα Εμπιστοσύνης Στατιστική Συμπερασματολογία (Statistical Inference) Το πεδίο της Στατιστικής Συμπερασματολογία,

Διαβάστε περισσότερα

ΠΑΛΙΝΔΡΟΜΗΣΗ ΤΑΞΗΣ ΜΕΓΕΘΟΥΣ

ΠΑΛΙΝΔΡΟΜΗΣΗ ΤΑΞΗΣ ΜΕΓΕΘΟΥΣ . ΠΑΛΙΝΔΡΟΜΗΣΗ ΤΑΞΗΣ ΜΕΓΕΘΟΥΣ (RANK REGRESSION).1 Μονότονη Παλινδρόμηση (Monotonic Regression) Από τη γραφική παράσταση των δεδομένων του προηγουμένου προβλήματος παρατηρούμε ότι τα ζευγάρια (Χ i, i )

Διαβάστε περισσότερα

Matrix Algorithms. Παρουσίαση στα πλαίσια του μαθήματος «Παράλληλοι Αλγόριθμοι» Γ. Καούρη Β. Μήτσου

Matrix Algorithms. Παρουσίαση στα πλαίσια του μαθήματος «Παράλληλοι Αλγόριθμοι» Γ. Καούρη Β. Μήτσου Matrix Algorithms Παρουσίαση στα πλαίσια του μαθήματος «Παράλληλοι Αλγόριθμοι» Γ. Καούρη Β. Μήτσου Περιεχόμενα παρουσίασης Πολλαπλασιασμός πίνακα με διάνυσμα Πολλαπλασιασμός πινάκων Επίλυση τριγωνικού

Διαβάστε περισσότερα

m 1 min f = x ij 0 (8.4) b j (8.5) a i = 1

m 1 min f = x ij 0 (8.4) b j (8.5) a i = 1 KΕΦΑΛΑΙΟ 8 Προβλήµατα Μεταφοράς και Ανάθεσης 8. ΕΙΣΑΓΩΓΗ Μια ειδική κατηγορία προβληµάτων γραµµικού προγραµµατισµού είναι τα προβλήµατα µεταφοράς (Π.Μ.), στα οποία επιζητείται η ελαχιστοποίηση του κόστους

Διαβάστε περισσότερα

ΙΑ ΟΧΙΚΕΣ ΒΕΛΤΙΩΣΕΙΣ

ΙΑ ΟΧΙΚΕΣ ΒΕΛΤΙΩΣΕΙΣ Tel.: +30 2310998051, Αριστοτέλειο Πανεπιστήμιο Θεσσαλονίκης Σχολή Θετικών Επιστημών Τμήμα Φυσικής 541 24 Θεσσαλονίκη Καθηγητής Γεώργιος Θεοδώρου Ιστοσελίδα: http://users.auth.gr/theodoru ΙΑ ΟΧΙΚΕΣ ΒΕΛΤΙΩΣΕΙΣ

Διαβάστε περισσότερα

Διαδικασιακός Προγραμματισμός

Διαδικασιακός Προγραμματισμός Τμήμα ΜΗΧΑΝΙΚΩΝ ΠΛΗΡΟΦΟΡΙΚΗΣ ΤΕ ΤΕΙ ΔΥΤΙΚΗΣ ΕΛΛΑΔΑΣ Διαδικασιακός Προγραμματισμός Διάλεξη 12 η Αναζήτηση/Ταξινόμηση Πίνακα Οι διαλέξεις βασίζονται στο βιβλίο των Τσελίκη και Τσελίκα C: Από τη Θεωρία στην

Διαβάστε περισσότερα

Εισαγωγή στην Ανάλυση Αλγορίθμων

Εισαγωγή στην Ανάλυση Αλγορίθμων Εισαγωγή στην Ανάλυση Αλγορίθμων (4) Μεθοδολογία αναδρομικών σχέσεων (Ι) Με επανάληψη της αναδρομής Έστω όπου r και a είναι σταθερές. Βρίσκουμε τη σχέση που εκφράζει την T(n) συναρτήσει της T(n-) την T(n)

Διαβάστε περισσότερα

ΧΡΗΣΗ ΤΩΝ ΜΗΧΑΝΩΝ ΔΙΑΝΥΣΜΑΤΩΝ ΥΠΟΣΤΗΡΙΞΗΣ ΣΤΗΝ ΕΚΤΙΜΗΣΗ ΤΙΜΩΝ ΑΚΙΝΗΤΩΝ

ΧΡΗΣΗ ΤΩΝ ΜΗΧΑΝΩΝ ΔΙΑΝΥΣΜΑΤΩΝ ΥΠΟΣΤΗΡΙΞΗΣ ΣΤΗΝ ΕΚΤΙΜΗΣΗ ΤΙΜΩΝ ΑΚΙΝΗΤΩΝ ΧΡΗΣΗ ΤΩΝ ΜΗΧΑΝΩΝ ΔΙΑΝΥΣΜΑΤΩΝ ΥΠΟΣΤΗΡΙΞΗΣ ΣΤΗΝ ΕΚΤΙΜΗΣΗ ΤΙΜΩΝ ΑΚΙΝΗΤΩΝ Ειρήνη Γεωργίου ΠΑΝΕΠΙΣΤΗΜΙΟ ΚΥΠΡΟΥ ΤΜΗΜΑ ΠΛΗΡΟΦΟΡΙΚΗΣ Μάρτιος 2009 ΠΑΝΕΠΙΣΤΗΜΙΟ ΚΥΠΡΟΥ ΤΜΗΜΑ ΠΛΗΡΟΦΟΡΙΚΗΣ ΧΡΗΣΗ ΤΩΝ ΜΗΧΑΝΩΝ ΔΙΑΝΥΣΜΑΤΩΝ

Διαβάστε περισσότερα

ΠΑΝΕΠΙΣΤΗΜΙΟ ΜΑΚΕ ΟΝΙΑΣ ΟΙΚΟΝΟΜΙΚΩΝ ΚΑΙ ΚΟΙΝΩΝΙΚΩΝ ΕΠΙΣΤΗΜΩΝ ΤΜΗΜΑ ΕΦΑΡΜΟΣΜΕΝΗΣ ΠΛΗΡΟΦΟΡΙΚΗΣ ΝΕΥΡΩΝΙΚΑ ΙΚΤΥΑ

ΠΑΝΕΠΙΣΤΗΜΙΟ ΜΑΚΕ ΟΝΙΑΣ ΟΙΚΟΝΟΜΙΚΩΝ ΚΑΙ ΚΟΙΝΩΝΙΚΩΝ ΕΠΙΣΤΗΜΩΝ ΤΜΗΜΑ ΕΦΑΡΜΟΣΜΕΝΗΣ ΠΛΗΡΟΦΟΡΙΚΗΣ ΝΕΥΡΩΝΙΚΑ ΙΚΤΥΑ ΘΕΜΑ 1 ο (2.5 µονάδες) ΠΑΝΕΠΙΣΤΗΜΙΟ ΜΑΚΕ ΟΝΙΑΣ ΟΙΚΟΝΟΜΙΚΩΝ ΚΑΙ ΚΟΙΝΩΝΙΚΩΝ ΕΠΙΣΤΗΜΩΝ ΤΜΗΜΑ ΕΦΑΡΜΟΣΜΕΝΗΣ ΠΛΗΡΟΦΟΡΙΚΗΣ ΝΕΥΡΩΝΙΚΑ ΙΚΤΥΑ Τελικές εξετάσεις 21 Σεπτεµβρίου 2004 ιάρκεια: 3 ώρες Το παρακάτω σύνολο

Διαβάστε περισσότερα

Ανασκόπηση θεωρίας ελαχίστων τετραγώνων και βέλτιστης εκτίμησης παραμέτρων

Ανασκόπηση θεωρίας ελαχίστων τετραγώνων και βέλτιστης εκτίμησης παραμέτρων Τοπογραφικά Δίκτυα και Υπολογισμοί 5 ο εξάμηνο, Ακαδημαϊκό Έτος 2016-2017 Ανασκόπηση θεωρίας ελαχίστων τετραγώνων και βέλτιστης εκτίμησης παραμέτρων Χριστόφορος Κωτσάκης Τμήμα Αγρονόμων Τοπογράφων Μηχανικών

Διαβάστε περισσότερα

* * * ( ) mod p = (a p 1. 2 ) mod p.

* * * ( ) mod p = (a p 1. 2 ) mod p. Θεωρια Αριθμων Εαρινο Εξαμηνο 2016 17 Μέρος Α: Πρώτοι Αριθμοί Διάλεξη 1 Ενότητα 1. Διαιρετότητα: Διαιρετότητα, διαιρέτες, πολλαπλάσια, στοιχειώδεις ιδιότητες. Γραμμικοί Συνδυασμοί (ΓΣ). Ενότητα 2. Πρώτοι

Διαβάστε περισσότερα

Χημική Τεχνολογία. Ενότητα 1: Στατιστική Επεξεργασία Μετρήσεων. Ευάγγελος Φουντουκίδης Τμήμα Μηχανολόγων Μηχανικών Τ.Ε.

Χημική Τεχνολογία. Ενότητα 1: Στατιστική Επεξεργασία Μετρήσεων. Ευάγγελος Φουντουκίδης Τμήμα Μηχανολόγων Μηχανικών Τ.Ε. ΕΛΛΗΝΙΚΗ ΔΗΜΟΚΡΑΤΙΑ Ανώτατο Εκπαιδευτικό Ίδρυμα Πειραιά Τεχνολογικού Τομέα Χημική Τεχνολογία Ενότητα 1: Στατιστική Επεξεργασία Μετρήσεων Ευάγγελος Φουντουκίδης Τμήμα Μηχανολόγων Μηχανικών Τ.Ε. Άδειες Χρήσης

Διαβάστε περισσότερα

ΠΕΙΡΑΜΑΤΙΚΕΣ ΠΡΟΣΟΜΟΙΩΣΕΙΣ ΚΕΦΑΛΑΙΟ 4. είναι η πραγματική απόκριση του j δεδομένου (εκπαίδευσης ή ελέγχου) και y ˆ j

ΠΕΙΡΑΜΑΤΙΚΕΣ ΠΡΟΣΟΜΟΙΩΣΕΙΣ ΚΕΦΑΛΑΙΟ 4. είναι η πραγματική απόκριση του j δεδομένου (εκπαίδευσης ή ελέγχου) και y ˆ j Πειραματικές Προσομοιώσεις ΚΕΦΑΛΑΙΟ 4 Όλες οι προσομοιώσεις έγιναν σε περιβάλλον Matlab. Για την υλοποίηση της μεθόδου ε-svm χρησιμοποιήθηκε το λογισμικό SVM-KM που αναπτύχθηκε στο Ecole d Ingenieur(e)s

Διαβάστε περισσότερα