ΕΜΠ ΔΠΜΣ Εφαρμοσμένες Μαθηματικές Επιστήμες Αλγόριθμοι Εξόρυξης Πληροφορίας. Διάλεξη 03: Προεπεξεργασία & Επιλογή Δεδομένων
|
|
- Ἰωσίας Ιωάννου
- 8 χρόνια πριν
- Προβολές:
Transcript
1 ΕΜΠ ΔΠΜΣ Εφαρμοσμένες Μαθηματικές Επιστήμες Αλγόριθμοι Εξόρυξης Πληροφορίας Διάλεξη 03: Προεπεξεργασία & Επιλογή Δεδομένων
2 Προεπεξεργασία δεδομένων Ο μετασχηματισμός των δεδομένων σε μορφή κατάλληλη και αποδοτική για την επιλεγμένη (?) μέθοδο μάθησης Σύνολο τεχνασμάτων που εφαρμόζονται με κύριο στόχο την αύξηση του βαθμού αξιοπιστίας Κάποιες φορές λειτουργούν, κάποιες όχι, και, μέχρι σήμερα, είναι δύσκολο να γνωρίζει κανείς εκ των προτέρων την αποτελεσματικότητά τους Καθώςοπλέοναξιόπιστοςοδηγόςείναιημέθοδος δοκιμής & σφάλματος ( trial & error ), ηγνώσηκαι κατανόηση των τεχνασμάτων αυτών είναι εξαιρετικά σημαντική 2
3 Τεχνοτροπίες προεπεξεργασίας δεδομένων Επιλογή χαρακτηριστικών (attributes) Διακριτοποίηση χαρακτηριστικών Μετασχηματισμός δεδομένων Καθαρισμός δεδομένων 3
4 Επιλογή χαρακτηριστικών Στις περισσότερες εφαρμογές, ο αριθμός των χαρακτηριστικών είναι υπερβολικά μεγάλος για τον αποτελεσματικό χειρισμό τους από τα σχήματα εκμάθησης Τα περισσότερα χαρακτηριστικά συχνά η συντριπτική πλειοψηφία τους είναι ευκρινώς μη συσχετιζόμενα ή περιττά. Κατά συνέπεια, πρέπει να επιλεγεί υποσύνολο των δεδομένων προς χρήση στη διαδικασία εκμάθησης Οι μέθοδοι εκμάθησης εκ φύσεως επιτελούν τη διαδικασία επιλογής των κατάλληλων χαρακτηριστικών και απόρριψης των υπολοίπων Ωστόσο η αποδοτικότητά τους μπορεί συχνά να βελτιωθεί μέσω της προεπιλογής 4
5 Διακριτοποίηση χαρακτηριστικών Απολύτως αναγκαία στην περίπτωση που κάποια χαρακτηριστικά είναι αριθμητικά αλλά η επιλεγμένη μέθοδος εκμάθησης μπορεί να χειριστεί μόνο ρητά (categorical) χαρακτηριστικά Ακόμα και οι μέθοδοι που μπορούν να χειριστούν αριθμητικά χαρακτηριστικά πολλές φορές παράγουν καλύτερα αποτελέσματα ή λειτουργούν ταχύτερα αν τα χαρακτηριστικά έχουν διακριτοποιηθεί Το αντίστροφο πρόβλημα, στο οποίο κατηγορικά χαρακτηριστικά μετατρέπονται σε αριθμητικά, προκύπτει επίσης, αν και λιγότερο συχνά 5
6 Μετασχηματισμός δεδομένων Ημορφήτωνδεδομένων, είτεηφύσητουαλγορίθμου εκμάθησης, συχνά υποδεικνύουν διάφορους μετασχηματισμούς των δεδομένων Αναγκαίοι για την ανάδειξη ιδιαιτεροτήτων ή και διαφορετικών γωνιών θέασης του συνόλου των δεδομένων Πλήθος τεχνικών Μαθηματικοί μετασχηματισμοί Βασισμένοι στη γνώση πεδίου Λογικοί μετασχηματισμοί Αλλαγή δομής / μορφής δεδομένων 6
7 Καθαρισμός δεδομένων Τα ακάθαρτα δεδομένα συνιστούν σημαντικό πρόβλημα Η αναγκαιότητα εξοικείωσης με τα δεδομένα έχει ήδη υποδειχθεί: Κατανόηση περιεχομένου χαρακτηριστικών, συμβάσεων κωδικοποίησης, σημαντικότητας άγνωστων ή και επαναλαμβανόμενων τιμών, θορύβου μέτρησης, λαθών καταγραφής, συστηματικών λαθών Απλές μέθοδοι οπτικοποίησης συχνά βοηθούν κατά πολύ Αυτοματοποιημένες μέθοδοι καθαρισμού δεδομένων, εντοπισμού τιμών προς εξαίρεση και ανωμαλιών 7
8 Επιλογή χαρακτηριστικών Οι περισσότεροι αλγόριθμοι εκμάθησης έχουν σχεδιαστεί ώστε να επιλέγουν τα πλέον κατάλληλα χαρακτηριστικά για τη διαμόρφωση των αποφάσεών τους Η ύπαρξη περισσότερων χαρακτηριστικών επομένως οδηγεί κατά τη θεωρία σε περισσότερο αποδοτική εκπαίδευση Ωστόσο: "Ποια η διαφορά μεταξύ θεωρίας και πράξης; Δεν υπάρχει διαφορά - στη θεωρία. Αλλά στην πράξη υπάρχει." Στην πράξη, ηπροσθήκημησχετικώνχαρακτηριστικών συχνά συγχύζει τα συστήματα μηχανικής μάθησης 8
9 Επιλογή χαρακτηριστικών Βέλτιστη μέθοδος επιλογής: χειροκίνητη, βασισμένη σε βαθιά κατανόηση του προβλήματος και των εκφραζόμενων από τα χαρακτηριστικά Αυτοματοποιημένες μέθοδοι: επίσης χρήσιμες Η μείωση των διαστάσεων των δεδομένων Βελτιώνει την απόδοση των αλγορίθμων εκπαίδευσης Παρέχει μία περισσότερο συμπαγή και κατανοητή απεικόνιση της αντίληψης στόχου, εστιάζοντας στις συναφείς μεταβλητές 9
10 Επιλογή χαρακτηριστικών Δύο μέθοδοι επιλογής υποσυνόλου χαρακτηριστικών Μέθοδος διήθησης (filter): ανεξάρτητη αποτίμηση, βασισμένη στα γενικά χαρακτηριστικά των δεδομένων Μέθοδος ενσωμάτωσης (wrapper): προσκόλληση της διαδικασίας επιλογής στη διαδικασία εκπαίδευσης και αποτίμηση του υποσυνόλου με βάση την τελική απόδοση του αλγορίθμου εκμάθησης Δεν υπάρχει οικουμενικά αποδεκτό μέτρο της σχετικότητας ενός χαρακτηριστικού, γεγονός που καθιστά την επιλογή υποσυνόλου δύσκολη διαδικασία 10
11 Μέθοδος διήθησης Εύρεση υποσυνόλου χαρακτηριστικών επαρκούς για το διαχωρισμό όλων των υποδειγμάτων Επιλογή μικρότερου δυνατού συνόλου χαρακτηριστικών που ικανοποιεί την απαίτηση αυτή (μέσω εξαντλητικής (exhaustive) αναζήτησης) Χρήση διαφορετικού αλγορίθμου εκμάθησης (για παράδειγμα C4.5, 1R) για επιλογή χαρακτηριστικών Για παράδειγμα, μπορεί να εφαρμοστεί ένα αλγόριθμος δένδρου απόφασης στο σύνολο δεδομένων και στη συνέχεια να επιλεγούν τα χαρακτηριστικά εκείνα που ενυπάρχουν στο δένδρο και μόνο αυτά. Μάθηση βασισμένη στα υποδείγματα για απόδοση βαρύτητας στα χαρακτηριστικά (Instance based Learning) Επίσης εφαρμόσιμη, ωστόσο αδυνατεί να υποδείξει τα περιττά χαρακτηριστικά 11
12 Αναζήτηση στο χώρο των χαρακτηριστικών Αριθμός των υποσυνόλων χαρακτηριστικών εκθετικός ως προς τον αριθμό των χαρακτηριστικών εξαντλητική αναζήτηση: μη πρακτική & κοστοβόρα Συνήθεις προσεγγίσεις: άπληστη (greedy) αναζήτηση Επιλογή προς τα εμπρός (forward selection) Απαλοιφή προς τα πίσω (backward elimination) Περισσότερο εξελιγμένες στρατηγικές: Αναζήτηση διπλής κατεύθυνσης (bidirectional) Αναζήτηση καλύτερου πρώτου (best-first): δύναται να εντοπίσει τη βέλτιστη λύση Αναζήτηση δέσμης (beam): απλοποίηση της αναζήτησης καλύτερου πρώτου Γενετικοί αλγόριθμοι (genetic algorithms) 12
13 Παράδειγμα: Υποσύνολα χαρακτηριστικών (δεδομένα καιρού) 13
14 Μέθοδος ενσωμάτωσης Ενσωμάτωση της διαδικασίας επιλογής στην εκμάθηση Κριτήριο αποτίμησης: απόδοση διασταυρωμένης επικύρωσης (cross-validation) Δαπάνη χρόνου Άπληστη αναζήτηση, k χαρακτηριστικά k 2 χρόνος Πρότερη κατάταξη χαρακτηριστικών γραμμική στο k Εξαντλητική αναζήτηση 2 k time RaceSearch, Schemata RankSearch Τελικό κριτή συνιστά το ύψος του σφάλματος σε νέα δεδομένα 14
15 Διακριτοποίηση χαρακτηριστικών Μερικοί αλγόριθμοι ταξινόμησης και ομαδοποίησης χειρίζονται μόνο ονομαστικά χαρακτηριστικά και δεν μπορούν να χειριστούν όσα βρίσκονται σε αριθμητική μορφή Η χρήση των αριθμητικών χαρακτηριστικών προϋποθέτει την προηγούμενη διακριτοποίησή τους σε ξεχωριστά υποσύνολα τιμών Ακόμα και οι αλγόριθμοι μάθησης που μπορούν να χειριστούν αριθμητικά χαρακτηριστικά, συχνά λειτουργούν πολύ πιο γρήγορα όταν χρησιμοποιούνται μόνο με διακριτά χαρακτηριστικά Επομένως, ποιος ο βέλτιστος τρόπος διακριτοποίησης των αριθμητικών χαρακτηριστικών πριν τη διαδικασία εκμάθησης; Για παράδειγμα, εφαρμογή αλγορίθμου σε Διακριτοποιημένο σε k τιμές χαρακτηριστικό ή σε k 1 δυαδικά χαρακτηριστικά που κωδικοποιούν τα σημεία τομής 15
16 Διακριτοποίηση χωρίς επίβλεψη Διακρίβωση διαστημάτων χωρίς γνώση της τάξης στην οποία ανήκει το υπόδειγμα Μοναδική λύση κατά την ομαδοποίηση Δύο προσεγγίσεις: Διαστήματα σταθερού εύρους (equal-interval binning) Διαστήματα σταθερής συχνότητας (equal-frequency binning) (καλείται επίσης εξισορρόπηση ιστογράμματος (histogram equalization)) Υποδεέστερης αξιοπιστίας έναντι των τεχνικών με επίβλεψη σε εργασίες ταξινόμησης 16
17 Διακριτοποίηση με επίβλεψη Μέθοδος εντροπίας Θεωρείται ως η πλέον αποδοτική & αξιόπιστη Κατασκευή δένδρου απόφασης για τη διακριτοποίηση του χαρακτηριστικού Χρήση του μεγέθους της εντροπίας ως κριτήριο διαχωρισμού των τιμών του αρχικού συνόλου Αρχήελαχίστουμήκουςπεριγραφής(minimum description length (MDL)) ως κριτήριο διακοπής 17
18 Παράδειγμα: Διακριτοποίηση χαρακτηριστικού θερμοκρασίας Temperature Play Yes No Yes Yes Yes No No Yes Yes Yes No Yes Yes No Temperature < 71,5 διαχωρισμός του εύρους σε 4 yes & 2 no / 5 yes & 3 no Μέτρο κέρδους πληροφορίας βασισμένο στην εντροπία n info = p()log i 2( p()) i i= 1 info([4,2]) = -(4/(4+2))*log 2 (4) (2/(4+2))* log 2 (2) info([4, 2],[5,3])=(6/14)*info([4, 2])+(8/14)* info([5, 3])= bits 18
19 Παράδειγμα: Διακριτοποίηση χαρακτηριστικού θερμοκρασίας 19
20 Σχέση αρχής ελαχίστου μήκους περιγραφής Για την εφαρμογή της αρχής MDL : Λαμβάνονται υπ όψιν Σημείο τομής (log 2 [N 1] bits) Κατανομή τάξεων σε κάθε υποσύνολο Σύγκριση απαιτούμενου μήκους περιγραφής πριν και μετά την προσθήκη σημείου τομής N υποδείγματα Αρχικό σύνολο: k τάξεις, εντροπία E Πρώτο υποσύνολο: k 1 τάξεις, εντροπία E 1 Δεύτερο υποσύνολο: k 2 τάξεις, εντροπία E 2 k log 2( N 1) log 2(3 2) ke+ k1e1+ k2e2 info > + N N Συνιστά τη μη διακριτοποίηση της θερμοκρασίας 20
21 Διακριτοποίηση με επίβλεψη: άλλες μέθοδοι Αντικατάσταση διαδικασίας από πάνω προς τα κάτω (top-down) με προσέγγιση από κάτω προς τα πάνω (bottom-up) Αντικατάσταση αρχής MDL με τεστ Χ 2 Χρήση δυναμικού προγραμματισμού για την εύρεση βέλτιστου διαχωρισμού σε k-διαστήματα με βάση δοσμένο κριτήριο Υπολογιστικό κόστος με κριτήριο εντροπίας Ν 2 χρόνος Υπολογιστικό κόστος με κριτήριο σφάλματος Ν χρόνος 21
22 Σφάλμα ή εντροπία; Ερώτηση: Είναι δυνατόν, υποθέτοντας βέλτιστη διακριτοποίηση, δύο γειτονικά διαστήματα να περιέχουν υποδείγματα που ανήκουν κατά πλειοψηφία στην ίδια τάξη? Προφανής απάντηση: Όχι. Γιατί, εάν ναι, Συγχώνευση των δύο Απελευθέρωση ενός διαστήματος Χρήση του αλλού (προσέγγιση διακριτοποίησης με βάση κριτήριο σφάλματος) Σωστή απάντηση: Ναι. (η διακριτοποίηση με κριτήριο εντροπίας μπορεί να το υλοποιήσει) 22
23 Σφάλμα ή εντροπία; Πρόβλημα δύο τάξεων, δύο χαρακτηριστικών Αληθές μοντέλο Βέλτιστη διακριτοποίηση των a1, a2 Η μέθοδος εντροπίας εντοπίζει μεταβολές στην κατανομή των τάξεων 23
24 Αντίστροφο πρόβλημα διακριτοποίησης Μετατροπή ονομαστικών τιμών σε αριθμητικές 1.Χαρακτηριστικό δείκτης (indicator) Δεν κάνει χρήση πληροφορίας περί κατάταξης 2.Κωδικοποίηση ονομαστικού χαρακτηριστικού μέσω κατάταξης σε δυαδικά χαρακτηριστικά Δύναται να χρησιμοποιηθεί από κάθε διατεταγμένο χαρακτηριστικό Προτιμητέα έναντι μετατροπής σε ακέραιο (ηοποία προυποθέτει βαθμονόμηση Γενικά: κωδικοποίηση υποσυνόλου των χαρακτηριστικών ως δυαδικά 24
25 Μετασχηματισμός δεδομένων Ένα πρόβλημα εξόρυξης γνώσης από δεδομένα σπάνια περιορίζεται στην απλή εφαρμογή ενός αλγορίθμου σε ένα σύνολο δεδομένων Μέθοδοι μετασχηματισμού των δεδομένων, όπως οι περί διακριτοποίησης, υπάρχουν διαθέσιμοι σε μεγάλο πλήθος και χρησιμοποιούνται σχεδόν σε κάθε περίπτωση Κάθε πρόβλημα είναι διαφορετικό Απαιτείται κατανόηση των δεδομένων Επίσης εξέτασή τους από διαφορετικές γωνίες θέασης με δημιουργικό τρόπο ώστε να φθάσει κανείς στην κατάλληλη οπτική Ο μετασχηματισμός σε διάφορες μορφές συμβάλλει προς αυτή την κατεύθυνση 25
26 Γενικά περί μετασχηματισμών Συχνά η φύση των δεδομένων υποδεικνύει μαθηματικούς μετασχηματισμούς Για παράδειγμα, αφαίρεση ημερομηνιών για εύρεση ηλικίας Μετασχηματισμοί πιθανά να υποδεικνύονται επίσης από γνωστές ιδιότητες του αλγορίθμου εκμάθησης Για παράδειγμα, κανονικοποίηση για βελτίωση απόδοσης Δεν είναι απαραίτητα μαθηματικοί, μπορούν για παράδειγμα να αποτυπώνουν την κοινή λογική ή τη γνώση πεδίου Για παράδειγμα, ημερομηνίες αργιών, ατομικοί αριθμοί χημικών στοιχείων 26
27 Είδη μετασχηματισμού Συγχώνευση ονομαστικών χαρακτηριστικών Προσθήκη νέων χαρακτηριστικών Προσθήκη θορύβου στα δεδομένα (για παράδειγμα για έλεγχο αξιοπιστίας) Μεταλλαγή συγκεκριμένου ποσοστού Σύγχυση δεδομένων (obfuscate) Τυχαιοποίηση σειράς, παραγωγή τυχαίου υποσυνόλου Απομάκρυνση υποδειγμάτων (με ειδικά χαρακτηριστικά ή όχι) Απομάκρυνση τιμών προς εξαίρεση (outliers) Μετατροπή αραιών (sparse) δεδομένων σε μη αραιά και αντιστρόφως Μετασχηματισμοί κειμένου & χρονοσειρών 27
28 Ανάλυση Κύριων Συνιστωσών (Principal Components Analysis) Σύνολο δεδομένων με k αριθμητικά χαρακτηριστικά Ένανέφοςσημείωνσεέναχώροk-διαστάσεων τα αστέρια στον ουρανό, ένα σμήνος μελισσών στο χώρο, ένα διάγραμμα διασποράς στο χαρτί. Τα χαρακτηριστικά αντιπροσωπεύουν τις συντεταγμένες. Ηεπιλογήαξόνων το σύστημα συντεταγμένων είναι αυθαίρετη Η απεικόνιση του σμήνους είναι εξίσου καλή για κάθε επιλογή αξόνων Στην εξόρυξη γνώσης από δεδομένα, συχνά υπάρχει προτιμώμενο σύστημα συντεταγμένων Καθορίζεται όχι από κάποια εξωτερική παραδοχή αλλά από τα ίδιαταδεδομένα 28
29 Ανάλυση Κύριων Συνιστωσών Για κάθε επιλογή συστήματος συντεταγμένων: το νέφος των σημείων χαρακτηρίζεται από συγκεκριμένη διακύμανση (variance) σε κάθε κατεύθυνση δηλώνει τη διασπορά γύρω από τη μέση τιμή σε αυτή την κατεύθυνση Υπό τη συνθήκη ότι το σύστημα συντεταγμένων είναι ορθογώνιο, η συνολική διακύμανση είναι σταθερή. PCA: επέλεξε το σύστημα συντεταγμένων ως εξής Τοποθέτησε τον πρώτο άξονα στην κατεύθυνση μέγιστης διακύμανσης Επέλεξε τον δεύτερο άξονα κάθετα στον πρώτο, μεγιστοποιώντας πάλι τη διακύμανση Με μαθηματική διατύπωση: βρες τα ιδιοδιανύσματα του διαγωνοποιημένου πίνακα συνδιακύμανσης επι των αρχικών συντεταγμένων. αυτά αποτελούν του άξονες του μετασχηματισμένου χώρου και οι ιδιοτιμές αποδίδουν τη διακύμανση κατά μήκος των αξόνων. 29
30 Ανάλυση Κύριων Συνιστωσών Παράδειγμα 30
31 Ανάλυση Κύριων Συνιστωσών Η διακύμανση ανά άξονα (συνιστώσα / component) εκφράζεται ως % επί του (σταθερού) συνόλου Για παράδειγμα, η πρώτη συνιστώσα ερμηνεύει το χ% της συνολικής διασποράς Μπορεί κανείς να επιλέξει προς χρήση τις πιο σημαντικές (κύριες / principal) συνιστώσες και μόνο αυτές- και να αποβάλλει τις υπόλοιπες Η μέθοδος χρησιμοποιείται συχνά πριν την εφαρμογή των αλγορίθμων εκπαίδευσης για τον καθαρισμό των δεδομένων και την αναπαραγωγή των χαρακτηριστικών Σημείωση: η κλίμακα των χαρακτηριστικών επηρεάζει το αποτέλεσμα της PCA Κοινή πρακτική αποτελεί η κανονικοποίηση όλων των χαρακτηριστικών (μέση τιμή: 0, τυπική απόκλιση: 1) πριν την εφαρμογή της μεθόδου 31
32 Τυχαίες προβολές Υπολογιστικό κόστος PCA (#διαστάσεων) 3 χρόνος Απλούστερη εναλλακτική: τυχαία προβολή των δεδομένων σε υποχώρο προκαθορισμένου αριθμού διαστάσεων Όπως είναι αναμενόμενο, οι τυχαίες προβολές έχουν χαμηλότερη απόδοση της PCA Ωστόσο, πειραματικά αποτελέσματα υποδεικνύουν πως η απόκλιση δεν είναι πολύ μεγάλη και τείνει να μειωθεί καθώς ο αριθμός των διαστάσεων αυξάνεται 32
33 Μετατροπή κειμένου σε χαρακτηριστικά Χαρακτηριστικά που περιέχουν συμβολοσειρές (strings) κειμένου Συχνά οι τιμές τους αποτελούν ολόκληρο κείμενο Πώς αντιμετωπίζονται; Αποσύνθεση του κειμένου σε χαρακτηριστικά συμβολοσειρών παραγράφους, προτάσεις, φράσεις ή συνήθως λέξεις Ημετατροπήσελέξεις(tokenization) είναι πολυσύνθετη Αριθμοί, σύνταξη, στίξη, διαχωριστής πεδίου (delimeter), γλωσσικές συμβάσεις, συχνέςήμηλέξεις, Οι συχνότητες fij της λέξης i στο έγγραφο j μπορούν να μετασχηματιστούν με διάφορους τρόπους log (1 + fij). TF x IDF term frequency times inverse document frequency. 33
34 Μετατροπή χρονοσειρών σε χαρακτηριστικά Σε δεδομένα χρονοσειρών κάθε υπόδειγμα αντιπροσωπεύει διαφορετική χρονική στιγμή τα χαρακτηριστικά δίδουν τιμές συσχετιζόμενες με αυτό το στιγμιότυπο για παράδειγμα πρόβλεψη καιρού, πρόβλεψη τιμών μετοχής Πολύ συνήθης είναι η αντικατάσταση των τιμών ενός χαρακτηριστικού με τη διαφορά (Δ) τους με αυτές ενός χρονικά προηγούμενου υποδείγματος Σε κάποιες περιπτώσεις, τα υποδείγματα δε λαμβάνονται περιοδικά, γι αυτό και συνοδεύονται από χαρακτηριστικό ένδειξης χρόνου (timestamp) Ηδιαφοράτωνtimestamps αποτελεί το χρονικό βήμα του υποδείγματος Σε άλλες περιπτώσεις, κάθε χαρακτηριστικό αφορά διαφορετικό στιγμιότυπο, οπότε η χρονοσειρά ουσιαστικά προσδιορίζεται από το ένα προς το άλλο χαρακτηριστικό και όχι υπόδειγμα 34
35 Αυτοματοποιημένος καθαρισμός δεδομένων Η χαμηλή ποιότητα των δεδομένων αποτελεί σοβαρό πρόβλημα για την εξόρυξη γνώσης από αυτά Τα λάθη σε μεγάλες βάσεις δεδομένων αποτελούν περισσότερο κανόνα παρά εξαίρεση Οι τιμές των χαρακτηριστικών, πολλές φορές ακόμα και των τάξεων, είναι συχνά ανακριβείς, αναξιόπιστες και ακάθαρτες Συμβατική μέθοδος αντιμετώπισης: προσεκτικός έλεγχος των δεδομένων Στην έκταση των προβλημάτων που πραγματεύονται, ίσως αδύνατος Αυτοματοποιημένες μέθοδοι: Εντοπισμός διαταραχών Συνδυασμός αλγορίθμων μάθησης 35
36 Βελτίωση δένδρων απόφασης Για τη βελτίωση ενός δένδρου απόφασης: Ιδεατή λύση: έλεγχος λανθασμένα ταξινομημένων υποδειγμάτων από εμπειρογνώμονα Προσέγγιση μηχανική μάθησης στο πρόβλημα: απομάκρυνση λανθασμένα ταξινομημένων υποδειγμάτων και επανεκπαίδευση Θόρυβος χαρακτηριστικών και θόρυβος τάξεων Ο θόρυβος στα χαρακτηριστικά πρέπει να παραμένει ανέπαφος στο σύνολο δεδομένων (προσοχή: όχι εκπαίδευση σε καθαρό σύνολο και έλεγχος σε μη καθαρό σύνολο) Συστημικός θόρυβος στην τάξη (για παράδειγμα αντικατάσταση μίας τάξης με μία άλλη): πρέπει επίσης να παραμείνει στα δεδομένα εκπαίδευσης Μη συστημικός θόρυβος τάξης: απομάκρυνσή του από το σύνολο εκπαίδευσης, αν αυτό είναι δυνατό 36
37 Ανθεκτική παλινδρόμηση Ανθεκτική (robust) στατιστική μέθοδος επιλαμβάνεται του προβλήματος των τιμών προς εξαίρεση (outliers) Για την ανθεκτικότητα της παλινδρόμησης (regression): Ελαχιστοποίηση του απολύτου σφάλματος, όχι του τετραγωνικού σφάλματος Απομάκρυνση outliers (για παράδειγμα 10% των σημείων που απέχουν περισσότερο από την επιφάνεια παλινδρόμησης) Ελαχιστοποίηση της μεσαίας τιμής (median) και όχι του μέσου (mean) των τετραγώνων (για outliers στον x και y άξονα) Λαμβάνει υπ όψιν το ήμισυ τα περισσότερο συναφή, σε όρους απόστασης, δεδομένα Υψηλό υπολογιστικό κόστος 37
38 Παράδειγμα ανθεκτικής παλινδρόμησης 38
39 Εφαρμογή στο weka 39
40 Αποτίμηση & επιλογή χαρακτηριστικών Αναζήτηση στο χώρο των υποσυνόλων χαρακτηριστικών και αποτίμηση του καθενός Το περιβάλλον εργασίας παρέχει 4 μεθόδους αποτίμησης υποσυνόλου χαρακτηριστικών 7 μεθόδους αναζήτησης σε υποσύνολα χαρακτηριστικών (άρα και 2401 συνδυασμούς τους!) Μία ταχύτερη αλλά λιγότερο ακριβής μέθοδος είναι η αποτίμηση κάθε χαρακτηριστικού χωριστά ταξινόμηση και απόρριψη όσων δεν ικανοποιούν ορισμένη τιμή του κριτηρίου Το περιβάλλον εργασίας παρέχει 8 μεθόδους αποτίμησης μοναδιαίου χαρακτηριστικού μέθοδο κατάταξης 40
41 Select attributes Select attributes sheet Choose & format Attribute Evaluator & Search Method Attribute Selection Mode (full training set / cross-validation) Select attribute Start / stop Attribute selection output Result list 41
42 Αποτίμηση υποσυνόλου χαρακτηριστικών Μέθοδοι διήθησης (filter methods) CfsSubsetEval Consider the predictive value of each subset evaluator attribute individually, along with the degree of redundancy among them ConsistencySubsetEval Project training set onto attribute set and measure consistency in class values Μέθοδοι ενσωμάτωσης (wrapper methods) ClassifierSubsetEval Use a classifier to evaluate attribute set WrapperSubsetEval Use a classifier plus cross-validation 42
43 Μέθοδοι αναζήτησης BestFirst Greedy hill-climbing with backtracking ExhaustiveSearch Search exhaustively GeneticSearch Search using a simple genetic algorithm GreedyStepwise Greedy hill-climbing without backtracking; optionally generate ranked list of attributes RaceSearch Use race search methodology RandomSearch Search randomly RankSearch Sort the attributes and rank promising subsets using an attribute subset evaluator Μέθοδος κατάταξης Ranker Rank individual attributes (not subsets) according to their evaluation 43
44 Αποτίμηση μοναδιαίου χαρακτηριστικού ChiSquaredAttributeEval Compute the chi-squared statistic of each attribute with respect to the class GainRatioAttributeEval Evaluate attribute based on gain ratio InfoGainAttributeEval Evaluate attribute based on information gain OneRAttributeEval Use OneR s methodology to evaluate attributes PrincipalComponents Perform principal components analysis and transformation ReliefFAttributeEval Instance-based attribute evaluator SVMAttributeEval Use a linear support vector machine to determine the value of attributes SymmetricalUncertAttributeEval Evaluate attribute based on symmetric uncertainty 44
45 Filter Preprocess sheet Filter Choose (supervised / unsupervised, attribute / instance) Apply 45
46 Φίλτρα χαρακτηριστικών χωρίς επίβλεψη (Unsupervised attribute filters) Προσθήκη & απομάκρυνση χαρακτηριστικών Add Add a new attribute, whose values are all marked as missing Copy Copy a range of attributes in the dataset Remove Remove attributes RemoveType Remove attributes of a given type (nominal, numeric, string, or date) RemoveUseless Remove constant attributes, along with nominal attributes that vary too much Define attribute, eg. first-3,5,9-last / except 46
47 Φίλτρα χαρακτηριστικών χωρίς επίβλεψη (Unsupervised attribute filters) AddCluster Add a new nominal attribute representing the cluster assigned to each instance by a given clustering algorithm AddExpression Create a new attribute by applying a specified mathematical function to existing attributes ClusterMembership Use a clusterer to generate cluster membership values, which then form the new attributes Normalize Scale all numeric values in the dataset to lie within the interval [0,1] Standardize Standardize all numeric attributes to have zero mean and unit variance NumericTransform Transform a numeric attribute using any Java function Operators +, -, *, /, ^ functions log/exp, abs/sqrt, floor/ceil/rint, sin/cos/tan Define attribute, eg. A7 Expression eg. a1^2*a5/log(a7*4.0) 47
48 Φίλτρα χαρακτηριστικών χωρίς επίβλεψη (Unsupervised attribute filters) Αλλαγή τιμών SwapValues Swap two values of an attribute MergeTwoValues Merge two values of a given attribute: Specify the index of the two values to be merged ReplaceMissingValues Replace all missing values for nominal and numeric attributes with the modes and means of the training data Τυχαιοποίηση AddNoise Change a percentage of a given nominal attribute s values Obfuscate Obfuscate the dataset by renaming the relation, all attribute names, and nominal and string attribute values RandomProjection Project the data onto a lower-dimensional subspace using a random matrix 48
49 Φίλτρα χαρακτηριστικών χωρίς επίβλεψη (Unsupervised attribute filters) Μετατροπές Discretize Convert numeric attributes to nominal: Specify which attributes, number of bins, whether to optimize the number of bins, and output binary attributes. Use equal-width (default) or equal-frequency binning PKIDiscretize Discretize numeric attributes using equal-frequency binning, where the number of bins is equal to the square root of the number of values (excluding missing values) MakeIndicator Replace a nominal attribute with a Boolean attribute. Assign value 1 to instances with a particular range of attribute values; otherwise, assign 0. By default, the Boolean attribute is coded as numeric NominalToBinary Change a nominal attribute to several binary ones, one for each value NumericToBinary Convert all numeric attributes into binary ones: Nonzero values become 1 FirstOrder Apply a first-order differencing operator to a range of numeric attributes 49
50 Φίλτρα χαρακτηριστικών χωρίς επίβλεψη (Unsupervised attribute filters) Μετατροπές συμβολοσειρών StringToNominal Convert a string attribute to nominal StringToWordVector Convert a string attribute to a vector that represents word occurrence frequencies; you can choose the delimiter(s) and there are many more options Χρονοσειρές TimeSeriesTranslate Replace attribute values in the current instance with the equivalent value in some previous (or future) instance TimeSeriesDelta Replace attribute values in the current instance with the difference between the current value and the value in some previous (or future) instance 50
51 Φίλτρα υποδειγμάτων χωρίς επίβλεψη (Unsupervised instance filters) Τυχαιοποίηση & δειγματοληψία υποσυνόλου Randomize Randomize the order of instances in a dataset Normalize Treat numeric attributes as a vector and normalize it to a given length Resample Produce a random subsample of a dataset, sampling with replacement RemoveFolds Output a specified cross-validation fold for the dataset RemovePercentage Remove a given percentage of a dataset RemoveRange Remove a given range of instances from a dataset RemoveWithValues Filter out instances with certain attribute values RemoveMisclassified Remove instances incorrectly classified according to a specified classifier useful for removing outliers Αραιά Υποδείγματα NonSparseToSparse Convert all incoming instances to sparse format SparseToNonSparse Convert all incoming sparse instances into nonsparse format 51
52 Φίλτρα με επίβλεψη (Supervised Filters) Χρήζουνιδιαίτερηςπροσοχής, καθώς στην πραγματικότητα δεν συνιστούν λειτουργίες προεπεξεργασίας Οι διαμερίσεις των δεδομένων ελέγχου απαιτείται να μη λαμβάνουν υπ όψιν τις τιμές των τάξεων των υποδειγμάτων ελέγχου, καθώς αυτές υποτίθεται πως είναι άγνωστες. Φίλτρα χαρακτηριστικών Discretize Convert numeric attributes to nominal NominalToBinary Convert nominal attributes to binary, using a supervised method if the class is numeric ClassOrder Randomize, or otherwise alter, the ordering of class values AttributeSelection Provides access to the same attribute selection methods as the Select attributes panel Φίλτρα υποδειγμάτων Resample Produce a random subsample of a dataset, sampling with replacement SpreadSubsample Produce a random subsample with a given spread between class frequencies, sampling with replacement StratifiedRemoveFolds Output a specified stratified cross-validation fold for the dataset 52
53 Τέλος Επόμενη διάλεξη: ΑπεικόνισηΓνώσης, Αξιοπιστία&Αποτίμηση 53
ΕΘΝΙΚΟ ΜΕΤΣΟΒΙΟ ΠΟΛΥΤΕΧΝΕΙΟ ΣΧΟΛΗ ΕΦΑΡΜΟΣΜΕΝΩΝ ΜΑΘΗΜΑΤΙΚΩΝ ΚΑΙ ΦΥΣΙΚΩΝ ΕΠΙΣΤΗΜΩΝ ΠΛΗΡΟΦΟΡΙΑΣ ΠΑΡΟΥΣΙΑΣΗ ΤΕΛΙΚΗΣ ΕΡΓΑΣΙΑΣ ΛΙΝΑ ΜΑΣΣΟΥ
ΕΘΝΙΚΟ ΜΕΤΣΟΒΙΟ ΠΟΛΥΤΕΧΝΕΙΟ ΣΧΟΛΗ ΕΦΑΡΜΟΣΜΕΝΩΝ ΜΑΘΗΜΑΤΙΚΩΝ ΚΑΙ ΦΥΣΙΚΩΝ ΕΠΙΣΤΗΜΩΝ ΑΛΓΟΡΙΘΜΟΙ ΕΞΟΡΥΞΗΣ ΠΛΗΡΟΦΟΡΙΑΣ ΠΑΡΟΥΣΙΑΣΗ ΤΕΛΙΚΗΣ ΕΡΓΑΣΙΑΣ ΛΙΝΑ ΜΑΣΣΟΥ Δ.Π.Μ.Σ: «Εφαρμοσμένες Μαθηματικές Επιστήμες» 2008
Διαβάστε περισσότεραΑΛΓΟΡΙΘΜΟΙ ΕΞΟΡΥΞΗΣ ΠΛΗΡΟΦΟΡΙΑΣ
ΕΘΝΙΚΟ ΜΕΤΣΟΒΙΟ ΠΟΛΥΤΕΧΝΕΙΟ ΣΧΟΛΗ ΕΦΑΡΜΟΣΜΕΝΩΝ ΜΑΘΗΜΑΤΙΚΩΝ ΚΑΙ ΦΥΣΙΚΩΝ ΕΠΙΣΤΗΜΩΝ Δ.Π.Μ.Σ. ΕΦΑΡΜΟΣΜΕΝΕΣ ΜΑΘΗΜΑΤΙΚΕΣ ΕΠΙΣΤΗΜΕΣ ΑΛΓΟΡΙΘΜΟΙ ΕΞΟΡΥΞΗΣ ΠΛΗΡΟΦΟΡΙΑΣ ΤΕΛΙΚΗ ΕΡΓΑΣΙΑ ΧΟΥΧΟΥΜΗΣ ΙΩΑΝΝΗΣ Το σύνολο των
Διαβάστε περισσότεραΔΠΜΣ: ΕΦΑΡΜΟΣΜΕΝΕΣ ΜΑΘΗΜΑΤΙΚΕΣ ΕΠΙΣΤΗΜΕΣ ΡΟΗ: ΣΤΑΤΙΣΤΙΚΗ-ΠΙΘΑΝΟΤΗΤΕΣ ΜΑΘΗΜΑ: ΑΛΓΟΡΙΘΜΟΙ ΕΞΟΡΥΞΗΣ ΠΛΗΡΟΦΟΡΙΑΣ ΤΕΛΙΚΗ ΕΡΓΑΣΙΑ ΔΗΜΗΤΡΑ ΤΑΤΣΙΟΥ
ΔΠΜΣ: ΕΦΑΡΜΟΣΜΕΝΕΣ ΜΑΘΗΜΑΤΙΚΕΣ ΕΠΙΣΤΗΜΕΣ ΡΟΗ: ΣΤΑΤΙΣΤΙΚΗ-ΠΙΘΑΝΟΤΗΤΕΣ ΜΑΘΗΜΑ: ΑΛΓΟΡΙΘΜΟΙ ΕΞΟΡΥΞΗΣ ΠΛΗΡΟΦΟΡΙΑΣ ΤΕΛΙΚΗ ΕΡΓΑΣΙΑ ΔΗΜΗΤΡΑ ΤΑΤΣΙΟΥ ΠΡΟΕΠΙΣΚΟΠΗΣΗ ΚΑΙ ΕΞΕΡΕΥΝΗΣΗ ΤΩΝ ΔΕΔΟΜΕΝΩΝ Τα προς επεξεργασία
Διαβάστε περισσότεραΑΝΔΡΟΥΛΑΚΗΣ ΜΑΝΟΣ A.M AΛΓΟΡΙΘΜΟΙ ΕΞΟΡΥΞΗΣ ΠΛΗΡΟΦΟΡΙΑΣ
ΑΝΔΡΟΥΛΑΚΗΣ ΜΑΝΟΣ A.M. 09470015 AΛΓΟΡΙΘΜΟΙ ΕΞΟΡΥΞΗΣ ΠΛΗΡΟΦΟΡΙΑΣ Διδάσκων: Γιώργος Τζιραλής ΔΠΜΣ ΕΦΑΡΜΟΣΜΕΝΕΣ ΜΑΘΗΜΑΤΙΚΕΣ ΕΠΙΣΤΗΜΕΣ Στάδιο 1 ο. Προεπισκόπηση-προεπεξεργασία δεδομένων: Δίδονται τα παρακάτω
Διαβάστε περισσότεραΑΛΓΟΡΙΘΜΟΙ ΕΞΟΡΥΞΗΣ ΠΛΗΡΟΦΟΡΙΑΣ (Data Mining) Πανδή Αθηνά
ΑΛΓΟΡΙΘΜΟΙ ΕΞΟΡΥΞΗΣ ΠΛΗΡΟΦΟΡΙΑΣ (Data Mining) Πανδή Αθηνά Μάιος 2008 Τα δεδομένα που έχουμε προς επεξεργασία χωρίζονται σε τρία μέρη: 1. Τα δεδομένα εκπαίδευσης (training set) που αποτελούνται από 2528
Διαβάστε περισσότεραΙ. Preprocessing (Επεξεργασία train.arff):
Ονοματεπώνυμο: Κατερίνα Αργύρη Δ.Π.Μ.Σ: Εφαρμοσμένες Μαθηματικές Επιστήμες Ακαδ. Έτος: 2008-2009 1 Για την παρούσα εργασία διατίθενται τρία σύνολα δεδομένων: Δεδομένα Εκπαίδευσης (train set αρχείο train.arff):
Διαβάστε περισσότεραΔΠΜΣ: ΕΦΑΡΜΟΣΜΕΝΕΣ ΜΑΘΗΜΑΤΙΚΕΣ ΕΠΙΣΤΗΜΕΣ ΑΛΓΟΡΙΘΜΟΙ ΕΞΟΡΥΞΗΣ ΠΛΗΡΟΦΟΡΙΑΣ ΤΕΛΙΚΗ ΕΡΓΑΣΙΑ
Ε Θ Ν Ι Κ Ο Μ Ε Τ Σ Ο Β Ι Ο Π Ο Λ Υ Τ Ε Χ Ν Ε Ι Ο ΣΧΟΛΗ ΕΦΑΡΜΟΣΜΕΝΩΝ ΜΑΘΗΜΑΤΙΚΩΝ & ΦΥΣΙΚΩΝ ΕΠΙΣΤΗΜΩΝ ΔΠΜΣ: ΕΦΑΡΜΟΣΜΕΝΕΣ ΜΑΘΗΜΑΤΙΚΕΣ ΕΠΙΣΤΗΜΕΣ ΑΛΓΟΡΙΘΜΟΙ ΕΞΟΡΥΞΗΣ ΠΛΗΡΟΦΟΡΙΑΣ ΤΕΛΙΚΗ ΕΡΓΑΣΙΑ ΟΝΟΜΑΤΕΠΩΝΥΜΟ:
Διαβάστε περισσότεραΔιακριτικές Συναρτήσεις
Διακριτικές Συναρτήσεις Δρ. Δηµήτριος Τσέλιος Επίκουρος Καθηγητής ΤΕΙ Θεσσαλίας Τµήµα Διοίκησης Επιχειρήσεων Θερµικός χάρτης των XYZ ξενοδοχείων σε σχέση µε τη γεωγραφική περιοχή τους P. Adamopoulos New
Διαβάστε περισσότεραΣΧΟΛΗ ΕΦΑΡΜΟΣΜΕΝΩΝ ΜΑΘΗΜΑΤΙΚΩΝ ΚΑΙ ΦΥΣΙΚΩΝ ΕΠΙΣΤΗΜΩΝ
ΣΧΟΛΗ ΕΦΑΡΜΟΣΜΕΝΩΝ ΜΑΘΗΜΑΤΙΚΩΝ ΚΑΙ ΦΥΣΙΚΩΝ ΕΠΙΣΤΗΜΩΝ ΔΠΜΣ : ΕΦΑΡΜΟΣΜΕΝΕΣ ΜΑΘΗΜΑΤΙΚΕΣ ΕΠΙΣΤΗΜΕΣ ΡΟΗ ΠΙΘΑΝΟΝΤΗΤΕΣ ΚΑΙ ΣΤΑΤΙΣΤΙΚΗΣ ΕΡΓΑΣΙΑ 08: ΕΙΡΗΝΗ ΛΥΓΚΩΝΗ 1 Ο ΣΤΑΔΙΟ: Πριν εφαρμόσουμε οποιοδήποτε αλγόριθμο
Διαβάστε περισσότεραΑποθήκες και Εξόρυξη Δεδομένων
ΠΑΝΕΠΙΣΤΗΜΙΟ ΠΕΙΡΑΙΩΣ ΤΜΗΜΑ ΨΗΦΙΑΚΩΝ ΣΥΣΤΗΜΑΤΩΝ Αποθήκες και Εξόρυξη Δεδομένων 1 Ο Εργαστήριο Εισαγωγή στο WEKA (Preprocessing Select Attributes) Στουγιάννου Ελευθερία estoug@unipi.gr -2- ΠΕΡΙΕΧΟΜΕΝΑ Εισαγωγή
Διαβάστε περισσότεραιατµηµατικό Μεταπτυχιακό Πρόγραµµα Σπουδών ΕΦΑΡΜΟΣΜΕΝΕΣ ΜΑΘΗΜΑΤΙΚΕΣ ΕΠΙΣΤΗΜΕΣ
ΕΘΝΙΚΟ ΜΕΤΣΟΒΙΟ ΠΟΛΥΤΕΧΝΕΙΟ ΣΧΟΛΗ ΕΦΑΡΜΟΣΜΕΝΩΝ ΜΑΘΗΜΑΤΙΚΩΝ ΚΑΙ ΦΥΣΙΚΩΝ ΕΠΙΣΤΗΜΩΝ ιατµηµατικό Μεταπτυχιακό Πρόγραµµα Σπουδών ΕΦΑΡΜΟΣΜΕΝΕΣ ΜΑΘΗΜΑΤΙΚΕΣ ΕΠΙΣΤΗΜΕΣ Τελική Εργασία στο µάθηµα Αλγόριθµοι Εξόρυξης
Διαβάστε περισσότεραΕξόρυξη Γνώσης από Βιολογικά εδομένα
Παρουσίαση Διπλωματικής Εργασίας Εξόρυξη Γνώσης από Βιολογικά εδομένα Καρυπίδης Γεώργιος (Μ27/03) Επιβλέπων Καθηγητής: Ιωάννης Βλαχάβας MIS Πανεπιστήμιο Μακεδονίας Φεβρουάριος 2005 Εξόρυξη Γνώσης από Βιολογικά
Διαβάστε περισσότεραΚεφάλαιο 20. Ανακάλυψη Γνώσης σε Βάσεις δεδοµένων. Τεχνητή Νοηµοσύνη - Β' Έκδοση Ι. Βλαχάβας, Π. Κεφαλάς, Ν. Βασιλειάδης, Φ. Κόκκορας, Η.
Κεφάλαιο 20 Ανακάλυψη Γνώσης σε Βάσεις δεδοµένων Τεχνητή Νοηµοσύνη - Β' Έκδοση Ι. Βλαχάβας, Π. Κεφαλάς, Ν. Βασιλειάδης, Φ. Κόκκορας, Η. Σακελλαρίου Τεχνητή Νοηµοσύνη, B' Έκδοση - 1 - Ανακάλυψη Γνώσης σε
Διαβάστε περισσότερα8. ΜΕΤΑΣΧΗΜΑΤΙΣΜΟΣ ΔΕΔΟΜΕΝΩΝ
8. ΜΕΤΑΣΧΗΜΑΤΙΣΜΟΣ ΔΕΔΟΜΕΝΩΝ Στόχος του εργαστηρίου αυτού είναι να δείξει πώς τα εργαστήρια με τα δεδομένα της ICAP μπορούν να υλοποιηθούν χωρίς τη χρήση SQL Server, χρησιμοποιώντας μόνον Excel και Rapid
Διαβάστε περισσότεραΤΟΠΟΓΡΑΦΙΚΑ ΔΙΚΤΥΑ ΚΑΙ ΥΠΟΛΟΓΙΣΜΟΙ ΑΝΑΣΚΟΠΗΣΗ ΘΕΩΡΙΑΣ ΣΥΝΟΡΘΩΣΕΩΝ
ΤΟΠΟΓΡΑΦΙΚΑ ΔΙΚΤΥΑ ΚΑΙ ΥΠΟΛΟΓΙΣΜΟΙ ΑΝΑΣΚΟΠΗΣΗ ΘΕΩΡΙΑΣ ΣΥΝΟΡΘΩΣΕΩΝ Βασίλης Δ. Ανδριτσάνος Δρ. Αγρονόμος - Τοπογράφος Μηχανικός ΑΠΘ Επίκουρος Καθηγητής ΤΕΙ Αθήνας 3ο εξάμηνο http://eclass.teiath.gr Παρουσιάσεις,
Διαβάστε περισσότεραΤεχνικές Μείωσης Διαστάσεων. Ειδικά θέματα ψηφιακής επεξεργασίας σήματος και εικόνας Σ. Φωτόπουλος- Α. Μακεδόνας
Τεχνικές Μείωσης Διαστάσεων Ειδικά θέματα ψηφιακής επεξεργασίας σήματος και εικόνας Σ. Φωτόπουλος- Α. Μακεδόνας 1 Εισαγωγή Το μεγαλύτερο μέρος των δεδομένων που καλούμαστε να επεξεργαστούμε είναι πολυδιάστατα.
Διαβάστε περισσότεραΠροεπεξεργασία Δεδομένων. Αποθήκες και Εξόρυξη Δεδομένων Διδάσκουσα: Μαρία Χαλκίδη
Προεπεξεργασία Δεδομένων Αποθήκες και Εξόρυξη Δεδομένων Διδάσκουσα: Μαρία Χαλκίδη Η διαδικασίας της ανακάλυψης γνώσης Knowledge Discovery (KDD) Process Εξόρυξη δεδομένων- πυρήνας της διαδικασίας ανακάλυψης
Διαβάστε περισσότεραΚατηγοριοποίηση βάσει διανύσματος χαρακτηριστικών
Κατηγοριοποίηση βάσει διανύσματος χαρακτηριστικών Αναπαράσταση των δεδομένων ως διανύσματα χαρακτηριστικών (feature vectors): Επιλογή ενός
Διαβάστε περισσότεραΕΜΠ ΔΠΜΣ Εφαρμοσμένες Μαθηματικές Επιστήμες Αλγόριθμοι Εξόρυξης Πληροφορίας. Διάλεξη02 ΣυνιστώσεςΔεδομένων Οπτικοποίηση&Εξερεύνηση
ΕΜΠ ΔΠΜΣ Εφαρμοσμένες Μαθηματικές Επιστήμες Αλγόριθμοι Εξόρυξης Πληροφορίας Διάλεξη02 ΣυνιστώσεςΔεδομένων Οπτικοποίηση&Εξερεύνηση Η μορφή των δεδομένων και η σημασία της Δεδομένα input Αλγόριθμοι Εξόρυξης
Διαβάστε περισσότεραΚΥΠΡΙΑΚΗ ΕΤΑΙΡΕΙΑ ΠΛΗΡΟΦΟΡΙΚΗΣ CYPRUS COMPUTER SOCIETY ΠΑΓΚΥΠΡΙΟΣ ΜΑΘΗΤΙΚΟΣ ΔΙΑΓΩΝΙΣΜΟΣ ΠΛΗΡΟΦΟΡΙΚΗΣ 19/5/2007
Οδηγίες: Να απαντηθούν όλες οι ερωτήσεις. Αν κάπου κάνετε κάποιες υποθέσεις να αναφερθούν στη σχετική ερώτηση. Όλα τα αρχεία που αναφέρονται στα προβλήματα βρίσκονται στον ίδιο φάκελο με το εκτελέσιμο
Διαβάστε περισσότεραΤεχνητή Νοημοσύνη. 15η διάλεξη ( ) Ίων Ανδρουτσόπουλος.
Τεχνητή Νοημοσύνη 15η διάλεξη (2016-17) Ίων Ανδρουτσόπουλος http://www.aueb.gr/users/ion/ 1 Οι διαφάνειες αυτής της διάλεξης βασίζονται σε ύλη του βιβλίου Artificial Intelligence A Modern Approach των
Διαβάστε περισσότεραΔιπλωματική Εργασία: «Συγκριτική Μελέτη Μηχανισμών Εκτίμησης Ελλιπούς Πληροφορίας σε Ασύρματα Δίκτυα Αισθητήρων»
Τμήμα Πληροφορικής και Τηλεπικοινωνιών Πρόγραμμα Μεταπτυχιακών Σπουδών Διπλωματική Εργασία: «Συγκριτική Μελέτη Μηχανισμών Εκτίμησης Ελλιπούς Πληροφορίας σε Ασύρματα Δίκτυα Αισθητήρων» Αργυροπούλου Αιμιλία
Διαβάστε περισσότεραHomework 3 Solutions
Homework 3 Solutions Igor Yanovsky (Math 151A TA) Problem 1: Compute the absolute error and relative error in approximations of p by p. (Use calculator!) a) p π, p 22/7; b) p π, p 3.141. Solution: For
Διαβάστε περισσότεραHY380 Αλγόριθμοι και πολυπλοκότητα Hard Problems
HY380 Αλγόριθμοι και πολυπλοκότητα Hard Problems Ημερομηνία Παράδοσης: 0/1/017 την ώρα του μαθήματος ή με email: mkarabin@csd.uoc.gr Γενικές Οδηγίες α) Επιτρέπεται η αναζήτηση στο Internet και στην βιβλιοθήκη
Διαβάστε περισσότεραHOMEWORK 4 = G. In order to plot the stress versus the stretch we define a normalized stretch:
HOMEWORK 4 Problem a For the fast loading case, we want to derive the relationship between P zz and λ z. We know that the nominal stress is expressed as: P zz = ψ λ z where λ z = λ λ z. Therefore, applying
Διαβάστε περισσότεραΠΑΡΑΡΤΗΜΑ: QUIZ ΔΟΜΕΣ ΔΕΔΟΜΕΝΩΝ
ΠΑΡΑΡΤΗΜΑ: QUIZ ΔΟΜΕΣ ΔΕΔΟΜΕΝΩΝ (Οι ερωτήσεις µε κίτρινη υπογράµµιση είναι εκτός ύλης για φέτος) ΕΙΣΑΓΩΓΗ Q1. Οι Πρωταρχικοί τύποι (primitive types) στη Java 1. Είναι όλοι οι ακέραιοι και όλοι οι πραγµατικοί
Διαβάστε περισσότεραΜΟΝΟΠΑΡΑΜΕΤΡΙΚΗ ΚΑΙ ΠΟΛΥΠΑΡΑΜΕΤΡΙΚΗ ΣΤΑΤΙΣΤΙΚΗ ΑΝΑΛΥΣΗ ΔΕΔΟΜΕΝΩΝ. Αριάδνη Αργυράκη
ΜΟΝΟΠΑΡΑΜΕΤΡΙΚΗ ΚΑΙ ΠΟΛΥΠΑΡΑΜΕΤΡΙΚΗ ΣΤΑΤΙΣΤΙΚΗ ΑΝΑΛΥΣΗ ΔΕΔΟΜΕΝΩΝ Αριάδνη Αργυράκη ΣΤΑΔΙΑ ΕΚΤΕΛΕΣΗΣ ΠΕΡΙΒΑΛΛΟΝΤΙΚΩΝ ΓΕΩΧΗΜΙΚΩΝ ΕΡΕΥΝΩΝ 1.ΣΧΕΔΙΑΣΜΟΣ: - Καθορισμός στόχων έρευνας - Ιστορικό περιοχής 2 4.
Διαβάστε περισσότεραΣκοπός του μαθήματος
Σκοπός του μαθήματος Στο μάθημα αυτό γίνεται εφαρμογή, με τη βοήθεια του υπολογιστή και τη χρήση του στατιστικού προγράμματος S.P.S.S., της στατιστικής θεωρίας που αναπτύχθηκε στα μαθήματα «Εισαγωγή στη
Διαβάστε περισσότεραΚΥΠΡΙΑΚΗ ΕΤΑΙΡΕΙΑ ΠΛΗΡΟΦΟΡΙΚΗΣ CYPRUS COMPUTER SOCIETY ΠΑΓΚΥΠΡΙΟΣ ΜΑΘΗΤΙΚΟΣ ΔΙΑΓΩΝΙΣΜΟΣ ΠΛΗΡΟΦΟΡΙΚΗΣ 6/5/2006
Οδηγίες: Να απαντηθούν όλες οι ερωτήσεις. Ολοι οι αριθμοί που αναφέρονται σε όλα τα ερωτήματα είναι μικρότεροι το 1000 εκτός αν ορίζεται διαφορετικά στη διατύπωση του προβλήματος. Διάρκεια: 3,5 ώρες Καλή
Διαβάστε περισσότεραEPL 603 TOPICS IN SOFTWARE ENGINEERING. Lab 5: Component Adaptation Environment (COPE)
EPL 603 TOPICS IN SOFTWARE ENGINEERING Lab 5: Component Adaptation Environment (COPE) Performing Static Analysis 1 Class Name: The fully qualified name of the specific class Type: The type of the class
Διαβάστε περισσότερα«Αναζήτηση Γνώσης σε Νοσοκομειακά Δεδομένα»
ΠΑΝΕΠΙΣΤΗΜΙΟ ΜΑΚΕΔΟΝΙΑΣ Μεταπτυχιακό Πρόγραμμα Σπουδών M.I.S. «Αναζήτηση Γνώσης σε Νοσοκομειακά Δεδομένα» Μεταπτυχιακός Φοιτητής: Επιβλέπων Καθηγητής: Εξεταστής Καθηγητής: Τορτοπίδης Γεώργιος Μηχανικός
Διαβάστε περισσότεραΗ ΜΕΘΟΔΟΣ PCA (Principle Component Analysis)
Η ΜΕΘΟΔΟΣ PCA (Principle Component Analysis) Η μέθοδος PCA (Ανάλυση Κύριων Συνιστωσών), αποτελεί μία γραμμική μέθοδο συμπίεσης Δεδομένων η οποία συνίσταται από τον επαναπροσδιορισμό των συντεταγμένων ενός
Διαβάστε περισσότεραΕισόδημα Κατανάλωση 1500 500 1600 600 1300 450 1100 400 600 250 700 275 900 300 800 352 850 400 1100 500
Εισόδημα Κατανάλωση 1500 500 1600 600 1300 450 1100 400 600 250 700 275 900 300 800 352 850 400 1100 500 Πληθυσμός Δείγμα Δείγμα Δείγμα Ο ρόλος της Οικονομετρίας Οικονομική Θεωρία Διατύπωση της
Διαβάστε περισσότεραΠρόβλημα 1: Αναζήτηση Ελάχιστης/Μέγιστης Τιμής
Πρόβλημα 1: Αναζήτηση Ελάχιστης/Μέγιστης Τιμής Να γραφεί πρόγραμμα το οποίο δέχεται ως είσοδο μια ακολουθία S από n (n 40) ακέραιους αριθμούς και επιστρέφει ως έξοδο δύο ακολουθίες από θετικούς ακέραιους
Διαβάστε περισσότεραStandard Template Library (STL) C++ library
Τ Μ Η Μ Α Μ Η Χ Α Ν Ι Κ Ω Ν Η / Υ Κ Α Ι Π Λ Η Ρ Ο Φ Ο Ρ Ι Κ Η Σ Standard Template Library (STL) C++ library Δομές Δεδομένων Μάριος Κενδέα kendea@ceid.upatras.gr Εισαγωγή Η Standard Βιβλιοθήκη προτύπων
Διαβάστε περισσότεραΕισαγωγή στο Data Mining Από τα δεδομένα στη γνώση
Εισαγωγή στο Data Mining Από τα δεδομένα στη γνώση Η πληροφορία στη σύγχρονη επιχείρηση Η Ανάγκη Διαδικασία Ορισμός Αφετηρία Πρότυπα Πέραν του ανθρώπινου δυναμικού, η πληροφορία αποτελεί τον πλέον πολύτιμο
Διαβάστε περισσότεραOther Test Constructions: Likelihood Ratio & Bayes Tests
Other Test Constructions: Likelihood Ratio & Bayes Tests Side-Note: So far we have seen a few approaches for creating tests such as Neyman-Pearson Lemma ( most powerful tests of H 0 : θ = θ 0 vs H 1 :
Διαβάστε περισσότεραΠΕΡΙΓΡΑΦΙΚΗ ΣΤΑΤΙΣΤΙΚΗ Ι Κ. Μ. 436
ΠΕΡΙΓΡΑΦΙΚΗ ΣΤΑΤΙΣΤΙΚΗ Ι Κ. Μ. 436 A εξάμηνο 2009-2010 Περιγραφική Στατιστική Ι users.att.sch.gr/abouras abouras@sch.gr sch.gr abouras@uth.gr Μέτρα θέσης Η θέση αντιπροσωπεύει τη θέση της κατανομής κατά
Διαβάστε περισσότεραΑΠΟΤΥΠΩΣΕΙΣ - ΧΑΡΑΞΕΙΣ ΣΤΟΙΧΕΙΑ ΘΕΩΡΙΑΣ ΣΦΑΛΜΑΤΩΝ
ΑΠΟΤΥΠΩΣΕΙΣ - ΧΑΡΑΞΕΙΣ ΣΤΟΙΧΕΙΑ ΘΕΩΡΙΑΣ ΣΦΑΛΜΑΤΩΝ Βασίλης Δ. Ανδριτσάνος Δρ. Αγρονόμος - Τοπογράφος Μηχανικός ΑΠΘ Επίκουρος Καθηγητής ΤΕΙ Αθήνας 3ο εξάμηνο http://eclass.teiath.gr Παρουσιάσεις, Ασκήσεις,
Διαβάστε περισσότεραΕΙΣΑΓΩΓΗ ΣΤΗ ΣΤΑΤΙΣΤΙΚΗ ΑΝΑΛΥΣΗ
ΕΙΣΑΓΩΓΗ ΣΤΗ ΣΤΑΤΙΣΤΙΚΗ ΑΝΑΛΥΣΗ ΕΛΕΝΑ ΦΛΟΚΑ Επίκουρος Καθηγήτρια Τµήµα Φυσικής, Τοµέας Φυσικής Περιβάλλοντος- Μετεωρολογίας ΓΕΝΙΚΟΙ ΟΡΙΣΜΟΙ Πληθυσµός Σύνολο ατόµων ή αντικειµένων στα οποία αναφέρονται
Διαβάστε περισσότεραΤεχνικές Προβλέψεων. 2η Ενότητα Προετοιμασία & Ανάλυση Χρονοσειράς
ΕΘΝΙΚΟ ΜΕΤΣΟΒΙΟ ΠΟΛΥΤΕΧΝΕΙΟ ΣΧΟΛΗ ΗΛΕΚΤΡΟΛΟΓΩΝ ΜΗΧΑΝΙΚΩΝ ΚΑΙ ΜΗΧΑΝΙΚΩΝ ΥΠΟΛΟΓΙΣΤΩΝ Μονάδα Προβλέψεων & Στρατηγικής Forecasting & Strategy Unit Τεχνικές Προβλέψεων 2η Ενότητα Προετοιμασία & Ανάλυση Χρονοσειράς
Διαβάστε περισσότεραΛογισμικά για Στατιστική Ανάλυση. Minitab, R (ελεύθερο λογισμικό), Sas, S-Plus, Stata, StatGraphics, Mathematica (εξειδικευμένο λογισμικό για
ΒΙΟΣΤΑΤΙΣΤΙΚΗ Εργαστήριο 1ο Τι είναι το SPSS; Statistical Package for the Social Sciences Λογισμικό για διαχείριση και στατιστική ανάλυση δεδομένων σε γραφικό περιβάλλον http://en.wikipedia.org/wiki/spss
Διαβάστε περισσότεραΜΟΝΟΠΑΡΑΜΕΤΡΙΚΗ ΚΑΙ ΠΟΛΥΠΑΡΑΜΕΤΡΙΚΗ ΣΤΑΤΙΣΤΙΚΗ ΑΝΑΛΥΣΗ ΔΕΔΟΜΕΝΩΝ
ΜΟΝΟΠΑΡΑΜΕΤΡΙΚΗ ΚΑΙ ΠΟΛΥΠΑΡΑΜΕΤΡΙΚΗ ΣΤΑΤΙΣΤΙΚΗ ΑΝΑΛΥΣΗ ΔΕΔΟΜΕΝΩΝ ΣΤΑΤΙΣΤΙΚΗ ΕΠΕΞΕΡΓΑΣΙΑ ΓΙΑ ΤΟΝ ΕΝΤΟΠΙΣΜΟ ΓΕΩΧΗΜΙΚΗΣ ΑΝΩΜΑΛΙΑΣ Στατιστική ανάλυση του γεωχημικού δείγματος μας δίνει πληροφορίες για τον
Διαβάστε περισσότεραΔέντρα Απόφασης (Decision(
Δέντρα Απόφασης (Decision( Trees) Το μοντέλο που δημιουργείται είναι ένα δέντρο Χρήση της τεχνικής «διαίρει και βασίλευε» για διαίρεση του χώρου αναζήτησης σε υποσύνολα (ορθογώνιες περιοχές) Ένα παράδειγμα
Διαβάστε περισσότεραCHAPTER 25 SOLVING EQUATIONS BY ITERATIVE METHODS
CHAPTER 5 SOLVING EQUATIONS BY ITERATIVE METHODS EXERCISE 104 Page 8 1. Find the positive root of the equation x + 3x 5 = 0, correct to 3 significant figures, using the method of bisection. Let f(x) =
Διαβάστε περισσότεραΔΗΜΟΚΡΙΤΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΡΑΚΗΣ Τμήμα Επιστήμης Φυσικής Αγωγής και Αθλητισμού Πρόγραμμα Διδακτορικών Σπουδών ΠΛΗΡΟΦΟΡΙΑΚΟ ΕΝΤΥΠΟ ΜΑΘΗΜΑΤΟΣ
ΔΗΜΟΚΡΙΤΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΡΑΚΗΣ Τμήμα Επιστήμης Φυσικής Αγωγής και Αθλητισμού Πρόγραμμα Διδακτορικών Σπουδών ΠΛΗΡΟΦΟΡΙΑΚΟ ΕΝΤΥΠΟ ΜΑΘΗΜΑΤΟΣ 1. ΤΙΤΛΟΣ ΜΑΘΗΜΑΤΟΣ: Προχωρημένη Στατιστική 2. ΠΕΡΙΓΡΑΜΜΑ ΕΙΣΗΓΗΣΕΩΝ
Διαβάστε περισσότεραΤεχνικές Προβλέψεων. Προετοιμασία & Ανάλυση Χρονοσειράς
ΕΘΝΙΚΟ ΜΕΤΣΟΒΙΟ ΠΟΛΥΤΕΧΝΕΙΟ ΣΧΟΛΗ ΗΛΕΚΤΡΟΛΟΓΩΝ ΜΗΧΑΝΙΚΩΝ ΚΑΙ ΜΗΧΑΝΙΚΩΝ ΥΠΟΛΟΓΙΣΤΩΝ Μονάδα Προβλέψεων & Στρατηγικής Forecasting & Strategy Unit Τεχνικές Προβλέψεων Προετοιμασία & Ανάλυση Χρονοσειράς http://www.fsu.gr
Διαβάστε περισσότεραΚΥΠΡΙΑΚΗ ΕΤΑΙΡΕΙΑ ΠΛΗΡΟΦΟΡΙΚΗΣ CYPRUS COMPUTER SOCIETY ΠΑΓΚΥΠΡΙΟΣ ΜΑΘΗΤΙΚΟΣ ΔΙΑΓΩΝΙΣΜΟΣ ΠΛΗΡΟΦΟΡΙΚΗΣ 24/3/2007
Οδηγίες: Να απαντηθούν όλες οι ερωτήσεις. Όλοι οι αριθμοί που αναφέρονται σε όλα τα ερωτήματα μικρότεροι του 10000 εκτός αν ορίζεται διαφορετικά στη διατύπωση του προβλήματος. Αν κάπου κάνετε κάποιες υποθέσεις
Διαβάστε περισσότεραThe Simply Typed Lambda Calculus
Type Inference Instead of writing type annotations, can we use an algorithm to infer what the type annotations should be? That depends on the type system. For simple type systems the answer is yes, and
Διαβάστε περισσότεραΕργαστήριο στατιστικής Στατιστικό πακέτο S.P.S.S.
Σημειώσεις για το μάθημα Εργαστήριο στατιστικής Στατιστικό πακέτο S.P.S.S. Παπάνα Αγγελική E mail: papanagel@yahoo.gr, agpapana@gen.auth.gr Α.Τ.Ε.Ι. Θεσσαλονίκης ΠΑΡΑΡΤΗΜΑ ΚΑΤΕΡΙΝΗΣ Τμήμα Τυποποίησης και
Διαβάστε περισσότεραNumerical Analysis FMN011
Numerical Analysis FMN011 Carmen Arévalo Lund University carmen@maths.lth.se Lecture 12 Periodic data A function g has period P if g(x + P ) = g(x) Model: Trigonometric polynomial of order M T M (x) =
Διαβάστε περισσότεραΔΙΑΧΕΙΡΙΣΗ ΠΕΡΙΕΧΟΜΕΝΟΥ ΠΑΓΚΟΣΜΙΟΥ ΙΣΤΟΥ ΚΑΙ ΓΛΩΣΣΙΚΑ ΕΡΓΑΛΕΙΑ. Data Mining - Classification
ΔΙΑΧΕΙΡΙΣΗ ΠΕΡΙΕΧΟΜΕΝΟΥ ΠΑΓΚΟΣΜΙΟΥ ΙΣΤΟΥ ΚΑΙ ΓΛΩΣΣΙΚΑ ΕΡΓΑΛΕΙΑ Data Mining - Classification Data Mining Ανακάλυψη προτύπων σε μεγάλο όγκο δεδομένων. Σαν πεδίο περιλαμβάνει κλάσεις εργασιών: Anomaly Detection:
Διαβάστε περισσότεραΕπεξεργασία Πολυµέσων. Δρ. Μαρία Κοζύρη Π.Μ.Σ. «Εφαρµοσµένη Πληροφορική» Τµήµα Ηλεκτρολόγων Μηχανικών & Μηχανικών Υπολογιστών Πανεπιστήµιο Θεσσαλίας
Π.Μ.Σ. «Εφαρµοσµένη Πληροφορική» Τµήµα Ηλεκτρολόγων Μηχανικών & Μηχανικών Υπολογιστών Πανεπιστήµιο Θεσσαλίας Ενότητα 3: Επισκόπηση Συµπίεσης 2 Θεωρία Πληροφορίας Κωδικοποίηση Θεµελιώθηκε απο τον Claude
Διαβάστε περισσότεραΗΜΕΡΟΜΗΝΙΑ: 25/05/2009 TΕΛΙΚΗ ΕΡΓΑΣΙΑ ΝΙΚΗ ΜΟΣΧΟΥ
DATA MINING ΗΜΕΡΟΜΗΝΙΑ: 25/05/2009 TΕΛΙΚΗ ΕΡΓΑΣΙΑ ΝΙΚΗ ΜΟΣΧΟΥ 1 ΠΡΟΕΠΕΞΕΡΓΑΣΙΑ ΔΕΔΟΜΕΝΩΝ Αφού δεν γνωρίζουμε κάποιο τρόπο για να επιλέξουμε εκ των προτέρων την πιο κατάλληλη και αποδοτική μέθοδο μάθησης
Διαβάστε περισσότεραΠεριεχόμενα. Πρόλογος... 15
Περιεχόμενα Πρόλογος... 15 Κεφάλαιο 1 ΘΕΩΡΗΤΙΚΑ ΚΑΙ ΦΙΛΟΣΟΦΙΚΑ ΟΝΤΟΛΟΓΙΚΑ ΚΑΙ ΕΠΙΣΤΗΜΟΛΟΓΙΚΑ ΖΗΤΗΜΑΤΑ ΤΗΣ ΜΕΘΟΔΟΛΟΓΙΑΣ ΕΡΕΥΝΑΣ ΤΟΥ ΠΡΑΓΜΑΤΙΚΟΥ ΚΟΣΜΟΥ... 17 Το θεμελιώδες πρόβλημα των κοινωνικών επιστημών...
Διαβάστε περισσότεραderivation of the Laplacian from rectangular to spherical coordinates
derivation of the Laplacian from rectangular to spherical coordinates swapnizzle 03-03- :5:43 We begin by recognizing the familiar conversion from rectangular to spherical coordinates (note that φ is used
Διαβάστε περισσότεραΖητήματα ηήμ με τα δεδομένα
Ζητήματα ηήμ με τα δεδομένα Ποιότητα Απαλοιφή θορύβου Εντοπισμός ανωμαλιών λώ Ελλιπείς τιμές Μετασχηματισμός Κβάντωση Μείωση μεγέθους Γραμμών: ειγματοληψία Στηλών: Ιδιοδιανύσματα, Επιλογή χαρακτηριστικών
Διαβάστε περισσότεραΚΕΦΑΛΑΙΟ 18. 18 Μηχανική Μάθηση
ΚΕΦΑΛΑΙΟ 18 18 Μηχανική Μάθηση Ένα φυσικό ή τεχνητό σύστηµα επεξεργασίας πληροφορίας συµπεριλαµβανοµένων εκείνων µε δυνατότητες αντίληψης, µάθησης, συλλογισµού, λήψης απόφασης, επικοινωνίας και δράσης
Διαβάστε περισσότεραPhys460.nb Solution for the t-dependent Schrodinger s equation How did we find the solution? (not required)
Phys460.nb 81 ψ n (t) is still the (same) eigenstate of H But for tdependent H. The answer is NO. 5.5.5. Solution for the tdependent Schrodinger s equation If we assume that at time t 0, the electron starts
Διαβάστε περισσότεραΥπερπροσαρμογή (Overfitting) (1)
Αλγόριθμος C4.5 Αποφυγή υπερπροσαρμογής (overfitting) Reduced error pruning Rule post-pruning Χειρισμός χαρακτηριστικών συνεχών τιμών Επιλογή κατάλληλης μετρικής για την επιλογή των χαρακτηριστικών διάσπασης
Διαβάστε περισσότεραRule Based systems Συστήματα Βασισμένα σε κανόνες
Rule Based systems Συστήματα Βασισμένα σε κανόνες Τμήματα ενός έμπειρου συστήματος βασισμένου σε κανόνες Βάση Γνώσης (Κανόνες) Μηχανισμός Εξαγωγής Συμπερασμάτων Χώρος Εργασίας (Γεγονότα) Μηχανισμός Επεξήγησης
Διαβάστε περισσότεραPARTIAL NOTES for 6.1 Trigonometric Identities
PARTIAL NOTES for 6.1 Trigonometric Identities tanθ = sinθ cosθ cotθ = cosθ sinθ BASIC IDENTITIES cscθ = 1 sinθ secθ = 1 cosθ cotθ = 1 tanθ PYTHAGOREAN IDENTITIES sin θ + cos θ =1 tan θ +1= sec θ 1 + cot
Διαβάστε περισσότεραΣΤΟΧΑΣΤΙΚΕΣ ΔΙΕΡΓΑΣΙΕΣ & ΒΕΛΤΙΣΤΟΠΟΙΗΣΗ Αίθουσα Νέα Κτίρια ΣΗΜΜΥ Ε.Μ.Π. Ανάλυση Κυρίων Συνιστωσών (Principal-Component Analysis, PCA)
ΣΤΟΧΑΣΤΙΚΕΣ ΔΙΕΡΓΑΣΙΕΣ & ΒΕΛΤΙΣΤΟΠΟΙΗΣΗ Αίθουσα 005 - Νέα Κτίρια ΣΗΜΜΥ Ε.Μ.Π. Ανάλυση Κυρίων Συνιστωσών (Principal-Coponent Analysis, PCA) καθ. Βασίλης Μάγκλαρης aglaris@netode.ntua.gr www.netode.ntua.gr
Διαβάστε περισσότεραBayesian statistics. DS GA 1002 Probability and Statistics for Data Science.
Bayesian statistics DS GA 1002 Probability and Statistics for Data Science http://www.cims.nyu.edu/~cfgranda/pages/dsga1002_fall17 Carlos Fernandez-Granda Frequentist vs Bayesian statistics In frequentist
Διαβάστε περισσότεραΜεταπτυχιακό Πρόγραμμα «Γεωχωρικές Τεχνολογίες» Ψηφιακή Επεξεργασία Εικόνας. Εισηγητής Αναστάσιος Κεσίδης
Μεταπτυχιακό Πρόγραμμα «Γεωχωρικές Τεχνολογίες» Ψηφιακή Επεξεργασία Εικόνας Εισηγητής Αναστάσιος Κεσίδης Χωρικά φίλτρα Χωρικά φίλτρα Γενικά Σε αντίθεση με τις σημειακές πράξεις και μετασχηματισμούς, στα
Διαβάστε περισσότεραEE512: Error Control Coding
EE512: Error Control Coding Solution for Assignment on Finite Fields February 16, 2007 1. (a) Addition and Multiplication tables for GF (5) and GF (7) are shown in Tables 1 and 2. + 0 1 2 3 4 0 0 1 2 3
Διαβάστε περισσότεραPartial Differential Equations in Biology The boundary element method. March 26, 2013
The boundary element method March 26, 203 Introduction and notation The problem: u = f in D R d u = ϕ in Γ D u n = g on Γ N, where D = Γ D Γ N, Γ D Γ N = (possibly, Γ D = [Neumann problem] or Γ N = [Dirichlet
Διαβάστε περισσότεραΕισαγωγή στη Στατιστική
Εισαγωγή στη Στατιστική Μετεκπαιδευτικό Σεμινάριο στην ΨΥΧΟΚΟΙΝΩΝΙΚΗ ΑΠΟΚΑΤΑΣΤΑΣΗ ΨΥΧΟΚΟΙΝΩΝΙΚΕΣ ΘΕΡΑΠΕΥΤΙΚΕΣ ΠΡΟΣΕΓΓΙΣΕΙΣ Δημήτρης Φουσκάκης, Επίκουρος Καθηγητής, Τομέας Μαθηματικών, Σχολή Εφαρμοσμένων
Διαβάστε περισσότεραKεφ.2: Σχεσιακό Μοντέλο (επανάληψη) Κεφ.6.1: Σχεσιακή Άλγεβρα
Kεφ.2: Σχεσιακό Μοντέλο (επανάληψη) Κεφ.6.1: Σχεσιακή Άλγεβρα Database System Concepts, 6 th Ed. Silberschatz, Korth and Sudarshan See www.db-book.com for conditions on re-use Παράδειγμα Σχέσης attributes
Διαβάστε περισσότεραΣτατιστική Επιχειρήσεων Ι
ΕΛΛΗΝΙΚΗ ΔΗΜΟΚΡΑΤΙΑ Τεχνολογικό Εκπαιδευτικό Ίδρυμα Πειραιά Στατιστική Επιχειρήσεων Ι Ενότητα 7: Παρουσίαση δεδομένων-περιγραφική στατιστική Μιλτιάδης Χαλικιάς, Επίκουρος Καθηγητής Τμήμα Διοίκησης Επιχειρήσεων
Διαβάστε περισσότερα2 Composition. Invertible Mappings
Arkansas Tech University MATH 4033: Elementary Modern Algebra Dr. Marcel B. Finan Composition. Invertible Mappings In this section we discuss two procedures for creating new mappings from old ones, namely,
Διαβάστε περισσότεραΑναγνώριση Προτύπων. Μη παραμετρικές τεχνικές Αριθμητικά. (Non Parametric Techniques)
Αναγνώριση Προτύπων Μη παραμετρικές τεχνικές Αριθμητικά Παραδείγματα (Non Parametric Techniques) Καθηγητής Χριστόδουλος Χαμζάς Τα περιεχόμενο της παρουσίασης βασίζεται στο βιβλίο: Introduction to Pattern
Διαβάστε περισσότεραΤεχνητή Νοημοσύνη. 18η διάλεξη ( ) Ίων Ανδρουτσόπουλος.
Τεχνητή Νοημοσύνη 18η διάλεξη (2016-17) Ίων Ανδρουτσόπουλος http://www.aueb.gr/users/ion/ 1 Οι διαφάνειες αυτής της διάλεξης βασίζονται: στο βιβλίο Machine Learning του T. Mitchell, McGraw- Hill, 1997,
Διαβάστε περισσότεραST5224: Advanced Statistical Theory II
ST5224: Advanced Statistical Theory II 2014/2015: Semester II Tutorial 7 1. Let X be a sample from a population P and consider testing hypotheses H 0 : P = P 0 versus H 1 : P = P 1, where P j is a known
Διαβάστε περισσότεραHMY 795: Αναγνώριση Προτύπων
HMY 795: Αναγνώριση Προτύπων Διαλέξεις 5 6 Principal component analysis EM for Gaussian mixtures: μ k, Σ k, π k. Ορίζουμε το διάνυσμα z (διάσταση Κ) ώστε K p( x θ) = π ( x μ, Σ ) k = k k k Eκ των υστέρων
Διαβάστε περισσότερα2. ΕΠΙΛΟΓΗ ΜΟΝΤΕΛΟΥ ΜΕ ΤΗ ΜΕΘΟΔΟ ΤΟΥ ΑΠΟΚΛΕΙΣΜΟΥ ΜΕΤΑΒΛΗΤΩΝ (Backward Elimination Procedure) Στην στατιστική βιβλιογραφία υπάρχουν πολλές μέθοδοι για
2. ΕΠΙΛΟΓΗ ΜΟΝΤΕΛΟΥ ΜΕ ΤΗ ΜΕΘΟΔΟ ΤΟΥ ΑΠΟΚΛΕΙΣΜΟΥ ΜΕΤΑΒΛΗΤΩΝ (Backward Elimination Procedure) Στην στατιστική βιβλιογραφία υπάρχουν πολλές μέθοδοι για τον καθορισμό του καλύτερου υποσυνόλου από ένα σύνολο
Διαβάστε περισσότεραΓραµµικός Προγραµµατισµός (ΓΠ)
Γραµµικός Προγραµµατισµός (ΓΠ) Περίληψη Επίλυση δυσδιάστατων προβληµάτων Η µέθοδος simplex Τυπική µορφή Ακέραιος Προγραµµατισµός Προγραµµατισµός Παραγωγής Προϊόν Προϊόν 2 Παραγωγική Δυνατότητα Μηχ. 4 Μηχ.
Διαβάστε περισσότεραInstruction Execution Times
1 C Execution Times InThisAppendix... Introduction DL330 Execution Times DL330P Execution Times DL340 Execution Times C-2 Execution Times Introduction Data Registers This appendix contains several tables
Διαβάστε περισσότερα6.1. Dirac Equation. Hamiltonian. Dirac Eq.
6.1. Dirac Equation Ref: M.Kaku, Quantum Field Theory, Oxford Univ Press (1993) η μν = η μν = diag(1, -1, -1, -1) p 0 = p 0 p = p i = -p i p μ p μ = p 0 p 0 + p i p i = E c 2 - p 2 = (m c) 2 H = c p 2
Διαβάστε περισσότεραΑναγνώριση Προτύπων Ι
Αναγνώριση Προτύπων Ι Ενότητα 1: Μέθοδοι Αναγνώρισης Προτύπων Αν. Καθηγητής Δερματάς Ευάγγελος Τμήμα Ηλεκτρολόγων Μηχανικών και Τεχνολογίας Υπολογιστών Άδειες Χρήσης Το παρόν εκπαιδευτικό υλικό υπόκειται
Διαβάστε περισσότεραΜέθοδοι Μηχανών Μάθησης για Ευφυή Αναγνώριση και ιάγνωση Ιατρικών εδοµένων
Μέθοδοι Μηχανών Μάθησης για Ευφυή Αναγνώριση και ιάγνωση Ιατρικών εδοµένων Εισηγητής: ρ Ηλίας Ζαφειρόπουλος Εισαγωγή Ιατρικά δεδοµένα: Συλλογή Οργάνωση Αξιοποίηση Data Mining ιαχείριση εδοµένων Εκπαίδευση
Διαβάστε περισσότεραΕργαστήριο Ανάπτυξης Εφαρμογών Βάσεων Δεδομένων. Εξάμηνο 7 ο
Εργαστήριο Ανάπτυξης Εφαρμογών Βάσεων Δεδομένων Εξάμηνο 7 ο Procedures and Functions Stored procedures and functions are named blocks of code that enable you to group and organize a series of SQL and PL/SQL
Διαβάστε περισσότεραΚΥΠΡΙΑΚΗ ΕΤΑΙΡΕΙΑ ΠΛΗΡΟΦΟΡΙΚΗΣ CYPRUS COMPUTER SOCIETY ΠΑΓΚΥΠΡΙΟΣ ΜΑΘΗΤΙΚΟΣ ΔΙΑΓΩΝΙΣΜΟΣ ΠΛΗΡΟΦΟΡΙΚΗΣ 11/3/2006
ΠΑΓΚΥΠΡΙΟΣ ΜΑΘΗΤΙΚΟΣ ΔΙΑΓΩΝΙΣΜΟΣ ΠΛΗΡΟΦΟΡΙΚΗΣ 11/3/26 Οδηγίες: Να απαντηθούν όλες οι ερωτήσεις. Ολοι οι αριθμοί που αναφέρονται σε όλα τα ερωτήματα μικρότεροι το 1 εκτός αν ορίζεται διαφορετικά στη διατύπωση
Διαβάστε περισσότεραΠΑΝΕΠΙΣΤΗΜΙΑΚΑ ΦΡΟΝΤΙΣΤΗΡΙΑ ΚΟΛΛΙΝΤΖΑ. Ερωτήσεις πολλαπλής επιλογής. Συντάκτης: Δημήτριος Κρέτσης
ΠΑΝΕΠΙΣΤΗΜΙΑΚΑ ΦΡΟΝΤΙΣΤΗΡΙΑ ΚΟΛΛΙΝΤΖΑ Ερωτήσεις πολλαπλής επιλογής Συντάκτης: Δημήτριος Κρέτσης 1. Ο κλάδος της περιγραφικής Στατιστικής: α. Ασχολείται με την επεξεργασία των δεδομένων και την ανάλυση
Διαβάστε περισσότεραΤΜΗΜΑ ΕΠΙΧΕΙΡΗΜΑΤΙΚΟΥ ΣΧΕΔΙΑΣΜΟΥ & ΠΛΗΡΟΦΟΡΙΑΚΩΝ ΣΥΣΤΗΜΑΤΩΝ. ΟΙΚΟΝΟΜΕΤΡΙΚΑ ΠΡΟΤΥΠΑ ΕΡΓΑΣΤΗΡΙΟ ΜΑΘΗΜΑ 1 ο ΕΡΓΑΣΤΗΡΙΟΥ ΒΑΣΙΚΕΣ ΕΝΝΟΙΕΣ ΣΤΑΤΙΣΤΙΚΗΣ
ΤΜΗΜΑ ΕΠΙΧΕΙΡΗΜΑΤΙΚΟΥ ΣΧΕΔΙΑΣΜΟΥ & ΠΛΗΡΟΦΟΡΙΑΚΩΝ ΣΥΣΤΗΜΑΤΩΝ ΟΙΚΟΝΟΜΕΤΡΙΚΑ ΠΡΟΤΥΠΑ ΕΡΓΑΣΤΗΡΙΟ ΜΑΘΗΜΑ 1 ο ΕΡΓΑΣΤΗΡΙΟΥ ΒΑΣΙΚΕΣ ΕΝΝΟΙΕΣ ΣΤΑΤΙΣΤΙΚΗΣ ΕΠΙΧ Οικονομετρικά Πρότυπα Διαφάνεια 1 ΒΑΣΙΚΕΣ ΕΝΝΟΙΕΣ ΣΤΑΤΙΣΤΙΚΗΣ
Διαβάστε περισσότεραMatrices and Determinants
Matrices and Determinants SUBJECTIVE PROBLEMS: Q 1. For what value of k do the following system of equations possess a non-trivial (i.e., not all zero) solution over the set of rationals Q? x + ky + 3z
Διαβάστε περισσότεραΚΥΠΡΙΑΚΟΣ ΣΥΝΔΕΣΜΟΣ ΠΛΗΡΟΦΟΡΙΚΗΣ CYPRUS COMPUTER SOCIETY 21 ος ΠΑΓΚΥΠΡΙΟΣ ΜΑΘΗΤΙΚΟΣ ΔΙΑΓΩΝΙΣΜΟΣ ΠΛΗΡΟΦΟΡΙΚΗΣ Δεύτερος Γύρος - 30 Μαρτίου 2011
Διάρκεια Διαγωνισμού: 3 ώρες Απαντήστε όλες τις ερωτήσεις Μέγιστο Βάρος (20 Μονάδες) Δίνεται ένα σύνολο από N σφαιρίδια τα οποία δεν έχουν όλα το ίδιο βάρος μεταξύ τους και ένα κουτί που αντέχει μέχρι
Διαβάστε περισσότεραLecture 2: Dirac notation and a review of linear algebra Read Sakurai chapter 1, Baym chatper 3
Lecture 2: Dirac notation and a review of linear algebra Read Sakurai chapter 1, Baym chatper 3 1 State vector space and the dual space Space of wavefunctions The space of wavefunctions is the set of all
Διαβάστε περισσότερα9. Ανάλυση κυρίων συνιστωσών *Principal Component Analysis)
1 9. Ανάλυση κυρίων συνιστωσών *Principal Component Analysis) Προαπαιτούμενα: MULTISPEC και η πολυφασματική εικόνα του φακέλου \Multispec_tutorial_Files\Images and Files \ salamina_multispectral.tiff Σκοπός:
Διαβάστε περισσότεραSecond Order Partial Differential Equations
Chapter 7 Second Order Partial Differential Equations 7.1 Introduction A second order linear PDE in two independent variables (x, y Ω can be written as A(x, y u x + B(x, y u xy + C(x, y u u u + D(x, y
Διαβάστε περισσότεραΑναγνώριση Προτύπων Εργασία 1η Classification
ΑΡΙΣΤΟΤΕΛΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΟΝΙΚΗΣ ΤΜΗΜΑ ΗΛΕΚΤΡΟΛΟΓΩΝ ΜΗΧΑΝΙΚΩΝ & ΜΗΧΑΝΙΚΩΝ ΥΠΟΛΟΓΙΣΤΩΝ Αναγνώριση Προτύπων Εργασία 1η Classification Κιντσάκης Αθανάσιος 6667 Μόσχογλου Στυλιανός 6978 30 Νοεμβρίου,
Διαβάστε περισσότεραSolutions to Exercise Sheet 5
Solutions to Eercise Sheet 5 jacques@ucsd.edu. Let X and Y be random variables with joint pdf f(, y) = 3y( + y) where and y. Determine each of the following probabilities. Solutions. a. P (X ). b. P (X
Διαβάστε περισσότεραΠΩΣ ΕΠΗΡΕΑΖΕΙ Η ΜΕΡΑ ΤΗΣ ΕΒΔΟΜΑΔΑΣ ΤΙΣ ΑΠΟΔΟΣΕΙΣ ΤΩΝ ΜΕΤΟΧΩΝ ΠΡΙΝ ΚΑΙ ΜΕΤΑ ΤΗΝ ΟΙΚΟΝΟΜΙΚΗ ΚΡΙΣΗ
Σχολή Διοίκησης και Οικονομίας Κρίστια Κυριάκου ΤΕΧΝΟΛΟΓΙΚΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΚΥΠΡΟΥ ΣΧΟΛΗ ΔΙΟΙΚΗΣΗΣ ΚΑΙ ΟΙΚΟΝΟΜΙΑΣ ΤΜΗΜΑ ΕΜΠΟΡΙΟΥ,ΧΡΗΜΑΤΟΟΙΚΟΝΟΜΙΚΩΝ ΚΑΙ ΝΑΥΤΙΛΙΑΣ Της Κρίστιας Κυριάκου ii Έντυπο έγκρισης Παρουσιάστηκε
Διαβάστε περισσότεραΓΡΑΜΜΙΚΟΣ & ΔΙΚΤΥΑΚΟΣ ΠΡΟΓΡΑΜΜΑΤΙΣΜΟΣ
ΓΡΑΜΜΙΚΟΣ & ΔΙΚΤΥΑΚΟΣ ΠΡΟΓΡΑΜΜΑΤΙΣΜΟΣ Ενότητα 12: Συνοπτική Παρουσίαση Ανάπτυξης Κώδικα με το Matlab Σαμαράς Νικόλαος Άδειες Χρήσης Το παρόν εκπαιδευτικό υλικό υπόκειται σε άδειες χρήσης Creative Commons.
Διαβάστε περισσότεραΜηχανική Μάθηση Hypothesis Testing
ΕΛΛΗΝΙΚΗ ΔΗΜΟΚΡΑΤΙΑ ΠΑΝΕΠΙΣΤΗΜΙΟ ΚΡΗΤΗΣ Μηχανική Μάθηση Hypothesis Testing Γιώργος Μπορμπουδάκης Τμήμα Επιστήμης Υπολογιστών Procedure 1. Form the null (H 0 ) and alternative (H 1 ) hypothesis 2. Consider
Διαβάστε περισσότεραChapter 6: Systems of Linear Differential. be continuous functions on the interval
Chapter 6: Systems of Linear Differential Equations Let a (t), a 2 (t),..., a nn (t), b (t), b 2 (t),..., b n (t) be continuous functions on the interval I. The system of n first-order differential equations
Διαβάστε περισσότεραSection 8.3 Trigonometric Equations
99 Section 8. Trigonometric Equations Objective 1: Solve Equations Involving One Trigonometric Function. In this section and the next, we will exple how to solving equations involving trigonometric functions.
Διαβάστε περισσότεραΔρ. Χάϊδω Δριτσάκη. MSc Τραπεζική & Χρηματοοικονομική
Ποσοτικές Μέθοδοι Δρ. Χάϊδω Δριτσάκη MSc Τραπεζική & Χρηματοοικονομική Τεχνολογικό Εκπαιδευτικό Ίδρυμα Δυτικής Μακεδονίας Western Macedonia University of Applied Sciences Κοίλα Κοζάνης 50100 Kozani GR
Διαβάστε περισσότεραBlock Ciphers Modes. Ramki Thurimella
Block Ciphers Modes Ramki Thurimella Only Encryption I.e. messages could be modified Should not assume that nonsensical messages do no harm Always must be combined with authentication 2 Padding Must be
Διαβάστε περισσότεραΤεχνικές Συµπίεσης Βίντεο. Δρ. Μαρία Κοζύρη Τµήµα Πληροφορικής Πανεπιστήµιο Θεσσαλίας
Τεχνικές Συµπίεσης Βίντεο Δρ. Μαρία Κοζύρη Τµήµα Πληροφορικής Πανεπιστήµιο Θεσσαλίας Ενότητα 3: Entropy Coding Δρ. Μαρία Κοζύρη Τεχνικές Συµπίεσης Βίντεο Ενότητα 3 2 Θεωρία Πληροφορίας Κωδικοποίηση Θεµελιώθηκε
Διαβάστε περισσότερα