HMY 795: Αναγνώριση Προτύπων. Διαλέξεις 9-10

Save this PDF as:
 WORD  PNG  TXT  JPG

Μέγεθος: px
Εμφάνιση ξεκινά από τη σελίδα:

Download "HMY 795: Αναγνώριση Προτύπων. Διαλέξεις 9-10"

Transcript

1 HMY 795: Αναγνώριση Προτύπων Διαλέξεις 9-10 Γραμμική παλινδρόμηση (Linear regression)

2 Μπεϋζιανή εκτίμηση για την κανονική κατανομή Γνωστή μέση τιμή μ, άγνωστη διασπορά σ 2. Ακρίβεια λ=1/σ 2 : conjugate prior p(λ): Gamma distribution =

3 Μπεϋζιανή εκτίμηση για την κανονική κατανομή μ,σ 2 (ή λ) άγνωστες: Conjugate prior: Gaussian-gamma distribution Gaussian mixtures

4 p( C x) = i c j= 1 p( x C ) p( C ) i p( x C ) p( C ) j Maximum likelihood, MAP: p(x θ ML,D i ),p(x θ MAP,D i ) Bayes: p( x D ) p( x θ) p( θ D ) dθ i Σύγκριση μεθόδων εκτίμησης = i j i Πιθανοφάνεια με οξεία κορυφή στο θ ML, η p(θ ML ) 0 p(θ D i ) μέγιστο στο θ ML Αποτελέσματα από p( x D ) p( x θ) p( θ D ) dθ, p(x θ ML,D i )παρόμοια Αν η εκ των προτέρων κατανομή δεν αποκλείει την «πραγματική» λύση: ML, Bayes ισοδύναμα αποτελέσματα ασυμπτωτικά (Ν ) Σφάλματα ταξινόμησης : Σφάλμα Bayes Σφάλμα μοντέλου (model error) Σφάλμα εκτίμησης (estimation error) i = i

5 Για μια (μικρή) περιοχή R με όγκο V: Μη παραμετρικές μέθοδοι Κ σταθερό, V από δεδομένα: K nearest neighbors algorithm V σταθερό, Κ από τα δεδομένα: Εκτίμηση πυκνότητας με πυρήνα (kernel density estimation) Σύγκλιση lim E{ p ( x)} = p( x) N lim Var{ p ( x)} = 0 N N N h παράμετρος ομαλότητας

6 Kernel density: Ομοιόμορφο h παντού Μη παραμετρικές μέθοδοι Αν στην Κ σταθερό και μεταβάλλουμε το V: Περιοχές με υψηλή πυκνότητα: μικρό κελί, υψηλή ανάλυση Περιοχές με χαμηλή πυκνότητα: μεγάλο κελί, χαμηλή ανάλυση Απευθείας ταξινόμηση K παράμετρος ομαλοποίησης(smoothing parameter)

7 Γραμμική παλινδρόμηση (Linear regression) Ένα από τα πιο βασικά προβλήματα στις ποσοτικές επιστήμες είναι η πρόβλεψη της τιμής μιας εξαρτημένης μεταβλητής yμε βάση την πληροφορία που μας δίνεται από κάποιες ανεξάρτητες μεταβλητές x 1,,x d Τα μοντέλα γραμμικής παλινδρόμησης (linear regression models) υποθέτουν γραμμική σχέση μεταξύ των ανεξάρτητων και της εξαρτημένης μεταβλητής, δηλ: Τ y = w + w x + + w x = w x ( x, w) d d με άλλα λόγια εξαρτώνται γραμμικά από τις άγνωστες παραμέτρους w i Μοντέλα αυτού του τύπου έχουν μελετηθεί εκτεταμένα στη στατιστική και χρησιμοποιηθεί σε πολλά επιστημονικά πεδία (οικονομία, ανθρωπιστικές επιστήμες, ψυχολογία, μηχανική κλπ.) Τα μοντέλα αυτά είναι απλά, οι ιδιότητές τους έχουν μελετηθεί λεπτομερώς και συχνά μας δίνουν ικανοποιητικές περιγραφές Επιπλέον, σε περίπτωση που δεν έχουμε ικανό αριθμό πειραματικών δεδομένων ή/και έχουμε αρκετό θόρυβο τα μοντέλα γραμμικής παλινδρόμησης μπορεί να δώσουν καλύτερα αποτελέσματα από πιο πολύπλοκα (μη γραμμικά) μοντέλα

8 Γραμμική παλινδρόμηση (Linear regression) Στη γενική περίπτωση, το πρόβλημα της παλινδρόμησης αφορά στον υπολογισμό μιας συνάρτησης των ανεξάρτητων μεταβλητών y(x,w)βάσει των παρατηρήσεων x και t (target variable), ώστε η διαφορά: t y( x, w) = t yˆ να είναι «μικρή». Μπορούμε να θεωρήσουμε το πρόβλημα γραμμικής παλινδρόμησης σε ντετερμινιστικό ή στοχαστικό υπόβαθρο Αν τα yκαι xπεριγράφονται σε στοχαστικό πλαίσιο, τότε μπορούμε π.χ. να ελαχιστοποιήσουμε την: [ ] 2 2 = E{ t y( x, w) } ( t y( x, w)) p( x, t) dxdt

9 Γραμμική παλινδρόμηση (Linear regression) Στηγενική περίπτωση, οι ανεξάρτητες μεταβλητές μπορεί να είναι (μη γραμμικοί) μετασχηματισμοί των εισόδων, οπότε το μοντέλο γραμμικής παλινδρόμησης παίρνει τη μορφή: φ(x): συναρτήσεις βάσης (basis functions) Συνήθως: φ 0 (x)=1, w 0 : bias(απόκλιση) Π.χ. προσαρμογή καμπύλης:

10 Γραμμική παλινδρόμηση (Linear regression) Πιθανές συναρτήσεις βάσης: Πολυωνυμικές (ολικές - global), διαχωρισμός χώρου: splines Γκαουσιανές: τοπικές

11 Γραμμική παλινδρόμηση (Linear regression) Πιθανές συναρτήσεις βάσης: Σιγμοειδείς (sigmoidal) τοπικές Συνημιτονοειδείς: περιοδικές(συγκεκριμένη συχνότητα - άπειρη χρονική/χωρική έκταση) Κυμάτια (Wavelets): εντοπισμένα και στο χώρο/χρόνο και στη συχνότητα

12 Γραμμική παλινδρόμηση (Linear regression) Έχουμε λοιπόν τη γενική μορφή Τ y( x, w) = w0 + w1ϕ 1( x) w M 1ϕ M 1( x) = w φ φ 1 ϕ... ϕ 1 = = M 1, w... [ w w w ] 0 1 M 1 Παράδειγμα: Προσαρμογή καμπύλης [ ] T M T Εδώ έχουμε: φ = 1 x... x, w = w0 w1... w M Παράδειγμα: Μοντέλο κρουστικής απόκρισης για σύστημα FIR (Αναγνώριση συστημάτων ΗΜΥ636) Εδώ: φ T T [ u( t) u( t 1)... u( t M 1) ], w [ h(0) h(1)... h( M 1) ] = + =

13 Γραμμική παλινδρόμηση (Linear regression) y( x, w) = w x+ w 1 0 y( x, ) w w x w x y( x, w) = w + w x + w x 2 w =

14 Γραμμική παλινδρόμηση (Linear regression) Ο σκοπός μας είναι η εκτίμηση του διανύσματος παραμέτρων w, δηλ. η εύρεση της εκτίμησης από παρατηρήσεις των φκαι t, δηλ. από το σύνολο {φ 1, t 1,φ 2, t 2,,φ N,t N } Μπορούμε να γράψουμε το ακόλουθο σύνολο γραμμικών εξισώσεων: t T 1 1 T t2 = φ2w... t N = φ w = φ w T N ή σε μορφή πινακων: όπου: t= Φw Τ t1 φ 1 t Τ 2 2, φ t= Φ= Τ tn φn t: διάνυσμα Nx1, Φ: πίνακας NxM Αν N=dτότε μπορούμε να αντιστρέψουμε τον πίνακαφ για να υπολογίσουμε τοw, όμως τυπικά έχουμε δεδομένα που περιέχουν θόρυβο, οπότε χρειαζόμαστε N>>dγια να πάρουμε καλά αποτελέσματα (Διάλεξη 1) overdeterminedsystem: στην περίπτωση αυτή δεν έχουμε ακριβή λύση Πως μπορούμε να λύσουμε την παραπάνω εξίσωση? T Ορίζουμε τα σφάλματα/ υπόλοιπα του μοντέλου (model errors/residuals)ως ε i = ti φi w και T το αντίστοιχο διάνυσμά τους ως: ε = [ ε1 ε 2... ε N ]

15 Γραμμική παλινδρόμηση (Linear regression) Μπορούμε τότε να ορίσουμε την εκτίμηση ελάχιστων τετραγώνων του w(gauss 1809) ως το διάνυσμα που ελαχιστοποιεί την ακόλουθη συνάρτηση κόστους (cost function): N N N T 2 1 T 1 2 VN ( w) = ε k = [ tk yk ( x, w) ] = k k 2 k 1 2 k 1 2 t φ w = ε ε = ε = = k= δηλ. ψάχνουμε το διάνυσμα w το οποίο ικανοποιεί την: wˆ = arg min V w ( w) Θέτουμε την παράγωγο ως προς w=0 V LS N N 1 T 2 1 T 1 N 2 t k k k= Τ ( w ) = φ w = ε ε = ( t Φw ) ( t Φw ) = 1 [ Τ Τ Τ Τ Τ Τ = t t+ w Φ Φw t Φw w Φ t ] 2 VN ( w) Τ Τ = Φ t+ Φ Φw= 0 w Τ ( ) 1 Τ wˆ = Φ Φ Φ t LS * Σημ. από άλγεβρα T θ Aθ = Aθ+ θ T T a θ θ a = = a θ θ T A θ

16 Γραμμική παλινδρόμηση (Linear regression) Τ Αν ο πίνακας Φ είναι πλήρους βαθμού (full rank), τότε ο πίνακας Φ Φ είναι αντιστρέψιμος και θετικά ορισμένος και έχουμε την παραπάνω μοναδική λύση, η οποία αντιστοιχεί σε ελάχιστο, καθώς: VN ( w) Τ = 2Φ Φ T w w Ισοδύναμα: 1 N N T w ˆ = t φ φ k= 1 φ k= 1 ˆ LS k k k k ( ) 1 Τ Τ Αν ο Φ δεν είναι πλήρους βαθμού, τότε έχουμε άπειρες λύσεις. Ο πίνακας Φ Φ Φ ονομάζεται ψευδοαντίστροφος(pseudoinverse) του πίνακα Φ Η μέθοδος των ελάχιστων τετραγώνων είναι λογική είτε δουλεύουμε σε ντετερμινιστικό ή σε στοχαστικό υπόβαθρο

17 Ελάχιστα τετράγωνα Γεωμετρική ερμηνεία t: διάνυσμα στο χώρο R N Ισοδύναμο πρόβλημα: Βρείτε γραμμικό συνδυασμό των {φ 0,φ 1,,φ M-1 } για κάθε x n που προσεγγίζει το διάνυσμα tόσο καλύτερα γίνεται. -Αν Μ<Ν, τα {φ 0,φ 1,,φ Μ-1 } ορίζουν έναν υποχώρο R Μ του R N -Αν το διάνυσμα yανήκει σε αυτόν τον υποχώρο: μπορούμε να το εκφράσουμε ως γραμμικό συνδυασμό των {φ 0,φ 1,,φ Μ-1 } -Αν όχι: η καλύτερη προσέγγιση που ανήκει στο R Μ είναι αυτή με τη μικρότερη απόσταση από το διάνυσμα t, δηλαδή η ορθογώνια προβολή του tστον υποχώρο R Μ ( t t ˆ ) φi, i = 0,1,..., M 1 Άρα ( t tˆ ) T φi = 0 και επειδή ˆ M t R M 1 tˆ = ŵ φ j= 0 M 1 T T t φi jφ φ j i j= 0 j j = ŵ, i= 0,1,..., M 1 η οποία σε μορφή πίνακα γράφεται: Τ ( Φ Φ) wˆ LS Τ ˆ ( ) 1 LS = Τ = Φ t Τ w Φ Φ Φ t t ˆt N = 3, M = 2

18 Γραμμική παλινδρόμηση και μέγιστη πιθανοφάνεια Έστω ότι οι παρατηρήσεις μας προέρχονται από μια ντετερμινιστική συνάρτηση συν θόρυβο: όπου Η κατανομή του t είναι: Άρα δεδομένων των παρατηρήσεων και η πιθανοφάνεια είναι: και όπου

19 Γραμμική παλινδρόμηση και μέγιστη πιθανοφάνεια Άρα οι εκτιμήσεις που παίρνουμε από τις μεθόδους ML και LS είναι πανομοιότυπες όταν ο θόρυβος είναι Γκαουσιανός Έστω ότι μας ενδιαφέρει μόνο το w 0. Μεγιστοποιώντας την πιθανοφάνεια Τέλος, μεγιστοποιώντας την πιθανοφάνεια ως προς β:

20 Γραμμική παλινδρόμηση και κανονικοποίηση Κανονικοποίηση (regularization). Συνάρτηση σφάλματος: Ακρίβεια + όρος κανονικοποίησης Ο όρος κανονικοποίησης μπορεί να λάβει διάφορες μορφές, π.χ.: λ -συντελεστής κανονικοποίησης(regularization coefficient). Μπορεί να βρεθεί αναλυτική λύση ελαχιστοποιώντας ως προς w: Τετραγωνικός όρος κανονικοποίησης: Ridge regression, parameter shrinkage, weight decay Αν ο πίνακας Φ Τ Φέχει ορίζουσα κοντά στο μηδέν (ill-conditioned matrix) η χρήση κανονικοποίησης έχει ως (επιπλέον) αποτέλεσμα την αποφυγή αριθμητικών προβλημάτων Μπορούμε να πάρουμε μια ιδέα για πιθανά σφάλματα αυτού του τύπου αν υπολογίσουμε το λόγο μεταξύ της (απολύτως) μεγαλύτερης προς τη μικρότερη ιδιοτιμή του πίνακα -condition number (Matlab: cond, rcond) Όσο μεγαλύτερη η τιμή του condition number, τόσο πιο κοντά η ορίζουσα του Φ Τ Φ είναι στο μηδέν: μεγάλη ευαισθησία σε μικρές αλλαγές στα δεδομένα, οι οποίες μπορούν να προκαλέσουν μεγάλες αλλαγές στις εκτιμήσεις των συντελεστών Μπορούμε να πάρουμε την ίδια πληροφορία από το singular value decomposition του (μη τετραγωνικού) πίνακα Φ

21 Γραμμική παλινδρόμηση και κανονικοποίηση Μπορούμε να γενικεύσουμε και να χρησιμοποιήσουμε συναρτήσεις σφάλματος μορφής: q=1: Lasso regularization

22 Γραμμική παλινδρόμηση και κανονικοποίηση Η ελαχιστοποίηση της είναι ισοδύναμη με την ελαχιστοποίηση των ελάχιστων τετραγώνων με περιορισμό (πολλ/στες Lagrange Bishop Appendix E): όπου οι παράμετροι l, n συνδέονται μεταξύ τους Η κανονικοποίηση με μικρό q(πχ Lasso) οδηγεί σε αραιότερες (sparser) λύσεις κάποια βάρη οδηγούνται στο μηδέν, με άλλα λόγια διαλέγουμε «σημαντικούς» όρους Δεν έχουμε πλέον αναλυτική λύση πρόβλημα τετραγωνικού προγραμματισμού (λύση με επαναληπτικές μεθόδους κλπ.) Μπορούμε να επιλέξουμε την τιμή του λ χρησιμοποιώντας π.χ. δεδομένα επικύρωσης

23 Γραμμική παλινδρόμηση με πολλαπλές εξόδους Παρόμοια με την περίπτωση μιας εξόδου, η πιθανοφάνεια είναι: Παρατηρήσεις Log-likelihood (L: αριθμός εξόδων) και Μεγιστοποίηση ως προς W: Για συγκεκριμένη μεταβλητή εξόδου: όπου

24 The bias-variance tradeoff Η επιλογή της πολυπλοκότητας του μοντέλου, με άλλα λόγια του αριθμού των συναρτήσεων βάσης, είναι πολύ βασικό ερώτημα Αν έχουμε κανονικοποίηση, εξαρτάται από την τιμή του λ Για προβλήματα παλινδρόμησης, μπορούμε να ορίσουμε τη μέση ή αναμενόμενη τετραγωνική συνάρτηση απώλειας (squared loss function) ως εξής: [ ] 2 2 E{ L} = E{ t y( x) } = ( y( x) t) p( x, t) dxdt Ο σκοπός είναι να επιλέξουμε το y(x) ώστε να ελαχιστοποιήσουμε τη μέση απώλεια Ε{L}. Στη γενική περίπτωση, η y(x) που το επιτυγχάνει είναι η υπό συνθήκη αναμενόμενη τιμή του t δεδομένου του x:

25 The bias-variance tradeoff Η μέση τετραγωνική απώλεια μπορεί να γραφεί ως: ( ) εξαρτάται από το y(x)και ελαχιστοποιείται για y(x)=h(x) ανεξάρτητο του y(x), αντιστοιχεί στην εγγενή διασπορά της τ.μ. tγια κάθε πιθανή τιμή του τυχαίου δ/τος x, δηλ. άρα αντιστοιχεί στη μεταβλητότητα των παρατηρήσεων t. Ο όρος αυτός δεν μπορεί να μηδενιστεί Αν είχαμε άπειρα δεδομένα, τότε θα μπορούσαμε να υπολογίσουμε την h(x) ακριβώς. Όμως στην πράξη έχουμε πεπερασμένο αριθμό δεδομένων D οπότε υπολογίζουμε την συνάρτηση y(x,w) από αυτά. Ας υποθέσουμε ότι μπορούμε να πάρουμε έναν μεγάλο αριθμό δειγμάτων δεδομένων D μήκους Ν και υπολογίζουμε κάθε φορά τη συνάρτηση y(x,w)

26 The bias-variance tradeoff Για να εκτιμήσουμε την απόδοση της εκτίμησης που κάνουμε παίρνοντας την αναμενόμενη τιμή ως προς όλα τα σύνολα δεδομένων Dγια τον όρο, με άλλα λόγια το: Μπορεί να δειχθεί (προσθαφαιρώντας τον όρο ) ότι: Ο πρώτος όρος εξαρτάται από την απόκλιση από την ζητούμενη βέλτιστη συνάρτηση παλινδρόμησης h(x) και ο δεύτερος από το πόσο η εκτίμηση για ένα συγκεκριμένο σύνολο δεδομένων διαφέρει από την αναμενόμενη τιμή ως προς όλα τα σύνολα δεδομένων

27 The bias-variance tradeoff Τελικά λοιπόν η αναμενόμενη τετραγωνική απώλεια εξαρτάται από τρεις όρους: όπου: Τα πολύ απλά μοντέλα χαρακτηρίζονται από μεγάλη απόκλιση και μικρή διασπορά, ενώ τα πολύ πολύπλοκα μοντέλα από μικρή απώλεια και μεγάλη διασπορά Άρα υπάρχει ένας συμβιβασμός μεταξύ απόκλισης και διασποράς (bias-variance trade-off) Το «καλύτερο» μοντέλο είναι αυτό που επιτυγχάνει τον βέλτιστο συμβιβασμό

28 The bias-variance tradeoff Παράδειγμα: 100 σύνολα δεδομένων με Ν=25 σημεία το καθένα από την h(x)=sin(2πx), γραμμική παλινδρόμηση με M-1=24 Γκαουσιανές συναρτήσεις βάσης

29 The bias-variance tradeoff

30 The bias-variance tradeoff Μπορούμε να υπολογίσουμε τους όρους απόκλισης-διασποράς ως εξής: όπου: Γενικά είναι δύσκολο να ακολουθήσουμε την παραπάνω διαδικασία στην πράξη: Bayesian linear regression αντί να παίρνουμε όμως μέσο όρο ως προς πολλαπλά σύνολα δεδομένων, παίρνουμε μέσο όρο ως προς την εκ των υστέρων κατανομή των συντελεστών παλινδρόμησης

31 Bayesian linear regression Προσδιορισμός πολυπλοκότητας για εκτίμηση μέγιστης πιθανοφάνειας: Κανονικοποίηση προσδιορισμός λ Δεδομένα επικύρωσης περισσότερα δεδομένα Πολλαπλά σύνολα δεδομένων (δύσκολο) Εναλλακτικά: Μπεϋζιανή θεώρηση Ή εκ των υστέρων κατανομή για το διάνυσμα w δίνεται από την: p( w t) p( t w) p( w) Η πιθανοφάνεια για Γκαουσιανό θόρυβο (γνωστής διασποράς) έχει επίσης τη μορφή κανονικής κατανομής ως προς w: άρα μπορούμε να διαλέξουμε συζυγή εκ των προτέρων κατανομή για το w την ακόλουθη κανονική κατανομή:

32 Bayesian linear regression Τελικά η εκ των υστέρων κατανομή προκύπτει: Για Ν=0: posterior=prior w MAP= m N, ενώ για απείρως «απλωμένη»εκ των προτέρωνκατανομή δηλ. για S 0 =α -1 Iόπου α 0,τότε m N w ML Πχ για έχουμε: και άρα μεγιστοποίηση της εκ των υστέρων κατανομής πιθανότητας = κανονικοποίηση με λ=α/β

33 Παράδειγμα: Δεδομένα από f(x)= xκαι x~uniform[-1,1], λευκός θόρυβος με σ=0.2 άρα t n =f(x n )+e. Γραμμικό μοντέλο y(x,w)=w 1 +w 2 x Υποθέτουμε ότι το βείναι γνωστό και θεωρούμε α=2.0 Bayesian linear regression

34 Bayesian linear regression Προγνωστική κατανομή: Πως μπορούμε να προβλέψουμε τις επόμενες τιμές του t? Ολοκληρώνουμε ως προς w Θόρυβος στα δεδομένα Αβεβαιότητα στην εκτίμηση των παραμέτρων w Στο όριο Ν η διασπορά της προγνωστικής κατανομής εξαρτάται μόνο από το β

35 Bayesian linear regression Παράδειγμα: 9 Γκαουσιανές συναρτήσεις βάσης

36 Bayesian linear regression Παράδειγμα: 9 Γκαουσιανές συναρτήσεις βάσης

37 Bayesian linear regression Αν και το β είναι άγνωστο, υπάρχει αναλυτική λύση Conjugate prior p(w,β) Gaussian-gamma Posterior: Gaussian-gamma Predictive distribution: Student s t distribution Δημοσίευση για Bayesian linear regression στην ιστοσελίδα

HMY 795: Αναγνώριση Προτύπων

HMY 795: Αναγνώριση Προτύπων HMY 795: Αναγνώριση Προτύπων Διαλέξεις 7 8 Μπεϋζιανή εκτίμηση συνέχεια Μη παραμετρικές μέθοδοι εκτίμησης πυκνότητας Εκτίμηση ML για την κανονική κατανομή Μπεϋζιανή εκτίμηση για την κανονική κατανομή Γνωστή

Διαβάστε περισσότερα

HMY 795: Αναγνώριση Προτύπων

HMY 795: Αναγνώριση Προτύπων HMY 795: Αναγνώριση Προτύπων Διαλέξεις 7-8 Μπεϋζιανή εκτίμηση - συνέχεια Μη παραμετρικές μέθοδοι εκτίμησης πυκνότητας Δυαδικές τ.μ. κατανομή Bernoulli : Εκτίμηση ML: Εκτίμηση Bayes για εκ των προτέρων

Διαβάστε περισσότερα

HMY 795: Αναγνώριση Προτύπων

HMY 795: Αναγνώριση Προτύπων HMY 795: Αναγνώριση Προτύπων Διαλέξεις 11-12 Γραμμική παλινδρόμηση συνέχεια Γραμμική παλινδρόμηση συνέχεια Γραμμικές διαχωριστικές συναρτήσεις Γραμμική παλινδρόμηση (Linear regression) y = w + wx + + w

Διαβάστε περισσότερα

HMY 795: Αναγνώριση Προτύπων

HMY 795: Αναγνώριση Προτύπων HMY 795: Αναγνώριση Προτύπων Διάλεξη 6 Κατανομές πιθανότητας και εκτίμηση παραμέτρων Κατανομές πιθανότητας και εκτίμηση παραμέτρων κανονικές τυχαίες μεταβλητές Εκτίμηση παραμέτρων δυαδικές τυχαίες μεταβλητές

Διαβάστε περισσότερα

HMY 795: Αναγνώριση Προτύπων. Διάλεξη 2

HMY 795: Αναγνώριση Προτύπων. Διάλεξη 2 HMY 795: Αναγνώριση Προτύπων Διάλεξη 2 Επισκόπηση θεωρίας πιθανοτήτων Θεωρία πιθανοτήτων Τυχαία μεταβλητή: Μεταβλητή της οποίας δε γνωρίζουμε με βεβαιότητα την τιμή (αντίθετα με τις ντετερμινιστικές μεταβλητές)

Διαβάστε περισσότερα

HMY 799 1: Αναγνώριση Συστημάτων

HMY 799 1: Αναγνώριση Συστημάτων HMY 799 : Αναγνώριση Συστημάτων Διάλεξη Γραμμική παλινδρόμηση (Linear regression) Εμπειρική συνάρτηση μεταφοράς Ομαλοποίηση (smoothing) Y ( ) ( ) ω G ω = U ( ω) ω +Δ ω γ ω Δω = ω +Δω W ( ξ ω ) U ( ξ) G(

Διαβάστε περισσότερα

HMY 795: Αναγνώριση Προτύπων

HMY 795: Αναγνώριση Προτύπων HMY 795: Αναγνώριση Προτύπων Διάλεξη 2 Επισκόπηση θεωρίας πιθανοτήτων Τυχαίες μεταβλητές: Βασικές έννοιες Τυχαία μεταβλητή: Μεταβλητή της οποίας δε γνωρίζουμε με βεβαιότητα την τιμή (σε αντίθεση με τις

Διαβάστε περισσότερα

HMY 795: Αναγνώριση Προτύπων

HMY 795: Αναγνώριση Προτύπων HMY 795: Αναγνώριση Προτύπων Διάλεξη 5 Κατανομές πιθανότητας και εκτίμηση παραμέτρων Κατανομές πιθανότητας και εκτίμηση παραμέτρων δυαδικές τυχαίες μεταβλητές Διαχωριστικές συναρτήσεις Ταξινόμηση κανονικών

Διαβάστε περισσότερα

HMY 795: Αναγνώριση Προτύπων

HMY 795: Αναγνώριση Προτύπων HMY 795: Αναγνώριση Προτύπων Διάλεξη 5 Κατανομές πιθανότητας και εκτίμηση παραμέτρων δυαδικές τυχαίες μεταβλητές Bayesian decision Minimum misclassificaxon rate decision: διαλέγουμε την κατηγορία Ck για

Διαβάστε περισσότερα

HMY 795: Αναγνώριση Προτύπων

HMY 795: Αναγνώριση Προτύπων HMY 795: Αναγνώριση Προτύπων Διάλεξη 3 Επιλογή μοντέλου Επιλογή μοντέλου Θεωρία αποφάσεων Επιλογή μοντέλου δεδομένα επικύρωσης Η επιλογή του είδους του μοντέλου που θα χρησιμοποιηθεί σε ένα πρόβλημα (π.χ.

Διαβάστε περισσότερα

HMY 799 1: Αναγνώριση Συστημάτων

HMY 799 1: Αναγνώριση Συστημάτων HMY 799 : Αναγνώριση Συστημάτων Διαλέξεις Γραμμική παλινδρόμηση (Linear regression) Συνέχεια Γραμμική παλινδρόμηση (Linear regression) g = θϕ + θϕ + + θ ϕ = φ θ ( φ)... d d ϕ ϕ φ=, θ= [ θ θ... θd ]...

Διαβάστε περισσότερα

Πανεπιστήμιο Κύπρου Πολυτεχνική Σχολή

Πανεπιστήμιο Κύπρου Πολυτεχνική Σχολή Πανεπιστήμιο Κύπρου Πολυτεχνική Σχολή Τμήμα Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών ΗΜΜΥ 795: ΑΝΑΓΝΩΡΙΣΗ ΠΡΟΤΥΠΩΝ Ακαδημαϊκό έτος 2010-11 Χειμερινό Εξάμηνο Practice final exam 1. Έστω ότι για

Διαβάστε περισσότερα

HMY 429: Εισαγωγή στην Επεξεργασία Ψηφιακών. Χρόνου (Ι)

HMY 429: Εισαγωγή στην Επεξεργασία Ψηφιακών. Χρόνου (Ι) HMY 429: Εισαγωγή στην Επεξεργασία Ψηφιακών Σημάτων Διάλεξη 5: Στοχαστικά/Τυχαία Σήματα Διακριτού Διάλεξη 5: Στοχαστικά/Τυχαία Σήματα Διακριτού Χρόνου (Ι) Στοχαστικά σήματα Στα προηγούμενα: Ντετερμινιστικά

Διαβάστε περισσότερα

HMY 799 1: Αναγνώριση Συστημάτων

HMY 799 1: Αναγνώριση Συστημάτων HMY 799 : Αναγνώριση Συστημάτων Διάλεξη Στοχαστικές Τυχαίες Μεταβλητές/ Στοχαστικά Σήματα Πειραματικά δεδομένα >Επιλογή τύπου μοντέλου >Επιλογή κριτηρίου >Υπολογισμός >Επικύρωση Προσαρμογή καμπύλης (Curve

Διαβάστε περισσότερα

Εκτιμητές Μεγίστης Πιθανοφάνειας (Maximum Likelihood Estimators MLE)

Εκτιμητές Μεγίστης Πιθανοφάνειας (Maximum Likelihood Estimators MLE) Εκτιμητές Μεγίστης Πιθανοφάνειας (Maximum Likelihood Estimators MLE) Εστω τ.δ. X={x, x,, x } με κατανομή με σ.π.π. f(x;θ). Η από-κοινού σ.π.π. των δειγμάτων είναι η συνάρτηση L f x, x,, x; f x i ; και

Διαβάστε περισσότερα

Αναγνώριση Προτύπων Ι

Αναγνώριση Προτύπων Ι Αναγνώριση Προτύπων Ι Ενότητα 3: Στοχαστικά Συστήματα Αν. Καθηγητής Δερματάς Ευάγγελος Τμήμα Ηλεκτρολόγων Μηχανικών και Τεχνολογίας Υπολογιστών Άδειες Χρήσης Το παρόν εκπαιδευτικό υλικό υπόκειται σε άδειες

Διαβάστε περισσότερα

ΘΕΩΡΙΑ ΑΠΟΦΑΣΕΩΝ 3 ο ΦΡΟΝΤΙΣΤΗΡΙΟ ΛΥΣΕΙΣ ΤΩΝ ΑΣΚΗΣΕΩΝ

ΘΕΩΡΙΑ ΑΠΟΦΑΣΕΩΝ 3 ο ΦΡΟΝΤΙΣΤΗΡΙΟ ΛΥΣΕΙΣ ΤΩΝ ΑΣΚΗΣΕΩΝ ΘΕΩΡΙΑ ΑΠΟΦΑΣΕΩΝ 3 ο ΦΡΟΝΤΙΣΤΗΡΙΟ ΛΥΣΕΙΣ ΤΩΝ ΑΣΚΗΣΕΩΝ ΑΣΚΗΣΗ Σύμφωνα με στοιχεία από το Πανεπιστήμιο της Οξφόρδης η πιθανότητα ένας φοιτητής να αποφοιτήσει μέσα σε 5 χρόνια από την ημέρα εγγραφής του στο

Διαβάστε περισσότερα

HMY 795: Αναγνώριση Προτύπων. Διαλέξεις 15-16

HMY 795: Αναγνώριση Προτύπων. Διαλέξεις 15-16 HMY 795: Αναγνώριση Προτύπων Διαλέξεις 15-16 Νευρωνικά Δίκτυα(Neural Networks) Fisher s linear discriminant: Μείωση διαστάσεων (dimensionality reduction) y Τ =w x s + s =w S w 2 2 Τ 1 2 W ( ) 2 2 ( ) m2

Διαβάστε περισσότερα

Ψηφιακές Τηλεπικοινωνίες. Βέλτιστος Δέκτης

Ψηφιακές Τηλεπικοινωνίες. Βέλτιστος Δέκτης Ψηφιακές Τηλεπικοινωνίες Βέλτιστος Δέκτης Σύνδεση με τα Προηγούμενα Επειδή το πραγματικό κανάλι είναι αναλογικό, κατά τη διαβίβαση ψηφιακής πληροφορίας, αντιστοιχίζουμε τα σύμβολα σε αναλογικές κυματομορφές

Διαβάστε περισσότερα

Πανεπιστήµιο Κύπρου Πολυτεχνική Σχολή

Πανεπιστήµιο Κύπρου Πολυτεχνική Σχολή Πανεπιστήµιο Κύπρου Πολυτεχνική Σχολή Τµήµα Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών ΗΜΜΥ 795: ΑΝΑΓΝΩΡΙΣΗ ΠΡΟΤΥΠΩΝ Ακαδηµαϊκό έτος 2010-11 Χειµερινό Εξάµηνο Τελική εξέταση Τρίτη, 21 εκεµβρίου 2010,

Διαβάστε περισσότερα

HMY 795: Αναγνώριση Προτύπων

HMY 795: Αναγνώριση Προτύπων HMY 795: Αναγνώριση Προτύπων Επανάληψη Expectatio maximizatio for Gaussia mixtures. Αρχικοποιούμε τις άγνωστες παραμέτρους µ k, Σ k και π k 2. Υπολογίσμος των resposibilitiesγ(z k : γ ( z = k π ( x µ ˆ,

Διαβάστε περισσότερα

Ανασκόπηση θεωρίας ελαχίστων τετραγώνων και βέλτιστης εκτίμησης παραμέτρων

Ανασκόπηση θεωρίας ελαχίστων τετραγώνων και βέλτιστης εκτίμησης παραμέτρων Τοπογραφικά Δίκτυα και Υπολογισμοί 5 ο εξάμηνο, Ακαδημαϊκό Έτος 2016-2017 Ανασκόπηση θεωρίας ελαχίστων τετραγώνων και βέλτιστης εκτίμησης παραμέτρων Χριστόφορος Κωτσάκης Τμήμα Αγρονόμων Τοπογράφων Μηχανικών

Διαβάστε περισσότερα

HMY 795: Αναγνώριση Προτύπων

HMY 795: Αναγνώριση Προτύπων HMY 795: Αναγνώριση Προτύπων Διαλέξεις 2-22 Support vector machies (συνέχεια) Support vector machies (συνέχεια) Usupervised learig: Clusterig ad Gaussia mixtures Kerel fuctios: k( xx, ') = ϕ ( x) ϕ( x

Διαβάστε περισσότερα

Μέρος V. Ανάλυση Παλινδρόμηση (Regression Analysis)

Μέρος V. Ανάλυση Παλινδρόμηση (Regression Analysis) Μέρος V. Ανάλυση Παλινδρόμηση (Regresso Aalss) Βασικές έννοιες Απλή Γραμμική Παλινδρόμηση Πολλαπλή Παλινδρόμηση Εφαρμοσμένη Στατιστική Μέρος 5 ο - Κ. Μπλέκας () Βασικές έννοιες Έστω τ.μ. Χ,Υ όπου υπάρχει

Διαβάστε περισσότερα

ΜΗ ΓΡΑΜΜΙΚΗ ΠΑΛΙΝΔΡΟΜΙΣΗ

ΜΗ ΓΡΑΜΜΙΚΗ ΠΑΛΙΝΔΡΟΜΙΣΗ ΜΗ ΓΡΑΜΜΙΚΗ ΠΑΛΙΝΔΡΟΜΙΣΗ Τα μη γραμμικά μοντέλα έχουν την πιο κάτω μορφή: η μορφή αυτή μοιάζει με τη μορφή που έχουμε για τα γραμμικά μοντέλα ( δηλαδή η παρατήρηση Y i είναι το άθροισμα της αναμενόμενης

Διαβάστε περισσότερα

Διάλεξη 1: Στατιστική Συμπερασματολογία - Εκτίμηση Σημείου

Διάλεξη 1: Στατιστική Συμπερασματολογία - Εκτίμηση Σημείου Διάλεξη 1: Στατιστική Συμπερασματολογία - Εκτίμηση Σημείου Στατιστική Συμπερασματολογία Εκτιμητική Έλεγχος Στατιστικών Υποθέσεων εκτιμήτρια συνάρτηση, ˆ θ σημειακή εκτίμηση εκτίμηση με διάστημα εμπιστοσύνης

Διαβάστε περισσότερα

ΠΑΝΕΠΙΣΤΗΜΙΟ ΑΙΓΑΙΟΥ ΣΧΟΛΗ ΕΠΙΣΤΗΜΩΝ ΤΗΣ ΔΙΟΙΚΗΣΗΣ ΤΜΗΜΑ ΜΗΧΑΝΙΚΩΝ ΟΙΚΟΝΟΜΙΑΣ ΚΑΙ ΔΙΟΙΚΗΣΗΣ ΣΤΑΤΙΣΤΙΚΗ

ΠΑΝΕΠΙΣΤΗΜΙΟ ΑΙΓΑΙΟΥ ΣΧΟΛΗ ΕΠΙΣΤΗΜΩΝ ΤΗΣ ΔΙΟΙΚΗΣΗΣ ΤΜΗΜΑ ΜΗΧΑΝΙΚΩΝ ΟΙΚΟΝΟΜΙΑΣ ΚΑΙ ΔΙΟΙΚΗΣΗΣ ΣΤΑΤΙΣΤΙΚΗ ΠΑΝΕΠΙΣΤΗΜΙΟ ΑΙΓΑΙΟΥ ΣΧΟΛΗ ΕΠΙΣΤΗΜΩΝ ΤΗΣ ΔΙΟΙΚΗΣΗΣ ΤΜΗΜΑ ΜΗΧΑΝΙΚΩΝ ΟΙΚΟΝΟΜΙΑΣ ΚΑΙ ΔΙΟΙΚΗΣΗΣ ΣΤΑΤΙΣΤΙΚΗ Ακαδ. Έτος 06-07 Διδάσκων: Βασίλης ΚΟΥΤΡΑΣ Λέκτορας v.outras@e.aegea.gr Τηλ: 7035468 Μέθοδος Υπολογισμού

Διαβάστε περισσότερα

Ανασκόπηση θεωρίας ελαχίστων τετραγώνων και βέλτιστης εκτίμησης παραμέτρων

Ανασκόπηση θεωρίας ελαχίστων τετραγώνων και βέλτιστης εκτίμησης παραμέτρων Τοπογραφικά Δίκτυα και Υπολογισμοί 5 ο εξάμηνο, Ακαδημαϊκό Έτος 2017-2018 Ανασκόπηση θεωρίας ελαχίστων τετραγώνων και βέλτιστης εκτίμησης παραμέτρων Χριστόφορος Κωτσάκης Τμήμα Αγρονόμων και Τοπογράφων

Διαβάστε περισσότερα

HMY 795: Αναγνώριση Προτύπων

HMY 795: Αναγνώριση Προτύπων HMY 795: Αναγνώριση Προτύπων Διαλέξεις 17 18 Νευρωνικά Δίκτυα (Neural Networks) συνέχεια Minimum squared error procedure for classification 1 ( T T wls = X X) X b= X b Xw = b Logistic sigmoidal function

Διαβάστε περισσότερα

ΠΕΡΙΕΧΟΜΕΝΑ. ΠΡΟΛΟΓΟΣ... vii ΠΕΡΙΕΧΟΜΕΝΑ... ix ΓΕΝΙΚΗ ΒΙΒΛΙΟΓΡΑΦΙΑ... xv. Κεφάλαιο 1 ΓΕΝΙΚΕΣ ΕΝΝΟΙΕΣ ΑΠΟ ΤΗ ΣΤΑΤΙΣΤΙΚΗ

ΠΕΡΙΕΧΟΜΕΝΑ. ΠΡΟΛΟΓΟΣ... vii ΠΕΡΙΕΧΟΜΕΝΑ... ix ΓΕΝΙΚΗ ΒΙΒΛΙΟΓΡΑΦΙΑ... xv. Κεφάλαιο 1 ΓΕΝΙΚΕΣ ΕΝΝΟΙΕΣ ΑΠΟ ΤΗ ΣΤΑΤΙΣΤΙΚΗ ΠΡΟΛΟΓΟΣ... vii ΠΕΡΙΕΧΟΜΕΝΑ... ix ΓΕΝΙΚΗ ΒΙΒΛΙΟΓΡΑΦΙΑ... xv Κεφάλαιο 1 ΓΕΝΙΚΕΣ ΕΝΝΟΙΕΣ ΑΠΟ ΤΗ ΣΤΑΤΙΣΤΙΚΗ 1.1 Πίνακες, κατανομές, ιστογράμματα... 1 1.2 Πυκνότητα πιθανότητας, καμπύλη συχνοτήτων... 5 1.3

Διαβάστε περισσότερα

ΕΚΤΙΜΙΣΗ ΜΕΓΙΣΤΗΣ ΠΙΘΑΝΟΦΑΝΕΙΑΣ

ΕΚΤΙΜΙΣΗ ΜΕΓΙΣΤΗΣ ΠΙΘΑΝΟΦΑΝΕΙΑΣ 3.1 Εισαγωγή ΕΚΤΙΜΙΣΗ ΜΕΓΙΣΤΗΣ ΠΙΘΑΝΟΦΑΝΕΙΑΣ Στο κεφ. 2 είδαμε πώς θα μπορούσαμε να σχεδιάσουμε έναν βέλτιστο ταξινομητή εάν ξέραμε τις προγενέστερες(prior) πιθανότητες ( ) και τις κλάση-υπό όρους πυκνότητες

Διαβάστε περισσότερα

3. Κατανομές πιθανότητας

3. Κατανομές πιθανότητας 3. Κατανομές πιθανότητας Τυχαία Μεταβλητή Τυχαία μεταβλητή (τ.μ.) (X) είναι μια συνάρτηση που σε κάθε σημείο (ω) ενός δειγματικού χώρου (Ω) αντιστοιχεί έναν πραγματικό αριθμό. Ω ω X (ω ) R Διακριτή τ.μ.

Διαβάστε περισσότερα

Μέθοδος μέγιστης πιθανοφάνειας

Μέθοδος μέγιστης πιθανοφάνειας Μέθοδος μέγιστης πιθανοφάνειας Αν x =,,, παρατηρήσεις των Χ =,,,, τότε έχουμε διαθέσιμο ένα δείγμα Χ={Χ, =,,,} της κατανομής F μεγέθους με από κοινού σ.κ. της Χ f x f x Ορισμός : Θεωρούμε ένα τυχαίο δείγμα

Διαβάστε περισσότερα

HMY 795: Αναγνώριση Προτύπων

HMY 795: Αναγνώριση Προτύπων HMY 795: Αναγνώριση Προτύπων Διαλέξεις 9 20 Kernel methods Support vector machines Εκπαίδευση νευρωνικών δικτύων backpropagation:. Υπολογισμός μεταβλητών δικτύου «τρέχον» w () () (2) (2) aj = wji xi ak

Διαβάστε περισσότερα

ΠΑΝΕΠΙΣΤΗΜΙΟ ΑΙΓΑΙΟΥ ΣΧΟΛΗ ΕΠΙΣΤΗΜΩΝ ΤΗΣ ΔΙΟΙΚΗΣΗΣ ΤΜΗΜΑ ΜΗΧΑΝΙΚΩΝ ΟΙΚΟΝΟΜΙΑΣ ΚΑΙ ΔΙΟΙΚΗΣΗΣ ΣΤΑΤΙΣΤΙΚΗ

ΠΑΝΕΠΙΣΤΗΜΙΟ ΑΙΓΑΙΟΥ ΣΧΟΛΗ ΕΠΙΣΤΗΜΩΝ ΤΗΣ ΔΙΟΙΚΗΣΗΣ ΤΜΗΜΑ ΜΗΧΑΝΙΚΩΝ ΟΙΚΟΝΟΜΙΑΣ ΚΑΙ ΔΙΟΙΚΗΣΗΣ ΣΤΑΤΙΣΤΙΚΗ ΠΑΝΕΠΙΣΤΗΜΙΟ ΑΙΓΑΙΟΥ ΣΧΟΛΗ ΕΠΙΣΤΗΜΩΝ ΤΗΣ ΔΙΟΙΚΗΣΗΣ ΤΜΗΜΑ ΜΗΧΑΝΙΚΩΝ ΟΙΚΟΝΟΜΙΑΣ ΚΑΙ ΔΙΟΙΚΗΣΗΣ ΣΤΑΤΙΣΤΙΚΗ Ακαδ. Έτος 06-07 Διδάσκων: Βασίλης ΚΟΥΤΡΑΣ Επικ. Καθηγητής v.koutra@fme.aegea.gr Τηλ: 7035468 Θα μελετήσουμε

Διαβάστε περισσότερα

Απλή Γραμμική Παλινδρόμηση και Συσχέτιση 19/5/2017

Απλή Γραμμική Παλινδρόμηση και Συσχέτιση 19/5/2017 Απλή Γραμμική Παλινδρόμηση και Συσχέτιση 2 Εισαγωγή Η ανάλυση παλινδρόμησης περιλαμβάνει το σύνολο των μεθόδων της στατιστικής που αναφέρονται σε ποσοτικές σχέσεις μεταξύ μεταβλητών Πρότυπα παλινδρόμησης

Διαβάστε περισσότερα

ΕΙΣΑΓΩΓΗ ΣΤΗ ΒΕΛΤΙΣΤΟΠΟΙΗΣΗ ΣΥΣΤΗΜΑΤΩΝ

ΕΙΣΑΓΩΓΗ ΣΤΗ ΒΕΛΤΙΣΤΟΠΟΙΗΣΗ ΣΥΣΤΗΜΑΤΩΝ ΥΠΕΥΘΥΝΟΣ ΚΑΘΗΓΗΤΗΣ Α. Ντούνης ΔΙΔΑΣΚΩΝ ΑΚΑΔ. ΥΠΟΤΡΟΦΟΣ Χ. Τσιρώνης ΕΙΣΑΓΩΓΗ ΣΤΗ ΒΕΛΤΙΣΤΟΠΟΙΗΣΗ ΣΥΣΤΗΜΑΤΩΝ ΜΑΘΗΜΑ ΔΕΥΤΕΡΟ - Διανύσματα - Πράξεις με πίνακες - Διαφορικός λογισμός (1D) ΜΑΘΗΜΑΤΙΚΟ ΥΠΟΒΑΘΡΟ

Διαβάστε περισσότερα

Στατιστική Συμπερασματολογία

Στατιστική Συμπερασματολογία 4. Εκτιμητική Στατιστική Συμπερασματολογία εκτιμήσεις των αγνώστων παραμέτρων μιας γνωστής από άποψη είδους κατανομής έλεγχο των υποθέσεων που γίνονται σε σχέση με τις παραμέτρους μιας κατανομής και σε

Διαβάστε περισσότερα

Σ ΤΑΤ Ι Σ Τ Ι Κ Η. Statisticum collegium iv

Σ ΤΑΤ Ι Σ Τ Ι Κ Η. Statisticum collegium iv Σ ΤΑΤ Ι Σ Τ Ι Κ Η i Statisticum collegium iv Στατιστική Συμπερασματολογία Ι Σημειακές Εκτιμήσεις Διαστήματα Εμπιστοσύνης Στατιστική Συμπερασματολογία (Statistical Inference) Το πεδίο της Στατιστικής Συμπερασματολογία,

Διαβάστε περισσότερα

ΠΕΡΙΕΧΟΜΕΝΑ ΜΕΡΟΣ ΠΡΩΤΟ: ΠΙΘΑΝΟΤΗΤΕΣ 11 ΚΕΦΑΛΑΙΟ 1 ΒΑΣΙΚΕΣ ΕΝΝΟΙΕΣ ΠΙΘΑΝΟΤΗΤΑΣ 13

ΠΕΡΙΕΧΟΜΕΝΑ ΜΕΡΟΣ ΠΡΩΤΟ: ΠΙΘΑΝΟΤΗΤΕΣ 11 ΚΕΦΑΛΑΙΟ 1 ΒΑΣΙΚΕΣ ΕΝΝΟΙΕΣ ΠΙΘΑΝΟΤΗΤΑΣ 13 ΠΕΡΙΕΧΟΜΕΝΑ ΜΕΡΟΣ ΠΡΩΤΟ: ΠΙΘΑΝΟΤΗΤΕΣ 11 ΚΕΦΑΛΑΙΟ 1 ΒΑΣΙΚΕΣ ΕΝΝΟΙΕΣ ΠΙΘΑΝΟΤΗΤΑΣ 13 ΚΕΦΑΛΑΙΟ 2 ΒΑΣΙΚΕΣ ΕΝΝΟΙΕΣ ΠΙΘΑΝΟΤΗΤΑΣ 20 2.1 Αβεβαιότητα, Τυχαία Διαδικασία, και Συναφείς Έννοιες 20 2.1.1 Αβεβαιότητα

Διαβάστε περισσότερα

HMY 799 1: Αναγνώριση Συστημάτων

HMY 799 1: Αναγνώριση Συστημάτων HMY 799 : Αναγνώριση Συστημάτων Διαλέξεις Επιλογή τάξης μοντέλου και επικύρωση Επαναληπτική αναγνώριση Βέλτιστη μέθοδος συμβαλλουσών μεταβλητών (opimal IV mehod) P P P IV IV, op PEM z() = H ( q) φ () Γενική

Διαβάστε περισσότερα

!n k. Ιστογράμματα. n k. x = N = x k

!n k. Ιστογράμματα. n k. x = N = x k Ιστογράμματα Τα ιστογράμματα αποτελούν ένα εύχρηστο οπτικό τρόπο για να εξάγουμε την κατανομή που ακολουθούν μια σειρά μετρήσεων ενός μεγέθους αλλά και παράλληλα δίνουν τη δυνατότητα για εύκολη στατιστική

Διαβάστε περισσότερα

ΕΦΑΡΜΟΣΜΕΝΗ ΣΤΑΤΙΣΤΙΚΗ Ι Συμπληρωματικές Σημειώσεις Δημήτριος Παντελής

ΕΦΑΡΜΟΣΜΕΝΗ ΣΤΑΤΙΣΤΙΚΗ Ι Συμπληρωματικές Σημειώσεις Δημήτριος Παντελής ΕΦΑΡΜΟΣΜΕΝΗ ΣΤΑΤΙΣΤΙΚΗ Ι Συμπληρωματικές Σημειώσεις Δημήτριος Παντελής ΣΤΑΤΙΣΤΙΚΕΣ ΕΚΤΙΜΗΣΕΙΣ Οι συναρτήσεις πιθανότητας ή πυκνότητας πιθανότητας των διαφόρων τυχαίων μεταβλητών χαρακτηρίζονται από κάποιες

Διαβάστε περισσότερα

27-Ιαν-2009 ΗΜΥ 429. 2. (ι) Βασική στατιστική (ιι) Μετατροπές: αναλογικό-σεψηφιακό και ψηφιακό-σε-αναλογικό

27-Ιαν-2009 ΗΜΥ 429. 2. (ι) Βασική στατιστική (ιι) Μετατροπές: αναλογικό-σεψηφιακό και ψηφιακό-σε-αναλογικό ΗΜΥ 429 2. (ι) Βασική στατιστική (ιι) Μετατροπές: αναλογικό-σεψηφιακό και ψηφιακό-σε-αναλογικό 1 (i) Βασική στατιστική 2 Στατιστική Vs Πιθανότητες Στατιστική: επιτρέπει μέτρηση και αναγνώριση θορύβου και

Διαβάστε περισσότερα

HMY 799 1: Αναγνώριση Συστημάτων

HMY 799 1: Αναγνώριση Συστημάτων HMY 799 : Αναγνώριση Συστημάτων Διάλεξη 5 Εκτίμηση φάσματος ισχύος Συνάφεια Παραδείγματα Στοχαστικά Διανύσματα Autoregressive model with exogenous inputs (ARX y( t + a y( t +... + a y( t n = bu( t +...

Διαβάστε περισσότερα

Kruskal-Wallis H... 176

Kruskal-Wallis H... 176 Περιεχόμενα KΕΦΑΛΑΙΟ 1: Περιγραφή, παρουσίαση και σύνοψη δεδομένων................. 15 1.1 Τύποι μεταβλητών..................................................... 16 1.2 Κλίμακες μέτρησης....................................................

Διαβάστε περισσότερα

ΠΕΡΙΕΧΟΜΕΝΑ ΚΕΦΑΛΑΙΟ 3 ΔΕΣΜΕΥΜΕΝΗ ΠΙΘΑΝΟΤΗΤΑ, ΟΛΙΚΗ ΠΙΘΑΝΟΤΗΤΑ ΘΕΩΡΗΜΑ BAYES, ΑΝΕΞΑΡΤΗΣΙΑ ΚΑΙ ΣΥΝΑΦΕΙΣ ΕΝΝΟΙΕΣ 71

ΠΕΡΙΕΧΟΜΕΝΑ ΚΕΦΑΛΑΙΟ 3 ΔΕΣΜΕΥΜΕΝΗ ΠΙΘΑΝΟΤΗΤΑ, ΟΛΙΚΗ ΠΙΘΑΝΟΤΗΤΑ ΘΕΩΡΗΜΑ BAYES, ΑΝΕΞΑΡΤΗΣΙΑ ΚΑΙ ΣΥΝΑΦΕΙΣ ΕΝΝΟΙΕΣ 71 ΠΕΡΙΕΧΟΜΕΝΑ ΜΕΡΟΣ ΠΡΩΤΟ ΠΙΘΑΝΟΤΗΤΕΣ 11 ΚΕΦΑΛΑΙΟ 1 ΕΙΣΑΓΩΓΗ 13 ΚΕΦΑΛΑΙΟ 2 ΒΑΣΙΚΕΣ ΕΝΝΟΙΕΣ ΠΙΘΑΝΟΤΗΤΑΣ 19 2.1 Αβεβαιότητα, Τυχαία Διαδικασία, και Συναφείς Έννοιες 21 2.1.1 Αβεβαιότητα και Τυχαίο Πείραμα

Διαβάστε περισσότερα

Εφαρμοσμένη Στατιστική

Εφαρμοσμένη Στατιστική ΠΑΝΕΠΙΣΤΗΜΙΟ ΙΩΑΝΝΙΝΩΝ ΑΝΟΙΚΤΑ ΑΚΑΔΗΜΑΪΚΑ ΜΑΘΗΜΑΤΑ Εφαρμοσμένη Στατιστική Παλινδρόμηση Διδάσκων: Επίκουρος Καθηγητής Κωνσταντίνος Μπλέκας Άδειες Χρήσης Το παρόν εκπαιδευτικό υλικό υπόκειται σε άδειες χρήσης

Διαβάστε περισσότερα

HMY 799 1: Αναγνώριση Συστημάτων

HMY 799 1: Αναγνώριση Συστημάτων HMY 799 : Αναγνώριση Συστημάτων Διαλέξεις 9 Insrumenal variable mehods συνέχεια Παραδείγματα Μέοδοι PEM, IV ο u() είναι επίμονα διεγερτικό (persisenly exciing) τάξης n αν: ο όριο ϕ ( τ) = lim u ( + τ)

Διαβάστε περισσότερα

HMY 799 1: Αναγνώριση. συστημάτων. Διαλέξεις 6 7. Συνάφεια (συνέχεια) Μη παραμετρική αναγνώριση γραμμικών

HMY 799 1: Αναγνώριση. συστημάτων. Διαλέξεις 6 7. Συνάφεια (συνέχεια) Μη παραμετρική αναγνώριση γραμμικών HMY 799 1: Αναγνώριση Συστημάτων Διαλέξεις 6 7 Συνάφεια (συνέχεια Συστήματα πολλαπλών εισόδων Μη παραμετρική αναγνώριση γραμμικών συστημάτων Εκτίμηση άσματος Ισχύος Περιοδόγραμμα, Bartlett/Welch, Παραμετρική

Διαβάστε περισσότερα

Β Γραφικές παραστάσεις - Πρώτο γράφημα Σχεδιάζοντας το μήκος της σανίδας συναρτήσει των φάσεων της σελήνης μπορείτε να δείτε αν υπάρχει κάποιος συσχετισμός μεταξύ των μεγεθών. Ο συνήθης τρόπος γραφικής

Διαβάστε περισσότερα

Εφαρμογές μεθοδολογιών μηχανικής εκμάθησης στο χώρο της παραγωγής υδρογονανθράκων. Βασίλης Γαγάνης

Εφαρμογές μεθοδολογιών μηχανικής εκμάθησης στο χώρο της παραγωγής υδρογονανθράκων. Βασίλης Γαγάνης Εφαρμογές μεθοδολογιών μηχανικής εκμάθησης στο χώρο της παραγωγής υδρογονανθράκων Μέθοδοι μηχανικής εκμάθησης Εύρεση μαθηματικής έκφρασης μοντέλου (κανόνα) ο κανόνας διέπει το υπό μελέτη πρόβλημα ανάπτυξη

Διαβάστε περισσότερα

Μέρος II. Στατιστική Συμπερασματολογία (Inferential Statistics)

Μέρος II. Στατιστική Συμπερασματολογία (Inferential Statistics) Μέρος II. Στατιστική Συμπερασματολογία (Inferential Statistics) Τυχαίο δείγμα και στατιστική συνάρτηση Χ={x 1, x,, x n } τυχαίο δείγμα μεγέθους n προερχόμενο από μια (παραμετρική) κατανομή με σ.π.π. f(x;θ).

Διαβάστε περισσότερα

ΕΛΕΓΧΟΣ ΠΑΡΑΓΩΓΙΚΩΝ ΔΙΕΡΓΑΣΙΩΝ

ΕΛΕΓΧΟΣ ΠΑΡΑΓΩΓΙΚΩΝ ΔΙΕΡΓΑΣΙΩΝ ΕΛΛΗΝΙΚΗ ΔΗΜΟΚΡΑΤΙΑ Ανώτατο Εκπαιδευτικό Ίδρυμα Πειραιά Τεχνολογικού Τομέα ΕΛΕΓΧΟΣ ΠΑΡΑΓΩΓΙΚΩΝ ΔΙΕΡΓΑΣΙΩΝ Ενότητα: Αναγνώριση Διεργασίας - Προσαρμοστικός Έλεγχος (Process Identification) Αλαφοδήμος Κωνσταντίνος

Διαβάστε περισσότερα

HMY 795: Αναγνώριση Προτύπων. Διαλέξεις 13-14

HMY 795: Αναγνώριση Προτύπων. Διαλέξεις 13-14 HMY 795: Αναγνώριση Προτύπων Διαλέξεις 13-14 Γραμμικές διαχωριστικές συναρτήσεις(συνέχεια) Επιλογή μοντέλου Δεδομένα επικύρωσης Κανονικοποίηση Bayes Model evidence(τεκμήριο): Η πιθανότητα να παρατηρήσουμε

Διαβάστε περισσότερα

Πανεπιστήμιο Πατρών Τμήμα Ηλεκτρολόγων Μηχανικών και Τεχνολογίας Υπολογιστών. Διάλεξη 4

Πανεπιστήμιο Πατρών Τμήμα Ηλεκτρολόγων Μηχανικών και Τεχνολογίας Υπολογιστών. Διάλεξη 4 Πανεπιστήμιο Πατρών Τμήμα Ηλεκτρολόγων Μηχανικών και Τεχνολογίας Υπολογιστών Τομέας Συστημάτων και Αυτομάτου Ελέγχου ΠΡΟΣΑΡΜΟΣΤΙΚΟΣ ΕΛΕΓΧΟΣ Διάλεξη 4 Πάτρα 2008 Ντετερμινιστικά Moving Average Μοντέλα Ισχύει:

Διαβάστε περισσότερα

ΠΟΣΟΤΙΚΕΣ ΜΕΘΟΔΟΙ ΙI (ΣΤΑΤΙΣΤΙΚΗ ΓΙΑ ΤΗ ΔΙΟΙΚΗΣΗ ΤΩΝ ΕΠΙΧΕΙΡΗΣΕΩΝ) (ΟΔΕ 2116)

ΠΟΣΟΤΙΚΕΣ ΜΕΘΟΔΟΙ ΙI (ΣΤΑΤΙΣΤΙΚΗ ΓΙΑ ΤΗ ΔΙΟΙΚΗΣΗ ΤΩΝ ΕΠΙΧΕΙΡΗΣΕΩΝ) (ΟΔΕ 2116) Σελίδα 1 ΟΙΚΟΝΟΜΙΚΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΑΘΗΝΩΝ ΤΜΗΜΑ ΟΡΓΑΝΩΣΗΣ ΚΑΙ ΔΙΟΙΚΗΣΗΣ ΕΠΙΧΕΙΡΗΣΕΩΝ ΜΑΘΗΜΑ: ΠΟΣΟΤΙΚΕΣ ΜΕΘΟΔΟΙ ΙΙ (ΣΤΑΤΙΣΤΙΚΗ ΓΙΑ ΤΗ ΔΙΟΙΚΗΣΗ ΤΩΝ ΕΠΙΧΕΙΡΗΣΕΩΝ) (ΟΔΕ 2116) ΠΑΝΕΠΙΣΤΗΜΙΑΚΟΣ ΥΠΟΤΡΟΦΟΣ ΠΑΝΑΓΙΩΤΗΣ

Διαβάστε περισσότερα

Πανεπιστήμιο Πατρών Τμήμα Ηλεκτρολόγων Μηχανικών και Τεχνολογίας Υπολογιστών. Διάλεξη 2

Πανεπιστήμιο Πατρών Τμήμα Ηλεκτρολόγων Μηχανικών και Τεχνολογίας Υπολογιστών. Διάλεξη 2 Πανεπιστήμιο Πατρών Τμήμα Ηλεκτρολόγων Μηχανικών και Τεχνολογίας Υπολογιστών Τομέας Συστημάτων και Αυτομάτου Ελέγχου ΠΡΟΣΑΡΜΟΣΤΙΚΟΣ ΕΛΕΓΧΟΣ Διάλεξη 2 Πάτρα 2008 Εμπειρικός προσδιορισμός συνάρτησης μεταφοράς

Διαβάστε περισσότερα

Βέλτιστη παρεμβολή και πρόγνωση άγνωστης συνάρτησης με τη μέθοδο της σημειακής προσαρμογής

Βέλτιστη παρεμβολή και πρόγνωση άγνωστης συνάρτησης με τη μέθοδο της σημειακής προσαρμογής Ειδικά Θέματα Συνορθώσεων & Εφαρμογές 8 ο εξάμηνο, Ακαδημαϊκό έτος 2016-2017 Βέλτιστη παρεμβολή και πρόγνωση άγνωστης συνάρτησης με τη μέθοδο της σημειακής προσαρμογής (Least squares collocation) Χριστόφορος

Διαβάστε περισσότερα

Πολλαπλή παλινδρόμηση (Multivariate regression)

Πολλαπλή παλινδρόμηση (Multivariate regression) ΜΑΘΗΜΑ 3 ο 1 Πολλαπλή παλινδρόμηση (Multivariate regression) Η συμπεριφορά των περισσότερων οικονομικών μεταβλητών είναι συνάρτηση όχι μιας αλλά πολλών μεταβλητών Υ = f ( X 1, X 2,... X n ) δηλαδή η Υ

Διαβάστε περισσότερα

ΚΑΤΑΝΟΜΗ ΠΥΚΝΟΤΗΤΑΣ ΠΙΘΑΝΟΤΗΤΑΣ

ΚΑΤΑΝΟΜΗ ΠΥΚΝΟΤΗΤΑΣ ΠΙΘΑΝΟΤΗΤΑΣ ΚΑΤΑΝΟΜΗ ΠΥΚΝΟΤΗΤΑΣ ΠΙΘΑΝΟΤΗΤΑΣ Σε αντίθεση με την διακριτή τυχαία μεταβλητή, μία συνεχής τυχαία μεταβλητή παίρνει μη-αριθμήσιμο (συνεχές) πλήθος τιμών. Δεν μπορούμε να καταγράψουμε το σύνολο των τιμών

Διαβάστε περισσότερα

Τεχνητή Νοημοσύνη. 18η διάλεξη ( ) Ίων Ανδρουτσόπουλος.

Τεχνητή Νοημοσύνη. 18η διάλεξη ( ) Ίων Ανδρουτσόπουλος. Τεχνητή Νοημοσύνη 18η διάλεξη (2016-17) Ίων Ανδρουτσόπουλος http://www.aueb.gr/users/ion/ 1 Οι διαφάνειες αυτής της διάλεξης βασίζονται: στο βιβλίο Machine Learning του T. Mitchell, McGraw- Hill, 1997,

Διαβάστε περισσότερα

Τοπογραφικά Δίκτυα & Υπολογισμοί

Τοπογραφικά Δίκτυα & Υπολογισμοί ΑΡΙΣΤΟΤΕΛΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΟΝΙΚΗΣ ΑΝΟΙΧΤΑ ΑΚΑΔΗΜΑΙΚΑ ΜΑΘΗΜΑΤΑ Τοπογραφικά Δίκτυα & Υπολογισμοί Ενότητα 2: Ανασκόπηση θεωρίας εκτίμησης παραμέτρων και συνόρθωσης παρατηρήσεων Χριστόφορος Κωτσάκης Άδειες

Διαβάστε περισσότερα

Συστήματα Αυτομάτου Ελέγχου ΙΙ. Άσκηση. γραμμάτων του επιθέτου σας (π.χ. για το επίθετο Κοσματόπουλος, οι αριθμοί α ι θα είναι a

Συστήματα Αυτομάτου Ελέγχου ΙΙ. Άσκηση. γραμμάτων του επιθέτου σας (π.χ. για το επίθετο Κοσματόπουλος, οι αριθμοί α ι θα είναι a Συστήματα Αυτομάτου Ελέγχου ΙΙ Άσκηση Θεωρείστε το σύστημα με συνάρτηση μεταφοράς: Y ( s) a s 4 3 a3s a U ( s) s a όπου οι αριθμοί α ι αντιστοιχούν στους αντίστοιχους αριθμούς των 4 πρώτων γραμμάτων του

Διαβάστε περισσότερα

ΛΥΣΕΙΣ ΘΕΜΑΤΩΝ ΣΤΑΤΙΣΤΙΚΗ Ι ΜΕΡΟΣ Α (Σ. ΧΑΤΖΗΣΠΥΡΟΣ) . Δείξτε ότι η στατιστική συνάρτηση T = X( n)

ΛΥΣΕΙΣ ΘΕΜΑΤΩΝ ΣΤΑΤΙΣΤΙΚΗ Ι ΜΕΡΟΣ Α (Σ. ΧΑΤΖΗΣΠΥΡΟΣ) . Δείξτε ότι η στατιστική συνάρτηση T = X( n) ΛΥΣΕΙΣ ΘΕΜΑΤΩΝ ΣΤΑΤΙΣΤΙΚΗ Ι ΜΕΡΟΣ Α (Σ. ΧΑΤΖΗΣΠΥΡΟΣ) Θέμα ο (Παρ..3.4, Παρ..4.3, Παρ..4.8.) Εάν = ( ) τυχαίο δείγμα από την ομοιόμορφη ( 0, ) X X,, X. Δείξτε ότι η στατιστική συνάρτηση T = X = το δειγματικό

Διαβάστε περισσότερα

ΤΟΠΟΓΡΑΦΙΚΑ ΔΙΚΤΥΑ ΚΑΙ ΥΠΟΛΟΓΙΣΜΟΙ ΑΝΑΣΚΟΠΗΣΗ ΘΕΩΡΙΑΣ ΣΥΝΟΡΘΩΣΕΩΝ

ΤΟΠΟΓΡΑΦΙΚΑ ΔΙΚΤΥΑ ΚΑΙ ΥΠΟΛΟΓΙΣΜΟΙ ΑΝΑΣΚΟΠΗΣΗ ΘΕΩΡΙΑΣ ΣΥΝΟΡΘΩΣΕΩΝ ΤΟΠΟΓΡΑΦΙΚΑ ΔΙΚΤΥΑ ΚΑΙ ΥΠΟΛΟΓΙΣΜΟΙ ΑΝΑΣΚΟΠΗΣΗ ΘΕΩΡΙΑΣ ΣΥΝΟΡΘΩΣΕΩΝ Βασίλης Δ. Ανδριτσάνος Δρ. Αγρονόμος - Τοπογράφος Μηχανικός ΑΠΘ Επίκουρος Καθηγητής ΤΕΙ Αθήνας 3ο εξάμηνο http://eclass.teiath.gr Παρουσιάσεις,

Διαβάστε περισσότερα

Αναγνώριση Προτύπων. Baysian Θεωρία Αποφάσεων ΕΠΙΣΚΟΠΗΣΗ-ΑΣΚΗΣΕΙΣ

Αναγνώριση Προτύπων. Baysian Θεωρία Αποφάσεων ΕΠΙΣΚΟΠΗΣΗ-ΑΣΚΗΣΕΙΣ Αναγνώριση Προτύπων Baysian Θεωρία Αποφάσεων ΕΠΙΣΚΟΠΗΣΗ-ΑΣΚΗΣΕΙΣ Χριστόδουλος Χαμζάς Τα περιεχόμενο της παρουσίασης βασίζεται στο βιβλίο: Introduction to Pattern Recognition A Matlab Approach, S. Theodoridis,

Διαβάστε περισσότερα

Περιεχόμενα της Ενότητας. Συνεχείς Τυχαίες Μεταβλητές. Συνεχείς Κατανομές Πιθανότητας. Συνεχείς Κατανομές Πιθανότητας.

Περιεχόμενα της Ενότητας. Συνεχείς Τυχαίες Μεταβλητές. Συνεχείς Κατανομές Πιθανότητας. Συνεχείς Κατανομές Πιθανότητας. Περιεχόμενα της Ενότητας Στατιστική Ι Ενότητα 5: Συνεχείς Κατανομές Πιθανότητας Δρ. Χρήστος Εμμανουηλίδης Επίκουρος Καθηγητής Αριστοτέλειο Πανεπιστήμιο Θεσσαλονίκης. Συνεχείς Τυχαίες Μεταβλητές. Συνεχείς

Διαβάστε περισσότερα

Εισαγωγή στις Τηλεπικοινωνίες. Δομή της παρουσίασης

Εισαγωγή στις Τηλεπικοινωνίες. Δομή της παρουσίασης 1 Oct 16 ΠΑΝΕΠΙΣΤΗΜΙΟ ΠΕΙΡΑΙΩΣ ΣΧΟΛΗ ΤΕΧΝΟΛΟΓΙΩΝ ΠΛΗΡΟΦΟΡΙΚΗΣ & ΕΠΙΚΟΙΝΩΝΙΩΝ ΤΜΗΜΑ ΨΗΦΙΑΚΩΝ ΣΥΣΤΗΜΑΤΩΝ ΕΡΓΑΣΤΗΡΙΟ ΤΗΛΕΠΙΚΟΙΝΩΝΙΑΚΩΝ ΣΥΣΤΗΜΑΤΩΝ Εισαγωγή στις Τηλεπικοινωνίες Διάλεξη 4 η Γεωμετρική Αναπαράσταση

Διαβάστε περισσότερα

(1) L{a 1 x 1 + a 2 x 2 } = a 1 L{x 1 } + a 2 L{x 2 } (2) x(t) = δ(t t ) x(t ) dt x[i] = δ[i i ] x[i ] (3) h[i, i ] x[i ] (4)

(1) L{a 1 x 1 + a 2 x 2 } = a 1 L{x 1 } + a 2 L{x 2 } (2) x(t) = δ(t t ) x(t ) dt x[i] = δ[i i ] x[i ] (3) h[i, i ] x[i ] (4) Πανεπιστήμιο Θεσσαλίας ΗΥ240: Θεωρία Σημάτων και Συστημάτων Γραμμικά χρονικά μεταβαλλόμενα συστήματα Συνάρτηση συστήματος Ένα σύστημα L απεικονίζει κάθε σήμα εισόδου x σε ένα σήμα εξόδου y, δηλ., συνεχής

Διαβάστε περισσότερα

Άσκηση 2: Y=BX+C. Λύση:

Άσκηση 2: Y=BX+C. Λύση: Άσκηση 2: Η τιμή ενός σήματος x(t) για τη χρονική στιγμή t=t θεωρείται ότι είναι τυχαία μεταβλητή Χ=x(t ) με κανονική κατανομή 0,. Να υπολογιστεί η πιθανότητα της τυχαίας μεταβλητής Y=y(t ) να έχει τιμή

Διαβάστε περισσότερα

Πανεπιστήμιο Πατρών Τμήμα Ηλεκτρολόγων Μηχανικών και Τεχνολογίας Υπολογιστών. Διάλεξη 11

Πανεπιστήμιο Πατρών Τμήμα Ηλεκτρολόγων Μηχανικών και Τεχνολογίας Υπολογιστών. Διάλεξη 11 Πανεπιστήμιο Πατρών Τμήμα Ηλεκτρολόγων Μηχανικών και Τεχνολογίας Υπολογιστών Τομέας Συστημάτων και Αυτομάτου Ελέγχου ΠΡΟΣΑΡΜΟΣΤΙΚΟΣ ΕΛΕΓΧΟΣ Διάλεξη 11 Πάτρα 2008 Προσαρμοστικός LQ έλεγχος για μη ελαχίστης

Διαβάστε περισσότερα

ΕΙΣΑΓΩΓΗ ΣΤΗ ΣΤΑΤΙΣΤΙΚΗ

ΕΙΣΑΓΩΓΗ ΣΤΗ ΣΤΑΤΙΣΤΙΚΗ ΕΙΣΑΓΩΓΗ ΣΤΗ ΣΤΑΤΙΣΤΙΚΗ Μ.Ν. Ντυκέν, Πανεπιστήμιο Θεσσαλίας Τ.Μ.Χ.Π.Π.Α. Ε. Αναστασίου, Πανεπιστήμιο Θεσσαλίας Τ.Μ.Χ.Π.Π.Α. ΔΙΑΛΕΞΗ 07 & ΔΙΑΛΕΞΗ 08 ΣΗΜΠΕΡΑΣΜΑΤΙΚΗ ΣΤΑΤΙΣΤΙΚΗ Βόλος, 016-017 ΕΙΣΑΓΩΓΗ ΣΤΗΝ

Διαβάστε περισσότερα

ΠΕΡΙΕΧΟΜΕΝΑ ΜΕΡΟΣ ΠΡΩΤΟ ΠΙΘΑΝΟΤΗΤΕΣ 13 ΚΕΦΑΛΑΙΟ 1 ΕΙΣΑΓΩΓΗ 15 ΚΕΦΑΛΑΙΟ 2 ΒΑΣΙΚΕΣ ΕΝΝΟΙΕΣ ΠΙΘΑΝΟΤΗΤΑΣ 19

ΠΕΡΙΕΧΟΜΕΝΑ ΜΕΡΟΣ ΠΡΩΤΟ ΠΙΘΑΝΟΤΗΤΕΣ 13 ΚΕΦΑΛΑΙΟ 1 ΕΙΣΑΓΩΓΗ 15 ΚΕΦΑΛΑΙΟ 2 ΒΑΣΙΚΕΣ ΕΝΝΟΙΕΣ ΠΙΘΑΝΟΤΗΤΑΣ 19 ΠΕΡΙΕΧΟΜΕΝΑ ΜΕΡΟΣ ΠΡΩΤΟ ΠΙΘΑΝΟΤΗΤΕΣ 13 ΚΕΦΑΛΑΙΟ 1 ΕΙΣΑΓΩΓΗ 15 ΚΕΦΑΛΑΙΟ 2 ΒΑΣΙΚΕΣ ΕΝΝΟΙΕΣ ΠΙΘΑΝΟΤΗΤΑΣ 19 2.1 Αβεβαιότητα, Τυχαία Διαδικασία, και Συναφείς Έννοιες 21 2.1.1 Αβεβαιότητα και Τυχαίο Πείραμα

Διαβάστε περισσότερα

ΜΑΘΗΜΑ 3ο. Υποδείγματα μιας εξίσωσης

ΜΑΘΗΜΑ 3ο. Υποδείγματα μιας εξίσωσης ΜΑΘΗΜΑ 3ο Υποδείγματα μιας εξίσωσης Οι βασικές υποθέσεις 1. Ο διαταρακτικός όρος u t είναι μια τυχαία μεταβλητή με μέσο το μηδέν. Eu t = 0 για t = 1,2,3..n 2. Η διακύμανση της τυχαίας μεταβλητής u t είναι

Διαβάστε περισσότερα

HY213. ΑΡΙΘΜΗΤΙΚΗ ΑΝΑΛΥΣΗ ΕΛΑΧΙΣΤΑ ΤΕΤΡΑΓΩΝΑ AΝΑΛΥΣΗ ΙΔΙΑΖΟΥΣΩΝ ΤΙΜΩΝ

HY213. ΑΡΙΘΜΗΤΙΚΗ ΑΝΑΛΥΣΗ ΕΛΑΧΙΣΤΑ ΤΕΤΡΑΓΩΝΑ AΝΑΛΥΣΗ ΙΔΙΑΖΟΥΣΩΝ ΤΙΜΩΝ HY3. ΑΡΙΘΜΗΤΙΚΗ ΑΝΑΛΥΣΗ ΕΛΑΧΙΣΤΑ ΤΕΤΡΑΓΩΝΑ AΝΑΛΥΣΗ ΙΔΙΑΖΟΥΣΩΝ ΤΙΜΩΝ Π. ΤΣΟΜΠΑΝΟΠΟΥΛΟΥ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΙΑΣ ΤΜΗΜΑ ΗΛΕΚΤΡΟΛΟΓΩΝ ΜΗΧΑΝΙΚΩΝ & ΜΗΧΑΝΙΚΩΝ ΥΠΟΛΟΓΙΣΤΩΝ Μέθοδος ελαχίστων τετραγώνων Τα σφάλματα

Διαβάστε περισσότερα

ΕΚΤΙΜΗΣΗ ΠΟΣΟΣΤΙΑΙΩΝ ΣΗΜΕΙΩΝ ΓΙΑ ΕΠΙΛΕΓΜΕΝΟ ΕΚΘΕΤΙΚΟ ΠΛΗΘΥΣΜΟ ΑΠΟ k ΠΛΗΘΥΣΜΟΥΣ

ΕΚΤΙΜΗΣΗ ΠΟΣΟΣΤΙΑΙΩΝ ΣΗΜΕΙΩΝ ΓΙΑ ΕΠΙΛΕΓΜΕΝΟ ΕΚΘΕΤΙΚΟ ΠΛΗΘΥΣΜΟ ΑΠΟ k ΠΛΗΘΥΣΜΟΥΣ ΚΩΝΣΤΑΝΤΙΝΟΣ Γ. ΑΓΓΕΛΟΥ ΕΚΤΙΜΗΣΗ ΠΟΣΟΣΤΙΑΙΩΝ ΣΗΜΕΙΩΝ ΓΙΑ ΕΠΙΛΕΓΜΕΝΟ ΕΚΘΕΤΙΚΟ ΠΛΗΘΥΣΜΟ ΑΠΟ k ΠΛΗΘΥΣΜΟΥΣ ΜΕΤΑΠΤΥΧΙΑΚΗ ΔΙΑΤΡΙΒΗ ΣΧΟΛΗ ΘΕΤΙΚΩΝ ΕΠΙΣΤΗΜΩΝ ΔΙΑΤΜΗΜΑΤΙΚΟ ΠΡΟΓΡΑΜΜΑ ΜΕΤΑΠΤΥΧΙΑΚΩΝ ΣΠΟΥΔΩΝ «ΜΑΘΗΜΑΤΙΚΑ

Διαβάστε περισσότερα

HMY 795: Αναγνώριση Προτύπων

HMY 795: Αναγνώριση Προτύπων HMY 795: Αναγνώριση Προτύπων Διαλέξεις 5 6 Principal component analysis EM for Gaussian mixtures: μ k, Σ k, π k. Ορίζουμε το διάνυσμα z (διάσταση Κ) ώστε K p( x θ) = π ( x μ, Σ ) k = k k k Eκ των υστέρων

Διαβάστε περισσότερα

Κεφάλαιο 1. Εισαγωγή: Βασικά Στοιχεία Θεωρίας Πιθανοτήτων και Εκτιμητικής

Κεφάλαιο 1. Εισαγωγή: Βασικά Στοιχεία Θεωρίας Πιθανοτήτων και Εκτιμητικής Κεφάλαιο 1. Εισαγωγή: Βασικά και Εκτιμητικής Ορισμός 1.1. Όλα τα δυνατά αποτελέσματα ενός πειράματος αποτελούν το δειγματοχώρο (sample space) που συμβολίζεται με. Κάθε δυνατό αποτέλεσμα του πειράματος,

Διαβάστε περισσότερα

ΑΝΑΛΥΣΗ ΔΙΑΚΥΜΑΝΣΗΣ. Επικ. Καθ. Στέλιος Ζήμερας. Τμήμα Μαθηματικών Κατεύθυνση Στατιστικής και Αναλογιστικά Χρηματοοικονομικά Μαθηματικά

ΑΝΑΛΥΣΗ ΔΙΑΚΥΜΑΝΣΗΣ. Επικ. Καθ. Στέλιος Ζήμερας. Τμήμα Μαθηματικών Κατεύθυνση Στατιστικής και Αναλογιστικά Χρηματοοικονομικά Μαθηματικά ΑΝΑΛΥΣΗ ΔΙΑΚΥΜΑΝΣΗΣ Επικ Καθ Στέλιος Ζήμερας Τμήμα Μαθηματικών Κατεύθυνση Στατιστικής και Αναλογιστικά Χρηματοοικονομικά Μαθηματικά 5 Έστω για την σύγκριση δειγμάτων συλλέγουμε παρατηρήσεις Υ =,,, από

Διαβάστε περισσότερα

HMY 795: Αναγνώριση Προτύπων

HMY 795: Αναγνώριση Προτύπων HMY 795: Αναγνώριση Προτύπων Διαλέξεις 15 16 Λογιστική παλινδρόμηση (Logistic regression) Νευρωνικά Δίκτυα (Neural Networks) g ( x) = w x+ w T k k k0 1 ( T T WLS = X X) X T= X T Γραμμικές διαχωριστικές

Διαβάστε περισσότερα

- ΟΡΙΟ - ΣΥΝΕΧΕΙΑ ΣΥΝΑΡΤΗΣΗΣ ΕΝΟΤΗΤΑ 6: ΜΗ ΠΕΠΕΡΑΣΜΕΝΟ ΟΡΙΟ ΣΤΟ

- ΟΡΙΟ - ΣΥΝΕΧΕΙΑ ΣΥΝΑΡΤΗΣΗΣ ΕΝΟΤΗΤΑ 6: ΜΗ ΠΕΠΕΡΑΣΜΕΝΟ ΟΡΙΟ ΣΤΟ ΚΕΦΑΛΑΙΟ ο: ΣΥΝΑΡΤΗΣΕΙΣ - ΟΡΙΟ - ΣΥΝΕΧΕΙΑ ΣΥΝΑΡΤΗΣΗΣ ΕΝΟΤΗΤΑ 6: ΜΗ ΠΕΠΕΡΑΣΜΕΝΟ ΟΡΙΟ ΣΤΟ R - ΟΡΙΟ ΣΥΝΑΡΤΗΣΗΣ ΣΤΟ ΑΠΕΙΡΟ - ΠΕΠΕΡΑΣΜΕΝΟ ΟΡΙΟ ΑΚΟΛΟΥΘΙΑΣ [Κεφ..6: Μη Πεπερασμένο Όριο στο R - Κεφ..7: Όρια Συνάρτησης

Διαβάστε περισσότερα

ΒΑΣΙΚΕΣ ΕΝΝΟΙΕΣ ΚΑΙ ΜΑΘΗΜΑΤΙΚΗ ΔΙΑΤΥΠΩΣΗ, Διαλ. 2. Ανωτάτη Σχολή Παιδαγωγικής και Τεχνολογικής Εκπαίδευσης 8/4/2017

ΒΑΣΙΚΕΣ ΕΝΝΟΙΕΣ ΚΑΙ ΜΑΘΗΜΑΤΙΚΗ ΔΙΑΤΥΠΩΣΗ, Διαλ. 2. Ανωτάτη Σχολή Παιδαγωγικής και Τεχνολογικής Εκπαίδευσης 8/4/2017 ΒΑΣΙΚΕΣ ΕΝΝΟΙΕΣ ΚΑΙ ΜΑΘΗΜΑΤΙΚΗ ΔΙΑΤΥΠΩΣΗ, Διαλ. 2 Ανωτάτη Σχολή Παιδαγωγικής και Τεχνολογικής Εκπαίδευσης 8/4/2017 Αντικειμενικοί στόχοι Η μελέτη των βασικών στοιχείων που συνθέτουν ένα πρόβλημα βελτιστοποίησης

Διαβάστε περισσότερα

ΓΡΑΜΜΙΚΗ ΠΑΛΙΝ ΡΟΜΗΣΗ

ΓΡΑΜΜΙΚΗ ΠΑΛΙΝ ΡΟΜΗΣΗ ΓΡΑΜΜΙΚΗ ΠΑΛΙΝ ΡΟΜΗΣΗ ιαφάνειες για το µάθηµα Information Management ΑθανάσιοςΝ. Σταµούλης 1 ΠΗΓΗ Κονδύλης Ε. (1999) Στατιστικές τεχνικές διοίκησης επιχειρήσεων, Interbooks 2 1 Γραµµική παλινδρόµηση Είναι

Διαβάστε περισσότερα

Κεφάλαιο 8 Συνεχείς Κατανομές Πιθανοτήτων

Κεφάλαιο 8 Συνεχείς Κατανομές Πιθανοτήτων Κεφάλαιο 8 Συνεχείς Κατανομές Πιθανοτήτων Copyright 2009 Cengage Learning 8.1 Συναρτήσεις Πυκνότητας Πιθανοτήτων Αντίθετα με τη διακριτή τυχαία μεταβλητή που μελετήσαμε στο Κεφάλαιο 7, μια συνεχής τυχαία

Διαβάστε περισσότερα

Μέθοδος αιχμηρής εκτίμησης σε ασταθή γραμμικά μοντέλα

Μέθοδος αιχμηρής εκτίμησης σε ασταθή γραμμικά μοντέλα Ειδικά Θέματα Συνορθώσεων & Εφαρμογές 8 ο εξάμηνο, Ακαδημαϊκό έτος 216-217 Μέθοδος αιχμηρής εκτίμησης σε ασταθή γραμμικά μοντέλα (Ridge regression) Χριστόφορος Κωτσάκης Τμήμα Αγρονόμων Τοπογράφων Μηχανικών

Διαβάστε περισσότερα

ΠΡΟΒΛΗΜΑ ΣΥΓΓΡΑΜΜΙΚΟΤΗΤΑΣ

ΠΡΟΒΛΗΜΑ ΣΥΓΓΡΑΜΜΙΚΟΤΗΤΑΣ ΠΡΟΒΛΗΜΑ ΣΥΓΓΡΑΜΜΙΚΟΤΗΤΑΣ Η συγγραμμικότητα (collinearity) ή πολυσυγγραμμικότητα (multicollinearity) είναι εκείνη η ανεπιθύμητη κατάσταση (εμφανίζεται στην πολυμεταβλητή παλινδρόμηση) όπου μία ανεξάρτητη

Διαβάστε περισσότερα

Εφαρμοσμένη Στατιστική: Συντελεστής συσχέτισης. Παλινδρόμηση απλή γραμμική, πολλαπλή γραμμική

Εφαρμοσμένη Στατιστική: Συντελεστής συσχέτισης. Παλινδρόμηση απλή γραμμική, πολλαπλή γραμμική ΕΦΑΡΜΟΣΜΕΝΗ ΣΤΑΤΙΣΤΙΚΗ ΑΝΑΛΥΣΗ ΜΕΡΟΣ B Δημήτρης Κουγιουμτζής e-mal: dkugu@auth.gr Ιστοσελίδα αυτού του τμήματος του μαθήματος: http://uer.auth.gr/~dkugu/teach/cvltraport/dex.html Εφαρμοσμένη Στατιστική:

Διαβάστε περισσότερα

Στοχαστικά Σήματα και Τηλεπικοινωνιές

Στοχαστικά Σήματα και Τηλεπικοινωνιές Στοχαστικά Σήματα και Τηλεπικοινωνιές Ενότητα 7: Βέλτιστο Φίλτρο Wiener και Γραμμικά Περιορισμένο Φίλτρο Ελάχιστης Διασποράς Εφαρμογή στις Έξυπνες Κεραίες Καθηγητής Κώστας Μπερμπερίδης Πολυτεχνική Σχολή

Διαβάστε περισσότερα

Αναγνώριση Προτύπων Ι

Αναγνώριση Προτύπων Ι Αναγνώριση Προτύπων Ι Ενότητα 1: Μέθοδοι Αναγνώρισης Προτύπων Αν. Καθηγητής Δερματάς Ευάγγελος Τμήμα Ηλεκτρολόγων Μηχανικών και Τεχνολογίας Υπολογιστών Άδειες Χρήσης Το παρόν εκπαιδευτικό υλικό υπόκειται

Διαβάστε περισσότερα

ΕΛΛΗΝΙΚΟ ΑΝΟΙΚΤΟ ΠΑΝΕΠΙΣΤΗΜΙΟ

ΕΛΛΗΝΙΚΟ ΑΝΟΙΚΤΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΕΛΛΗΝΙΚΟ ΑΝΟΙΚΤΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΠΡΟΓΡΑΜΜΑ ΣΠΟΥΔΩΝ ΣΤΗΝ ΠΛΗΡΟΦΟΡΙΚΗ ΜΑΘΗΜΑΤΙΚΑ ΓΙΑ ΤΗΝ ΠΛΗΡΟΦΟΡΙΚΗ Ι (ΘΕ ΠΛΗ ) ΑΠΑΝΤΗΣΕΙΣ ΘΕΜΑΤΩΝ ΤΕΛΙΚΗΣ ΕΞΕΤΑΣΗΣ 9 Ιουνίου (διάρκεια ώρες και λ) Διαβάστε προσεκτικά και απαντήστε

Διαβάστε περισσότερα

7. ΕΠΕΞΕΡΓΑΣΊΑ ΣΗΜΆΤΩΝ

7. ΕΠΕΞΕΡΓΑΣΊΑ ΣΗΜΆΤΩΝ 7. ΕΠΕΞΕΡΓΑΣΊΑ ΣΗΜΆΤΩΝ 1 Principal & Independent Component Analysis (PCA, ICA) PRINCIPAL COMPONENT ANALYSIS (PCA) Principal Component Analysis (PCA): ορθογώνιος μετασχηματισμός κατά τον οποίο αφαιρείται

Διαβάστε περισσότερα

ΓΡΑΜΜΙΚΗ ΑΛΓΕΒΡΑ (Εξ. Ιουνίου - 02/07/08) ΕΠΙΛΕΓΜΕΝΕΣ ΑΠΑΝΤΗΣΕΙΣ

ΓΡΑΜΜΙΚΗ ΑΛΓΕΒΡΑ (Εξ. Ιουνίου - 02/07/08) ΕΠΙΛΕΓΜΕΝΕΣ ΑΠΑΝΤΗΣΕΙΣ Ονοματεπώνυμο:......... Α.Μ....... Ετος... ΑΙΘΟΥΣΑ:....... I. (περί τις 55μ. = ++5++. Σωστό ή Λάθος: ΓΡΑΜΜΙΚΗ ΑΛΓΕΒΡΑ (Εξ. Ιουνίου - //8 ΕΠΙΛΕΓΜΕΝΕΣ ΑΠΑΝΤΗΣΕΙΣ (αʹ Αν AB = BA όπου A, B τετραγωνικά και

Διαβάστε περισσότερα

ΘΕΩΡΙΑ ΟΙΚΟΝΟΜΕΤΡΙΑΣ ΣΥΝΟΠΤΙΚΕΣ ΣΗΜΕΙΩΣΕΙΣ

ΘΕΩΡΙΑ ΟΙΚΟΝΟΜΕΤΡΙΑΣ ΣΥΝΟΠΤΙΚΕΣ ΣΗΜΕΙΩΣΕΙΣ ΘΕΩΡΙΑ ΟΙΚΟΝΟΜΕΤΡΙΑΣ ΣΥΝΟΠΤΙΚΕΣ ΣΗΜΕΙΩΣΕΙΣ ΑΠΛΟ ΓΡΑΜΜΙΚΟ ΥΠΟΔΕΙΓΜΑ Συντελεστής συσχέτισης (εκτιμητής Person: r, Y ( ( Y Y xy ( ( Y Y x y, όπου r, Y (ισχυρή θετική γραμμική συσχέτιση όταν, ισχυρή αρνητική

Διαβάστε περισσότερα

HMY 429: Εισαγωγή στην Επεξεργασία Ψηφιακών. στο χώρο της συχνότητας

HMY 429: Εισαγωγή στην Επεξεργασία Ψηφιακών. στο χώρο της συχνότητας HMY 49: Εισαγωγή στην Επεξεργασία Ψηφιακών Σημάτων Διάλεξη 3: Σήματα και Συστήματα διακριτού χρόνου Διάλεξη 3: Σήματα και Συστήματα διακριτού χρόνου στο χώρο της συχνότητας Μιγαδικά εκθετικά σήματα και

Διαβάστε περισσότερα

Θέμα 1. που. . Δηλαδή ο υπόχωρος V είναι το. Απάντηση 1α) ii)παρατηρούμε οτι

Θέμα 1. που. . Δηλαδή ο υπόχωρος V είναι το. Απάντηση 1α) ii)παρατηρούμε οτι Θέμα ΕΛΛΗΝΙΚΟ ΑΝΟΙΚΤΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΠΡΟΓΡΑΜΜΑ ΣΠΟΥΔΩΝ ΣΤΗΝ ΠΛΗΡΟΦΟΡΙΚΗ ΜΑΘΗΜΑΤΙΚΑ ΓΙΑ ΤΗΝ ΠΛΗΡΟΦΟΡΙΚΗ Ι (ΘΕ ΠΛΗ ) ΕΝΔΕΙΚΤΙΚΕΣ ΛΥΣΕΙΣ ΤΕΛΙΚΗΣ ΕΞΕΤΑΣΗΣ Ιουνίου (οποιεσδήποτε άλλες ορθές απαντήσεις είναι αποδεκτές)

Διαβάστε περισσότερα

HMY 429: Εισαγωγή στην Επεξεργασία Ψηφιακών

HMY 429: Εισαγωγή στην Επεξεργασία Ψηφιακών HMY 429: Εισαγωγή στην Επεξεργασία Ψηφιακών Σημάτων Διάλεξη 12: Δειγματοληψία και ανακατασκευή (IV) Παρεμβολή (Interpolation) Γενικά υπάρχουν πολλοί τρόποι παρεμβολής, π.χ. κυβική παρεμβολή (cubic spline

Διαβάστε περισσότερα

ΚΕΦΑΛΑΙΟ 2 ΑΝΑΣΚΟΠΗΣΗ ΑΠΑΡΑΙΤΗΤΩΝ ΓΝΩΣΕΩΝ: ΕΚΤΙΜΗΤΕΣ

ΚΕΦΑΛΑΙΟ 2 ΑΝΑΣΚΟΠΗΣΗ ΑΠΑΡΑΙΤΗΤΩΝ ΓΝΩΣΕΩΝ: ΕΚΤΙΜΗΤΕΣ ΚΕΦΑΛΑΙΟ ΑΝΑΣΚΟΠΗΣΗ ΑΠΑΡΑΙΤΗΤΩΝ ΓΝΩΣΕΩΝ: ΕΚΤΙΜΗΤΕΣ Ως γνωστό δείγμα είναι ένα σύνολο παρατηρήσεων από ένα πληθυσμό. Αν ο πληθυσμός αυτός θεωρηθεί μονοδιάστατος τότε μπορεί να εκφρασθεί με τη συνάρτηση

Διαβάστε περισσότερα

Ποσοτικές Μέθοδοι στη Διοίκηση Επιχειρήσεων ΙΙ Σύνολο- Περιεχόμενο Μαθήματος

Ποσοτικές Μέθοδοι στη Διοίκηση Επιχειρήσεων ΙΙ Σύνολο- Περιεχόμενο Μαθήματος Ποσοτικές Μέθοδοι στη Διοίκηση Επιχειρήσεων ΙΙ Σύνολο- Περιεχόμενο Μαθήματος Χιωτίδης Γεώργιος Τμήμα Λογιστικής και Χρηματοοικονομικής Άδειες Χρήσης Το παρόν εκπαιδευτικό υλικό υπόκειται σε άδειες χρήσης

Διαβάστε περισσότερα

Στοχαστικά Σήματα και Τηλεπικοινωνιές

Στοχαστικά Σήματα και Τηλεπικοινωνιές Στοχαστικά Σήματα και Τηλεπικοινωνιές Ενότητα 2: Ανασκόπηση Στοιχείων Γραμμικής Άλγεβρας Καθηγητής Κώστας Μπερμπερίδης Πολυτεχνική Σχολή Τμήμα Μηχανικών Η/Υ και Πληροφορικής Σκοποί ενότητας Παρουσίαση/υπενθύμιση

Διαβάστε περισσότερα