ΑΡΙΣΤΟΤΕΛΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΟΝΙΚΗΣ ΑΝΟΙΚΤΑ ΑΚΑΔΗΜΑΪΚΑ ΜΑΘΗΜΑΤΑ Θεωρία Πιθανοτήτων και Στατιστική Ενότητα 3: Συσχέτιση & Γραμμική Παλινδρόμηση Κουγιουμτζής Δημήτρης Τμήμα Ηλεκτρολόγων Μηχανικών & Μηχανικών Υπολογιστών
Άδειες Χρήσης Το παρόν εκπαιδευτικό υλικό υπόκειται σε άδειες χρήσης Creative Commons. Για εκπαιδευτικό υλικό, όπως εικόνες, που υπόκειται σε άλλου τύπου άδειας χρήσης, η άδεια χρήσης αναφέρεται ρητώς. Αριστοτέλειο Πανεπιστήμιο Θεσσαλονίκης Θεωρία Πιθανοτήτων και Στατιστική Τμήμα Ηλεκτρολόγων Μηχανικών & Μηχανικών Υπολογιστών 2
Χρηματοδότηση Το παρόν εκπαιδευτικό υλικό έχει αναπτυχθεί στα πλαίσια του εκπαιδευτικού έργου του διδάσκοντα. Το έργο «Ανοικτά Ακαδημαϊκά Μαθήματα στο Αριστοτέλειο Πανεπιστήμιο Θεσσαλονίκης» έχει χρηματοδοτήσει μόνο τη αναδιαμόρφωση του εκπαιδευτικού υλικού. Το έργο υλοποιείται στο πλαίσιο του Επιχειρησιακού Προγράμματος «Εκπαίδευση και Δια Βίου Μάθηση» και συγχρηματοδοτείται από την Ευρωπαϊκή Ένωση (Ευρωπαϊκό Κοινωνικό Ταμείο) και από εθνικούς πόρους. Αριστοτέλειο Πανεπιστήμιο Θεσσαλονίκης Θεωρία Πιθανοτήτων και Στατιστική Τμήμα Ηλεκτρολόγων Μηχανικών & Μηχανικών Υπολογιστών 3
ΑΡΙΣΤΟΤΕΛΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΟΝΙΚΗΣ Συσχέτιση & Γραμμική Παλινδρόμηση 4
Susqètish Susqètish O suntelest c susqètishc ρ Shmeiak ektðmhsh tou suntelest susqètishc DÔo t.m. X kai Y susqetðzontai: H mða ephreˆzei thn ˆllh Ephreˆzontai kai oi dôo apì kˆpoia ˆllh σ 2 X, σ2 Y : diasporˆ sundiasporˆ twn X kai Y : σ XY = Cov(X, Y ) = E(X, Y ) E(X )E(Y ), suntelest c susqètishc ρ ρ = σ XY σ X σ Y
Idiìthtec tou ρ Susqètish O suntelest c susqètishc ρ Shmeiak ektðmhsh tou suntelest susqètishc ρ [ 1, 1] ρ = 1: tèleia jetik susqètish ρ = 1: tèleia arnhtik susqètish ρ kontˆ sto 1 1 isqur susqètish ρ kontˆ sto 0 oi t.m. eðnai praktikˆ asusqètistec ρ den exartˆtai apì th monˆda mètrhshc twn X kai Y ρ eðnai summetrikìc wc proc tic X kai Y
Y Y Y Y Y Y Y Y Y Susqètish Diˆgramma diasporˆc O suntelest c susqètishc ρ Shmeiak ektðmhsh tou suntelest susqètishc DeÐgma twn X kai Y katˆ zeôgh: (x 1, y 1 ),..., (x n, y n ) 5 4 3 2 1 0 1 2 3 (α) ρ = 1 r = 1 4 2 1 0 1 2 3 X 5 4 3 2 1 0 1 2 3 (β) ρ = 0.97 r = 0.98 4 2 1 0 1 2 3 X 6 4 2 0 2 4 (γ) ρ = 0.8 r = 0.89 4 3 2 1 0 1 2 3 4 (δ) ρ = 1 r = 1 5 2 1 0 1 2 3 X 3 2 1 0 1 2 3 4 (ε) ρ = 0.97 r = 0.96 5 2 1 0 1 2 3 X 3 2 1 0 1 2 3 (ζ) ρ = 0.8 r = 0.62 2 1.5 1 0.5 0 0.5 1 1.5 10 (η) ρ = 0 r = 0.49 2 2 1 0 1 2 3 X 8 6 4 2 (θ) ρ = 0 r = 0.34 0 2 1 0 1 2 3 X 1.5 1 0.5 0 0.5 (ι) ρ,r = αoριστo 6 2 1 0 1 2 3 X 4 2 1 0 1 2 3 X 1 2 1 0 1 2 3 X
Susqètish Shmeiak ektðmhsh tou ρ O suntelest c susqètishc ρ Shmeiak ektðmhsh tou suntelest susqètishc EktÐmhsh diasporˆc s 2 X = 1 n 1 n i=1 EktÐmhsh sundiasporˆc s XY = 1 n 1 n i=1 (x i x) 2 = 1 n 1 (x i x)(y i ȳ) = 1 n 1 EktÐmhsh tou suntelest susqètishc ( n ) xi 2 n x 2 i=1 ( n ) x i y i n xȳ i=1 r = σ XY ρ = ˆρ r = s XY σ X σ Y s X s Y n i=1 x iy i n xȳ ( n i=1 x i 2 n x 2) ( n i=1 y i 2 nȳ 2)
Susqètish Shmeiak ektðmhsh tou ρ (sunèqeia) O suntelest c susqètishc ρ Shmeiak ektðmhsh tou suntelest susqètishc To r eðnai h shmeiak ektðmhsh tou ρ apì to deðgma kai lègetai suntelest c susqètishc Pearson MporoÔn na upologistoôn parametrikˆ diast mata empistosônhc gia to ρ. MporoÔn na gðnoun parametrikoð èlegqoi upìjeshc gia kˆpoia tim tou ρ. H pio shmantik upìjesh eðnai H 0 : ρ = 0. Suntelest c prosdiorismoô r 2 ( se posostˆ 100r 2 %) Dhl nei to posostì metablhtìthtac pou mporoôme na ermhneôsoume gia th mia t.m. ìtan gnwrðzoume thn ˆllh.
Parˆdeigma Susqètish O suntelest c susqètishc ρ Shmeiak ektðmhsh tou suntelest susqètishc Jèloume na ektim soume th susqètish thc antðstashc kai tou qrìnou apotuqðac kˆpoiou uperfortwmènou antistˆth DeÐgma 20 dokimðwn antistˆsewn A/A (i ) AntÐstash Qrìnoc apotuqðac x i (ohm) y i (min) 1 28 26 2 29 20 3 31 26 4 33 22 5 33 25 6 33 35 7 34 28 8 34 33 9 36 21 10 36 36 11 37 30 12 39 33 13 40 45 14 42 39 15 43 32 16 44 45 17 46 47 18 47 44 19 47 46 20 48 37
Susqètish O suntelest c susqètishc ρ Shmeiak ektðmhsh tou suntelest susqètishc χρoνoς απoτυχιας y (min) 50 45 40 35 30 25 r=0.8 20 25 30 35 40 45 50 αντισταση x (ohm) UpologÐzoume x = 38 ȳ = 33.5 20 i=1 x 2 i = 29634 20 i=1 y 2 i = 23910 20 i=1 x iy i = 26305 26305 20 38 33.5 r = (29634 20 38 2 ) (23910 20 33.5 2 ) =0.804 H antðstash kai o qrìnoc apotuqðac antistˆth èqoun grammik jetik susqètish allˆ ìqi isqur. To posostì metablhtìthtac thc antðstashc pou mporoôme na exhg soume gnwrðzontac ton qrìno apotuqðac antistˆth (kai antðstrofa) eðnai 0.646.
Susqètish To prìblhma thc grammik c palindrìmhshc Shmeiak ektðmhsh twn paramètrwn thc grammik c palindr susqètish: grammik sqèsh dôo t.m. X kai Y palindrìmhsh: exˆrthsh miac t.m. Y apì mia ˆllh metablht X Y : exarthmènh metablht (tuqaða) X : anexˆrthth metablht (kajorismènh) Parˆdeigma: diatmhtik antoq argðlou se diˆfora bˆjh X? Y?? Genikˆ jèloume na broôme F Y (y X = x) Periorizìmaste sth mèsh tim kai upojètoume grammik exˆrthsh E(Y X = x) = α + βx grammik palindrìmhsh thc Y sth X
Susqètish To prìblhma thc grammik c palindrìmhshc Shmeiak ektðmhsh twn paramètrwn thc grammik c palindr Parathr seic (x 1, y 1 ),..., (x n, y n ) α: stajerìc ìroc β: suntelest c tou x (klðsh eujeðac) H t.m. y i gia kˆpoia tim x i thc X eðnai y i = α + βx i + ɛ i ɛ i = y i E(Y X = x i ) sfˆlma palindrìmhshc Prìblhma palindrìmhshc: Poia eðnai h kalôterh eujeða? Poiec eðnai oi kalôterec ektim seic twn α, β?
Susqètish Sunj kec apl c grammik c palindrìmhshc To prìblhma thc grammik c palindrìmhshc Shmeiak ektðmhsh twn paramètrwn thc grammik c palindr H X eðnai elegqìmenh (kajorismènh) H exˆrthsh thc Y apì th X eðnai grammik E(ɛ i ) = 0 kai Var(ɛ i ) = σ 2 ɛ gia kˆje x i Var(y i X = x i ) = Var(α + βx i + ɛ i ) = Var(ɛ i ) Var(Y X = x) σ 2 Y X = σ2 ɛ σ 2 omoskedastikìthta: h diasporˆ thc Y de metabˆlletai me th X eteroskedastikìthta: h diasporˆ thc Y metabˆlletai me th X. 'Agnwstoi (parˆmetroi) palindrìmhshc: α, β, σ 2 [Συνήθως υποθέτουμε Y X = x N(α + βx, σ 2 ) ]
Susqètish To prìblhma thc grammik c palindrìmhshc Shmeiak ektðmhsh twn paramètrwn thc grammik c palindr EktÐmhsh twn paramètrwn thc eujeðac palindrìmhshc Mèjodoc elaqðstwn tetrag nwn: To ˆjroisma twn tetrag nwn twn katakìrufwn apostˆsewn twn shmeðwn apì thn eujeða eðnai to elˆqisto LÔsh: min α,β n i=1 (y i α βx i ) 2 α = 0 (y i α βx i ) 2 β = 0 ɛ 2 i min α,β Ektim seic twn β kai α eðnai b = s XY s 2 X eujeða elaqðstwn tetrag nwn: n (y i α βx i ) 2 i=1 n i=1 y i = nα + β n i=1 x i n i=1 x iy i = α n i=1 x i + β n i=1 x 2 i a = ȳ b x ŷ = a + bx
Susqètish EktÐmhsh thc diasporˆc twn sfalmˆtwn To prìblhma thc grammik c palindrìmhshc Shmeiak ektðmhsh twn paramètrwn thc grammik c palindr Gia kˆje x i : ŷ i = a + bx i e i = y i ŷ i : sfˆlma elaqðstwn tetrag nwn upìloipo e i : ektðmhsh tou sfˆlmatoc palindrìmhshc ɛ i H ektðmhsh thc diasporˆc σ 2 tou sfˆlmatoc s 2 = 1 n (y i ŷ i ) 2 n 2 i=1 jètontac ŷ i = a + bx i s 2 = n 1 n 2 ( ) sy 2 s2 XY sx 2 = n 1 n 2 (s2 Y b2 s 2 X )
Parathr seic Susqètish To prìblhma thc grammik c palindrìmhshc Shmeiak ektðmhsh twn paramètrwn thc grammik c palindr H eujeða elaqðstwn tetrag nwn pernˆei apì to shmeðo ( x, ȳ) : a + b x = ȳ b x + b x = ȳ 'Ara h eujeða elaqðstwn tetrag nwn mporeð epðshc na oristeð wc y i ȳ = b(x i x) H ektðmhsh twn α kai β me th mèjodo twn elaqðstwn tetrag nwn den proôpojètei (i) stajer diasporˆ thc Y gia kˆje x kai (ii) kanonik katanom thc Y gia kˆje x Gia kˆje tim x 0 thc X, h prìbleyh thc y 0 apì thn eujeða elaqðstwn tetrag nwn eðnai y 0 = a + bx 0 Prosoq : H tim x 0 prèpei na an kei sto eôroc twn gnwst n tim n thc X.
Parˆdeigma Susqètish To prìblhma thc grammik c palindrìmhshc Shmeiak ektðmhsh twn paramètrwn thc grammik c palindr Θέλουμε να μελετήσουμε σ ένα ολοκληρωμένο κύκλωμα την εξάρτηση της απολαβής ρεύματος κρυσταλλολυχνίας (τρανζίστορ) από την αντίσταση του στρώματος της κρυσταλλολυχνίας. Α/Α Αντίσταση στρώματος Απολαβή ρεύματος (i) x i (ohm/cm) y i 1 66 5.3 2 66 6.5 3 69 7.4 4 78 7.2 5 87 7.8 6 93 10.8 7 105 9.1 8 111 8.1 9 123 12.6 10 141 9.8
Susqètish To prìblhma thc grammik c palindrìmhshc Shmeiak ektðmhsh twn paramètrwn thc grammik c palindr 15 Exartˆtai h apolab reômatoc tranzðstor apì thn antðstash tou str matoc krustalloluqnðac? EÐnai h exˆrthsh grammik? απoλαβη ρευματoς y 10 5 50 100 150 αντισταση στρωματoς x (ohm/cm)
Susqètish Parˆdeigma (sunèqeia) To prìblhma thc grammik c palindrìmhshc Shmeiak ektðmhsh twn paramètrwn thc grammik c palindr UpologÐzoume x = 93.9 ȳ = 8.46 10 i=1 x i 2 = 94131 10 i=1 y i 2 = 757.64 10 i=1 x iy i = 8320.2 s XY = 41.81 sx 2 = 662.1 s2 Y = 4.66 Oi ektim seic b kai a b = s XY sx 2 = 41.81 662.1 = 0.063 a = ȳ b x = 8.46 0.063 93.9 = 2.53 H ektðmhsh thc diasporˆc twn sfalmˆtwn palindrìmhshc s 2 = n 1 n 2 (s2 Y b2 s 2 X ) = 9 8 (4.66 0.0632 41.81) = 5.056 EujeÐa elaqðstwn tetrag nwn: y = 2.53 + 0.063x me diasporˆ sfˆlmatoc s 2 = 5.056
Susqètish Parˆdeigma: ErmhneÐa twn apotelesmˆtwn To prìblhma thc grammik c palindrìmhshc Shmeiak ektðmhsh twn paramètrwn thc grammik c palindr b: AÔxhsh antðstashc str matoc katˆ mða monˆda mètrhshc (1 ohm/cm) apolab tou reômatoc thc krustalloluqnðac auxˆnetai katˆ 0.063. a: AntÐstash str matoc 0 apolab reômatoc 2.53 [αδύνατον] s 2 : Tupikì sfˆlma ektðmhshc thc palindrìmhshc eðnai 5.056 2.249 [σχετικά μεγάλο]
Susqètish Parˆdeigma: Prìbleyh To prìblhma thc grammik c palindrìmhshc Shmeiak ektðmhsh twn paramètrwn thc grammik c palindr Me bˆsh to montèlo palindrìmhshc mporoôme na problèyoume thn apolab reômatoc gia kˆje antðstash str matoc krustalloluqnðac sto diˆsthma [66, 141] ohm/cm: x 0 = 120 : y 0 = 2.53 + 0.063 120 = 10.11 me akrðbeia prìbleyhc (proseggistikˆ) 10.11 ± 2.249 15 απoλαβη ρευματoς y y 10 0 y = 2.53 + 0.063 x x 5 0 50 100 150 αντισταση στρωματoς x (ohm/cm)
Sqèsh r kai b Susqètish To prìblhma thc grammik c palindrìmhshc Shmeiak ektðmhsh twn paramètrwn thc grammik c palindr Gia to prìblhma thc palindrìmhshc, agnooôme ìti h X den eðnai t.m. kai orðzoume to suntelest susqètishc ρ. Sqèsh metaxô tou r kai tou b (r = s XY s X s Y kai b = s XY s 2 X ) r = b s X s Y b = r s Y s X r kai b ekfrˆzoun poiotikˆ th grammik susqètish twn X kai Y b exartˆtai apì th monˆda mètrhshc twn X kai Y r paðrnei timèc sto diˆsthma [ 1, 1] r > 0 b > 0 (r < 0 b < 0) r = 0 b = 0
Sqèsh r kai s 2 Susqètish To prìblhma thc grammik c palindrìmhshc Shmeiak ektðmhsh twn paramètrwn thc grammik c palindr Sqèsh tou r 2 kai thc diasporˆc tou sfˆlmatoc s 2 s 2 = n 1 n 2 s2 Y (1 r 2 ) r 2 = 1 n 2 n 1 s 2 sy 2 'Oso megalôtero eðnai to r 2 tìso mikrìtero eðnai to s 2 kai kalôterh h prìbleyh. Sunèqeia paradeðgmatoc: Suntelest c susqètishc: r = s XY s X s Y = 41.81 662.1 4.66 = 0.753 r = 0.753: asjen c jetik susqètish thc apolab c reômatoc kai antðstashc str matoc krustalloluqnðac
Σημείωμα Αναφοράς Copyright Αριστοτέλειο Πανεπιστήμιο Θεσσαλονίκης, Κουγιουμτζής Δημήτρης. «Θεωρία Πιθανοτήτων και Στατιστική. Συσχέτιση & Γραμμική Παλινδρόμηση». Έκδοση: 1.0. Θεσσαλονίκη 2014. Διαθέσιμο από τη δικτυακή διεύθυνση: http://eclass.auth.gr/courses/ocrs252/. Αριστοτέλειο Πανεπιστήμιο Θεσσαλονίκης Θεωρία Πιθανοτήτων και Στατιστική Τμήμα Ηλεκτρολόγων Μηχανικών & Μηχανικών Υπολογιστών
Σημείωμα Αδειοδότησης Το παρόν υλικό διατίθεται με τους όρους της άδειας χρήσης Creative Commons Αναφορά - Παρόμοια Διανομή [1] ή μεταγενέστερη, Διεθνής Έκδοση. Εξαιρούνται τα αυτοτελή έργα τρίτων π.χ. φωτογραφίες, διαγράμματα κ.λ.π., τα οποία εμπεριέχονται σε αυτό και τα οποία αναφέρονται μαζί με τους όρους χρήσης τους στο «Σημείωμα Χρήσης Έργων Τρίτων». Ο δικαιούχος μπορεί να παρέχει στον αδειοδόχο ξεχωριστή άδεια να χρησιμοποιεί το έργο για εμπορική χρήση, εφόσον αυτό του ζητηθεί. [1] http://creativecommons.org/licenses/by-sa/4.0/ Αριστοτέλειο Πανεπιστήμιο Θεσσαλονίκης Θεωρία Πιθανοτήτων και Στατιστική Τμήμα Ηλεκτρολόγων Μηχανικών & Μηχανικών Υπολογιστών
ΑΡΙΣΤΟΤΕΛΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΟΝΙΚΗΣ ΑΝΟΙΚΤΑ ΑΚΑΔΗΜΑΪΚΑ ΜΑΘΗΜΑΤΑ Τέλος ενότητας Επεξεργασία: Καρανάσιος Αναστάσιος Θεσσαλονίκη, Μάιος 2015
ΑΡΙΣΤΟΤΕΛΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΟΝΙΚΗΣ Σημειώματα
Σημείωμα Ιστορικού Εκδόσεων Έργου Το παρόν έργο αποτελεί την έκδοση 1.00. Αριστοτέλειο Πανεπιστήμιο Θεσσαλονίκης Θεωρία Πιθανοτήτων και Στατιστική Τμήμα Ηλεκτρολόγων Μηχανικών & Μηχανικών Υπολογιστών
Διατήρηση Σημειωμάτων Οποιαδήποτε αναπαραγωγή ή διασκευή του υλικού θα πρέπει να συμπεριλαμβάνει: το Σημείωμα Αναφοράς το Σημείωμα Αδειοδότησης τη δήλωση Διατήρησης Σημειωμάτων το Σημείωμα Χρήσης Έργων Τρίτων (εφόσον υπάρχει) μαζί με τους συνοδευόμενους υπερσυνδέσμους. Αριστοτέλειο Πανεπιστήμιο Θεσσαλονίκης Θεωρία Πιθανοτήτων και Στατιστική Τμήμα Ηλεκτρολόγων Μηχανικών & Μηχανικών Υπολογιστών