ΣΤΑΤΙΣΤΙΚΗ ΓΝΩΣΗΣ. Φαζμαηικη Αναλςζη Σςνδιαζποπαρ. Principal Components Analysis Singular Value Decomposition Iωαννηρ Ανηωνιος Φαπαλαμπορ Μππαηζαρ

Μέγεθος: px

Εμφάνιση ξεκινά από τη σελίδα:

Download "ΣΤΑΤΙΣΤΙΚΗ ΓΝΩΣΗΣ. Φαζμαηικη Αναλςζη Σςνδιαζποπαρ. Principal Components Analysis Singular Value Decomposition Iωαννηρ Ανηωνιος Φαπαλαμπορ Μππαηζαρ"

Ματθίας Λόντος
7 χρόνια πριν
Προβολές:

1 ΣΤΑΤΙΣΤΙΚΗ ΓΝΩΣΗΣ Φαζμαηικη Αναλςζη Σςνδιαζποπαρ Principal Components Analysis Singular Value Decomposition Iωαννηρ Ανηωνιος Φαπαλαμπορ Μππαηζαρ Mathematics Department Aristotle University 54124,Thessaloniki,Greece

2 Σσνδιαζπορα (Covariance) cov(x,y) = ς [( )( )] [ ] [ ] [ ] [ ] ς ( )( ) Διακριηες Μεηαβληηες ς ( )( ) ( ) Σσνετεις Μεηαβληηες ς cov[x,x] = var[x] = Ε[(Φ Ε[Φ]) 2 ] = E[X 2 ] E[X] 2 = cor[x,x] E[X] 2 =

3 Λημμα 1) cov(x,y) [ ] [ ] [ ] [ ] 2) Covariance is not a SP οf the variables X,Y. Covariance is a SP of the centered Variables ( ) ( ) (1) Covariance is a bilinear Form: α,β real numbers cov[ α 1 X 1 + α 2 X 2, Υ] = α 1 cov[x 1, Υ] + α 1 cov[x 2, Υ] cov[ X, β 1 Υ 1 + β 2 Υ 2 ] = β 1 cov[x, Υ 1 ] + β 2 cov[x, Υ 2 ] cov[α 1 X 1 + α 2 X 2, β 1 Υ 1 + β 2 Υ 2 ] = = α 1 β 1 cov[x 1, Υ 1 ] + α 1 β 2 cov[x 1, Υ 2 ] + α 2 β 1 cov[x 2, Υ 1 ] + α 2 β 2 cov[x 2, Υ 2 ] (2) cov(a,b) = cov(b,a) (3) cov[x,x] = var[x] = Ε[(Φ Ε[Φ]) 2 ] = E[X 2 ] E[X] 2 = ζ 2 0 (4) cov[x,x] = 0 ζ 2 = 0 X is a constant random variable, ae 3) ( ) ( ), Αλλαγη ζε Τσποποιημενες Μεηαβληηες

4 Theorem For random variables with finite variance: 1) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) = Pearson s Coefficient 2) ( ) ( ) ( ) ( ) ( ) ( ) ( )

5 Proof: From Cauchy Schwarz inequality: [ ] ( ) ( ) ( ) Η Σςνδιαζποπα ωρ Εκηιμηζη ηηρ Γπαμμικηρ Αλληλεξαπηηζηρ ηων Φ, Υ

6 Pearson's coefficient (Σςνηελεζηηρ Σςνδιαζποπαρ Pearson) ( ) ( ) ( ) ( ) ς ( * m X = E(X), m Y = E(Y), = E[(X m X ) 2 ] = [ ], σ Y 2 = E[(X m Y ) 2 ] = [ ] ( ) ( ) ( )

7 Δειγμα Μ Μεηπηζεων ηων Μεηαβληηων Φ,Υ Observation 1 Observation 2 Variable Variable Observation M Σςνδιαζποπα (Covariance) Δείγμαηορ ( )( ) Αμεποληπηη Σςνδιαζποπα Δείγμαηορ: Διοπθωζη Bessel Τςποποιημενη (Αμεποληπηη) Σςνδιαζποπα (Pearson) Δείγμαηορ: ( ),

8 Σςνδιαζποπα Ν Μεηαβληηων ( ) [( ) ( )] ( ) [ ] [ ] η Μεςη Σιμη τησ Ο Πινακαρ Σςνδιαζποπαρ ηων Ν Μεηαβληηων ( + Μη Αρνητικοσ υμμετρικοσ Πινακασ αρα Διαγωνιοποιηςιμοσ

9 Δειγμα Μ Μεηπηζεων ηων N Μεηαβληηων Observation 1 Observation 2 Variable Variable Variable Observation M

10 Πιναξ Μεηπηζεων (Data Matrix): ( + ( ) ( ) Διανςζμα Μ Μεηπηζεων (Attribute Vector) ηηρ Μεηαβληηηρ, ν=1,2,,ν: ( + Διανςζμα ηηρ Μεηπηζηρ μ ηων Ν Μεηαβληηων, ν=1,2,,ν: ( + ( )

11 Σςνδιαζποπα Δειγμαηορ ( )( ), οποσ η ηιμη ηης κ-μεηρηζης ηης Μεηαβληηης η Δειγμαηικη Μεζη Τιμη ηης Μεηαβληηης Αμεποληπηη Σςνδιαζποπα Δειγμαηορ Διοπθωζη Bessel Τςποποιημενη Σςνδιαζποπα (Pearson) Δείγμαηορ:, ενζωμαηωνει ηην Διοπθωζη Bessel η ηιμη ηης Τσποποιημενης μεηαβληηης

12 Λημμα: ( + Χ ( + Χ Χ ( + Ζ Ζ Data Matrices Χ ( +,, ( +,

13 ΠΑΡΑΔΕΙΓΜΑ: Ο Πιναξ υνδιαςπορασ Ν Ανεξαρτητων ανα 2 Μεταβλητων είναι Διαγωνιοσ : υμβαςη Αναδιαταςςουμε τισ Ν Μεταβλητεσ ώςτε οι αντιςτοιχεσ Διαςπορεσ Να διαταςςονται κατϊ φθινουςα ςειρα: > > ς ς (Ορθεσ μοναδεσ μετρηςησ) ( ς ) Για 2 Ανεξαρτητεσ Μεταβλητεσ Φ Τ: ( ) ( ) ( )

14 Μπορω να Μεταςχηματιςω τισ Μεταβλητεσ ςε Ν Ανεξαρτητεσ μεταβλητεσ με τισ ιδιεσ Διαςπορεσ? Bεβαιωσ! Μεςω τησ Διαγωνιοποιηςησ του Πινακα υνδιαςπορασ ς (Μη Αρνητικοσ υμμετρικοσ αρα Διαγωνιοποιηςιμοσ). ς ς ( Ζ) ( ς ) (, ( )

15 U is the N N matrix with columns the eigenvectors, ν=1,2,,ν of A the ν-column is the eigenvector (, of A: ( Ζ) Τ Τ ( + o Πιναξ δεδομενων ηων Μεηαβληηων Τ Τ Τ που οριζονται από τον Γραμμικο Μεταςχηματιςμο (, (, (, (,

16 Οριςμοσ Κυριεσ υνιςτωςεσ (Principal Components) του Πινακα υνδιαςπορασ Οι Υαςματικεσ υνιςτωςεσ που οριζονται απο τα ιδιοανυςματα Σου N x N Πινακα υνδιακυμανςησ Για κϊθε Διανςζμα Μεηπηζηρ ηων Ν Μεηαβληηων: ( + Οριζω Κυριεσ υνιςτωςεσ (Principal Components) του Οι Υαςματικεσ υνιςτωςεσ του χ ωσ προσ τα ιδιοανυςματα Σου N x N Πινακα υνδιακυμανςησ

17 Αναπτυγμα ςε Κυριεσ υνιςτωςεσ του Σο Υαςματικο Αναπτυγμα του του χ ωσ τουσ αξονεσ των ιδιανυςματων του N x N Πινακα υνδιακυμανςησ

18 Κυριεσ υνιςτωςεσ ημαςια 1) Σα ιδιοανυςματα προκυπτουν απο (Ν-διαςτατη) ςτροφη 2) Οι Πρωτεσ Κυριεσ υνιςτωςεσ φερουν την μεγαλυτερη και ςημαντικοτερη Πληροφορια 3) Οι Μεταβλητεσ Τ Τ Τ οριζουν τισ ςυντεταγμενεσ των Μετρηςεων ςτισ Κυριεσ υνιςτωςεσ

19 Παραδειγμα Πιναξ υνδιαςπορασ 2 Μεταβλητων (2 dim Covariance Matrix) ( ) ( ) ( [ ] ) [ ] ( [ ] [ ] [ ] [ ] ( ) * ( ) ( ) ( )

20 Προβλημα Ιδιοτιμων του Πινακα υνδιαςπορασ : Eigenvalues Eigenvectors ς ( ) 2 4 ( ς ς ) ς ( ) 2 4 ( ς ς ) ( ς ς ) ( )

21 Σα ορθογωνια ιδιοανυςματα και οριζουν τισ Κατευθυνςεισ μεγιςτησ και ελαχιςτησ ςυνδιαςπορασ Oι προβολεσ ενόσ διανυςματοσ μετρηςησ ( ) ςτισ κατευθυνςεισ των ιδιοανυςματων και ειναι Οι Κυριεσ υνιςτωςεσ (Principal Components) του

22 Λημμα Φαζμαηικη Αναλςζη Διαγωνιζιμων Πινακων α α (, (, ( ) υμβαςη: Οι ιδιοτιμεσ διαταςςονται κατϊ φθινουςα ςειρα: α α α ( ) (, = Ο Modal Matrix ηος Α U is the N N matrix with columns the eigenvectors, ν=1,2,,ν of A the ν-column is the eigenvector (, of A:

23 ( ) η ν-οζηη γπαμμη ηος Ανηιζηποθος Πινακα (, Spectral Decomposition of the Action of A Α(, (, ( ) (, (, ( )

24 Decomposition of Vectors in Spectral Components (, ( + (, ( + ( ) η ν-φαςματικη ςυνιςτωςα (Spectral component) του διανυςματοσ (,

25 Normal Matrices: The Eigenvector basis is Orthogonal Unitary (Normal) Matrices: Eigenvalues on the complex unit circle ( α α, Hermitian (Normal) Matrices: Eigenvalues Real U is Unitary Matrix Real Symmetric (Normal) Matrices: Eigenvalues Real ( α α, Q is Orthogonal Matrix

26 Diagonalization of ( + Eigenvalues Eigenvectors ( + ( + ( +

27 Μηκη : u1 = ( ) ( ) ( ) u2 = ( ) u3 = ( ) ( ) are not Orthogonal: ( + ( + ( + ( + ( + ( +

28 Diagonalizing Matrix: ( ) ( + ( + Diagonalization ( + ( + ( + ( +

29 Spectral Decomposition οf Α (3 2 + ( (3 2 + ( ( + ( ) 2 ( + (2 ) ( + ( ) Spectral Decomposition of the Action of A Α( + 3 ( + ( ) ( + 2 ( + (2 ) ( + ( + ( ) ( + Α( + 3( ) ( + 2(2 ) ( + ( ) ( + Α( + 3 ( + 2 ( 2 + ( 2 +

30 Decomposition of Vectors in Spectral Components ( + ( + ( 2 + ( 2 + ( + η 1 η -φαςματικη ςυνιςτωςα (Spectral component) του διανυςματοσ ( + ( 2 + η 2 η -φαςματικη ςυνιςτωςα (Spectral component) του διανυςματοσ ( + ( 2 + η 3 η -φαςματικη ςυνιςτωςα (Spectral component) του διανυςματοσ ( +

31 Markov Matrix A=( 3 7 ) Προβλημα Ιδιοτιμων, Aψ=αψ: Ιδιοτιμη Ιδιοδιανυςμα α1 = 1 u1= ( ) ( α2 = 0.6 u2= ( ) ( 3 7 ) ( ) ( ) 3 7 ) ( ) ( )

32 Σα διανυςματα u1, u2 δεν είναι μοναδιαια u1 = ( ) ( ) 7 u2 = 2 Σα διανυςματα u1, u2 δεν είναι ορθογωνια < u1, u2 > = 0

33 Diagonalizing Matrix U = ( ) ( 75 ) U -1 = ( ), A Non-Symmetric Non-Normal ςτον H R 2 Diagonalization ( ) ( 3 7 ) ( 75 ) ( 6 )

34 Spectral Decomposition οf Α ( 6 ) ( 75 * ( 6 ) ( ) ( ) ( ) ( ) ( 25 75) Spectral Decomposition of the Action of A Α( ) ( * ( ) ( ) ( ) ( 25 75) ( ) Α( ) ( * ( ) ( ) ( ) Α( ) ( * ( *

35 Decomposition of Vectors in Spectral Components ( ) ( * ( * ( * η η -φαςματικη ςυνιςτωςα (Spectral component) του διανυςματοσ ( ) ( * η 2η -φαςματικη ςυνιςτωςα (Spectral component) του διανυςματοσ ( )

36 Mποπω να αναλςζω ηον Μ Ν Πινακα Δεδομενων ( + ζε Σςνιζηωζερ για πεπαιηεπω επεξεπγαζια? Θεωπημα ηηρ Αναλςζηρ ζε Ιδιαζοςζερ Τιμερ Πινακων Μ Ν Singular Value Decomposition (SVD) Theorem Αναλςζη Δεδομενων ζε Κςπιερ Σςνιζηωζερ Principal Components Analysis

37 SVD Theorem Z = U Σ V T = ( ( ) ( ) ( ) ( ), the singular values of the M x N data Matrix Z = The square roots of the (positive) eigenvalues of the NxN Matrix ς r is the rank of ζ

38 U is the Μ x Μ Orthogonal Modal Matrix of the Μ x Μ Symmetric Matrix (The columns of U are the orthonormal Eigenvectors (, of ) (( ) ( ) ) V is the NxN Οrthogonal Modal Matrix of the N x N Symmetric Matrix (The columns of V are the orthonormal Eigenvectors (, of ) (( ) ( ) )

39 Ζ = U ( ( ) ( ) ( ) ( ), V T (, ( ( ) ( ) ( ) ( ), (, (, ( ) (, (,

40 SV Decomposition of the Action of Z on each Measurement Vector Z(, (, ( ) (, (, ( ) Decomposition of Vectors in Spectral Components (, ( ) (, ( ) (, η ν-ιδιαζουςα ςυνιςτωςα (Singular component) του διανυςματοσ (,

41 ΠΑΡΑΔΕΙΓΜΑ ( ), 2x3 ( + 3x2

42 ( ) ( + ( ) 2x2 Eigenvalue problem of the Symmetric Real Matrix : Eigenvalues Eigenvectors Orthonormal Eigenvectors ( ) ( ) ( ) ( )

43 ( ) 2x2 ( + ( ) ( + 3x3 Eigenvalue problem of the Symmetric Real Matrix :

44 Eigenvalues Singular Values Eigenvectors ( + ( + Orthonormal Eigenvectors ( ) ( ) ( + ( )

45 3x3 ( ) 3x3 ( )

46 ( * 2x3 (M<M) ( ) ( ( ) * ( )

47 Εθαπμογερ data reduction data association exploratory data analysis constructing predictive models. Data compression, data reconstruction

48 Aναθοπερ Ιζηοπικερ Galton F.1889, Natural Inheritance. MacMillan and Co, London Pearson, K. 1901, "On Lines and Planes of Closest Fit to Systems of Points in Space, Philosophical Magazine 2 (11): doi: / Hotelling, H. 1933, Analysis of a complex of statistical variables into principal components, Journal of Educational Psychology, 24, , and Hotelling, H. 1936, Relations between two sets of variates. Biometrika, 27, Aναθοπερ Σςγσπονερ Qin S.J., Dunia R. 2000, Determining the number of principal components for best reconstruction, Journal of Process Control, vol. 10, pp Jolliffe I.T. 2002, "Principal Component Analysis", Second Edition, Springer. Jackson, J. E. 2003, A User's Guide to Principal Components, A Wiley-Interscience, New York Tapani Raiko, Alexander Ilin and Juha Karhunen 2008, Principal Component Analysis for Sparse High-Dimensional Data, Neural Information Processing Lecture Notes in Computer Science, Vol. 4984/2008, Shlens J. 2014, A Tutorial on Principal Component Analysis,

Σχετικά έγγραφα

Φασματικη Αναλυση Συνδιασπορας

Φασματικη Αναλυση Συνδιασπορας Μοντέλα Παλινδρόμησης και Επεξεργασία Γνώσης ΧΕΙΜΕΡΙΝΟ ΕΞΑΜΗΝΟ Τμημα Μαθηματικων Αριστοτελειο Πανεπιστημιο Θεσσαλονικης 544 Regression Models and Knowledge Processing WINTER SEMESTER School of Mathematics