ΓΡΑΜΜΙΚΗ ΑΛΓΕΒΡΑ = U1SV 1 V 2 A = [U1 U2] S = diag(σ 1,...,σ r ) R r r. και σ 1 σ r > 0. Ειδικότερα,

Transcript

1 ΓΡΑΜΜΙΚΗ ΑΛΓΕΒΡΑ Ε Γαλλόπουλος 1 1 Τµήµα Μηχανικών Ηλεκτρονικών Υπολογιστών και Πληροφορικής Πολυτεχνική Σχολή, Πανεπιστήµιο Πατρών 22/5/2012 ιάσπαση SVD ιάσπαση SVD Θεώρηµα Εστω το µητρώο A R m n τάξης r Τότε υπάρχουν ορθογώνια µητρώα U R m m και V R n n τέτοια ώστε A=UΣV, όπουσ= [ S 0] 0 0, S = diag(σ 1,,σ r ) R r r και σ 1 σ r > 0 Ειδικότερα, A = [U1 U2] = U1SV 1 [ S ][ V 1 V 2 ]

2 ιάσπαση SVD Ορολογία και παρατηρήσεις Εστω ότι A=UΣV είναι η SVD του A 1 Τα διαγώνια στοιχεία του A λέγονται ιδιάζουσες τιµές του A 2 Οι στήλες του U ονοµάζονται αριστερά ιδιάζονται διανύσµατα Προσέξτε ότι είναι τα είναι τα ορθοκανονικά ιδιοδιανυσµατα του AA 3 Οι στήλες του V ονοµάζονται δεξιά ιδιάζονται διανύσµατα Προσέξτε ότι είναι τα ορθοκανονικά ιδιοδιανυσµατα του A A) 4 Οι παράγοντες U,Σ,B σχετίζονται άµεσα µε τις ιδιοτιµές και ιδιοδιανύσµατα των συµµετρικών AA,AA όπως ϕαίνεται από το γεγονός ότισ Σ καισσ είναι διαγώνια και τις σχέσεις: A A=V(Σ Σ)V, AA = U(ΣΣ )U ιάσπαση SVD Αντιστροφή µε SVD Αν τετραγωνικό και αντιστρέψιµο A A 1 = (UΣV ) 1 =(V ) 1 Σ 1 U 1 = VΣ 1 U = 1 σ 1 v1u σ 2 v2u σ n vnu n Αν το A δεν είναι αντιστρέψιµο, τότε ϑα είναι µειωµένης τάξης, δηλ r < n Εποµένως στις παραπάνω εκφράσεις, έχουµε αστοχία στον όρο Σ 1 Σ 1 = 1 σ 1 1 σ r?

3 ιάσπαση SVD Ψευδοαντίστροφο Ενας ορισµός Επεκτείνουµε τον ορισµό του αντιστρόφου για τοσ: Προσοχή Βοηθά το ανάπτυγµα του αντιστρόφου µε χρήση ιδιαζόντων διανυσµάτων και ιδιαζουσών τιµών Θέτουµε 1 σ 1 Σ = 1 σ r 0 A = 1 σ 1 v1u σ 2 v2u σ r vru r, = VΣ U Σχέσεις κ ανισότητες εσωτερικών γινοµένων και νορµών Βασικές ισότητες και ανισότητες Cauchy-Bunyakovsky-Schwarz (CBS) x, y x y µε ισότητα ανν x = αy ή ένα από τα x, y µηδενικό Κανόνας παραλληλογράµου x+ y + x y =2( x 2 + y 2 ) Πυθαγόρεια ταυτότητα Αν x y τότε x± y 2 = x 2 + y 2

4 Θεµελιώδεις υπόχωροι µητρώου, ορθογώνιο συµπλήρωµα και σχέσεις ορθογωνιότητας Υπενθύµιση Εστω οr n Για κάθε δυ V το ορθογώνιο συµπλήρωµα, V είναι ο δ υπόχωρος όλων των διανυσµάτων καθέτων στο V Τότε R n = V V Σε κάθε µητρώο A R m n τάξης r min(m,n) αντιστοιχούν 4 υπόχωροι range(a),range(a ),null(a),null(a ) (null(a)) = range(a ),(null(a )) = range(a), range(a) null(a ) και range(a ) null(a) R m = range(a) null(a ),R n = range(a ) null(a) }{{}}{{}}{{}}{{} r m r r n r Το SVD παρέχει ορθοκανονικές ϐάσεις για τους 4 υπόχωρους: U = [Ur,Um r], Ur ϐάση για range(a),um r ϐάση για null(a ), V = [Vr,Vn r], Vr ϐάση για range(a ),Vn r ϐάση για null(a), Θεµελιώδεις υπόχωροι µητρώου, ορθογώνιο συµπλήρωµα και σχέσεις ορθογωνιότητας

5 Ορθογώνια προβολή Προβολή και ορθογώνια προβολή Εστω υπόχωρος V τουr n και ότι όπου R n = V V V ={y y x, x V} Τότε κάθε στοιχείο x R n γράφεται µοναδικά και ως άθροισµα των x = v+ u,v V,u V = Px+(I P)x όπου P η ορθογώνια προβολή επί του V Προσέξτε ότι I P επιτελεί ορθογώνια προβολή στο ορθογώνιο συµπλήρωµα V Ορθογώνια προβολή Προβολές οθογώνιες ίνεται διάνυσµα, έστω b=[1,2,3] R 3 Ποιά είναι η προβολή του στον άξονα z; Pzb=[0,0,3] Ποιά είναι η προβολή του στο επίπεδο xy; Pxy =[1,2,0] Μπορούµε να αναπαραστήσουµε τις προβολές µε µητρώα;

6 Ορθογώνια προβολή Ορθογώνια προβολή Προβολή αποκαλείται ένας γραµµικός τελεστής P για τον οποίο PP = P Ορθογώνια προβολή όταν P = P Κατασκευή µητρώου ΟΠ Εστω διανύσµατα V = span{v1,, vn} Το µητρώο P := V(V V) 1 V είναι µητρώο ορθογώνιας προβολής επί του V Ορθογώνια προβολή Αναπαράσταση ορθογώνιας προβολής µε µητρώα Προβολή σε 1 διάσταση Κάθε µονοδιάστατος υποχώρος αποτελείται από διανύσµατα που είναι παράλληλα σε κάποιο διάνυσµα u οθέντος του u, το µητρώο P := uu u u είναι ο τελεστής ορθογώνιας προβολής επί του υποχώρου είτε την επίδραση του παραπάνω P σε τυχόν διάνυσµα x: uu u u x = u u u x u = v x cos(x,u), όπου v := u u Το Px είναι η ορθογώνια προβολή του στην κατεύθυνση (δηλ παράλληλα) του v

7 Ορθογώνια προβολή ( u ) x O u Ορθογώνια προβολή Η εφαρµογή του P := uu /u u σε τυχόν διάνυσµα x έχει σαν αποτέλεσµα την προβολή του x στον υποχώρο span{u} Παράδειγµα Εστω u =[1,2,3], τότε P = Για τυχόν διάνυσµα x έχουµε Px = 1 14 ξ 1 + 2ξ 2 + 3ξ 3 2ξ 1 + 4ξ 2 + 6ξ 3 = ξ 1+ 2ξ 2 + 3ξ ξ 1 + 6ξ 2 + 9ξ

8 Εισαγωγή Πολλές εφαρµογές οδηγούν σε µετρήσεις, πχ τιµές {(xi,yi) i Z} και ϑέλουµε να κατασκευάσουµε µία συνάρτηση που να τις µοντελοποιεί όσο γίνεται καλύτερα Πιο γενικά, χρειάζεται να προσεγγίσουµε µία «δύσκολη» συνάρτηση ως άθροισµα απλούστερων συναρτήσεων Η επίλυση των προβληµάτων αυτών αφορά στη γενική ϑεωρία προσεγγίσεων και ελαχιστοποίησης/αριστοποίησης Η Γραµµική Αλγεβρα συνεισφέρει καθοριστικά στην επίλυσή τους Η πρώτη συνεισφορά της είναι µε τις τις Προσεγγίσεις Ελαχίστων Τετραγώνων Θεώρηµα προβολής Θεώρηµα Εστω διανυσµατικός χώροςr n µε υπόχωρο V τότε για κάθε x R n υπάρχει µοναδικό στοιχείο ˆv V τέτοιο ώστε x ˆv x v v V Επιπλέον, το διάνυσµα x ˆv V Συνήθως γράφουµε ˆv = arg min v V x v

9 Εκφώνηση ίνονται A R m n,b R m,m n Το γραµµικό πρόβληµα ελαχίστων τετραγώνων συνίσταται στην εύρεση ενός διανύσµατος από το σύνολο X ={x R n : ελαχιστοποιεί το ρ(x)= Ax b 2 } Γεωµετρική ϑεώρηση Η ελαχιστοποίηση του Ax b 2 ισοδυναµεί µε την εύρεση διανύσµατος x R n τέτοιου ώστε, µεταξύ όλων των διανυσµάτων που παράγονται από γραµµικό συνδυασµό των στηλών του A, το p=ax να είναι το πλησιέστερο στο b (ως προς την ευκλείδεια νόρµα) Προφανώς, το κατάλοιπο r = b AxLS πρέπει να είναι ορθογώνιο επί του υπόχωρου R(A) Εποµένως, αν Ay είναι αυθαίρετο διάνυσµα του R(A) (δηλ y αυθαίρετο), ϑα ισχύει 0 = (Ay) (b AxLS)=y (A b A AxLS) άρα το xls επιλύει το σύστηµα A AxLS = A b που χαρακτηρίζονται κανονικές εξισώσεις του προβλήµατος r = b AxLS null(a ), δηλ το κατάλοιπο ανήκει στο αρ µηδενόχ: A (b AxLS)=A b A AxLS = 0

10 Απλή γραµµική παλινδρόµηση Πρόβληµα: Να υπολογίσουµε την ευθεία γραµµή που µοντελοποιεί τις τιµές(xj,yj) µε το µικρότερο δυνατό σφάλµα; (Βασικό πρόβληµα Στατιστικής µε πολλές εφαρµογές) y (x1, y1) (x2, y2) (xm, ym) x

11 Θέλουµε να επιλέξουµε τις τιµές γ 0,γ 1 τέτοιες ώστε να ελαχιστοποείται το σφάλµα E(α,β):= m j=1 (yj γ 1 xj γ 0 ) 2 άρα 0 = E = 2 γ 1 0 = E = 2 γ 0 m j=1 m j=1 (yj γ 1 xj γ 0 )( 1) (yj γ 1 xj γ 0 )( xj) άρα 0 = 0 = m j=1 m j=1 (yj γ 1 xj γ 0 ) (xjyj γ 1 x 2 j γ 0 xj) άρα ( )( γ0 ) ( m j=1 yj ) m m j=1 x j m j=1 x j m j=1 x2 j γ 1 = m j=1 x jyj και προσέξτε ότι το παραπάνω σύστηµα είναι ίδιο µε A Ac = A y όπου A= 1 x1 1 xm

12 Γενικότερα y = f(x)=c1φ 1 (x)+ +cnφ n (x) ίνονται οι τιµές φ i (xj) όπου φ j είναι γνωστές (και συνήθως απλές) συναρτήσεις, ενώ οι συντελεστές ci είναι σταθερές που πρέπει να καθοριστούν έτσι ώστε να ελαχιστοποιείται το άθροισµα των τετραγώνων του σφάλµατος σε κάθε σηµείο Αν χρησιµοποιήσουµε µητρώα, τότε και αυτό το πρόβληµα γράφεται ως A= φ 1 (x1) φ n (x1) φ 1 (xm) φ n (xm),x = c1 cn και y = y1 ym Παράδειγµα Σηµεία: x1 = 1 x2 = 1/2 x3 = 0 x4 = 1/2 x5 = 1 Τιµές: y1 = 01 y2 = 03 y3 = 03 y4 = 02 y5 = 00

13 φ 0 (x)=1,φ 1 (x)=x τότε φ(x)=β 0 φ 0 (x)+β 1 φ 1 (x) οπότε A= A A= ( ),A b= φ(x)=09 015x ( ) φ 0 (x)=1,φ 1 (x)=x,φ 2 (x)=x 2 και φ(x)=β 0 φ 0 (x)+β 1 φ 1 (x)+β 2 φ 2 (x) A= A A= A b= , φ(x)= x 02571x 2

14 Βάσεις και ορθοκανονικά διανύσµατα Αν τα διανύσµατα της ϐάσης{uj} είναι ΟΚ τότε µπορούµε να γράψουµε x = ξ 1 u1++ξ r ur, όπου r είναι η διάσταση του υποχώρου S και ξ j = (x,uj), 1 j r, x 2 = (ξ 2 1++ξ 2 r) 1/2 Θέµατα: Οι ϐάσεις ΟΚ διανυσµάτων είναι ελκυστικές Πως υπολογίζονται ΟΚ ϐάσεις; ιαδικασία Gram-Schmidt ιαδικασία Gram-Schmidt Πρόβληµα: ίνονται διανύσµατα{a1,,an} και ϑέλουµε να κατασκευάσουµε ορθοκανονική ϐάση διανυσµάτων{q1,, qn} τέτοια ώστε span{q1,,qn}=span{a1,,an} Ιδέα: Βασίζεται στην ιδιότητα ότι αν αφαιρέσουµε από ένα διάνυσµα την ορθογώνια προβολή του επί ενός υποχώρου, η διαφορά ϑα είναι κάθετη στον υπόχωρο Ειδικότερα, έστω ότι έχουµε κατασκευάσει ΟΚ ϐάση q1,,qk 1 για τις στήλες a1,,ak 1 και ϑέλουµε να υπολογίσουµε qk που είναι ορθογώνιο ως προς τα q1,,qk 1 και µε µέτρο 1 1 Αφαιρούµε από το ak την ορθογώνια προβολή του επί των q1,,qk 1 2 κανονικοποιούµε το αποτέλεσµα

15 ιαδικασία Gram-Schmidt Pj = q jq j q j q j }{{} =1 συµβολίζει τον τελεστή προβολής επί του qj τότε qk = ak P1ak P2a2 Pk 1ak qk = qk qk 2 που µπορεί να υλοποιηθεί ϑέτοντας q1 = a1/ a1 και εκτελώντας για k = 2,,n qk = ak (q 1 a k)q1 (q 2 a 2)q2 (q k 1 a k)qk 1 q2 = qk qk 2