Επιστηµονικός Υπολογισµός Ι

Σχετικά έγγραφα
Επιστηµονικός Υπολογισµός Ι

Γραµµική Αλγεβρα. Ενότητα 2 : Επίλυση Γραµµικών Εξισώσεων. Ευστράτιος Γαλλόπουλος Τµήµα Μηχανικών Η/Υ & Πληροφορικής

Γραµµική Αλγεβρα. Ενότητα 2 : Επίλυση Γραµµικών Εξισώσεων. Ευστράτιος Γαλλόπουλος Τµήµα Μηχανικών Η/Υ & Πληροφορικής

Γραµµική Αλγεβρα. Ενότητα 6 : Ιδιοτιµές & Ιδιοδιανύσµατα. Ευστράτιος Γαλλόπουλος Τµήµα Μηχανικών Η/Υ & Πληροφορικής

Γραµµική Αλγεβρα. Ενότητα 6 : Ιδιοτιµές & Ιδιοδιανύσµατα. Ευστράτιος Γαλλόπουλος Τµήµα Μηχανικών Η/Υ & Πληροφορικής

Γραµµική Αλγεβρα. Ενότητα 6 : Ιδιοτιµές & Ιδιοδιανύσµατα. Ευστράτιος Γαλλόπουλος Τµήµα Μηχανικών Η/Υ & Πληροφορικής

Επιστηµονικός Υπολογισµός Ι Ενότητα 5 - Επίλυση Γραµµικών Συστηµάτων. Ευστράτιος Γαλλόπουλος

Γραµµική Αλγεβρα. Ενότητα 1 : Εισαγωγή στη Γραµµική Αλγεβρα. Ευστράτιος Γαλλόπουλος Τµήµα Μηχανικών Η/Υ & Πληροφορικής

Γραµµική Αλγεβρα. Ενότητα 4 : Ορθογωνιότητα. Ευστράτιος Γαλλόπουλος Τµήµα Μηχανικών Η/Υ & Πληροφορικής

Επιστηµονικός Υπολογισµός Ι

Γραµµική Αλγεβρα. Ενότητα 3 : ιανυσµατικοί Χώροι και Υπόχωροι. Ευστράτιος Γαλλόπουλος Τµήµα Μηχανικών Η/Υ & Πληροφορικής

Γραµµική Αλγεβρα. Ενότητα 7 : Γραµµικοί Μετασχηµατισµοί. Ευστράτιος Γαλλόπουλος Τµήµα Μηχανικών Η/Υ & Πληροφορικής

Διδάσκων: Καθηγητής Νικόλαος Μαρμαρίδης, Καθηγητής Ιωάννης Μπεληγιάννης

QR είναι ˆx τότε x ˆx. 10 ρ. Ποιά είναι η τιµή του ρ και γιατί (σύντοµη εξήγηση). P = [X. 0, X,..., X. (n 1), X. n] a(n + 1 : 1 : 1)

ΓΡΑΜΜΙΚΗ ΑΛΓΕΒΡΑ. ΕΝΟΤΗΤΑ: Άλγεβρα των Πινάκων (2) ΔΙΔΑΣΚΩΝ: Βλάμος Παναγιώτης ΙΟΝΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΤΜΗΜΑ ΠΛΗΡΟΦΟΡΙΚΗΣ

Γραµµική Αλγεβρα. Ενότητα 6 : Ιδιοτιµές & Ιδιοδιανύσµατα. Ευστράτιος Γαλλόπουλος Τµήµα Μηχανικών Η/Υ & Πληροφορικής

Γραµµική Αλγεβρα. Ενότητα 1 : Εισαγωγή στη Γραµµική Αλγεβρα. Ευστράτιος Γαλλόπουλος Τµήµα Μηχανικών Η/Υ & Πληροφορικής

Γραµµική Αλγεβρα. Ενότητα 3 : ιανυσµατικοί Χώροι και Υπόχωροι. Ευστράτιος Γαλλόπουλος Τµήµα Μηχανικών Η/Υ & Πληροφορικής

Γραµµική Αλγεβρα. Ενότητα 1 : Εισαγωγή στη Γραµµική Αλγεβρα. Ευστράτιος Γαλλόπουλος Τµήµα Μηχανικών Η/Υ & Πληροφορικής

Γραµµική Αλγεβρα. Ενότητα 7 : Γραµµικοί Μετασχηµατισµοί. Ευστράτιος Γαλλόπουλος Τµήµα Μηχανικών Η/Υ & Πληροφορικής

ΓΡΑΜΜΙΚΟΣ & ΔΙΚΤΥΑΚΟΣ ΠΡΟΓΡΑΜΜΑΤΙΣΜΟΣ

Επιστηµονικός Υπολογισµός Ι Ενότητα 1 - Εισαγωγή. Ευστράτιος Γαλλόπουλος

ΓΡΑΜΜΙΚΗ ΑΛΓΕΒΡΑ ( , c Ε. Γαλλόπουλος) ΓΡΑΜΜΙΚΗ ΑΛΓΕΒΡΑ. Ε. Γαλλόπουλος. ΤΜΗΥΠ Πανεπιστήµιο Πατρών. ιαφάνειες διαλέξεων 28/2/12

Γραµµική Αλγεβρα. Ενότητα 5 : Ορίζουσες. Ευστράτιος Γαλλόπουλος Τµήµα Μηχανικών Η/Υ & Πληροφορικής

Γραµµική Αλγεβρα. Ενότητα 3 : ιανυσµατικοί Χώροι και Υπόχωροι. Ευστράτιος Γαλλόπουλος Τµήµα Μηχανικών Η/Υ & Πληροφορικής

Επιστηµονικός Υπολογισµός Ι

Παναγιώτης Ψαρράκος Αν. Καθηγητής

Διδάσκων: Καθηγητής Νικόλαος Μαρμαρίδης, Καθηγητής Ιωάννης Μπεληγιάννης

Αριθµητική Ανάλυση 1 εκεµβρίου / 43

Ορίζουσες ΓΡΑΜΜΙΚΗ ΑΛΓΕΒΡΑ. Προηγείται της Γραµµικής Αλγεβρας. Εχει ενδιαφέρουσα γεωµετρική ερµηνεία. ΛΥ.

Γραµµική Αλγεβρα Ι. Ενότητα: ιανυσµατικοί χώροι. Ευάγγελος Ράπτης. Τµήµα Μαθηµατικών

Παναγιώτης Ψαρράκος Αν. Καθηγητής

Επιστηµονικός Υπολογισµός ΙΙ

ΓΡΑΜΜΙΚΗ ΑΛΓΕΒΡΑ. ΕΝΟΤΗΤΑ: Αριθμητική Γραμμική Άλγεβρα (1) ΔΙΔΑΣΚΩΝ: Βλάμος Παναγιώτης ΙΟΝΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΤΜΗΜΑ ΠΛΗΡΟΦΟΡΙΚΗΣ

ΕΛΛΗΝΙΚΟ ΑΝΟΙΚΤΟ ΠΑΝΕΠΙΣΤΗΜΙΟ

21 a 22 a 2n. a m1 a m2 a mn

ΓΡΑΜΜΙΚΗ ΑΛΓΕΒΡΑ (2 Ιουλίου 2009) ΕΠΙΛΕΓΜΕΝΕΣ ΑΠΑΝΤΗΣΕΙΣ

Επιστηµονικός Υπολογισµός Ι

Επιστηµονικός Υπολογισµός Ι

Παναγιώτης Ψαρράκος Αν. Καθηγητής

Παναγιώτης Ψαρράκος Αν. Καθηγητής

Αριθµητική Γραµµική ΑλγεβραΚεφάλαιο 4. Αριθµητικός Υπολογισµός Ιδιοτιµών 2 Απριλίου και2015 Ιδιοδιανυσµάτων 1 / 50

Γραµµική Αλγεβρα Ι. Ενότητα: Εισαγωγικές Εννοιες. Ευάγγελος Ράπτης. Τµήµα Μαθηµατικών

ΓΡΑΜΜΙΚΗ ΑΛΓΕΒΡΑ Ι (ΠΕΡΙΤΤΟΙ) Λυσεις Ασκησεων - Φυλλαδιο 3

ΓΡΑΜΜΙΚΑ ΣΥΣΤΗΜΑΤΑ ΕΞΙΣΩΣΕΩΝ

ΓΡΑΜΜΙΚΗ ΑΛΓΕΒΡΑ (Εξ. Ιουνίου - 02/07/08) ΕΠΙΛΕΓΜΕΝΕΣ ΑΠΑΝΤΗΣΕΙΣ

Διδάσκων: Καθηγητής Νικόλαος Μαρμαρίδης, Καθηγητής Ιωάννης Μπεληγιάννης

Διδάσκων: Καθηγητής Νικόλαος Μαρμαρίδης, Καθηγητής Ιωάννης Μπεληγιάννης

Επίλυση ενός τριδιαγώνιου γραµµικού συστήµατος Ax = d µε τη µέθοδο απαλοιφής του Gauss (µέθοδος του Thomas)

Μαθηματικά Διοικητικών & Οικονομικών Επιστημών

Διδάσκων: Καθηγητής Νικόλαος Μαρμαρίδης, Καθηγητής Ιωάννης Μπεληγιάννης

1 Αριθµητική Γραµµική Άλγεβρα: Ασκήσεις

ΚΕΦΑΛΑΙΟ 3 ΑΡΙΘΜΗΤΙΚΗ ΕΠΙΛΥΣΗ ΓΡΑΜΜΙΚΩΝ ΣΥΣΤΗΜΑΤΩΝ. nn n n

ΕΙΣΑΓΩΓΗ ΣΤΟ MATLAB- SIMULINK

ΓΡΑΜΜΙΚΗ ΑΛΓΕΒΡΑ. ΕΝΟΤΗΤΑ: Διανυσματικοί Χώροι (1) ΔΙΔΑΣΚΩΝ: Βλάμος Παναγιώτης ΙΟΝΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΤΜΗΜΑ ΠΛΗΡΟΦΟΡΙΚΗΣ

Διδάσκων: Καθηγητής Νικόλαος Μαρμαρίδης, Καθηγητής Ιωάννης Μπεληγιάννης

Στοχαστικά Σήµατα και Εφαρµογές

Ποσοτικές Μέθοδοι στη Διοίκηση Επιχειρήσεων ΙΙ Σύνολο- Περιεχόμενο Μαθήματος

x 2 = b 1 2x 1 + 4x 2 + x 3 = b 2. x 1 + 2x 2 + x 3 = b 3

Στοχαστικά Σήματα και Τηλεπικοινωνιές

3 η ΕΝΟΤΗΤΑ ΜΗ ΓΡΑΜΜΙΚΟΣ ΠΡΟΓΡΑΜΜΑΤΙΣΜΟΣ ΒΕΛΤΙΣΤΟΠΟΙΗΣΗ ΕΝΟΣ ΚΡΙΤΗΡΙΟΥ

Αριθµητική Ανάλυση. 27 Οκτωβρίου Αριθµητική Ανάλυση 27 Οκτωβρίου / 72

ΕΛΛΗΝΙΚΟ ΑΝΟΙΚΤΟ ΠΑΝΕΠΙΣΤΗΜΙΟ

Επίλυση Γραµµικών Συστηµάτων

ΓΡΑΜΜΙΚΗ ΑΛΓΕΒΡΑ. ΕΝΟΤΗΤΑ: Άλγεβρα των Πινάκων (1) ΔΙΔΑΣΚΩΝ: Βλάμος Παναγιώτης ΙΟΝΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΤΜΗΜΑ ΠΛΗΡΟΦΟΡΙΚΗΣ

ΕΙΣΑΓΩΓΗ ΣΤΗΝ ΑΝΑΛΥΣΗ ΑΛΓΟΡΙΘΜΩΝ

Ιδιάζουσες τιμές πίνακα. y έχουμε αντίστοιχα τις σχέσεις : Αυτές οι παρατηρήσεις συμβάλλουν στην παραγοντοποίηση ενός πίνακα

Εισαγωγή στον Προγραµµατισµό. Ανάλυση (ή Επιστηµονικοί8 Υπολογισµοί)

Τίτλος Μαθήματος: Γραμμική Άλγεβρα Ι. Ενότητα: Βαθµίδα Πίνακα. Διδάσκων: Καθηγητής Νικόλαος Μαρμαρίδης. Τμήμα: Μαθηματικών

ΠΡΟΓΡΑΜΜΑ ΣΠΟΥ ΩΝ ΣΤΗΝ ΠΛΗΡΟΦΟΡΙΚΗ ΜΑΘΗΜΑΤΙΚΑ Ι (ΘΕ ΠΛΗ 12) ΕΡΓΑΣΙΑ 1 η Ηµεροµηνία Αποστολής στον Φοιτητή: 15 Οκτωβρίου 2006

ΕΛΛΗΝΙΚΟ ΑΝΟΙΚΤΟ ΠΑΝΕΠΙΣΤΗΜΙΟ

ΕΛΛΗΝΙΚΟ ΑΝΟΙΚΤΟ ΠΑΝΕΠΙΣΤΗΜΙΟ

Συστήµατα Μη-Γραµµικών Εξισώσεων Μέθοδος Newton-Raphson

ΕΙΣΑΓΩΓΗ ΣΤΗΝ ΑΝΑΛΥΣΗ ΑΛΓΟΡΙΘΜΩΝ

ΜΑΘΗΜΑΤΙΚΑ ΓΙΑ ΟΙΚΟΝΟΜΟΛΟΓΟΥΣ

ΕΛΛΗΝΙΚΟ ΑΝΟΙΚΤΟ ΠΑΝΕΠΙΣΤΗΜΙΟ

Τίτλος Μαθήματος: ΕΙΣΑΓΩΓΗ ΣΤΗΝ ΑΝΑΛΥΣΗ ΑΛΓΟΡΙΘΜΩΝ

ΕΙΣΑΓΩΓΗ ΣΤΗ ΒΕΛΤΙΣΤΟΠΟΙΗΣΗ ΣΥΣΤΗΜΑΤΩΝ

5.1 Ιδιοτιµές και Ιδιοδιανύσµατα

Επιστηµονικός Υπολογισµός ΙΙ

Ιστορία των Μαθηματικών

Πιο συγκεκριμένα, η χρήση του MATLAB προσφέρει τα ακόλουθα πλεονεκτήματα.

Τίτλος Μαθήματος: Γραμμική Άλγεβρα Ι. Ενότητα: Πινάκες και Γραµµικές Απεικονίσεις. Διδάσκων: Καθηγητής Νικόλαος Μαρμαρίδης. Τμήμα: Μαθηματικών

Υπολογιστική άλγεβρα Ενότητα 3: Πολυώνυμα τρίτου βαθμού

ΓΡΑΜΜΙΚΟΣ & ΔΙΚΤΥΑΚΟΣ ΠΡΟΓΡΑΜΜΑΤΙΣΜΟΣ

Επιστηµονικός Υπολογισµός Ι

Υπολογιστικά & Διακριτά Μαθηματικά

Διδάσκων: Καθηγητής Νικόλαος Μαρμαρίδης, Καθηγητής Ιωάννης Μπεληγιάννης

Επιχειρησιακή Έρευνα

Kεφάλαιο 4. Συστήµατα διαφορικών εξισώσεων.

Αριθµητική Ανάλυση. Ενότητα 4 Αριθµητικός Υπολογισµός Ιδιοτιµών και Ιδιοδιανυσµάτων. Ν. Μ. Μισυρλής. Τµήµα Πληροφορικής και Τηλεπικοινωνιών,

Διδάσκων: Καθηγητής Νικόλαος Μαρμαρίδης, Καθηγητής Ιωάννης Μπεληγιάννης

Αριστοτέλειο Πανεπιστήμιο Θεσσαλονίκης. Λογισμός 3 Ασκήσεις. Μιχάλης Μαριάς Τμήμα Α.Π.Θ.

Λογισμός 3. Ενότητα 18: Θεώρημα Πεπλεγμένων (Ειδική περίπτωση) Μιχ. Γ. Μαριάς Τμήμα Μαθηματικών ΑΝΟΙΚΤΑ ΑΚΑ ΗΜΑΪΚΑ ΜΑΘΗΜΑΤΑ

Διδάσκων: Καθηγητής Νικόλαος Μαρμαρίδης, Καθηγητής Ιωάννης Μπεληγιάννης

ΑΝΑΓΝΩΡΙΣΗ ΠΡΟΤΥΠΩΝ. ΕΝΟΤΗΤΑ: Γραμμικές Συναρτήσεις Διάκρισης. ΔΙΔΑΣΚΟΝΤΕΣ: Βλάμος Π. Αυλωνίτης Μ. ΙΟΝΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΤΜΗΜΑ ΠΛΗΡΟΦΟΡΙΚΗΣ

[A I 3 ] [I 3 A 1 ].

Ιστορία των Μαθηματικών

Εισαγωγή στον Προγραµµατισµό. Ανάλυση (ή Επιστηµονικοί8 Υπολογισµοί)

Θερμοδυναμική - Εργαστήριο

Transcript:

Επιστηµονικός Υπολογισµός Ι Ενότητα 5 : Επίλυση Γραµµικών Συστηµάτων Ευστράτιος Γαλλόπουλος Τµήµα Μηχανικών Η/Υ & Πληροφορικής

Αδειες Χρήσης Το παρόν εκπαιδευτικό υλικό υπόκειται σε άδειες χρήσης Creative Commons. Για εκπαιδευτικό υλικό, όπως εικόνες, που υπόκειται σε άλλου τύπου άδειας χρήσης, η άδεια χρήσης αναφέρεται ϱητώς. Ευστράτιος Γαλλόπουλος c (ΤΜΗΥΠ, Π. Πατρών) Επιστηµονικός Υπολογισµός Ι 22 Νοεµβρίου 2013 1 / 25

Χρηµατοδότηση Το παρόν εκπαιδευτικό υλικό έχει αναπτυχθεί στα πλαίσια του εκπαιδευτικού έργου του διδάσκοντα. Το έργο «Ανοικτά Ακαδηµαϊκά Μαθήµατα στο Πανεπιστήµιο Πατρών» έχει χρηµατοδοτήσει µόνο τη αναδιαµόρφωση του εκπαιδευτικού υλικού. Το έργο υλοποιείται στο πλαίσιο του Επιχειρησιακού Προγράµµατος «Εκπαίδευση και ια Βίου Μάθηση» και συγχρηµατοδοτείται από την Ευρωπαϊκή Ενωση (Ευρωπαϊκό Κοινωνικό Ταµείο) και από εθνικούς πόρους. Ευστράτιος Γαλλόπουλος c (ΤΜΗΥΠ, Π. Πατρών) Επιστηµονικός Υπολογισµός Ι 22 Νοεµβρίου 2013 2 / 25

Σκοπός Ενότητας Επίλυση γραµµικών συστηµάτων και εκµετάλλευση ιδιοτήτων του µητρώου Παραγοντοποίηση LU µε µερική οδήγηση Επαναληπτική εκλέπτυνση Συµµετρικά ϑετικά ορισµένα µητρώα Παραγοντοποίηση Cholesky και µέθοδος Συζυγών Κλίσεων (CG) Ευστράτιος Γαλλόπουλος c (ΤΜΗΥΠ, Π. Πατρών) Επιστηµονικός Υπολογισµός Ι 22 Νοεµβρίου 2013 3 / 25

Περιεχόµενα 1 Θεµελιώδη προβλήµατα της ΥΓΑ 2 Επίλυση γραµµικών συστηµάτων 3 Πολυπλοκότητα αντιστροφής 4 Είδη µητρώων Ευστράτιος Γαλλόπουλος c (ΤΜΗΥΠ, Π. Πατρών) Επιστηµονικός Υπολογισµός Ι 22 Νοεµβρίου 2013 4 / 25

Θεµελιώδη προβλήµατα της ΥΓΑ Βασικές πράξεις γραµµικής άλγεβρας ίδονται A R n1 n3, B R n3 n2, C R n1 n2, να υπολογιστεί C + AB. Επίλυση γραµµικού συστηµάτος ίδονται A R n n και b R n. Να υπολογιστεί x R n τ.ώ. Ax = b. Γραµµικά ελάχιστα τετράγωνα ίδονται A R m n ανδ b R m. Να υπολογιστεί x R n που επιλύει arg min x b Ax 2. Πρόβληµα ιδιοτιµών ίδεται A R n n. Να υπολογιστούν τα ιδιοζεύγη λ C και x C n : Ax = λx. Γενικευµένο πρόβληµα ιδιοτιµών ίδονται A, B R n n. Να υπολογιστούν λ C και x C n : Ax = λbx. ιάσπαση ιδιαζουσών τιµών ίδεται A R m n. Να υπολογιστεί διαγώνιο Σ R m n, ορθογώνια U R m m, V R n n : A = UΣV. Συναρτήσεις µητρώων ίδονται A R n n και συνάρτηση f. Να υπολογιστεί το f(a) ή το f(a)b για B R n m ή το Cf(A)B για C R k n. Ευστράτιος Γαλλόπουλος c (ΤΜΗΥΠ, Π. Πατρών) Επιστηµονικός Υπολογισµός Ι 22 Νοεµβρίου 2013 5 / 25

Επίλυση γραµµικών συστηµάτων Γενική συνοπτική περιγραφή: Ορίζονται m γραµµικές εξισώσεις ως προς n ανεξάρτητες µεταβλητές, x = (ξ 1,..., ξ n ), ή f(x) = b, ή f 1 (x) = β 1, δηλ. α 1,1 ξ 1 + + α 1,n ξ n = β 1. f m (x) = β m, δηλ. α m,1 ξ 1 + + α m,n ξ n = β m και ϑέλουµε να υπολογίσουµε το x για το οποίο ικανοποιούνται οι εξισώσεις κατά τον καλύτερο δυνατό τρόπο. Ευστράτιος Γαλλόπουλος c (ΤΜΗΥΠ, Π. Πατρών) Επιστηµονικός Υπολογισµός Ι 22 Νοεµβρίου 2013 7 / 25

Επίλυση γραµµικών συστηµάτων Γενική συνοπτική περιγραφή: Ορίζονται m γραµµικές εξισώσεις ως προς n ανεξάρτητες µεταβλητές, x = (ξ 1,..., ξ n ), ή f(x) = b, ή f 1 (x) = β 1, δηλ. α 1,1 ξ 1 + + α 1,n ξ n = β 1. f m (x) = β m, δηλ. α m,1 ξ 1 + + α m,n ξ n = β m και ϑέλουµε να υπολογίσουµε το x για το οποίο ικανοποιούνται οι εξισώσεις κατά τον καλύτερο δυνατό τρόπο.συνοψίζοντας τους συντελεστές µε το µητρώο A, διακρίνουµε τις εξής περιπτώσεις: m = n εύρεση x τ.ώ. Ax = b Ευστράτιος Γαλλόπουλος c (ΤΜΗΥΠ, Π. Πατρών) Επιστηµονικός Υπολογισµός Ι 22 Νοεµβρίου 2013 7 / 25

Επίλυση γραµµικών συστηµάτων Γενική συνοπτική περιγραφή: Ορίζονται m γραµµικές εξισώσεις ως προς n ανεξάρτητες µεταβλητές, x = (ξ 1,..., ξ n ), ή f(x) = b, ή f 1 (x) = β 1, δηλ. α 1,1 ξ 1 + + α 1,n ξ n = β 1. f m (x) = β m, δηλ. α m,1 ξ 1 + + α m,n ξ n = β m και ϑέλουµε να υπολογίσουµε το x για το οποίο ικανοποιούνται οι εξισώσεις κατά τον καλύτερο δυνατό τρόπο.συνοψίζοντας τους συντελεστές µε το µητρώο A, διακρίνουµε τις εξής περιπτώσεις: m = n εύρεση x τ.ώ. Ax = b Κεφ. 5, 7 Ευστράτιος Γαλλόπουλος c (ΤΜΗΥΠ, Π. Πατρών) Επιστηµονικός Υπολογισµός Ι 22 Νοεµβρίου 2013 7 / 25

Επίλυση γραµµικών συστηµάτων Γενική συνοπτική περιγραφή: Ορίζονται m γραµµικές εξισώσεις ως προς n ανεξάρτητες µεταβλητές, x = (ξ 1,..., ξ n ), ή f(x) = b, ή f 1 (x) = β 1, δηλ. α 1,1 ξ 1 + + α 1,n ξ n = β 1. f m (x) = β m, δηλ. α m,1 ξ 1 + + α m,n ξ n = β m και ϑέλουµε να υπολογίσουµε το x για το οποίο ικανοποιούνται οι εξισώσεις κατά τον καλύτερο δυνατό τρόπο.συνοψίζοντας τους συντελεστές µε το µητρώο A, διακρίνουµε τις εξής περιπτώσεις: m = n εύρεση x τ.ώ. Ax = b Κεφ. 5, 7 m n εύρεση/επιλογή ϐέλτιστου x arg min x R n b Ax Κεφ. 6 Ευστράτιος Γαλλόπουλος c (ΤΜΗΥΠ, Π. Πατρών) Επιστηµονικός Υπολογισµός Ι 22 Νοεµβρίου 2013 7 / 25

Μητέρα των προβληµάτων της Υπολ. ΓΑ ΑΓΑ.1 ίνεται n n µητρώο A, διάνυσµα b, n τιµών. Υπολογίστε x τ.ώ. Ax = b. Ευστράτιος Γαλλόπουλος c (ΤΜΗΥΠ, Π. Πατρών) Επιστηµονικός Υπολογισµός Ι 22 Νοεµβρίου 2013 8 / 25

Μητέρα των προβληµάτων της Υπολ. ΓΑ ΑΓΑ.1 ίνεται n n µητρώο A, διάνυσµα b, n τιµών. Υπολογίστε x τ.ώ. Ax = b. Από P.T. Bonoli, Requirements for the Centre for Simulation of Wave Plasma Interactions, 3/2013 Ευστράτιος Γαλλόπουλος c (ΤΜΗΥΠ, Π. Πατρών) Επιστηµονικός Υπολογισµός Ι 22 Νοεµβρίου 2013 8 / 25

Παρατηρήσεις - υπενθυµίσεις Υπενθύµιση: Ποτέ (σχεδόν) µε Cramer. Στη συντριπτική πλειοψηφία των περιπτώσεων ΕΝ ϑέλουµε να υπολογίσουµε το αντίστροφο (ακόµα και αν το γράφουµε ή το «αναφέρουµε» ). Γιατί (1); Αυτό που ενδιαφέρει είναι να υπολογίσουµε το Q = A 1 B ή U = CA 1 ή γενικότερα CA 1 B για δεδοµένα B, C, όπου B έχει n γραµµές και το C έχει n στήλες. Γιατί (2); Οπως αν ϑέλουµε να υπολογίσουµε το β/α για ϐαθµωτούς, κάνουµε διαίρεση και ΕΝ υπολογίζουµε πρώτα γ := 1/α και µετά γβ. Γιατί (3); Το A 1 συνήθως δεν έχει κάποια ειδική δοµή. Π.χ. αν το A τριδιαγώνιο (άρα αποθήκευση σε 3n ϑέσεις), το A 1 πυκνό (άρα αποθήκευση σε n 2 ϑέσεις). Γιατί (4); Ο υπολογισµός του A 1 στοιχίζει λίγο περισσότερο από το να λύσουµε ένα γραµµικό σύστηµα. Ευστράτιος Γαλλόπουλος c (ΤΜΗΥΠ, Π. Πατρών) Επιστηµονικός Υπολογισµός Ι 22 Νοεµβρίου 2013 9 / 25

Για X = A 1 B, αν B R n k αρκεί να λύσουµε AX = B, δηλ. να λύσουµε k γραµµικά συστήµατα µε το ίδιο µητρώο συντελεστών οπότε ϑα αρκέσει µια µόνο παραγοντοποίηση, π.χ. LU. Για Y = CA 1, αν C R m n έχουµε YA = C A Y = C, εποµένως λύνουµε ως προς Y τα m γραµµικά συστήµατα µε το ίδιο µητρώο συντελεστών, A, οπότε πάλι αρκεί µια µόνο παραγοντοποίηση. Για Z = CA 1 B, ϑα µπορούσαµε να υπολογίσυµε Z = C(A 1 B) = CX ή Z = (A C )B = Y B. Η σειρά υπολογισµών που ελαχιστοποιεί τις πράξεις εξαρτάται από τις σχέσεις µεταξύ των m, k, n. Παράδειγµα: Στην ανάλυση δικτύων (π.χ. Social Networks) πολλές ϕορές ϑέλουµε να υπολογίσουµε το λεγόµενο σκορ του Katz για οποιουσδήποτε δύο κόµβους i, j του δικτύου. Αυτό ορίζεται ως k i,j := e i (I αa) 1 e j όπου A είναι το µητρώο γειτνίασης του γραφήµατος (δικτύου) και α µία παράµετρος (επιλεγµένη έτσι ώστε το I αa να είναι αντιστρέψιµο.

Πολυπλοκότητα επίλυσης γραµµικών συστηµάτων (Strassen 69 [Str69]) Υποθέτουµε για ευκολία ότι όποτε απαιτείται αντιστροφή, τα µητρώα που εµπλέκονται είναι αντιστρέψιµα. Εστω η πλοκαδοποίηση του µητρώου µε πλοκάδες µεγέθους n/2 n/2 και η παραγοντοποίηση block LU: ( ) A11 A A = 12 A 21 A 22 = A 1 = = ( I 0 A 21 A 1 11 I ) A 11 A 12 0 A 22 A 21 A 1 11 A 12 }{{} συµπλήρωµα Schur ( A 1 11 A 1 11 A ) ( ) 12S 1 I 0 0 S 1 A 21 A 1 11 I ( A 1 11 + A 1 11 A 12S 1 A 21 A 1 11 A 1 11 A 12S 1 S 1 A 21 A 1 11 S 1 ) Ευστράτιος Γαλλόπουλος c (ΤΜΗΥΠ, Π. Πατρών) Επιστηµονικός Υπολογισµός Ι 22 Νοεµβρίου 2013 11 / 25

ΣΥΜΠΕΡΑΣΜΑ: Αν διαθέτουµε έναν υπερταχύ (Ω = O(n 2+µ ) για µ < 1), αλγόριθµο πολλαπλασιασµού µητρώων, µπορούµε να τον χρησιµοποιήσουµε άµεσα και να κατασκευάσουµε αλγόριθµο αντιστροφής µε ίδια ασυµπτωτική πολυπλοκότητα! Για το αντίστροφο χρειαζόµαστε: 1 Το A 1 11, 2 τα A 1 11 A 12 και A 21 A 1 11, 3 το S 1 = (A 22 A 21 A 1 11 A 12) 1, 4 τα S 1 (A 21 A 1 11 ), (A 1 11 A 12)S 1, 5 και το A 1 11 + (A 1 11 A 12)S 1 (A 21 A 1 Συνολικά 11 ) 2 αντιστροφές µητρώων µεγέθους n/2, και 6 πολλαπλασιασµούς µητρώων µεγέθους n/2, 2 προσθέσεις µητρώων µεγέθους n/2, δηλ. Εποµένως T INV (n) = 2T INV (n/2) + 6T MUL (n/2) + 2T ADD (n/2) και έπεται ότι Θεώρηµα Αν το µητρώο A είναι αντιστρέψιµο, µπορούµε να υπολογίσουµε το αντίστροφό του µε λιγότερες από 5.64n log 7 αριθµητικές πράξεις.

Είδη µητρώων Αλγεβρικές ιδιότητες: γενικό µητρώο (δηλ. καµία ιδιότητα) συµµτερικό ή ερµιτιανό (A = A ), όπου A συµβολίζει το «συζυγές ανάστροφο» του A (αν A R n n προφανώς A = A. κανονικό (AA = A A) ΣΘΟ ( x 0, x Ax > 0). πραγµατικό ορθογώνιο, µιγαδικό ορθοµοναδιαίο (A A = I) οµικές ιδιότητες τριγωνική, Ϲώνης, Hessenberg συµµετρική (A = A ), ερµιτιανή (A = A ) Toeplitz, Hankel, Vandermonde, (low displacement rank matrices),... Ευστράτιος Γαλλόπουλος c (ΤΜΗΥΠ, Π. Πατρών) Επιστηµονικός Υπολογισµός Ι 22 Νοεµβρίου 2013 13 / 25

Βάσει του πλήθους µηδενικών πυκνό αραιό: O(n) το πλήθος των µη µηδενικών τιµών για n n µητρώο. Προσοχή: τη δοµή του µητρώου πρέπει να την αξιοποιούµε 1 στη µέθοδο επίλυσης, 2 στον τρόπο αποθήκευσης (επιλογή δοµής δεδοµένων), 3 στην υλοποίηση της µεθόδου: το πρόγραµµα πρέπει να ανταποκρίνεται στη δοµή. Παρατήρηση: Ορισµένες ϕορές αν το MV µε το A µπορεί να εκτελεστεί µε πράξεις λιγότερες από τετραγωνικές, συµβαίνει και η λύση του Ax = b να µπορεί να υπολογιστεί ταχύτερα από το αναµενόµενο. Παράδειγµα: Μητρώα FFT, circulant, Toeplitz επιδέχονται ταχύτερης διαχείρισης

Θεµελιώδης τεχνική: Μέθοδοι παραγοντοποίησης Εξαιρετικά σηµαντική κατηγορία τεχνικών επίλυσης των ϐασικών προβληµάτων της υπολογιστικής γραµµικής άλγεβρας και όχι µόνον γραµµικών συστηµάτων! στην οποία ϑα αναφερόµαστε ως matrix decomposition διάσπαση ή παραγοντοποίηση µητρώου Οι περισσότερες τεχνικές παραγοντοποίησης αναπτύχθηκαν ανεξάρτητα η ενοποιηµένη παρουσίασή τους οφείλει πολλά στον Alston Householder (1904-1993) αξίζει να δείτε το κλασικό του ϐιβλίο The Theory of Matrices in Numerical Analysis (1964) ϐλ. και το άρθρο του G.W. Stewart [Ste00]. Ευστράτιος Γαλλόπουλος c (ΤΜΗΥΠ, Π. Πατρών) Επιστηµονικός Υπολογισµός Ι 22 Νοεµβρίου 2013 15 / 25

ιασπάσεις/παραγοντοποιήσεις µητρώων Οι κλασικές 6... και µερικές ακόµα LU, PLU LL Cholesky QR, QRP VΛV, VΛV 1 ϕασµατική VTV Schur UΣV SVD QM πολική (ορθογώνιο Q, ΣΘΟ M) WH µη αρνητική παραγοντοποίηση Ευστράτιος Γαλλόπουλος c (ΤΜΗΥΠ, Π. Πατρών) Επιστηµονικός Υπολογισµός Ι 22 Νοεµβρίου 2013 16 / 25

Η κεντρική ιδέα είναι, δοθέντος του A R m n, να προσπαθήσουµε να υπολογίσουµε κατάλληλους παράγοντες C, D, E, τέτοιους ώστε A = CDE ή γενικότερα A CDE όπου οι παράγοντες C, D, E είναι «απλούστεροι» αλλά εµπεριέχουν ό,τι χρειάζεται για το A. Ποια παραγοντοποίηση επιλέγουµε; Γενικά κριτήρια: το πρόβληµα που ϑέλουµε να λύσουµε τα αλγεβρικά χαρακτηριστικά του µητρώου (συµµετρικό ορισµένο, συµµετρικό ηµιορισµένο,...) τα δοµικά χαρακτηριστικά του µητρώου (µέγεθος, πυκνότητα, ειδική µορφή (π.χ. Toeplitz),... ) το Υ/Σ (σειραϊκό, παράλληλο,...) σε µεγάλα προβλήµατα αναζητούµε οικονοµικές προσεγγιστικές παραγοντοποιήσεις

Πλεονεκτήµατα της µεθοδολογίας παραγοντοποίησης 1 1 Μπορεί να εφαρµοστεί σε πολλών ειδών προβλήµατα. 2 Μια παραγοντοποίηση µπορεί να επαναχρησιµοποιηθεί όταν το µητρώο παραµένει το ίδιο. 3 Η µεθοδολογία παραγοντοποίησης ενοποιεί πολλούς αλγορίθµους που συχνά υπολογίζουν το ίδιο αντικείµενο 4 ιευκολύνεται η ανάλυση σφάλµατος α.κ.υ. 5 Πολλές παραγοντοποιήσεις προσφέρουν τη δυνατότητα οικονοµικής ανανέωσης. 6 Επικεντρωνόµενοι σε λίγες παραγοντοποιήσεις που αποτελούν κοινό παρονοµαστή πολλών ειδικότερων προβληµάτων, διευκολύνεται η οργάνωση και σχεδίαση σηµαντικών ϐιβλιοθηκών. 1 Από Stewart 00 Ευστράτιος Γαλλόπουλος c (ΤΜΗΥΠ, Π. Πατρών) Επιστηµονικός Υπολογισµός Ι 22 Νοεµβρίου 2013 18 / 25

«Αναρίθµητες» και νέες εφαρµογές Ευστράτιος Γαλλόπουλος c (ΤΜΗΥΠ, Π. Πατρών) Επιστηµονικός Υπολογισµός Ι 22 Νοεµβρίου 2013 19 / 25

Παραγοντοποιήσεις και χρήσεις τους A = LU όπου L, U κάτω και άνω τριγωνικά αντίστοιχα. A = QR όπου Q, R ορθογώνιο και άνω τριγωνικό αντίστοιχα. A = QΛQ 1 όπου Λ διαγώνιο. Παραδείγµατα Εστω Ax = b τότε Q 1 AQQ 1 x = Q 1 b εποµένως Λy = ˆb. Εποµένως ένας τρόπος επίλυσης είναι να κάνουµε τα εξής ϐήµατα: 1 Υπολογισµός των Q, Λ. Σηµ. αυτό γίνεται µόνο µια ϕορά ανεξάρτητα από τον αριθµό των συστηµάτων που ενδεχοµένως πρέπει να λυθούν. Κόστος C 0. 2 Υπολογισµός του ˆb := Q 1 b, κόστος C 1. 3 Υπολογισµός του ˆx := Λ 1ˆb, κόστος n αρ. πράξεις. 4 Υπολογισµός του x = Qˆx, κόστος C 2. Εφόσον το κόστος της επίλυσης µε κλασικό τρόπο (π.χ. Gauss) είναι Ο(n 3 ), ϑέλουµε C 0 + C 1 + C 2 + O(n) < O(n 3 ) Εστω ότι τα Q, Λ είναι ήδη γνωστά (άρα C 0 = 0. Τότε το ανωτέρω ισχύει αν C 1, C 2 = O(n 2 )) Ευστράτιος Γαλλόπουλος c (ΤΜΗΥΠ, Π. Πατρών) Επιστηµονικός Υπολογισµός Ι 22 Νοεµβρίου 2013 20 / 25

Ταξινόµηση κόστους επίλυσης κοινών συστηµάτων µε παραγοντοποήση Χωρίς να πούµε τίποτα για τους αλγόριθµους επίλυσης αλλά υποθέτοντας ότι δεν χρησιµοποιούµε υπερταχείες µεθόδους τύπου Strassen, ισχύει η παρακάτω ταξινόµηση: Είδος A Ω Είδος A Ω διαγώνιο n διδιαγώνιο O(n) µητρώο Ϲώνης εύρους β = p + q O(npq) τριγωνικό O(n 2 ) ορθογώνιο O(n 2 ) Hessenberg O(n 2 ) ΣΘΟ 1 3 n3 + O(n 2 ) γενικό Ο παραπάνω πίνακας δεν είναι πλήρης. Απουσιάζουν: γενικά αραιά µητρώα πυκνά δοµηµένα µητρώα (dense structured ή data sparse). 2 3 n3 + O(n 2 ) Εξειδικευµένες µέθοδοι αναπτύσσονται σε άλλα µαθήµατα (Επιστηµονικός Υπολ. ΙΙ) Ευστράτιος Γαλλόπουλος c (ΤΜΗΥΠ, Π. Πατρών) Επιστηµονικός Υπολογισµός Ι 22 Νοεµβρίου 2013 21 / 25

Βιβλιογραφία I G.W. Stewart. The decompositional approach in matrix computations. IEEE Computing in Science and Engineering Magazine, pages 50--59, Jan-Feb. 2000. V. Strassen. Gaussian elimination is not optimal. Numer. Math., 13:354--356, 1969. Ε. Γαλλόπουλος. Επιστηµονικός Υπολογισµός Ι. Πανεπιστήµιο Πατρών, 2008. Ευστράτιος Γαλλόπουλος c (ΤΜΗΥΠ, Π. Πατρών) Επιστηµονικός Υπολογισµός Ι 22 Νοεµβρίου 2013 22 / 25

Χρήση Εργου Τρίτων I 1 http://epubs.siam.org/doi/pdf/10.1137/siread000052000004000771000001 (ϐλ. σελ 6) 2 http://www.eecs.berkeley.edu/faculty/photos/homepages/parlett.jpg (ϐλ. σελ 6) 3 http://www.amazon.com/turings-report-1946-other-papers/dp/0262031140 (ϐλ. σελ 8) 4 https://images-na.ssl-images-amazon.com/images/i/51zb8b9kjml._uy250_.jpg (ϐλ. σελ 19) 5 https://www.cs.purdue.edu/homes/dgleich/publications/gleich2004-parallel.pdf (ϐλ. σελ 19) 6 https://www.brighttalk.com/webcast/9059/98819 (ϐλ. σελ 19) Ευστράτιος Γαλλόπουλος c (ΤΜΗΥΠ, Π. Πατρών) Επιστηµονικός Υπολογισµός Ι 22 Νοεµβρίου 2013 23 / 25

Σηµείωµα Αναφοράς Copyright Πανεπιστήµιο Πατρών - Ευστράτιος Γαλλόπουλος 2015 Επιστηµονικός Υπολογισµός Ι, Εκδοση: 1.0, Πάτρα 2013-2014. ιαθέσιµο από τη δικτυακή διεύθυνση: https://eclass.upatras.gr/courses/ceid1096/ Ευστράτιος Γαλλόπουλος c (ΤΜΗΥΠ, Π. Πατρών) Επιστηµονικός Υπολογισµός Ι 22 Νοεµβρίου 2013 24 / 25

Τέλος Ενότητας Ευστράτιος Γαλλόπουλος c (ΤΜΗΥΠ, Π. Πατρών) Επιστηµονικός Υπολογισµός Ι 22 Νοεµβρίου 2013 25 / 25