HY213. ΑΡΙΘΜΗΤΙΚΗ ΑΝΑΛΥΣΗ ΕΛΑΧΙΣΤΑ ΤΕΤΡΑΓΩΝΑ AΝΑΛΥΣΗ ΙΔΙΑΖΟΥΣΩΝ ΤΙΜΩΝ

Transcript

1 HY3. ΑΡΙΘΜΗΤΙΚΗ ΑΝΑΛΥΣΗ ΕΛΑΧΙΣΤΑ ΤΕΤΡΑΓΩΝΑ AΝΑΛΥΣΗ ΙΔΙΑΖΟΥΣΩΝ ΤΙΜΩΝ Π. ΤΣΟΜΠΑΝΟΠΟΥΛΟΥ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΙΑΣ ΤΜΗΜΑ ΗΛΕΚΤΡΟΛΟΓΩΝ ΜΗΧΑΝΙΚΩΝ & ΜΗΧΑΝΙΚΩΝ ΥΠΟΛΟΓΙΣΤΩΝ

2 Μέθοδος ελαχίστων τετραγώνων Τα σφάλματα στις πειραματικές μετρήσεις από παρατηρήσεις και πειράματα είναι αναπόφευκτα. Για να εξομαλύνουμε τα σφάλματα λαμβάνουμε μέσο όρο από πολλές περιπτώσειςπ.χ. λαμβάνοντας περισσότερες μετρήσεις από ότι χρειαζόμαστε για να υπολογίσουμε κάποιες παραμέτρους. Το σύστημα στο οποίο καταλήγουμε είναι υπερπροσδιορισμένο. Προβολή των δεδομένων μεγαλύτερης διάστασης σε χώρους μικρότερης διάστασης για να αφαιρέσουμε τις άσχετες λεπτομέρειες. Η προβολή στο χώρο μικρότερης διάστασης επιτυγχάνεται με τη μέθοδο των ελαχίστων τετραγώνων. HY3 ΤΗΜΜΥ Πανεπιστήμιο Θεσσαλίας

3 Παράδειγμα: Data Fttg Με δοσμένα τα m σημεία υπολογίστε το -διάστατο διάνυσμα c που καθορίζει τη συνάρτηση fc η οποία προσεγγίζει τα δεδομένα με τον καλύτερο δυνατό τρόπο: m c m f c Αν φ φ...φ η βάση του χώρου που ανήκει η f τότε: f c c c... c Σε μορφή πινάκων το σύστημα γράφεται Ac με α j = φ j και = 3 HY3 ΤΗΜΜΥ Πανεπιστήμιο Θεσσαλίας ota@f.uth.gr

4 Παράδειγμα: Data Fttg Αν φ φ...φ είναι πολυώνυμα τότε: f c c... οπότε το c περιέχει τους συντελεστές του πολυωνύμου και το πρόβλημα της προσέγγισης είναι γραμμικό. Αν φ φ...φ είναι εκθετικές συναρτήσεις τότε: c c4 fc c c3... c- όπου το πρόβλημα είναι μη-γραμμικό γιατί;;;. c Θα μελετήσουμε μόνο γραμμικά προβλήματα ελαχίστων τετραγώνων. c c 4 HY3 ΤΗΜΜΥ Πανεπιστήμιο Θεσσαλίας ota@f.uth.gr

5 Παράδειγμα: Data Fttg Προσέγγιση με τη μέθοδο ελαχίστων τετραγώνων 5 σημείων με πολυώνυμο ου βαθμού: όπου ο πίνακας Α είναι τύπου Vadrmod. ota@f.uth.gr HY3 ΤΗΜΜΥ Πανεπιστήμιο Θεσσαλίας 5 c c c Ac

6 Παράδειγμα: Data Fttg Με σημεία τα τότε: Ac c 0.0 c 0.5 c η μέθοδος ελαχίστων τετραγώνων δίνει λύση την [ ] οπότε το πολυώνυμο είναι: p HY3 ΤΗΜΜΥ Πανεπιστήμιο Θεσσαλίας ota@f.uth.gr

7 Παράδειγμα: Data Fttg Τα 5 σημεία και το πολυώνυμο που τα προσεγγίζει HY3 ΤΗΜΜΥ Πανεπιστήμιο Θεσσαλίας ota@f.uth.gr

8 Μέθοδος ελαχίστων τετραγώνων Για γραμμικά προβλήματα που καταλήγουν σε υπερπροσδιορισμένα γραμμικά συστήματα A= με τον Α να είναι διάστασης m και m>. Επειδή το σύστημα δεν λύνεται ακριβώς όταν m> συνήθως γράφουμε A. Η μέθοδος των ελαχίστων τετραγώνων υπολογίζει το έτσι ώστε να ελαχιστοποιεί την Ευκλείδεια νόρμα του υπολοίπου: m r m A 8 HY3 ΤΗΜΜΥ Πανεπιστήμιο Θεσσαλίας ota@f.uth.gr

9 Ύπαρξη και μοναδικότητα της λύσης. Το πρόβλημα των ελαχίστων τετραγώνων A έχει πάντα λύση. Η λύση είναι μοναδική αν και μόνο αν οι στήλες του Α είναι γραμμικά ανεξάρτητες δηλ. raka = αφού m>. Αν raka< τότε η λύση δεν είναι μοναδική. Στα προβλήματα που θα λύσουμε θα ισχύει raka =. 9 HY3 ΤΗΜΜΥ Πανεπιστήμιο Θεσσαλίας ota@f.uth.gr

10 Αναγκαίες μαθηματικές έννοιες. Γραμμικοί χώροι. Εσωτερικό γινόμενο. Νόρμα. Βέλτιστη προσέγγιση. Βάσεις. Ορθογώνιες βάσεις. 0 HY3 ΤΗΜΜΥ Πανεπιστήμιο Θεσσαλίας ota@f.uth.gr

11 Γραμμικοί χώροι - Εσωτερικό γινόμενο. Ορισμός: Γραμμικός χώρος X είναι ένας χώρος εφοδιασμένος με πρόσθεση και με πολλαπλασιασμό με πραγματικό αριθμό. Ορισμός: Μία απεικόνιση..: X XR λέγεται εσωτερικό γινόμενο αν ικανοποιεί τις ιδιότητες: {0} 0 X X X X z z z z ota@f.uth.gr HY3 ΤΗΜΜΥ Πανεπιστήμιο Θεσσαλίας

12 Παραδείγματα. Εσωτερικό γινόμενο στον R : Εσωτερικά γινόμενα στον C[a] : d ac R d c a ota@f.uth.gr HY3 ΤΗΜΜΥ Πανεπιστήμιο Θεσσαλίας a a d g f w g f a C g f d g f g f a C g f. ] [ ή ] [

13 Νόρμα ή στάθμη ή απόσταση. Ορισμός: Μία απεικόνιση..: X XR λέγεται νόρμα αν ικανοποιεί τις ιδιότητες: X X R X 0 0 ota@f.uth.gr HY3 ΤΗΜΜΥ Πανεπιστήμιο Θεσσαλίας 3

14 Παραδείγματα. Νόρμα στον R : Νόρμες στον C[a]: a R a. ma ] [ ] [ f f a C f d f f a C f a a ota@f.uth.gr HY3 ΤΗΜΜΥ Πανεπιστήμιο Θεσσαλίας 4 ] [ ] [ a w a d f w f a C f d f f a C f

15 Βάσεις Ορθογώνιες Βάσεις. Ορισμός: Έστω Χ.. ένας γραμμικός χώρος με εσωτερικό γινόμενο ένα υποσύνολο σύνολο του {... } λέγεται βάση ανν : X aa...a R a Ορισμός: Έστω Χ.. ένας γραμμικός χώρος με εσωτερικό γινόμενο ένα υποσύνολο σύνολο του {... } λέγεται ορθογώνια βάση ανν είναι βάση και ισχύει: j 0 j 5 HY3 ΤΗΜΜΥ Πανεπιστήμιο Θεσσαλίας ota@f.uth.gr

16 Βάσεις συνέχεια. Έστω Χ.. γραμμικός χώρος με εσωτερικό γινόμενο τότε από το εσωτερικό γινόμενο ορίζεται η νόρμα: X Έστω Χ.. γραμμικός χώρος με εσωτερικό γινόμενο Υ υποσύνολο του Χ στοιχείο του Χ η βέλτιστη προσέγγιση του μέσα στο Υ με βάση τη νόρμα που παράγεται από το εσ. γιν. και {z } =... βάση του Υ τότε ισχύει: z z... 6 HY3 ΤΗΜΜΥ Πανεπιστήμιο Θεσσαλίας ota@f.uth.gr

17 Ορθογωνιότητα. Δύο διανύσματα v v λέγονται ορθογώνια ανν το εσωτερικό τους γινόμενο είναι 0 v Τ v =0. Ο χώρος που παράγεται από τον A spaa ={A: Є R } είναι διάστασης το πολύ. Aν m> τότε το δεν ανήκει γενικά στον spaa το σύστημα A= δεν έχει λύση. Το διάνυσμα =A στον spaa είναι η βέλτιστη προσέγγιση του ως προς την. νόρμα όταν το υπόλοιπο είναι κάθετο στο χώρο spaa: 0 A r A A A A A 7 HY3 ΤΗΜΜΥ Πανεπιστήμιο Θεσσαλίας ota@f.uth.gr

18 Βέλτιστη προσέγγιση. Ορισμός: Έστω Χ. ένας γραμμικός χώρος με νόρμα Υ ένα υποσύνολο του Χ και στοιχείο του Χ. Ένα στοιχείο του Υ είναι λέγεται βέλτιστη προσέγγιση ή προβολή του στον Υ του ανν ισχύει: Χ - Y z Y z ο Υ λέγεται χώρος προσέγγισης. 8 HY3 ΤΗΜΜΥ Πανεπιστήμιο Θεσσαλίας ota@f.uth.gr

19 Ορθογωνιότητα Ιδιότητα της Βέλτιστης προσέγγισης. Το διάνυσμα =A στον spaa είναι η βέλτιστη προσέγγιση του ώς προς την. νόρμα εμφανίζεται όταν το υπόλοιπο είναι κάθετο στο χώρο spaa: r=-a θ =A SpaA 0 A r A A A A A 9 HY3 ΤΗΜΜΥ Πανεπιστήμιο Θεσσαλίας ota@f.uth.gr

20 Ψευδοαντίστροφος και δείκτης κατάστασης. Για ένα πίνακα Α m δεν υπάρχει αντίστροφος με τη γνωστή έννοια. Αν raka= o ψευδοαντίστροφος ορίζεται ως: A A A A και coda A A Αν raka< τότε coda Η λύση των ελαχίστων τετραγώνων για το σύστημα A είναι A 0 HY3 ΤΗΜΜΥ Πανεπιστήμιο Θεσσαλίας ota@f.uth.gr

21 Ευαισθησία και συνθήκες Η μέθοδος των ελαχίστων τετραγώνων επηρεάζεται τόσο από τον πίνακα Α όσο και από το διάνυσμα. Η γωνία θ μεταξύ του =A και του σαν: Το σχετικό σφάλμα φράσσεται: ή Δ Δ cos cod coda cosθ A Ataθ Δ coda ΔA A HY3 ΤΗΜΜΥ Πανεπιστήμιο Θεσσαλίας ota@f.uth.gr

22 Κανονικές εξισώσεις. Τα ελάχιστα τετράγωνα ελαχιστοποιούν το τετράγωνο της Ευκλείδειας νόρμας του υπολοίπου: r r Για να ελαχιστοποιήσουμε το υπόλοιπο: r r r r παραγωγίζουμε ως προς την θέτουμε ίση με 0 και λύνουμε ως προς : A όπου το τελευταίο σύστημα είναι και ονομάζεται σύστημα κανονικών εξισώσεων. r A A A A A A 0 A A A A A HY3 ΤΗΜΜΥ Πανεπιστήμιο Θεσσαλίας ota@f.uth.gr

23 Μέθοδος Κανονικών Εξισώσεων Αν ο m πίνακας Α έχει τάξη τότε ο συμμετρικός πίνακας Α Τ Α είναι θετικά ορισμένος οπότε η παραγοντοποίηση Cholsk: A A LL μπορεί να χρησιμοποιηθεί για τη λύση του συστήματος: A A A που έχει την ίδια λύση με αυτή του προβλήματος των γραμμικών ελαχίστων τετραγώνων. A 3 HY3 ΤΗΜΜΥ Πανεπιστήμιο Θεσσαλίας ota@f.uth.gr

24 Παράδειγμα: Μέθοδος Κανονικών Εξισώσεων Με σημεία τα τότε: A A A HY3 ΤΗΜΜΥ Πανεπιστήμιο Θεσσαλίας ota@f.uth.gr

25 Παράδειγμα: Μέθοδος Κανονικών Εξισώσεων Η παραγοντοποίηση Cholsk για τον Α Τ Α δίνει: A A LL HY3 ΤΗΜΜΥ Πανεπιστήμιο Θεσσαλίας ota@f.uth.gr

26 Παράδειγμα: Μέθοδος Κανονικών Εξισώσεων Λύνοντας το κάτω τριγωνικό σύστημα Lz=A με προς τα εμπρός αντικατάσταση έχουμε:.789 z Λύνοντας το άνω τριγωνικό σύστημα L =z με προς τα πίσω αντικατάσταση έχουμε την λύση των ελαχίστων τετραγώνων: HY3 ΤΗΜΜΥ Πανεπιστήμιο Θεσσαλίας ota@f.uth.gr

27 Προσέγγιση συναρτήσεων. Υψηλή ακρίβεια 6-30 δεκαδ. ψηφία. Ανυπαρξία αβεβαιότητας στη συνάρτηση. Χρήση όλων των ιδιοτήτων της συνάρτησης για μείωση πολυπλοκότητας. 7 HY3 ΤΗΜΜΥ Πανεπιστήμιο Θεσσαλίας ota@f.uth.gr

28 Αναπαράσταση δεδομένων. Μεσαία ακρίβεια -5 δεκαδ. ψηφία. Μικρή αβεβαιότητα στα δεδομένα. Μικρή αλλά ικανή πληροφορία για τα δεδομένα π.χ. μεταβάλλονται εκθετικά. Δύσκολο να εμπλουτίσουμε το δείγμα μας. 8 HY3 ΤΗΜΜΥ Πανεπιστήμιο Θεσσαλίας ota@f.uth.gr

29 Ανάλυση δεδομένων. Χαμηλή ακρίβεια δεκαδ. ψηφία. Μεγάλη αβεβαιότητα στα δεδομένα. Καμία πληροφορία για τα δεδομένα. Δύσκολο να εμπλουτίσουμε το δείγμα μας. 9 HY3 ΤΗΜΜΥ Πανεπιστήμιο Θεσσαλίας ota@f.uth.gr

30 Διακριτά ελάχιστα τετράγωνα - Προσέγγιση δεδομένων. Έστω =... m =... m διανύσματα του R m που περιέχουν τις τετμημένες και τεταγμένες των δεδομένων. Για να προσεγγίσουμε τα σημεία με μια συνάρτηση με το βέλτιστο τρόπο στον R ως προς την Ευκλείδεια νόρμα. η οποία ορίζεται ως: z R m z m z αρκεί να υπολογίσουμε τους συντελεστές της f ως προς το σύστημα βάσης συναρτήσεων που επιθυμούμε να χρησιμοποιήσουμε. Αν {φ =...} είναι οι συναρτήσεις βάσης τότε f c Eπιθυμούμε να ελαχιστοποιήσουμε: ~ f f m ~ c 30 HY3 ΤΗΜΜΥ Πανεπιστήμιο Θεσσαλίας ota@f.uth.gr

31 Ελαχιστοποιούμε την ποσότητα: σε μορφή πίνακα κανονικές εξισώσεις: Ερώτηση: Ποια η διαφορά μεταξύ των πινάκων από τις κανονικές εξισώσεις στην προσέγγιση συναρτήσεων και διακριτών δεδομένων; j p Pc m k k k m k k j k j k c r r k m j... 0 c ~ j j ota@f.uth.gr HY3 ΤΗΜΜΥ Πανεπιστήμιο Θεσσαλίας 3

32 Εκτίμηση σφάλματος προσέγγισης δεδομένων a-postror. ~ 3 HY3 ΤΗΜΜΥ Πανεπιστήμιο Θεσσαλίας ota@f.uth.gr

33 Εκτίμηση σφάλματος προσέγγισης δεδομένων a-postror. ~ 33 HY3 ΤΗΜΜΥ Πανεπιστήμιο Θεσσαλίας ota@f.uth.gr

34 Διακριτά ελάχιστα τετράγωνα - Προσέγγιση δεδομένων με ευθεία. Έστω =... m =... m διανύσματα του R m που περιέχουν τις τετμημένες και τεταγμένες των δεδομένων. Για να προσεγγίσουμε τα σημεία με μια ευθεία με το βέλτιστο τρόπο στον R m ως προς την Ευκλείδεια νόρμα. η οποία ορίζεται ως: z R m αρκεί να υπολογίσουμε τα α 0 και α αν η ευθεία είναι η =α 0 -α z m z ώστε η ποσότητα να είναι η ελάχιστη δυνατή: ~ a 0 a Ανάλογα δουλεύουμε αν προσεγγίζουμε με παραβολή ή με πολυώνυμο μεγαλύτερου βαθμού. 34 HY3 ΤΗΜΜΥ Πανεπιστήμιο Θεσσαλίας ota@f.uth.gr

35 Παράδειγμα: σε μορφή πίνακα κανονικές εξισώσεις: m m m m m m P Pc ota@f.uth.gr HY3 ΤΗΜΜΥ Πανεπιστήμιο Θεσσαλίας 35

36 Προσέγγιση συναρτήσεων. Αν Χ είναι ο χώρος των ομαλών συναρτήσεων με πεδίο ορισμού το [a ] και Υ ο χώρος προσέγγισης με βάση {B } =... τότε αν τότε η βέλτιστη προσέγγιση Y έχει τη μορφή f X και ισχύει f B κανονικές εξισώσεις. j B j a B f B j a B B j j HY3 ΤΗΜΜΥ Πανεπιστήμιο Θεσσαλίας ota@f.uth.gr

37 Προσέγγιση συναρτήσεων συνέχεια. Το σύστημα που προκύπτει έχει τη μορφή: όπου αν η βάση είναι ορθογώνια ισχύει: j B B B f a B f B f B f a a a B B B B B B j B B j j j j j B f B f a a B B B B B B B B ota@f.uth.gr HY3 ΤΗΜΜΥ Πανεπιστήμιο Θεσσαλίας 37

38 Προσέγγιση συναρτήσεων συνέχεια. Αν Χ είναι ο χώρος των ομαλών συναρτήσεων με πεδίο ορισμού το [a ] και χώρος προσέγγισης είναι ο χώρος των πολυωνύμων βαθμού P [α] και αν τότε η βέλτιστη προσέγγιση p P [ a ] έχει τη μορφή f X p a a a a... 0 και ισχύει f p f p p P [ a ] ως προς τη συγκεκριμένη νόρμα. 38 HY3 ΤΗΜΜΥ Πανεπιστήμιο Θεσσαλίας ota@f.uth.gr

39 Προσέγγιση συναρτήσεων συνέχεια. Τα μονώνυμα δεν αποτελούν ορθογώνια βάση. Ορθοκανονικοποίηση Gram-Schmdt: Αν... βάση του χώρου Χ τότε μπορούμε να κατασκευάσουμε μια ορθοκανονική βάση... του χώρου Χ. Απόδειξη: Ορίζουμε Θέτουμε:... HY3 ΤΗΜΜΥ Πανεπιστήμιο Θεσσαλίας 39...

40 Προσέγγιση συναρτήσεων συνέχεια. Ανισότητα Bssl: Αν ЄΧ βέλτιστη προσέγγιση του ЄΧ τότε και αν... ορθοκανονική βάση του Χ τότε ισχύει: Απόδειξη: Γνωρίζουμε ότι - =0 άρα Επίσης: ota@f.uth.gr HY3 ΤΗΜΜΥ Πανεπιστήμιο Θεσσαλίας 40

41 Ορθογώνια πολυώνυμα. Θεώρημα: Έστω w μια συνάρτηση βάρουςεσωτερικό γινόμενο τότε υπάρχουν μοναδικά πολυώνυμα p Є P τα οποία είναι ορθογώνια ως προς το.. w και ισχύει: και όπου η ταυτοτική συνάρτηση ˆ p p p p p p p p a w w w w ˆ ota@f.uth.gr HY3 ΤΗΜΜΥ Πανεπιστήμιο Θεσσαλίας p β p a p p p

42 Ορθογώνια πολυώνυμα συνέχεια. Πολυώνυμα Lgdr: Αν w= και το πεδίο ορισμού των συναρτήσεων είναι το [-] τότε τα ορθογώνια πολυώνυμα p ονομάζονται πολυώνυμα Lgdr και ισχύει : γ p και P γ p P 0 P P P P 4 HY3 ΤΗΜΜΥ Πανεπιστήμιο Θεσσαλίας ota@f.uth.gr

43 Ορθογώνια πολυώνυμα συνέχεια. Πολυώνυμα Chchv: Αν w=- α + β α=β=/ και το πεδίο ορισμού των συναρτήσεων είναι το [-] τότε τα ορθογώνια πολυώνυμα Τ ονομάζονται πολυώνυμα Chchv και ισχύει : cos ή arccos Τ0 43 HY3 ΤΗΜΜΥ Πανεπιστήμιο Θεσσαλίας ota@f.uth.gr

44 Εκτίμηση σφάλματος προσέγγισης συνάρτησης a-postror. f 44 HY3 ΤΗΜΜΥ Πανεπιστήμιο Θεσσαλίας ota@f.uth.gr

45 Κανονικές Εξισώσεις. Σοβαρά μειονεκτήματα: Ο δείκτης κατάστασης του Ρ είναι μεγάλος. Αν οι συναρτήσεις βάσεις δεν είναι ορθογώνιες τότε ο Ρ μπορεί είναι «σχεδόν μη αντιστρέψιμος». Αντιμετώπιση με μετασχηματισμούς Housholdr. Ορισμός: Ένας τετραγωνικός πίνακας U λέγεται ορθοκανονικός ανν U U=I δηλαδή ο ανάστροφος του είναι και ο αντίστροφος του. 45 HY3 ΤΗΜΜΥ Πανεπιστήμιο Θεσσαλίας ota@f.uth.gr

46 Πέμπτη 3 Απριλίου 05 0:6 πμ Σελίδα

47 Σελίδα

48 Σελίδα 3

49 Σελίδα 4

50 Σελίδα 5

51 Σελίδα 6

52 Σελίδα 7

53 Σελίδα 8