6 ΕΠΑΝΑΛΗΠΤΙΚΕΣ ΔΙΑΔΙΚΑΣΙΕΣ ΓΙΑ ΠΡΟΣΕΓΓΙΣΗ ΛΥΣΕΩΝ

6 ΕΠΑΝΑΛΗΠΤΙΚΕΣ ΔΙΑΔΙΚΑΣΙΕΣ ΓΙΑ ΠΡΟΣΕΓΓΙΣΗ ΛΥΣΕΩΝ

0 ΑΛΓΟΡΙΘΜΟΙ: εισαγωγικά θέματα και παραδείγματα 6. Εισαγωγή Μια επαναληπτική μέθοδος παράγει μια ακολουθία στοιχείων με επανάληψη μιας της ίδιας κατά κανόνα) διαδικασίας. Μπορούμε να εκφράσουμε τη διαδικασία παραγωγής στοιχείων στη μορφή = F - -m ) m 6.-) σύμφωνα με την οποία ο "-στος" όρος παράγεται από τους προηγούμενους m όρους μέσω κάποιου μηχανισμού F. Δίνονται ή έχουν κάπως επιτευχθεί τα στοιχεία 0 m- m ώστε να μπορεί να αρχίσει η εφαρμογή της διαδικασίας. Ιδιαίτερα αν m= έχουμε την διαδικασία παραγωγής = F - ) 6.-) όπου δίνεται μόνο ο αρχικός όρος 0 και κάθε φορά παράγεται ένας νέος όρος από ένα προηγούμενο. Επομένως τόσο η 6.-) όσο και η ειδική της περίπτωση 6.-) εκφράζουν απλά την εφαρμογή μιας αναδρομικής σχέσης για την παραγωγή των στοιχείων μιας ακολουθίας. Για την ακολουθία Fboncc λ.χ. ισχύει m= στην 6.-) και F - - ) = - -. Η διαφορά από τη συνήθη αναδρομικότητα είναι ότι με τον όρο "επαναληπτική μέθοδος" εννοούμε πρωτίστως την παραγωγή μιας ακολουθίας { } η οποία θέλουμε να συγκλίνει σε κάποιο όριο lm =. 6.-) Υπό την έννοια αυτή οι όροι της ακολουθίας ελπίζεται ότι αποτελούν διαδοχικές προσεγγίσεις σε κάποια άγνωστη λύση. Η επαναληπτική διαδικασία αποτελεί ίσως τον πιο παλιό και πιο φυσικό τρόπο προσέγγισης λύσεων. Η διαδοχική προσέγγιση του εμβαδού του κύκλου από τον Αρχιμήδη 87- π.χ.) με το εμβαδόν εγγεγραμμένων ορθογωνίων απετέλεσε στην ουσία την εφεύρεση του ολοκληρωτικού λογισμού και των μεθόδων αριθμητικής ολοκλήρωσης όπου το δύσκολο) ολοκλήρωμα μιας συνάρτησης προσεγγίζεται από μια ακολουθία εύκολων) ολοκληρωμάτων. Μια επαναληπτική τεχνική αποδίδεται και στους Βαβυλώνιους πριν το 500 π.χ. Στο σύγχρονο κόσμο προβλήματα μεγάλης πολυπλοκότητας λύνονται με επαναληπτικές τεχνικές οι οποίες χρησιμοποιούνται σε περίπου όλες τις αποκαλούμενες "επιστημονικές προκλήσεις" και σε πληθώρα ιδιαίτερα σημαντικών προβλημάτων. Τέλος σαν ένα πολύ απλό παράδειγμα από την φύση προκειμένου ο ανθρώπινος εγκέφαλος να κατευθύνει π.χ. την κίνηση του χεριού δεν χρησιμοποιεί προφανώς γεωμετρικές συντεταγμένες και υπολογισμούς που εμπλέκουν φυσικούς νόμους αλλά προβαίνει σε μια διαδοχική ακολουθία διορθώσεων της κίνησης του χεριού.

6. ΕΠΑΝΑΛΗΠΤΙΚΕΣ ΔΙΑΔΙΚΑΣΙΕΣ ΓΙΑ ΠΡΟΣΕΓΓΙΣΗ ΛΥΣΕΩΝ 05 Στο κεφάλαιο αυτό επιχειρούμε μόνο μια πρώτη γνωριμία με τις επαναληπτικές μεθόδους. Η απαραίτητη μαθηματική βάση παρέχεται στην 6. χωρίς ακριβείς μαθηματικούς ορισμούς. Η όλη προσέγγιση είναι πιο πολύ διαισθητική παρά μαθηματική. Στη συνέχεια περιγράφουμε μερικές από τις πιο γνωστές επαναληπτικές μεθόδους χωρίς να επιμείνουμε σε ανάλυση τους και χωρίς να εξηγούμε λεπτομέρειες π.χ. ως προς τον τερματισμό της διαδικασίας παραγωγής όρων ή ως προς τη σύγκλιση. Οι καλούμενες "μέθοδοι εγκλεισμού" αποτελούν μια ιδιαίτερη κατηγορία μεθόδων και συζητούνται στην 6.. Μια κλασσική μέθοδος για βελτιστοποίηση αυτή της "πλέον απόκρημνης κατωφέρειας" παρουσιάζεται στην 6.. Η μέθοδος αυτή εντάσσεται στις μεθόδους απληστίας και μπορεί να εφαρμοστεί και για την επίλυση συστημάτων. Συνδέεται έτσι και με άλλες κλασσικές μεθόδους που περιγράφονται στην συνέχεια και είναι οι μέθοδοι Jcob και Gss- Sedel 6.5) όπως και η "χαλάρωση" και η μέθοδος SOR 6.6). Παραδοσιακά οι επαναληπτικές τεχνικές για επίλυση συστημάτων έχουν διερευνηθεί μόνο για πίνακες συμμετρικούς και με άλλες επιπλέον ιδιότητες βλ. π.χ. [HPS88] για πίνακες μη συμμετρικούς και χωρίς τις επιθυμητές ιδιότητες). 6. Μαθηματικά Θέματα Στις περισσότερες περιπτώσεις απαιτείται ισχυρό μαθηματικό υπόβαθρο για την θεμελίωση και ανάλυση των επαναληπτικών μεθόδων. Στο κεφάλαιο αυτό μας ενδιαφέρει πιο πολύ η γνωριμία με μερικές μεθόδους και η απόκτηση καλής διαίσθησης γι' αυτές οπότε θα αποφύγουμε σε μεγάλο βαθμό τα μαθηματικά που απαιτούνται με κάποιο σημαντικό) κόστος. Ακολουθούν μερικές ελάχιστες υπενθυμίσεις: α) Για να έχει έννοια η παραγωγή διαδοχικών προσεγγίσεων και το όριο 6.-) χρειάζεται πρώτα η άγνωστη λύση και τα προσεγγίζοντα στοιχεία να είναι ομοειδή να ανήκουν δηλαδή στον ίδιο χώρο. Επιπλέον ο χώρος αυτός πρέπει να είναι εφοδιασμένος με μια μετρική ώστε να υπάρχει η έννοια της απόστασης μεταξύ δυο στοιχείων του. Τότε η έννοια του ορίου 6.- )είναι ότι η ακολουθία των αποστάσεων μεταξύ και που είναι ακολουθία μη αρνητικών αριθμών θ συγκλίνει στο μηδέν με τους γνωστούς ορισμούς του ορίου πραγματικών πλέον αριθμών. β) Ο χώρος ενδιαφέροντος συνηθίζεται να είναι πλήρης με την έννοια ότι μια ακολουθία συγκλίνει σε κάποιο όριο τότε και μόνον τότε όταν οι όροι της ακολουθίας "συνωστίζονται" μεταξύ τους όσο κοντά θέλουμε. Χρειαζόμαστε το κριτήριο αυτό γιατί δεν γνωρίζουμε την θεωρητική λύση. Καταλαβαίνουμε αν η ακολουθία συγκλίνει σε κάποιο όριο από το αν οι διαδοχικοί όροι της που τους γνωρίζουμε) διαφέρουν όλο και πιο λίγο μεταξύ τους. γ) Αν οι όροι συνωστίζονται μεταξύ τους οπότε σύμφωνα με το β) υπάρχει το όριο της ακολουθίας θέλουμε να γνωρίζουμε ότι το όριο αυτό είναι η θεωρητική λύση του προβλήματος και όχι κάποιο άλλο στοιχείο. Για τη συνήθη περίπτωση που η παραγωγή ενός νέoυ όρου απαιτεί μόνο ένα προηγούμενο όρο δηλαδή ισχύει η 6.-) και επειδή υπάρχει το όριο έστω w:= lm βρίσκουμε από την 6.-) ότι

06 ΑΛΓΟΡΙΘΜΟΙ: εισαγωγικά θέματα και παραδείγματα w= lm = lm F-) = Flm - ) = F w) με την προϋπόθεση ότι όλα τα όρια υπάρχουν και ότι μπορεί να εναλλαγεί η σειρά εφαρμογής των δυο διαδικασιών lm και F. Προκύπτει επομένως ότι αν η ακολουθία συγκλίνει σε κάποιο όριο w τότε το όριο αυτό είναι σταθερό σημείο του μηχανισμού της συνάρτησης) παραγωγής στοιχείων F με τη έννοια ότι w=fw). Πρέπει η F να έχει επιλεγεί έτσι ώστε να έχει μοναδικό σταθερό σημείο τουλάχιστον σε κάποια περιοχή στην οποία εντάσσονται οι όροι της ακολουθίας και το σταθερό αυτό σημείο να είναι η θεωρητική λύση. Τότε θα είμαστε σίγουροι ότι w= δηλαδή ότι lm =. Για παράδειγμα αν θέλουμε να προσεγγίσουμε μια άγνωστη πραγματική ρίζα της εξίσωσης x -x-=0 τότε ο μηχανισμός παραγωγής στοιχείων είναι αρχικά δεκτός διότι το όριο := =F - ):= - lm θα ικανοποιεί =F)= - ή =0 δηλαδή η θα είναι ρίζα της εξίσωσης. Αντίθετα ο ορισμός F):= θα έπρεπε να απορριφθεί αφού το όριο δίνει = που δεν σχετίζεται με τις ρίζες της εξίσωσης. δ) Θέλουμε να γνωρίζουμε τις συνθήκες υπό τις οποίες η μέθοδος θα συγκλίνει σε όριο και πόσο γρήγορα ο όρος θα είναι αρκετά κοντά στην άγνωστη λύση δηλαδή για ποιο η διαφορά - θα είναι αρκετά μικρή μικρότερη από κάποια προκαθορισμένη τιμή. Και ποιος μηχανισμός F από τους πολλούς που συνήθως μπορούν να βρεθούν για το ίδιο πρόβλημα είναι προτιμότερος με την έννοια ότι η σύγκλιση επιτυγχάνεται ταχύτερα για μικρότερο αριθμό επαναλήψεων). Στα θέματα αυτά παρουσιάζονται και τα δυσκολότερα στοιχεία της ανάλυσης και στα οποία δεν θα εισέλθουμε εκτός από το πιο απλό συμπέρασμα: Όταν ο μηχανισμός F εφαρμοστεί διαδοχικά πολλές φορές βρίσκουμε ή =F - )=FF - ))= =FF F 0 ) )) =F 0 ) όπου F δηλώνει αλλεπάλληλες εφαρμογές του F. Αν ο F ήταν απλά ένας αριθμός π.χ. F=λ θα είχαμε =λ - και τελικά =λ 0. Παρατηρούμε ότι αποκλείεται να υπάρχει το όριο lm αν λ >. Το αντίστοιχο ισχύει όταν o F είναι πίνακας: για να υπάρχει σύγκλιση πρέπει λ < όπου λ είναι ιδιοτιμή του F με την μέγιστη απόλυτη τιμή που καλείται φασματική ακτίνα του F. Συνοπτικά για την εφαρμογή μιας επαναληπτικής μεθόδου απαιτούνται:

6. ΕΠΑΝΑΛΗΠΤΙΚΕΣ ΔΙΑΔΙΚΑΣΙΕΣ ΓΙΑ ΠΡΟΣΕΓΓΙΣΗ ΛΥΣΕΩΝ 07. Ένας ή περισσότεροι αρχικοί όροι ώστε να μπορεί να αρχίσει η παραγωγή νέων όρων. Μια επαναληπτική μέθοδος πρέπει να συγκλίνει στην επιθυμητή λύση ανεξάρτητα από την επιλογή των αρχικών όρων εφόσον αυτοί βρίσκονται εντός προκαθορισμένων και γνωστών ορίων ή περιοχών.. Μια "απόσταση" ώστε να ελέγχεται το μέγεθος της διαφοράς - μεταξύ δυο διαδοχικών όρων ή και άλλες ποσότητες ενδιαφέροντος π.χ. το σχετικό σφάλμα ένα μέτρο για το κατά πόσο ένας όρος αποτυγχάνει να λύνει το ίδιο πρόβλημα του οποίου λύση είναι η άγνωστη κ.α. Οι ποσότητες αυτές χρησιμοποιούνται ως κριτήριο τερματισμού". Εάν οι ποσότητες αυτές γίνουν αρκετά μικρές η παραγωγή όρων τερματίζεται επιτυχώς και ο πιο πρόσφατος όρος λαμβάνεται ως ικανοποιητική προσέγγιση στην. Ορίζεται συνήθως και ένας μέγιστος επιτρεπτός αριθμός επαναλήψεων ώστε αν δεν επιτευχθεί σύγκλιση έγκαιρα να τερματίζεται η διαδικασία ανεπιτυχώς.. Ένας μηχανισμός παραγωγής όρων F που στην συνήθη περίπτωση όπου =F - ) να είναι τέτοιος ώστε σταθερό του σημείο να είναι η άγνωστη λύση. Εάν ο F είναι πίνακας η φασματική του ακτίνα πρέπει να είναι μικρότερη της μονάδας. 6. Μέθοδοι Εγκλεισμού Αρκετά συνηθισμένη περίπτωση επαναληπτικών μεθόδων αποτελούν οι μέθοδοι εγκλεισμού όπου ο μηχανισμός παραγωγής της ακολουθίας επιτυγχάνει όρια μεταξύ των οποίων εγκλωβίζεται η άγνωστη λύση. Σε κάθε βήμα της επαναληπτικής διαδικασίας στενεύουν τα όρια. Η τυπική περίπτωση αφορά το πρόβλημα της εύρεσης ριζών της εξίσωσης x) = 0. 6.-) Αν η είναι συνεχής και έχει διαφορετικό πρόσημο σε δυο σημεία και b δηλαδή )b)<0 τότε υπάρχει τουλάχιστον ένα σημείο ξ μεταξύ των b τέτοιο ώστε ξ)=0 Θεώρημα Westrss). Ας υποθέσουμε ότι έχουν βρεθεί δυο τέτοια σημεία και b με <b μεταξύ των οποίων έχει εγκλωβιστεί μια ρίζα ξ. Μια μέθοδος εγκλεισμού θα ανανεώνει τα άκρα και b ώστε το διάστημα b) να έχει κάθε φορά μικρότερο μήκος. Αρκεί να διατηρείται το ετερόσημο των τιμών ) b) ώστε να είμαστε σίγουροι ότι η λύση ξ ευρίσκεται πάντα εντός του b). Διχοτόμηση. Το απλούστερο παράδειγμα παρέχει η μέθοδος της διχοτόμησης όπου ως προσεγγίζουσα ακολουθία { n } λαμβάνεται κάθε φορά το μέσο του διαστήματος. Το νέο διάστημα ορίζεται με αντικατάσταση του ενός άκρου από το μέσο. Το άκρο που αντικαθίσταται είναι τέτοιο ώστε πάλι )b)<0 για το νέο ζεύγος άκρων. Το νέο διάστημα έχει προφανώς το μισό μήκος από το προηγούμενο άρα θα έχουμε σύγκλιση στην άγνωστη ρίζα. Παρατηρούμε ότι η μέθοδος αντιστοιχεί και στη δυαδική αναζήτηση όπου τώρα οι λίστες έχουν αντικατασταθεί με διαστήματα. Επομένως η διχοτόμηση για εύρεση ρίζας είναι και μέθοδος της κατηγορίας Δ&Β.

08 ΑΛΓΟΡΙΘΜΟΙ: εισαγωγικά θέματα και παραδείγματα ΠΑΡΑΔΕΙΓΜΑ Π6.-. Να βρεθεί μια ρίζα της εξίσωσης x -x-=0. Με x)=x -x- παρατηρούμε ότι )=-<0 και )=5>0 άρα υπάρχει ρίζα στο διάστημα ). Το μέσο x :=)/=.5 είναι η πρώτη προσέγγιση στη ρίζα και το σφάλμα από τη θεωρητική ρίζα ξ θα είναι μικρότερο από το μέσο του μήκους του διαστήματος ) δηλαδή ισχύει x -ξ <-)/=0.5. Υπολογίζουμε την τιμή.5)=0.875>0 άρα για να διατηρηθεί το ετερόσημο διατηρούμε το αριστερό άκρο =) και αντικαθιστούμε το δεξιό άκρο από το.5. Έτσι το νέο διάστημα είναι.5). Το νέο μέσο είναι x =.5)/=.5. Η τιμή αυτή προσεγγίζει την ρίζα με σφάλμα μικρότερο από το μισό μήκος του διαστήματος δηλαδή x -ξ </. Συνεχίζοντας με τον ίδιο τρόπο βρίσκουμε την επόμενη προσέγγιση x =.75 με σφάλμα μικρότερο του /8 κ.ο.κ. Π6.- Παρατηρούμε ότι το σφάλμα στη μέθοδο της διχοτόμησης ικανοποιεί την ανισότητα x -ξ <μ - όπου μ είναι το μήκος του αρχικού διαστήματος. Με βεβαιότητα επομένως η μέθοδος θα συγκλίνει με οποιαδήποτε επιθυμητή ακρίβεια ε αρκεί να γίνουν αρκετές επαναλήψεις δηλαδή ο να είναι τέτοιος ώστε ή μ - <ε >logμ /ε). 6.-) Στο προηγούμενο παράδειγμα όπου μ= για εγγύηση ότι η ακρίβεια θα είναι τεσσάρων δεκαδικών ψηφίων απαιτείται ε= 0 - και από την 6.-) η ακρίβεια αυτή θα επιτευχθεί σίγουρα με >log0 δηλαδή μετά από κ= επαναλήψεις. Πρόκειται για αρκετά αργή μέθοδο. 6. Η μέθοδος της πλέον απόκρημνης κατωφέρειας για ελαχιστοποίηση συναρτήσεων Στην περίπτωση μιας μεταβλητής και σε αντιστοιχία και με το Παράδειγμα 5.- μια επαναληπτική μέθοδος απληστίας για την ελαχιστοποίηση μιας συνάρτησης θα επιλέγει το επόμενο σημείο x προς τα δεξιά θετική κατεύθυνση μετακίνησης) του τρέχοντος σημείου x - αν η συνάρτηση είναι φθίνουσα γύρω από το x - αρνητική παράγωγος) και προς τα αριστερά αρνητική κατεύθυνση μετακίνησης) αν η συνάρτηση είναι αύξουσα θετική παράγωγος). Θα κινείται δηλαδή σε κατεύθυνση αντίθετη από το σημείο της παραγώγου. Στην περίπτωση περισσότερων μεταβλητών

6. ΕΠΑΝΑΛΗΠΤΙΚΕΣ ΔΙΑΔΙΚΑΣΙΕΣ ΓΙΑ ΠΡΟΣΕΓΓΙΣΗ ΛΥΣΕΩΝ 09 x x n αντί της παραγώγου έχουμε το "ανάδελτα" δηλαδή το διάνυσμα των μερικών παραγώγων x x n ) = [ x x n ) x x n )] T. 6.-) x xn Για να υπάρχει στο σημείο διάνυσμα) =[ n ] T ελάχιστο αναγκαία συνθήκη είναι να ικανοποιείται το σύστημα των n εξισώσεων n ) = 0 δηλαδή n) = 0 = n 6.-) x Υπό προϋποθέσεις που θα υποθέσουμε ότι ισχύουν και δεν θα μας απασχολήσουν εδώ η συνθήκη αυτή είναι και ικανή. Θεωρούμε μια επαναληπτική μέθοδο όπου παράγεται μια ακολουθία διανυσμάτων := [ n ] T = 6.-) που προσεγγίζουν το άγνωστο διάνυσμα και όπου κάθε διάνυσμα παράγεται από κατάλληλη διόρθωση του προηγουμένου = - δ -. 6.-) Το διάνυσμα διόρθωσης δ είναι προφανώς και η διαφορά - - των δυο διαδοχικών όρων. Η κατεύθυνσή του είναι και η κατεύθυνση της μετακίνησης από το σημείο - του χώρου ΙR n προς το νέο σημείο. Το μέγεθός του ορίζει "πόσο μακριά" θα κινηθούμε. Μια μέθοδος απληστίας είναι να επιλέγεται κάθε φορά η κατεύθυνση προς την οποία συμβαίνει η πιο δραστική μείωση της συνάρτησης γύρω από το σημείο - τοπικά για μικρές μετακινήσεις). Η μέθοδος που χρησιμοποιεί την επιλογή αυτή είναι γνωστή και ως μέθοδος της πλέον απόκρημνης κατωφέρειας ή της πιο απότομης μείωσης. Σε αντιστοιχία με την περίπτωση της μιας μεταβλητής η επιθυμητή κατεύθυνση είναι η αντίθετη του ανάδελτα της στο σημείο - άρα στην 6.-) χρησιμοποιούμε δ - = -θ - - ) 6.-5) όπου θ - είναι θετικός αριθμός που τον καθορίζουμε έτσι ώστε να ελέγχουμε το μέγεθος της μετακίνησης αφού δεν μπορούμε να παρέμβουμε στο μέγεθος του ανάδελτα. Πάντως αφού στο σημείο ισχύουν οι 6.-) όταν το - είναι αρκετά κοντά στο το μέγεθος του ανάδελτα θα είναι αρκετά μικρό και η μετακίνηση θα είναι επίσης μικρή. Θεωρούμε την απλή περίπτωση όπου ο συντελεστής είναι ο ίδιος σε όλα τα βήματα θ - = θ>0 = 6.-6) οπότε τελικά η μέθοδος χρησιμοποιεί τη διόρθωση διανυσμάτων = - - θ - ). 6.-7)

0 ΑΛΓΟΡΙΘΜΟΙ: εισαγωγικά θέματα και παραδείγματα Όταν η ακολουθία των διανυσμάτων συγκλίνει στο και υπό την προϋπόθεση ότι lm ) = lm ) που ισχύει όταν οι μερικές παράγωγοι της είναι συνεχείς βρίσκουμε παίρνοντας το όριο ότι = - θ ) άρα )=0 άρα είναι πράγματι το σημείο για το οποίο συμβαίνει το ελάχιστο. Το ερώτημα της καλύτερης επιλογής του συντελεστή θ ώστε δηλαδή να επιτυγχάνεται ταχύτερη σύγκλιση δεν θα αντιμετωπισθεί εδώ. Πρέπει όμως να γνωρίζουμε ότι απαιτούνται μικρές μετακινήσεις. Ας θεωρήσουμε για παράδειγμα την περίπτωση της μιας μεταβλητής οπότε αντί για διανύσματα στην 6.-7) έχουμε πραγματικούς αριθμούς και τη σχέση Θέτοντας αναπτύσσουμε την κατά Tylor = - θ - ). 6.-8) δ: = -θ - ) 6.-9) )= - δ)= - )δ - )δ /) - ) 6.-0) και αν το μέγεθος δ είναι αρκετά μικρό έχουμε την προσέγγιση ) - ) δ - ) Άρα προκειμένου να επιτευχθεί περαιτέρω μείωση της δηλαδή να ισχύει )< - ) απαιτείται δ - )<0. Από την απαίτηση αυτή προκύπτει ότι η διόρθωση δ πρέπει να έχει πρόσημο αντίθετο της παραγώγου στο - και αυτό διασφαλίζεται από την 6.-9). Αν κρατήσουμε ένα ακόμα όρο στην 6.-0) βρίσκουμε από την 6.-9) ότι ) - )-θ[ - )] /)θ [ - )] - ) οπότε προκειμένου να εξακολουθεί να ισχύει )< - ) βρίσκουμε την απαίτηση ή θ[ - )] -/)θ [ - )] - )>0 θ</ - ). Αναλύσεις αυτού του τύπου μπορεί να οδηγήσουν σε καλές επιλογές μεγέθους αλλά και σε αυξημένο κόστος υπολογισμού π.χ. για τον υπολογισμό της σε κάθε βήμα που αντιστοιχεί στον υπολογισμό πίνακα nxn στην περίπτωση των n μεταβλητών).

6. ΕΠΑΝΑΛΗΠΤΙΚΕΣ ΔΙΑΔΙΚΑΣΙΕΣ ΓΙΑ ΠΡΟΣΕΓΓΙΣΗ ΛΥΣΕΩΝ Επανερχόμενοι στην γενική περίπτωση θεωρούμε την μέθοδο που ορίζεται από την διανυσματική σχέση 6.-7) η οποία γράφεται και κατά συνιστώσες : )... = n x θ = n 6.-) ΠΑΡΑΔΕΙΓΜΑ Π6.-. Ας είναι n= και x x x )=x x x ) x x - x x - x - 0x x. 6.-) Να προσεγγιστεί το σημείο = [ ] T για το οποίο ελαχιστοποιείται η με τη μέθοδο της πιο απόκρημνης κατωφέρειας και με θ = 0.. Να χρησιμοποιηθεί αρχικό διάνυσμα = [ 0 0 0 ] T = [] T. Από την 6.-) βρίσκουμε τις μερικές παραγώγους και το αντίστοιχο των 6.-) σύστημα εξισώσεων που πρέπει να ικανοποιείται για το ελάχιστο αποδεικνύεται ότι στην περίπτωση μας πρόκειται για ελάχιστο και όχι για άλλο ακρότατο): x x x x )=x x x -=0 x x x )=x x -x x -0=0 6.-) x x x )= -x x =0 Θα μπορούσε κάποιος να λύσει το σύστημα αυτό και να βρει το ακρότατο = [ ] T = [ -5] T. 6.-) Στην πράξη όμως η λύση μεγάλων συστημάτων είναι επίπονη οπότε ακολουθείται μια επαναληπτική διαδικασία. Η μέθοδος της πλέον απόκρημνης κατωφέρειας σύμφωνα με τις εξισώσεις 6.-) ακολουθεί τη διαδικασία ) = θ 0) = θ 6.-5) ) = θ = Το διάνυσμα διόρθωσης είναι δ - = - - ) = ) = T x x x ] ) ) ) [ = 6.-6) T ] 0 [.

ΑΛΓΟΡΙΘΜΟΙ: εισαγωγικά θέματα και παραδείγματα Η μέθοδος που ορίζεται από την 6.-5) μπορεί να θεωρηθεί και σαν επαναληπτική μέθοδος επίλυσης του συστήματος 6.-) ανεξάρτητα από το αν το σύστημα αφορά το ελάχιστο κάποιας συνάρτησης. Αρχίζοντας με το διάνυσμα [ ] T και με θ = 0. βρίσκουμε διαδοχικά = [. 5.8 -.] T = [..6 -.8] T = [.05.50 -.976] T = [.7075.0755 -.89] T Εδώ "φαίνεται" ενώ είναι προφανής η ανάγκη ανάλυσης της σύγκλισης) ότι η ακολουθία συγκλίνει αργά προς την θεωρητική λύση = [ -5] T. Π6.- 6.5 Οι μέθοδοι Jcob και Gss-Sedel Αν η συνάρτηση είναι πολυώνυμο βαθμού ως προς τις μεταβλητές τότε οι εξισώσεις 6.-) που ορίζουν το ελάχιστο είναι γραμμικές δηλαδή έχουμε ένα σύστημα της μορφής A = b 6.5-) όπου Α είναι πίνακας nxn και b διανύσματα διάστασης n. Στην περίπτωση αυτή και μετασχηματίζοντας τις μεταβλητές αν χρειαστεί ο πίνακας Α είναι συμμετρικός και με κάποιες επιπλέον και επιθυμητές ιδιότητες που διευκολύνουν την εφαρμογή και την ανάλυση των επαναληπτικών μεθόδων. Στο προηγούμενο παράδειγμα εμφανίζεται η περίπτωση αυτή και όπως βλέπουμε αμέσως από τις σχέσεις 6.-) ισχύει 0 A = = b 0 6.5-) 0 ενώ πάντα το διάνυσμα του ανάδελτα δίνεται από τη σχέση x) =Ax-b. 6.5-) Και βέβαια ισχύει το ελάχιστο όταν ) = 0 ή A=b δηλαδή όταν ισχύει η 6.5-). Εξετάζουμε τώρα μερικές κλασσικές επαναληπτικές μεθόδους για επίλυση ενός συστήματος όπως το 6.5-) ανεξάρτητα από το αν το σύστημα έχει προέλθει από ελαχιστοποίηση αντίστοιχης συνάρτησης ή όπως συμβαίνει συχνά έχει προκύψει από τις απαιτήσεις άλλων εφαρμογών. Πάντως όταν το σύστημα αντιστοιχεί σε ελαχιστοποίηση της θα ισχύουν ιδιαίτερες επεξηγήσεις των μεθόδων.

6. ΕΠΑΝΑΛΗΠΤΙΚΕΣ ΔΙΑΔΙΚΑΣΙΕΣ ΓΙΑ ΠΡΟΣΕΓΓΙΣΗ ΛΥΣΕΩΝ Μέθοδος Jcob. Με τη μέθοδο αυτή οι εξισώσεις επιλύονται ως προς τις αντίστοιχες μεταβλητές συναρτήσει των υπολοίπων. Έτσι π.χ. η εξίσωση με την προϋπόθεση ότι 0 γράφεται n n = b 6.5-) = -/ )[ n n - b ] 6.5-5) Δεν υπάρχει όρος με τον στο δεξιό μέλος. Χρησιμοποιούνται οι γνωστές τιμές του τρέχοντος διανύσματος δεξιά T = [... n ] και προκύπτουν έτσι οι τιμές του νέου διανύσματος αριστερά. Έτσι π.χ. η νέα) τιμή υπολογίζεται μέσω της 6.5-5) από την σχέση = / )[... nn ] b 6.5-6) ΠΑΡΑΔΕΙΓΜΑ Π6.5-. Να εφαρμοστεί η μέθοδος Jcob για την περίπτωση του συστήματος που ορίζεται από τις 6.5-). Η επίλυση των εξισώσεων ως προς τους αντίστοιχους αγνώστους δίνει τις σχέσεις = / ) = / 0) 6.5-7) = / ). Άρα το νέο διάνυσμα υπολογίζεται από τις σχέσεις 0.75 6 = = 0 = 0.75 0.5 7.5 6.5-8) 0.5 6 για =. Αρχίζοντας π.χ. με 0 = [ ] T = [ 0 0 0 ] T βρίσκουμε διαδοχικά = [5.5 7-5.75] T = [0.75.5 -.5] T Π6.5- Παρατηρούμε ότι υπό προϋποθέσεις η μέθοδος Jcob αποτελεί ειδική περίπτωση της μεθόδου της πλέον απόκρημνης κατωφέρειας. Αν τα διαγώνια στοιχεία του πίνακα είναι μη μηδενικά και θετικά μπορούμε να πούμε ότι όλα είναι ίσα π.χ. με. Αρκεί να πολλαπλασιάσουμε κάθε εξίσωση με /. Ας είναι Α και b ο πίνακας και το δεξιό μέλος του τροποποιημένου συστήματος και έστω ότι το πρόβλημα αυτό προέρχεται από ελαχιστοποίηση κάποιας.

ΑΛΓΟΡΙΘΜΟΙ: εισαγωγικά θέματα και παραδείγματα Παρατηρούμε τότε ότι για την μέθοδο Jcob και για την τυχαία συνιστώσα ισχύει αφού = για όλα τα ) ) = = = = n x b b. Άρα το νέο διάνυσμα προκύπτει με διόρθωση του - η οποία είναι ) = = δ άρα πρόκειται για μέθοδο πλέον απόκρημνης κατωφέρειας με συντελεστή θ = /. Ακολουθώντας την ανάλυση αυτή στο προηγούμενο παράδειγμα με αντικατάσταση απ' ευθείας από τις 6.5-8) βρίσκουμε την διόρθωση ) 0 0 = = = = δ επιβεβαιώνοντας ότι θ = -/ =. Μέθοδος Gss-Sedel. Εξετάζοντας την τυχαία εξίσωση υπολογισμού μιας νέας συνιστώσας μe την μέθοδο Jcob παρατηρούμε ότι θα μπορούσαμε δεξιά να αντικαταστήσουμε τις νέες τιμές που ήδη έχουν επιτευχθεί από τις προηγούμενες εξισώσεις χωρίς να περιμένουμε να συμπληρωθεί ο υπολογισμός ολόκληρου του νέου διανύσματος. Η αντικατάσταση αυτή δίνει την μέθοδο Gss-Sedel. Έτσι π.χ. ενώ στην μέθοδο Jcob χρησιμοποιείται η 6.5-6) για τον υπολογισμό του μπορούμε εκεί να χρησιμοποιήσουμε την τιμή αντί της - αφού αυτή μόλις έχει υπολογιστεί από την προηγούμενη εξίσωση. Παρομοίως και για παράδειγμα η τέταρτη συνιστώσα του νέου διανύσματος με την μέθοδο Gss-Sedel θα υπολογίζεται πλέον από τη σχέση )... 5 5 b n n = 6.5-9) Η μέθοδος αυτή είναι κυκλοτερής με την έννοια ότι σε κάθε εξίσωση χρησιμοποιούνται οι πιο πρόσφατες τιμές που έχουν επιτευχθεί μέχρι στιγμής από τις προηγούμενες εξισώσεις όπου προηγούμενη της πρώτης εξίσωσης είναι κυκλικά η τελευταία).

6. ΕΠΑΝΑΛΗΠΤΙΚΕΣ ΔΙΑΔΙΚΑΣΙΕΣ ΓΙΑ ΠΡΟΣΕΓΓΙΣΗ ΛΥΣΕΩΝ 5 ΠΑΡΑΔΕΙΓΜΑ Π6.5-. Να εφαρμοστεί η μέθοδος Gss-Sedel στην περίπτωση του προηγούμενου παραδείγματος. Αντί της 6.5-8) χρησιμοποιούμε τώρα τις σχέσεις 0.75 6 = = 0 = 0.75 0.5 7.5 6.5-0) 0.5 6 Αρχίζοντας πάλι με 0 = [ ] T βρίσκουμε διαδοχικά = [5.5.85-5.06875] T = [.065.8885-5.09969] T 7 = [.0.9888-5.0079] T Η σύγκριση με την μέθοδο Jcob δείχνει ότι πράγματι υπάρχει ταχύτερη σύγκλιση. Π6.5-6.6 Χαλάρωση και η μέθοδος SOR Εάν πρόκειται για ελαχιστοποίηση παρατηρούμε ότι η μέθοδος Gss-Sedel προσδιορίζει τη νέα συνιστώσα από τις πιο πρόσφατες τιμές που διαθέτει και από την απαίτηση να ικανοποιείται η εξίσωση δηλαδή η σχέση x..... ) 0 n = 6.6-) Προσδιορίζει δηλαδή την τιμή από την απαίτηση να ελαχιστοποιείται η θεωρούμενη ως συνάρτηση μόνο της μεταβλητής x. Και ενεργεί έτσι διαδοχικά και κυκλοτερώς ως προς όλες τις μεταβλητές μέχρις ότου συγκλίνει δηλαδή μέχρις ότου οι τιμές που ελαχιστοποιούν την ως προς κάθε μια μεταβλητή χωριστά ικανοποιούν προσεγγιστικά) όλες τις εξισώσεις μαζί δηλαδή δίνουν και το ζητούμενο ελάχιστο. Αφού όμως η τιμή που ελαχιστοποιεί την ως προς την μεταβλητή x επιτυγχάνει την ελαχιστοποίηση αυτή με σταθερές τιμές των άλλων μεταβλητών που δεν είναι ακόμα οι ζητούμενες άρα κι αυτή δεν είναι η επιθυμητή τιμή προκύπτει η ιδέα να χαλαρώσουμε αυτή την απαίτηση και όπως κινούμεθα από την - προς την τιμή που επιτυγχάνει την ελαχιστοποίηση να σταματήσουμε λίγο νωρίτερα υποχαλάρωση) ή να προχωρήσουμε λίγο πιο πολύ υπερχαλάρωση) ελπίζοντας ότι έτσι η νέα τιμή θα είναι πιο κοντά στην επιθυμητή θεωρητική τιμή του τοπικού ελαχίστου. Συγκεκριμένα: Στην μέθοδο Gss-Sedel και για την περίπτωση ελαχιστοποίησης η 6.6-) γράφεται

6 ΑΛΓΟΡΙΘΜΟΙ: εισαγωγικά θέματα και παραδείγματα n = = = b ) 6.6-) Αφαιρώντας την τιμή βρίσκουμε την διόρθωση που γίνεται μόνο για τη συνιστώσα ) στο σημείο αυτό δ n : = = = =...... n x = b ) ). 6.6-) Με την μέθοδο Gss-Sedel υπολογίζουμε την νέα συνιστώσα ας τη συμβολίσουμε τώρα με GS. Ο υπολογισμός γίνεται από την 6.6-) που είναι ισοδύναμη της 6.6-) και που βέβαια γράφεται και = δ 6.6-) GS με τη διόρθωση δ να παρέχεται από την 6.6-). Αντί λοιπόν να επιφέρουμε ακριβώς αυτή την διόρθωση να σταματήσουμε δηλαδή ακριβώς στο σημείο που ορίζει η μέθοδος Gss-Sedel χαλαρώνουμε τη απαίτηση και προσδιορίζουμε ένα νέο σημείο = ω ) ω δ ) = ω) ω GS 6.6-5) όπου αν 0<ω< η τιμή αυτή είναι ανάμεσα στην παλιά τιμή και στην τιμή που ορίζει η μέθοδος Gss-Sedel αν ω> υπερβαίνει τη διόρθωση προς την πλευρά της και αν ω<0 υπερβαίνει προς την πλευρά της παλιάς τιμής. Βέβαια αν ω= GS συμπίπτει με την τιμή που δίνει η μέθοδος Gss-Sedel. Η ιδέα της χαλάρωσης είναι αρκετά παλιά [Ne885]. Η ανάπτυξή της για συστήματα με εφαρμογή της 6.6-5) και η ανάλυσή της οφείλεται πρωτίστως στους Vrg και Yong [Vrg6 Yon7] και είναι γνωστή ως μέθοδος SOR Sccessve Over Relxton). Με χρήση της 6.6-) για την τιμή στην 6.6-5) βρίσκουμε για την SOR τις σχέσεις GS n = ω ) ω ) b ) 6.6-6) ιι = = Μέροςτης ανάλυσης πουδεν θα μας απασχολήσει εδώ είναι η επιλογή του βέλτιστου ω της τιμής δηλαδή που θα δώσει την ταχύτερη δυνατή σύγκλιση. Σε αρκετές περιπτώσεις είναι δυνατόν να προκαθοριστεί αυτή η τιμή.

6. ΕΠΑΝΑΛΗΠΤΙΚΕΣ ΔΙΑΔΙΚΑΣΙΕΣ ΓΙΑ ΠΡΟΣΕΓΓΙΣΗ ΛΥΣΕΩΝ 7 ΠΑΡΑΔΕΙΓΜΑ Π6.6-. Για την περίπτωση του παραδείγματος της 6.5) να εφαρμοστεί η μέθοδος SOR με την τιμή ω=.5. Παίρνοντας υπόψη και τις σχέσεις 6.5-0) που χρησιμοποιήθηκαν για την μέθοδο Gss-Sedel στο Παράδειγμα 6.5- βρίσκουμε στη θέση των 6.6-6) τις σχέσεις: = 0.75 6 = ω ) ω 0.75 0.5 7.5 0.5 6 οπότε με ω =.5 βρίσκουμε = 0.5 = 0.975 = 0.5 0.975 0.5 0.5 7.5 0.5 7.5 9.75 Αρχίζοντας πάλι με 0 = [ ] T για λόγους σύγκρισης βρίσκουμε διαδοχικά τα διανύσματα = [6.5.595-6.65065] T = [.65.958566 -.6008] T 7 = [.000098.000586-5.00086] T Παρατηρούμε ότι η σύγκλιση στη θεωρητική λύση [ -5] T είναι τώρα ακόμα ταχύτερη. Π6.6-6.7 Ασκήσεις 6. Θωρούμε το μηχανισμό = / ) ) που προτείνεται να χρησιμοποιηθεί για την εύρεση μιας ρίζας της εξίσωσης x)=0 όπου η είναι πολυώνυμο ως προς x. Για να είναι κατ' αρχήν δεκτός ο μηχανισμός αυτός ποιός είναι ένας σωστός τύπος για το πολυώνυμο ; 6. Ποιοί από τους παρακάτω μηχανισμούς είναι κατ' αρχήν δεκτοί για επίλυση του συστήματος των γραμμικών εξισώσεων A=b; Ο Α είναι αντιστρέψιμος πίνακας n n ενώ και b είναι διανύσματα διάστασης n. ) = - b A - ). b) = D - b B - ) όπου D είναι διαγώνιος πίνακας που η διαγώνιος του συμπίπτει με τη διαγώνιο του Α υποθέτουμε ότι η διαγώνιος αυτή δεν περιέχει μηδενικά στοιχεία ώστε ο D να είναι αντιστρέψιμος) και Β:=Α D προκύπτει από τον Α αν μηδενιστεί η διαγώνιος του. c) = K - U - b) όπου Κ είναι κάτω τριγωνικός και η κύρια διαγώνιος του και το κάτω τρίγωνό του συμπίπτουν με αυτά του Α ενώ U είναι άνω τριγωνικός και το άνω τρίγωνό του περιέχει τα αντίθετα των αντίστοιχων στοιχείων του Α. Ισχύει τότε Α = Κ U.

8 ΑΛΓΟΡΙΘΜΟΙ: εισαγωγικά θέματα και παραδείγματα d) = - c - E - ) όπου c: = Mb E: = MA και Μ ένας οποιοσδήποτε αντιστρέψιμος πίνακας. 6. Αναγνωρίστε δύο από τις δεκτές μεθόδους της Άσκησης 6. σαν δύο από τις μεθόδους που περιγράφονται στο παρόν κεφάλαιο. 6. Μια μέθοδος που απαιτεί δύο όρους για να βρει τον επόμενο είναι η μέθοδος της τέμνουσας για επίλυση της x)=0. Με γνωστούς τους όρους x n- x n- ο νέος όρος x n είναι το σημείο όπου η τέμνουσα συναντά τον άξονα του x Εικόνα 6.7-). Να βρεθεί η εξίσωση ορισμού του νέου όρου x n συναρτήσει των x n- x n- και των x n- ) x n- ). 6.5 Η μέθοδος Newton ή Newton- Rphson ή και Kntorovtz) αντικαθιστά την τέμνουσα από την εφαπτομένη Εικόνα 6.7-). Να αποδειχθεί ότι xn = x n- x n- )/ x n- ). Η μέθοδος μπορεί να προκύψει και σαν όριο από τη μέθοδο της τέμνουσας με x n- x n-. ξ x n x n- x n- Εικόνα 6.7- Η μέθοδος της τέμνουσας ξ x n x n- Εικόνα 6.7- Η μέθοδος Newton 6.6 Η "μέθοδος των Βαβυλωνίων" προσεγγίζει την : = >0 με το σκεπτικό ότι είναι η πλευρά τετραγώνου εμβαδού : ξεκινώντας από ένα τυχαίο ορθογώνιο εμβαδού π.χ. αυτό με πλευρές και αντικαθιστά συνεχώς τη μια πλευρά με το μέσο όρο των πλευρών του τρέχοντος ορθογωνίου και ορίζει την άλλη προφανώς από την απαίτηση το εμβαδόν να συνεχίσει να είναι. Έτσι οι δύο πλευρές τείνουν να εξισωθούν και το ορθογώνιο προσεγγίζει το ζητούμενο τετράγωνο. Αρχίζοντας π.χ. με 0 = η άλλη πλευρά είναι τότε v 0 = ) βρίσκουμε διαδοχικά =½) 0 ) v = / = ½) v ) v = / κ.ο.κ. Να εκφραστεί ο n συναρτήσει του n-. 6.7 Η εύρεση της >0 ισοδυναμεί με την εύρεση της θετικής ρίζας της όπου x):=x -. Για την περίπτωση αυτή να διατυπωθεί η αναδρομική σχέση της μεθόδου Newton-Rphson-Kntorovtz και να συγκριθεί με αυτή της μεθόδου των Βαβυλωνίων. 6.8 Να χρησιμοποιηθούν και να συγκριθούν οι μέθοδοι α) διχοτόμησης β) τέμνουσας με αρχικές τιμές.8 και γ) Newton-Rphson-Kntorovtz με αρχική τιμή για την εύρεση μιας ρίζας του πολυωνύμου x) = x 5 x x x.

6. ΕΠΑΝΑΛΗΠΤΙΚΕΣ ΔΙΑΔΙΚΑΣΙΕΣ ΓΙΑ ΠΡΟΣΕΓΓΙΣΗ ΛΥΣΕΩΝ 9 6.9 Να ευρεθεί το ελάχιστο της xy) = x xy y 7x y με τη μέθοδο της πιο απότομης μείωσης με αρχικό διάνυσμα [5 0] Τ και με κατάλληλο συντελεστή θ της επιλογής σας. Να τερματιστεί η παραγωγή όρων όταν δεν μεταβάλλεται το δεύτερο δεκαδικό ψηφίο. 6.0 Να εφαρμοσθούν και οι μέθοδοι Jcob Gss-Sedel και SOR με ω =. για την εύρεση του ελαχίστου της συνάρτησης της Άσκησης 6.9 αρχίζοντας πάλι Τ με το [5 0] για λόγους σύγκρισης) και τερματίζοντας όταν δεν μεταβάλλεται το δεύτερο δεκαδικό ψηφίο. 6. Να εφαρμοσθούν οι μέθοδοι της πιο απότομης μείωσης με κατάλληλο θ της επιλογής σας Jcob Gss-Sedel και SOR με ω της επιλογή σας για το σύστημα 0 0 x 7 0 0 0 0 x x x = 6 0 αρχίζοντας με το διάνυσμα [0 0 0 0] Τ μεταβάλλεται το τέταρτο δεκαδικό ψηφίο. και τερματίζοντας όταν δεν 6. Κάθε σύστημα A=b συμπίπτει με τις σχέσεις )=0 για κατάλληλο πολυώνυμο δευτέρου βαθμού ως προς τις μεταβλητές. Να δοθεί τύπος για την συναρτήσει των A και b. 6. Να δοθεί ένα παράδειγμα συστήματος A=b με διάσταση n> και με Α συμμετρικό που έχει μοναδική λύση η οποία όμως δεν ελαχιστοποιεί ούτε μεγιστοποιεί την αντίστοιχη συνάρτηση. 6. Να αποδειχθεί ότι η κατεύθυνση του είναι αυτή της ταχύτερης αύξησης της και η - αυτή της ταχύτερης μείωσης. Για το σκοπό αυτό θεωρείστε την "κατευθυνόμενη παράγωγο" της στο σημείο x προς την κατεύθυνση του x y) x) διανύσματος y 0 η οποία ορίζεται ως το όριο x) : = lm y t 0 t εφόσον αυτό υπάρχει. Παρατηρείστε ότι η συνάρτηση g της ίδιας πραγματικής μεταβλητής t που ορίζεται από τον τύπο gt) := xty) = x ty x n ty n ) ικανοποιεί τη σχέση g t) g0) x ty) x) g 0) = lm = lm = x). t 0 t t 0 t y Αποδείξτε τότε ότι η κατευθυνόμενη παράγωγος είναι ίση με το εσωτερικό T γινόμενο x) = g 0) = [ x)] y απ' όπου προκύπτει το ζητούμενο. y

0 ΑΛΓΟΡΙΘΜΟΙ: εισαγωγικά θέματα και παραδείγματα