Εισαγωγή στη Βελτιστοποίηση Συστημάτων

Transcript

1 Ανώτατο Εκπαιδευτικό Ίδρυμα Πειραιά Τ.Τ. Σχολή Τεχνολογικών Εφαρμογών Τμήμα Μηχανικών Αυτοματισμού Τ.Ε. Σημειώσεις του μαθήματος Εισαγωγή στη Βελτιστοποίηση Συστημάτων Υπεύθυνος Καθηγητής: Α. Ντούνης Διδάσκων Ακαδημαϊκός Υπότροφος: Χ. Τσιρώνης Πειραιάς 2017

2 Πρόλογος Στόχος του μαθήματος «Εισαγωγή στη Βελτιστοποίηση Συστημάτων», το οποίο διδάσκεται ως μάθημα επιλογής στο Τμήμα Μηχανικών Αυτοματισμού του Α.Ε.Ι. Πειραιά Τ.Τ., είναι η παροχή γνώσεων στους φοιτητές που θα τους επιτρέψουν να αναγνωρίζουν και να επιλύουν προβλήματα βελτιστοποίησης που υπεισέρχονται στη διαδικασία λήψης αποφάσεων επί του σχεδιασμού αποδοτικών συστημάτων. Με την ολοκλήρωση του μαθήματος, οι φοιτητές θα είναι σε θέση να κατανοούν τις βασικές μαθηματικές αρχές και τους παράγοντες πολυπλοκότητας των διαφορετικών τεχνικών βελτιστοποίησης, να διατυπώνουν και να αναλύουν προβλήματα βελτιστοποίησης συστημάτων, να επιλέγουν την καταλληλότερη μέθοδο επίλυσης ανάλογα με το είδος του προβλήματος, και να ερμηνεύουν, αξιολογούν και επαληθεύουν τα αποτελέσματα της βελτιστοποίησης. Το μάθημα προαπαιτεί επαρκές μαθηματικό υπόβαθρο στην ανάλυση συναρτήσεων μιας και πολλών μεταβλητών, προσβλέποντας στον υπολογισμό των ακροτάτων τιμών και στην κατανόηση και εφαρμογή μεθόδων όπως των πολλαπλασιαστών Lagrange. Επιπρόσθετα, θα πρέπει να είναι αντιληπτές οι έννοιες του δυναμικού συστήματος και του αυτομάτου ελέγχου, οι οποίες είναι συνδεδεμένες με την κατανόηση των βασικών στόχων μιας διαδικασίας βελτιστοποίησης, τόσο σε εννοιολογική βάση όσο και στο επίπεδο της μαθηματικής προσομοίωσης. Σε αυτό το πλαίσιο, αντικειμενικός στόχος των σημειώσεων αυτών είναι η περιγραφή των κυριότερων αλγορίθμων βελτιστοποίησης που αναφέρονται στη βιβλιογραφία, καθώς και η κατανόησή τους μέσω παραδειγμάτων. Κατεβλήθη προσπάθεια το εκπαιδευτικό υλικό (με τις απαιτούμενες παραπομπές σε εξωτερικά συγγράμματα) να εξυπηρετεί αυτοτελώς το στόχο που αναφέρθηκε παραπάνω. Οποιεσδήποτε προτάσεις για διόρθωση/βελτίωση της παρούσας (και, ειδικότερα, πρώτης) έκδοσης των σημειώσεων αυτών είναι πάντοτε ευπρόσδεκτες. Θα ήθελα σε αυτό το σημείο να ευχαριστήσω τους συναδέλφους στο Α.Ε.Ι. Πειραιά Τ.Τ., Καθ. Α. Ντούνη και Υπ. Δρ. Π. Κοφινά, για τις πολύ χρήσιμες συμβουλές τους κατά τη διάρκεια της συγγραφής και επεξεργασίας των σημειώσεων. Χ. Τσιρώνης Ακαδημαϊκός Υπότροφος Τμήμα Μηχανικών Αυτοματισμού Τ.Ε. Α.Ε.Ι. Πειραιά Τ.Τ. Στοιχεία επικοινωνίας: 2

3 Περιεχόμενα 1 Εισαγωγή στη βελτιστοποίηση συστημάτων Θεμελιώδεις ορισμοί Διατύπωση και ταξινόμηση προβλημάτων Κατηγορίες εφαρμογών Μαθηματικό υπόβαθρο Διανύσματα και πίνακες Παράγωγοι συναρτήσεων Ασκήσεις ανακεφαλαίωσης Θεμελιώδεις έννοιες βελτιστοποίησης Καμπυλότητα συνόλων και συναρτήσεων Γενικές συνθήκες ελαχιστοποίησης/μεγιστοποίησης Δυαδικά προβλήματα βελτιστοποίησης Βελτιστοποίηση χωρίς περιορισμούς Επισκόπηση επαναληπτικών μεθόδων αναζήτησης Τεχνικές με χρήση παραγώγων

4 1 Εισαγωγή στη βελτιστοποίηση συστημάτων Η βελτιστοποίηση χρησιμοποιείται στην επίλυση σύνθετων προβλημάτων. Η λογική πίσω από την εφαρμογή της σχετίζεται με το ανθρώπινο χαρακτηριστικό της προσπάθειας επίτευξης του βέλτιστου αποτελέσματος μέσω της ιδανικής χρήσης των διαθέσιμων πόρων. Σε αυτό το πλαίσιο, η βελτιστοποίηση είναι η επιστήμη του εντοπισμού των καλύτερων δυνατών λύσεων σε μια σειρά τεχνικών και πρακτικών προβλημάτων που έχουν κατάλληλη μαθηματική διατύπωση. Οι μέθοδοι της βελτιστοποίησης εφαρμόζονται σήμερα σε πολλά επιστημονικά και τεχνολογικά προβλήματα. Για παράδειγμα, αναφέρουμε τη διαχείριση οικονομικών χαρτοφυλακίων, τo σχεδιασμό πτήσεων με ελαχιστοποίηση της απαιτούμενης ποσότητας καυσίμων, την προσαρμογή παραμετρικών μοντέλων σε πειραματικά δεδομένα, την εκπαίδευση νευρωνικών δικτύων, τη ρύθμιση της λειτουργίας εργοστασιακών μονάδων, την αναζήτηση των ακραίων τιμών της θερμοκρασίας στη μετεωρολογία, την επίλυση συστημάτων αλγεβρικών εξισώσεων κλπ. Με μαθηματικούς όρους, η προσέγγιση της βελτιστοποίησης σχετίζεται με την επιλογή τιμών των μεταβλητών μίας συνάρτησης, οι οποίες τιμές είναι οι μέγιστες ή οι ελάχιστες τιμές της συνάρτησης. Ανάλογα με το προς αντιμετώπιση πρόβλημα, το τελικό αποτέλεσμα έχει άμεση σχέση με τη μεγιστοποίηση ή την ελαχιστοποίηση της συνάρτησης αυτής: Όταν το πρόβλημα αφορά ποσότητες όπως κέρδος ή απόδοση, η βελτιστοποίηση αντιστοιχεί σε μεγιστοποίηση, ενώ όταν αφορά ποσότητες όπως σφάλμα ή έλλειμμα αντιστοιχεί σε ελαχιστοποίηση. Υπάρχουν διάφορες κατηγορίες προβλημάτων και αντίστοιχα διάφορα είδη μεθόδων βελτιστοποίησης. Υπάρχουν περιπτώσεις όπου οι επιτρεπτές τιμές των παραμέτρων είναι διακριτές ή ακέραιες, και άλλες όπου οι παράμετροι είναι συνεχείς μεταβλητές, αλλά και μικτά προβλήματα όπου μερικές παράμετροι παίρνουν διακριτές και οι υπόλοιπες συνεχείς τιμές. Για προβλήματα βελτιστοποίησης συνεχών συναρτήσεων, επιπλέον συνθήκες όπως η ύπαρξη πρώτων ή/και δεύτερων παραγώγων επιτρέπουν την ανάπτυξη αποτελεσματικών μεθόδων με υψηλές επιδόσεις. 1.1 Θεμελιώδεις ορισμοί Η έννοια της βελτιστοποίησης εφαρμόζεται σε προβλήματα που ενδέχεται να έχουν εναλλακτικές λύσεις. Κάθε λύση που ικανοποιεί τους περιορισμούς του προβλήματος ονομάζεται εφικτή, και το σύνολο των εφικτών λύσεων καλείται χώρος λύσεων. Aν κάθε μια από τις εφικτές λύσεις μπορεί να περιγραφή από ένα σύνολο μεταβλητών Χ = {x1, x2,..., xn}, και αν σε κάθε περιγραφή μπορεί να αντιστοιχιστεί ένα μέτρο επίδοσης, τότε βέλτιστη θεωρείται η λύση που μεγιστοποιεί το μέτρο επίδοσης. 4

5 Γενικός ορισμός βελτιστοποίησης: Ένα σύστημα καλείται βέλτιστο ως προς ένα μέτρο επίδοσης και ένα σύνολο περιορισμών, εφόσον αποδίδει τουλάχιστον το ίδιο, αν όχι καλύτερα, από κάθε άλλο σύστημα που ικανοποιεί τους ίδιους περιορισμούς. Κάθε μαθηματική περιγραφή προβλήματος βελτιστοποίησης αποτελεί ουσιαστικά απλοποίηση του πραγματικού προβλήματος επιλογής της καλύτερης λύσης από το χώρο λύσεων. Ως μαθηματική έκφραση του μέτρου επίδοσης τίθεται μια συνεχής και διαφορίσιμη συνάρτηση της μορφής f(x) = {f1(x), f2(x),..., fm(χ)}, η οποία καλείται «αντικειμενική συνάρτηση». Το όρισμα της αντικειμενικής συνάρτησης παριστάνει την κάθε δυνατή επιλογή λύσης, ενώ οι περιορισμοί αποτελούν τις προδιαγραφές του προβλήματος η/και τις συνθήκες που πρέπει να ικανοποιούν οι λύσεις. Οι τεχνικές της βελτιστοποίησης αφορούν τη μαθηματική διατύπωση και την επίλυση προβλημάτων μεγιστοποίησης (ή ελαχιστοποίησης) της αντικειμενικής συνάρτησης. Να σημειώσουμε εδώ ότι η μεγιστοποίηση μιας συνάρτησης f είναι ισοδύναμη με την ελαχιστοποίηση μιας άλλης συνάρτησης g, όπου g = f. Σε αυτό το πλαίσιο, μπορεί να γίνει μια γενική διατύπωση του προβλήματος βελτιστοποίησης. Γενική διατύπωση προβλήματος βελτιστοποίησης: Xopt max[f(x)] = min[-f(x)]. Η διατύπωση αυτή, εν γένει, αντικατοπτρίζει τη μεγιστοποίηση/ελαχιστοποίηση της αντικειμενικής συνάρτησης ως προς όλες τις εφικτές λύσεις, και γι αυτό το λόγο ο γενικός αυτός τύπος βελτιστοποίησης ονομάζεται «ολική βελτιστοποίηση». Ανάλογα με το είδος του προβλήματος και τα κριτήρια που επηρεάζουν το μέτρο επίδοσης, η αντικειμενική συνάρτηση f μπορεί να είναι, αντίστοιχα: - Βαθμωτή (m = 1) ή διανυσματική (m > 1). - Μονοδιάστατη (n = 1) ή πολυδιάστατη (n > 1). - Ντετερμινιστική ή στοχαστική. - Με συνεχείς, διακριτές ή μικτές μεταβλητές. - Με περιορισμούς (ρητούς ή/και ασαφείς) ή χωρίς περιορισμούς. - Γραμμική ή μη γραμμική. - Με μοναδικό ακρότατο ή με πολλαπλά ακρότατα. Στην πράξη, στις περισσότερες των περιπτώσεων, το κόστος της αναζήτησης πλήρους λύσης με ολική βελτιστοποίηση είναι αρκετά μεγάλο σε σχέση με την αποκομιδή σε αποτελέσματα. Η πλειοψηφία των αλγορίθμων επίλυσης υλοποιούν «τοπική βελτιστοποίηση», δηλαδή εστιάζουν στην εύρεση μιας τοπικά βέλτιστης λύσης που είναι ακρότατο της αντικειμενικής συνάρτησης σε γειτονιά του χώρου λύσεων. Η τοπική λύση που προκύπτει δεν ταυτίζεται κατ αναγκή με το ολικό βέλτιστο, και συνήθως είναι ευαίσθητη σε σημαντικές μεταβολές των παραμέτρων συστήματος. 5

6 1.2 Διατύπωση και ταξινόμηση προβλημάτων Η επίλυση ενός προβλήματος βελτιστοποίησης συντελείται σε δύο στάδια. Στο πρώτο επιχειρείται η μαθηματική μετάφραση της λεκτικής διατύπωσης του προβλήματος, ενώ στο δεύτερο εφαρμόζεται κάποια τεχνική που να οδηγεί σε καλή προσέγγιση της βέλτιστης λύσης. Σημειώνουμε πως, όσον αφορά τη μετάβαση από το πρώτο στο δεύτερο στάδιο της επίλυσης, δεν υπάρχει κοινή μεθοδολογία αντιμετώπισης αλλά η δομή εξαρτάται από το συγκεκριμένο πρόβλημα. Στην ενότητα αυτή παρουσιάζουμε συνοπτικά χαρακτηριστικές περιπτώσεις που συναντώνται στην πράξη. Ανάλογα με το αν οι ανεξάρτητες μεταβλητές είναι συνεχείς ή/και διακριτές, χρησιμοποιούμε εργαλεία συνεχών ή διακριτών μαθηματικών. Όταν η αντικειμενική συνάρτηση είναι μιας διάστασης, τότε η μαθηματική ανάλυση είναι η συνήθης (μιας μεταβλητής), ενώ όταν είναι πολυδιάστατη (n > 1) μας παραπέμπει στην ανάλυση συναρτήσεων πολλών μεταβλητών. Στην περίπτωση διανυσματικής αντικειμενικής συνάρτησης (m > 1), ουσιαστικά έχουμε να χειριστούμε έναν αριθμό βαθμωτών συναρτήσεων ίσο με αυτό των συνιστωσών του αντίστοιχου διανύσματος F. Κάποια χαρακτηριστικά των τεχνικών βελτιστοποίησης συνδέονται με συγκεκριμένες ιδιαιτερότητες του προβλήματος προς λύση. Αυτά αντικατοπτρίζονται στις μαθηματικές ιδιότητες της αντικειμενικής συνάρτησης. Για παράδειγμα, όταν η αντικειμενική συνάρτηση είναι στοχαστική, υπάρχει το ενδεχόμενο χρήσης στατιστικών μεθόδων όπως η Monte Carlo. Αντίστοιχα, σε περιπτώσεις με πολλαπλά ακρότατα ή μη γραμμικότητες, δεν εξυπηρετεί η λογική της ολικής βελτιστοποίησης. Σε περιπτώσεις όπου οι παράμετροι του προβλήματος είναι ανεξάρτητες μεταξύ τους, η βελτιστοποίηση δεν υπόκειται σε περιορισμούς. Ακολουθεί η διατύπωση του προβλήματος της τοπικής ελαχιστοποίησης χωρίς περιορισμούς. Διατύπωση προβλήματος τοπικής βελτιστοποίησης χωρίς περιορισμούς: Να ευρεθεί ένα σημείο Χ R n, τέτοιο ώστε f(χ ) f(χ) για κάθε Χ R n, με την ιδιότητα Χ Χ < ε για κάποιο ε > 0 οσοδήποτε μικρό. Το πρόβλημα εύρεσης του ολικού ελαχίστου μιας συνάρτησης χωρίς περιορισμούς, παρότι είναι αρκετά πιο δύσκολο, έχει απλούστερη διατύπωση. Διατύπωση προβλήματος ολικής βελτιστοποίησης χωρίς περιορισμούς: Να ευρεθεί ένα σημείο Χ R n, τέτοιο ώστε f(χ ) f(χ) για κάθε Χ R n. Σε πολλά προβλήματα απαιτείται η βελτιστοποίηση μιας συνάρτησης όπου οι παράμετροι δεν είναι μεταξύ τους ανεξάρτητες αλλά συνδέονται μέσω κάποιων συναρτησιακών σχέσεων (ισοτήτων ή/και ανισοτήτων). Οι σχέσεις αυτές ονομάζονται περιορισμοί και το αντίστοιχο πρόβλημα χαρακτηρίζεται ως «βελτιστοποίηση με περιορισμούς». Αναφέρουμε παρακάτω τις (αντίστοιχες με παραπάνω) διατυπώσεις των βασικών προβλημάτων ελαχιστοποίησης παρουσία περιορισμών. 6

7 Διατύπωση προβλήματος τοπικής βελτιστοποίησης με περιορισμούς: Να ευρεθεί ένα σημείο Χ R n, τέτοιο ώστε f(χ ) f(χ) για κάθε Χ R n, με την ιδιότητα Χ Χ < ε για κάποιο ε > 0 οσοδήποτε μικρό, υπό τις συνθήκες ci (Χ) = 0 για κάθε i = 1, 2,, m ή/και hj (Χ) 0 για κάθε j = 1, 2,, k. Διατύπωση προβλήματος ολικής βελτιστοποίησης με περιορισμούς: Να ευρεθεί ένα σημείο X R n, τέτοιο ώστε f(x ) f(x) για κάθε X R n, υπό τις συνθήκες ci (X) = 0 για κάθε i = 1, 2,, m ή/και hj (X) 0 για κάθε j = 1, 2,, k. Για προβλήματα χωρίς περιορισμούς, κάποιες μέθοδοι ελαχιστοποίησης αναλύονται χωρίς χρήση παραγώγων της αντικειμενικής συνάρτησης, όμως οι περισσότερες βασίζονται στη χρήση πρώτων ή/και δεύτερων παραγώγων. Σε προβλήματα όπου έχουμε περιορισμούς, υπάρχουν προσεγγίσεις που χρησιμοποιούν μεθόδους χωρίς περιορισμούς με κατάλληλα τροποποιημένη την αντικειμενική συνάρτηση. Πιο συγκεκριμένα, μελετώνται οι «μέθοδοι ποινής» όταν υπάρχουν περιορισμοί ισότητας και οι «μέθοδοι φραγής» στην περίπτωση ανισοτικών περιορισμών. Οι μέθοδοι που αναφέραμε θα παρουσιαστούν λεπτομερέστερα σε επόμενο κεφάλαιο. 1.3 Κατηγορίες εφαρμογών Παρουσιάζουμε παρακάτω ενδεικτικές κατηγορίες εφαρμογών όπου λαμβάνει χώρα η λογική της βελτιστοποίησης. Μοντελοποίηση συστημάτων: Στόχος της μοντελοποίησης μια διεργασίας είναι η εύρεση ενός μοντέλου (από μια οικογένεια μοντέλων) το οποίο να προσεγγίζει καλύτερα ένα συναφές σύνολο δεδομένων. Το κάθε μοντέλο της οικογένειας παραμετροποιείται από ένα αριθμό παραμέτρων που συνιστά τις μεταβλητές του προβλήματος. Η αντικειμενική συνάρτηση συνίσταται από κάποιο μέτρο του σφάλματος μεταξύ των πραγματικών δεδομένων και τις εξόδους του μοντέλου. Το πρόβλημα βελτιστοποίησης διατυπώνεται ως η εύρεση εκείνων των παραμέτρων που ελαχιστοποιούν την αντικειμενική συνάρτηση, ικανοποιώντας ταυτόχρονα τους όποιους περιορισμούς λειτουργίας. Προσαρμογή δεδομένων: Η προσαρμογή δεδομένων αποτελεί μια συγκεκριμένη τεχνική για τη δημιουργία μοντέλων με βάση πειραματικά δεδομένα. Έστω ένα σύνολο δεδομένων (ti, yi), i = 1, 2,, m, και ένα μοντέλο f(t, X) με τις παραμέτρους {x1, x2,, xn}, και ζητείται να εντοπισθούν οι τιμές των παραμέτρων ώστε η προσέγγιση f(ti, X) yi να είναι βέλτιστη στα επιτρεπόμενα (από το μοντέλο) πλαίσια. Αυτό ισοδυναμεί με την ελαχιστοποίηση της συνάρτησης G(X) = [f(ti, X) - yi] 2. Παρατηρούμε ότι η G(X) είναι άθροισμα τετραγωνικών όρων. Οι συναρτήσεις με τέτοια δομή επιτρέπουν την εφαρμογή αποτελεσματικών μεθόδων σε πολλά προβλήματα προσαρμογής δεδομένων, όπως πχ. η γραμμική παλινδρόμιση. 7

8 Σχεδιασμός ολοκληρωμένων κυκλωμάτων: Η οριζόντια κάτοψη των συνηθισμένων ολοκληρωμένων κυκλωμάτων είναι παραλληλόγραμμη, οπότε το ύψος και το πλάτος κάθε μονάδας κυκλώματος αποτελούν μεταβλητές του προβλήματος. Περιορισμοί εμφανίζονται στο μέγεθος των κυκλωμάτων (συνολική επιφάνεια), αλλά και στο χρονισμό (το κύκλωμα πρέπει να λειτουργεί σε προδιαγεγραμμένη ταχύτητα). Την αντικειμενική συνάρτηση αποτελεί συνήθως η συνολική ισχύς που απορροφάται από το κύκλωμα. Το πρόβλημα βελτιστοποίησης έγκειται στην εύρεση των διαστάσεων των επιμέρους λειτουργικών μονάδων ώστε να ικανοποιούν τους σχεδιαστικούς περιορισμούς με ταυτόχρονη ελαχιστοποίηση της απορροφώμενης ισχύος. Ακολουθούν ορισμένα παραδείγματα διατύπωσης προβλημάτων βελτιστοποίησης, με σκοπό να συμβάλλουν στην κατανόηση των εισαγωγικών εννοιών. Παράδειγμα 1.3.1: Να σχεδιαστεί σκάλα με το ελάχιστο μήκος ώστε να ακουμπάει και στο έδαφος και στον τοίχο, δεδομένου ορθογωνίου εξογκώματος διαστάσεων α, β. 8 Oρίζουμε ως y το ύψος όπου η σκάλα ακουμπάει στον τοίχο και x το αντίστοιχο μήκος στο έδαφος. Το μήκος της σκάλας μπορεί να υπολογιστεί ως λ = x 2 + y 2. Τα τρίγωνα ABΓ, A B Γ είναι όμοια, οπότε: x = x a y β βx xy + ay = 0. Λύνοντας ως προς x και αντικαθιστώντας στην πρώτη σχέση, έχουμε: λ(x) = x 2 + ( βx x α )2. Η λ(x) είναι κατάλληλη επιλογή για το ρόλο της αντικειμενικής συνάρτησης. Παράδειγμα 1.3.2: Να υπολογιστεί η υδραυλικά βέλτιστη διατομή της δεξαμενής με βάση τον κανόνα ότι, για δεδομένη επιφάνεια, η παροχετευτικότητα μεγιστοποιείται όταν η βρεχόμενη περίμετρος γίνεται ελάχιστη. Μεταβλητές του προβλήματος είναι το πλάτος πυθμένα α και το βάθος ροής β. Τα γεωμετρικά μεγέθη είναι το εμβαδό υγρής διατομής Ε = αβ και η βρεχόμενη περίμετρος Π = α +2β. Με βάση τα παραπάνω, η μαθηματική διατύπωση του προβλήματος βελτιστοποίησης είναι: (αopt, βopt) min[π(α,β)], υπό τη συνθήκη E(α,β) = αβ.

9 2 Μαθηματικό υπόβαθρο Στο κεφάλαιο αυτό περιγράφονται οι μαθηματικές έννοιες εκείνες που κρίνονται απαραίτητες για την κατανόηση των κεφαλαίων που θα ακολουθήσουν: - Άλγεβρα διανυσμάτων και πινάκων. - Διαφορική ανάλυση συναρτήσεων μιας ή περισσότερων μεταβλητών. Η παρουσίαση σε αυτό το κεφάλαιο είναι σύντομη, ειδικότερα στο επίπεδο των παραδειγμάτων όσον αφορά την πρακτική χρήση των μαθηματικών εννοιών (αυτό συντελείται στοχευμένα στα επόμενα κεφάλαια). Αναλυτικότερη παρουσίαση των σχετικών θεμάτων μπορεί να αναζητηθεί στη συναφή βιβλιογραφία. 2.1 Διανύσματα και πίνακες Ένα διάνυσµα στο επίπεδο R 2 είναι ένα ζεύγος αριθµών (x1, x2). Γεωµετρικά, ένα τέτοιο διάνυσµα µπορεί να ερµηνευτεί ως ένα ευθύγραµµο τµήµα το οποίο αρχίζει από ένα σημείο του επιπέδου (α, β) και τελειώνει στο (x1 + α, x2 + β). Γενικότερα, ένα διάνυσµα στο n-διάστατο χώρο είναι µια n-άδα αριθμών (x1, x2,, xn), και θα συµβολίζουµε το σύνολο των n-διάστατων διανυσµάτων µε R n. Στο πλαίσιο αυτό, οι βασικές πράξεις στους διανυσματικούς χώρους (πρόσθεση, αφαίρεση κλπ) μπορούν να μεταπέσουν σε αλγεβρικές πράξεις μεταξύ των συντεταγμένων των διανυσμάτων. Το μέτρο ενός διανύσματος Χ = (x1, x2,, xn) συμβολίζεται με X και αντικατοπτρίζει το μήκος του διανύσματος στο n-διάστατο χώρο. Το μέτρο είναι θετικά ορισμένη ποσότητα και έχει ιδιότητες που χαρακτηρίζουν τα γεωμετρικά μήκη: Kλιμακότητα ( αx = α X ), τριγωνική ανισότητα ( X + Υ X + Υ ) κλπ. Τo βαθμωτό γινόμενο δύο διανυσμάτων στο n-διάστατο χώρο ορίζεται ως Χ Υ = x1y1 + x2y2 + + xnyn, και, γεωμετρικά, αντιστοιχεί στο μήκος της προβολής του ενός διανύσματος στο άλλο. Η γενίκευση των διανυσμάτων σε δύο και άνω διαστάσεις γίνεται με τους πίνακες. Ορισμός πίνακα: Πίνακας είναι μια ορθογώνια διάταξη αριθμών σε m x n διαστάσεις, x 11 x 12 x 1n x 21 x 22 x 2n η οποία αναπαρίσταται ως Χ = [ ]. x m1 x m2 x mn Το στοιχείο του Χ στη γραµµή m και τη στήλη n συµβολίζεται µε xmn. Ο ανάστροφος πίνακας του Χ, διαστάσεων n x m, συμβολίζεται με Χ Τ και έχει γραμμές μια προς μια ίσες με τις στήλες του Χ (x T ij = xji). Αν Χ Τ = Χ, τότε ο πίνακας Χ είναι και συμμετρικός, ενώ αν Χ Τ = - Χ ο πίνακας λέγεται αντισυμμετρικός. 9

10 Ειδικές κατηγορίες πινάκων: Ο μηδενικός πίνακας έχει όλα τα στοιχεία ίσα με 0, ο τετραγωνικός πίνακας έχει ίσο αριθμό γραμμών με στηλών, ο διαγώνιος πίνακας είναι τετραγωνικός πίνακας με μη μηδενικά μόνο τα διαγώνια στοιχεία, ενώ ο μοναδιαίος I είναι ο διαγώνιος πίνακας που έχει όλα τα μη μηδενικά του στοιχεία ίσα με 1. Οι θεμελιώδεις πράξεις ανάμεσα σε πίνακες (εννοείται των ιδίων διαστάσεων) αντιστοιχούν σε πράξεις ανάμεσα στα στοιχεία τους. Το γινόμενο πινάκων ορίζεται στο χώρο R nxn κατ αντιστοιχία με το εσωτερικό γινόμενο διανυσμάτων στο χώρο R n : [Χ Y] ij = x ik y kj. Ορισμός αντίστροφου πίνακα: Αντίστροφος πίνακας Χ -1 ενός τετραγωνικού πίνακα Χ ονομάζεται εκείνος ο πίνακας για τον οποίο ισχύει η σχέση Χ -1 Χ = Ι. Λόγω του ότι Χ -1 Χ = 1, το μέτρο του αντίστροφου πίνακα είναι ίσο με 1/ Χ. Κατά συνέπεια, για να ορίζεται ο αντίστροφος πίνακας πρέπει να ισχύει οπωσδήποτε ότι Χ 0. Ο υπολογισμός του αντίστροφου πίνακα γίνεται από τη σχέση: 10 n k=1 [Χ 1 ] ij = 1 Χ [( 1)i+j [Χ C ] ij ]. όπου X C είναι ο προσαρτημένος πίνακας που προκύπτει αν αφαιρέσουμε από τον X την i γραμμή και τη j στήλη. Όταν ισχύει η σχέση Χ -1 = Χ Τ, ο Χ καλείται ορθογώνιος πίνακας. Ένας ορθογώνιος πίνακας Χ ονομάζεται θετικά ορισμένος εάν για κάθε y 0 ισχύει η σχέση y T X y > 0, και θετικά ημιορισμένος όταν ισχύει y T Χ y 0. Οι συμμετρικοί πίνακες μπορούν να απλοποιήθουν κι άλλο μέσω διαγωνιοποίησης. Ορισμός διαγωνιοποίησης πίνακα: Κάθε συμμετρικός πίνακας αναλύεται κατά τη σχέση Χ = U T DU, όπου U ορθογώνιος πίνακας των ιδιοδιανυσμάτων του Χ και D διαγώνιος πίνακας με στοιχεία τις ιδιοτιμές του Χ. Οι ιδιοτιμές λ και τα ιδιοδιανύσματα Ξ του Χ υπολογίζονται με επίλυση του συγκεκριμένου προβλήματος ιδιοτιμών: λι Χ =0 και Χ Ξ = λξ. Να σημειώσουμε εδώ ότι οι θετικά ορισμένοι πίνακες έχουν όλες τις ιδιοτιμές τους θετικές, ενώ οι θετικά ημιορισμένοι έχουν ιδιοτιμές θετικές ή και μηδενικές. Η παρακάτω σχέση αποδεικνύεται αρκετά χρήσιμη όταν ζητείται ο υπολογισμός του αντίστροφου ενός πίνακα που προκύπτει ύστερα από γραμμοπράξεις. Θεώρημα Sherman-Morrison-Woodbury: Εάν Χ R n n είναι πίνακας συμμετρικός και αντιστρέψιμος, και u, v R n διανύσματα που ικανοποιούν τη σχέση 1 + v T X -1 u 0, τότε ισχύει η ιδιότητα (X + u v T ) 1 = X 1 X 1 u v T X 1 1+v T X 1 u.

11 Στη συνέχεια δίνουμε κάποια παραδείγματα σχετικά με τη χρήση των διανυσμάτων και των πινάκων (και τις πράξεις μεταξύ τους) σε εφαρμογές. Παράδειγμα 2.1.1: Αν o τετραγωνικός πίνακας Χ επαληθεύει τη σχέση Χ 2 = Χ, να δείξετε ότι την ίδια σχέση επαληθεύει και ο πίνακας Ι - Χ, καθώς και ότι ο Χ επαληθεύει την ιδιότητα των προβολικών πινάκων X k = Χ (k 3). Για το πρώτο ζητούμενο, αρκεί να δείξουμε ότι (Ι - Χ) 2 = Ι Χ. Έχουμε λοιπόν: (Ι Χ) 2 = (Ι Χ) (Ι Χ) = Ι 2 Ι Χ Χ Ι + Χ 2 = Ι 2Χ + Χ = Ι Χ. Όσον αφορά το δεύτερο ζητούμενο, παρατηρεί κάποιος ότι Χ 3 = Χ 2 Χ = Χ Χ = Χ 2 = Χ, Χ 4 = Χ 3 Χ = Χ Χ = Χ 2 = Χ κλπ. Αυτή η συμπεριφορά υποδεικνύει τη χρήση της μεθόδου της επαγωγής για την απόδειξη. Ακολουθούμε τα παρακάτω βήματα: - Απόδειξη της υπόθεσης για τη μικρότερη τιμή του k Χ 3 = Χ 2 Χ = Χ Χ = Χ 2 = Χ. - Παραδοχή της ισχύος της υπόθεσης για τυχαία τιμή k = n Χ n = Χ. - Απόδειξη της υπόθεσης για k = n +1 Χ n+1 = Χ n Χ = Χ Χ = Χ 2 = Χ. Παράδειγμα 2.1.2: Να διαπιστωθεί για ποιές τιμές των α1, α2, α3 και α4 ο πίνακας Α = [ α 1 α 2 α 3 α 4 ] είναι αντιστρέψιμος, και για εκείνες τις τιμές να βρεθεί ο πίνακας Α -1. Για να είναι o Α αντιστρέψιμος, θα πρέπει η ορίζουσά του να είναι μη μηδενική. Η συνθήκη λοιπόν για να υπάρχει ο πίνακας Α -1 μεταφράζεται σε: Α = α 1 α 4 α 2 α 3 0. Οι προσαρτημένοι πίνακες του Α, με βάση τον ορισμό, είναι οι [A C ] ij = [ α 4 α 2 α 3 α 1 ]. Στη φάση αυτή έχουμε ότι χρειάζεται για τον υπολογισμό του αντίστροφου πίνακα: [Α 1 ] ij = 1 1 Α [( 1)i+j [A C ] ij ] Α 1 = [ α 4 α 2 α 1 α 4 α 2 α 3 α 3 α ]. 1 Παράδειγμα 2.1.3: Να υπολογιστούν οι τιμές του c ώστε να αποτελεί ιδιοδιάνυσμα του πίνακα Α = [ 1 c 1] το διάνυσμα Χ = [ 2] Το Χ θα είναι ιδιοδιάνυσμα του Α αν υπάρχει λ ώστε να ισχύει ότι Α Χ = λχ. Ύστερα από απλές πράξεις, η σχέση αυτή παίρνει τη μορφή: λ λ 3 Α Χ = λχ [ 1 c 1] [ 2] = λ [ 2] [ 1 + 2c] = [ 2λ] [ c] = [ 5/2] Από την παραπάνω ισότητα προκύπτουν οι σχέσεις λ = 3 και c = λ 1/2 = 5/2. Συνεπώς, όταν c = 5/2, μια (τουλάχιστον) από τις ιδιοτιμές του πίνακα Α είναι ίση με 3 και έχει ως αντίστοιχο ιδιοδιάνυσμα το διάνυσμα Χ. 11

12 2.2 Παράγωγοι συναρτήσεων Η παράγωγος εκφράζει τη σχετική μεταβολή της τιμής μιας συνάρτησης ως προς τις αλλαγές των τιμών των μεταβλητών της. Για παράδειγμα, η παράγωγος της θέσης ενός οχήματος σε σχέση με το χρόνο είναι η ταχύτητα του. Γεωμετρικά, η παράγωγος σε ένα σημείο συνάρτησης μιας μεταβλητής είναι η κλίση της εφαπτόμενης γραμμής στη γραφική παράσταση της συνάρτησης στο σημείο αυτό. Ετσι, η παράγωγος είναι η καλύτερη γραμμική προσέγγιση της συνάρτησης στη γειτονία του εν λόγω σημείου. Ορισμός παραγώγου συνάρτησης μιας μεταβλητής: Μια συνάρτηση f(x): R R είναι f(x) f(x παραγωγίσιμη στο σημείο x0, όταν και μόνον όταν υπάρχει το όριο lim 0 ) x x 0 x x 0 είναι πεπερασμένο. Το όριο αυτό ονομάζεται παράγωγος df/dx = f (x) της f στο x0. Η έννοια της παραγώγου μπορεί να γενικευθεί σε συναρτήσεις πολλών πραγματικών μεταβλητών. Εκεί είναι αναγκαίος ο διαχωρισμός στη μερική παράγωγο ως προς κάθε μεταβλητή, η οποία ορίζεται κατ αντιστοιχία με τα παραπάνω για σταθερές όλες τις υπόλοιπες μεταβλητές, και την ολική παράγωγο της συνάρτησης, η οποία αναφέρεται στη «μέση» μεταβολή της συνάρτησης ως προς όλες τις μεταβλητές. Ορισμός ολικής παραγώγου συνάρτησης πολλών μεταβλητών: Η ολική παράγωγος μιας συνάρτησης f(χ): R n R, η οποία είναι παραγωγίσιμη σε κάθε κατεύθυνση του χώρου R n, ορίζεται στο σημείο Χ0 = (x 10, x 20,, x n0 ) ως ίση με df(x) = f(x) dx, όπου f(x) = [ f x 1 f x 2 12 και f x n ] η κλίση της συνάρτησης στο συγκεκριμένο σημείο. Όταν έχουμε διανυσματικές συναρτήσεις, η ολική παράγωγος είναι ουσιαστικά ένας πίνακας διαστάσεων m x 1 με στοιχεία (υποπίνακες) τις κλίσεις κάθε συνιστώσας της συνάρτησης. Οι παράγωγοι υψηλότερης τάξης ορίζονται μέσω της γενίκευσης των παραγώγων της πρώτης τάξης, και είναι πίνακες με τάξη ίση με (αριθμός μεταβλητών) x (τάξη παραγώγου). Δίνουμε ένα παράδειγμα με την παράγωγο δεύτερης τάξης. Ορισμός ολικής παραγώγου 2 ης τάξης συνάρτησης n μεταβλητών: Η ολική παράγωγος 2 ης τάξης μιας συνάρτησης f(χ): R n R ορίζεται ίση με d 2 f(x) = dχ Τ 2 f(x) dx, όπου 2 f(x) = [ 2 f 2 f x2 2 f 1 x 1 x 2 x 1 x n 2 f 2 f x 2 x 1 x2 2 f 2 x 2 x n 2 f 2 f 2 f x n x 1 x n x 2 x2 n ] είναι ο Εσσιανός πίνακας της f(x). Να σημειώσουμε εδώ ότι ο Εσσιανός πίνακας μια συνάρτησης πολλών μεταβλητών είναι ουσιαστικά ο Ιακωβιανός πίνακας της κλίσης της συνάρτησης αυτής, και είναι συμμετρικός λόγω της ταυτότητος 2 f x i x j = 2 f x j x i για κάθε x.

13 Χρήσιμες ιδιότητες του διαφορικού λογισμού: - Αν u R n και X R nxn, τότε (uχ) = u X + u X. - Αν X, Υ R nxn, τότε (Χ Υ) = ( Χ)Υ + (Χ )Υ. - Αν u R n και X R nxn, τότε 2 (uχ) = X 2 u + 2( u )X + u 2 X. - Αν X R n και f, g, h: R n R, με h(x) = g[f(x)] (δηλ. h = g f η σύνθεση των f, g), τότε h(x) = g[f(x)] f(x) (κανόνας της αλυσίδας). - Αν f: R n R παραγωγίσιμη σε ένα διάστημα D R n, τότε για κάθε Χ, Υ D υπάρχει Ξ D ώστε f(υ) - f(χ) = f(ξ) (Χ Υ) (θεώρημα μέσης τιμής). Στις συναρτήσεις μιας μεταβλητής, η εφαπτόμενη ευθεία σε σημείο της γραφικής παράστασης έχει κλίση ίση με την τιμή της πρώτης παραγώγου της συνάρτησης στο συγκεκριμένο σημείο. Ανάλογο ρόλο παίζει το εφαπτόμενο επίπεδο σε σημείο μιας επιφάνειας που αντιστοιχεί σε συνάρτηση πολλών μεταβλητών. Θεώρημα εφαπτόμενου επιπέδου: Έστω η συνάρτηση Η = (h1, h2,, hm): R n R m, η επιφάνεια S = {Χ R n : Η(Χ) = 0} R n και ένα σημείο Χ0 S τέτοιο ώστε τα διανύσματα h i (i = 1, 2,, m) να είναι γραμμικά ανεξάρτητα. Το εφαπτόμενο επίπεδο της S στο Χ0 είναι το σύνολο Τ = {Υ R n : H(X 0 ) Y = 0}. Η δυνατότητα ανάπτυξης μιας συνάρτησης σε πολυωνυμική σειρά (γνωστή ως σειρά Taylor) είναι κεντρικής σημασίας όσον αφορά προσεγγίσεις που χρησιμοποιούνται για την ανάπτυξη μεθόδων βελτιστοποίησης. Οι συντελεστές του αναπτύγματος έχουν συγκεκριμένη σχέση με τις ολικές παραγώγους της εν λόγω συνάρτησης. Ορισμός αναπτύγματος Taylor: Αν Χ, Y R n και f: R n R παραγωγίσιμη στο S R n, τότε η f αναλύεται γύρω από το σημείο Χ ως f(x + Y) = f(x) + (Υ T ) m f(x) m! m=1. Θεωρητικά, το πλήρες ανάπτυγμα Taylor περιέχει άπειρους όρους. Στις πρακτικές εφαρμογές όμως, υποχρεωτικά, από το άθροισμα επιλέγεται και διατηρείται ένας αριθμός Μ από τους πρώτους όρους. Στην περίπτωση αυτή, το ανάπτυγμα καλείται Μ-τάξης. Για παράδειγμα, το ανάπτυγμα δεύτερης τάξης έχει ως εξής: f(x + Y) = f(x) + Υ T f(x) ΥT 2 f(x) Υ + Ο( Υ 3 ). Κατά το σχεδιασμό λύσεων βελτιστοποίησης, προκύπτει ενίοτε η ανάγκη έκφρασης ενός διανύσματος Y = (y1, y2,, ym) ως συνάρτηση κάποιου άλλου Χ = (x1, x2,, xn). Βασική προϋπόθεση είναι να υπάρχουν m τουλάχιστον εξισώσεις που συνδέουν τα y1, y2,, ym και x1, x2,, xn, στη μορφή fk(x1, x2,, xn, y1, y2,, ym) = 0 (k = 1, 2,..., m), ή F(X, Y) = 0 στη διανυσματική της μορφή, και το σύστημά τους να έχει λύση ως προς τα στοιχεία του Υ. Το θεώρημα πεπλεγμένης συνάρτησης δίνει ικανές συνθήκες για την επίλυση του συγκεκριμένου τύπου προβλήματος. 13

14 Θεώρημα πεπλεγμένης συνάρτησης: Έστω Χ R n, Υ R m και Z = (X, Y) = (x1, x2,, xn, y1, y2,, ym), και συνάρτηση F: R n+m R παραγωγίσιμη στο S R n+m. Εάν στο σημείο Ζ0 = (Χ0, Y0) R n+m είναι F(Z0) = 0 και F/ Y (Z0) 0,τότε υπάρχει ρ > 0 και μοναδική συνάρτηση G: R n R m παραγωγίσιμη στο S(Χ0, ρ) R n, με G(X0) = Y0 και F(X, G) = 0, τέτοια ώστε y j(x) x i F Z = G Y (όπου i = 1, 2, n και j = 1, 2,, m). Τα ακρότατα μιας συνάρτησης είναι τα σημεία εκείνα όπου η συνάρτηση αποκτά ελάχιστη ή μέγιστη τιμή. Στα σημεία αυτά αλλάζει η μονοτονία, οπότε η παράγωγος πρώτης τάξης οφείλει να μηδενίζεται. Παρακάτω ακολουθούν οι σχετικοί ορισμοί. Ορισμός ακροτάτων συνάρτησης: Έστω f: D R n R. Ένα σημείο X* καλείται τοπικό ελάχιστο (μέγιστο) αν υπάρχει ρ > 0 ώστε f(x*) f(x) (f(x*) f(x)) για κάθε X D(Χ*, ρ). ενώ καλείται ολικό ελάχιστο (μέγιστο) αν η συνθήκη ισχύει για κάθε X D. Ορισμός κρίσιμων σημείων συνάρτησης: Ένα σημείο X* μιας συνάρτησης f καλείται κρίσιμο αν υπάρχουν οι μερικές παράγωγοι της f στο X* και f x i = 0 (i = 1, 2,, n). Ο υπολογισμός ακροτάτων αποτελεί σημαντικό κομμάτι για αρκετές από τις τεχνικές βελτιστοποίησης. Η συνήθης οδός είναι μέσω της εύρεσης των κρίσιμων σημείων στις ρίζες των μερικών παραγώγων 1 ης τάξης, εξετάζοντας ακολούθως τα πρόσημα των μερικών παραγώγων 2 ης τάξης. Δίνουμε ένα παράδειγμα με το παρακάτω θεώρημα (περισσότερες λεπτομέρειες στο επόμενο κεφάλαιο). Θεώρημα διαλογής ακροτάτων συνάρτησης: Ένα κρίσιμο σημείο X* της f: R n R είναι ολικό ελάχιστο (μέγιστο) αν ο 2 f είναι θετικά (αρνητικά) ημιορισμένος στο R n. Στο σχήμα δείχνουμε ορισμένες περιπτώσεις ακροτάτων και τις αντίστοιχες σχέσεις που ικανοποιούν οι παράγωγοι 1 ης και 2 ης τάξης για συναρτήσεις μιας μεταβλητής. 14

15 Κλείνοντας, έχουμε κάποια παραδείγματα σχετικά με τις ιδιότητες των παραγώγων, των πολυωνυμικών αναπτυγμάτων και των τοπικών ακροτάτων. Παράδειγμα 2.2.1: Nα κάνετε τον υπολογισμό των παραγώγων df 1 dx και 2 f 2 των συναρτήσεων f 1 (x) = ln(x n + sin(x)) και f 2 (Χ) = x 1 x 2 + x 2 x 3 + x 3 x 1. Η πρώτη συνάρτηση μπορεί να ειδωθεί ως σύνθεση των συναρτήσεων g 1 (x) = ln(x) και u = g 2 (x) = x n + sin(x). Με βάση τους κανόνες παραγώγισης (βλ. τη σχετική βιβλιογραφία) είναι dg 1 dx = 1 x και dg 2 dx = nx n 1 + cosx, οπότε τελικά: df 1 dx = d[g 1 g 2 ] = dg 1 dx du dg 2 dx = 1 x n + sinx (nxn 1 + cosx). Όσον αφορά τη δεύτερη συνάρτηση, ο Εσσιανός πίνακας 2 f 2 θα δίνεται από: 2 f 2 = [ 2 f 2 x f 2 2 f 2 x 2 x 1 x2 2 2 f 2 x 1 x 2 2 f 2 x 1 x 3 2 f 2 x 2 x 3 2 f 2 2 f 2 2 f 2 x 3 x 1 x 3 x 2 x2 3 ] = [ 1 0 1] Παράδειγμα 2.2.2: Να αναλυθεί σε σειρά Taylor γύρω από το σημείο Χ0 = (1, 2, -1), με ακρίβεια όρων πρώτης τάξης, η συνάρτηση f2 του προηγούμενου παραδείγματος. Αυτό που μας λείπει για τον υπολογισμό του αναπτύγματος είναι η παράγωγος πρώτης τάξης της f2. Αυτή υπολογίζεται κατά τα γνωστά: f = [ f 2 x 1 f 2 x 2 f 2 x 3 ] = [x 2 + x 3 x 3 + x 1 x 1 + x 2 ]. Με βάση τώρα το μαθηματικό τύπο του αναπτύγματος Taylor, θα έχουμε: f(x) = f(x 0 ) + (Χ X 0 ) T f(x 0 ) = 1 + [x 1 x 2 x 3 ] T [1 0 3], και με απλές πράξεις βρίσκουμε τελικά ότι f(x) = x1 + 3x3. Σαν άσκηση, μπορείτε να επεκτείνετε την ακρίβεια της σειράς Taylor σε όρους 2 ης τάξης, χρησιμοποιώντας τον υπολογισμένο (στο Παράδειγμα 2.4) εσσιανό πίνακα της f2. Παράδειγμα 2.2.3: Να βρεθούν τα c1, c2 0 ώστε το σημείο (α, β) (0, 0) να είναι κρίσιμο σημείο της f(χ) = c 1 c 2 x x 1 sin(c 2 x 2 ), και επίσης η τιμή της f στο (α, β). Για να είναι το (α, β) κρίσιμο σημείο της f, θα πρέπει οι δύο μερικές παράγωγοι της f να είναι ίσες με μηδέν. Υπολογίζουμε τις παραγώγους στο συγκεκριμένο σημείο: f 2 (α, β) = [ f x 1 f x 2 ]α,β = [3c 1 c 2 a 2 + 2sin(c 2 β) 2c 2 αcos(c 2 β)] = [0 0]. Από τη δεύτερη σχέση μηδενισμού, 2c2αcos(c2β) = 0, βρίσκουμε c2β = π/2, ή αλλιώς c2= π/2β. Ακολουθεί η πρώτη σχέση, και καθώς θα είναι sin(c2β) = 1, αυτή γίνεται 3c1πα 2 /2β + 2 = 0, με τελικό αποτέλεσμα c1 = - 4β/3πα 2. Με βάση όλα τα παραπάνω, η τιμή της f στο (α, β) υπολογίζεται ίση με f(α, β) = - 2α/3 + 2α = 4α/3. 15

16 2.3 Ασκήσεις ανακεφαλαίωσης Άσκηση 2.1: Για τα διανύσματα X = [5 2 3] και Y = [1 8 0], πρώτα να επαληθευτεί η τριγώνικη ανισότητα και ύστερα να βρεθεί το (α) μέτρο του Χ, (β) διάνυσμα Ζ = 2Χ - 5Υ, (γ) εσωτερικό γινόμενο των Χ, Υ Άσκηση 2.2: Έστω Α = [ ], Β = [ 1 6 2] και C = [ ]. Mε βάση τους Α, Β, C, να υπολογιστούν οι ακόλουθοι πίνακες (α) D1 = A B - B A, (β) D2 = (C B) 2, (γ) D3 = 2A T + 3C -1. Άσκηση 2.3: Να λυθεί η εξίσωση Α Χ = Β ως προς τον άγνωστο πίνακα Χ = [ x 1 x ], όπου 2 Α = [ ] και Β = [1 9 ]. Άσκηση 2.4: Να βρεθούν οι ιδιοτιμές και τα ιδιοδιανύσματα των πινάκων (α) Α = [ ], (β) Β = [ ] Άσκηση 2.5: Να υπολογιστούν οι παράγωγοι 1 ης τάξης των παρακάτω συναρτήσεων (α) f1(x) = 9x+24 5x 2 3, (β) f 2(x) = 2ημ(2 x+5)-6συν(7x 2 ), (γ) f3(x) = 5e -4x ln(x 2 +1). Άσκηση 2.6: Να βρεθούν οι ζητούμενες παράγωγοι των εξής συναρτήσεων (α) g1/ x, 2 g1 της g1(x,y) = -5x 2 y 3 +2x 5-4y 2 +12, (β) g2/ y, g2 της g2(x,y) = 21x y+5y 3 lnx 3x 2 e y, (γ) g3/ z, 2 g3/ xy της g3(x,y,z) = 5ημ(2πxz)συν(3πy 2 z 2 ). Άσκηση 2.7: Να αποδείξετε ότι αν ο Εσσιανός πίνακας 2 f μιας συνάρτησης f: R n R σε σημείο Χ0 R n είναι θετικά ορισμένος, τότε το ολικό διαφορικό d 2 f της συνάρτησης στο συγκεκριμένο σημείο είναι θετικό. Αν, επιπρόσθετα, στο Χ0 ισχύει ότι f = 0, τότε το σημείο αυτό είναι τοπικό ελάχιστο της f. Άσκηση 2.8: Να αναπτύξετε τις συναρτήσεις της άσκησης 2.6 σε πολυωνυμική σειρά (Taylor) 2 ης τάξης γύρω από ζητούμενα σημεία ως εξής: την g1 γύρω από το (2, -1), την g2 γύρω από το (3, 0) και την g3 γύρω από το (-1, 2, 4). Άσκηση 2.9: Να βρεθούν τα κρίσιμα σημεία των παρακάτω συναρτήσεων, και να εξεταστεί αν αυτά αποτελούν τοπικά ελάχιστα (α) h1(x) = 7x+2e x 6x -1, (β) h2(x,y) = 2 y, (γ) h 3(x,y,z) = 2ημ(xy)-συν(yz). 3x 2 +y 3 16

17 3 Θεμελιώδεις έννοιες βελτιστοποίησης Στο παρόν κεφάλαιο συζητώνται ορισμένα θέματα που είναι κεντρικής σημασίας για τη σύνθεση και ανάλυση αλγορίθμων βελτιστοποίησης. Αυτά είναι τα ακόλουθα: - Μελέτη καμπυλότητας συνόλων και συναρτήσεων. - Διατύπωση γενικών συνθηκών ελαχιστοποίησης/μεγιστοποίησης. - Δυαδικότητα στη διατύπωση προβλημάτων βελτιστοποίησης. Οι πιο πάνω έννοιες συνδέονται ουσιαστικά με τη διαδικασία επίλυσης προβλημάτων βελτιστοποίησης. Το είδος της καμπυλότητας της αντικειμενικής συνάρτησης είναι καθοριστικό για τo είδος των ακροτάτων της συνάρτησης. Οι όποιες διατυπωμένες μαθηματικές συνθήκες σχετικά με τα ακρότατα αποτελούν τη βάση για αρκετές τεχνικές εντοπισμού βέλτιστων λύσεων. Τέλος, μέσω της δυαδικότητας δίνεται, σε ορισμένες περιπτώσεις, η δυνατότητα να αντιστοιχίσουμε το αρχικό πρόβλημα βελτιστοποίησης σε ένα αντίστοιχο πρόβλημα που επιλύεται ευκολότερα. 3.1 Καμπυλότητα συνόλων και συναρτήσεων Η μελέτη της καμπυλότητας συνόλων και συναρτήσεων είναι κεντρικής σημασίας στο γνωστικό αντικείμενο των τεχνικών βελτιστοποίησης. Ξεκινάμε από τα σύνολα, τα οποία χωρίζονται σε κύρτα είτε μη κυρτά. Παρακάτω δίνουμε τον κύριο ορισμό για τα είδη της καμπυλότητας ενός συνόλου και ορισμένες συνέπειες αυτού. Ορισμοί για την καμπυλότητα συνόλων: Ένα n διάστατο σύνολο S καλείται κυρτό όταν το ευθύγραμμο τμήμα που ενώνει οποιοδήποτε ζεύγος σημείων (X1, X2) S βρίσκεται ολόκληρο εντός του συνόλου. Σε κάθε άλλη περίπτωση το σύνολο λέγεται μη κυρτό. Όσον αφορά τις θεμελιώδεις πράξεις μεταξύ συνόλων, αποδεικνύεται ότι η τομή δύο κυρτών συνόλων είναι εξ ορισμού κυρτό σύνολο, όμως η ένωση δύο κυρτών συνόλων δεν είναι απαραίτητα κυρτό σύνολο. Στο σχήμα που ακολουθεί δίνουμε παράδειγμα κυρτού και μη κυρτού συνόλου στις δύο διαστάσεις. 17

18 Στη βάση του ότι οι συντεταγμένες των σημείων του ευθύγραμμου τμήματος με άκρα τα X1, X2 ικανοποιούν εξίσωση της μορφής Y - X1 = λ(x2 - X1), βρίσκουμε ότι ένα σύνολο S είναι κυρτό αν για κάθε (X1, X2) S και κάθε λ [0, 1] ισχύει πως λx1+ (1 λ)x2 S. Η πρόταση αυτή καλείται κυρτός συνδυασμός, υποδηλώνει τον ορισμό που δώσαμε παραπάνω, και εξυπηρετεί ως κριτήριο για τον έλεγχο της κυρτότητας συνόλων. Η πρόταση μπορεί να γενικευθεί σε n μεταβλητές μέσω του ακόλουθου θεωρήματος. Θεώρημα κυρτού συνδυασμού συνόλων n διαστάσεων: Έστω S ένα κυρτό υποσύνολο του R n και X1, X2,, Xk S. Αν λι 0 (i = 1, 2,, k) με k ι=1 λ i = 1, τότε ο γραμμικός συνδυασμός k ι=1 λ i X i ανήκει και αυτός στο S. Η καμπυλότητα μιας συνάρτησης ορίζεται κατ αντιστοιχία με εκείνη των συνόλων, στη βάση του πως τοποθετούνται τα σημεία του χώρου σε σχέση με το γράφημα της συνάρτησης. Η καμπυλότητα των συναρτήσεων, όσον αφορά το είδος της, χωρίζεται σε δύο βασικές κατηγορίες: την κυρτότητα και την κοιλότητα. Oρισμοί για την καμπυλότητα συναρτήσεων: Μια συνάρτηση f: S R n R είναι κυρτή όταν το ευθύγραμμο τμήμα που ενώνει οποιοδήποτε ζεύγος σημείων (X1, X2) S δεν βρίσκεται ποτέ κάτω από το γράφημα της f, ενώ είναι κοίλη όταν το εν λόγω τμήμα δεν βρίσκεται ποτέ πάνω από το γράφημά της. Στο σχήμα που ακολουθεί δίνουμε ένα εποπτικό παράδειγμα μιας κυρτής και μιας κοίλης συνάρτησης στις δύο διαστάσεις. Και πάλι κατ αντιστοιχία με τα σύνολα, και για τις συναρτήσεις μπορεί να διατυπωθεί μαθηματικά η πρόταση του κυρτού συνδυασμού και να αποτελέσει κριτήριο για τη διαπίστωση του είδους της καμπυλότητας μιας συνάρτησης. Κριτήριο κυρτού συνδυασμού συναρτήσεων: Έστω κυρτό σύνολο S R n και συνάρτηση f: S R. Για κάθε ζεύγος (X1, X2) S και για κάθε λ [0, 1], η f είναι κυρτή εάν ισχύει f(λx1 + (1 λ)x2) λf(x1) + (1 λ)f(x2), κοίλη εάν f(λx1 + (1 λ)x2) λf(x1) + (1 λ)f(x2), και μη κυρτή σε κάθε άλλη περίπτωση. Αν στις παραπάνω ανισότητες δεν ισχύει η ισότητα, τότε το είδος της καμπυλότητας ονομάζεται γνήσιο. 18

19 Υπάρχουν κάποιες συναρτήσεις οι οποίες είναι μεν κυρτές σε ένα σύνολο, το σύνολο όμως αυτό είναι υποσύνολο του συνόλου στο οποίο αναζήτουμε τη βέλτιστη λύση. Τέτοιες συναρτήσεις ενδέχεται να αλλάζουν ελαφρώς καμπυλότητα ή να έχουν σαγματικά σημεία εντός του συνόλου που μας ενδιαφέρει. Στην πρώτη περίπτωση, οι συναρτήσεις λέγονται σχεδόν κυρτές, ενώ στη δεύτερη λέγονται ψευδοκυρτές. Κριτήριο προσεγγιστικά κυρτού συνδυασμού συναρτήσεων: Για κάθε ζεύγος (X1, X2) του κυρτού συνόλου S R n και κάθε λ [0, 1], η f: S R θα καλείται σχεδόν κυρτή εάν f(λx1 + (1 λ)x2) max{f(x1), f(x2)}. Στην περίπτωση όπου f(x 1 )(X 2 X 1 ) 0, η f θα καλείται ψευδοκυρτή εάν συγχρόνως ισχύει ότι f(x2) f(x1). Όσες συναρτήσεις είναι κυρτές έχουν και αρκετές ενδιαφέρουσες ιδιότητες, οι οποίες διατυπώνονται στη βιβλιογραφία ως θεωρήματα και πορίσματα, και λειτουργούν ως κριτήρια για την κυρτότητα απλούστερα από αυτό που αναφέραμε παραπάνω. Παρουσιάζουμε συνοπτικά τις κυριότερες από αυτές. Ιδιότητες των κυρτών συναρτήσεων (θεωρείστε f: S R n R και X S): - Αν η συνάρτηση f είναι κοίλη, τότε η συνάρτηση -f είναι κυρτή. - Έστω f κυρτή και D S κλειστό και φραγμένο σύνολο, τότε η f είναι φραγμένη στο D. - Αν λι 0 με k ι=1 λ i = 1 και fi κυρτές συναρτήσεις (i = 1, 2, k), τότε η συνάρτηση f(χ) = k ι=1 f i (X) k είναι κυρτή και επιπλέον ισχύει f( ι=1 λ i X i ) k ι=1 λ i f(x i ). - Αν οι f1, f2 είναι κυρτές και επιπλέον η f2 είναι (γνησίως) αύξουσα στην περιοχή που ορίζεται από την f1, τότε η σύνθετη συνάρτηση f2 (f1(χ)) είναι (γνήσια) κυρτή. - Η συνάρτηση f είναι κυρτή αν και μόνο αν f(x 1 )(X 2 X 1 ) f(x 2 ) f(x 1 ). - Αν ο 2 f είναι θετικά ημιορισμένος (ορισμένος), τότε η f είναι (γνήσια) κυρτή. - Κάθε κρίσιμο σημείο κυρτής συνάρτησης f είναι και ολικό ελάχιστο της f, και αν επιπλέον η κυρτότητα της f είναι γνήσια το ολικό ελάχιστο είναι και μοναδικό. Με τη βοήθεια των ιδιοτήτων κυρτών συναρτήσεων δίνεται η δυνατότητα αναλυτικής μελέτης των τοπικών ακροτάτων μιας υποψήφιας αντικειμενικής συνάρτησης που είναι κυρτή: Σε κάθε κρίσιμο σημείο της συνάρτησης ελέγχουμε εάν αυτή είναι τοπικά κυρτή, και έπειτα εφαρμόζουμε κάποιες από τις ιδιότητες για να συμπεράνουμε το είδος του ακροτάτου. Ακολουθούν ορισμένα σχετικά παραδείγματα. Παράδειγμα 3.1.1: Με δεδομένο ότι κάθε συνάρτηση v: R n R ονομάζεται νόρμα αν είναι μη αρνητική στο R n, θετική στο R n {0} και ικανοποιεί τις σχέσεις v(ax) = a v(x) και v(x+υ) v(x) + v(υ), να αποδείξετε ότι η νόρμα είναι κυρτή συνάρτηση. Από τη δεύτερη ιδιότητα της νόρμας έχουμε ότι για X1, X2 R n και λ [0, 1] θα είναι: v(λx 1 + (1 λ)x 2 ) v(λx 1 ) + v((1 λ)x 2 ) = λv(x 1 ) + (1 λ)v(x 2 ). Με βάση τώρα την πρώτη ιδιότητα της νόρμας, η παραπάνω σχέση γίνεται: v(λx 1 + (1 λ)x 2 ) λv(x 1 ) + (1 λ)v(x 2 ). Ισχύει λοιπόν το κριτήριο κυρτού συνδυασμού και, κατά συνέπεια, η v(x) είναι κυρτή. 19

20 Παράδειγμα 3.1.2: Δείξτε ότι οι συναρτήσεις f 1 (X) = ln(e x 1 + e x 2), f 2 (X) = x p (p > 1) και f 3 (X) = x 1 2 4x 1 x 2 + 5x 2 2 ln(x 1 x 2 ) (x1, x2 > 0) είναι κυρτές. Για την πρώτη συνάρτηση, αρκεί να δείξουμε ότι ο εσσιανός πίνακας 2 f 1 είναι θετικά ημιορισμένος. Μετά από απλές πράξεις καταλήγουμε στο συμπέρασμα αυτό: 2 f 1 = e x 1+x 2 e x [ e x ] 0, Η δεύτερη συνάρτηση μπορεί να περιγραφεί ως σύνθεση δύο συναρτήσεων g2(g1(x)), όπου g1(x) = X και g2(y) = y p (y 0, p 1). H g1, ως νόρμα, είναι κυρτή συνάρτηση (βλ. προηγούμενο παράδειγμα). Επιπλέον, ισχύουν τα εξής: g 2 (y) = py p g 2 (y) = p(p 1)y p 2 0. Η πρώτη από τις δύο σχέσεις μας λέει ότι η g2 είναι αύξουσα, και λαμβάνοντας υπόψη και τη δεύτερη συμπεραίνουμε ότι είναι κυρτή. Με βάση και τις ιδιότητες των κυρτών συναρτήσεων, καταλήγουμε στο ότι η f2(x) = g2(g1(x)) είναι κυρτή. Η f3 γράφεται στη μορφή f3(x) = g3(x) + g4(x), με g 3 (X) = x 1 2 4x 1 x 2 + 5x 2 2 και g 4 (X) = ln(x 1 x 2 ). Με βάση τις ιδιότητες κυρτών συναρτήσεων, αρκεί να δείξουμε ότι οι g3, g4 είναι κυρτές. Για τις ιδιοτιμές γ3 του εσσιανού πίνακα 2 g 3 έχουμε ότι: 2 g 3 = [ ] γ 3Ι 2 g 3 = γ γ 3 10 = γ γ = 0. Οι ρίζες της εξίσωσης έχουν άθροισμα 12 και γινόμενο 4, οπότε είναι θετικές. Άρα ο 2 g 3 είναι θετικά ορισμένος και η g3 είναι κυρτή. Για τη g4 είναι g4(χ) = ln(x1) ln(x2), και λόγω του ότι η g5(y) = ln(y) είναι κυρτή ( 2 g 5 (y) = y 2 > 0) και η g4 είναι κυρτή. Παράδειγμα 3.1.3: Να αποδειχθεί η ανισότητα του αριθμητικού-γεωμετρικού μέσου, n δ x i n n i=1 i i=1 δ i x i, όπου xi > 0 (i = 1, 2,, n) και δi > 0 με i=1 δ i = 1. Ακολούθως, να βρεθεί το παραλληλεπίπεδο σταθερού όγκου V0 με την ελάχιστη επιφάνεια. Θεωρούμε τη συνάρτηση f(x) = - ln(x) (x > 0), η οποία είναι κυρτή (βλ. προηγούμενο παράδειγμα). Τα δεδομένα xi, δi και η f ικανοποιούν τις προϋποθέσεις για να ισχύει η τρίτη από τις ιδιότητες κυρτών συναρτήσεων που αναφέραμε παραπάνω: n ι=1 n δ ln ( δ i x i ) ln(x i δ i ) = ln ( x i δ i ) x i i δ i x i. ι=1 Στο δεύτερο ερώτημα, το πρόβλημα ελαχιστοποίησης προς λύση μπορεί να διατυπωθεί και ως: min x 1 x 2 + 2x 1 x 3 + 2x 2 x 3. Με βάση τη σχέση επιφάνειας x 1 x 2 x 3 =V 0 και όγκου στα παραλληλεπίπεδα, και την παραπάνω ανισότητα, γράφουμε: n i=1 3 S = x 1 x 2 + 2x 1 x 3 + 2x 2 x 3 3 4V 2 0. Η μικρότερη επιφάνεια συναντάται όταν ισχύει η ισότητα, κάτι το οποίο συμβαίνει για x 1 = x 3 2 = 2V 0 και x = 2V 0 2, και προκύπτει ίση με S min = 3 4V 2 0. n i=1 n ι=1 20

21 3.2 Γενικές συνθήκες ελαχιστοποίησης/μεγιστοποίησης Εν γένει, η εύρεση των τοπικών ελάχιστων/μέγιστων μιας συνάρτησης απαιτεί τον έλεγχο της συνάρτησης για ύπαρξη κρίσιμων σημείων σε όλο το σύνολο τιμών. Στην περίπτωση όμως που η συνάρτηση έχει συγκεκριµένες ιδιότητες, ο προσδιορισμός ακροτάτων μπορεί να απλοποιηθεί μέσω κατάλληλων συνθηκών. Οι συνθήκες αυτές χωρίζονται σε δύο κατηγορίες: τις ικανές, που αρκεί να ισχύουν για να υπάρχει το ακρότατο, και τις αναγκαίες, οι οποίες είναι απαραίτητες προϋποθέσεις. Οι συνθήκες για τα προβλήματα που έχουν περιορισμούς είναι διαφορετικές από τις αντίστοιχες ελλείψει περιορισμών. Σε προβλήματα χωρίς περιορισμούς, οι συνθήκες εκφράζονται με βάση τις παραγώγους της αντικειμενικής συνάρτησης. Υπάρχουν δύο αναγκαίες συνθήκες που εξασφαλίζουν ότι για σηµείο που αποτελεί τοπικό ελάχιστο συνάρτησης ισχύουν συγκεκριµένες ιδιότητες. Ανάλογα με την τάξη της παραγώγου που εμπλέκεται στη συνθήκη, αυτές αναφέρονται ως 1 ης ή 2 ης τάξης. Αναγκαία συνθήκη 1 ης τάξης σε πρόβλημα χωρίς περιορισμούς: Έστω f: S R n R συνεχώς διαφορίσιµη. Αν το X* S είναι τοπικό ελάχιστο της f, τότε f(x*) = 0. Αναγκαία συνθήκη 2 ης τάξης σε πρόβλημα χωρίς περιορισμούς: Έστω f: S R n R συνεχώς διαφορίσιµη με παραγώγους 1 ης και 2 ης τάξης. Αν το X* S είναι τοπικό ελάχιστο της f, τότε f(x*) = 0 και ο πίνακας 2 f(x*) είναι θετικά ημιορισμένος. Παρατηρείστε εδώ την «αναγκαιότητα» των παραπάνω συνθηκών, δηλαδή το ότι δεν εξασφαλίζουν την ύπαρξη ελαχίστου αλλά απλώς επισημαίνουν την ύπαρξη καλών υποψήφιων σημείων. Υπάρχει όμως και µία ικανή συνθήκη, η οποία αν πληρείται από ένα τοπικό ελάχιστο τότε το σηµείο αυτό είναι ταυτόχρονα και ολικό ελάχιστο. Ικανή συνθήκη 2 ης τάξης σε πρόβλημα χωρίς περιορισμούς: Έστω f: S R n R συνεχώς διαφορίσιµη με παραγώγους 1 ης και 2 ης τάξης, και X* S. Αν ισχύει ότι f(x*) = 0 και ο πίνακας 2 f(x*) είναι θετικά ορισμένος, τότε το X* είναι τοπικό ελάχιστο της f. Οι προτάσεις αυτές παρέχουν σημαντικές πληροφορίες, με κυριότερη το γεγονός ότι, για οµαλές συναρτήσεις, μπορούμε να προσδιορίσουµε αν ένα σηµείο είναι τοπικό ελάχιστο εξετάζοντας μόνο κάποιες ιδιότητές του ιακωβιανού ( f) και του εσσιανού πίνακα ( 2 f) στο σηµείο εκείνο. Η λογική αυτή συνοψίζεται στο κάτωθι θεώρημα. Θεώρημα Sylvester: Αν f: S R n R συνάρτηση διαφορίσιμη στην 1 η και 2 η τάξη, με κρίσιμο σημείο X* S, και Di είναι η i-υποορίζουσα του εσσιανού πίνακα, τότε: - Αν Di(X*) > 0 για κάθε i, τότε το Χ* αποτελεί τοπικό ελάχιστο. - Αν Di(X*) < 0 για κάθε i, τότε το X* αποτελεί τοπικό μέγιστο. - Αν Di(X*) 0 και δεν ισχύουν τα παραπάνω, το X* είναι σημείο καμπής. - Αν Di(X*) = 0, η περίπτωση είναι ιδιάζουσα (εξετάζουμε συνθήκες 3 ης τάξης). 21

22 Στην περίπτωση όπου η συνάρτηση που μελετάμε είναι κυρτή, η κατάσταση γίνεται ακόμη πιο απλή. Αρκεί να θυμίσουμε εδώ την τελευταία από τις ιδιότητες των κυρτών συναρτήσεων που αναφέραμε παραπάνω: Αν µία συνάρτηση είναι κυρτή, τότε κάθε κρίσιμο σημείο της είναι και ολικό της ελάχιστο. Αυτό σημαίνει ότι, στην περίπτωση κυρτής συνάρτησης, για να βεβαιώσουμε την ύπαρξη ενός ελαχίστου δε χρειάζεται κάτι παραπάνω από το να αποδείξουμε το πρώτο τμήμα της ικανής συνθήκης. Με σκοπό την καλύτερη κατανόηση όσων είπαμε ως τώρα, παρέχουμε δύο σχηματικά παραδείγματα ανάλυσης τοπικών ακροτάτων στις 3 διαστάσεις. Στο πρώτο γράφημα υπάρχει τοπικό ελάχιστο, το οποίο είναι και ολικό λόγω κυρτότητας της συνάρτησης, ενώ στο δεύτερο, για μη κυρτή συνάρτηση, απεικονίζεται η περίπτωση όπου τοπικό ελάχιστο δεν είναι και το ολικό (με παρεμβολή και ενός σημείου καμπής). Όταν στο πρόβλημα υπάρχουν περιορισμοί (ισοτικοί ή ανισοτικοί), είναι ευνόητο ότι πρέπει να ενσωματωθούν καταλλήλως στις συνθήκες ελαχιστοποίησης. Συνεπώς, η λύση ενός προβλήματος με περιορισμούς, πλέον του ότι οφείλει να είναι ακρότατο της αντικειμενικής συνάρτησης, πρέπει επίσης να ικανοποιεί και τους περιορισμούς. Σε αυτό το πλαίσιο, είναι χρήσιμο να διατυπωθεί ο ακόλουθος ορισμός. Ορισμός εφικτής περιοχής σε πρόβλημα με περιορισμούς: Έστω min[f(x)] πρόβλημα βελτιστοποίησης με m + k συνθήκες C(Χ) = 0, Η(Χ) 0, όπου f: S R n R, Χ S, C R m, H R k. Κάθε σημείο X* S που ικανοποιεί τους περιορισμούς καλείται εφικτό σημείο, και το σύνολο όλων των εφικτών σημείων καλείται εφικτή περιοχή του προβλήματος. Αν η εφικτή περιοχή περιέχει τουλάχιστον ένα σημείο τότε το πρόβλημα ονομάζεται αποτελούμενο, ενώ αν είναι κυρτό σύνολο το πρόβλημα ονομάζεται κυρτό. Στην περίπτωση τώρα που σε κάποιο εφικτό σημείο Χ* τα διανύσματα c 1, c 2,, c m είναι και γραμμικά ανεξάρτητα, τότε το X* ονομάζεται και ομαλό σημείο. 22

23 Η εφικτή περιοχή μπορεί να εμφανίζει επιθυμητές ιδιότητες όσον αφορά την ευκολία επίλυσης του προβλήματος, όπως πχ. γραμμικότητα, κυρτότητα και συνέχεια, χωρίς όμως αυτό να είναι απόλυτα βέβαιο. Ακολουθεί ένα παράδειγμα με χαρακτηριστικά είδη εφικτών περιοχών σε προβλήματα δύο διαστάσεων. Στην περίπτωση περιορισμών ισότητας, η πιο κατάλληλη τεχνική για την ανάλυση του προβλήματος είναι αυτή των πολλαπλασιαστών Lagrange. Με χρήση της μεθόδου, κάθε πρόβλημα ελαχιστοποίησης με περιορισμούς είναι δυνατό να αναχθεί σε πρόβλημα χωρίς περιορισμούς. Παρακάτω δίνουμε τις σχετικές πληροφορίες. Ορισμός συνάρτησης Lagrange: Έστω πρόβλημα βελτιστοποίησης με αντικειμενική συνάρτηση f: S R n R και m συνθήκες C(Χ) = 0. Ορίζουμε τη συνάρτηση Lagrange L(X, Λ) = f(x) + Λ C(Χ), όπου Λ = (λ1, λ2,, λm) 0 οι πολλαπλασιαστές Lagrange. Η ανάλυση του μετασχηματισμένου προβλήματος γίνεται θεωρώντας ως μεταβλητές τις αρχικές μεταβλητές Χ μαζί με τους συντελεστές Λ. Το σημείο κλειδί στην εφαρμογή της μεθόδου έγκειται στην εξασφάλιση ότι το ακρότατο της f ταυτίζεται με ένα σημείο καμπής της L, δηλ. ότι L(Χ*, Λ*) = f(x*). Αυτό συμβαίνει διότι η συνάρτηση Lagrange συνδέεται άμεσα με την ευαισθησία της ελάχιστης τιμής της αντικειμενικής συνάρτησης σε μικρές παραμετρικές μεταβολές των περιορισμών ισότητας. Η χρησιμότητα της μεθόδου έγκειται στο γεγονός ότι επιφέρει τη βελτιστοποίηση ικανοποιώντας ταυτόχρονα τους περιορισμούς, αλλά και στο ότι αυτό επιτυγχάνεται εφαρμόζοντας απλό διαφορικό λογισμό για την εύρεση των ακροτάτων, ουσιαστικά χωρίς να λαμβάνουμε υπόψη τις υπόλοιπες συνθήκες. Η επιβάρυνση βρίσκεται στο ότι έχουμε να ασχοληθούμε με τις επιπλέον εξισώσεις (μια για κάθε πολλαπλασιαστή Lagrange) που προκύπτουν από τους περιορισμούς του προβλήματος. 23

24 Στο πλαίσιο που μόλις περιγράψαμε, είναι δυνατό να διατυπωθούν οι αναγκαίες και ικανές συνθήκες για την ύπαρξη τοπικών ακροτάτων της αντικειμενικής συνάρτησης. Παραθέτουμε πρώτα τις δύο αναγκαίες συνθήκες. Αναγκαία συνθήκη 1 ης τάξης σε πρόβλημα με περιορισμούς ισότητας: Έστω πρόβλημα βελτιστοποίησης με m περιορισμούς στις σχέσεις C(Χ) = 0, αντικειμενική συνάρτηση f: S R n R και συνάρτηση Lagrange L: Q R n+m R. Αν το σημείο Χ* S είναι τοπικό ελάχιστο, τότε υπάρχει Λ* R m ώστε L(Χ, Λ ) = f(χ ) + Λ C(Χ ) = 0. Αναγκαία συνθήκη 2 ης τάξης σε πρόβλημα με περιορισμούς ισότητας: Έστω πρόβλημα βελτιστοποίησης με m περιορισμούς στις σχέσεις C(Χ) = 0, αντικειμενική συνάρτηση f: S R n R και συνάρτηση Lagrange L: Q R n+m R. Αν το σημείο Χ* S είναι τοπικό ελάχιστο, τότε υπάρχει Λ* R m ώστε να ισχύει L(Χ, Λ ) = 0 και ο πίνακας 2 L να είναι θετικά ημιορισμένος στο εφαπτόμενο επίπεδο της C(X) = 0 στο Χ*. Είναι άξιο παρατήρησης ότι το αρχικό πρόβλημα (με αντικειμενική συνάρτηση n διαστάσεων και m περιορισμούς) έχει απεικονιστεί σε πρόβλημα χωρίς περιορισμούς με αντικειμενική συνάρτηση n + m διαστάσεων. Αντίστοιχα διατυπώνεται και εδώ μια ικανή συνθήκη 2 ης τάξης στη βάση της συνάρτησης Lagrange. Ικανή συνθήκη 2 ης τάξης σε πρόβλημα με περιορισμούς ισότητας: Έστω πρόβλημα βελτιστοποίησης με m περιορισμούς στις σχέσεις C(Χ) = 0, αντικειμενική συνάρτηση f: S R n R και συνάρτηση Lagrange L: Q R n+m R. Αν στο ομαλό σημείο Χ* S υπάρχει Λ* R m ώστε L(Χ, Λ ) = 0 και ο πίνακας 2 L να είναι θετικά ημιορισμένος στο εφαπτόμενο επίπεδο της C(X) = 0 στο Χ*, τότε το Χ* είναι τοπικό ελάχιστο. Όταν κάποιοι από τους περιορισμούς είναι ανισώσεις, παρόλο που αλλάζει ριζικά το πρόβλημα, είναι δυνατό να τροποποιηθούν οι μαθηματικές συνθήκες (ως συνέπεια της αλλαγής του είδους των περιορισμών) ώστε να διατηρηθεί η δυνατότητα χρήσης των πολλαπλασιαστών Lagrange με τον τρόπο που περιγράψαμε πριν. Η θεωρητική βάση της γενίκευσης βρίσκεται στο θεώρημα Karush Kuhn Tucker (ΚΚΤ). Θεώρημα Karush Kuhn Tucker: Έστω πρόβλημα ελαχιστοποίησης με αντικειμενική συνάρτηση f: S R n R, k περιορισμούς τις σχέσεις W(Χ) 0 και συνάρτηση Lagrange L: Q R n+k R. Ένα εφικτό σημείο Χ* S είναι λύση του προβλήματος αν και μόνο αν υπάρχει M* R k ώστε M 0, L(X, M) L(X, M ) L(X, M ) και M W = 0. Το θεώρημα KKT παρουσιάζεται εδώ ως παραλλαγή της μεθόδου πολλαπλασιαστών Lagrange, με τους γενικευμενούς πολλαπλασιαστές M να αντιστοιχούν ένας προς έναν στους ανισοτικούς περιορισμούς του προβλήματος. Παρατηρείστε ότι, σε σχέση με τους κλασσικούς, οι γενικευμένοι πολλαπλασιαστές οφείλουν να ικανοποιούν μια πρόσθετη συνθήκη ορθογωνιότητας ως προς τις συναρτήσεις των περιορισμών. Αυτό, σε συνδυασμό και με τη σχέση διάταξης των τιμών της συνάρτησης Lagrange, προσδιορίζει το (Χ*, M*) ως σημείο καμπής της L. 24

25 Το θεώρημα ΚΚΤ μας επιτρέπει να παράγουμε τον φορμαλισμό για προβλήματα βελτιστοποίησης παρουσία μικτών (ισοτικών και ανισοτικών) περιορισμών, με βάση αυτόν που ακολουθήσαμε για προβλήματα με αποκλειστικά περιορισμούς ισότητας. Το πρώτο βήμα είναι η απαραίτητη γενίκευση της συνάρτησης Lagrange. Ορισμός γενικευμένης συνάρτησης Lagrange: Έστω πρόβλημα βελτιστοποίησης με αντικειμενική συνάρτηση f: S R n R, m συνθήκες C(Χ) = 0 και k συνθήκες W(Χ) 0. Ορίζεται η γενικευμένη συνάρτηση Lagrange, με Λ = (λ1, λ2,, λm) 0 τους κλασσικούς πολλαπλασιαστές και Μ = (μ1, μ2,, μκ) 0 τους γενικευμένους πολλαπλασιαστές, να είναι η L(X, Λ, M) = f(x) + Λ C(Χ) + Μ W(Χ). Συγκρίνοντας με τον κλασσικό ορισμό της συνάρτησης Lagrange, διαπιστώνουμε ότι το αρχικό πρόβλημα (με m + k περιορισμούς) έχει αντιστοιχηθεί σε πρόβλημα χωρίς περιορισμούς στις n + m + k διαστάσεις. Όσοι από τους ανισοτικούς περιορισμούς W ικανοποιούν την ισότητα τοπικά στο εφικτό σημείο X* χαρακτηρίζονται ως ενεργοί. Ας διατυπώσουμε ξανά τις αναγκαίες και ικανές συνθήκες για ύπαρξη ελαχίστου, οι οποίες (στο πλαίσιο της γενίκευσης KΚΤ) περιέχουν και τη συνθήκη ορθογωνιότητας. Αναγκαία συνθήκη 1 ης τάξης σε πρόβλημα με μικτούς περιορισμούς: Έστω πρόβλημα βελτιστοποίησης με αντικειμενική συνάρτηση f: S R n R, m περιορισμούς C(Χ) = 0, k περιορισμούς W(Χ) 0 και γενικευμένη συνάρτηση Lagrange L: Q R n+m+k R. Αν το σημείο Χ* S είναι τοπικό ελάχιστο, τότε υπάρχουν Λ* R m και Μ* R k ώστε να ισχύει Λ* W(X*) = 0 και L(Χ, Λ, Μ ) = f(χ ) + Λ C(Χ ) + Μ W(Χ ) = 0. Αναγκαία συνθήκη 2 ης τάξης σε πρόβλημα με μικτούς περιορισμούς: Έστω πρόβλημα βελτιστοποίησης με αντικειμενική συνάρτηση f: S R n R, m περιορισμούς C(Χ) = 0, k περιορισμούς W(Χ) 0 και γενικευμένη συνάρτηση Lagrange L: Q R n+m+k R. Αν το σημείο Χ* S είναι τοπικό ελάχιστο, τότε υπάρχουν Λ* R m και Μ* R k ώστε να ισχύει Λ* W(X*) = 0, L(Χ, Λ, Μ ) = 0 και ο πίνακας 2 L είναι θετικά ημιορισμένος στο εφαπτόμενο επίπεδο των ενεργών περιορισμών. Ικανή συνθήκη 2 ης τάξης σε πρόβλημα με μικτούς περιορισμούς: Έστω πρόβλημα βελτιστοποίησης με αντικειμενική συνάρτηση f: S R n R, m περιορισμούς C(Χ) = 0, k περιορισμούς W(Χ) 0 και γενικευμένη συνάρτηση Lagrange L: Q R n+m+k R. Αν στο σημείο Χ* S υπάρχουν Λ* R m και Μ* R k ώστε να ισχύει Λ* W(X*) = 0, L(Χ, Λ, Μ ) = 0 και ο πίνακας 2 L να είναι θετικά ημιορισμένος στο εφαπτόμενο επίπεδο των ενεργών περιορισμών, τότε το Χ* είναι τοπικό ελάχιστο. Η περίπτωση όπου το πρόβλημα έχει μόνο ανισοτικούς περιορισμούς ας θεωρηθεί ειδική περίπτωση του προβλήματος μικτών περιορισμών (προκύπτει θέτοντας C = 0 και Λ = 0 για κάθε X). Να σημειώσουμε εδώ ότι, εφόσον η προς ελαχιστοποίηση συνάρτηση και οι περιορισμοί είναι κυρτές συναρτήσεις, οι αναγκαίες συνθήκες ισχύουν και ως ικανές για την ύπαρξη ολικού ελαχίστου. Αυτό διότι, ως γνωστόν, για μια κυρτή συνάρτηση κάθε τοπικό ελάχιστο θα είναι και ολικό ελάχιστο. 25

26 Ακολουθούν παραδείγματα εφαρμογής των γενικών συνθηκών βελτιστοποίησης. Παράδειγμα 3.2.1: Να ελαχιστοποιηθεί η συνάρτηση f(x) = x 1 2 x 1 x 2 + x 2 2 3x 2. Το συγκεκριμένο σύστημα ανήκει στην κατηγορία προβλημάτων χωρίς περιορισμούς. Ξεκινάμε την αναζήτηση για ακρότατα από τις αναγκαίες συνθήκες 1 ης τάξης: f x 1 = 2x 1 x 2 = 0 & f x 2 = x 1 + 2x 2 3 = 0. Η λύση του συστήματος εξισώσεων δίνει το κρίσιμο σημείο Χ* = (x1*, x2*) = (1, 2). Η ικανή συνθήκη ελέγχεται υπολογίζοντας τις δύο υποορίζουσες του εσσιανού πίνακα: ( f ) x 1 x 1 2 f = [ ( f ) x 2 x 1 ( f ) x 1 x 2 ( f ) ] D 1 = D 2 = 2 > 0. x 2 x 2 Καθώς λοιπόν είναι και οι δύο θετικές, το κρίσιμο σημείο είναι τοπικό ελάχιστο. Παράδειγμα 3.2.2: Έστω οι περιορισμοί x1 0, x2 0 και x2 - (x1-1) 2 0. Να δείξετε ότι το σημείο Χ* = (x1*, x2*) = (1,0) είναι εφικτό αλλά δεν είναι ομαλό. Οι τρεις περιορισμοί εκφράζονται και στη μορφή w1(x) = - x1 0, w2(x) = - x2 0 και w3(x) = x2 - (x1-1) 2 0. Μετά από αντικατάσταση των τιμών των x1*, x2* στις σχέσεις των περιορισμών βρίσκουμε ότι αυτοί ικανοποιούνται, οπότε το Χ* είναι εφικτό σημείο. Επιπλέον, οι περιορισμοί g2, g3 στο Χ* βρίσκουμε ότι είναι ενεργοί. Ο έλεγχος για την ομαλότητα του σημείου γίνεται μέσω των διανυσμάτων κλίσης: g 2 (Χ ) = [ g 2 x 1 g 2 x 2 ] = [0 1] & g 3 (Χ ) = [ g 3 x 1 g 3 x 2 ] = [0 1]. Παρατηρούμε ότι τα διανύσματα g 2 (Χ ) και g 3 (Χ ) είναι γραμμικά εξαρτημένα, οπότε, κατά συνέπεια, το σημείο (1, 0) δεν είναι ομαλό σημείο της f. Παράδειγμα 3.2.3: Εστω Χ* R n το σημείο που ικανοποιεί τις συνθήκες ΚKΤ για το πρόβλημα ελαχιστοποίησης της συνάρτησης f(x) = Α X (Α R n, f: R n R) υπό τους k διαφορίσιμους περιορισμούς W(Χ) 0. Αν οι σταθερές Α δεν είναι όλες ίσες με 0, να δειχθεί ότι τουλάχιστον ένας από τους περιορισμούς είναι ενεργός στο Χ*. Ορίζοντας γενικευμένους πολλαπλασιαστές Lagrange Λ R k, oι συνθήκες ΚΚΤ για το δεδομένο πρόβλημα γράφονται ως εξής: A + Λ W(Χ ) = 0, Λ W(Χ ) = 0 & Λ 0. Αν υποθέσουμε ότι στο σημείο Χ* όλοι οι περιορισμοί είναι μη ενεργοί, τότε ο μόνος τρόπος για να ικανοποιείται η δεύτερη συνθήκη ΚΚΤ είναι να ισχύει Λ = 0. Τότε η τρίτη συνθήκη θα ικανοποιείται αυτόματα, ενώ η πρώτη θα πάρει τη μορφή Α = 0. Με βάση όμως τα δεδομένα του προβλήματος, αυτό είναι άτοπο. Συνεπώς, ισχύει ότι αν Α 0 τουλάχιστον ένας περιορισμός από τους W θα είναι ενεργός στο Χ*. 26

27 Παράδειγμα 3.2.4: Na υπολογιστεί η ακτίνα r και το ύψος h δεξαμενής κυλινδρικού σχήματος, με σταθερό όγκο V0, ώστε η επιφάνειά της να είναι η ελάχιστη δυνατή. Η επιφάνεια της δεξαμενής είναι ίση με S = 2πr(h +r) και ο όγκος της είναι V0 = πr 2 h. Το πρόβλημα βελτιστοποίησης έχει αντικειμενική συνάρτηση την f(r, h) = 2πr(h + r) με τον περιορισμό ισότητας c(r, h) = πr 2 h - V0 = 0, και η συνάρτηση Lagrange είναι L = f(r, h) +λc(r, h) = 2πr(h +r) + λ(πr 2 h - V0). Υπολογίζουμε τώρα τις αναγκαίες συνθήκες 1 ης τάξης: L r = π(h + 2r + 2λ h ) = 0 & L h = πr (2 + λ r ) = 0. Από την επίλυση του συστήματος (προσθέτωντας και αυτή που αντιστοιχεί στον περιορισμό L/ λ* = πr* 2 h* - V0 = 0) προκύπτει για το κρίσιμο σημείο ότι: r 3 = V 0 2π, h 3 = 4V 0 π & λ = 2 = r 2 2π 3 V 0. Παράδειγμα 3.2.5: Έστω πρόβλημα ελαχιστοποίησης μιας συνάρτησης f: R n R με f(x) = B T X, όπου B = R n {0}, με τον περιορισμό X T X 1. Να γραφούν και να λυθούν οι συνθήκες ΚΚΤ, και να προσδιοριστεί το σημείο Χ* R n που ικανοποιεί τις συνθήκες. Ορίζουμε τη συνάρτηση w(x) = X T X 1 0 για να εκφράσουμε μαθηματικά την περιοριστική ανισότητα. Για να σχηματίσουμε τις συνθήκες ΚΚΤ, πρέπει αρχικά να υπολογίσουμε τη συνάρτηση Lagrange του προβλήματος. Από τους ορισμούς των δύο συναρτήσεων f και w, η L προκύπτει ως εξής: L = f(x) + λ w(x) = B T X + λ(χ T Χ 1). Για να υπολογίσουμε τις συνθήκες, απαιτείται ο υπολογισμός των κλίσεων των δύο συναρτήσεων. Αυτές προκύπτουν ίσες με f(x) = B T και w(x) = 2 X T. Με αντικατάσταση των παραπάνω στη γενική μορφή των συνθηκών ΚΚΤ, λαμβάνουμε: B + 2 λ Χ = 0, λ ( Χ 2 1) = 0 & λ 0. Θεωρώντας τον (μοναδικό) ανισοτικό περιορισμό ενεργό στο σημείο Χ*, η δεύτερη συνθήκη ΚΚΤ γίνεται X* 2 = 1 και η τρίτη λ* > 0. Λύνοντας τώρα την πρώτη συνθήκη ως προς Χ*, βρίσκουμε τη σχέση Χ* = - Β/2λ*, την οποία αν αντικαταστήσουμε στη δεύτερη συνθήκη θα βρούμε το αποτέλεσμα για το λ*: Β 2 4λ 2 1 = 0 λ = Β 2 > 0. Επιστρέφοντας στην πρώτη συνθήκη, υπολογίζουμε το ελάχιστο της f ως Χ* = - Β/ B. Στην αλγεβρική αναπαράσταση, θα είναι x i = b i / b b b n 2 (i = 1, 2,, n). 27

28 3.3 Δυαδικά προβλήματα βελτιστοποίησης Υπάρχουν αρκετά προβλήματα βελτιστοποίησης τα οποία, με τον τρόπο που έχουν διατυπωθεί, είναι θεωρητικά και πρακτικά δύσκολο να λυθούν. Στην ενότητα αυτή παρουσιάζεται μια μέθοδος που επιχειρεί τη συσχέτιση δεδομένου προβλήματος με ένα άλλο πρόβλημα, στο οποίο έχουν αρθεί οι αρχικοί περιορισμοί. Κύριος στόχος είναι η μεθοδική αξιοποίηση της λύσης του απλοποιημένου προβλήματος προς την επίλυση του αρχικά διατυπωμένου προβλήματος. Εξετάζουμε την περίπτωση όπου πρέπει να λύσουμε ένα πρόβλημα ελαχιστοποίησης, το οποίο θα συμβολίζουμε με P, με περιορισμούς εν γένει ισοτικούς και ανισοτικούς. Επιπρόσθετα, υποθέτουμε ότι υπάρχει τουλάχιστον μια λύση του προβλήματος P, καθώς και ότι υπάρχει διάνυσμα γενικευμένων πολλαπλασιαστών Lagrange ώστε να ισχύει το θεώρημα ΚΚΤ. Ακολουθεί ορισμός για το (αντίστοιχο) δυαδικό πρόβλημα. Ορισμός δυαδικού προβλήματος: Έστω πως έχουμε ένα πρόβλημα ελαχιστοποίησης P με αντικειμενική συνάρτηση f (μεταβλητών Χ) και τη συνάρτηση Lagrange L με πολλαπλασιαστές Λ. Ως δυαδικό πρόβλημα DP του προβλήματος P ορίζεται εκείνο της μεγιστοποίησης της βοηθητικής συνάρτησης h(λ) = L(Χ, Λ). Σύμφωνα με τον παραπάνω ορισμό, αν το Χ* αποτελεί μια λύση του P και Λ* είναι οι αντίστοιχοι πολλαπλασιαστές Lagrange, τότε και το Λ* αποτελεί μια λύση του DP (δηλαδή, ουσιαστικά, οι πολλαπλασιαστές Lagrange του P είναι λύση του DP). Αυτό στην πράξη σημαίνει ότι υπάρχει ένα διάνυσμα πολλαπλασιαστών Lagrange για το πρόβλημα που μπορεί να προκύψει από την επίλυση του δυαδικού προβλήματος. Τα παραπάνω δεδομένα συνοψίζονται στο ακόλουθο θεώρημα. Θεώρημα δυαδικότητας: Έστω Χ* εφικτό σημείο του προβλήματος ελαχιστοποίησης P (με αντικειμενική συνάρτηση f) και Λ* εφικτό σημείο του δυαδικού προβλήματος DP (με βοηθητική συνάρτηση h). Αν ισχύει η σχέση f(χ*) = h(λ*), τότε το Χ* αποτελεί λύση του P και το Λ* αποτελεί λύση του DP. Μπορούμε πολύ εύκολα να οδηγηθούμε στο συμπέρασμα πως όταν σε ένα επιλύσιμο πρόβλημα βελτιστοποίησης εφαρμόζεται το θεώρημα της δυαδικότητας, αν λάβουμε υπόψη και το ότι (ως γνωστόν) L(Χ*, Λ*) = f(x*), τότε η λύση Χ* του προβλήματος μπορεί να προκύψει ελαχιστοποιώντας την L(Χ, Λ*). Το πόρισμα αυτό, όπως θα δούμε σε λίγο, μπορεί να αποτελέσει οδηγό στην επίλυση του συνολικού προβλήματος. Οφείλουμε να αναφερθούμε στις περιπτώσεις όπου το θεώρημα της δυαδικότητας δεν είναι δυνατό να εφαρμοστεί. Σε αυτές τις περιπτώσεις, προφανώς, δεν υπάρχει ένας συνδυασμός (Χ*,Λ*) από εφικτά σημεία των προβλημάτων P και DP τα οποία να συνδέονται με σχέση της μορφής f(χ*) = h(λ*). Όταν συμβαίνει κάτι τέτοιο, λέμε ότι το πρόβλημα P εμφανίζει χάσμα δυαδικότητας, και τότε δεν είναι δυνατό να επιλυθεί στα πλαίσια της συγκεκριμένης λογικής. 28

29 Στο πλαίσιο των παραπάνω, η δυαδική προσέγγιση στην επίλυση ενός προβλήματος βελτιστοποίησης συνοψίζεται σε ένα συγκεκριμένο αριθμό βημάτων. Μέθοδος δυαδικής επίλυσης προβλημάτων ελαχιστοποίησης: - Ανάλυση και κατανόηση του δεδομένου προβλήματος P. - Διατύπωση του δυαδικού προβλήματος DP. - Υπολογισμός της λύσης Λ* του προβλήματος DP. - Εύρεση της λύσης του P με ελαχιστοποίηση της L(X, Λ*). Είναι προφανές ότι η προσέγγιση που παρουσιάσαμε (στη βάση βέβαια του ότι είναι εφαρμόσιμη) χρησιμεύει όταν το δυαδικό πρόβλημα λύνεται πιο εύκολα από ότι το αρχικό του. Ακολουθεί ένα εκτενές παράδειγμα όπου αναλύεται η χρήση της λογικής της δυαδικότητας και το αποτέλεσμα αυτής. Παράδειγμα 3.3.1: Έστω πρόβλημα ελαχιστοποίησης P με αντικειμενική συνάρτηση f(x) = 1/2 X T Q X, όπου f: S R n R και Q n x n πίνακας θετικά ορισμένος, το οποίο υπόκειται στον περιορισμό w(χ) = A T X β 0, με Α R n, β R και Α 0, β < 0. Να επιλύσετε το P με χρήση του θεωρήματος δυαδικότητας. Παρατηρήστε ότι τόσο η f όσο και η w είναι κυρτές συναρτήσεις. Κατά συνέπεια, το πρόβλημα P είναι κυρτό. Η συνάρτηση Lagrange του P προκύπτει ίση με: L(X, λ) = 1 2 ΧΤ Q X + λ(α Τ Χ β). H L, λόγω του ότι είναι γραμμικός συνδυασμός κυρτών συναρτήσεων, και επίσης διότι (εξ ορισμού) λ 0, είναι και αυτή κυρτή. Επομένως, το μοναδικό σημείο ελαχίστου Χ* της L(Χ, λ) προσδιορίζεται εξισώνοντας την κλίση της με το μηδέν: L(X, λ) = 0 Q X + λα = 0 X = λq 1 A. Συνεχίζουμε αντικαθιστώντας στη συνάρτηση Lagrange την υπολογισμένη τιμή του Χ*, και αυτή παίρνει αρχικά τη μορφή: L(X, λ) = 1 2 ( λq 1 A) Τ Q ( λq 1 A) + λ[α Τ ( λq 1 A) β]. Ύστερα από πράξεις μεταξύ πινάκων (μπορείτε να το δείτε ως άσκηση), βρίσκουμε: L(X, λ) = λ2 2 ΑΤ Q 1 A λβ. Βλέπουμε ότι η L μεγιστοποιείται ως προς λ όταν λ = λ* = - β/(α Τ Q -1 A), το οποίο είναι και θετικό (διότι β < 0 και Q θετικά ορισμένος). Άρα, το λ* είναι λύση του δυαδικού προβλήματος, και η λύση Χ* του P προκύπτει από το ελάχιστο της L(Χ*, λ). Θέτοντας την τιμή του λ* στην παραπάνω έκφραση του Χ*, βρίσκουμε Χ* = βq -1 A /(Α Τ Q -1 A). 29

30 4 Βελτιστοποίηση χωρίς περιορισμούς Στο προηγούμενο κεφάλαιο, μεταξύ άλλων, είδαμε τις γενικές συνθήκες που πρέπει ή/και αρκεί να ικανοποιεί μια συνάρτηση ώστε να υπάρχουν τοπικά ελάχιστα. Σε ορισμένες περιπτώσεις, με τη βοήθεια και μόνο αυτών των συνθηκών είναι εφικτή η ελαχιστοποίηση της συνάρτησης, όμως γενικά απαιτείται η χρήση πιο εξειδικευμένων τεχνικών (ειδικά στα προβλήματα εκείνα που δε λύνονται με αναλυτικές πράξεις). Τέτοιου είδους τεχνικές θα παρουσιάσουμε στο παρόν και το επόμενο κεφάλαιο. Στο τέταρτο κεφάλαιο ασχολούμαστε με την ελαχιστοποίηση δεδομένης συνάρτησης στην περίπτωση όπου δεν εφαρμόζεται κανένας περιορισμός στις μεταβλητές της. Προβλήματα τέτοιου τύπου εμφανίζονται κατά την αναγνώριση συστημάτων, όπου αντικειμενικός στόχος είναι ο προσδιορισμός ενός μοντέλου για το σύστημα από μετρήσεις εισόδου εξόδου. Οι συγκεκριμένες μέθοδοι έχουν ευρύτερη αξία, διότι αποτελούν τη βάση για την επίλυση των πιο γενικών προβλημάτων ελαχιστοποίησης με περιορισμούς (στα οποία αναφερόμαστε στο πέμπτο κεφάλαιο). Από την οπτική γωνία της μαθηματικής ανάλυσης, οι τεχνικές ελαχιστοποίησης χωρίς περιορισμούς είναι επαναληπτικές (δηλ. χρησιμοποιούν αναδρομικούς τύπoυς) και είτε εμπλέκουν παραγώγους της συνάρτησης είτε δεν απαιτούν τον υπολογισµό παραγώγων. Ξεκινάμε με μια επισκόπηση των μεθόδων αναζήτησης ελαχίστου ειδικά για μονοδιάστατες συναρτήσεις, διότι η δυνατότητα εποπτείας (μέσω σχηματικών απεικονίσεων) μπορεί να συμβάλλει στην καλύτερη κατανόηση, αλλά και διότι η ελαχιστοποίηση των συναρτήσεων μιας μεταβλητής εμφανίζεται συχνά ως ενδιάμεση διαδικασία κατά την ελαχιστοποίηση σuναρτήσεων πολλών μεταβλητών. 4.1 Επισκόπηση επαναληπτικών μεθόδων αναζήτησης Οι μέθοδοι που εφαρμόζονται σε προβλήματα βελτιστοποίησης χωρίς περιορισμούς έχουν στόχο τον εντοπισμό τοπικών ελαχίστων μέσω της επαναληπτικής αναζήτησης προς κατευθύνσεις συγκλίνουσες με πιθανή λύση του προβλήματος. Ανάλογα με την πληροφορία που χρησιμοποιούν, οι τεχνικές αυτές χωρίζονται στις εξής κατηγορίες: - Τεχνικές που κάνουν χρήση μόνο τιμών της αντικειμενικής συνάρτησης, οι οποίες συνήθως χαρακτηρίζονται ως «άμεσες μέθοδοι». - Τεχνικές που χρησιμοποιούν τιμές της αντικειμενικής συνάρτησης και των πρώτων και δεύτερων μερικών παραγώγων της, και αναφέρονται ως «έμμεσες μέθοδοι». Στις περισσότερες περιπτώσεις προτιμώνται οι έμμεσες μέθοδοι. Οι άμεσες μέθοδοι χρησιμοποιούνται αν οι παράγωγοι της συνάρτησης είναι ασυνεχείς ή δεν ορίζονται, και επίσης σε εφαρμογές όπου η συνάρτηση δεν είναι γνωστή αναλυτικά. 30

31 Ας αναλύσουμε πρώτα τη βασική ιδέα πίσω από τις άμεσες μεθόδους στο πλαίσιο των συναρτήσεων μιας μεταβλητής. Υποθέστε συνάρτηση f(x) στο διάστημα [a, β] και x* το ζητούμενο ελάχιστο. Το αποτέλεσμα της εφαρμογής των μεθόδων πρέπει να είναι ο περιορισμός του διαστήματος αναζήτησης σε ένα καθορισμένο κατώτερο όριο ε, δηλ. η εύρεση διαστήματος [α, β ] με α x* β, α α, β β και α β ε. Στην περίπτωση που η f έχει συγκεκριμένο τύπο καμπυλότητας (στο επίπεδο του να είναι τουλάχιστον σχεδόν κυρτή/κοίλη), τότε το διάστημα αναζήτησης μπορεί να περιοριστεί υπολογίζοντας και συγκρίνοντας την τιμή της f σε δύο εσωτερικά σημεία. Θεώρημα σύγκλισης της αναζήτησης ελαχίστου: Έστω f: R R σχεδόν κυρτή (κοίλη) συνάρτηση στο διάστημα [α, β], και x1, x2 [α, β] τέτοια ώστε x1 < x2. Αν f(x1) < f(x2) (f(x1) f(x2)) τότε f(x) f(x1) (f(x) f(x2)) για κάθε x στο διάστημα (x2, β] ([α, x1]). Παρατηρούμε ότι σε κάθε βήμα εφαρμογής του παραπάνω θεωρήματος, ανεξάρτητα της περίπτωσης που τελικά ισχύει, το διάστημα αβεβαιότητας συρρικνώνεται προς μια από τις κατευθύνσεις που ορίζει το εκάστοτε ενδιάμεσο σημείο. Συνεπώς, στις επόμενες επαναλήψεις, τα σημεία αυτά σταδιακά περικυκλώνουν το ελάχιστο εώς ότου το διάστημα αβεβαιότητας φτάσει στο προδιαγεγραμμένο μήκος. Οι άμεσες μέθοδοι αναζήτησης στη μια διάσταση έχουν στηριχθεί στην παραπάνω λογική, με τη διαφορετικότητά τους να έγκειται στον τρόπο επιλογής των εσωτερικών σημείων. Αναφέρουμε ακολούθως τις βασικότερες από αυτές τις μεθόδους. Ομοιόμορφη αναζήτηση: Το διάστημα [a, β] διαμερίζεται σε n ίσα τμήματα εύρους δ = (β - α)/n, σχηματίζοντας ένα πλέγμα n -1 ενδιάμεσων σημείων όπου υπολογίζoνται τιμές της f. Αν x το σημείο που αντιστοιχεί στη μικρότερη τιμή της f, τότε το θεώρημα υποδεικνύει ότι το ελάχιστο x* ανήκει στο διάστημα (x δ, x + δ). Η ακρίβεια στον προσδιορισμό του x* είναι ανάλογη του εύρους διαμέρισης δ, άρα και αντιστρόφως ανάλογη του αριθμού τμημάτων n. Η δυσμενής επίπτωση στην απόδοση της μεθόδου μπορεί να αντιμετωπιστεί με σταδιακή μείωση του δ όσο πλησιάζουμε προς το όριο x x < ε, κάτι βέβαια που μετατρέπει τη μέθοδο σε ανομοιόμορφη. Μέθοδος χρυσής τομής: Το [a, β] χωρίζεται σε τρία άνισα υποδιαστήματα μέσω δύο εσωτερικών σημείων που επιλέγονται να ισαπέχουν από τα άκρα (x1 α = β x2 = ρ). Τα αρχικά διαστήματα αναζήτησης είναι τα [α, x2] και [x1, β], ενώ όλα τα επόμενα επιλέγονται με δύο παραδοχές: Το εύρος κάθε νέου διαστήματος να συνδέεται με το προηγούμενο με σταθερά αναλογίας γ (0, 1), και το κάθε προηγούμενο ενδιάμεσο σημείο του οποίου το διάστημα δεν επιλέγεται να αποτελεί ενδιάμεσο σημείο κάθε νέου διαστήματος. Με αυτό τον τρόπο, οι υπολογισμοί τιμών της f είναι λιγότεροι, ενώ ως σταθερά αναλογίας προκύπτει (ως λύση της εξίσωσης γ 2 + γ - 1 = 0) ο λόγος χρυσής τομής γ GM = ( 5 1)/2. Μια παραλλαγή της μεθόδου χρυσής τομής είναι ο αλγόριθμος Fibonacci, με τη βασική διαφορά ότι απαιτεί έναν επιπλέον υπολογισμό της f μετά τη 2 η επανάληψη, αλλά και ότι ο συντελεστής γ δεν παραμένει σταθερός. 31

32 Μέθοδος παραβολικής παρεμβολής: Στη μέθοδο αυτή, εντοπίζεται καταρχήν ένα ενδιάμεσο σημείο x1 τέτοιο ώστε f(α) f(x1) και f(x1) f(β), και μετά παρεμβάλουμε την (μοναδική) παραβολική καμπύλη που περνά από τα 3 σημεία και επιλέγουμε ως νέο ενδιάμεσο σημείο x2 την κορυφή της παραβολής (η οποία και την ελαχιστοποιεί). Η συγκεκριμένη διαδικασία μπορεί να εκφραστεί μαθηματικά μέσω του τύπου x 2 = α + β 2 x 1 β 2 f(β) f(α) β α [ f(x 1) f(α) x 1 α f(β) f(α) β α ] 1. Ανάλογα με τη σχετική διάταξη των x1 και x2, το επόμενο ενδιάμεσο σημείο επιλέγεται ανάμεσα στα δυο αυτά σημεία και γίνεται νέα παρεμβολή. Η διαδικασία συνεχίζεται, και τερματίζεται όταν ικανοποιηθεί η ζητούμενη ακρίβεια. Στο ακόλουθο σχήμα συνοψίζουμε τον συγκεκριμένο αλγόριθμο και τον αναπαριστούμε γραφικά. Πρέπει να υπενθυμίσουμε ότι οι μέθοδοι που παρουσιάσαμε εφαρμόζονται όταν η συνάρτηση διατηρεί το είδος καμπυλότητας στο αρχικό διάστημα αναζήτησης. Όταν δεν υπάρχει αυτή η ιδιότητα, ένας τρόπος αντιμετώπισης (ιδιαίτερα όταν το διάστημα αναζήτησης είναι πολύ μεγάλο) είναι να χωριστεί αυτό σε μικρότερα υποδιαστήματα όπου η συνάρτηση έχει ομοιομορφή καμπυλότητα, να βρεθούν τα ελάχιστα σε αυτά τα υποδιαστήματα και να επιλεγεί τελικά ως λύση το μικρότερο εξ αυτών. Οι έμμεσες μέθοδοι έχουν κοινό στοιχείο το ότι συνυπολογίζουν τις παραγώγους της συνάρτησης σε σημεία του διάστηματος αναζήτησης. Αυτό γίνεται είτε στο μήκος κύματος των άμεσων μεθόδων, αποφασίζοντας ποιό θα είναι το επόμενο διάστημα αναζήτησης με βάση τις τιμές και τα πρόσημα των παραγώγων της f, είτε στη λογική της κατευθυντικής αναζήτησης επί των τιμών της f: Ξεκινώντας από το αρχικό σηµείο, ορίζεται βάσει ενός σταθερού κανόνα µια κατεύθυνση επάνω στην οποία εντοπίζεται νέο σηµείο που επιτυγχάνει µείωση της συνάρτησης. Η διαδικασία συνεχίζεται με τον εντοπισμό νέας κατεύθυνσης από το νέο σηµείο, ώστε να προκύπτει μια ακολουθία σηµείων που προσεγγίζει σταδιακά τη λύση. Η διαφοροποίηση μεταξύ των μεθόδων έγκειται στον κανόνα βάσει του οποίου επιλέγεται η κατεύθυνση αναζήτησης. 32

33 Παρουσιάζουμε δύο από τις μεθόδους της κατηγορίας που είναι σημαντικές διότι, αν και προσανατολισμένες σε μονοδιάστατα προβλήματα, θα δούμε παρακάτω ότι γίνεται να χρησιµοποιηθούν στην επίλυση ενός πολυδιάστατου προβλήματος μέσω της συγκροτημένης διάσπασής του σε ένα σύνολο µονοδιάστατων υποπροβλημάτων. Μέθοδος διχοτόμησης: Σε αυτή τη μέθοδο, επιλέγουμε αρχικό διάστημα αναζήτησης στο οποίο η f έχει συγκεκριμένο τύπο καμπυλότητας. Ύστερα, χωρίζουμε το διάστημα σε δύο ισομερή υποδιαστήματα με τη βοήθεια του εσωτερικού σημείου x1 = (α + β)/2, και υπολογίζουμε την τιμή f (x1) της πρώτης παραγώγου. Εξετάζουμε ακολούθως τις εξής περιπτώσεις: Αν f (x1) = 0 τότε το x1 είναι το ζητούμενο ελάχιστο, αν f (x1) > 0 τότε για x < x1 θα είναι f(x) < f(x1) και ως επόμενο διάστημα αναζήτησης θα πρέπει να ληφθεί το [α, x1], ενώ αν f (x1) < 0 τότε για x < x1 θα είναι f(x) > f(x1) και ως επόμενο διάστημα αναζήτησης θα πρέπει να ληφθεί το [x1, β]. Η εφαρμογή της μεθόδου συνεχίζεται μέχρις ότου φτάσουμε σε διάστημα αναζήτησης με μήκος μικρότερο της καθορισμένης ακρίβειας ε (βλ. σχήμα). Ο απαιτούμενος αριθμός βημάτων γι αυτό υπολογίζεται ως o μικρότερος ακέραιος που ικανοποιεί τη σχέση (1/2) m ε/(β - α). Γραμμική αναζήτηση: Στόχος της διαδικασίας είναι να ελαχιστοποιηθεί η συνάρτηση f κατά μήκος της ευθείας που περνά από σημείο x1 και ακολουθεί την κατεύθυνση s, δηλ. να βρεθεί λ > 0 ώστε min[f(x1+λs)]. Αναπτύσσοντας κατά Taylor και διατηρώντας όρους μέχρις 1 ης τάξης προκύπτει η σχέση f(x1+λs) = f(x1) + λsf (x1), που υποδεικνύει έναν επαναληπτικό αλγόριθμο: Δοθέντος τρέχοντος σημείου x1, υπολογίζεται μια κατεύθυνση s προς όπου η f φθίνει (λsf (x1) 0), ελαχιστοποιείται η f(x1+λs) ως προς λ, εντοπίζεται η θέση ελαχίστου λ* και επιλέγεται x2 = x1 + λ*s για το επόμενο σημείο. Ο εντοπισμός του λ* με τον αλγόριθμο αυτό είναι επακριβής, αλλά και υπολογιστικά δαπανηρός. Η διαδικασία μπορεί να επιταχυνθεί αν αποδεχθούμε η ακρίβεια να είναι προσεγγιστική, αρκεί σε κάθε επανάληψη η τιμή της f να μειώνεται σημαντικά και, συγχρόνως, το βήμα αναζήτησης να είναι ικανοποιητικά μικρού μεγέθους για ταχεία σύγκλιση. Αυτό αποτυπώνεται στη μαθηματική συνθήκη του να υπάρχουν α, β R με 0 < α < β < 1 ώστε να ισχύει f(x1+λs) f(x1) + αλsf (x1) και sf (x1+λs) > βsf (x1). 33

34 Ας δούμε τώρα παραδείγματα εφαρμογής για δύο από τις μεθόδους αναζήτησης στη μια διάσταση: τη μέθοδο της χρυσής τομής και της μέθοδο της διχοτόμησης. Παράδειγμα 4.1.1: Να ελαχιστοποιηθεί η συνάρτηση f(x) = x 4-14x x 2-70x, στο διάστημα [0,2] και με ακρίβεια 0.3, με τη μέθοδο χρυσής τομής. Πριν την εφαρμογή οποιουδήποτε αλγορίθμου άμεσης αναζήτησης, προηγείται μια εκτίμηση του αριθμού επαναλήψεων που απαιτούνται για να επιτευχθεί η ζητούμενη ακρίβεια. Ύστερα από m επαναλήψεις της μεθόδου χρυσής τομής, το διάστημα [0,2] θα έχει συρρικνωθεί γ m GM φορές. Έτσι, ο αριθμός βημάτων για να φτάσει το αρχικό εύρος 2 στα επίπεδα του 0.3 θα είναι ο μικρότερος ακέραιος που ικανοποιεί τη σχέση m 0.3/2, που είναι ο m = 4. Οι τιμές για τις υπόλοιπες παραμέτρους είναι α = 0, β = 2 και ρ = 1 - γgm = Επεται η εφαρμογή των 4 επαναλήψεων: [m = 1] Υπολογίζουμε τις τιμές της f στα ενδιάμεσα σημεία x1 = α + ρ(β-α) = και x2 = α + (1-ρ)(β-α) = 1.236, και προκύπτει f(x1) = και f(x2) = Καθώς f(x1) < f(x2), το νέο διάστημα αναζήτησης θα είναι το [α,x2]. [m = 2] Επιλέγουμε x3 = α + ρ(x2 - α) = και x4 = x1, και προκύπτει f(x3) = , f(x4) = Επειδή f(x3) > f(x4), το νέο διάστημα θα είναι το [x3,x2]. [m = 3] Παίρνουμε x5 = x4 και x6 = x3 + (1-ρ)(x4 - x3) = και βγαίνει f(x5) = , f(x4) = Λόγω του ότι f(x5) < f(x6), το νέο διάστημα θα είναι το [x3,x6]. [m = 4] Επιλέγουμε x7 = x3 + ρ(x7 - x3) = και x8 = x5, και προκύπτει f(x3) = και f(x8) = Καθώς f(x7) > f(x8), το νέο διάστημα θα είναι το [x7,x2]. Ο αλγόριθμος δεν προχωρά σε 5 η επανάληψη διότι προκύπτει x2 - x7 = Άρα, η απάντηση είναι ότι το ελάχιστο x* βρίσκεται στο διάστημα [0.6525, ]. Παράδειγμα 4.1.2: Να ελαχιστοποιηθεί η συνάρτηση f(x) = 2x 2-1 στο διάστημα [-1,1] και με ακρίβεια 0.5, με τη μέθοδο διχοτόμησης. Οι παράμετροι του προβλήματος είναι α = -1 και β = 1, ενώ η παράγωγος της f είναι f (x) = 4x - 1. Μετά από m επαναλήψεις της μεθόδου διχοτόμησης, το διάστημα [-1,1] θα έχει μικρύνει 2 -m φορές. Σε αυτό το πλαίσιο, ο αριθμός βημάτων που χρειάζονται για να επιτευχθεί η ακρίβεια 0.5 είναι ο μικρότερος ακέραιος για τον οποίο ισχύει η σχέση 2 m 0.5/2, και είναι ο m = 2. Ακολουθεί η εφαρμογή των 2 επαναλήψεων: [m = 1] Υπολογίζουμε τις τιμές των συναρτήσεων f και f στο σημείο x1 = (α+β)/2 = 0, και προκύπτει ότι f(x1) = -1 και f (x1) = -1. Επειδή f (x1) < 0, ως νέο διάστημα αναζήτησης πρέπει να επιλεγεί το [x1,β]. [m = 2] Επιλέγουμε x2 = (x1+β)/2 = 0.5 και προκύπτει f(x2) = -0.5 και f (x2) = 1. Λόγω του ότι f (x2) > 0, το νέο διάστημα αναζήτησης θα είναι το [x2,x1]. Ο αλγόριθμος δεν προχωρά σε 3 η επανάληψη διότι προκύπτει x1 - x2 = Άρα, η απάντηση είναι ότι το ελάχιστο x* τοποθετείται στο διάστημα [0.5, 1]. 34

35 4.2 Τεχνικές με χρήση παραγώγων Οι αλγόριθμοι αυτοί ξεκινούν από μια αρχική εκτίμηση της λύσης και, εκτελώντας μια διαδοχή βημάτων, διορθώνουν σταδιακά την τιμή της συνάρτησης σε κάθε βήμα. Η εκάστοτε διόρθωση ισούται με το γινόμενο του μήκους βήματος που έχουμε επιλέξει επί το διάνυσμα κατεύθυνσης προς την οποία γίνεται η μετάβαση. Όσο περισσότερο πλησιάζουμε προς το ελάχιστο, οι δύο αυτές παράμετροι μπορούν να μεταβάλλονται μέχρι να μας οδηγήσουν σε μια ικανοποιητική προσέγγιση. Η επαναληπτική κάθοδος προς τo ελάχιστo κατά μήκος των τιμών της αντικειμενικής συνάρτησης περιγράφεται μαθηματικά στην ακόλουθη πρόταση. Επιπρόσθετα, στο σχήμα απεικονίζεται η διαδικασία επιλογής του βήματος διόρθωσης (προβολή στις 2 διαστάσεις) και η καθοδική πορεία προς το ελάχιστο της f (στις 3 διαστάσεις). Γενική διατύπωση αλγορίθμου επαναληπτικής καθόδου: Έστω f: R n R συνάρτηση με τοπικό ελάχιστο στο Χ*. Ένας αλγόριθμος επαναληπτικής καθόδου, ξεκινώντας από ένα σημείο Χ [0] σε κατάλληλη απόσταση από το Χ*, ελαχιστοποιεί την f εφαρμόζοντας κανόνες μετάβασης της μορφής Χ [κ+1] = Χ [κ] + λ [κ] D [κ], όπου λ > 0 παράμετρος κλίμακας και D διεύθυνση στο R n τέτοιες ώστε f(χ [κ+1] ) < f(χ [κ] ) σε κάθε μετατόπιση κ. Για να κατανοήσουμε τη λειτουργία του αλγορίθμου αρκεί να αναπτύξουμε την f σε σειρά Taylor γύρω από τη θέση πριν την εκτέλεση ενός βήματος: f(x [k+1] ) f(x [k] ) = λ [k] D [k] f(x [k] ) + O(λ [k] ). Για τιμές του λ [κ] σχετικά μικρές οι όροι ανώτερης τάξης είναι αμελητέοι, οπότε το πρόσημο της διαφοράς των τιμών της f ανάμεσα στα διαδοχικά βήματα καθορίζεται ουσιαστικά μόνο από τον όρο D f. Συγκεκριμένα, η διεύθυνση που θα πρέπει να ακολουθήσουμε για να προσεγγίσουμε το Χ* είναι τέτοια ώστε D f < 0, δηλαδή η γωνία μεταξύ της επιλεγμένης κατεύθυνσης και της κλίσης της συνάρτησης να είναι αμβλεία. Αυτό σημαίνει πως αν η f είναι φθίνουσα θα πρέπει να κατευθυνθούμε προς την κλίση της, ενώ αν είναι αύξουσα οφείλουμε να κινηθούμε αντίθετα. 35