Εφαρμοσμένη Βελτιστοποίηση Ενότητα 2: Συναρτήσεις Χώροι - Μεταβλητές Καθηγητής Αντώνιος Αλεξανδρίδης Πολυτεχνική Σχολή Τμήμα Ηλεκτρολόγων Μηχανικών και Τεχνολογίας Υπολογιστών
Σημείωμα Αδειοδότησης Το παρόν υλικό διατίθεται με τους όρους της άδειας χρήσης Creative Commons Αναφορά, Μη Εμπορική Χρήση Παρόμοια Διανομή 4.0 [1] ή μεταγενέστερη, Διεθνής Έκδοση. Εξαιρούνται τα αυτοτελή έργα τρίτων π.χ. φωτογραφίες, διαγράμματα κ.λ.π., τα οποία εμπεριέχονται σε αυτό και τα οποία αναφέρονται μαζί με τους όρους χρήσης τους στο «Σημείωμα Χρήσης Έργων Τρίτων». [1] http://creativecommons.org/licenses/by-nc-sa/4.0/ Ως Μη Εμπορική ορίζεται η χρήση: που δεν περιλαμβάνει άμεσο ή έμμεσο οικονομικό όφελος από την χρήση του έργου, για το διανομέα του έργου και αδειοδόχο που δεν περιλαμβάνει οικονομική συναλλαγή ως προϋπόθεση για τη χρήση ή πρόσβαση στο έργο που δεν προσπορίζει στο διανομέα του έργου και αδειοδόχο έμμεσο οικονομικό όφελος (π.χ. διαφημίσεις) από την προβολή του έργου σε διαδικτυακό τόπο Ο δικαιούχος μπορεί να παρέχει στον αδειοδόχο ξεχωριστή άδεια να χρησιμοποιεί το έργο για εμπορική χρήση, εφόσον αυτό του ζητηθεί. 2
Διατήρηση Σημειωμάτων Οποιαδήποτε αναπαραγωγή ή διασκευή του υλικού θα πρέπει να συμπεριλαμβάνει: το Σημείωμα Αναφοράς το Σημείωμα Αδειοδότησης τη δήλωση Διατήρησης Σημειωμάτων το Σημείωμα Χρήσης Έργων Τρίτων (εφόσον υπάρχει) μαζί με τους συνοδευόμενους υπερσυνδέσμους. 3
Άδειες Χρήσης Το παρόν εκπαιδευτικό υλικό υπόκειται σε άδειες χρήσης creative commons. Για εκπαιδευτικό υλικό, όπως εικόνες, που υπόκεινται σε άλλου τύπου άδειες χρήσης, η άδεια χρήσης αναφέρεται ρητώς. 4
Σκοποί ενότητας Σκοπός της ενότητας αυτής είναι να παρουσιαστούν οι βασικοί μαθηματικοί ορισμοί, οι ιδιότητες και τα μαθηματικά εργαλεία που θα χρησιμοποιηθούν στις επόμενες ενότητες. 5
Περιεχόμενα ενότητας Παράσταση συνάρτησης Συνέχεια συναρτήσεων Συμπεριφορά συναρτήσεων Κυρτότητα συναρτήσεων Διευθύνσεις στο χώρο των πολλών διαστάσεων Ανάπτυγμα Taylor συνάρτησης μιας ή πολλών μεταβλητών Διαφορικό συνάρτησης 6
Παράσταση συνάρτησης Μια συνάρτηση μπορεί να παρασταθεί με διάφορους τρόπους. Η εξαρτημένη μεταβλητή y δίνεται από μια μαθηματική σχέση. y f x που περιέχει τις ανεξάρτητες μεταβλητές x και ορίζεται σε κάποια συγκεκριμένη περιοχή. Η γεωμετρική ή γραφική παράσταση αποτελεί μια άλλη περιγραφή της συνάρτησης, η οποία παρέχει μια εποπτική εικόνα που δίνει μια σαφέστατη αντίληψη για τη φύση της συνάρτησης. Οι ανεξάρτητες μεταβλητές x 1, x 2,, x n μπορούν να θεωρηθούν συνιστώσες στο χώρο n-διαστάσεων. Στο χώρο μιας ή δυο διαστάσεων η συνάρτηση μπορεί να παρασταθεί από μια καμπύλη ή μια επιφάνεια. (Εικόνα 2.1) 7
Παράσταση συνάρτησης Εικόνα 2.1 Εικόνα 2.2 Μια εναλλακτική παράσταση για συναρτήσεις δύο μεταβλητών δίνεται στην εικόνα 2.2 όπου αποτυπώνονται διάφορες τομές της συνάρτησης f από επίπεδα παράλληλα στους άξονες x 1 και x 2. Είναι οι καμπύλες f x, x k για διάφορες τιμές του k. 1 2 8
Συνέχεια συναρτήσεων Κάθε συνάρτηση y f x ορίζει για κάθε δεδομένο x μια μόνο συγκεκριμένη τιμή της εξαρτημένης μεταβλητής y. Αυτός ο κανόνας μπορεί να όμως να παραβιαστεί για κάποια μεμονωμένα σημεία, γεγονός που οφείλεται στα χαρακτηριστικά της συνάρτησης. Οι συναρτήσεις διακρίνονται σε συνεχείς, ασυνεχείς και διακριτές. Ωστόσο, στην πλειοψηφία τους οι συναρτήσεις μπορούν να θεωρηθούν σαν συνεχείς ή κατά τμήματα συνεχείς συναρτήσεις. 9
Συνέχεια συναρτήσεων I. Συνεχείς συναρτήσεις Μια συνάρτηση f ορίζεται ως συνεχής σε κάποιο σημείο x όταν lim f x f x x x 0 όπου Δx μπορεί να αντιστοιχεί σε κάθε επιτρεπτή διεύθυνση γύρω από το σημείο x. Συναρτήσεις μιας μεταβλητής: η συνάρτηση μπορεί να παρασταθεί από μια συνεχή καμπύλη στο επίπεδο. Συναρτήσεις δύο ή περισσότερων μεταβλητών: η συνάρτηση παρίσταται από μια συνεχή επιφάνεια στο χώρο δύο διαστάσεων ή ένα συνεχές υπερεπίπεδο στο χώρο περισσότερων διαστάσεων, αντίστοιχα. 10
Συνέχεια συναρτήσεων II. Ασυνεχείς συναρτήσεις Πιο κοινή μορφή ασυνέχειας συνάρτησης η ασυνέχεια καμπύλης. Στο σημείο ασυνέχειας η συνάρτηση παίρνει διαφορετική τιμή ανάλογα με την κατεύθυνση στην οποία προσεγγίζεται το σημείο αυτό. Στην εικόνα 2.3 απεικονίζεται σημείο ασυνέχεια καμπύλης x 0 για συνάρτηση μιας μεταβλητής, όπου ισχύει f x x f x x x x x 0 x 0 0 0 f x x f x x x x 0 0 0 0 11
Εικόνα 2.3 Συνέχεια συναρτήσεων Οι περισσότερες φυσικές διαδικασίες δεν παρουσιάζουν ασυνέχειες, αλλά όταν υπάρχει πεπερασμένος ρυθμός μεταβολής που είναι πολύ μεγάλος τότε μπορεί να σαν σημείο ασυνέχειας (ασυνέχεια βάθμωσης). Tα σημεία Α, Β, C και D παρουσιάζουν ασυνέχεια βάθμωσης, καθώς η παράγωγος λαμβάνει διαφορετική τιμή ανάλογα με την κατεύθυνση που τα προσεγγίζουμε. Ισχύουν λοιπόν οι προηγούμενες σχέσεις όχι για την ίδια τη συνάρτηση αλλά για τις παραγώγους της. 12
Συνέχεια συναρτήσεων III. Διακριτές συναρτήσεις Εικόνα 2.4α Εικόνα 2.4β Μια άλλη μορφή ασυνέχειας εμφανίζεται όταν η συνάρτηση έχει νόημα μόνο για διακριτές τιμές ή σύνολα τιμών της ανεξάρτητης μεταβλητής. Περιπτώσεις μορφής ιστογράμματος (Εικ. 2.4α) ή διακριτών σημείων (Εικ. 2.4β). 13
Συμπεριφορά συναρτήσεων I. Μονότονες συναρτήσεις Μια συνάρτηση f ορίζεται ως αύξουσα μονότονη συνάρτηση όταν 0 f x x f x x και αντίστοιχα ορίζεται σαν φθίνουσα μονότονη συνάρτηση όταν 0 f x x f x x για κάποια συγκεκριμένη διαδρομή μεταξύ των σημείων x 1 και x 2 της συνάρτησης (τα x και Δx τυχαία σημεία της ορισθείσας διαδρομής μεταξύ x 1 και x 2 ). Αν f x x f x x, ορίζεται ως μονότονη μη φθίνουσα ή αντίστοιχα ως μονότονη μη αύξουσα όταν ισχύει ότι f x x f x x 0 0 14
Συμπεριφορά συναρτήσεων II. Μονοτροπικές συναρτήσεις Έστω ότι σε μια συγκεκριμένη διεύθυνση στο χώρο που ορίζεται η f παίρνουμε διαδοχικές τιμές της. Αν η τιμή της αρχικά μειώνεται ενώ στη συνέχεια αυξάνεται καθώς προχωράμε στη διαδρομή των εξεταζόμενων σημείων, δηλαδή παρουσιάζει ένα ελάχιστο, τότε η συνάρτηση f είναι μονοτροπική. Αν x 0 το ελάχιστο, x x x x x τότε f x f x f x και f x f x f x. 0 2 1 0 3 4 1 2 0 3 4 Εφόσον το παραπάνω συμβαίνει για συναρτήσεις πολλών μεταβλητών σε όλες τις επιτρεπτές διευθύνσεις γύρω από το ελάχιστο, τότε η συνάρτηση είναι ισχυρά μονοτροπική. Ομοίως μονοτροπική χαρακτηρίζεται μια συνάρτηση που παρουσιάζει ένα μέγιστο (με αντίστοιχες ανισότητες). 15
Συμπεριφορά συναρτήσεων Εικόνα 2.5 είναι ισχυρά μονοτροπική. Στην εικόνα 2.5 δείχνεται μια μονοτροπική συνάρτηση στο χώρο των δύο διαστάσεων. Το ελάχιστο x 0 =(x 01,x 02 ) βρίσκεται στο θετικό τμήμα των αξόνων. Το τμήμα τόξου με κέντρο το 0 και 2 2 ακτίνα x01 x02 χωρίζει την περιοχή του χώρου των τετμημένων σε αυτές όπου x<x 0 και x>x 0. Ορίζοντας με οποιοδήποτε τρόπο τις τα σημεία x 1 εως x 4 παρατηρούμε ότι η συνάρτηση f 16
Συμπεριφορά συναρτήσεων Εικόνα 2.6 Όταν οι συναρτήσεις παρουσιάζουν περισσότερα από ένα ακρότατα (ελάχιστα ή μέγιστα) τότε ονομάζονται πολυτροπικές συναρτήσεις. Στην εικόνα 2.6 παρουσιάζεται μια πολυτροπική (διτροπική) συνάρτηση δύο μεταβλητών με τομές.. 17
Κυρτότητα συναρτήσεων Εικόνα 2.7 Η κυρτότητα αποτελεί μια ειδική ιδιότητα των μονοτροπικών συναρτήσεων. Μια συνάρτηση f ορίζεται σαν κυρτή συνάρτηση όταν ισχύει f 1 a x ax 1 a f x af x για όταν τα a : 0a 1 και οποιαδήποτε σημεία x 1 και x 2 στο χώρο των n- διαστάσεων. (π.χ. Εικόνα 2.7) 1 2 1 2 Η συνάρτηση g ονομάζεται κοίλη ό- ταν η συνάρτηση f g είναι κυρτή. Αφήνεται ως άσκηση να αποδειχθεί η ακόλουθη βασική ιδιότητα: Το άθροισμα δύο κυρτών συναρτήσεων είναι επίσης κυρτή συνάρτηση. 18
Διευθύνσεις στο χώρο πολλαπλών διαστάσεων Η μέθοδος των διευθύνσεων αποτελεί μια χρήσιμη τεχνική για την έρευνα των ιδιοτήτων των γειτονικών σημείων ως προς το αρχικό σημείο. Θεωρούμε τη συνάρτηση f(x)=f(x 1,x 2 ) και το σημείο x * * * = ( x1, x2), στη γειτονιά του οποίου ορίζουμε αυθαίρετα κάποιες μεταβολές Δx=(Δx 1, Δx 2 ) από το αρχικό σημείο για να φτάσουμε στο σημείο * * * x x x 1 x1, x2 x2. (βλέπε Εικόνα 2.8) Διαφορετικό Δx ορίζει διαφορετική διεύθυνση. Π.χ. το (Δx 1, Δx 2 )=(1,0) ορίζει διεύθυνση παράλληλη στο θετικό άξονα x 1, το (Δx 1, Δx 2 )=(0,-1) ορίζει διεύθυνση παράλληλη στον άξονα x 2 στην αρνητική φορά και το (Δx 1, Δx 2 )=( 1/ 2,1/ 2 ) μια κατεύθυνση παράλληλη στη γραμμή 45 ο στη διεύθυνση αύξησης των x 1 και x 2. 19
Διευθύνσεις στο χώρο πολλαπλών διαστάσεων Επιλέγοντας μια συγκεκριμένη διεύθυνση Δx, οποιοδήποτε * * ενδιάμεση σημείο μεταξύ x και x x απέχει από το αρχικό σημείο απόσταση x tx ( x tx, x tx ) όπου 0t 1. * * * 1 1 2 2 Θεωρούμε το Δx σαν μοναδιαίο διάνυσμα έτσι ώστε T 2 2 x x x1 x2 1 Τότε στην κατεύθυνση που ορίζει το Δx η απόσταση οποιουδήποτε * σημείου από το x θα είναι 2 2 d tx1 tx2 t Καταφέρνουμε έτσι με αυτή τη μέθοδο να εκφράσουμε τη συνάρτηση δύο μεταβλητών μέσω μιας συνάρτησης μιας μόνο μεταβλητής (κρατώντας τα Δx 1 και Δx 2 σαν παράμετρο). 20
Διευθύνσεις στο χώρο πολλαπλών Εικόνα 2.8 διαστάσεων Έτσι έχουμε * * * g t f x tx f ( x tx, x tx ) όπου η g(t) για t 0 είναι το αρχικό * * * σημείο g 0 f x f ( x1, x2) και * * * g 1 f x x f ( x x, x x ) δίνει το τελικό σημείο στη διεύθυνση Δx. H μέθοδος αυτή μπορεί να γενικευθεί για την περίπτωση n μεταβλητών ( n 2 ), θεωρώντας ως * * * * αρχικό σημείο το x ( x1, x2,..., x n ) και μεταβολή x ( x1, x2,..., x n ) * * τότε κάθε ενδιάμεσο σημείο μεταξύ x και x x θα δίνεται από * * * * τη σχέση x tx ( x tx, x tx,..., x tx ) όταν 0t 1. 1 1 2 2 * * * * Τέλος, g t f x tx f ( x tx, x tx,..., x tx ) 1 1 2 2 n n n n 1 1 2 2 1 1 2 2 21
Ανάπτυγμα Taylor συνάρτησης μιας ή πολλών μεταβλητών Για μια συνάρτηση μιας μεταβλητής f(x), η τιμή της στη γειτονιά κάποιου σημείου x δίνεται από την άπειρη σειρά Taylor 1 2 1 ' '' ( n ) n f x x f x f x x f x x... f xx... 2 n! ή από πεπερασμένο ανάπτυγμα σύμφωνα με τον τύπο του Taylor 1 2 1 ' '' ( n ) n f x x f x f x x f x x... f k x 2 n! όπου k κάποιο σημείο μεταξύ x και x+δx, k x cx με 0c 1. Στη γενική περίπτωση με συνάρτηση f x f x1, x2,..., xn n διαστάσεων, στη γειτονιά του x η συνάρτηση f x x δίνεται ως 1 f x x g t g t1 όπου f x g 0. 22
Ανάπτυγμα Taylor συνάρτησης μιας ή πολλών μεταβλητών Τότε για τη συνάρτηση μιας μεταβλητής g(t) ισχύουν τα αναπτύγματα Taylor ' 1 '' 1 ( n) g 1 g 0 g 0 g 0... g 0... 2 n! 1 1 ' '' ( n g 1 g 0 g 0 g 0... g ) k 2 n! όπου 0k 1και Δx=1. Υπολογισμός παραγώγων της g(t) όταν t 0 ' g t t0 df x t x dt t0 23
Ανάπτυγμα Taylor συνάρτησης μιας ή πολλών μεταβλητών Η ολική παράγωγος της f μπορεί να εκφραστεί ως προς τις μερικές παραγώγους ως όπου Δx θεωρείται ως παράμετρος και όχι μεταβλητή και ισχύει Έτσι παίρνουμε για 1 1 για i=1, 2,..., n ή υπό μορφή διανυσμάτων 1 1... df x tx f x tx d x tx f x tx d xn t x dt x tx dt x tx dt d x i t x dt i x i t 0 f x f x f x 0... n ' g x1 x2 x x1 x2 xn ' T 0 g f x x n n n 24
Ανάπτυγμα Taylor συνάρτησης μιας ή πολλών μεταβλητών όπου f η βάθμωση της f Με αντίστοιχο τρόπο f x f x f x... x1 x n 2 2 T και '' T 2 g 0 x f x x, όπου 2 f x f x f x... x x x 2 1 n 1 2 f x 2 2 f x f x 2 x1x n xn x x1... x n η Hessian μήτρα. T 25
Ανάπτυγμα Taylor συνάρτησης μιας ή πολλών μεταβλητών ( n) Με αντίστοιχο τρόπο, ορίζεται η γενική παράγωγος g 0, ενώ η ( n) ( n) g k δίνεται από τη σχέση T n g k x f x cx με Έτσι, για το ανάπτυγμα Taylor έχουμε και όπου 0c 1. T n f x f x f x x x1 x2... xn x1 x2 xn T 1 T 2 1 T n f x x f x f xx x f xx... x f x... 2 n! 1 1 f x x f x f x x x f x x x f x c x 2 n! T T 2 T n... n 26
Διαφορικό συνάρτησης Έστω ότι η συνάρτηση μιας μεταβλητής f έχει παράγωγο f (x) σε κάποιο σημείο x, οπότε ισχύει f( x) lim x 0 f x x f x x Για πεπερασμένο πολύ μικρό x 0 ισχύει f x x f x f ( x) x όπως εύκολα προκύπτει από το ανάπτυγμα Taylor της f γύρω από το σημείο x. H γεωμετρική ερμηνεία είναι πως αντικαθιστούμε το γραφικό της συνάρτησης στο σημείο (x,f(x)) με την εφαπτομένη στο ίδιο σημείο. Για μικρά Δx κάνουμε εύκολα την υπόθεση ότι η ευθεία αυτή βρίσκεται πολύ κοντά στην καμπύλη της f στη γειτονιά του σημείου x. 27
Διαφορικό συνάρτησης Στη γενική περίπτωση συναρτήσεων πολλών μεταβλητών έχουμε T την προσέγγιση f x x f x f x x. ( ) Το γινόμενο f ( x) x ή T f ( x) x που χρησιμοποιήσαμε για την προσέγγιση της διαφοράς f x x f x λέγεται διαφορικό της συνάρτησης f στο σημείο x ως προς Δx και παριστάνεται με τον συμβολισμό T df x, x f ( x) x 28
Τέλος Ενότητας
Σημείωμα Χρήσης Έργων Τρίτων Όλα τα σχήματα, οι εικόνες και τα γραφήματα που παρουσιάστηκαν σε αυτήν την ενότητα προέρχονται από τις πανεπιστημιακές σημειώσεις με τίτλο «Εφαρμοσμένη Βελτιστοποίηση», Αντώνης Θ. Αλεξανδρίδης, εκδόσεις Πανεπιστημίου Πατρών. 30
Σημείωμα Ιστορικού Εκδόσεων Έργου Το παρόν έργο αποτελεί την έκδοση 1.0. 31
Σημείωμα Αναφοράς Copyright Πανεπιστήμιο Πατρών, Αντώνιος Αλεξανδρίδης. «Εφαρμοσμένη Βελτιστοποίηση. Ενότητα 2». Έκδοση: 1.0. Πάτρα 2015. Διαθέσιμο από τη δικτυακή διεύθυνση: https://eclass.upatras.gr/courses/ee888. 32
Χρηματοδότηση Το παρόν εκπαιδευτικό υλικό έχει αναπτυχθεί στo πλαίσιo του εκπαιδευτικού έργου του διδάσκοντα. Το έργο «Ανοικτά Ακαδημαϊκά Μαθήματα στο Πανεπιστήμιο Αθηνών» έχει χρηματοδοτήσει μόνο την αναδιαμόρφωση του εκπαιδευτικού υλικού. Το έργο υλοποιείται στο πλαίσιο του Επιχειρησιακού Προγράμματος «Εκπαίδευση και Δια Βίου Μάθηση» και συγχρηματοδοτείται από την Ευρωπαϊκή Ένωση (Ευρωπαϊκό Κοινωνικό Ταμείο) και από εθνικούς πόρους. 33