Παράρτηµα 3 Μέθοδοι Διαχρονικής Βελτιστοποίησης

Γιώργος Αλογοσκούφης, Δυναµική Μακροοικονοµική, Αθήνα 2015 Παράρτηµα 3 Μέθοδοι Διαχρονικής Βελτιστοποίησης Η βελτιστοποίηση (optimization) σε δυναµικά οικονοµικά προβλήµατα, δηλαδή σε προβλήµατα στα οποία οι µεταβλητές µεταβάλλονται στο χρόνο, δεν χρειάζεται νέες αρχές, σε σχέση µε τα στατικά προβλήµατα. Ωστόσο, τα δυναµικά οικονοµικά προβλήµατα έχουν µία ειδική διάρθρωση, που µας επιτρέπει να πούµε περισσότερα για την επίλυσή τους. Η πιο σηµαντική πλευρά αυτής της ειδικής διάρθρωσης είναι η σχέση µεταξύ αποθεµάτων και ροών. Κάποιες µεταβλητές (θα τις υποδηλώσουµε µε y) έχουν τη µορφή αποθεµάτων, ενώ άλλες µεταβλητές έχουν τη µορφή ροών (θα τις υποδηλώσουµε µε z). Στη µαθηµατική ορολογία τα αποθέµατα καλούνται µεταβλητές κατάστασης (state variables), και οι ροές καλούνται µεταβλητές ελέγχου (control variables). 1 Π3.1 Η Μορφή των Δυναµικών Προβληµάτων Βελτιστοποίησης Η µεταβολή των αποθεµάτων εξαρτάται τόσο από το ύψος των αποθεµάτων όσο και από την εξέλιξη των ροών. Μαθηµατικά, οι µεταβλητές ελέγχου ελέγχουν τις µεταβολές των µεταβλητών κατάστασης. Για παράδειγµα, οι αποταµιεύσεις στην περίοδο t, προσδιορίζουν τη µεταβολή του πλούτου ενός νοικοκυριού από την περίοδο t στην περίοδο t+1. Ο προσδιορισµός της εξέλιξης των µεταβλητών κατάστασης έχει τη µορφή, H y t +1 y t = Q (Π3.1) όπου t, t+1,... είναι διακριτές χρονικές περίοδοι, y είναι µεταβλητές κατάστασης (αποθέµατα) και z είναι µεταβλητές ελέγχου (ροές). Το Q είναι µία διανυσµατική συνάρτηση. Εκτός από τους περιορισµούς που προσδιορίζουν την εξέλιξη των µεταβλητών κατάστασης, µπορεί να υπάρχουν και άλλοι περιορισµοί µεταξύ όλων των µεταβλητών που αναφέρονται σε µία συγκεκριµένη χρονική περίοδο, της µορφής, H G 0 (Π3.2) όπου το G είναι µία διανυσµατική συνάρτηση. Στα περισσότερα δυναµικά οικονοµικά προβλήµατα υποθέτουµε ότι οι οικονοµικοί παράγοντες βελτιστοποιούν µία αντικειµενική συνάρτηση της µορφής, H F (Π3.3) t =0 Οι µέθοδοι δυναµικής βελτιστοποίησης αναλύονται σε µία σειρά από µαθηµατικά εγχειρίδια για οικονοµολόγους 1 όπως Intriligator (1971), Kamien and Schwartz (1981) και Dixit (1990).

Γιώργος Αλογοσκούφης, Δυναµική Μακροοικονοµική, Αθήνα 2015 Μαθηµατικό Παράρτηµα 3 υπό περιορισµούς της µορφής (Π3.1) και (Π3.2). Συναρτήσεις όπως η (Π3.3) καλούνται προσθετικά διαχωρίσιµες (additively separable), καθώς έχουν τη µορφή αθροίσµατος συναρτήσεων που εξαρτώνται από µεταβλητές στην ίδια χρονική περίοδο. Αξίζει να σηµειώσουµε ότι το χρονικό διάστηµα της βελτιστοποίησης αρχίζει την περίοδο t=0 και τελείωνει την περίοδο t=. Η τιµή των αρχικών αποθεµάτων στην περίοδο 0 θεωρείται δεδοµένη, όπως θεωρείται δεδοµένη και η τιµή των τελικών αποθεµάτων στην περίοδο Τ+1. Χρειάζεται δηλαδή µια αρχική και µία τελική συνθήκη για να µπορούµε να επιλύσουµε το πρόβληµα. Π3.2 Η Μέθοδος του Βελτίστου Ελέγχου Το πρόβληµα είναι να επιλέξουµε τις µεταβλητές yt για t=1,2,..., και zt για t=0,1,2,...,, προκειµένου να βρούµε τη βέλτιστη λύση της (3), υπό τους περιορισµούς (1) και (2). Μπορούµε να ορίσουµε σκιώδεις τιµές και να σχηµατίσουµε τη γνωστή συνάρτηση Lagrange. Ορίζουµε ως λt τους πολλλαπλασιαστές για τους περιορισµούς (Π3.2). Αυτοί έχουν τη συνήθη ερµηνεία των σκιωδών τιµών των περιορισµών για δραστηριότητες στην περίοδο t. Οι πολλαπλασιαστές (σκιώδεις τιµές) για τους περιορισµούς της (Π3.1) είναι διαφορετικοί από ό,τι στα στατικά προβλήµατα. Ορίζουν την αύξηση πρώτης τάξης στην αντικειµενική συνάρτηση αν χαλαρώσει ο περιορισµός στην αύξηση των αποθεµάτων, αν δηλαδή έχουµε µία οριακή αύξηση στο απόθεµα yt+1. Πρόκειται δηλαδή για τις σκιώδεις τιµές των αποθεµάτων στην περίοδο t+1, και τους υποδηλώνουµε µε πt+1. Ορίζουµε ως L τη συνάρτηση Lagrange του πλήρους διαχρονικού προβλήµατος, { } t =0 H L = F + π t +1 [y t + Q y t +1 ] λ t G (Π3.4) Οι συνθήκες πρώτης τάξης για τη βελτιστοποίηση της συνάρτησης Lagrange, σε σχέση µε τις µεταβλητές ελέγχου z είναι σχετικά απλές. L H F z + π t +1 Q z λ t G z = 0 (Π3.5) z t για t=0,1,...,. Fz, Qz, Gz υποδηλώνουν την πρώτη παράγωγο της σχετικής συνάρτησης ως προς το z. Σε σχέση µε τις µεταβλητές κατάστασης y, οι συνθήκες πρώτης τάξης είναι πιο σύνθετες, γιατί το κάθε y εµφανίζεται σε δύο όρους του αθροίσµατος. Στο όρο για την περίοδο t, αλλά και στον όρο για την περίοδο t-1. Μπορούµε να τροποποιήσουµε τη συνάρτηση Lagrange (4), ώστε κάθε y να εµφανίζεται σε ένα µόνον όρο του αθροίσµατος. Η συνάρτηση Lagrange παίρνει τότε τη µορφή, L = F(y H t + π t +1 Q + y t (π t +1 ) λ t G + (Π3.6) +F(y 0,z 0,0) + π 1 Q(y 0,z 0,0) + y 0 π 1 y +1 π +1 t =1 { } Οι όροι στη δεύτερη γραµµή της (Π3.6) αναφέρονται στο y0 και στο yτ+1 που δεν είναι µεταβλητές επιλογής. Οι συνθήκες πρώτης τάξης για το βέλτιστο της L, για yt, t=1,2,..., είναι, H2

Γιώργος Αλογοσκούφης, Δυναµική Μακροοικονοµική, Αθήνα 2015 Μαθηµατικό Παράρτηµα 3 L H F y + π t +1 Q y + π t +1 λ t G y = 0 (Π3.7) y t Η (Π3.7) µπορεί να γραφεί ως, H π t +1 = F y + π t +1 Q y λ t G y (Π3.8) Αυτές οι συνθήκες µπορούν να γραφούν µε ένα πιο περιεκτικό και οικονοµικά χρήσιµο τρόπο. Ορίζουµε µία νέα συνάρτηση, τη συνάρτηση του Hamilton, ως εξής, H H,π t+1 = F + π t+1 Q (Π3.9) Η (Π3.5) µας υποδεικνύει ότι οι µεταβλητές ελέγχου z πρέπει να επιλεγούν ώστε να βελτιστοποιηθεί η Η(y,z,π, υπό τον περιορισµό G(y,z 0. Ορίζουµε τη προσαρµοσµένη συνάρτηση Lagrange, ως εξής, H L ~ = H,π t +1 λ t G (Π3.10) Η (Π3.8) µπορεί να γραφεί πιο απλά, ως H π t +1 = L ~ y,π t +1 (Π3.11) Τέλος, από την (Π3.1) και την (Π3.9), λαµβάνοντας υπόψη το θεώρηµα του περιβλήµατος (envelope theorem), έχουµε ότι, H y t +1 y t = H π,π t +1 = Q (Π3.12) Αυτές οι ιδιότητες της συνάρτησης Hamilton (Χαµιλτονιανής) µπορούν να συνοψισθούν στην Αρχή του Βελτίστου. Η Αρχή του Βελτίστου: Οι αναγκαίες συνθήκες πρώτης τάξης για την βελτιστοποίηση της (Π3.3), υπό τους περιορισµούς (Π3.1) και (Π3.2), είναι οι εξής: 1. Για κάθε t, οι zt βελτιστοποιούν την συνάρτηση Hamilton (Π3.9), υπό τους στατικούς περιορισµούς (Π.2.2). 2. Οι µεταβολές των yt και πt στο χρόνο προσδιορίζονται από τις εξισώσεις διαφορών (Π3.11) και (Π3.12). Η αρχή του βελτίστου, η οποία προτάθηκε από τον Pontryagin, διευκολύνει σηµαντικά στην εξέυρεση των συνθηκών πρώτης τάξεως για προβλήµατα διαχρονικής βελτιστοποίησης. Ωστόσο, έχει και ένα µεγάλο πλεονέκτηµα για οικονοµικές εφαρµογές. Διευκολύνει την οικονοµική ερµηνεία των συνθηκών πρώτης τάξης. H3

H H Γιώργος Αλογοσκούφης, Δυναµική Μακροοικονοµική, Αθήνα 2015 Μαθηµατικό Παράρτηµα 3 Είναι προφανές ότι δεν θα θέλαµε τις µεταβλητές ελέγχου z να βελτιστοποιούν τη συνάρτηση F, διότι αυτό δεν θα λάµβανε υπόψη τις επιπτώσεις της επιλογής των z στην εξέλιξη των µεταβλητών κατάστασης y στην επόµενη περίοδο. Με τη βελτιστοποίηση της (Π3.9), αυτό λαµβάνεται υπόψη. Η επίπτωση του zt στο yt+1 ισούται µε την επίπτωσή του στο Q. Η µεταβολή που σηµειώνεται στην αντικειµενική συνάρτηση βρίσκεται από τον πολλαπλασιασµό της επίπτωσης στο Q µε τη σκιώδη τιµή πt+1 του yt+1. Αυτό το λαµβάνει υπόψη η συνάρτηση Hamilton (Π3.9). Η συνάρτηση Hamilton προσφέρει έναν απλό τρόπο µετατροπής της αντικειµενικής συνάρτησης της µίας περιόδου F, προκειµένου να λάβουµε υπόψη τις µελλοντικές επιπτώσεις της επιλογής των µεταβλητών ελέγχου z. Μια ανάλογη οικονοµική ερµηνεία µπορεί να δοθεί και στις συνθήκες πρώτης τάξης για τις µεταβλητές κατάστασης y. Μία οριακή µεταβολή στο y στην περίοδο t δίνει την οριακή µεταβολή Fy-λGy στην περίοδο t, λαµβάνοντας υπόψη τη σκιώδη τιµή του στατικού περιορισµού G, αλλά και ένα επιπλέον Qy στην επόµενη περίοδο, µε αξία πt+1. Αυτό µπορεί να ερµηνευτεί ώς µέρισµα. Η µεταβολή πt+1-πt είναι σαν κέρδος κεφαλαίου. Η (Π3.8) µας λέει ότι µέρισµα σύν το κέρδος κεφαλαίου θα πρέπει να ισούται µε το µηδέν. Δηλαδή, ότι στο βέλτιστο σηµείο δεν µπορεί να υπάρχει υπερβάλλουσα απόδοση από το y. Π3.3 Η Μέθοδος του Βελτίστου Ελέγχου σε Συνεχή Χρόνο Έως τώρα αντιµετωπίσαµε το χρόνο ως µία διακριτή ακολουθία περιόδων. Σε πολλές εφαρµογές όµως είναι πιο βολικό να χειριζόµαστε το χρόνο ως µία συνεχή µεταβλητή. Μπορούµε να σκεφθούµε το συνεχή χρόνο ως το όριο διακριτών περιόδων διάρκειας Δt, όταν το Δt τείνει στο µηδέν. Για παράδειγµα, η (Π3.1) µπορεί να γραφεί ως, y(t + Δt) y(t) = Q(y(t),z(t)Δt Διαιρώντας µε Δt και αφήνοντας το να τείνει στο µηδέν, έχουµε, H y (t) = Q(y(t),z(t) (Π3.13) Η τελεία πάνω από µία µεταβλητή υποδηλώνει την πρώτη της παράγωγο σε σχέση µε το χρόνο. Χρησιµοποιούµε επίσης τη διαδεδοµένη σύµβαση ότι το t γράφεται ώς υποδείκτης στην ανάλυση διακριτού χρόνου, και εντός παρένθεσης στην ανάλυση συνεχούς χρόνου. Η (Π3.2), που υποδηλώνει τους περιορισµούς στις µεταβλητές ελέγχου δεν αλλάζει. Σε συνεχή χρόνο γράφεται ώς, H G(y(t),z(t) 0 (Π3.14) Η µετατροπή του αθροίσµατος (Π3.3) σε συνεχή χρόνο είναι κάπως πιο πολύπλοκη. Ο συνολικός χρόνος από το 0 ως το χωρίζεται σε Τ/Δt µικρές διακριτές περιόδους. Η (Π3.3) µπορεί να γραφεί ως, /Δt i=0 F(y(iΔt), z(iδt),iδt)δt H4

Γιώργος Αλογοσκούφης, Δυναµική Μακροοικονοµική, Αθήνα 2015 Μαθηµατικό Παράρτηµα 3 Το όριο αυτού του αθροίσµατος καθώς το Δt τείνει στο µηδέν, είναι το ολοκλήρωµα, H F(y(t), z(t)dt (Π3.15) 0 Μπορούµε να ορίσουµε τη συνάρτηση Hamilton όπως και στην (Π3.9). H H = F(y(t),z(t) + π(t)q(y(t),z(t) (Π3.16) Οι συνθήκες πρώτης τάξης για τη βελτιστοποίηση της συνάρτησης Hamilton (Π3.16) υπό τους στατικούς περιορισµούς (Π3.14) είναι, H H (Π3.17a) z λ G z = 0 H H (Π3.17b) π = y H H (Π3.17c) y = π Οι (Π3.17a,b,c) είναι οι ανάλογες συνθήκες για συνεχή χρόνο των συνθηκών (Π3.5), (Π3.11) και (Π3.12) για τα προβλήµατα διακριτού χρόνου. Π3.4 Ο Δυναµικός Προγραµµατισµός και η Εξίσωση Bellman Ο Δυναµικός Προγραµµατισµός είναι µία εναλλακτική µέθοδος επίλυσης του προβλήµατος της βελτιστοποίησης µιάς συνάρτησης όπως η (Π3.3), υπό τους περιορισµούς (Π3.1) και (Π3.2). Ο Δυναµικός Προγραµµατισµός αποδεικνύεται ιδιαίτερα χρήσιµος για προβλήµατα που συνδυάζουν το χρόνο µε την αβεβαιότητα, όπως συµβαίνει πολύ συχνά στο οικονοµικά. Το πρόβληµά µας είναι η βελτιστοποίηση της, H F (Π3.3) υπό τους περιορισµούς, H y t +1 y t = Q (Π3.1) και t =0 H G 0 (Π3.2) για t=0,1,2,... Τα διανύσµατα των αρχικών αποθεµάτων y0 και των τελικών αποθεµάτων y+1 θεωρούνται ως δεδοµένα. H5

H Γιώργος Αλογοσκούφης, Δυναµική Μακροοικονοµική, Αθήνα 2015 Μαθηµατικό Παράρτηµα 3 Μπορούµε να ορίσουµε την βέλτιση τιµή που προκύπτει ως συνάρτηση των αρχικών αποθεµάτων y0. Υποδηλώνουµε αυτή τη συνάρτηση ως V(y0). Το διάνυσµα των πρώτων παραγώγων Vy(y0) είναι το διάνυσµα των σκιωδών τιµών αυτών των αρχικών αποθεµάτων. Η διαχωρισιµότητα της αντικειµενικής συνάρτησης (Π3.3) και των περιορισµών µας επιτρέπουν µία µεγάλη γενίκευση της παραπάνω σκέψης. Αντί να ξεκινήσουµε στο χρόνο µηδέν, ας υποθέσουµε ότι ξεκινάµε στο χρόνο t=τ. Για τις αποφάσεις που ξεκινούν στο τ, το µόνο που έχει σηµασία από το παρελθόν είναι το διάνυσµα των αποθεµάτων yτ, το οποίο είναι αποτέλεσµα παλαιοτέρων αποφάσεων. Το πρόβληµά µας είναι να βελτιστοποιήσουµε µία αντικειµενική συνάρτηση όπως η (Π3.3), υπό τους περιορισµούς (Π3.1) και (Π3.2), µε το χρόνο όµως να ξεκινά από το τ και όχι από το 0. Ορίζουµε ως V(yτ,τ) τη βέλτιση τιµή που προκύπτει ως συνάρτηση των αποθεµάτων yτ και της περιόδου τ. Το διάνυσµα των πρώτων παραγώγων Vy(yτ,τ) είναι η οριακή αύξηση της βέλτιστης τιµής για µία µικρή αύξηση των αποθεµάτων στην περίοδο τ, δηλαδή το διάνυσµα των σκιωδών τιµών των αρχικών αποθεµάτων για το πρόβληµα βελτιστοποίησης που ξεκινά στην περίοδο τ. Αυτό ισχύει για κάθε t. Ας επιλέξουµε οποιοδήποτε t, και ας εξετάσουµε την απόφαση επιλογής των µεταβλητών ελέγχου σε εκείνη την περίοδο. Οποιαδήποτε επιλογή για τις µεταβλητές ελέγχου zt θα οδηγήσει σε αποθέµατα yt+1 µέσω της (Π3.1). Αυτό που αποµένει είναι να λύσουµε το υποπρόβληµα που ξεκινά στην περίοδο t+1, και να επιτύχουµε τη βέλτιστη τιµή V(yt+1,t+1). Η συνολική αξία στην περίοδο t, µιας επιλογής για τις µεταβλητές ελέγχου zt, ξεκινώντας µε αποθέµατα yt, µπορεί να διαχωρισθεί σε δύο όρους: F(yt,zt που επέρχεται αµέσως, και V(yt+1,t+1) που επέρχεται στις επόµενες περιόδους. Η επιλογή του zt πρέπει να βελτιστοποιεί το άθροισµα αυτών των δύο όρων υπό τους σχετικούς περιορισµούς. Με άλλα λόγια, H V = max F + V +1,t + 1) (Π3.18) z t υπό τους περιορισµούς (Π3.1) και (Π3.2) για το συγκεκριµένο t. Αυτή η µέθοδος της διαχρονικής βελτιστοποίησης, ως µία διαδοχή στατικών προβληµάτων βελτιστοποίησης, προτάθηκε από τον Richard Bellman και ονοµάζεται Δυναµικός Προγραµµατισµός. Η ιδέα ότι όποια και να είναι η επιλογή στην περίοδο t, οι επόµενες επιλογές, για το υποπρόβληµα που ξεκινά από την περίοδο t+1, πρέπει να είναι βέλτιστες, είναι γνωστή ως η Αρχή της Βελτιστοποίησης του Bellman. Η συνάρτηση βέλτιστης αξίας V(yt ονοµάζεται η συνάρτηση αξίας Bellman, και η εξίσωση (Π3.18) η εξίσωση Bellman. Η εξίσωση Bellman µας δίνει µία αναδροµική (recursive) µέθοδο επίλυσης του αρχικού προβλήµατος βελτιστοποίησης. Η ιδέα είναι να αρχίσει κανείς από το τέλος και να προχωρήσει προς τα πίσω αναδροµικά. Στην περίοδο δεν υπάρχει µέλλον, παρά µόνο η απαίτηση για ένα δεδοµένο τελικό απόθεµα y+1. Άρα, υπό τους περιορισµούς, { } V(y, ) = max z F(y,z, ) H y +1 = y + Q(y,z, ), H G(y,z, ) 0 H6

H H Γιώργος Αλογοσκούφης, Δυναµική Μακροοικονοµική, Αθήνα 2015 Μαθηµατικό Παράρτηµα 3 Αυτό είναι ένα απλό πρόβληµα στατικής βελτιστοποίησης, το οποίο µας παρέχει την συνάρτηση βέλτιστης αξίας V(y,). Αυτή µε τη σειρά της µπορεί να χρησιµοποιηθεί στη δεξιά πλευρά της (Π3.18) για t=-1. Αυτό είναι ένα ακόµη στατικό πρόβληµα, και µας δίνει τη συνάρτηση βέλτιστης αξίας V(y-1,-1). Συνεχίζουµε µε αυτό τον τρόπο έως ότου φθάσουµε στο 0. Στην πράξη αυτό έχει αποτελέσµατα για τα απλούστερα προβλήµατα. Αναλυτικές λύσεις υπάρχουν όταν οι συναρτήσεις F, G και Q, έχουν πολύ απλή µορφή. Σε αντίθετη περίπτωση µπορούµε να χρησιµοποιήσουµε υπολογιστικές λύσεις. Για πολλές οικονοµικές εφαρµογές υπάρχουν καλύτερες µέθοδοι από την αναδροµική µέθοδο για να βρούµε ή να χαρακτηρίσουµε τη λύση αυτών των προβληµάτων. Αξίζει να σηµειώσουµε τέλος, ότι σε περίπτωση αβεβαιότητας, η εξίσωση Bellman παίρνει τη µορφή, H V = max F + E t V +1,t + 1) (Π3.18 ) z t όπου E είναι ο τελεστής των µαθηµατικών προσδοκιών. Για να βρούµε την εξίσωση Bellman σε συνεχή χρόνο, παρατηρούµε ότι από την (Π3.18), H V(y(t) = max F(y(t),z(t)Δt + V(y(t + Δt),t + Δt) (Π3.19) z(t ) όπου Δt είναι ένα µικρό χρονικό διάστηµα. Αναπτύσσοντας τον τελευταίο όρο της δεξιάς πλευράς της (Π3.19) κατά aylor, έχουµε, H V(y(t + Δt),t + Δt) = V(y(t) + V y (y(t) y(t + Δt) y(t) (Π3.20) Από την (Π3.1), H y(t + Δt) y(t) = Q(y(t),z(t)Δt (Π3.21) Αντικαθιστώντας την (Π3.21) στην (Π3.20), και την εξίσωση που προκύπτει στην (Π3.19), έχουµε, V(y(t) = max z(t ) Διαιρώντας µε Δt, και παρατηρώντας ότι το V(y(t) εξαλείφεται από τις δύο πλευρές, έχουµε, H 0 = max F(y(t),z(t) + V y (y(t)q(y(t),z(t) (Π3.22) z(t ) υπό τον περιορισµό, { } { } [ ] + V t (y(t)δt { F(y(t),z(t)Δt + V(y(t) + V y (y(t)q(y(t),z(t)δt + V t (y(t)δt} { } + V t (y(t) G(y(t),z(t) 0 H (Π3.22) µας δίνει την εξίσωση Bellman για προβλήµατα συνεχούς χρόνου. H7