Βέλτιστος Έλεγχος Συστημάτων

Βέλτιστος Έλεγχος Συστημάτων Ενότητα 10: Δυναμικός προγραμματισμός Καθηγητής Αντώνιος Αλεξανδρίδης Πολυτεχνική Σχολή Τμήμα Ηλεκτρολόγων Μηχανικών και Τεχνολογίας Υπολογιστών

Σημείωμα Αδειοδότησης Το παρόν υλικό διατίθεται με τους όρους της άδειας χρήσης Creative Commons Αναφορά, Μη Εμπορική Χρήση Παρόμοια Διανομή 4.0 [1] ή μεταγενέστερη, Διεθνής Έκδοση. Εξαιρούνται τα αυτοτελή έργα τρίτων π.χ. φωτογραφίες, διαγράμματα κ.λ.π., τα οποία εμπεριέχονται σε αυτό και τα οποία αναφέρονται μαζί με τους όρους χρήσης τους στο «Σημείωμα Χρήσης Έργων Τρίτων». [1] http://creativecommons.org/licenses/by-nc-sa/4.0/ Ως Μη Εμπορική ορίζεται η χρήση: που δεν περιλαμβάνει άμεσο ή έμμεσο οικονομικό όφελος από την χρήση του έργου, για το διανομέα του έργου και αδειοδόχο που δεν περιλαμβάνει οικονομική συναλλαγή ως προϋπόθεση για τη χρήση ή πρόσβαση στο έργο που δεν προσπορίζει στο διανομέα του έργου και αδειοδόχο έμμεσο οικονομικό όφελος (π.χ. διαφημίσεις) από την προβολή του έργου σε διαδικτυακό τόπο Ο δικαιούχος μπορεί να παρέχει στον αδειοδόχο ξεχωριστή άδεια να χρησιμοποιεί το έργο για εμπορική χρήση, εφόσον αυτό του ζητηθεί. 2

Διατήρηση Σημειωμάτων Οποιαδήποτε αναπαραγωγή ή διασκευή του υλικού θα πρέπει να συμπεριλαμβάνει: το Σημείωμα Αναφοράς το Σημείωμα Αδειοδότησης τη δήλωση Διατήρησης Σημειωμάτων το Σημείωμα Χρήσης Έργων Τρίτων (εφόσον υπάρχει) μαζί με τους συνοδευόμενους υπερσυνδέσμους. 3

Άδειες Χρήσης Το παρόν εκπαιδευτικό υλικό υπόκειται σε άδειες χρήσης creative commons. Για εκπαιδευτικό υλικό, όπως εικόνες, που υπόκεινται σε άλλου τύπου άδειες χρήσης, άδεια αναφέρεται ρητώς. 4

Δυναμικός προγραμματισμός

Δυναμικός προγραμματισμός Ας θεωρήσουμε το σύστημα διακριτού χρόνου, εν γένει πολλών εισόδων πολλών εξόδων, που περιγράφεται από την εξίσωση διαφορών: x j+ 1 = F x j, u j x 0 = x ( ) ( ) ( ) ( ) 0 και το κριτήριο κόσους δίνεται από τη σχέση: N 1 J = L ( ), ( ) ( ) j x j u j +Φ x N j= 0 6

Δυναμικός προγραμματισμός Σύμφωνα με την αρχή της βελτιστοποίησης θα πρέπει για οποιαδήποτε χρονική στιγμή j=i και οποιαδήποτε κατάσταση x(i) η πολιτική ελέγχου από εκεί και πέρα να είναι βέλτιστη. Επομένως, με βάση το κριτήριο κόστους J ορίζουμε για κάθε x(i) και i την πολιτική βελτιστοποίησης με τη μαθηματική έκφραση: N 1 Vi x i L x j u j x N ui j= 1 10.1 ( ) = min ( ), ( ) ( ) j +Φ ( ) 7

Δυναμικός προγραμματισμός Σύμφωνα όμως με την Αρχή της Βελτιστοποίησης, έχουμε: N 1 Vi x( i) = min Li x( i), u( i) + Lj x( j), u( j) +Φ x( N) ui j= i+ 1 επειδή όμως προφανώς ισχύει: 10.2 ( ) N 1 ( + 1 ) = ( ), ( ) ( ) j +Φ ( ) Vi+ 1 x i L x j u j x N j= i+ 1 10.3 8

Δυναμικός προγραμματισμός η σχέση (10.1) καταλήγει στην : ( ) ( ) ( ) ( ) + 1 ( 10.4) με τελική τιμή στο όριο i=n: { } V x i = min L x i, u i + V x i+ 1 i i i ui V x N x N N 10.5 ( ) = Φ ( ) ( ) 9

Δυναμικός προγραμματισμός Η εξίσωση (10.4) ονομάζεται εξίσωση Hamilton-Jacobi- Bellman και αποτελεί έναν επαναληπτικό αλγόριθμο που ξεκινάει από το όριο i=n, με τιμή αυτή που ορίζεται από τη σχέση (10.5), και δίνει το βέλτιστο νόμο ελέγχου για συστήματα διακριτού χρόνου, σε κάθε βήμα, συναρτήσει του διανύσματος κατάστασης στο σημείο ελαχίστου της, δηλαδή εκεί όπου: u i { L ( ) ( ) ( ) } ( ) i x i u i Vi+ 1 x i, + + 1 = 0 ( 10.6) 10

Δυναμικός προγραμματισμός Η διαδικασία αυτή εύρεσης του βέλτιστου ελέγχου σε κάθε βήμα για συστήματα διακριτού χρόνου με χρήση της εξίσωσης Hamilton-Jacobi-Bellman είναι ευρέως διαδεδομένη με την ονομασία Δυναμικός Προγραμματισμός. u i { L ( ) ( ) ( ) } ( ) i x i u i Vi+ 1 x i, + + 1 = 0 ( 10.6) 11

Το γραμμικό τετραγωνικό πρόβλημα ρύθμισης για συστήματα διαριτού χρόνου με τη μέθοδο του Δυναμικού Προγραμματισμού Ας θεωρήσουμε το γραμμικό σύστημα διακριτού χρόνου: με κριτήριο κόστους : N 1 x j Fx j Gu j ( + 1) = ( ) + ( ) ( ) J = x j + Qx j + + u j Η εξίσωση Hamilton-Jacobi-Bellman θα είναι: 10.7 ( ) ( ) 2 1 1 λ ( ) ( ) j= 0 2 ( ) min ( 1) ( 1) ( 1) λ ( ) ui { } i+ 1 Vi x i = V x i+ + x i+ Qx i+ + u i = = min 1 ui 10.8 ( 10.9) { ( ) ( ) ( ) ( ) ( ) ( )} 2 Vi + 1 x i+ + Fx i + Gu i Q Fx i + Gu i + λu i 12

V N 1 Το γραμμικό τετραγωνικό πρόβλημα ρύθμισης για συστήματα διαριτού χρόνου με τη μέθοδο του Δυναμικού Προγραμματισμού Ξεκινώντας από το τελευταίο βήμα, για i=n-1 έχουμε την ακόλουθη έκφραση για την εξίσωση H-J-B : un 1 ( 1) x N = ( 10.10) { ( ) ( ) ( ) ( ) ( ) ( )} 2 VN x N Fx N Gu N Q Fx N Gu N λu N = min + 1 + 1 1 + 1 + 1 όπου N ( ) 0 ( 10.11) V x N = 13

Το γραμμικό τετραγωνικό πρόβλημα ρύθμισης για συστήματα διαριτού χρόνου με τη μέθοδο του Δυναμικού Προγραμματισμού Ο δε νόμος ελέγχου όπως προκύπτει από την εφαρμογή της σχέσης (10.6) για i=n-1 είναι: G QF G QG ( 1) = x( N 1) u N + λ ( 10.12) αν ονομάσουμε το συντελεστή ανάδρασης στο βήμα i=n-1 σαν H(N-1) παίρνουμε: ( 1) H N = G QF G QG + λ ( 10.13) 14

Το γραμμικό τετραγωνικό πρόβλημα ρύθμισης για συστήματα διαριτού χρόνου με τη μέθοδο του Δυναμικού Προγραμματισμού Αν τώρα αντικαταστήσουμε το u στην αναδρομική σχέση (10.10) παίρνουμε: ( ) ( ) ( ) ( ) ( 10.14) V 1 x N 1 = x N 1 P N 1 x N 1 N όπου : ( 1) ( 1) ( 1) + λh ( N 1) H( N 1) P N = F + GH N Q F + GH N + ( 10.15) 15

V N 2 Το γραμμικό τετραγωνικό πρόβλημα ρύθμισης για συστήματα διαριτού χρόνου με τη μέθοδο του Δυναμικού Προγραμματισμού Πηγαίνοντας στο προηγούμενο βήμα, για i=n-2, αντίστοιχα έχουμε: un 2 ( 2) x N = ( 10.16) { ( ) ( ) ( ) ( ) ( ) ( )} 2 VN 1 x N Fx N Gu N Q Fx N Gu N λu N = min 1 + 2 + 2 2 + 2 + 2 όπου το V N-1 [x(n-1)] είναι αυτό που ορίστηκε στο βήμα i=n-1 από την (10.14). Σε αυτή την περίπτωση ο νόμος ελέγχου προκύπτει από την (10.16), για i=n-2, ότι είναι: ( 1) ( 1) G Q+ P N F u( N 2) = x N 2 G Q+ P N G+ λ ( ) ( 10.17) 16

Το γραμμικό τετραγωνικό πρόβλημα ρύθμισης για συστήματα διαριτού χρόνου με τη μέθοδο του Δυναμικού Προγραμματισμού Ο συντελεστής ανάδρασης είναι: και η τιμή στην αναδρομική συνάρτηση κόστους προκύπτει: με : ( 2) H N = ( 1) ( 1) + + + G Q P N F G Q P N G λ ( 10.18) ( 2) = ( 2) ( 2) ( 2) ( 10.19) V N x N P N x N ( 2) ( 2) = + ( 1) + + ( 2) + λ ( 2) ( 2) P N F GH N P N Q F GH N H N H N 10.20 ( ) 17

V j Το γραμμικό τετραγωνικό πρόβλημα ρύθμισης για συστήματα διαριτού χρόνου με τη μέθοδο του Δυναμικού Προγραμματισμού Αν θεωρήσουμε τώρα το γενικό βήμα i=j (0 j Ν-1) και υποθέσουμε σύμφωνα με τα προηγούμενα ότι: ( ) ( ) ( ) ( ) ( 10.21) V + 1 x j+ 1 = x j+ 1 P j+ 1 x j+ 1 j τότε η V j [x(j)] θα είναι σύμφωνα με τη σχέση (10.6) δίνει το νόμο ελέγχου στο βήμα j: ( ) = ( 10.22) { x ( j ) Px( j ) Fx ( j) Gu ( j) Q Fx ( j) Gu ( j) λu 2 ( j) } x j = min + 1 + 1 + + + + u j 18

Το γραμμικό τετραγωνικό πρόβλημα ρύθμισης για συστήματα διαριτού χρόνου με τη μέθοδο του Δυναμικού Προγραμματισμού Η ελαχιστοποίηση της (10.22) σύμφωνα με τη σχέση (10.6) δίνει το νόμο ελέγχου στο βήμα j: όπου : u( j) = H( j) x( j) ( 10.23) H ( j) = ( 1) ( 1) G Q+ P j+ F + + + G Q P j G λ ( 10.24) 19

Το γραμμικό τετραγωνικό πρόβλημα ρύθμισης για συστήματα διαριτού χρόνου με τη μέθοδο του Δυναμικού Προγραμματισμού Αντικαθιστώντας τις (10.23) και (10.24) στην (10.22) προκύπτει για την V j : με με αρχική τιμή στο τελικό όριο Ν: j ( ) = ( ) ( ) ( ) ( 10.25) V x j x j P j x j ( ) = + ( ) ( + 1) + + ( ) +λ ( ) ( ) P j F GH j P j Q F GH j H j H j ( 10.26) P( N ) = 0 ( 10.27) 20

Το γραμμικό τετραγωνικό πρόβλημα ρύθμισης για συστήματα διαριτού χρόνου με τη μέθοδο του Δυναμικού Προγραμματισμού Με τη μέθοδο του δυναμικού προγραμματισμού στο πρόβλημα της γραμμικής τετραγωνικής ρύθμισης είδαμε ότι καταλήξαμε στις αναδρομικές σχέσεις (10.23), (10.24) και (10.26) που ισχύουν για κάθε j: 0 j Ν-1 με αρχική συνθήκη στο τελικό όριο j=n αυτή που δίνεται από τη σχέση (10.27). 21

Το γραμμικό τετραγωνικό πρόβλημα ρύθμισης για συστήματα διαριτού χρόνου με τη μέθοδο του Δυναμικού Προγραμματισμού Παρατηρήσεις 1. Στα συστήματα συνεχούς χρόνου η εφαρμογή της θεωρίας αυτής μάλλον περιπλέκει τα πράγματα στη λύση μερικών διαφορικών εξισώσεων σε σχέση με την αρχικά αναλυθείσα, μέθοδο της Αρχής του Ελαχίστου με χρήση της Hamiltonian. 2. Στα συστήματα διακριτού χρόνου η εφαρμογή του δυναμικού προγραμματισμού απλοποιεί τα πράγματα αφού καταλήγει σε απλούς σχετικά αναδρομικούς τύπους, που δίνουν απευθείας το βέλτιστο νόμο ελέγχου. 3. Και στις δύο προαναφερθείσες περιπτώσεις η λύση που προκύπτει από εφαρμογή της θεωρίας Hamilton-Jacobi-Bellman καταλήγει σε ελέγχους πάντοτε κλειστού βρόχου. 22

Χρηματοδότηση Το παρόν εκπαιδευτικό υλικό έχει αναπτυχθεί στo πλαίσιo του εκπαιδευτικού έργου του διδάσκοντα. Το έργο «Ανοικτά Ακαδημαϊκά Μαθήματα στο Πανεπιστήμιο Αθηνών» έχει χρηματοδοτήσει μόνο την αναδιαμόρφωση του εκπαιδευτικού υλικού. Το έργο υλοποιείται στο πλαίσιο του Επιχειρησιακού Προγράμματος «Εκπαίδευση και Δια Βίου Μάθηση» και συγχρηματοδοτείται από την Ευρωπαϊκή Ένωση (Ευρωπαϊκό Κοινωνικό Ταμείο) και από εθνικούς πόρους. 23

Τέλος Ενότητας

Σημείωμα Αναφοράς Copyright Πανεπιστήμιο Πατρών, Αλεξανδρίδης Αντώνιος 2015. Αλεξανδρίδης Αντώνιος. «Βέλτιστος Έλεγχος Συστημάτων. Δυναμικός προγραμματισμός». Έκδοση: 1.0. Πάτρα 2015. Διαθέσιμο από τη δικτυακή διεύθυνση: https://eclass.upatras.gr/courses/ee887/ 25

Σημείωμα Χρήσης Έργων Τρίτων Όλα τα σχήματα, οι εικόνες και τα γραφήματα που παρουσιάστηκαν σε αυτήν την ενότητα είναι από το βιβλίο << Βέλτιστος Έλεγχος Συστημάτων >>, Αντώνης Θ. Αλεξανδρίδης, εκδόσεις Πανεπιστημίου Πατρών. 26