Θεωρία Αλγόριθμοι Γραμμικής Βελτιστοποίησης

Transcript

1 Τμήμα Εφαρμοσμένης Πληροφορικής ΑΛΓΟΡΙΘΜΟΙ ΓΡΑΜΜΙΚΗΣ ΒΕΛΤΙΣΤΟΠΟΙΗΣΗΣ 8 Ο ΕΞΑΜΗΝΟ ΣΑΜΑΡΑΣ ΝΙΚΟΛΑΟΣ, ΕΠ. ΚΑΘΗΓΗΤΗΣ Ανακοινώσεις 1. Θεωρία και Εργαστήριο (Εργαστήριο του 1 ου ορόφου Κέντρο Πληροφορικής) 2. Προαιρετικές εργασίες (Μέγιστος βαθμός από εργασίες: 3 μονάδες) Μετά από κάθε μάθημα, θεωρία ή εργαστήριο, διαφάνειες, κώδικες και υποστηρικτικό υλικό θα ανακοινώνονται στην διεύθυνση samaras@uom.gr 4. Γραφείο 223, 2ος όροφος, τμήμα Ε.Π., τηλ Ορισμός Επιχειρησιακής Έρευνας Επιχειρησιακή Έρευνα Έρευνα Πολεμικών Επιχειρήσεων Η Επιστήμη της 3 Lecture01 1

2 Ιστορική Αναδρομή (1) (εκδοχή Μ. Βρετανίας) Β' Παγκόσμιο Πόλεμο 4 Ιστορική Αναδρομή (2) (εκδοχή Μ. Βρετανίας) Η Μάχη της Αγγλίας. Οι πρώτες εφαρμογές της Επιχειρησιακής Έρευνας 5 Ιστορική Αναδρομή (3) (εκδοχή H.Π.Α) Β' Παγκόσμιος Πόλεμος, Απόβαση Νορμανδίας (D-Day), Day), 06/06/ Lecture01 2

3 Ιστορική Αναδρομή (4) (εκδοχή H.Π.Α) Πρωτοπόροι Επιχειρησιακοί ερευνητές: George B. Dantzig (Πατέρας της Ε.Ε) T. C. Coopmans P. Wolfe 7 Ιστορική Αναδρομή (5) (Ε.Σ.Σ.Δ) Πρωτοπόροι Επιχειρησιακοί ερευνητές: L. Kantorovich (Nobel Οικονομίας 1975) I. I. Dikin 8 Ιστορική Αναδρομή (6) Operations Research (USA) Operational Research (Αγγλία) Επιχειρησιακή Έρευνα: H μελέτη και επίλυση των προβλημάτων των σημερινών επιχειρήσεων. Αλγόριθμος simplex (1947) ημοσίευση σε περιοδικό (1949) Dantzig, B.G. Programming in a linear structure, Econometrica, Vol. 17, (1949), pp Lecture01 3

4 Ιστορική Αναδρομή (7) Simplex Method for Linear Programming 10 Ιστορική Αναδρομή (8) εκαετίες 50 και 60: δημοσιεύσεις αποτελεσμάτων με υπολογιστικά αποτελέσματα. Πρακτική αποτελεσματικότητα αλγορίθμου simplex. Αλγόριθμος simplex: προβλήματα χρόνου στην επίλυση μεγάλων προβλημάτων. Ανάλυση πολυπλοκότητας αλγορίθμου simplex? Klee-Minty (1972): Εκθετική συμπεριφορά Έρευνα Ανάπτυξη πολυωνυμικού αλγορίθμου 11 Ιστορική Αναδρομή (9) Κύβοι Klee-Minty 12 Lecture01 4

5 Ιστορική Αναδρομή (10) Khachian (1979): Ελλειψοειδής ή ρωσικός αλγόριθμος 13 Ιστορική Αναδρομή (11) Πρακτική αναποτελεσματικότητα Αλγόριθμος simplex καλύτερος του Ελλειψοειδούς Karmarkar (1984): πολυωνυμικός Αλγόριθμος Εσωτερικών Σημείων (ΑΕΣ). Περίπου 50 φορές ταχύτερος του αλγορίθμου simplex. (ΑΕΣ) ταχύτεροι του αλγορίθμου simplex σε προβλήματα μεγάλης διάστασης. Bell Labs (1989) υλοποίησαν τον (ΑΕΣ) στο λύτη KORBX. ($ US Navy, US Air Force, US Delta Airlines). 14 Ιστορική Αναδρομή (12) Karmarkar (1984): Αλγόριθμος Εσωτερικών Σημείων Βέλτιστη Κορυφή A x 4 x 3 x 1 2 x 15 Lecture01 5

6 Ιστορική Αναδρομή (13) 16 Ιστορική Αναδρομή (14) 17 Ιστορική Αναδρομή (15) Αλγόριθμος simplex: Κακή θεωρητική πολυπλοκότητα Καλή υπολογιστική συμπεριφορά. Borgwardt (1982): Πολυπλοκότητα μέσης περίπτωσης Ο(n 2 ) Πολυπλοκότητα Αλγόριθμος Χειρότερης ρης Μέσης Περίπτωσης Περίπτωσης Simplex O(2 n -1) O(n 2 ) Ελλειψοειδής Εσωτερικών Σημείων O(n 4 L) O(n 4 L) O(n 3. 5 L) O(n 3. 5 L) 18 Lecture01 6

7 Ιστορική Αναδρομή (16) α/α Θεωρητική ανακάλυψη 1 Πρωτεύων Αλγόριθμος Simplex (Primal Simplex Algorithm) 2 Δυϊκή θεωρία και Δυϊκός αλγόριθμος Simplex (Duality Theory and Dual Simplex Algrorithm) 3 α. Εκφυλισμός και κύκλωση στο Γ.Π. (Degeneracy and Cycling in L.P.) β. Λεξικογραφικοί κανόνες αντικύκλω-σης (Lexicographic Rules for Anticycling) Κύριος ερευνητής Έτος G. B. Dantzig 1947 C. E. Lemke 1954 E. M. L. Beale K.T. Marshall, J. W. Suurballe G. B. Dantzig, A. Orden, P. Wolfe P. Wolfe Ιστορική Αναδρομή (17) α/α Θεωρητική ανακάλυψη γ. Κανόνας αντικύκλωσης του Bland (Bland s Anticycling Rule) 4 α. Πολυπλοκότητα αλγορίθμου simplex και συμπεριφορά χειρότερης περίπτωσης. Complexity of Simplex Algorithm and Worst-Case behaviour) β. Πιθανοτική / Μέση συμπεριφορά (Probabilistic bili i / Average behaviour) 5 Πρωτεύων αλγόριθμος εξωτερικών σημείων (Primal exterior point simplex algorithm) 6 Άνω όριο επαναλήψεων σε μη εκφυλισμένο γραμμικό πρόβλημα του αλγορίθμου Simplex (n m( m(γ/δ) γ/δ)log(m( m(γ/δ)) γ/δ)) ) Κύριος ερευνητής Έτος R. G. Bland 1977 V. Klee, G.J. Minty R. G. Jeroslow K. H. Borgwardt 1982 S. Smale 1983 K. Paparrizos 1991 T. Kitahara S. Mizuno Βιβλιογραφία (Βιβλία) 1. Bazaraa, S.M., Jarvis, J.J., Sherali, D.H. (1990). Linear programming and network flows, 2nd ed., J. Wiley & Sons, Inc., New York, N.Y. 2. Bertsimas, D., Tsitsiklis, N.J. (1997). Introduction to Linear Optimization, Athena Scientific Press, Belmont, Massachusetts. 3. Dantzig, B.G., Thapa, N.M. (1997). Linear programming 1: Introduction, Springer-Verlag, New York, NY. 4. Gass, I.S. (1990). An illustrated guide to linear programming, Dover Publications, New York. 5. Hillier, S.F., Lieberman, J.G. (1995). Introduction to operation research, 6th ed., McGraw-Hill, Inc., NY. 21 Lecture01 7

8 Βιβλιογραφία (Papers) 1. Albers, D.J., Reid, C. (1986). An interview with George B. Dantzig: The father of linear programming, The College Mathematics Journal, Vol. 17(4), pp Bixby, E.R. (1994). Progress in linear programming, ORSA Journal on Computing, Vol. 6(1), pp Bland, G.R. (1977). New finite pivoting rules for the simplex method, Mathematics of Operations Research, Vol. 2, pp Borgwardt, H.K. (1982). The average number of the pivot steps required by the simplex method is polynomial, Zeitschrift fur Operational Research, Series A: Theory, Vol. 26(5), pp Βιβλιογραφία (Papers) 5. Dobkin, D.P., Reiss, P.S. (1980). The complexity of linear programming, Theoretical Computer Science, Vol. 11, pp Karmarkar, K.N. (1984). A new polynomial time algorithm for linear programming, Combinatorica, vol. 4, pp Khachian, L.G. (1979). A polynomial algorithm in linear programming, Soviet Mathematics Doklady, Vol. 20, pp Klee, V., Minty, G. (1972). How good is the simplex algorithm?, In Inequalities III, Shisha, O. (Ed.), Academic Press, New York, pp Web Resources (γλωσσάρι όρων μαθηματικού προγραμματισμού) (γενικές πληροφορίες και χρήσιμα links για μαθηματικό προγραμματισμό) p (οδηγός ς για software μαθηματικού προγραμματισμού) (portal για βελτιστοποίηση) (Case- Studies στην Επιχειρησιακή Έρευνα) (Optimization Packages) 24 Lecture01 8

9 Η Φύση του Μαθηματικού Προγραμματισμού (1) Βελτίωση του επιστημονικού τρόπου λήψης δύσκολων και πολύπλοκων οικονομικών και διοικητικών αποφάσεων. Πρακτικά και εφαρμοσμένα προβλήματα είναι μεγάλα σε μέγεθος. Ο Μαθηματικός Προγραμματισμός (Mathematical Programming) ασχολείται με τη βελτιστοποίηση (ελαχιστοποίηση ή μεγιστοποίηση) μιας συνάρτησης κάτω από ορισμένους (ισοτικούς ή ανισοτικούς) περιορισμούς. 25 Η Φύση του Μαθηματικού Προγραμματισμού (2) Assignment problem Traveling salesman problem Transportation problem Minimum cost problem Generated minimum cost flow problem Mathematical programming Shortest path problem Specialized applications 0 Generalized applications 26 Optimization Tree 27 Lecture01 9

10 Εφαρμογές Μαθηματικού Προγραμματισμού 1. Στρατιωτικές εφαρμογές (Military Applications). 2. Βιομηχανικές εφαρμογές (Industrial Applications). 3. Οικονομικές εφαρμογές (Economic Applications). 4. Εφαρμογές Πληροφορικής (Computer Applications). 28 Στάδια Πρακτικής Εφαρμογής Μεθόδων Επιχειρησιακής Έρευνας Προσδιορισμός του προβλήματος Κατασκευή του υποδείγματος Υλοποίηση αλγορίθμων Επίλυση του υποδείγματος Εγκυρότητα του υποδείγματος Ερμηνεία του υποδείγματος 29 Λεκτική περιγραφή (1) Κάποτε στο μέλλον ο κύριος Χρηματιστής πήρε το υπερπολυτελές διαστημόπλοιό του για ένα ολιγοήμερο ταξίδι αναψυχής στον έναστρο ουρανό. Μετά από λίγες μέρες καθώς περιπλανιόταν ανάμεσα στους αστεροειδείς και τους γαλαξίες του διαστήματος μερικά κόκκινα φωτάκια των υπερσύγχρονων οργάνων του διαστημοπλοίου του άρχισαν να αναβοσβήνουν προειδοποιώντας τον ότι υπάρχουν μικροπροβλήματα στους προωθητικούς πυραύλους. Αναγκάστηκε τότε να προγαλαξιώσει το διαστημόπλοιό του στον κοντινότερο γαλαξία. Αφού έκανε τις απαραίτητες μικροεπισκευές έριξε μια ματιά τριγύρω του για να απολαύσει τη θέα του διαστημικού τοπίου. 30 Lecture01 10

11 Λεκτική περιγραφή (2) Προς μεγάλη του έκπληξη και ευχαρίστηση βέβαια διαπίστωσε ότι ο γαλαξίας ήταν γεμάτος από πολύτιμα ορυκτά μέταλλα, κυρίως, χρυσό και ασήμι. Φυσικά, ο κύριος Χρηματιστής ήθελε να πάρει όλη την ποσότητα των πολύτιμων μετάλλων πίσω στη γη, τεχνικοί όμως λόγοι δεν επέτρεπαν κάτι τέτοιο. Ο διαθέσιμος χώρος για έξτρα φορτίο στο διαστημόπλοιο ήταν ελάχιστος και το διαστημόπλοιο λόγω της μεγάλης βαρύτητας του γαλαξία δεν μπορούσε να απογαλαξιωθεί αν το έξτρα βάρος ξεπερνούσε ένα όριο. εν θυμόταν απ' έξω τα όρια αντοχής του διαστημοπλοίου του αλλά τα υπερακριβή όργανα τον προειδοποίησαν αυστηρά. 31 Λεκτική περιγραφή (3) Το έξτρα φορτίο δεν πρέπει να υπερβαίνει ούτε τις διαθέσιμες 24 διαστημικές μονάδες χώρου (δμχ) ούτε το μέγιστο όριο των 3 διαστημικών μονάδων βάρους (δμβ). Ήξερε ότι ήταν καλύτερο να χρησιμοποιήσει τις πιο πρόσφατες τιμές του χρυσού και ασημιού. υστυχώς όμως πίσω στην γη την ημέρα εκείνη ήταν αργία και ως εκ τούτου ήταν αναγκασμένος να χρησιμοποιήσει τιμές που ίσχυαν όταν απογειώθηκε, μια βδομάδα περίπου πριν. Οι τιμές εκείνες ήταν 7 και 13 διαστημικές λογιστικές μονάδες (δλμ) για κάθε δμβ χρυσού και ασημιού αντίστοιχα. Αναγκασμένος να αποφασίσει με αυτές τις τιμές χρησιμοποίησε αμέσως τα όργανα του διαστημοπλοίου του και βρήκε ότι 1 δμβ χρυσού καταλαμβάνει 6 δμχ, ενώ 1 δμβ ασημιού Λεκτική περιγραφή (4) Ποιες ποσότητες χρυσού και ασημιού πρέπει να φορτώσει ο χρηματιστής για να μεγιστοποιήσει το κέρδος του όταν επιστρέψει στη γη; Ο Ηλεκτρονικός Υπολογιστής του διαστημοπλοίου ήταν εφοδιασμένος με ένα πολύ σύγχρονο Σύστημα Στήριξης Αποφάσεων (Decision Support System) βασισμένο στα τελευταία ερευνητικά αποτελέσματα και στους ταχύτερους αλγορίθμους. Τροφοδότησε αμέσως τα δεδομένα στον ηλεκτρονικό υπολογιστή και σε κλάσματα του δευτερολέπτου το Σύστημα Στήριξης Αποφάσεων (Σ.Σ.Α.), έδωσε έτοιμη τη βέλτιστη λύση την οποία ετοιμαζόταν γρήγορα-γρήγορα να υλοποιήσει. Ποιο ήταν το γραμμικό πρόβλημα το οποίο επιλύθηκε; 33 Lecture01 11

12 Μαθηματική Μορφοποίηση (1) x 1 δμβ χρυσού x 2 δμβ ασημιού Αντικειμενικός σκοπός του χρηματιστή: 7x 1 κέρδος δλμ χρυσού 13x 2 κέρδος δλμ ασημιού max 7x x 2 x 1 x 2 Φυσικές ποσότητες x 1 0 x 2 0 Φυσικοί περιορισμοί ή περιορισμοί μη αρνητικότητας 34 Μαθηματική Μορφοποίηση (2) Περιορισμός x 1 βάρους x 2 3 δμβ x 1 + x 2 3 Περιορισμός 6x 1 χώρου 13x 2 24 δμχ 6x x 2 24 Τεχνολογικο οί περιορισμοί 35 Μαθηματική Μορφοποίηση (3) max 7x x 2 περιορισμοί x 1 + x 2 3 6x 1 +13x 2 24 x 1, x Lecture01 12

13 Επίλυση Έστω η λύση που υπολόγισε ο Η/Υ του διαστημόπλοιου είναι x 1 =15/7 δμβ και x 2 = 6/7 δμβ Το μέγιστο κέρδος: 7*15/7 + 13*6/7 = 183/7 Εναλλακτική πρόταση: Μέγιστο κέρδος 189/7 Συμφέρει να πουλήσει? Η βέλτιστη λύση παραμένει βέλτιστη: εν πουλάει 37 Παράδειγμα: Κατανομή Πόρων (1) Ένα εργοστάσιο κατασκευάζει πόρτες, παράθυρα, τραπέζια και καρέκλες από αλουμίνιο και πλαστικό. Οι κατασκευαστικές απαιτήσεις των προϊόντων αυτών σε πλαστικό, αλουμίνιο και εργατοώρες φαίνονται στον επόμενο Πίνακα. Τα στοιχεία του Πίνακα ερμηνεύονται ως εξής. Για παράδειγμα, οι αριθμοί της πρώτης στήλης δηλώνουν ότι για την κατασκευή μιας πόρτας απαιτούνται 15 dm 3 αλουμινίου, 12 κιλά πλαστικού υλικού και 150 εργατοώρες. Πόρτα Παράθυρο Τραπέζι Καρέκλα Αλουμίνιο (dm 3 ) Πλαστικό (κιλά) Εργατοώρες Παράδειγμα: Κατανομή Πόρων (2) Η επιχείρηση έχει ήδη παραγγελίες για 150 πόρτες, 270 παράθυρα, 310 τραπέζια και 450 καρέκλες, αλλά γνωρίζει ότι, οποιαδήποτε ποσότητα των προϊόντων και αν κατασκευάσει με τους πόρους που διαθέτει, θα πουληθεί στην αγορά. Οι τιμές πώλησης είναι 540 για κάθε πόρτα, 205 για κάθε παράθυρο, 175 για κάθε τραπέζι και 90 για κάθε καρέκλα. Το εργοστάσιο διαθέτει dm 3 αλουμινίου, κιλά πλαστικού και μπορεί να διαθέσει για την παραγωγή των παραπάνω προϊόντων το πολύ εργατοώρες. Ποιο πρόβλημα πρέπει να λύσει η επιχείρηση για να προσδιορίσει το σχέδιο παραγωγής το οποίο θα μεγιστοποιήσει τα έσοδά της; 39 Lecture01 13

14 Παράδειγμα: Κατανομή Πόρων (3) x 1 = αριθμός από πόρτες που θα κατασκευαστούν x 2 = αριθμός παραθύρων που θα κατασκευαστούν x 3 = αριθμός τραπεζιών που θα κατασκευαστούν x 4 = αριθμός καρεκλών που θα κατασκευαστούν Αντικειμενικός σκοπός της επιχείρησης: 540x 1 κέρδος από πώληση από πόρτες σε 205x 2 κέρδος από πώληση παραθύρων σε 175x 3 κέρδος από πώληση τραπεζιών σε 90x 4 κέρδος από πώληση καρεκλών σε max 540x x x x 4 40 Παράδειγμα: Κατανομή Πόρων (4) x 1 x 2 x 3 x 4 Φυσικές ποσότητες x 1 0 x 2 0 x 3 0 x 4 0 Φυσικοί ή περιορισμοί περιορισμοί μη αρνητικότητας 41 Παράδειγμα: Κατανομή Πόρων (5) 15x 1 4x Περιορισμός dm αλουμινίου 5x 3 3 3x 4 15x 1 + 4x 2 + 5x 3 + 3x Περιορισμός πλαστικού 12x 1 + 6x 2 + 3x 3 + 3x Περιορισμός εργατοωρών 150x x x x Lecture01 14

15 Παράδειγμα: Κατανομή Πόρων (6) Ικανοποίηση παραγγελίας x 1 150, x 2 270, x 3 310, x max 540x x x x 4 περιορισμοί 15x 1 + 4x 2 + 5x 3 + 3x x 1 + 6x 2 + 3x 3 + 3x x x x x x 1 150, x 2 270, x 3 310, x Παράδειγμα: Το πρόβλημα της δίαιτας (1) Σε μια ειδική δίαιτα αδυνατίσματος έχει αποφασιστεί ότι η ημερήσια διατροφή πρέπει να αποτελείται από ψωμί, κρέας, λαχανικά, γαλακτοκομικά προϊόντα και φρούτα. Η δίαιτα πρέπει να επιτυγχάνει ένα συγκεκριμένο ρυθμό ελάττωσης βάρους. Για την επιτυχία του σκοπού αυτού η ποσότητα τροφής που καταναλώνεται ημερησίως δεν πρέπει να περιέχει περισσότερες από 1200 θερμίδες, περισσότερα από 100 mgr ζαχάρου και περισσότερα από 30 mgr λιπαρών ουσιών. Επίσης, η δίαιτα πρέπει να ικανοποιεί ορισμένα ελάχιστα όρια υγιεινής διατροφής. Ημερησίως πρέπει να καταναλώνονται τουλάχιστον 100 mgr πρωτεϊνών και 25 mgr βιταμινών. 44 Παράδειγμα: Το πρόβλημα της δίαιτας (2) Οι περιεκτικότητες σε θερμίδες, ζάχαρο, λιπαρά, πρωτεΐνες και βιταμίνες ανά μονάδα μέτρησης των διαφόρων ειδών διατροφής φαίνονται αναλυτικά στον παρακάτω Πίνακα. Είδος Τροφής Ψωμί (Τεμάχια) Κρέας (Κιλά) Λαχανικά (Κιλά) Γαλακτοκομικά (Τεμάχια) Θερμίδες ζάχαρο Λιπαρά Kcal mgr mgr Πρωτεΐνες mgr Βιταμίνες Mgr Φρούτα (Τεμάχια) Lecture01 15

16 Παράδειγμα: Το πρόβλημα της δίαιτας (3) Αντικειμενικός σκοπός του ατόμου που θέλει να εφαρμόσει τη δίαιτα, είναι ο προσδιορισμός των ποσοτήτων των διαφόρων τροφών που πρέπει να καταναλώνονται ημερησίως έτσι ώστε να επιτυγχάνονται οι δυο επιδιώξεις του (ρυθμός ελάττωσης βάρους και ικανοποίηση ελαχίστων ορίων υγιεινής διατροφής) και να ελαχιστοποιείται το κόστος. Γνωρίζοντας ότι οι τιμές του ψωμιού, του κρέατος, των λαχανικών, των γαλακτοκομικών προϊόντων και των φρούτων είναι 0,7 /τεμάχιο, 5,6 /κιλό, 0,4 /κιλό, 1 /τεμάχιο και 0,2 / τεμάχιο αντίστοιχα, να βρεθεί το πρόβλημα εκείνο του οποίου η λύση θα επιτυγχάνει το ελάχιστο κόστος. 46 Παράδειγμα: Το πρόβλημα της δίαιτας (4) x 1 = τεμάχια ψωμιού που καταναλώνονται ημερησίως x 2 = κιλά κρέατος που καταναλώνονται ημερησίως x 3 = κιλά λαχανικών που καταναλώνονται ημερησίως x 4 = τεμάχια γαλακτοκομικών προϊόντων που καταναλώνονται ημερησίως x 5 = τεμάχια φρούτων που καταναλώνονται ημερησίως Αντικειμενικός σκοπός της επιχείρησης: 0,7x 1 κόστος από κατανάλωση ψωμιού σε 5,6x 2 κόστος από κατανάλωση κρέατος σε 0,4x 3 κόστος από κατανάλωση λαχανικών σε 1,0x 4 κόστος από κατανάλωση γαλακ/κών σε 0,2x 5 κόστος από κατανάλωση φρούτων σε 47 Παράδειγμα: Το πρόβλημα της δίαιτας (5) Συνολικό ημερήσιο κόστος της δίαιτας είναι min 0,7x 1 + 5,6x 2 + 0,4x 3 + 1,0x 4 + 0,2x 5 x 1 x 2 x 1 0 x 2 0 Φυσικές x 3 ποσότητες x 3 0 x 4 x 4 0 x 5 x 5 0 Φυσικοί περιορισμοί ή περιορισμοί μη αρνητικότητας 48 Lecture01 16

17 Παράδειγμα: Το πρόβλημα της δίαιτας (6) 400x x 2 Περιορισμός 90x Kcal θερμίδων 600x 4 400x x x x x 5 150x Περιορισμός για ζάχαρο 35x x x Περιορισμός για λιπαρές ουσίες 10x x x Παράδειγμα: Το πρόβλημα της δίαιτας (7) Περιορισμός για πρωτεΐνες 5x x x Περιορισμός για βιταμίνες 3x x 3 + 5x x 5 25 min 07 0,7x ,6x ,4x ,0x ,2x 5 μ.π. 400x x x x x x x x x x x x x x x x 3 + 5x x 5 25 x j 0, (j = 1, 2, 3, 4, 5) 50 Lecture01 17