Γενικό πλάνο Μαθηµατικά για Πληροφορική 6ο Μάθηµα 1 Ανάλυση αλγορίθµων Ηλίας Κουτσουπιάς, Γιάννης Εµίρης 2 Συµβολισµοί O, Ω και Θ Τµήµα Πληροφορικής και Τηλεπικοινωνιών Πανεπιστήµιο Αθηνών 27/11/2008 3 Αναδροµικές εξισώσεις 27/11/2008 1 / 55 27/11/2008 2 / 55 Είδη αλγορίθµων Είδη αλγορίθµων Αλγόριθµοι µε αρχή και τέλος, µε είσοδο και έξοδο Αλγόριθµοι µε αρχή και τέλος, µε είσοδο και έξοδο Ατέρµονες αλγόριθµοι (λειτουργικά συστήµατα, δοµές δεδοµένων, πρωτόκολλα ιαδικτύου). 27/11/2008 3 / 55 27/11/2008 3 / 55
Είδη αλγορίθµων Ο χρόνος εκτέλεσης ενός αλγορίθµου (προγράµµατος) εξαρτάται από Αλγόριθµοι µε αρχή και τέλος, µε είσοδο και έξοδο Ατέρµονες αλγόριθµοι (λειτουργικά συστήµατα, δοµές δεδοµένων, πρωτόκολλα ιαδικτύου). Παράλληλοι, κατανεµηµένοι κλπ Εδώ ϑα µελετήσουµε µόνο το πρώτο είδος και ειδικά τον χρόνο εκτέλεσης των αλγορίθµων. 27/11/2008 3 / 55 27/11/2008 4 / 55 Ο χρόνος εκτέλεσης ενός αλγορίθµου (προγράµµατος) εξαρτάται από την είσοδο (το πλήθος και είδος των δεδοµένων) Ο χρόνος εκτέλεσης ενός αλγορίθµου (προγράµµατος) εξαρτάται από την είσοδο (το πλήθος και είδος των δεδοµένων) την γλώσσα προγραµµατισµού 27/11/2008 4 / 55 27/11/2008 4 / 55
Ο χρόνος εκτέλεσης ενός αλγορίθµου (προγράµµατος) εξαρτάται από την είσοδο (το πλήθος και είδος των δεδοµένων) την γλώσσα προγραµµατισµού τον επεξεργαστή Ο χρόνος εκτέλεσης ενός αλγορίθµου (προγράµµατος) εξαρτάται από την είσοδο (το πλήθος και είδος των δεδοµένων) την γλώσσα προγραµµατισµού τον επεξεργαστή το υπολογιστικό περιβάλλον 27/11/2008 4 / 55 27/11/2008 4 / 55 Ο χρόνος εκτέλεσης ενός αλγορίθµου (προγράµµατος) εξαρτάται από την είσοδο (το πλήθος και είδος των δεδοµένων) την γλώσσα προγραµµατισµού τον επεξεργαστή το υπολογιστικό περιβάλλον... Ο χρόνος εκτέλεσης ενός αλγορίθµου (προγράµµατος) εξαρτάται από την είσοδο (το πλήθος και είδος των δεδοµένων) την γλώσσα προγραµµατισµού τον επεξεργαστή το υπολογιστικό περιβάλλον... Για µια καλή ϑεωρία ανάλυσης αλγορίθµων πρέπει 27/11/2008 4 / 55 27/11/2008 4 / 55
Ο χρόνος εκτέλεσης ενός αλγορίθµου (προγράµµατος) εξαρτάται από την είσοδο (το πλήθος και είδος των δεδοµένων) την γλώσσα προγραµµατισµού τον επεξεργαστή το υπολογιστικό περιβάλλον... Για µια καλή ϑεωρία ανάλυσης αλγορίθµων πρέπει να ξεκαθαρίσουµε ποια χαρακτηριστικά της εισόδου επηρεάζουν τον χρόνο του αλγορίθµου Ο χρόνος εκτέλεσης ενός αλγορίθµου (προγράµµατος) εξαρτάται από την είσοδο (το πλήθος και είδος των δεδοµένων) την γλώσσα προγραµµατισµού τον επεξεργαστή το υπολογιστικό περιβάλλον... Για µια καλή ϑεωρία ανάλυσης αλγορίθµων πρέπει να ξεκαθαρίσουµε ποια χαρακτηριστικά της εισόδου επηρεάζουν τον χρόνο του αλγορίθµου να εξαλείψουµε µε κάποιο τρόπο τους υπόλοιπους εξωγενείς παράγοντες 27/11/2008 4 / 55 27/11/2008 4 / 55 Οι εξωγενείς παράγοντες επηρεάζουν κυρίως πολλαπλασιαστικά τον χρόνο εκτέλεσης. Οι εξωγενείς παράγοντες επηρεάζουν κυρίως πολλαπλασιαστικά τον χρόνο εκτέλεσης. Εκτέλεση σε υπολογιστή Χ: t 27/11/2008 5 / 55 27/11/2008 5 / 55
Οι εξωγενείς παράγοντες επηρεάζουν κυρίως πολλαπλασιαστικά τον χρόνο εκτέλεσης. Εκτέλεση σε υπολογιστή Χ: t Εκτέλεση σε υπολογιστή Υ: αt Οι εξωγενείς παράγοντες επηρεάζουν κυρίως πολλαπλασιαστικά τον χρόνο εκτέλεσης. Εκτέλεση σε υπολογιστή Χ: t Εκτέλεση σε υπολογιστή Υ: αt Από τα χαρακτηριστικά της εισόδου, κρατάµε µόνο το µήκος της εισόδου. 27/11/2008 5 / 55 27/11/2008 5 / 55 Οι εξωγενείς παράγοντες επηρεάζουν κυρίως πολλαπλασιαστικά τον χρόνο εκτέλεσης. Εκτέλεση σε υπολογιστή Χ: t Εκτέλεση σε υπολογιστή Υ: αt Από τα χαρακτηριστικά της εισόδου, κρατάµε µόνο το µήκος της εισόδου. Βασική παραδοχή: Ο χρόνος είναι συνάρτηση T(n) του µήκους n της εισόδου. Οι εξωγενείς παράγοντες επηρεάζουν κυρίως πολλαπλασιαστικά τον χρόνο εκτέλεσης. Εκτέλεση σε υπολογιστή Χ: t Εκτέλεση σε υπολογιστή Υ: αt Από τα χαρακτηριστικά της εισόδου, κρατάµε µόνο το µήκος της εισόδου. Βασική παραδοχή: Ο χρόνος είναι συνάρτηση T(n) του µήκους n της εισόδου. Ποιας εισόδου όµως αφού υπάρχουν 2 n είσοδοι µήκους n; 27/11/2008 5 / 55 27/11/2008 5 / 55
Μήκος εισόδου Οι εξωγενείς παράγοντες επηρεάζουν κυρίως πολλαπλασιαστικά τον χρόνο εκτέλεσης. Εκτέλεση σε υπολογιστή Χ: t Εκτέλεση σε υπολογιστή Υ: αt Από τα χαρακτηριστικά της εισόδου, κρατάµε µόνο το µήκος της εισόδου. Βασική παραδοχή: Ο χρόνος είναι συνάρτηση T(n) του µήκους n της εισόδου. Ποιας εισόδου όµως αφού υπάρχουν 2 n είσοδοι µήκους n; Είσοδος µια συµβολοσειρά του αλφαβήτου {0, 1} : Μήκος της (δυαδικής) εισόδου είναι ο αριθµός των συµβόλων της εισόδου. Ανάλυση χειρότερης περίπτωσης (worst-case): T(n) είναι ο µεγαλύτερος µεταξύ των χρόνων των εισόδων µήκους n. 27/11/2008 5 / 55 27/11/2008 6 / 55 Μήκος εισόδου Μήκος εισόδου Είσοδος µια συµβολοσειρά του αλφαβήτου {0, 1} : Μήκος της (δυαδικής) εισόδου είναι ο αριθµός των συµβόλων της εισόδου. Είσοδος µια συµβολοσειρά του αλφαβήτου {0, 1,..., 9} : Μήκος (δυαδικής) εισόδου = 4 τον αριθµό των συµβόλων της εισόδου. Είσοδος µια συµβολοσειρά του αλφαβήτου {0, 1} : Μήκος της (δυαδικής) εισόδου είναι ο αριθµός των συµβόλων της εισόδου. Είσοδος µια συµβολοσειρά του αλφαβήτου {0, 1,..., 9} : Μήκος (δυαδικής) εισόδου = 4 τον αριθµό των συµβόλων της εισόδου. Είσοδος ένας ϕυσικός αριθµός a : Μήκος log a log a. 27/11/2008 6 / 55 27/11/2008 6 / 55
Μήκος εισόδου Μήκος εισόδου Είσοδος µια συµβολοσειρά του αλφαβήτου {0, 1} : Μήκος της (δυαδικής) εισόδου είναι ο αριθµός των συµβόλων της εισόδου. Είσοδος µια συµβολοσειρά του αλφαβήτου {0, 1,..., 9} : Μήκος (δυαδικής) εισόδου = 4 τον αριθµό των συµβόλων της εισόδου. Είσοδος ένας ϕυσικός αριθµός a : Μήκος log a log a. Είσοδος είναι µια ακολουθία a 1, a 2,..., a k ϕυσικών αριθµών: Μήκος περίπου log a 1 + log a 2 + + log a k, αλλά πρέπει να λάβουµε υπόψη και τα κόµµατα. Είσοδος µια συµβολοσειρά του αλφαβήτου {0, 1} : Μήκος της (δυαδικής) εισόδου είναι ο αριθµός των συµβόλων της εισόδου. Είσοδος µια συµβολοσειρά του αλφαβήτου {0, 1,..., 9} : Μήκος (δυαδικής) εισόδου = 4 τον αριθµό των συµβόλων της εισόδου. Είσοδος ένας ϕυσικός αριθµός a : Μήκος log a log a. Είσοδος είναι µια ακολουθία a 1, a 2,..., a k ϕυσικών αριθµών: Μήκος περίπου log a 1 + log a 2 + + log a k, αλλά πρέπει να λάβουµε υπόψη και τα κόµµατα. Είναι ϕανερό ότι ο καθορισµός του µήκους µιας εισόδου παρουσιάζει επιπλοκές και δυσκολίες. 27/11/2008 6 / 55 27/11/2008 6 / 55 Συµβολισµός O Συµβολισµός O Ορισµός Εστω συναρτήσεις f, g : N R. Θα λέµε ότι f(n) = O(g(n)) αν υπάρχουν σταθερές c, n 0 > 0 τέτοιες ώστε f(n) c g(n), n n 0. (f(n) = 10n + 7, g(n) = n, 10n + 7 = O(n)) Αρκεί να ϐρούµε τις δυο σταθερές c και n 0 του ορισµού και να επιβεβαιώσουµε τη σχέση f(n) c g(n). n 0 = 1 c = 17. Οταν f = O(g), λέµε πως η f είναι (τάξης) O(g(n)). Από τον ορισµό της, η τάξη δηλώνει µόνο άνω ϕράγµα, µπορεί να κρύβει µια σταθερά, κρύβει συµπεριφορά πεπερασµένου πλήθους όρων (για n < n 0 ). Για n n 0 = 1, έχουµε f(n) = 10n + 7 10n + 7n 17n = cn = cg(n). 27/11/2008 7 / 55 27/11/2008 8 / 55
Συµβολισµός O Εστω p(n) ένα πολυώνυµο ϐαθµού k. Τότε p(n) = O(n k ). p(n) = c k n k + + c 1 n + c 0 ιαλέγουµε n 0 = 1 και c = c k + + c 1 + c 0 και έχουµε p(n) c k n k + + c 1 n + c 0 c k n k + + c 1 n + c 0 c k n k + + c 1 n + c 0 c k n k + + c 1 n k + c 0 n k = cn k. Παράδειγµα: Παραγοντικό Για a > 0, a n = O(n!). Εστω a Z, ειδάλλως χρησιµοποίησε a. Θέτουµε c = a a, n 0 = a : n n 0 = a : ηλαδή, a n a a a n a a! a n c a a(a 1) 2 1 c n! }{{} n Γιατί δεν διαλέξαµε c = c k + + c 1 + c 0, χωρίς τις απόλυτες τιµές; 27/11/2008 9 / 55 27/11/2008 10 / 55 Τεχνικές Τεχνικές Πώς αποδεικνύουµε ότι f(n) = O(g(n)); Πώς αποδεικνύουµε ότι f(n) = O(g(n)); Βρίσκουµε κατάλληλα c και n 0. 27/11/2008 11 / 55 27/11/2008 11 / 55
Τεχνικές Τεχνικές Πώς αποδεικνύουµε ότι f(n) = O(g(n)); Βρίσκουµε κατάλληλα c και n 0. Για ϑετικές συναρτήσεις f(n) και g(n), δείχνουµε ότι το όριο f(n) lim n g(n) υπάρχει και είναι κάποια σταθερά (δεν είναι δηλαδή). Πώς αποδεικνύουµε ότι f(n) = O(g(n)); Βρίσκουµε κατάλληλα c και n 0. Για ϑετικές συναρτήσεις f(n) και g(n), δείχνουµε ότι το όριο f(n) lim n g(n) υπάρχει και είναι κάποια σταθερά (δεν είναι δηλαδή). Πώς αποδεικνύουµε το αντίστροφο, δηλαδή ότι δεν ισχύει f(n) = O(g(n)); 27/11/2008 11 / 55 27/11/2008 11 / 55 Τεχνικές Τεχνικές Πώς αποδεικνύουµε ότι f(n) = O(g(n)); Βρίσκουµε κατάλληλα c και n 0. Για ϑετικές συναρτήσεις f(n) και g(n), δείχνουµε ότι το όριο f(n) lim n g(n) υπάρχει και είναι κάποια σταθερά (δεν είναι δηλαδή). Πώς αποδεικνύουµε το αντίστροφο, δηλαδή ότι δεν ισχύει f(n) = O(g(n)); είχνουµε µε απαγωγή σε άτοπο ότι δεν υπάρχουν κατάλληλα c και n 0. Πώς αποδεικνύουµε ότι f(n) = O(g(n)); Βρίσκουµε κατάλληλα c και n 0. Για ϑετικές συναρτήσεις f(n) και g(n), δείχνουµε ότι το όριο f(n) lim n g(n) υπάρχει και είναι κάποια σταθερά (δεν είναι δηλαδή). Πώς αποδεικνύουµε το αντίστροφο, δηλαδή ότι δεν ισχύει f(n) = O(g(n)); είχνουµε µε απαγωγή σε άτοπο ότι δεν υπάρχουν κατάλληλα c και n 0. Για ϑετικές συναρτήσεις f(n) και g(n), δείχνουµε ότι το όριο f(n) lim n g(n) υπάρχει και είναι. 27/11/2008 11 / 55 27/11/2008 11 / 55
Η τεχνική µε τα όρια f(n) Για ϑετικές συναρτήσεις f(n) και g(n), αν το όριο lim n g(n) υπάρχει και είναι κάποια σταθερά (δεν είναι δηλαδή), τότε f(n) = O(g(n)). f(n) Εστω a το όριο. Τι σηµαίνει ότι lim n g(n) = a? Οτι ǫ > 0, m ǫ τ.ώ. n m ǫ : Ας πάρουµε ǫ = a. Τότε για κάθε n m a : f(n) a ǫ. g(n) f(n) f(n) a a g(n) g(n) 2a. Παράδειγµα Να δειχτεί ότι εν ισχύει n 2 = O(n). Με εις άτοπο απαγωγή: Εστω ότι υπήρχαν κατάλληλες σταθερές c και n 0. Ας ϑεωρήσουµε την τιµή n = max{n 0, c + 1}. Θα πρέπει να έχουµε n 2 cn. Ισοδύναµα n c, άτοπο. Εναλλακτική απόδειξη. Το υπάρχει και είναι. n 2 lim n n Αρκεί τώρα να πάρουµε n 0 = m a και c = 2a. 27/11/2008 12 / 55 27/11/2008 13 / 55 Παράδειγµα: λογάριθµοι Σχέσεις του συµβολισµού O Για ακεραίους a, b > 0 ισχύει πως (ln n) a = O(n b ). Χρησιµοποιούµε κανόνα L Hôpital: (ln n) a lim n n b = lim n a(ln n)a 1 n bn b 1 = lim n a(ln n) a 1 bn b = lim n a! b a n b = 0 Αν f(n) = O(g(n)) και g(n) = O(h(n)) τοτε f(n) = O(h(n)) f 1 (n) + f 2 (n) = O(max{f 1 (n), f 2 (n)}) 27/11/2008 14 / 55 27/11/2008 15 / 55
Ιεραρχία συναρτήσεων Υπερεκθετικές: 2 2n Εκθετικές: 2 n2 n n n! 3 n 2 n 2 Υποεκθετικές: n log n Πολυωνυµικές: n 2 n log n n Λογαριθµικές: log 2 n log n Υπολογαριθµικές: log log n Σταθερές 1 n n Συµβολισµός Ω Ορισµός Εστω f και g δυο συναρτήσεις από τους µη αρνητικούς ακέραιους στο σύνολο των πραγµατικών αριθµών. Θα λέµε ότι f(n) = Ω(g(n)) αν υπάρχουν ϑετικές σταθερές c και n 0 τέτοιες ώστε f(n) c g(n) για κάθε n n 0. Ισοδύναµα, f(n) = Ω(g(n)) αν και µόνο αν g(n) = O(f(n)). (f(n) = 10n 7, g(n) = n, 10n 7 = Ω(n)) Αρκεί να ϐρούµε τις δυο σταθερές c και n 0 του ορισµού και να επιβεβαιώσουµε τη σχέση f(n) c g(n). n 0 = 1 c = 3 f(n) = 10n 7 10n 7n 3n = cn = cg(n). 27/11/2008 16 / 55 27/11/2008 17 / 55 Συµβολισµός Θ Συµβολισµός o Ορισµός Εστω f και g δυο συναρτήσεις από τους µη αρνητικούς ακέραιους στο σύνολο των πραγµατικών αριθµών. Θα λέµε ότι f(n) = Θ(g(n)) αν f(n) = O(g(n)) και f(n) = Ω(g(n)). f(n) Αν το lim n g(n) υπάρχει και έχει τιµή λ τότε O(g(n)) αν λ = 0 f(n) = Θ(g(n)) αν 0 < λ < Ω(g(n)) αν λ = Ορισµός Εστω f, g : N R. f(n) = o(g) σταθ.c > 0, σταθ.n 0 : 0 f(n) < c g(n), n n 0. Ισχύει 2n = o(n 2 ) αλλά n 2 /4 o(n 2 ). Οι συµβολισµοί O( ) και o( ) εκφράζουν άνω ϕράγµατα, αλλά µόνον ο o( ) εκφράζει αυστηρό άνω ϕράγµα. f = o(g) f = O(g). f(n) = o(g(n)) lim n f(n)/g(n) = 0. 27/11/2008 18 / 55 27/11/2008 19 / 55
Βασικές αναδροµικές εξισώσεις Βασικές αναδροµικές εξισώσεις Στην ανάλυση αλγορίθµων χρειάζεται συχνά να ϐρούµε τη λύση ανδροµικών εξισώσεων. Τυπικές αναδροµικές εξισώσεις είναι οι εξής: T(n) = T(n 1) + n Στην ανάλυση αλγορίθµων χρειάζεται συχνά να ϐρούµε τη λύση ανδροµικών εξισώσεων. Τυπικές αναδροµικές εξισώσεις είναι οι εξής: T(n) = T(n 1) + n T(n) = 2T( n 2 ) + n 27/11/2008 20 / 55 27/11/2008 20 / 55 Βασικές αναδροµικές εξισώσεις Τεχνικές επίλυσης αναδροµικών Στην ανάλυση αλγορίθµων χρειάζεται συχνά να ϐρούµε τη λύση ανδροµικών εξισώσεων. Τυπικές αναδροµικές εξισώσεις είναι οι εξής: T(n) = T(n 1) + n T(n) = 2T( n 2 ) + n T(n) = T(n 1) + T(n 2) Για να λύσουµε µια αναδροµική χρησιµοποιούµε τις εξής τεχνικές: Μαντεύουµε την γενική λύση και την επιβεβαιώνουµε στα δεδοµένα. 27/11/2008 20 / 55 27/11/2008 21 / 55
Τεχνικές επίλυσης αναδροµικών Τεχνικές επίλυσης αναδροµικών Για να λύσουµε µια αναδροµική χρησιµοποιούµε τις εξής τεχνικές: Μαντεύουµε την γενική λύση και την επιβεβαιώνουµε στα δεδοµένα. Την «ξεδιπλώνουµε», την γενικεύουµε και την επιβεβαιώνουµε µε χρήση επαγωγής. Για να λύσουµε µια αναδροµική χρησιµοποιούµε τις εξής τεχνικές: Μαντεύουµε την γενική λύση και την επιβεβαιώνουµε στα δεδοµένα. Την «ξεδιπλώνουµε», την γενικεύουµε και την επιβεβαιώνουµε µε χρήση επαγωγής. Αν αποτελεί περίπτωση γνωστής οικογένειας αναδροµικών εξισώσεων, χρησιµοποιούµε την γενικότερη λύση. 27/11/2008 21 / 55 27/11/2008 21 / 55 Ξεδίπλωµα Ξεδίπλωµα Ποια η λύση της αναδροµικής εξίσωσης T(n) = T(n 1) + n, µε T(1) = 1; Ποια η λύση της αναδροµικής εξίσωσης T(n) = T(n 1) + n, µε T(1) = 1; T(n) = T(n 1) + n = T(n 2) + (n 1) + n = T(n 3) + (n 2) + (n 1) + n 27/11/2008 22 / 55 27/11/2008 22 / 55
Ξεδίπλωµα Ξεδίπλωµα Ποια η λύση της αναδροµικής εξίσωσης T(n) = T(n 1) + n, µε T(1) = 1; Ποια η λύση της αναδροµικής εξίσωσης T(n) = T(n 1) + n, µε T(1) = 1; T(n) = T(n 1) + n = T(n 2) + (n 1) + n = T(n 3) + (n 2) + (n 1) + n Μαντεύουµε τη γενίκευση T(n) = T(n k) + (n k + 1) + + n, για κάθε k N. T(n) = T(n 1) + n = T(n 2) + (n 1) + n = T(n 3) + (n 2) + (n 1) + n Μαντεύουµε τη γενίκευση T(n) = T(n k) + (n k + 1) + + n, για κάθε k N. Αυτό το αποδεικνύουµε µε επαγωγή στο k. 27/11/2008 22 / 55 27/11/2008 22 / 55 Ξεδίπλωµα Ποια η λύση της αναδροµικής εξίσωσης T(n) = T(n 1) + n, µε T(1) = 1; Ξεδίπλωµα Ποια η λύση της αναδροµικής εξίσωσης T(n) = 3T(n 1) 2T(n 2), µε T(1) = 1 και T(2) = 2; T(n) = T(n 1) + n = T(n 2) + (n 1) + n = T(n 3) + (n 2) + (n 1) + n Μαντεύουµε τη γενίκευση T(n) = T(n k) + (n k + 1) + + n, για κάθε k N. Αυτό το αποδεικνύουµε µε επαγωγή στο k. Και τώρα για k = n 1, έχουµε T(n) = T(1) + 2 + + n = 1 + 2 + + n = n(n + 1)/2. 27/11/2008 22 / 55 27/11/2008 23 / 55
Ξεδίπλωµα Ποια η λύση της αναδροµικής εξίσωσης T(n) = 3T(n 1) 2T(n 2), µε T(1) = 1 και T(2) = 2; Ξεδίπλωµα Ποια η λύση της αναδροµικής εξίσωσης T(n) = 3T(n 1) 2T(n 2), µε T(1) = 1 και T(2) = 2; T(n) = 3T(n 1) 2T(n 2) = 7T(n 2) 6T(n 3) = 15T(n 3) 14T(n 4) T(n) = 3T(n 1) 2T(n 2) = 7T(n 2) 6T(n 3) = 15T(n 3) 14T(n 4) Μαντεύουµε τη γενίκευση T(n) = (2 k 1)T(n k + 1) (2 k 2)T(n k), για κάθε k 2. 27/11/2008 23 / 55 27/11/2008 23 / 55 Ξεδίπλωµα Ποια η λύση της αναδροµικής εξίσωσης T(n) = 3T(n 1) 2T(n 2), µε T(1) = 1 και T(2) = 2; Ξεδίπλωµα Ποια η λύση της αναδροµικής εξίσωσης T(n) = 3T(n 1) 2T(n 2), µε T(1) = 1 και T(2) = 2; T(n) = 3T(n 1) 2T(n 2) = 7T(n 2) 6T(n 3) = 15T(n 3) 14T(n 4) T(n) = 3T(n 1) 2T(n 2) = 7T(n 2) 6T(n 3) = 15T(n 3) 14T(n 4) Μαντεύουµε τη γενίκευση T(n) = (2 k 1)T(n k + 1) (2 k 2)T(n k), για κάθε k 2. Αυτό το αποδεικνύουµε µε επαγωγή στο k. Μαντεύουµε τη γενίκευση T(n) = (2 k 1)T(n k + 1) (2 k 2)T(n k), για κάθε k 2. Αυτό το αποδεικνύουµε µε επαγωγή στο k. Και τώρα για k = n 1, έχουµε T(n) = (2 n 1 1)T(2) (2 n 1 2)T(1) = 2 n 1. 27/11/2008 23 / 55 27/11/2008 23 / 55
Master theorem Master theorem: Παραδείγµατα Θεώρηµα (Βασικό ϑεώρηµα αναδροµικών συναρτήσεων) Τότε η T(n) ισούται µε: T(n) = at( n ) + f(n), a 1, b > 1. b 1 Θ(n log b a ), αν f(n) = o(n log b a ), 2 Θ(n log b a log k+1 n), αν k 0 : f(n) = Θ(n log b a log k n), 3 Θ(f(n)), αν f(n) = ω(n log b a ), και c < 1 : af( n ) cf(n), n 1. b T(n) = 8T(n/2) + 1000n 2. Θέτω a = 8, b = 2, log b a = 3 στην περίπτωση (1), άρα T(n) = Θ(n 3 ). T(n) = 2T(n/2) + 10n. Θέτω a = 2 = b, k = 0 στην περίπτωση (2), άρα T(n) = Θ(n log n). T(n) = 2T(n/2) + n 2. Θέτω a = 2 = b,ǫ = 1 στην περίπτωση (3), άρα T(n) = Θ(n 2 ). 27/11/2008 24 / 55 27/11/2008 25 / 55 Master theorem: Αντιπαραδείγµατα Αριθµητικές συναρτήσεις T(n) = 2 n T(n/2) + n n ΕΝ Λύνεται µε το Θεώρηµα διότι το a δεν είναι σταθερά. T(n) = 2T(n/2) + n/ log n. ΕΝ Λύνεται µε το Θεώρηµα διότι δεν σχετίζονται πολυωνυµικά τα f(n) και n log b a. Ορισµός Κάθε συναρτηση f : N R λέγεται αριθµητική. Οι αριθµητικές συναρτήσεις ορίζονται µε 4 τρόπους: κλειστός τύπος: a k = 3 k, k 0. αναδροµική σχέση: ακολουθία (1, 3, 9, 27,...). a k = 3a k 1, k 1, a 0 = 1. Γεννήτρια συνάρτηση: A(z) = 1 1 3z = 1 + 3z + 9z2 + 27z 3 + 27/11/2008 26 / 55 27/11/2008 27 / 55
Παράδειγµα: Fibonacci Επίλυση αναδροµικής εξίσωσης Κλειστός τύπος [ (1 a k = 1 ) k+1 ( ) k+1 ] + 5 1 5, k 0. 5 2 2 Αναδροµική εξίσωση { ak = a k 1 + a k 2, k 2, αναδροµική σχέση ή εξίσωση διαφορών a 0 = 1, a 1 = 1 Ακολουθία a = (1, 1, 2, 3, 5, 8, 13,...) Γεννήτρια συνάρτηση συνοριακές συνθήκες Αντιστοιχία µε διαφορικές εξισώσεις df dx = f f = aex : κλειστός τύπος x df dx = bf f = axb : a, b = σταθερές. ΕΝ υπάρχει γενικός αλγόριθµος για όλες τις αναδροµικές σχέσεις. Θα µελετήσουµε µόνο γραµµικές αναδροµικές σχέσεις µε σταθερούς συντελεστές. Π.χ. a r + a r 1 = 3r 2 r. ΟΧΙ: a 2 r + a r 1 = 5, r a r + a r 1 = 5. A(z) = 1 1 z z 2 = 1 + z + 2z2 + 3z 3 + 5z 4 + 27/11/2008 28 / 55 27/11/2008 29 / 55 Γραµµική αναδροµική σχέση Ορισµός Μία γραµµική αναδροµική σχέση τάξης k µε σταθερούς συντελεστές είναι της µορφής: C 0 a r + C 1 a r 1 + + C k a r k = f(r), όπου C i R σταθερές, i = 0,...,k, και C 0 C k 0. Θεώρηµα Για κάθε γραµµική αναδροµική σχέση τάξης k µε σταθερούς συντελεστές, k συνεχόµενες τιµές της ακολουθίας a i είναι αναγκαίες και επαρκείς ώστε να υπάρχει µοναδική πραγµατική λύση. ηλ. οι τιµές αυτές αποτελούν κατάλληλο σύνολο συνοριακών συνθηκών. 27/11/2008 30 / 55 Επάρκεια Λήµµα εδοµένων k συνεχόµενων τιµών a m k,..., a m 1! λύση a. C 0 a m = C 1 a m 1 C k a m k + f(m) C 0 0 = am = C 0 a m+1 = C 1 a m C k a m k+1 + f(m + 1) a m+1 =. C k a m k 1 = C 0 a m 1 C k 1 a m k + f(m 1) C k a m k 2 = C 0 a m 2 C k 1 a m k 1 + f(m 2) C k 0 am k 1 = a m k 2 =. 27/11/2008 31 / 55
Αναγκαιότητα k Λήµµα k τιµές είναι αναγκαίες. Αντιπαράδειγµα: k = 2. a r + a r 1 + a r 2 = 4, a 0 = 2 : Γενικά, έστω a 0 = t: t, 0, 4 t, t, 0, 4 t, t, 0,... t, 4 t, 0, t, 4 t, 0, t, 4 t,... t, t + 1, 3 2t, t, t + 1, 3 2t, t, t + 1... 2, 0, 2, 2, 0, 2, 2, 0,... 2, 2, 0, 2, 2, 0, 2, 2,... 2, 5, 3, 2, 5, 3,... δεκτές λύσεις Αν δίνονται περισσότερες από k τιµές: ίσως δεν υπάρχει λύση, π.χ. δεκτές λύσεις Αναγκαιότητα συνέχειας Λήµµα k συνεχόµενες τιµές είναι αναγκαίες. k µη συνεχόµενες: αδύνατο, µοναδική λύση ή άπειρες λύσεις. [Liu, Ασκηση 10.8] a r a r 1 + a r 2 = 0 (!) a 0 = 1, a 2 = 0 : 1, 1, 0, 1, 1, 0, 1, 1, 0, 1, 1, 0... ( ) a 0 = 0, a 3 = 0 : 0, x, x, 0, x, x, 0, x, x, 0, x, x, 0... ( ) a 0 = 0, a 3 = 2 : 0, x, x, 2 (άτοπο) a r + a r 1 + a r 2 = 4, a 0 = 2 = a 1 = a 2. 27/11/2008 32 / 55 27/11/2008 33 / 55 Μη γραµµικές σχέσεις µε σταθερούς συντελεστές Λήµµα Για µη γραµµικές σχέσεις, k συνεχόµενες τιµές δεν ορίζουν πάντα µοναδική λύση (στο R). Αντιπαράδειγµα: a 2 r + a r 1 = 5, a 0 = 1. Λύσεις: 1, 2, ± 3, 5 3,... και 1, 2, ± 7,... Λήµµα Για µη γραµµικές σχέσεις, k συνεχόµενες τιµές δεν ορίζουν πάντα λύση στο R. Αντιπαράδειγµα: 5ar 2 + 3a r 1 = 1, a 0 = 1. 2 Λύση: 1, ±i,... 5 a 1 R Γραµµικές σχέσεις τάξης k, µε σταθερούς συντελεστές C 0 a r + C 1 a r 1 + + C k a r k = f(r). Θα δώσουµε αλγόριθµο για πολλές περιπτώσεις της f(r). Λήµµα Αρκεί να ϐρεθεί µία λύση µοναδική (λόγω ϑεωρήµατος). Η Ολική λύση ϑα είναι το άθροισµα h + p της Οµογενούς λύσης και της Ειδικής λύσης τ.ώ.: C 0 [h r + p r ] + + C k [h r k + p r k ] = f(r). Οµογενής λύση (homogeneous): h : C 0 h r + + C k h r k = 0. Ειδική λύση (particular): p : C 0 p r + + C k p r k = f(r). Οι σταθεροί συντελεστές της Οµογενούς επιλέγονται τ.ώ. η Ολική λύση να ικανοποιεί τις συνοριακές συνθήκες. 27/11/2008 34 / 55 27/11/2008 35 / 55
Οµογενής λύση Πολλαπλότητα Ορισµός Εστω η οµογενής εξίσωση διαφορών C 0 h r + + C k h r k = 0. Το χαρακτηριστικό της πολυώνυµο είναι φ(x) = C 0 x k + + C k 1 x + C k. Το φ(x) έχει k χαρακτηριστικές ϱίζες στο C, µετρώντας πολλαπλότητες (Θεµελιώδες ϑεώρηµα). Ορισµός Κάθε ρ C είναι ϱίζα της φ(x) µε πολλαπλότητα m ανν φ(x) = (x ρ) m φ 1 (x) : φ 1 (ρ) 0. Αν m = 1 η ϱίζα λέγεται απλή, αλλιώς (m > 1) λέγεται πολλαπλή. Εµείς ϑα ασχοληθούµε µόνο µε πραγµατικές ϱίζες ρ. φ(x) = x 2 2x + 1 = (x 1) 2. ρ ϱίζα πολλαπλότητας m φ (i) (ρ) = 0, i < m. 27/11/2008 36 / 55 27/11/2008 37 / 55 k απλές πραγµατικές ϱίζες Παράδειγµα Fibonacci Αν η φ(x) = 0 έχει k απλές, άρα διαφορετικές, πραγµατικές (χαρακτηριστικές) ϱίζες ρ 1... ρ k R, τότε η Οµογενής λύση είναι h r = B 1 ρ r 1 + + B kρ r k µε σταθερές B 1,...,B k 0 που ϑα οριστούν από τις συνοριακές συνθήκες. Εξίσωση διαφορών: a r a r 1 a r 2 = 0. Για κάθε ϱίζα ρ i ισχύει πως C 0 B i ρ r i + + C k B i ρ r k i = 0, για κάποια σταθερά B i 0. Αρα η Οµογενής λύση «περιέχει» τον όρο B i ρ r i. Γενικότερα, ισχύει C 0 (B 1 ρ r 1 + + B kρ r k ) + + C k(b 1 ρ r k 1 + B k ρ r k k ) = 0 Χαρακτηριστικό πολυώνυµο φ(x) = x 2 x 1 = 0 ρ i = 1± 1+4 ( ) r ( ) r. Οµογενής λύση h r = B 1 + B2 1+ 5 2 1 5 2 2. Οι σταθερές B 1, B 2 υπολογίζονται µε ϐάση τις δύο συνοριακές συνθήκες a 0 = a 1 = 1 και η πρόταση αποδεικνύεται. 27/11/2008 38 / 55 27/11/2008 39 / 55
Πραγµατική ϱίζα πολλαπλότητας m, 1 m k Αν φ(x) = (x ρ) m τότε, για σταθερές B i 0, η Οµογενής λύση είναι Πόρισµα (Γενικό) h r = B 1 r m 1 ρ r + B 2 r m 2 ρ r + + B m ρ r. Αν η ρ R είναι χαρακτηριστική ϱίζα πολλαπλότητας m 1, τότε το παρακάτω άθροισµα προστίθεται στην Οµογενή λύση, για σταθερές B i 0: Απόδειξη ς. B 1 r m 1 ρ r + B 2 r m 2 ρ r + + B m ρ r. Αρκεί να δείξουµε πως, για κάθε j = 1,... m, η B j r m j ρ r προστίθεται στην Οµογενή λύση, δηλ.: C 0 B j r m j ρ r + C 1 B j (r 1) m j ρ r 1 + + C k B j (r k) m j ρ r k = 0. Η r m i ρ r προστίθεται στην Οµογενή λύση (συνοπτικά) Λήµµα (i = m) Η ρ r προστίθεται στην Οµογενή λύση (όπως για την απλή ϱίζα). Λήµµα (i = m 1) Η r ρ r προστίθεται στην Οµογενή λύση. Η ρ είναι διπλή ϱίζα του F 0 (x) = φ(x) x r k άρα της παραγώγου του F 0 (x) = C 0 rx r 1 + C 1 (r 1)x r 2 + + C k (r k)x r k 1 = 0. Συνεπώς είναι ϱίζα του F 1 (x) = F 0 (x) x, δηλ.: C 0 r ρ r + C 1 (r 1)ρ r 1 + + C k (r k)ρ r k = 0. Λήµµα (i < m 1) Η r m i ρ r προστίθεται στην Οµογενή λύση (παρόµοια απόδειξη). 27/11/2008 40 / 55 27/11/2008 41 / 55 Η r m i ρ r προστίθεται στην Οµογενή λύση (αναλυτικά) Παράδειγµα [Liu 10.3] Ορισµός Εστω F 0 = φ x r k, F 1 = F 0 x = C 0rx r + + C k (r k)x r k. Γενικά F i = C 0 r i x r + + C k (r k) i x r k, F i+1 = F i x = C 0 r i+1 x r + + C k (r k) i+1 x r k. ίδεται 4a r 20a r 1 + 17a r 2 4a r 3 = 0. Λήµµα Εστω ρ ϱίζα της F i, πολλαπλότητας m i 2 η ρ είναι ϱίζα της F i+1, πολλαπλότητας m i 1. F i = (x ρ) m i G F i = (m i)(x ρ) m i 1 G + (x ρ) m i G F i x = (x ρ) m i 1 x [(m i)g + (x ρ)g ]. Πόρισµα Η h r = r m i ρ r είναι Οµογενής λύση για 1 i m. φ(x) = 4x 3 20x 2 + 17x 4 = 4x 2 (x 4) 4x(x 4) + (x 4) = (x 4)(2x 1) 2 ( ) r ( ) r 1 1 Άρα, h r = B 1 r + B 2 + B 3 4 r, 2 2 για κάποιες σταθερές B 1, B 2, B 3. 27/11/2008 42 / 55 27/11/2008 43 / 55
Ειδική λύση f(r) = πολυώνυµο(r) : φ(1) 0 Αν f(r) = F 1 r t + + F t r + F t+1, t 1, η Ειδική λύση είναι P 1 r t + + P t r + P t+1 και οι σταθερές P i υπολογίζονται µε αντικατάσταση. Υπολογισµός Ειδικής λύσης Θα εξετάσουµε ορισµένες περιπτώσεις όπου υπάρχει αλγόριθµος. ΕΝ υπάρχει γενικός αλγόριθµος. ίδεται: a r + 5a r 1 + 6a r 2 = 3r 2. Ειδική λύση: p r = P 1 r 2 + P 2 r + P 3. Αντικατάσταση: 3r 2 = (P 1 r 2 + P 2 r + P 3 )+5[P 1 (r 1) 2 + P 2 (r 1)+P 3 ]+6[P 1 (r 2) 2 + P 2 (r 2)+P 3 ] 12P 1 r 2 + r(12p 2 34P 1 ) + (12P 3 + 29P 1 17P 2 ) = 3r 2 12P 1 = 3 12P 2 34P 1 = 0 12P 3 + 29P 1 17P 2 = 0 P 1 = 1/4 P 2 = 17/24 P 3 = 115/288 27/11/2008 44 / 55 27/11/2008 45 / 55 f(r) = πολυώνυµο(r) β r : φ(β) 0 Αν f(r) = β r : φ(β) 0, τότε η Ειδική λύση είναι Pβ r, P =σταθερά. Γενικότερα, αν f(r) = (F 1 r t + + F t r + F t+1 )β r : φ(β) 0, τότε η Ειδική λύση είναι (P 1 r t + + P t r + P t+1 )β r, P i σταθερές. ίδεται: a r + a r 1 = 3r 2 r : φ(2) = 2 r + 2 r 1 0. Ειδική λύση: p r = (P 1 r + P 2 )2 r. Αντικατάσταση: (P 1 r + P 2 )2 r + (P 1 (r 1) + P 2 )2 r 1 = 3r 2 r { 2(P 1 r + P 2 ) + [P 1 (r 1) + P } 2 ] = 3r { 2 } 2P 1 + P 1 = 6 (r) P1 = 2 2P 2 P 1 + P2 = 0 (1) P 2 = 2/3 f(r) = πολυώνυµο(r) β r : φ(β) = 0 Αν f(r) = (F 1 r t +... + F t r + F t+1 )β r : φ(β) = 0, µε πολλαπλότητα µ, τοτε η Ειδική λύση είναι, για κάποιες σταθερές P i, r µ ( P 1 r t + + P t r + P t+1 ) β r. Οι περιπτώσεις πολυωνύµων f(r), µε φ(1) = 0, ανάγονται στην περίπτωση της εκθετικής µε β = 1. ίδεται: a r = a r 1 + 7 a r a r 1 = 7 1 r. φ = x 1 φ(1) = 0, µ = 1. Ειδική λύση: p r = r 1 (P) 1 r = rp, Αντικατάσταση: rp (r 1)P = 7 P = 7. Προσοχή: Αν αγνοήσω το β r, δηλ. ϑεωρήσω f(r) = 7 = F 1 (πολυώνυµο), τότε p r = P P = P + 7 (Λάθος). 27/11/2008 46 / 55 27/11/2008 47 / 55
Παράδειγµα [Liu,10.10] f(r) = πολυώνυµο + εκθετική ίδεται a r 2a r 1 + a r 2 = 7 1 r. β = 1 και φ = x 2 2x + 1 = (x 1) 2 φ(β) = 0 µε πολλαπλότητα µ = 2. Ειδική λύση: p r = r 2 P 1 r. Αντικατάσταση r 2 P 2(r 1) 2 P + (r 2) 2 P = 7 r 2 : P 2P + P = 0 r : 4P 4P = 0 P = 7 2. 1 : 2P + 4P = 7 Αν f(r) = πολυώνυµο + εκθετική, τότε η Ειδική λύση είναι άθροισµα των δύο Ειδικών λύσεων. ίδεται: a r 5a r 1 + 6a r 2 = 2 r + r. φ(x) = x 2 5x + 6 = (x 2)(x 3), ϱίζα = 2, µε πολλαπλότητα µ = 1. Ειδική λύση: p r = rp 1 2 r + (P 2 r + P 3 ). Αντικατάσταση: (rp 1 2 r + P 2 r + P 3 ) 5[(r 1)P 1 2 r 1 + P 2 (r 1) + P 3 ]+ +6[(r 2)P 1 2 r 2 + P 2 (r 2) + P 3 ] = 2 r + r 2 r 2 [4rP 1 10(r 1)P 1 + 6(r 2)P 1 ] = 2 r P 1 = 2 r[p 2 5P 2 + 6P 2 ] = r P 2 = 1/2 P 3 + 5P 2 5P 3 12P 2 + 6P 3 = 0 P 3 = 7/4 27/11/2008 48 / 55 27/11/2008 49 / 55 Ειδικές λύσεις: αθροισµα Ολικές λύσεις Οι περιπτώσεις που εξετάσαµε γενικεύονται στην εξης περίπτωση: f(r) = πολυώνυµο(r) β r + πολυώνυµο (r) γ r, όπου µπορεί τα πολυώνυµα να είναι σταθερά (και ίσα µε τη µονάδα ή το µηδέν) και τα β,γ R δύναται να είναι µονάδες. Ολική λύση = Οµογενής λύση + Ειδική λύση. Προσδιορισµός συντελεστών οµογενούς λύσεως µέσω k συνεχόµενων συνοριακών συνθηκών. Ο προσδιορισµός ανάγεται σε k k γραµµικό σύστηµα το οποίο (αποδεικνύεται πως) έχει µοναδική λύση. Ελέγχουµε αν τα β,γ είναι χαρακτηριστικές ϱίζες. Υπολογίζουµε δύο κατάλληλες ειδικές λύσεις και τις προσθέτουµε. 27/11/2008 50 / 55 27/11/2008 51 / 55
Ολικές λύσεις Ολικές λύσεις a r = B 1 a r 1 + B 2 a r 2 + + B k a r k + p(r) }{{}}{{} οµογενής ειδική k γραµµικές εξισώσεις µε αγνώστους B 1,..., B k a r0 = B 1 a r0 1 + B 2a r0 2 + + B ka r0 k + p(r 0) a r0+1 = B 1 a r0+1 1 + B 2 a r0+1 2 + + B k a r0+1 k + p(r 0 + 1). a r0+k 1 = B 1 a r0+k 1 1 + B 2 a r0+k 1 2 + + B k a r0+k 1 k + p(r 0 + k 1) Λύνοντας το προηγούµενο σύστηµα προσδιορίζουµε τους σταθερούς συντελεστές B 1,, B k. Καταλήξαµε σε µία Ολική λύση a r η οποία ικανοποιεί τις αρχικές συνθήκες. Από προηγούµενο Θεώρηµα, αυτή η λύση είναι µοναδική. 27/11/2008 52 / 55 27/11/2008 53 / 55 Παράδειγµα Fibonacci a r + 5a r 1 + 6a r 2 = 42 4 r a 2 = 278, a 3 = 962 Ολική λύση a r = B 1 ( 2) r + B 2 ( 3) r + 16 4 r { } { } 278 = 4B1 + 9B 2 + 256 B1 = 1 = = 962 = 8B 1 27B 2 + 1024 B 2 = 2 a r = ( 2) r + 2( 3) r + 16 4 r a r a r 1 a r 2 = 0, a 0 = a 1 = 1 Οµογενής: h r = B 1 ( 1+ 5 2 ) r + B 2 ( 1 5 2 ) r Ειδική λύση: p r = P : P P P = 0 P = 0, όπου φ(1) 0. Ολική λύση: = h r + 0 : 1 = a 0 = B 1 + B 2 1+ 5 1 5 1 = a 1 = B 1 + B 2 2 2 Αρα } = B 1 = 1+ 5 2 5 B 2 = 5 1 2 5 [ (1 a r = 1 ) r+1 ( ) r+1 ] + 5 1 5, r 0 5 2 2 } 27/11/2008 54 / 55 27/11/2008 55 / 55