Μαθηµατικά για Πληροφορική

Μαθηµατικά για Πληροφορική 6ο Μάθηµα Ηλίας Κουτσουπιάς, Γιάννης Εµίρης Τµήµα Πληροφορικής και Τηλεπικοινωνιών Πανεπιστήµιο Αθηνών 27/11/2008 27/11/2008 1 / 55

Γενικό πλάνο 1 Ανάλυση αλγορίθµων 2 Συµβολισµοί O, Ω και Θ 3 Αναδροµικές εξισώσεις 27/11/2008 2 / 55

Είδη αλγορίθµων Αλγόριθµοι µε αρχή και τέλος, µε είσοδο και έξοδο 27/11/2008 3 / 55

Είδη αλγορίθµων Αλγόριθµοι µε αρχή και τέλος, µε είσοδο και έξοδο Ατέρµονες αλγόριθµοι (λειτουργικά συστήµατα, δοµές δεδοµένων, πρωτόκολλα ιαδικτύου). 27/11/2008 3 / 55

Είδη αλγορίθµων Αλγόριθµοι µε αρχή και τέλος, µε είσοδο και έξοδο Ατέρµονες αλγόριθµοι (λειτουργικά συστήµατα, δοµές δεδοµένων, πρωτόκολλα ιαδικτύου). Παράλληλοι, κατανεµηµένοι κλπ Εδώ ϑα µελετήσουµε µόνο το πρώτο είδος και ειδικά τον χρόνο εκτέλεσης των αλγορίθµων. 27/11/2008 3 / 55

Υποθέσεις και συµβάσεις Ο χρόνος εκτέλεσης ενός αλγορίθµου (προγράµµατος) εξαρτάται από 27/11/2008 4 / 55

Υποθέσεις και συµβάσεις Ο χρόνος εκτέλεσης ενός αλγορίθµου (προγράµµατος) εξαρτάται από την είσοδο (το πλήθος και είδος των δεδοµένων) 27/11/2008 4 / 55

Υποθέσεις και συµβάσεις Ο χρόνος εκτέλεσης ενός αλγορίθµου (προγράµµατος) εξαρτάται από την είσοδο (το πλήθος και είδος των δεδοµένων) την γλώσσα προγραµµατισµού 27/11/2008 4 / 55

Υποθέσεις και συµβάσεις Ο χρόνος εκτέλεσης ενός αλγορίθµου (προγράµµατος) εξαρτάται από την είσοδο (το πλήθος και είδος των δεδοµένων) την γλώσσα προγραµµατισµού τον επεξεργαστή 27/11/2008 4 / 55

Υποθέσεις και συµβάσεις Ο χρόνος εκτέλεσης ενός αλγορίθµου (προγράµµατος) εξαρτάται από την είσοδο (το πλήθος και είδος των δεδοµένων) την γλώσσα προγραµµατισµού τον επεξεργαστή το υπολογιστικό περιβάλλον 27/11/2008 4 / 55

Υποθέσεις και συµβάσεις Ο χρόνος εκτέλεσης ενός αλγορίθµου (προγράµµατος) εξαρτάται από την είσοδο (το πλήθος και είδος των δεδοµένων) την γλώσσα προγραµµατισµού τον επεξεργαστή το υπολογιστικό περιβάλλον... 27/11/2008 4 / 55

Υποθέσεις και συµβάσεις Ο χρόνος εκτέλεσης ενός αλγορίθµου (προγράµµατος) εξαρτάται από την είσοδο (το πλήθος και είδος των δεδοµένων) την γλώσσα προγραµµατισµού τον επεξεργαστή το υπολογιστικό περιβάλλον... Για µια καλή ϑεωρία ανάλυσης αλγορίθµων πρέπει 27/11/2008 4 / 55

Υποθέσεις και συµβάσεις Ο χρόνος εκτέλεσης ενός αλγορίθµου (προγράµµατος) εξαρτάται από την είσοδο (το πλήθος και είδος των δεδοµένων) την γλώσσα προγραµµατισµού τον επεξεργαστή το υπολογιστικό περιβάλλον... Για µια καλή ϑεωρία ανάλυσης αλγορίθµων πρέπει να ξεκαθαρίσουµε ποια χαρακτηριστικά της εισόδου επηρεάζουν τον χρόνο του αλγορίθµου 27/11/2008 4 / 55

Υποθέσεις και συµβάσεις Ο χρόνος εκτέλεσης ενός αλγορίθµου (προγράµµατος) εξαρτάται από την είσοδο (το πλήθος και είδος των δεδοµένων) την γλώσσα προγραµµατισµού τον επεξεργαστή το υπολογιστικό περιβάλλον... Για µια καλή ϑεωρία ανάλυσης αλγορίθµων πρέπει να ξεκαθαρίσουµε ποια χαρακτηριστικά της εισόδου επηρεάζουν τον χρόνο του αλγορίθµου να εξαλείψουµε µε κάποιο τρόπο τους υπόλοιπους εξωγενείς παράγοντες 27/11/2008 4 / 55

Υποθέσεις και συµβάσεις Οι εξωγενείς παράγοντες επηρεάζουν κυρίως πολλαπλασιαστικά τον χρόνο εκτέλεσης. 27/11/2008 5 / 55

Υποθέσεις και συµβάσεις Οι εξωγενείς παράγοντες επηρεάζουν κυρίως πολλαπλασιαστικά τον χρόνο εκτέλεσης. Εκτέλεση σε υπολογιστή Χ: t 27/11/2008 5 / 55

Υποθέσεις και συµβάσεις Οι εξωγενείς παράγοντες επηρεάζουν κυρίως πολλαπλασιαστικά τον χρόνο εκτέλεσης. Εκτέλεση σε υπολογιστή Χ: t Εκτέλεση σε υπολογιστή Υ: αt 27/11/2008 5 / 55

Υποθέσεις και συµβάσεις Οι εξωγενείς παράγοντες επηρεάζουν κυρίως πολλαπλασιαστικά τον χρόνο εκτέλεσης. Εκτέλεση σε υπολογιστή Χ: t Εκτέλεση σε υπολογιστή Υ: αt Από τα χαρακτηριστικά της εισόδου, κρατάµε µόνο το µήκος της εισόδου. 27/11/2008 5 / 55

Υποθέσεις και συµβάσεις Οι εξωγενείς παράγοντες επηρεάζουν κυρίως πολλαπλασιαστικά τον χρόνο εκτέλεσης. Εκτέλεση σε υπολογιστή Χ: t Εκτέλεση σε υπολογιστή Υ: αt Από τα χαρακτηριστικά της εισόδου, κρατάµε µόνο το µήκος της εισόδου. Βασική παραδοχή: Ο χρόνος είναι συνάρτηση T(n) του µήκους n της εισόδου. 27/11/2008 5 / 55

Υποθέσεις και συµβάσεις Οι εξωγενείς παράγοντες επηρεάζουν κυρίως πολλαπλασιαστικά τον χρόνο εκτέλεσης. Εκτέλεση σε υπολογιστή Χ: t Εκτέλεση σε υπολογιστή Υ: αt Από τα χαρακτηριστικά της εισόδου, κρατάµε µόνο το µήκος της εισόδου. Βασική παραδοχή: Ο χρόνος είναι συνάρτηση T(n) του µήκους n της εισόδου. Ποιας εισόδου όµως αφού υπάρχουν 2 n είσοδοι µήκους n; 27/11/2008 5 / 55

Υποθέσεις και συµβάσεις Οι εξωγενείς παράγοντες επηρεάζουν κυρίως πολλαπλασιαστικά τον χρόνο εκτέλεσης. Εκτέλεση σε υπολογιστή Χ: t Εκτέλεση σε υπολογιστή Υ: αt Από τα χαρακτηριστικά της εισόδου, κρατάµε µόνο το µήκος της εισόδου. Βασική παραδοχή: Ο χρόνος είναι συνάρτηση T(n) του µήκους n της εισόδου. Ποιας εισόδου όµως αφού υπάρχουν 2 n είσοδοι µήκους n; Ανάλυση χειρότερης περίπτωσης (worst-case): T(n) είναι ο µεγαλύτερος µεταξύ των χρόνων των εισόδων µήκους n. 27/11/2008 5 / 55

Μήκος εισόδου ΠΑΡΑ ΕΙΓΜΑ Είσοδος µια συµβολοσειρά του αλφαβήτου {0, 1} : Μήκος της (δυαδικής) εισόδου είναι ο αριθµός των συµβόλων της εισόδου. 27/11/2008 6 / 55

Μήκος εισόδου ΠΑΡΑ ΕΙΓΜΑ Είσοδος µια συµβολοσειρά του αλφαβήτου {0, 1} : Μήκος της (δυαδικής) εισόδου είναι ο αριθµός των συµβόλων της εισόδου. Είσοδος µια συµβολοσειρά του αλφαβήτου {0, 1,..., 9} : Μήκος (δυαδικής) εισόδου = 4 τον αριθµό των συµβόλων της εισόδου. 27/11/2008 6 / 55

Μήκος εισόδου ΠΑΡΑ ΕΙΓΜΑ Είσοδος µια συµβολοσειρά του αλφαβήτου {0, 1} : Μήκος της (δυαδικής) εισόδου είναι ο αριθµός των συµβόλων της εισόδου. Είσοδος µια συµβολοσειρά του αλφαβήτου {0, 1,..., 9} : Μήκος (δυαδικής) εισόδου = 4 τον αριθµό των συµβόλων της εισόδου. Είσοδος ένας ϕυσικός αριθµός a : Μήκος log a log a. 27/11/2008 6 / 55

Μήκος εισόδου ΠΑΡΑ ΕΙΓΜΑ Είσοδος µια συµβολοσειρά του αλφαβήτου {0, 1} : Μήκος της (δυαδικής) εισόδου είναι ο αριθµός των συµβόλων της εισόδου. Είσοδος µια συµβολοσειρά του αλφαβήτου {0, 1,..., 9} : Μήκος (δυαδικής) εισόδου = 4 τον αριθµό των συµβόλων της εισόδου. Είσοδος ένας ϕυσικός αριθµός a : Μήκος log a log a. Είσοδος είναι µια ακολουθία a 1, a 2,..., a k ϕυσικών αριθµών: Μήκος περίπου log a 1 + log a 2 + + log a k, αλλά πρέπει να λάβουµε υπόψη και τα κόµµατα. 27/11/2008 6 / 55

Μήκος εισόδου ΠΑΡΑ ΕΙΓΜΑ Είσοδος µια συµβολοσειρά του αλφαβήτου {0, 1} : Μήκος της (δυαδικής) εισόδου είναι ο αριθµός των συµβόλων της εισόδου. Είσοδος µια συµβολοσειρά του αλφαβήτου {0, 1,..., 9} : Μήκος (δυαδικής) εισόδου = 4 τον αριθµό των συµβόλων της εισόδου. Είσοδος ένας ϕυσικός αριθµός a : Μήκος log a log a. Είσοδος είναι µια ακολουθία a 1, a 2,..., a k ϕυσικών αριθµών: Μήκος περίπου log a 1 + log a 2 + + log a k, αλλά πρέπει να λάβουµε υπόψη και τα κόµµατα. Είναι ϕανερό ότι ο καθορισµός του µήκους µιας εισόδου παρουσιάζει επιπλοκές και δυσκολίες. 27/11/2008 6 / 55

Συµβολισµός O Ορισµός Εστω συναρτήσεις f, g : N R. Θα λέµε ότι f(n) = O(g(n)) αν υπάρχουν σταθερές c, n 0 > 0 τέτοιες ώστε f(n) c g(n), n n 0. ΠΑΡΑ ΕΙΓΜΑ (f(n) = 10n + 7, g(n) = n, 10n + 7 = O(n)) Αρκεί να ϐρούµε τις δυο σταθερές c και n 0 του ορισµού και να επιβεβαιώσουµε τη σχέση f(n) c g(n). n 0 = 1 c = 17. Για n n 0 = 1, έχουµε f(n) = 10n + 7 10n + 7n 17n = cn = cg(n). 27/11/2008 7 / 55

Συµβολισµός O Οταν f = O(g), λέµε πως η f είναι (τάξης) O(g(n)). Από τον ορισµό της, η τάξη δηλώνει µόνο άνω ϕράγµα, µπορεί να κρύβει µια σταθερά, κρύβει συµπεριφορά πεπερασµένου πλήθους όρων (για n < n 0 ). 27/11/2008 8 / 55

Συµβολισµός O Πρόταση Εστω p(n) ένα πολυώνυµο ϐαθµού k. Τότε p(n) = O(n k ). Απόδειξη. p(n) = c k n k + + c 1 n + c 0 ιαλέγουµε n 0 = 1 και c = c k + + c 1 + c 0 και έχουµε p(n) c k n k + + c 1 n + c 0 c k n k + + c 1 n + c 0 c k n k + + c 1 n + c 0 c k n k + + c 1 n k + c 0 n k = cn k. Γιατί δεν διαλέξαµε c = c k + + c 1 + c 0, χωρίς τις απόλυτες τιµές; 27/11/2008 9 / 55

Παράδειγµα: Παραγοντικό Πρόταση Για a > 0, a n = O(n!). Απόδειξη. Εστω a Z, ειδάλλως χρησιµοποίησε a. Θέτουµε c = a a, n 0 = a : n n 0 = a : ηλαδή, a n a a a n a a! a n c a a(a 1) 2 1 c n! }{{} n 27/11/2008 10 / 55

Τεχνικές Πώς αποδεικνύουµε ότι f(n) = O(g(n)); 27/11/2008 11 / 55

Τεχνικές Πώς αποδεικνύουµε ότι f(n) = O(g(n)); Βρίσκουµε κατάλληλα c και n 0. 27/11/2008 11 / 55

Τεχνικές Πώς αποδεικνύουµε ότι f(n) = O(g(n)); Βρίσκουµε κατάλληλα c και n 0. Για ϑετικές συναρτήσεις f(n) και g(n), δείχνουµε ότι το όριο f(n) lim n g(n) υπάρχει και είναι κάποια σταθερά (δεν είναι δηλαδή). 27/11/2008 11 / 55

Τεχνικές Πώς αποδεικνύουµε ότι f(n) = O(g(n)); Βρίσκουµε κατάλληλα c και n 0. Για ϑετικές συναρτήσεις f(n) και g(n), δείχνουµε ότι το όριο f(n) lim n g(n) υπάρχει και είναι κάποια σταθερά (δεν είναι δηλαδή). Πώς αποδεικνύουµε το αντίστροφο, δηλαδή ότι δεν ισχύει f(n) = O(g(n)); 27/11/2008 11 / 55

Τεχνικές Πώς αποδεικνύουµε ότι f(n) = O(g(n)); Βρίσκουµε κατάλληλα c και n 0. Για ϑετικές συναρτήσεις f(n) και g(n), δείχνουµε ότι το όριο f(n) lim n g(n) υπάρχει και είναι κάποια σταθερά (δεν είναι δηλαδή). Πώς αποδεικνύουµε το αντίστροφο, δηλαδή ότι δεν ισχύει f(n) = O(g(n)); είχνουµε µε απαγωγή σε άτοπο ότι δεν υπάρχουν κατάλληλα c και n 0. 27/11/2008 11 / 55

Τεχνικές Πώς αποδεικνύουµε ότι f(n) = O(g(n)); Βρίσκουµε κατάλληλα c και n 0. Για ϑετικές συναρτήσεις f(n) και g(n), δείχνουµε ότι το όριο f(n) lim n g(n) υπάρχει και είναι κάποια σταθερά (δεν είναι δηλαδή). Πώς αποδεικνύουµε το αντίστροφο, δηλαδή ότι δεν ισχύει f(n) = O(g(n)); είχνουµε µε απαγωγή σε άτοπο ότι δεν υπάρχουν κατάλληλα c και n 0. Για ϑετικές συναρτήσεις f(n) και g(n), δείχνουµε ότι το όριο υπάρχει και είναι. f(n) lim n g(n) 27/11/2008 11 / 55

Η τεχνική µε τα όρια Πρόταση f(n) Για ϑετικές συναρτήσεις f(n) και g(n), αν το όριο lim n g(n) υπάρχει και είναι κάποια σταθερά (δεν είναι δηλαδή), τότε f(n) = O(g(n)). Απόδειξη. f(n) Εστω a το όριο. Τι σηµαίνει ότι lim n g(n) = a? Οτι ǫ > 0, m ǫ τ.ώ. n m ǫ : f(n) a ǫ. g(n) Ας πάρουµε ǫ = a. Τότε για κάθε n m a : f(n) f(n) a a g(n) g(n) 2a. Αρκεί τώρα να πάρουµε n 0 = m a και c = 2a. 27/11/2008 12 / 55

Παράδειγµα Πρόταση Να δειχτεί ότι εν ισχύει n 2 = O(n). Απόδειξη. Με εις άτοπο απαγωγή: Εστω ότι υπήρχαν κατάλληλες σταθερές c και n 0. Ας ϑεωρήσουµε την τιµή n = max{n 0, c + 1}. Θα πρέπει να έχουµε n 2 cn. Ισοδύναµα n c, άτοπο. Εναλλακτική απόδειξη. Το υπάρχει και είναι. n 2 lim n n 27/11/2008 13 / 55

Παράδειγµα: λογάριθµοι Πρόταση Για ακεραίους a, b > 0 ισχύει πως (ln n) a = O(n b ). Απόδειξη. Χρησιµοποιούµε κανόνα L Hôpital: (ln n) a lim n n b = lim n a(ln n)a 1 n bn b 1 = lim n a(ln n) a 1 bn b = lim n a! b a n b = 0 27/11/2008 14 / 55

Σχέσεις του συµβολισµού O Πρόταση Αν f(n) = O(g(n)) και g(n) = O(h(n)) τοτε f(n) = O(h(n)) Πρόταση f 1 (n) + f 2 (n) = O(max{f 1 (n), f 2 (n)}) 27/11/2008 15 / 55

Ιεραρχία συναρτήσεων Υπερεκθετικές: 2 2n Εκθετικές: 2 n2 n n n! 3 n 2 n 2 Υποεκθετικές: n log n Πολυωνυµικές: n 2 n log n n Λογαριθµικές: log 2 n log n Υπολογαριθµικές: log log n Σταθερές 1 n n 27/11/2008 16 / 55

Συµβολισµός Ω Ορισµός Εστω f και g δυο συναρτήσεις από τους µη αρνητικούς ακέραιους στο σύνολο των πραγµατικών αριθµών. Θα λέµε ότι f(n) = Ω(g(n)) αν υπάρχουν ϑετικές σταθερές c και n 0 τέτοιες ώστε f(n) c g(n) για κάθε n n 0. Ισοδύναµα, f(n) = Ω(g(n)) αν και µόνο αν g(n) = O(f(n)). ΠΑΡΑ ΕΙΓΜΑ (f(n) = 10n 7, g(n) = n, 10n 7 = Ω(n)) Αρκεί να ϐρούµε τις δυο σταθερές c και n 0 του ορισµού και να επιβεβαιώσουµε τη σχέση f(n) c g(n). n 0 = 1 c = 3 f(n) = 10n 7 10n 7n 3n = cn = cg(n). 27/11/2008 17 / 55

Συµβολισµός Θ Ορισµός Εστω f και g δυο συναρτήσεις από τους µη αρνητικούς ακέραιους στο σύνολο των πραγµατικών αριθµών. Θα λέµε ότι f(n) = Θ(g(n)) αν f(n) = O(g(n)) και f(n) = Ω(g(n)). Πρόταση f(n) Αν το lim n g(n) υπάρχει και έχει τιµή λ τότε O(g(n)) αν λ = 0 f(n) = Θ(g(n)) αν 0 < λ < Ω(g(n)) αν λ = 27/11/2008 18 / 55

Συµβολισµός o Ορισµός Εστω f, g : N R. f(n) = o(g) σταθ.c > 0, σταθ.n 0 : 0 f(n) < c g(n), n n 0. ΠΑΡΑ ΕΙΓΜΑ Ισχύει 2n = o(n 2 ) αλλά n 2 /4 o(n 2 ). ΠΑΡΑ ΕΙΓΜΑ Οι συµβολισµοί O( ) και o( ) εκφράζουν άνω ϕράγµατα, αλλά µόνον ο o( ) εκφράζει αυστηρό άνω ϕράγµα. f = o(g) f = O(g). f(n) = o(g(n)) lim n f(n)/g(n) = 0. 27/11/2008 19 / 55

Βασικές αναδροµικές εξισώσεις Στην ανάλυση αλγορίθµων χρειάζεται συχνά να ϐρούµε τη λύση ανδροµικών εξισώσεων. Τυπικές αναδροµικές εξισώσεις είναι οι εξής: T(n) = T(n 1) + n 27/11/2008 20 / 55

Βασικές αναδροµικές εξισώσεις Στην ανάλυση αλγορίθµων χρειάζεται συχνά να ϐρούµε τη λύση ανδροµικών εξισώσεων. Τυπικές αναδροµικές εξισώσεις είναι οι εξής: T(n) = T(n 1) + n T(n) = 2T( n 2 ) + n 27/11/2008 20 / 55

Βασικές αναδροµικές εξισώσεις Στην ανάλυση αλγορίθµων χρειάζεται συχνά να ϐρούµε τη λύση ανδροµικών εξισώσεων. Τυπικές αναδροµικές εξισώσεις είναι οι εξής: T(n) = T(n 1) + n T(n) = 2T( n 2 ) + n T(n) = T(n 1) + T(n 2) 27/11/2008 20 / 55

Τεχνικές επίλυσης αναδροµικών Για να λύσουµε µια αναδροµική χρησιµοποιούµε τις εξής τεχνικές: Μαντεύουµε την γενική λύση και την επιβεβαιώνουµε στα δεδοµένα. 27/11/2008 21 / 55

Τεχνικές επίλυσης αναδροµικών Για να λύσουµε µια αναδροµική χρησιµοποιούµε τις εξής τεχνικές: Μαντεύουµε την γενική λύση και την επιβεβαιώνουµε στα δεδοµένα. Την «ξεδιπλώνουµε», την γενικεύουµε και την επιβεβαιώνουµε µε χρήση επαγωγής. 27/11/2008 21 / 55

Τεχνικές επίλυσης αναδροµικών Για να λύσουµε µια αναδροµική χρησιµοποιούµε τις εξής τεχνικές: Μαντεύουµε την γενική λύση και την επιβεβαιώνουµε στα δεδοµένα. Την «ξεδιπλώνουµε», την γενικεύουµε και την επιβεβαιώνουµε µε χρήση επαγωγής. Αν αποτελεί περίπτωση γνωστής οικογένειας αναδροµικών εξισώσεων, χρησιµοποιούµε την γενικότερη λύση. 27/11/2008 21 / 55

Ξεδίπλωµα Ποια η λύση της αναδροµικής εξίσωσης T(n) = T(n 1) + n, µε T(1) = 1; 27/11/2008 22 / 55

Ξεδίπλωµα Ποια η λύση της αναδροµικής εξίσωσης T(n) = T(n 1) + n, µε T(1) = 1; T(n) = T(n 1) + n = T(n 2) + (n 1) + n = T(n 3) + (n 2) + (n 1) + n 27/11/2008 22 / 55

Ξεδίπλωµα Ποια η λύση της αναδροµικής εξίσωσης T(n) = T(n 1) + n, µε T(1) = 1; T(n) = T(n 1) + n = T(n 2) + (n 1) + n = T(n 3) + (n 2) + (n 1) + n Μαντεύουµε τη γενίκευση T(n) = T(n k) + (n k + 1) + + n, για κάθε k N. 27/11/2008 22 / 55

Ξεδίπλωµα Ποια η λύση της αναδροµικής εξίσωσης T(n) = T(n 1) + n, µε T(1) = 1; T(n) = T(n 1) + n = T(n 2) + (n 1) + n = T(n 3) + (n 2) + (n 1) + n Μαντεύουµε τη γενίκευση T(n) = T(n k) + (n k + 1) + + n, για κάθε k N. Αυτό το αποδεικνύουµε µε επαγωγή στο k. 27/11/2008 22 / 55

Ξεδίπλωµα Ποια η λύση της αναδροµικής εξίσωσης T(n) = T(n 1) + n, µε T(1) = 1; T(n) = T(n 1) + n = T(n 2) + (n 1) + n = T(n 3) + (n 2) + (n 1) + n Μαντεύουµε τη γενίκευση T(n) = T(n k) + (n k + 1) + + n, για κάθε k N. Αυτό το αποδεικνύουµε µε επαγωγή στο k. Και τώρα για k = n 1, έχουµε T(n) = T(1) + 2 + + n = 1 + 2 + + n = n(n + 1)/2. 27/11/2008 22 / 55

Ξεδίπλωµα Ποια η λύση της αναδροµικής εξίσωσης T(n) = 3T(n 1) 2T(n 2), µε T(1) = 1 και T(2) = 2; 27/11/2008 23 / 55

Ξεδίπλωµα Ποια η λύση της αναδροµικής εξίσωσης T(n) = 3T(n 1) 2T(n 2), µε T(1) = 1 και T(2) = 2; T(n) = 3T(n 1) 2T(n 2) = 7T(n 2) 6T(n 3) = 15T(n 3) 14T(n 4) 27/11/2008 23 / 55

Ξεδίπλωµα Ποια η λύση της αναδροµικής εξίσωσης T(n) = 3T(n 1) 2T(n 2), µε T(1) = 1 και T(2) = 2; T(n) = 3T(n 1) 2T(n 2) = 7T(n 2) 6T(n 3) = 15T(n 3) 14T(n 4) Μαντεύουµε τη γενίκευση T(n) = (2 k 1)T(n k + 1) (2 k 2)T(n k), για κάθε k 2. 27/11/2008 23 / 55

Ξεδίπλωµα Ποια η λύση της αναδροµικής εξίσωσης T(n) = 3T(n 1) 2T(n 2), µε T(1) = 1 και T(2) = 2; T(n) = 3T(n 1) 2T(n 2) = 7T(n 2) 6T(n 3) = 15T(n 3) 14T(n 4) Μαντεύουµε τη γενίκευση T(n) = (2 k 1)T(n k + 1) (2 k 2)T(n k), για κάθε k 2. Αυτό το αποδεικνύουµε µε επαγωγή στο k. 27/11/2008 23 / 55

Ξεδίπλωµα Ποια η λύση της αναδροµικής εξίσωσης T(n) = 3T(n 1) 2T(n 2), µε T(1) = 1 και T(2) = 2; T(n) = 3T(n 1) 2T(n 2) = 7T(n 2) 6T(n 3) = 15T(n 3) 14T(n 4) Μαντεύουµε τη γενίκευση T(n) = (2 k 1)T(n k + 1) (2 k 2)T(n k), για κάθε k 2. Αυτό το αποδεικνύουµε µε επαγωγή στο k. Και τώρα για k = n 1, έχουµε T(n) = (2 n 1 1)T(2) (2 n 1 2)T(1) = 2 n 1. 27/11/2008 23 / 55

Master theorem Θεώρηµα (Βασικό ϑεώρηµα αναδροµικών συναρτήσεων) Τότε η T(n) ισούται µε: T(n) = at( n ) + f(n), a 1, b > 1. b 1 Θ(n log b a ), αν f(n) = o(n log b a ), 2 Θ(n log b a log k+1 n), αν k 0 : f(n) = Θ(n log b a log k n), 3 Θ(f(n)), αν f(n) = ω(n log b a ), και c < 1 : af( n ) cf(n), n 1. b 27/11/2008 24 / 55

Master theorem: Παραδείγµατα ΠΑΡΑ ΕΙΓΜΑ T(n) = 8T(n/2) + 1000n 2. Θέτω a = 8, b = 2, log b a = 3 στην περίπτωση (1), άρα T(n) = Θ(n 3 ). ΠΑΡΑ ΕΙΓΜΑ T(n) = 2T(n/2) + 10n. Θέτω a = 2 = b, k = 0 στην περίπτωση (2), άρα T(n) = Θ(n log n). ΠΑΡΑ ΕΙΓΜΑ T(n) = 2T(n/2) + n 2. Θέτω a = 2 = b,ǫ = 1 στην περίπτωση (3), άρα T(n) = Θ(n 2 ). 27/11/2008 25 / 55

Master theorem: Αντιπαραδείγµατα ΠΑΡΑ ΕΙΓΜΑ T(n) = 2 n T(n/2) + n n ΕΝ Λύνεται µε το Θεώρηµα διότι το a δεν είναι σταθερά. ΠΑΡΑ ΕΙΓΜΑ T(n) = 2T(n/2) + n/ log n. ΕΝ Λύνεται µε το Θεώρηµα διότι δεν σχετίζονται πολυωνυµικά τα f(n) και n log b a. 27/11/2008 26 / 55

Αριθµητικές συναρτήσεις Ορισµός Κάθε συναρτηση f : N R λέγεται αριθµητική. Οι αριθµητικές συναρτήσεις ορίζονται µε 4 τρόπους: κλειστός τύπος: a k = 3 k, k 0. αναδροµική σχέση: ακολουθία (1, 3, 9, 27,...). a k = 3a k 1, k 1, a 0 = 1. Γεννήτρια συνάρτηση: A(z) = 1 1 3z = 1 + 3z + 9z2 + 27z 3 + 27/11/2008 27 / 55

Παράδειγµα: Fibonacci ΠΑΡΑ ΕΙΓΜΑ Κλειστός τύπος [ (1 a k = 1 ) k+1 ( ) k+1 ] + 5 1 5, k 0. 5 2 2 Αναδροµική εξίσωση { ak = a k 1 + a k 2, k 2, αναδροµική σχέση ή εξίσωση διαφορών a 0 = 1, a 1 = 1 συνοριακές συνθήκες Ακολουθία a = (1, 1, 2, 3, 5, 8, 13,...) Γεννήτρια συνάρτηση A(z) = 1 1 z z 2 = 1 + z + 2z2 + 3z 3 + 5z 4 + 27/11/2008 28 / 55

Επίλυση αναδροµικής εξίσωσης Αντιστοιχία µε διαφορικές εξισώσεις df dx = f f = aex : κλειστός τύπος x df dx = bf f = axb : a, b = σταθερές. ΕΝ υπάρχει γενικός αλγόριθµος για όλες τις αναδροµικές σχέσεις. Θα µελετήσουµε µόνο γραµµικές αναδροµικές σχέσεις µε σταθερούς συντελεστές. Π.χ. a r + a r 1 = 3r 2 r. ΟΧΙ: a 2 r + a r 1 = 5, r a r + a r 1 = 5. 27/11/2008 29 / 55

Γραµµική αναδροµική σχέση Ορισµός Μία γραµµική αναδροµική σχέση τάξης k µε σταθερούς συντελεστές είναι της µορφής: C 0 a r + C 1 a r 1 + + C k a r k = f(r), όπου C i R σταθερές, i = 0,...,k, και C 0 C k 0. Θεώρηµα Για κάθε γραµµική αναδροµική σχέση τάξης k µε σταθερούς συντελεστές, k συνεχόµενες τιµές της ακολουθίας a i είναι αναγκαίες και επαρκείς ώστε να υπάρχει µοναδική πραγµατική λύση. ηλ. οι τιµές αυτές αποτελούν κατάλληλο σύνολο συνοριακών συνθηκών. 27/11/2008 30 / 55

Επάρκεια Λήµµα εδοµένων k συνεχόµενων τιµών a m k,..., a m 1! λύση a. Απόδειξη. C 0 a m = C 1 a m 1 C k a m k + f(m) C 0 0 = am = C 0 a m+1 = C 1 a m C k a m k+1 + f(m + 1) a m+1 =. C k a m k 1 = C 0 a m 1 C k 1 a m k + f(m 1) C k a m k 2 = C 0 a m 2 C k 1 a m k 1 + f(m 2) C k 0 am k 1 = a m k 2 =. 27/11/2008 31 / 55

Αναγκαιότητα k Λήµµα k τιµές είναι αναγκαίες. Απόδειξη. Αντιπαράδειγµα: k = 2. a r + a r 1 + a r 2 = 4, a 0 = 2 : Γενικά, έστω a 0 = t: t, 0, 4 t, t, 0, 4 t, t, 0,... t, 4 t, 0, t, 4 t, 0, t, 4 t,... t, t + 1, 3 2t, t, t + 1, 3 2t, t, t + 1... 2, 0, 2, 2, 0, 2, 2, 0,... 2, 2, 0, 2, 2, 0, 2, 2,... 2, 5, 3, 2, 5, 3,... δεκτές λύσεις Αν δίνονται περισσότερες από k τιµές: ίσως δεν υπάρχει λύση, π.χ. a r + a r 1 + a r 2 = 4, a 0 = 2 = a 1 = a 2. δεκτές λύσεις 27/11/2008 32 / 55

Αναγκαιότητα συνέχειας Λήµµα k συνεχόµενες τιµές είναι αναγκαίες. Απόδειξη. k µη συνεχόµενες: αδύνατο, µοναδική λύση ή άπειρες λύσεις. [Liu, Ασκηση 10.8] a r a r 1 + a r 2 = 0 (!) a 0 = 1, a 2 = 0 : 1, 1, 0, 1, 1, 0, 1, 1, 0, 1, 1, 0... ( ) a 0 = 0, a 3 = 0 : 0, x, x, 0, x, x, 0, x, x, 0, x, x, 0... ( ) a 0 = 0, a 3 = 2 : 0, x, x, 2 (άτοπο) 27/11/2008 33 / 55

Μη γραµµικές σχέσεις µε σταθερούς συντελεστές Λήµµα Για µη γραµµικές σχέσεις, k συνεχόµενες τιµές δεν ορίζουν πάντα µοναδική λύση (στο R). Απόδειξη. Αντιπαράδειγµα: a 2 r + a r 1 = 5, a 0 = 1. Λύσεις: 1, 2, ± 3, 5 3,... και 1, 2, ± 7,... Λήµµα Για µη γραµµικές σχέσεις, k συνεχόµενες τιµές δεν ορίζουν πάντα λύση στο R. Απόδειξη. Αντιπαράδειγµα: 5ar 2 + 3a r 1 = 1, a 0 = 1. 2 Λύση: 1, ±i,... 5 a 1 R 27/11/2008 34 / 55

Γραµµικές σχέσεις τάξης k, µε σταθερούς συντελεστές C 0 a r + C 1 a r 1 + + C k a r k = f(r). Θα δώσουµε αλγόριθµο για πολλές περιπτώσεις της f(r). Λήµµα Αρκεί να ϐρεθεί µία λύση µοναδική (λόγω ϑεωρήµατος). Πρόταση Η Ολική λύση ϑα είναι το άθροισµα h + p της Οµογενούς λύσης και της Ειδικής λύσης τ.ώ.: C 0 [h r + p r ] + + C k [h r k + p r k ] = f(r). Οµογενής λύση (homogeneous): h : C 0 h r + + C k h r k = 0. Ειδική λύση (particular): p : C 0 p r + + C k p r k = f(r). Οι σταθεροί συντελεστές της Οµογενούς επιλέγονται τ.ώ. η Ολική λύση να ικανοποιεί τις συνοριακές συνθήκες. 27/11/2008 35 / 55

Οµογενής λύση Ορισµός Εστω η οµογενής εξίσωση διαφορών C 0 h r + + C k h r k = 0. Το χαρακτηριστικό της πολυώνυµο είναι φ(x) = C 0 x k + + C k 1 x + C k. Το φ(x) έχει k χαρακτηριστικές ϱίζες στο C, µετρώντας πολλαπλότητες (Θεµελιώδες ϑεώρηµα). 27/11/2008 36 / 55

Πολλαπλότητα Ορισµός Κάθε ρ C είναι ϱίζα της φ(x) µε πολλαπλότητα m ανν φ(x) = (x ρ) m φ 1 (x) : φ 1 (ρ) 0. Αν m = 1 η ϱίζα λέγεται απλή, αλλιώς (m > 1) λέγεται πολλαπλή. Εµείς ϑα ασχοληθούµε µόνο µε πραγµατικές ϱίζες ρ. ΠΑΡΑ ΕΙΓΜΑ φ(x) = x 2 2x + 1 = (x 1) 2. Πρόταση ρ ϱίζα πολλαπλότητας m φ (i) (ρ) = 0, i < m. 27/11/2008 37 / 55

k απλές πραγµατικές ϱίζες Πρόταση Αν η φ(x) = 0 έχει k απλές, άρα διαφορετικές, πραγµατικές (χαρακτηριστικές) ϱίζες ρ 1... ρ k R, τότε η Οµογενής λύση είναι h r = B 1 ρ r 1 + + B kρ r k µε σταθερές B 1,...,B k 0 που ϑα οριστούν από τις συνοριακές συνθήκες. Απόδειξη. Για κάθε ϱίζα ρ i ισχύει πως C 0 B i ρ r i + + C k B i ρ r k i = 0, για κάποια σταθερά B i 0. Αρα η Οµογενής λύση «περιέχει» τον όρο B i ρ r i. Γενικότερα, ισχύει C 0 (B 1 ρ r 1 + + B kρ r k ) + + C k(b 1 ρ r k 1 + B k ρ r k k ) = 0 και η πρόταση αποδεικνύεται. 27/11/2008 38 / 55

Παράδειγµα Fibonacci ΠΑΡΑ ΕΙΓΜΑ Εξίσωση διαφορών: a r a r 1 a r 2 = 0. Χαρακτηριστικό πολυώνυµο φ(x) = x 2 x 1 = 0 ρ i = 1± 1+4 ( ) r ( ) r. Οµογενής λύση h r = B 1 + B2 1+ 5 2 1 5 2 2. Οι σταθερές B 1, B 2 υπολογίζονται µε ϐάση τις δύο συνοριακές συνθήκες a 0 = a 1 = 1 27/11/2008 39 / 55

Πραγµατική ϱίζα πολλαπλότητας m, 1 m k Πρόταση Αν φ(x) = (x ρ) m τότε, για σταθερές B i 0, η Οµογενής λύση είναι Πόρισµα (Γενικό) h r = B 1 r m 1 ρ r + B 2 r m 2 ρ r + + B m ρ r. Αν η ρ R είναι χαρακτηριστική ϱίζα πολλαπλότητας m 1, τότε το παρακάτω άθροισµα προστίθεται στην Οµογενή λύση, για σταθερές B i 0: Απόδειξη Πρότασης. B 1 r m 1 ρ r + B 2 r m 2 ρ r + + B m ρ r. Αρκεί να δείξουµε πως, για κάθε j = 1,... m, η B j r m j ρ r προστίθεται στην Οµογενή λύση, δηλ.: C 0 B j r m j ρ r + C 1 B j (r 1) m j ρ r 1 + + C k B j (r k) m j ρ r k = 0. 27/11/2008 40 / 55

Η r m i ρ r προστίθεται στην Οµογενή λύση (συνοπτικά) Λήµµα (i = m) Η ρ r προστίθεται στην Οµογενή λύση (όπως για την απλή ϱίζα). Λήµµα (i = m 1) Η r ρ r προστίθεται στην Οµογενή λύση. Απόδειξη. Η ρ είναι διπλή ϱίζα του F 0 (x) = φ(x) x r k άρα της παραγώγου του F 0 (x) = C 0 rx r 1 + C 1 (r 1)x r 2 + + C k (r k)x r k 1 = 0. Συνεπώς είναι ϱίζα του F 1 (x) = F 0 (x) x, δηλ.: C 0 r ρ r + C 1 (r 1)ρ r 1 + + C k (r k)ρ r k = 0. Λήµµα (i < m 1) Η r m i ρ r προστίθεται στην Οµογενή λύση (παρόµοια απόδειξη). 27/11/2008 41 / 55

Η r m i ρ r προστίθεται στην Οµογενή λύση (αναλυτικά) Ορισµός Εστω F 0 = φ x r k, F 1 = F 0 x = C 0rx r + + C k (r k)x r k. Γενικά F i = C 0 r i x r + + C k (r k) i x r k, F i+1 = F i x = C 0 r i+1 x r + + C k (r k) i+1 x r k. Λήµµα Εστω ρ ϱίζα της F i, πολλαπλότητας m i 2 η ρ είναι ϱίζα της F i+1, πολλαπλότητας m i 1. Απόδειξη. F i = (x ρ) m i G F i = (m i)(x ρ) m i 1 G + (x ρ) m i G F i x = (x ρ) m i 1 x [(m i)g + (x ρ)g ]. Πόρισµα Η h r = r m i ρ r είναι Οµογενής λύση για 1 i m. 27/11/2008 42 / 55

Παράδειγµα [Liu 10.3] ΠΑΡΑ ΕΙΓΜΑ ίδεται 4a r 20a r 1 + 17a r 2 4a r 3 = 0. φ(x) = 4x 3 20x 2 + 17x 4 = 4x 2 (x 4) 4x(x 4) + (x 4) = (x 4)(2x 1) 2 ( ) r ( ) r 1 1 Άρα, h r = B 1 r + B 2 + B 3 4 r, 2 2 για κάποιες σταθερές B 1, B 2, B 3. 27/11/2008 43 / 55

Ειδική λύση Υπολογισµός Ειδικής λύσης Θα εξετάσουµε ορισµένες περιπτώσεις όπου υπάρχει αλγόριθµος. ΕΝ υπάρχει γενικός αλγόριθµος. 27/11/2008 44 / 55

f(r) = πολυώνυµο(r) : φ(1) 0 Πρόταση Αν f(r) = F 1 r t + + F t r + F t+1, t 1, η Ειδική λύση είναι P 1 r t + + P t r + P t+1 και οι σταθερές P i υπολογίζονται µε αντικατάσταση. ΠΑΡΑ ΕΙΓΜΑ ίδεται: a r + 5a r 1 + 6a r 2 = 3r 2. Ειδική λύση: p r = P 1 r 2 + P 2 r + P 3. Αντικατάσταση: 3r 2 = (P 1 r 2 + P 2 r + P 3 )+5[P 1 (r 1) 2 + P 2 (r 1)+P 3 ]+6[P 1 (r 2) 2 + P 2 (r 2)+P 3 ] 12P 1 r 2 + r(12p 2 34P 1 ) + (12P 3 + 29P 1 17P 2 ) = 3r 2 12P 1 = 3 12P 2 34P 1 = 0 12P 3 + 29P 1 17P 2 = 0 P 1 = 1/4 P 2 = 17/24 P 3 = 115/288 27/11/2008 45 / 55

f(r) = πολυώνυµο(r) β r : φ(β) 0 Πρόταση Αν f(r) = β r : φ(β) 0, τότε η Ειδική λύση είναι Pβ r, P =σταθερά. Γενικότερα, αν f(r) = (F 1 r t + + F t r + F t+1 )β r : φ(β) 0, τότε η Ειδική λύση είναι (P 1 r t + + P t r + P t+1 )β r, P i σταθερές. ΠΑΡΑ ΕΙΓΜΑ ίδεται: a r + a r 1 = 3r 2 r : φ(2) = 2 r + 2 r 1 0. Ειδική λύση: p r = (P 1 r + P 2 )2 r. Αντικατάσταση: (P 1 r + P 2 )2 r + (P 1 (r 1) + P 2 )2 r 1 = 3r 2 r { 2(P 1 r + P 2 ) + [P 1 (r 1) + P } 2 ] = 3r { 2 } 2P 1 + P 1 = 6 (r) P1 = 2 2P 2 P 1 + P2 = 0 (1) P 2 = 2/3 27/11/2008 46 / 55

f(r) = πολυώνυµο(r) β r : φ(β) = 0 Πρόταση Αν f(r) = (F 1 r t +... + F t r + F t+1 )β r : φ(β) = 0, µε πολλαπλότητα µ, τοτε η Ειδική λύση είναι, για κάποιες σταθερές P i, r µ ( P 1 r t + + P t r + P t+1 ) β r. Οι περιπτώσεις πολυωνύµων f(r), µε φ(1) = 0, ανάγονται στην περίπτωση της εκθετικής µε β = 1. ΠΑΡΑ ΕΙΓΜΑ ίδεται: a r = a r 1 + 7 a r a r 1 = 7 1 r. φ = x 1 φ(1) = 0, µ = 1. Ειδική λύση: p r = r 1 (P) 1 r = rp, Αντικατάσταση: rp (r 1)P = 7 P = 7. Προσοχή: Αν αγνοήσω το β r, δηλ. ϑεωρήσω f(r) = 7 = F 1 (πολυώνυµο), τότε p r = P P = P + 7 (Λάθος). 27/11/2008 47 / 55

Παράδειγµα [Liu,10.10] ΠΑΡΑ ΕΙΓΜΑ ίδεται a r 2a r 1 + a r 2 = 7 1 r. β = 1 και φ = x 2 2x + 1 = (x 1) 2 φ(β) = 0 µε πολλαπλότητα µ = 2. Ειδική λύση: p r = r 2 P 1 r. Αντικατάσταση r 2 P 2(r 1) 2 P + (r 2) 2 P = 7 r 2 : P 2P + P = 0 r : 4P 4P = 0 P = 7 2. 1 : 2P + 4P = 7 27/11/2008 48 / 55

f(r) = πολυώνυµο + εκθετική Πρόταση Αν f(r) = πολυώνυµο + εκθετική, τότε η Ειδική λύση είναι άθροισµα των δύο Ειδικών λύσεων. ΠΑΡΑ ΕΙΓΜΑ ίδεται: a r 5a r 1 + 6a r 2 = 2 r + r. φ(x) = x 2 5x + 6 = (x 2)(x 3), ϱίζα = 2, µε πολλαπλότητα µ = 1. Ειδική λύση: p r = rp 1 2 r + (P 2 r + P 3 ). Αντικατάσταση: (rp 1 2 r + P 2 r + P 3 ) 5[(r 1)P 1 2 r 1 + P 2 (r 1) + P 3 ]+ +6[(r 2)P 1 2 r 2 + P 2 (r 2) + P 3 ] = 2 r + r 2 r 2 [4rP 1 10(r 1)P 1 + 6(r 2)P 1 ] = 2 r P 1 = 2 r[p 2 5P 2 + 6P 2 ] = r P 2 = 1/2 P 3 + 5P 2 5P 3 12P 2 + 6P 3 = 0 P 3 = 7/4 27/11/2008 49 / 55

Ειδικές λύσεις: αθροισµα Πρόταση Οι περιπτώσεις που εξετάσαµε γενικεύονται στην εξης περίπτωση: f(r) = πολυώνυµο(r) β r + πολυώνυµο (r) γ r, όπου µπορεί τα πολυώνυµα να είναι σταθερά (και ίσα µε τη µονάδα ή το µηδέν) και τα β,γ R δύναται να είναι µονάδες. Ελέγχουµε αν τα β,γ είναι χαρακτηριστικές ϱίζες. Υπολογίζουµε δύο κατάλληλες ειδικές λύσεις και τις προσθέτουµε. 27/11/2008 50 / 55

Ολικές λύσεις Ολική λύση = Οµογενής λύση + Ειδική λύση. Προσδιορισµός συντελεστών οµογενούς λύσεως µέσω k συνεχόµενων συνοριακών συνθηκών. Ο προσδιορισµός ανάγεται σε k k γραµµικό σύστηµα το οποίο (αποδεικνύεται πως) έχει µοναδική λύση. 27/11/2008 51 / 55

Ολικές λύσεις a r = B 1 a r 1 + B 2 a r 2 + + B k a r k + p(r) }{{}}{{} οµογενής ειδική k γραµµικές εξισώσεις µε αγνώστους B 1,..., B k a r0 = B 1 a r0 1 + B 2a r0 2 + + B ka r0 k + p(r 0) a r0+1 = B 1 a r0+1 1 + B 2 a r0+1 2 + + B k a r0+1 k + p(r 0 + 1). a r0+k 1 = B 1 a r0+k 1 1 + B 2 a r0+k 1 2 + + B k a r0+k 1 k + p(r 0 + k 1) 27/11/2008 52 / 55

Ολικές λύσεις Λύνοντας το προηγούµενο σύστηµα προσδιορίζουµε τους σταθερούς συντελεστές B 1,, B k. Καταλήξαµε σε µία Ολική λύση a r η οποία ικανοποιεί τις αρχικές συνθήκες. Από προηγούµενο Θεώρηµα, αυτή η λύση είναι µοναδική. 27/11/2008 53 / 55

Παράδειγµα ΠΑΡΑ ΕΙΓΜΑ a r + 5a r 1 + 6a r 2 = 42 4 r a 2 = 278, a 3 = 962 Ολική λύση a r = B 1 ( 2) r + B 2 ( 3) r + 16 4 r { } { } 278 = 4B1 + 9B 2 + 256 B1 = 1 = = 962 = 8B 1 27B 2 + 1024 B 2 = 2 a r = ( 2) r + 2( 3) r + 16 4 r 27/11/2008 54 / 55

Fibonacci ΠΑΡΑ ΕΙΓΜΑ a r a r 1 a r 2 = 0, a 0 = a 1 = 1 Οµογενής: h r = B 1 ( 1+ 5 2 ) r + B 2 ( 1 5 2 ) r Ειδική λύση: p r = P : P P P = 0 P = 0, όπου φ(1) 0. Ολική λύση: = h r + 0 : 1 = a 0 = B 1 + B 2 1+ 5 1 5 1 = a 1 = B 1 + B 2 2 2 } = B 1 = 1+ 5 2 5 B 2 = 5 1 2 5 } Αρα [ (1 a r = 1 ) r+1 ( ) r+1 ] + 5 1 5, r 0 5 2 2 27/11/2008 55 / 55