Μαθηµατικά για Πληροφορική

Transcript

1 Μαθηµατικά για Πληροφορική 6ο Μάθηµα Ηλίας Κουτσουπιάς, Γιάννης Εµίρης Τµήµα Πληροφορικής και Τηλεπικοινωνιών Πανεπιστήµιο Αθηνών 27/11/ /11/ / 55

2 Γενικό πλάνο 1 Ανάλυση αλγορίθµων 2 Συµβολισµοί O, Ω και Θ 3 Αναδροµικές εξισώσεις 27/11/ / 55

3 Είδη αλγορίθµων Αλγόριθµοι µε αρχή και τέλος, µε είσοδο και έξοδο 27/11/ / 55

4 Είδη αλγορίθµων Αλγόριθµοι µε αρχή και τέλος, µε είσοδο και έξοδο Ατέρµονες αλγόριθµοι (λειτουργικά συστήµατα, δοµές δεδοµένων, πρωτόκολλα ιαδικτύου). 27/11/ / 55

5 Είδη αλγορίθµων Αλγόριθµοι µε αρχή και τέλος, µε είσοδο και έξοδο Ατέρµονες αλγόριθµοι (λειτουργικά συστήµατα, δοµές δεδοµένων, πρωτόκολλα ιαδικτύου). Παράλληλοι, κατανεµηµένοι κλπ Εδώ ϑα µελετήσουµε µόνο το πρώτο είδος και ειδικά τον χρόνο εκτέλεσης των αλγορίθµων. 27/11/ / 55

6 Υποθέσεις και συµβάσεις Ο χρόνος εκτέλεσης ενός αλγορίθµου (προγράµµατος) εξαρτάται από 27/11/ / 55

7 Υποθέσεις και συµβάσεις Ο χρόνος εκτέλεσης ενός αλγορίθµου (προγράµµατος) εξαρτάται από την είσοδο (το πλήθος και είδος των δεδοµένων) 27/11/ / 55

8 Υποθέσεις και συµβάσεις Ο χρόνος εκτέλεσης ενός αλγορίθµου (προγράµµατος) εξαρτάται από την είσοδο (το πλήθος και είδος των δεδοµένων) την γλώσσα προγραµµατισµού 27/11/ / 55

9 Υποθέσεις και συµβάσεις Ο χρόνος εκτέλεσης ενός αλγορίθµου (προγράµµατος) εξαρτάται από την είσοδο (το πλήθος και είδος των δεδοµένων) την γλώσσα προγραµµατισµού τον επεξεργαστή 27/11/ / 55

10 Υποθέσεις και συµβάσεις Ο χρόνος εκτέλεσης ενός αλγορίθµου (προγράµµατος) εξαρτάται από την είσοδο (το πλήθος και είδος των δεδοµένων) την γλώσσα προγραµµατισµού τον επεξεργαστή το υπολογιστικό περιβάλλον 27/11/ / 55

11 Υποθέσεις και συµβάσεις Ο χρόνος εκτέλεσης ενός αλγορίθµου (προγράµµατος) εξαρτάται από την είσοδο (το πλήθος και είδος των δεδοµένων) την γλώσσα προγραµµατισµού τον επεξεργαστή το υπολογιστικό περιβάλλον... 27/11/ / 55

12 Υποθέσεις και συµβάσεις Ο χρόνος εκτέλεσης ενός αλγορίθµου (προγράµµατος) εξαρτάται από την είσοδο (το πλήθος και είδος των δεδοµένων) την γλώσσα προγραµµατισµού τον επεξεργαστή το υπολογιστικό περιβάλλον... Για µια καλή ϑεωρία ανάλυσης αλγορίθµων πρέπει 27/11/ / 55

13 Υποθέσεις και συµβάσεις Ο χρόνος εκτέλεσης ενός αλγορίθµου (προγράµµατος) εξαρτάται από την είσοδο (το πλήθος και είδος των δεδοµένων) την γλώσσα προγραµµατισµού τον επεξεργαστή το υπολογιστικό περιβάλλον... Για µια καλή ϑεωρία ανάλυσης αλγορίθµων πρέπει να ξεκαθαρίσουµε ποια χαρακτηριστικά της εισόδου επηρεάζουν τον χρόνο του αλγορίθµου 27/11/ / 55

14 Υποθέσεις και συµβάσεις Ο χρόνος εκτέλεσης ενός αλγορίθµου (προγράµµατος) εξαρτάται από την είσοδο (το πλήθος και είδος των δεδοµένων) την γλώσσα προγραµµατισµού τον επεξεργαστή το υπολογιστικό περιβάλλον... Για µια καλή ϑεωρία ανάλυσης αλγορίθµων πρέπει να ξεκαθαρίσουµε ποια χαρακτηριστικά της εισόδου επηρεάζουν τον χρόνο του αλγορίθµου να εξαλείψουµε µε κάποιο τρόπο τους υπόλοιπους εξωγενείς παράγοντες 27/11/ / 55

15 Υποθέσεις και συµβάσεις Οι εξωγενείς παράγοντες επηρεάζουν κυρίως πολλαπλασιαστικά τον χρόνο εκτέλεσης. 27/11/ / 55

16 Υποθέσεις και συµβάσεις Οι εξωγενείς παράγοντες επηρεάζουν κυρίως πολλαπλασιαστικά τον χρόνο εκτέλεσης. Εκτέλεση σε υπολογιστή Χ: t 27/11/ / 55

17 Υποθέσεις και συµβάσεις Οι εξωγενείς παράγοντες επηρεάζουν κυρίως πολλαπλασιαστικά τον χρόνο εκτέλεσης. Εκτέλεση σε υπολογιστή Χ: t Εκτέλεση σε υπολογιστή Υ: αt 27/11/ / 55

18 Υποθέσεις και συµβάσεις Οι εξωγενείς παράγοντες επηρεάζουν κυρίως πολλαπλασιαστικά τον χρόνο εκτέλεσης. Εκτέλεση σε υπολογιστή Χ: t Εκτέλεση σε υπολογιστή Υ: αt Από τα χαρακτηριστικά της εισόδου, κρατάµε µόνο το µήκος της εισόδου. 27/11/ / 55

19 Υποθέσεις και συµβάσεις Οι εξωγενείς παράγοντες επηρεάζουν κυρίως πολλαπλασιαστικά τον χρόνο εκτέλεσης. Εκτέλεση σε υπολογιστή Χ: t Εκτέλεση σε υπολογιστή Υ: αt Από τα χαρακτηριστικά της εισόδου, κρατάµε µόνο το µήκος της εισόδου. Βασική παραδοχή: Ο χρόνος είναι συνάρτηση T(n) του µήκους n της εισόδου. 27/11/ / 55

20 Υποθέσεις και συµβάσεις Οι εξωγενείς παράγοντες επηρεάζουν κυρίως πολλαπλασιαστικά τον χρόνο εκτέλεσης. Εκτέλεση σε υπολογιστή Χ: t Εκτέλεση σε υπολογιστή Υ: αt Από τα χαρακτηριστικά της εισόδου, κρατάµε µόνο το µήκος της εισόδου. Βασική παραδοχή: Ο χρόνος είναι συνάρτηση T(n) του µήκους n της εισόδου. Ποιας εισόδου όµως αφού υπάρχουν 2 n είσοδοι µήκους n; 27/11/ / 55

21 Υποθέσεις και συµβάσεις Οι εξωγενείς παράγοντες επηρεάζουν κυρίως πολλαπλασιαστικά τον χρόνο εκτέλεσης. Εκτέλεση σε υπολογιστή Χ: t Εκτέλεση σε υπολογιστή Υ: αt Από τα χαρακτηριστικά της εισόδου, κρατάµε µόνο το µήκος της εισόδου. Βασική παραδοχή: Ο χρόνος είναι συνάρτηση T(n) του µήκους n της εισόδου. Ποιας εισόδου όµως αφού υπάρχουν 2 n είσοδοι µήκους n; Ανάλυση χειρότερης περίπτωσης (worst-case): T(n) είναι ο µεγαλύτερος µεταξύ των χρόνων των εισόδων µήκους n. 27/11/ / 55

22 Μήκος εισόδου ΠΑΡΑ ΕΙΓΜΑ Είσοδος µια συµβολοσειρά του αλφαβήτου {0, 1} : Μήκος της (δυαδικής) εισόδου είναι ο αριθµός των συµβόλων της εισόδου. 27/11/ / 55

23 Μήκος εισόδου ΠΑΡΑ ΕΙΓΜΑ Είσοδος µια συµβολοσειρά του αλφαβήτου {0, 1} : Μήκος της (δυαδικής) εισόδου είναι ο αριθµός των συµβόλων της εισόδου. Είσοδος µια συµβολοσειρά του αλφαβήτου {0, 1,..., 9} : Μήκος (δυαδικής) εισόδου = 4 τον αριθµό των συµβόλων της εισόδου. 27/11/ / 55

24 Μήκος εισόδου ΠΑΡΑ ΕΙΓΜΑ Είσοδος µια συµβολοσειρά του αλφαβήτου {0, 1} : Μήκος της (δυαδικής) εισόδου είναι ο αριθµός των συµβόλων της εισόδου. Είσοδος µια συµβολοσειρά του αλφαβήτου {0, 1,..., 9} : Μήκος (δυαδικής) εισόδου = 4 τον αριθµό των συµβόλων της εισόδου. Είσοδος ένας ϕυσικός αριθµός a : Μήκος log a log a. 27/11/ / 55

25 Μήκος εισόδου ΠΑΡΑ ΕΙΓΜΑ Είσοδος µια συµβολοσειρά του αλφαβήτου {0, 1} : Μήκος της (δυαδικής) εισόδου είναι ο αριθµός των συµβόλων της εισόδου. Είσοδος µια συµβολοσειρά του αλφαβήτου {0, 1,..., 9} : Μήκος (δυαδικής) εισόδου = 4 τον αριθµό των συµβόλων της εισόδου. Είσοδος ένας ϕυσικός αριθµός a : Μήκος log a log a. Είσοδος είναι µια ακολουθία a 1, a 2,..., a k ϕυσικών αριθµών: Μήκος περίπου log a 1 + log a log a k, αλλά πρέπει να λάβουµε υπόψη και τα κόµµατα. 27/11/ / 55

26 Μήκος εισόδου ΠΑΡΑ ΕΙΓΜΑ Είσοδος µια συµβολοσειρά του αλφαβήτου {0, 1} : Μήκος της (δυαδικής) εισόδου είναι ο αριθµός των συµβόλων της εισόδου. Είσοδος µια συµβολοσειρά του αλφαβήτου {0, 1,..., 9} : Μήκος (δυαδικής) εισόδου = 4 τον αριθµό των συµβόλων της εισόδου. Είσοδος ένας ϕυσικός αριθµός a : Μήκος log a log a. Είσοδος είναι µια ακολουθία a 1, a 2,..., a k ϕυσικών αριθµών: Μήκος περίπου log a 1 + log a log a k, αλλά πρέπει να λάβουµε υπόψη και τα κόµµατα. Είναι ϕανερό ότι ο καθορισµός του µήκους µιας εισόδου παρουσιάζει επιπλοκές και δυσκολίες. 27/11/ / 55

27 Συµβολισµός O Ορισµός Εστω συναρτήσεις f, g : N R. Θα λέµε ότι f(n) = O(g(n)) αν υπάρχουν σταθερές c, n 0 > 0 τέτοιες ώστε f(n) c g(n), n n 0. ΠΑΡΑ ΕΙΓΜΑ (f(n) = 10n + 7, g(n) = n, 10n + 7 = O(n)) Αρκεί να ϐρούµε τις δυο σταθερές c και n 0 του ορισµού και να επιβεβαιώσουµε τη σχέση f(n) c g(n). n 0 = 1 c = 17. Για n n 0 = 1, έχουµε f(n) = 10n n + 7n 17n = cn = cg(n). 27/11/ / 55

28 Συµβολισµός O Οταν f = O(g), λέµε πως η f είναι (τάξης) O(g(n)). Από τον ορισµό της, η τάξη δηλώνει µόνο άνω ϕράγµα, µπορεί να κρύβει µια σταθερά, κρύβει συµπεριφορά πεπερασµένου πλήθους όρων (για n < n 0 ). 27/11/ / 55

29 Συµβολισµός O Πρόταση Εστω p(n) ένα πολυώνυµο ϐαθµού k. Τότε p(n) = O(n k ). Απόδειξη. p(n) = c k n k + + c 1 n + c 0 ιαλέγουµε n 0 = 1 και c = c k + + c 1 + c 0 και έχουµε p(n) c k n k + + c 1 n + c 0 c k n k + + c 1 n + c 0 c k n k + + c 1 n + c 0 c k n k + + c 1 n k + c 0 n k = cn k. Γιατί δεν διαλέξαµε c = c k + + c 1 + c 0, χωρίς τις απόλυτες τιµές; 27/11/ / 55

30 Παράδειγµα: Παραγοντικό Πρόταση Για a > 0, a n = O(n!). Απόδειξη. Εστω a Z, ειδάλλως χρησιµοποίησε a. Θέτουµε c = a a, n 0 = a : n n 0 = a : ηλαδή, a n a a a n a a! a n c a a(a 1) 2 1 c n! }{{} n 27/11/ / 55

31 Τεχνικές Πώς αποδεικνύουµε ότι f(n) = O(g(n)); 27/11/ / 55

32 Τεχνικές Πώς αποδεικνύουµε ότι f(n) = O(g(n)); Βρίσκουµε κατάλληλα c και n 0. 27/11/ / 55

33 Τεχνικές Πώς αποδεικνύουµε ότι f(n) = O(g(n)); Βρίσκουµε κατάλληλα c και n 0. Για ϑετικές συναρτήσεις f(n) και g(n), δείχνουµε ότι το όριο f(n) lim n g(n) υπάρχει και είναι κάποια σταθερά (δεν είναι δηλαδή). 27/11/ / 55

34 Τεχνικές Πώς αποδεικνύουµε ότι f(n) = O(g(n)); Βρίσκουµε κατάλληλα c και n 0. Για ϑετικές συναρτήσεις f(n) και g(n), δείχνουµε ότι το όριο f(n) lim n g(n) υπάρχει και είναι κάποια σταθερά (δεν είναι δηλαδή). Πώς αποδεικνύουµε το αντίστροφο, δηλαδή ότι δεν ισχύει f(n) = O(g(n)); 27/11/ / 55

35 Τεχνικές Πώς αποδεικνύουµε ότι f(n) = O(g(n)); Βρίσκουµε κατάλληλα c και n 0. Για ϑετικές συναρτήσεις f(n) και g(n), δείχνουµε ότι το όριο f(n) lim n g(n) υπάρχει και είναι κάποια σταθερά (δεν είναι δηλαδή). Πώς αποδεικνύουµε το αντίστροφο, δηλαδή ότι δεν ισχύει f(n) = O(g(n)); είχνουµε µε απαγωγή σε άτοπο ότι δεν υπάρχουν κατάλληλα c και n 0. 27/11/ / 55

36 Τεχνικές Πώς αποδεικνύουµε ότι f(n) = O(g(n)); Βρίσκουµε κατάλληλα c και n 0. Για ϑετικές συναρτήσεις f(n) και g(n), δείχνουµε ότι το όριο f(n) lim n g(n) υπάρχει και είναι κάποια σταθερά (δεν είναι δηλαδή). Πώς αποδεικνύουµε το αντίστροφο, δηλαδή ότι δεν ισχύει f(n) = O(g(n)); είχνουµε µε απαγωγή σε άτοπο ότι δεν υπάρχουν κατάλληλα c και n 0. Για ϑετικές συναρτήσεις f(n) και g(n), δείχνουµε ότι το όριο υπάρχει και είναι. f(n) lim n g(n) 27/11/ / 55

37 Η τεχνική µε τα όρια Πρόταση f(n) Για ϑετικές συναρτήσεις f(n) και g(n), αν το όριο lim n g(n) υπάρχει και είναι κάποια σταθερά (δεν είναι δηλαδή), τότε f(n) = O(g(n)). Απόδειξη. f(n) Εστω a το όριο. Τι σηµαίνει ότι lim n g(n) = a? Οτι ǫ > 0, m ǫ τ.ώ. n m ǫ : f(n) a ǫ. g(n) Ας πάρουµε ǫ = a. Τότε για κάθε n m a : f(n) f(n) a a g(n) g(n) 2a. Αρκεί τώρα να πάρουµε n 0 = m a και c = 2a. 27/11/ / 55

38 Παράδειγµα Πρόταση Να δειχτεί ότι εν ισχύει n 2 = O(n). Απόδειξη. Με εις άτοπο απαγωγή: Εστω ότι υπήρχαν κατάλληλες σταθερές c και n 0. Ας ϑεωρήσουµε την τιµή n = max{n 0, c + 1}. Θα πρέπει να έχουµε n 2 cn. Ισοδύναµα n c, άτοπο. Εναλλακτική απόδειξη. Το υπάρχει και είναι. n 2 lim n n 27/11/ / 55

39 Παράδειγµα: λογάριθµοι Πρόταση Για ακεραίους a, b > 0 ισχύει πως (ln n) a = O(n b ). Απόδειξη. Χρησιµοποιούµε κανόνα L Hôpital: (ln n) a lim n n b = lim n a(ln n)a 1 n bn b 1 = lim n a(ln n) a 1 bn b = lim n a! b a n b = 0 27/11/ / 55

40 Σχέσεις του συµβολισµού O Πρόταση Αν f(n) = O(g(n)) και g(n) = O(h(n)) τοτε f(n) = O(h(n)) Πρόταση f 1 (n) + f 2 (n) = O(max{f 1 (n), f 2 (n)}) 27/11/ / 55

41 Ιεραρχία συναρτήσεων Υπερεκθετικές: 2 2n Εκθετικές: 2 n2 n n n! 3 n 2 n 2 Υποεκθετικές: n log n Πολυωνυµικές: n 2 n log n n Λογαριθµικές: log 2 n log n Υπολογαριθµικές: log log n Σταθερές 1 n n 27/11/ / 55

42 Συµβολισµός Ω Ορισµός Εστω f και g δυο συναρτήσεις από τους µη αρνητικούς ακέραιους στο σύνολο των πραγµατικών αριθµών. Θα λέµε ότι f(n) = Ω(g(n)) αν υπάρχουν ϑετικές σταθερές c και n 0 τέτοιες ώστε f(n) c g(n) για κάθε n n 0. Ισοδύναµα, f(n) = Ω(g(n)) αν και µόνο αν g(n) = O(f(n)). ΠΑΡΑ ΕΙΓΜΑ (f(n) = 10n 7, g(n) = n, 10n 7 = Ω(n)) Αρκεί να ϐρούµε τις δυο σταθερές c και n 0 του ορισµού και να επιβεβαιώσουµε τη σχέση f(n) c g(n). n 0 = 1 c = 3 f(n) = 10n 7 10n 7n 3n = cn = cg(n). 27/11/ / 55

43 Συµβολισµός Θ Ορισµός Εστω f και g δυο συναρτήσεις από τους µη αρνητικούς ακέραιους στο σύνολο των πραγµατικών αριθµών. Θα λέµε ότι f(n) = Θ(g(n)) αν f(n) = O(g(n)) και f(n) = Ω(g(n)). Πρόταση f(n) Αν το lim n g(n) υπάρχει και έχει τιµή λ τότε O(g(n)) αν λ = 0 f(n) = Θ(g(n)) αν 0 < λ < Ω(g(n)) αν λ = 27/11/ / 55

44 Συµβολισµός o Ορισµός Εστω f, g : N R. f(n) = o(g) σταθ.c > 0, σταθ.n 0 : 0 f(n) < c g(n), n n 0. ΠΑΡΑ ΕΙΓΜΑ Ισχύει 2n = o(n 2 ) αλλά n 2 /4 o(n 2 ). ΠΑΡΑ ΕΙΓΜΑ Οι συµβολισµοί O( ) και o( ) εκφράζουν άνω ϕράγµατα, αλλά µόνον ο o( ) εκφράζει αυστηρό άνω ϕράγµα. f = o(g) f = O(g). f(n) = o(g(n)) lim n f(n)/g(n) = 0. 27/11/ / 55

45 Βασικές αναδροµικές εξισώσεις Στην ανάλυση αλγορίθµων χρειάζεται συχνά να ϐρούµε τη λύση ανδροµικών εξισώσεων. Τυπικές αναδροµικές εξισώσεις είναι οι εξής: T(n) = T(n 1) + n 27/11/ / 55

46 Βασικές αναδροµικές εξισώσεις Στην ανάλυση αλγορίθµων χρειάζεται συχνά να ϐρούµε τη λύση ανδροµικών εξισώσεων. Τυπικές αναδροµικές εξισώσεις είναι οι εξής: T(n) = T(n 1) + n T(n) = 2T( n 2 ) + n 27/11/ / 55

47 Βασικές αναδροµικές εξισώσεις Στην ανάλυση αλγορίθµων χρειάζεται συχνά να ϐρούµε τη λύση ανδροµικών εξισώσεων. Τυπικές αναδροµικές εξισώσεις είναι οι εξής: T(n) = T(n 1) + n T(n) = 2T( n 2 ) + n T(n) = T(n 1) + T(n 2) 27/11/ / 55

48 Τεχνικές επίλυσης αναδροµικών Για να λύσουµε µια αναδροµική χρησιµοποιούµε τις εξής τεχνικές: Μαντεύουµε την γενική λύση και την επιβεβαιώνουµε στα δεδοµένα. 27/11/ / 55

49 Τεχνικές επίλυσης αναδροµικών Για να λύσουµε µια αναδροµική χρησιµοποιούµε τις εξής τεχνικές: Μαντεύουµε την γενική λύση και την επιβεβαιώνουµε στα δεδοµένα. Την «ξεδιπλώνουµε», την γενικεύουµε και την επιβεβαιώνουµε µε χρήση επαγωγής. 27/11/ / 55

50 Τεχνικές επίλυσης αναδροµικών Για να λύσουµε µια αναδροµική χρησιµοποιούµε τις εξής τεχνικές: Μαντεύουµε την γενική λύση και την επιβεβαιώνουµε στα δεδοµένα. Την «ξεδιπλώνουµε», την γενικεύουµε και την επιβεβαιώνουµε µε χρήση επαγωγής. Αν αποτελεί περίπτωση γνωστής οικογένειας αναδροµικών εξισώσεων, χρησιµοποιούµε την γενικότερη λύση. 27/11/ / 55

51 Ξεδίπλωµα Ποια η λύση της αναδροµικής εξίσωσης T(n) = T(n 1) + n, µε T(1) = 1; 27/11/ / 55

52 Ξεδίπλωµα Ποια η λύση της αναδροµικής εξίσωσης T(n) = T(n 1) + n, µε T(1) = 1; T(n) = T(n 1) + n = T(n 2) + (n 1) + n = T(n 3) + (n 2) + (n 1) + n 27/11/ / 55

53 Ξεδίπλωµα Ποια η λύση της αναδροµικής εξίσωσης T(n) = T(n 1) + n, µε T(1) = 1; T(n) = T(n 1) + n = T(n 2) + (n 1) + n = T(n 3) + (n 2) + (n 1) + n Μαντεύουµε τη γενίκευση T(n) = T(n k) + (n k + 1) + + n, για κάθε k N. 27/11/ / 55

54 Ξεδίπλωµα Ποια η λύση της αναδροµικής εξίσωσης T(n) = T(n 1) + n, µε T(1) = 1; T(n) = T(n 1) + n = T(n 2) + (n 1) + n = T(n 3) + (n 2) + (n 1) + n Μαντεύουµε τη γενίκευση T(n) = T(n k) + (n k + 1) + + n, για κάθε k N. Αυτό το αποδεικνύουµε µε επαγωγή στο k. 27/11/ / 55

55 Ξεδίπλωµα Ποια η λύση της αναδροµικής εξίσωσης T(n) = T(n 1) + n, µε T(1) = 1; T(n) = T(n 1) + n = T(n 2) + (n 1) + n = T(n 3) + (n 2) + (n 1) + n Μαντεύουµε τη γενίκευση T(n) = T(n k) + (n k + 1) + + n, για κάθε k N. Αυτό το αποδεικνύουµε µε επαγωγή στο k. Και τώρα για k = n 1, έχουµε T(n) = T(1) n = n = n(n + 1)/2. 27/11/ / 55

56 Ξεδίπλωµα Ποια η λύση της αναδροµικής εξίσωσης T(n) = 3T(n 1) 2T(n 2), µε T(1) = 1 και T(2) = 2; 27/11/ / 55

57 Ξεδίπλωµα Ποια η λύση της αναδροµικής εξίσωσης T(n) = 3T(n 1) 2T(n 2), µε T(1) = 1 και T(2) = 2; T(n) = 3T(n 1) 2T(n 2) = 7T(n 2) 6T(n 3) = 15T(n 3) 14T(n 4) 27/11/ / 55

58 Ξεδίπλωµα Ποια η λύση της αναδροµικής εξίσωσης T(n) = 3T(n 1) 2T(n 2), µε T(1) = 1 και T(2) = 2; T(n) = 3T(n 1) 2T(n 2) = 7T(n 2) 6T(n 3) = 15T(n 3) 14T(n 4) Μαντεύουµε τη γενίκευση T(n) = (2 k 1)T(n k + 1) (2 k 2)T(n k), για κάθε k 2. 27/11/ / 55

59 Ξεδίπλωµα Ποια η λύση της αναδροµικής εξίσωσης T(n) = 3T(n 1) 2T(n 2), µε T(1) = 1 και T(2) = 2; T(n) = 3T(n 1) 2T(n 2) = 7T(n 2) 6T(n 3) = 15T(n 3) 14T(n 4) Μαντεύουµε τη γενίκευση T(n) = (2 k 1)T(n k + 1) (2 k 2)T(n k), για κάθε k 2. Αυτό το αποδεικνύουµε µε επαγωγή στο k. 27/11/ / 55

60 Ξεδίπλωµα Ποια η λύση της αναδροµικής εξίσωσης T(n) = 3T(n 1) 2T(n 2), µε T(1) = 1 και T(2) = 2; T(n) = 3T(n 1) 2T(n 2) = 7T(n 2) 6T(n 3) = 15T(n 3) 14T(n 4) Μαντεύουµε τη γενίκευση T(n) = (2 k 1)T(n k + 1) (2 k 2)T(n k), για κάθε k 2. Αυτό το αποδεικνύουµε µε επαγωγή στο k. Και τώρα για k = n 1, έχουµε T(n) = (2 n 1 1)T(2) (2 n 1 2)T(1) = 2 n 1. 27/11/ / 55

61 Master theorem Θεώρηµα (Βασικό ϑεώρηµα αναδροµικών συναρτήσεων) Τότε η T(n) ισούται µε: T(n) = at( n ) + f(n), a 1, b > 1. b 1 Θ(n log b a ), αν f(n) = o(n log b a ), 2 Θ(n log b a log k+1 n), αν k 0 : f(n) = Θ(n log b a log k n), 3 Θ(f(n)), αν f(n) = ω(n log b a ), και c < 1 : af( n ) cf(n), n 1. b 27/11/ / 55

62 Master theorem: Παραδείγµατα ΠΑΡΑ ΕΙΓΜΑ T(n) = 8T(n/2) n 2. Θέτω a = 8, b = 2, log b a = 3 στην περίπτωση (1), άρα T(n) = Θ(n 3 ). ΠΑΡΑ ΕΙΓΜΑ T(n) = 2T(n/2) + 10n. Θέτω a = 2 = b, k = 0 στην περίπτωση (2), άρα T(n) = Θ(n log n). ΠΑΡΑ ΕΙΓΜΑ T(n) = 2T(n/2) + n 2. Θέτω a = 2 = b,ǫ = 1 στην περίπτωση (3), άρα T(n) = Θ(n 2 ). 27/11/ / 55

63 Master theorem: Αντιπαραδείγµατα ΠΑΡΑ ΕΙΓΜΑ T(n) = 2 n T(n/2) + n n ΕΝ Λύνεται µε το Θεώρηµα διότι το a δεν είναι σταθερά. ΠΑΡΑ ΕΙΓΜΑ T(n) = 2T(n/2) + n/ log n. ΕΝ Λύνεται µε το Θεώρηµα διότι δεν σχετίζονται πολυωνυµικά τα f(n) και n log b a. 27/11/ / 55

64 Αριθµητικές συναρτήσεις Ορισµός Κάθε συναρτηση f : N R λέγεται αριθµητική. Οι αριθµητικές συναρτήσεις ορίζονται µε 4 τρόπους: κλειστός τύπος: a k = 3 k, k 0. αναδροµική σχέση: ακολουθία (1, 3, 9, 27,...). a k = 3a k 1, k 1, a 0 = 1. Γεννήτρια συνάρτηση: A(z) = 1 1 3z = 1 + 3z + 9z2 + 27z /11/ / 55

65 Παράδειγµα: Fibonacci ΠΑΡΑ ΕΙΓΜΑ Κλειστός τύπος [ (1 a k = 1 ) k+1 ( ) k+1 ] , k Αναδροµική εξίσωση { ak = a k 1 + a k 2, k 2, αναδροµική σχέση ή εξίσωση διαφορών a 0 = 1, a 1 = 1 συνοριακές συνθήκες Ακολουθία a = (1, 1, 2, 3, 5, 8, 13,...) Γεννήτρια συνάρτηση A(z) = 1 1 z z 2 = 1 + z + 2z2 + 3z 3 + 5z /11/ / 55

66 Επίλυση αναδροµικής εξίσωσης Αντιστοιχία µε διαφορικές εξισώσεις df dx = f f = aex : κλειστός τύπος x df dx = bf f = axb : a, b = σταθερές. ΕΝ υπάρχει γενικός αλγόριθµος για όλες τις αναδροµικές σχέσεις. Θα µελετήσουµε µόνο γραµµικές αναδροµικές σχέσεις µε σταθερούς συντελεστές. Π.χ. a r + a r 1 = 3r 2 r. ΟΧΙ: a 2 r + a r 1 = 5, r a r + a r 1 = 5. 27/11/ / 55

67 Γραµµική αναδροµική σχέση Ορισµός Μία γραµµική αναδροµική σχέση τάξης k µε σταθερούς συντελεστές είναι της µορφής: C 0 a r + C 1 a r C k a r k = f(r), όπου C i R σταθερές, i = 0,...,k, και C 0 C k 0. Θεώρηµα Για κάθε γραµµική αναδροµική σχέση τάξης k µε σταθερούς συντελεστές, k συνεχόµενες τιµές της ακολουθίας a i είναι αναγκαίες και επαρκείς ώστε να υπάρχει µοναδική πραγµατική λύση. ηλ. οι τιµές αυτές αποτελούν κατάλληλο σύνολο συνοριακών συνθηκών. 27/11/ / 55

68 Επάρκεια Λήµµα εδοµένων k συνεχόµενων τιµών a m k,..., a m 1! λύση a. Απόδειξη. C 0 a m = C 1 a m 1 C k a m k + f(m) C 0 0 = am = C 0 a m+1 = C 1 a m C k a m k+1 + f(m + 1) a m+1 =. C k a m k 1 = C 0 a m 1 C k 1 a m k + f(m 1) C k a m k 2 = C 0 a m 2 C k 1 a m k 1 + f(m 2) C k 0 am k 1 = a m k 2 =. 27/11/ / 55

69 Αναγκαιότητα k Λήµµα k τιµές είναι αναγκαίες. Απόδειξη. Αντιπαράδειγµα: k = 2. a r + a r 1 + a r 2 = 4, a 0 = 2 : Γενικά, έστω a 0 = t: t, 0, 4 t, t, 0, 4 t, t, 0,... t, 4 t, 0, t, 4 t, 0, t, 4 t,... t, t + 1, 3 2t, t, t + 1, 3 2t, t, t , 0, 2, 2, 0, 2, 2, 0,... 2, 2, 0, 2, 2, 0, 2, 2,... 2, 5, 3, 2, 5, 3,... δεκτές λύσεις Αν δίνονται περισσότερες από k τιµές: ίσως δεν υπάρχει λύση, π.χ. a r + a r 1 + a r 2 = 4, a 0 = 2 = a 1 = a 2. δεκτές λύσεις 27/11/ / 55

70 Αναγκαιότητα συνέχειας Λήµµα k συνεχόµενες τιµές είναι αναγκαίες. Απόδειξη. k µη συνεχόµενες: αδύνατο, µοναδική λύση ή άπειρες λύσεις. [Liu, Ασκηση 10.8] a r a r 1 + a r 2 = 0 (!) a 0 = 1, a 2 = 0 : 1, 1, 0, 1, 1, 0, 1, 1, 0, 1, 1, 0... ( ) a 0 = 0, a 3 = 0 : 0, x, x, 0, x, x, 0, x, x, 0, x, x, 0... ( ) a 0 = 0, a 3 = 2 : 0, x, x, 2 (άτοπο) 27/11/ / 55

71 Μη γραµµικές σχέσεις µε σταθερούς συντελεστές Λήµµα Για µη γραµµικές σχέσεις, k συνεχόµενες τιµές δεν ορίζουν πάντα µοναδική λύση (στο R). Απόδειξη. Αντιπαράδειγµα: a 2 r + a r 1 = 5, a 0 = 1. Λύσεις: 1, 2, ± 3, 5 3,... και 1, 2, ± 7,... Λήµµα Για µη γραµµικές σχέσεις, k συνεχόµενες τιµές δεν ορίζουν πάντα λύση στο R. Απόδειξη. Αντιπαράδειγµα: 5ar 2 + 3a r 1 = 1, a 0 = 1. 2 Λύση: 1, ±i,... 5 a 1 R 27/11/ / 55

72 Γραµµικές σχέσεις τάξης k, µε σταθερούς συντελεστές C 0 a r + C 1 a r C k a r k = f(r). Θα δώσουµε αλγόριθµο για πολλές περιπτώσεις της f(r). Λήµµα Αρκεί να ϐρεθεί µία λύση µοναδική (λόγω ϑεωρήµατος). Πρόταση Η Ολική λύση ϑα είναι το άθροισµα h + p της Οµογενούς λύσης και της Ειδικής λύσης τ.ώ.: C 0 [h r + p r ] + + C k [h r k + p r k ] = f(r). Οµογενής λύση (homogeneous): h : C 0 h r + + C k h r k = 0. Ειδική λύση (particular): p : C 0 p r + + C k p r k = f(r). Οι σταθεροί συντελεστές της Οµογενούς επιλέγονται τ.ώ. η Ολική λύση να ικανοποιεί τις συνοριακές συνθήκες. 27/11/ / 55

73 Οµογενής λύση Ορισµός Εστω η οµογενής εξίσωση διαφορών C 0 h r + + C k h r k = 0. Το χαρακτηριστικό της πολυώνυµο είναι φ(x) = C 0 x k + + C k 1 x + C k. Το φ(x) έχει k χαρακτηριστικές ϱίζες στο C, µετρώντας πολλαπλότητες (Θεµελιώδες ϑεώρηµα). 27/11/ / 55

74 Πολλαπλότητα Ορισµός Κάθε ρ C είναι ϱίζα της φ(x) µε πολλαπλότητα m ανν φ(x) = (x ρ) m φ 1 (x) : φ 1 (ρ) 0. Αν m = 1 η ϱίζα λέγεται απλή, αλλιώς (m > 1) λέγεται πολλαπλή. Εµείς ϑα ασχοληθούµε µόνο µε πραγµατικές ϱίζες ρ. ΠΑΡΑ ΕΙΓΜΑ φ(x) = x 2 2x + 1 = (x 1) 2. Πρόταση ρ ϱίζα πολλαπλότητας m φ (i) (ρ) = 0, i < m. 27/11/ / 55

75 k απλές πραγµατικές ϱίζες Πρόταση Αν η φ(x) = 0 έχει k απλές, άρα διαφορετικές, πραγµατικές (χαρακτηριστικές) ϱίζες ρ 1... ρ k R, τότε η Οµογενής λύση είναι h r = B 1 ρ r B kρ r k µε σταθερές B 1,...,B k 0 που ϑα οριστούν από τις συνοριακές συνθήκες. Απόδειξη. Για κάθε ϱίζα ρ i ισχύει πως C 0 B i ρ r i + + C k B i ρ r k i = 0, για κάποια σταθερά B i 0. Αρα η Οµογενής λύση «περιέχει» τον όρο B i ρ r i. Γενικότερα, ισχύει C 0 (B 1 ρ r B kρ r k ) + + C k(b 1 ρ r k 1 + B k ρ r k k ) = 0 και η πρόταση αποδεικνύεται. 27/11/ / 55

76 Παράδειγµα Fibonacci ΠΑΡΑ ΕΙΓΜΑ Εξίσωση διαφορών: a r a r 1 a r 2 = 0. Χαρακτηριστικό πολυώνυµο φ(x) = x 2 x 1 = 0 ρ i = 1± 1+4 ( ) r ( ) r. Οµογενής λύση h r = B 1 + B Οι σταθερές B 1, B 2 υπολογίζονται µε ϐάση τις δύο συνοριακές συνθήκες a 0 = a 1 = 1 27/11/ / 55

77 Πραγµατική ϱίζα πολλαπλότητας m, 1 m k Πρόταση Αν φ(x) = (x ρ) m τότε, για σταθερές B i 0, η Οµογενής λύση είναι Πόρισµα (Γενικό) h r = B 1 r m 1 ρ r + B 2 r m 2 ρ r + + B m ρ r. Αν η ρ R είναι χαρακτηριστική ϱίζα πολλαπλότητας m 1, τότε το παρακάτω άθροισµα προστίθεται στην Οµογενή λύση, για σταθερές B i 0: Απόδειξη Πρότασης. B 1 r m 1 ρ r + B 2 r m 2 ρ r + + B m ρ r. Αρκεί να δείξουµε πως, για κάθε j = 1,... m, η B j r m j ρ r προστίθεται στην Οµογενή λύση, δηλ.: C 0 B j r m j ρ r + C 1 B j (r 1) m j ρ r C k B j (r k) m j ρ r k = 0. 27/11/ / 55

78 Η r m i ρ r προστίθεται στην Οµογενή λύση (συνοπτικά) Λήµµα (i = m) Η ρ r προστίθεται στην Οµογενή λύση (όπως για την απλή ϱίζα). Λήµµα (i = m 1) Η r ρ r προστίθεται στην Οµογενή λύση. Απόδειξη. Η ρ είναι διπλή ϱίζα του F 0 (x) = φ(x) x r k άρα της παραγώγου του F 0 (x) = C 0 rx r 1 + C 1 (r 1)x r C k (r k)x r k 1 = 0. Συνεπώς είναι ϱίζα του F 1 (x) = F 0 (x) x, δηλ.: C 0 r ρ r + C 1 (r 1)ρ r C k (r k)ρ r k = 0. Λήµµα (i < m 1) Η r m i ρ r προστίθεται στην Οµογενή λύση (παρόµοια απόδειξη). 27/11/ / 55

79 Η r m i ρ r προστίθεται στην Οµογενή λύση (αναλυτικά) Ορισµός Εστω F 0 = φ x r k, F 1 = F 0 x = C 0rx r + + C k (r k)x r k. Γενικά F i = C 0 r i x r + + C k (r k) i x r k, F i+1 = F i x = C 0 r i+1 x r + + C k (r k) i+1 x r k. Λήµµα Εστω ρ ϱίζα της F i, πολλαπλότητας m i 2 η ρ είναι ϱίζα της F i+1, πολλαπλότητας m i 1. Απόδειξη. F i = (x ρ) m i G F i = (m i)(x ρ) m i 1 G + (x ρ) m i G F i x = (x ρ) m i 1 x [(m i)g + (x ρ)g ]. Πόρισµα Η h r = r m i ρ r είναι Οµογενής λύση για 1 i m. 27/11/ / 55

80 Παράδειγµα [Liu 10.3] ΠΑΡΑ ΕΙΓΜΑ ίδεται 4a r 20a r a r 2 4a r 3 = 0. φ(x) = 4x 3 20x x 4 = 4x 2 (x 4) 4x(x 4) + (x 4) = (x 4)(2x 1) 2 ( ) r ( ) r 1 1 Άρα, h r = B 1 r + B 2 + B 3 4 r, 2 2 για κάποιες σταθερές B 1, B 2, B 3. 27/11/ / 55

81 Ειδική λύση Υπολογισµός Ειδικής λύσης Θα εξετάσουµε ορισµένες περιπτώσεις όπου υπάρχει αλγόριθµος. ΕΝ υπάρχει γενικός αλγόριθµος. 27/11/ / 55

82 f(r) = πολυώνυµο(r) : φ(1) 0 Πρόταση Αν f(r) = F 1 r t + + F t r + F t+1, t 1, η Ειδική λύση είναι P 1 r t + + P t r + P t+1 και οι σταθερές P i υπολογίζονται µε αντικατάσταση. ΠΑΡΑ ΕΙΓΜΑ ίδεται: a r + 5a r 1 + 6a r 2 = 3r 2. Ειδική λύση: p r = P 1 r 2 + P 2 r + P 3. Αντικατάσταση: 3r 2 = (P 1 r 2 + P 2 r + P 3 )+5[P 1 (r 1) 2 + P 2 (r 1)+P 3 ]+6[P 1 (r 2) 2 + P 2 (r 2)+P 3 ] 12P 1 r 2 + r(12p 2 34P 1 ) + (12P P 1 17P 2 ) = 3r 2 12P 1 = 3 12P 2 34P 1 = 0 12P P 1 17P 2 = 0 P 1 = 1/4 P 2 = 17/24 P 3 = 115/288 27/11/ / 55

83 f(r) = πολυώνυµο(r) β r : φ(β) 0 Πρόταση Αν f(r) = β r : φ(β) 0, τότε η Ειδική λύση είναι Pβ r, P =σταθερά. Γενικότερα, αν f(r) = (F 1 r t + + F t r + F t+1 )β r : φ(β) 0, τότε η Ειδική λύση είναι (P 1 r t + + P t r + P t+1 )β r, P i σταθερές. ΠΑΡΑ ΕΙΓΜΑ ίδεται: a r + a r 1 = 3r 2 r : φ(2) = 2 r + 2 r 1 0. Ειδική λύση: p r = (P 1 r + P 2 )2 r. Αντικατάσταση: (P 1 r + P 2 )2 r + (P 1 (r 1) + P 2 )2 r 1 = 3r 2 r { 2(P 1 r + P 2 ) + [P 1 (r 1) + P } 2 ] = 3r { 2 } 2P 1 + P 1 = 6 (r) P1 = 2 2P 2 P 1 + P2 = 0 (1) P 2 = 2/3 27/11/ / 55

84 f(r) = πολυώνυµο(r) β r : φ(β) = 0 Πρόταση Αν f(r) = (F 1 r t F t r + F t+1 )β r : φ(β) = 0, µε πολλαπλότητα µ, τοτε η Ειδική λύση είναι, για κάποιες σταθερές P i, r µ ( P 1 r t + + P t r + P t+1 ) β r. Οι περιπτώσεις πολυωνύµων f(r), µε φ(1) = 0, ανάγονται στην περίπτωση της εκθετικής µε β = 1. ΠΑΡΑ ΕΙΓΜΑ ίδεται: a r = a r a r a r 1 = 7 1 r. φ = x 1 φ(1) = 0, µ = 1. Ειδική λύση: p r = r 1 (P) 1 r = rp, Αντικατάσταση: rp (r 1)P = 7 P = 7. Προσοχή: Αν αγνοήσω το β r, δηλ. ϑεωρήσω f(r) = 7 = F 1 (πολυώνυµο), τότε p r = P P = P + 7 (Λάθος). 27/11/ / 55

85 Παράδειγµα [Liu,10.10] ΠΑΡΑ ΕΙΓΜΑ ίδεται a r 2a r 1 + a r 2 = 7 1 r. β = 1 και φ = x 2 2x + 1 = (x 1) 2 φ(β) = 0 µε πολλαπλότητα µ = 2. Ειδική λύση: p r = r 2 P 1 r. Αντικατάσταση r 2 P 2(r 1) 2 P + (r 2) 2 P = 7 r 2 : P 2P + P = 0 r : 4P 4P = 0 P = : 2P + 4P = 7 27/11/ / 55

86 f(r) = πολυώνυµο + εκθετική Πρόταση Αν f(r) = πολυώνυµο + εκθετική, τότε η Ειδική λύση είναι άθροισµα των δύο Ειδικών λύσεων. ΠΑΡΑ ΕΙΓΜΑ ίδεται: a r 5a r 1 + 6a r 2 = 2 r + r. φ(x) = x 2 5x + 6 = (x 2)(x 3), ϱίζα = 2, µε πολλαπλότητα µ = 1. Ειδική λύση: p r = rp 1 2 r + (P 2 r + P 3 ). Αντικατάσταση: (rp 1 2 r + P 2 r + P 3 ) 5[(r 1)P 1 2 r 1 + P 2 (r 1) + P 3 ]+ +6[(r 2)P 1 2 r 2 + P 2 (r 2) + P 3 ] = 2 r + r 2 r 2 [4rP 1 10(r 1)P 1 + 6(r 2)P 1 ] = 2 r P 1 = 2 r[p 2 5P 2 + 6P 2 ] = r P 2 = 1/2 P 3 + 5P 2 5P 3 12P 2 + 6P 3 = 0 P 3 = 7/4 27/11/ / 55

87 Ειδικές λύσεις: αθροισµα Πρόταση Οι περιπτώσεις που εξετάσαµε γενικεύονται στην εξης περίπτωση: f(r) = πολυώνυµο(r) β r + πολυώνυµο (r) γ r, όπου µπορεί τα πολυώνυµα να είναι σταθερά (και ίσα µε τη µονάδα ή το µηδέν) και τα β,γ R δύναται να είναι µονάδες. Ελέγχουµε αν τα β,γ είναι χαρακτηριστικές ϱίζες. Υπολογίζουµε δύο κατάλληλες ειδικές λύσεις και τις προσθέτουµε. 27/11/ / 55

88 Ολικές λύσεις Ολική λύση = Οµογενής λύση + Ειδική λύση. Προσδιορισµός συντελεστών οµογενούς λύσεως µέσω k συνεχόµενων συνοριακών συνθηκών. Ο προσδιορισµός ανάγεται σε k k γραµµικό σύστηµα το οποίο (αποδεικνύεται πως) έχει µοναδική λύση. 27/11/ / 55

89 Ολικές λύσεις a r = B 1 a r 1 + B 2 a r B k a r k + p(r) }{{}}{{} οµογενής ειδική k γραµµικές εξισώσεις µε αγνώστους B 1,..., B k a r0 = B 1 a r0 1 + B 2a r B ka r0 k + p(r 0) a r0+1 = B 1 a r B 2 a r B k a r0+1 k + p(r 0 + 1). a r0+k 1 = B 1 a r0+k B 2 a r0+k B k a r0+k 1 k + p(r 0 + k 1) 27/11/ / 55

90 Ολικές λύσεις Λύνοντας το προηγούµενο σύστηµα προσδιορίζουµε τους σταθερούς συντελεστές B 1,, B k. Καταλήξαµε σε µία Ολική λύση a r η οποία ικανοποιεί τις αρχικές συνθήκες. Από προηγούµενο Θεώρηµα, αυτή η λύση είναι µοναδική. 27/11/ / 55

91 Παράδειγµα ΠΑΡΑ ΕΙΓΜΑ a r + 5a r 1 + 6a r 2 = 42 4 r a 2 = 278, a 3 = 962 Ολική λύση a r = B 1 ( 2) r + B 2 ( 3) r r { } { } 278 = 4B1 + 9B B1 = 1 = = 962 = 8B 1 27B B 2 = 2 a r = ( 2) r + 2( 3) r r 27/11/ / 55

92 Fibonacci ΠΑΡΑ ΕΙΓΜΑ a r a r 1 a r 2 = 0, a 0 = a 1 = 1 Οµογενής: h r = B 1 ( ) r + B 2 ( ) r Ειδική λύση: p r = P : P P P = 0 P = 0, όπου φ(1) 0. Ολική λύση: = h r + 0 : 1 = a 0 = B 1 + B = a 1 = B 1 + B } = B 1 = B 2 = } Αρα [ (1 a r = 1 ) r+1 ( ) r+1 ] , r /11/ / 55