Σχεδίαση & Ανάλυση Αλγορίθμων

Transcript

1 Σχεδίαση & Ανάλυση Αλγορίθμων Ενότητα 1 Αλγόριθμοι και Πολυπλοκότητα Σταύρος Δ. Νικολόπουλος Τμήμα Μηχανικών Η/Υ & Πληροφορικής Πανεπιστήμιο Ιωαννίνων Webpage:

2 Εισαγωγή Ας ξεκινήσουμε

3 Εισαγωγή Δημιουργούνται επομένως ερωτήματα όπως:

4 Εισαγωγή Τι είναι Αλγόριθμος? Αλγόριθμος Μέθοδος για την επίλυση ενός προβλήματος Δομή Δεδομένων Μέθοδος αποθήκευσης δεδομένων

5 Εισαγωγή Αλγόριθμος Πολλαπλασιασμού

6 Εισαγωγή Οι αλγόριθμοι προϋπάρχουν των υπολογιστών Αλγόριθμος του Ευκλείδη Αλγόριθμος του Ευκλείδη για υπολογισμό του μέγιστου κοινού διαιρέτη Βασίζεται στον κανόνα όπου είναι θετικοί ακέραιοι int Euclid(int x, int y) { if y==0 return x; return Euclid(y, x%y); } Παράδειγμα Euclid (128,40)= Euclid (40,8)= Euclid (8,0)= 8 Ευκλείδης (300 πχ)

7 Εισαγωγή Προβλήματα και Στιγμιότυπα Ορθότητα

8 Εισαγωγή Ορθότητα

9 Εισαγωγή Πολυπλοκότητα

10 Εισαγωγή Πολυπλοκότητα Πολυπλοκότητα Αλγόριθμου Άνω Φράγμα του Π = Απόδειξη ενός ελάχιστου χρόνου για την επίλυση του προβλήματος Π Κάτω Φράγμα του Π Βέλτιστος (optimal) Αλγόριθμος

11 Εισαγωγή Πρόβλημα Π Αλγόριθμος Άνω Φράγμα του προβλήματος Π Το Π απαιτεί χρόνο το ΠΟΛΥ T 1 (n)

12 Εισαγωγή Πρόβλημα Π Αλγόριθμος Άνω Φράγμα του προβλήματος Π Το Π απαιτεί χρόνο το ΠΟΛΥ T 1 (n) Το Π απαιτεί χρόνο ΤΟΥΛΑΧΙΣΤΟ T 2 (n) Θεώρημα Κάτω Φράγμα του προβλήματος Π

13 Εισαγωγή Πρόβλημα Π Αλγόριθμος Άνω Φράγμα του προβλήματος Π Το Π απαιτεί το χρόνο το ΠΟΛΥ T(n) Το Π απαιτεί το χρόνο ΤΟΥΛΑΧΙΣΤΟ T(n) Θεώρημα Κάτω Φράγμα του προβλήματος Π Βέλτιστος Αλγόριθμος

14 Εισαγωγή Πολυπλοκότητα Εμπειρική Θεωρητική!!!!!!!

15 Εισαγωγή Πολυπλοκότητα Εμπειρική

16 Αποτελεσματικότητα Αλγορίθμου Θεωρητική Πολυπλοκότητα

17 Αποτελεσματικότητα Αλγορίθμου Πολυπλοκότητα

18 Αποτελεσματικότητα Αλγορίθμου Εστιάζω στο Χρόνο Πολυπλοκότητα

19 Αποτελεσματικότητα Αλγορίθμου Πολυπλοκότητα

20 Αποτελεσματικότητα Αλγορίθμου Πλεονεκτήματα Θεωρητική Προσέγγισης Ερώτημα

21 Βασικές Πράξεις Βασική Πράξη

22 Βασικές Πράξεις n-1 βασικές πράξεις

23 Βασικές Πράξεις

24 Βασικές Πράξεις α) [1, 3, 5, 2, 9, 7] b) [9, 3,7, 2, 1, 5] c) [5, 7, 1, 2, 9, 3] d) [7, 9, 5, 2, 3, 1] max = 9 Το πλήθος των συγκρίσεων S[i] > max είναι το ίδιο!!!

25 Βασικές Πράξεις α) [1, 3, 5, 2, 9, 7] x = 5 b) [9, 3,7, 2, 1, 5] c) [5, 7, 1, 2, 9, 3] d) [7, 9, 2, 4, 3, 1] Το πλήθος των συγκρίσεων S[index] <> x ΔΕΝ είναι το ίδιο!!!

26 Πολυπλοκότητα Χρόνου

27 Πολυπλοκότητα Χρόνου

28 Πολυπλοκότητα Χρόνου

29 Πολυπλοκότητα Χρόνου

30 Πολυπλοκότητα Χρόνου

31 Πολυπλοκότητα Χρόνου

32 Πολυπλοκότητα Χρόνου

33 Πολυπλοκότητα Χρόνου

34 Πολυπλοκότητα Χρόνου 1 Πρόβλημα: Εύρεση του max στοιχείου Αλγόριθμος: Find_Max-1

35 1 Πολυπλοκότητα Χρόνου

36 Πολυπλοκότητα Χρόνου 2 Πρόβλημα: Εύρεση του max στοιχείου Αλγόριθμος: Find_Max-2

37 2 Πολυπλοκότητα Χρόνου

38 Πολυπλοκότητα Χρόνου 3 Πρόβλημα: Εύρεση του min-max στοιχείων Αλγόριθμος: Find_Min_Max-1

39 3 Πολυπλοκότητα Χρόνου

40 Πολυπλοκότητα Χρόνου 4 Πρόβλημα: Εύρεση του min-max στοιχείων Αλγόριθμος: Find_Min_Max-2

41 4 Πολυπλοκότητα Χρόνου

42 Πολυπλοκότητα Χρόνου 5 Πρόβλημα: Εύρεση δεύτερου max στοιχείου Αλγόριθμος: Find_Second_Max-1

43 5 Πολυπλοκότητα Χρόνου

44 Πολυπλοκότητα Χρόνου 6 Πρόβλημα: Εύρεση δεύτερου max στοιχείου Αλγόριθμος: Find_Second_Max-2

45 Πολυπλοκότητα Χρόνου

46 Ασυμπτωτική Πολυπλοκότητα Έως τώρα Ερώτημα Επόμενο Εύλογο Ερώτημα Υπολογισμός του πλήθους των Βασικών Πράξεων ενός αλγόριθμου - W(n) και A(n) Μήπως με αυτή την προσέγγιση της πολυπλοκότητα υπεισέρχονται στον υπολογισμό μας και παράγοντες οι οποίοι δεν μας διευκολύνουν να εκτιμήσουμε την αποτελεσματικότητα ενός αλγόριθμου; Είναι οι παράγοντες αυτοί τόσο σημαντικοί ώστε να μην μπορούν να αγνοηθούν;

47 Ασυμπτωτική Πολυπλοκότητα Ας αναφερθούμε στο πρώτο ερώτημα. Έστω Αλγόριθμος Α με πολυπλοκότητα W(n) = n 3 / 4 Αλγόριθμος B με πολυπλοκότητα W(n) = 10 n 2 Ισχύει n 3 / 4 < 10 n 2 για n < 40 Τότε Ο αλγόριθμος Α είναι αποτελεσματικότερος του Β. Όμως Χωρίς δυσκολία, παρατηρούμε ότι για μεγάλες τιμές του n (μέγεθος εισόδου) ο αλγόριθμος Β είναι πολύ πιο αποτελεσματικός από τον αλγόριθμο Α.

48 Πολυπλοκότητα Αλγορίθμου Παράδειγμα 3n 3 ΒΠ n ΒΠ Πρόβλημα π

49 Ασυμπτωτική Πολυπλοκότητα Από το παραπάνω παράδειγμα γίνεται σαφές ότι: Χρειαζόμαστε ένα τρόπο να εξασφαλίσουμε μερικές κατηγορίες συναρτήσεων οι οποίες ΕΞΑΛΕΙΦΟΥΝ ΜΗ-ΣΗΜΑΝΤΙΚΟΥΣ ΠΑΡΑΓΟΝΤΕΣ όπως σταθερές, μικρού μεγέθους εισόδους, κλπ.

50 Ασυμπτωτική Πολυπλοκότητα

51 Ασυμπτωτική Πολυπλοκότητα

52 Ασυμπτωτική Πολυπλοκότητα

53 Ασυμπτωτική Πολυπλοκότητα

54 Ασυμπτωτική Πολυπλοκότητα

55 Ασυμπτωτική Πολυπλοκότητα

56 Ασυμπτωτική Πολυπλοκότητα

57 Ασυμπτωτική Πολυπλοκότητα

58 Ασυμπτωτική Πολυπλοκότητα

59 Ασυμπτωτική Πολυπλοκότητα

60 Ασυμπτωτική Πολυπλοκότητα

61 Ασυμπτωτική Πολυπλοκότητα

62 Ασυμπτωτική Πολυπλοκότητα Πολυπλοκότητα Ο(n 3 ) Πολυπλοκότητα Ο(n) Πρόβλημα π

63 Ασυμπτωτική Πολυπλοκότητα Αλγόριθμος: Find_Min_Max-1 W(n) = Ο(n) A(n) = Ο(n)

64 Ασυμπτωτική Πολυπλοκότητα Αλγόριθμος: Find_Min_Max-2 W(n) = Ο(n) A(n) = Ο(n)

65 Ασυμπτωτική Πολυπλοκότητα Αλγόριθμος: MinMax W(n) =??????

66 Ασυμπτωτική Πολυπλοκότητα Αναδρομική Σχέση

67 Αναδρομικές Σχέσεις Επίλυση Αναδρομικών Σχέσεων Επίλυση με Μαντεψιά Με Χρήση της Χαρακτηριστικής Εξίσωσης Με Επαναληπτική Αντικατάσταση Κύρια Μέθοδος (Master Method)

68 Αναδρομικές Σχέσεις Επίλυση της Αναδρομικής Σχέσης

69 Αναδρομικές Σχέσεις

70 Αναδρομικές Σχέσεις

71 Αναδρομικές Σχέσεις

72 Αναδρομικές Σχέσεις

73 Αναδρομικές Σχέσεις Επίλυση της Αναδρομικής Σχέσης

74 Αναδρομικές Σχέσεις

75 Αναδρομικές Σχέσεις

76 Αναδρομικές Σχέσεις

77 Αναδρομικές Σχέσεις Επίλυση της Αναδρομικής Σχέσης

78 Αναδρομικές Σχέσεις

79 Αναδρομικές Σχέσεις

80 Κύρια Μέθοδος ή Κύριο Θεώρημα Κύρια Μέθοδος (Master Method)

81 Κύρια Μέθοδος ή Κύριο Θεώρημα

82 Κύρια Μέθοδος ή Κύριο Θεώρημα Θεωρούμε ότι:

83 Κύρια Μέθοδος ή Κύριο Θεώρημα 1 εάν 2 εάν 3 εάν!!!

84 Κύρια Μέθοδος ή Κύριο Θεώρημα Παράδειγμα 1: και Ισχύει : 2

85 Κύρια Μέθοδος ή Κύριο Θεώρημα Παράδειγμα 2: και Ισχύει : 2

86 Κύρια Μέθοδος ή Κύριο Θεώρημα Παράδειγμα 3: και Ισχύει : 3

87 Κύρια Μέθοδος ή Κύριο Θεώρημα Παράδειγμα 4:??????

88 Κύρια Μέθοδος ή Κύριο Θεώρημα Παράδειγμα 4:

89 Άνω και Κάτω φράγματα Πρόβλημα Π?????? Αλγόριθμος Πόσο αποτελεσματικός είναι ο Αλγόριθμος που σχεδίασα για το πρόβλημα Π?

90 Άνω και Κάτω φράγματα Πολυπλοκότητα Αλγόριθμος Άνω Φράγμα του Π Κάτω Φράγμα του Π Θεώρημα Βέλτιστος Αλγόριθμος

91 Άνω και Κάτω φράγματα Πόσο αποτελεσματικός είναι ο Αλγόριθμος Α που επιλύει το Πρόβλημα Π? Πρόβλημα P Ανέλυσε τον αλγόριθμο Α και υπολόγισε μια συνάρτηση W A τέτοια ώστε: για κάθε είσοδο Ι μήκους n, Α απαιτεί το πολύ W A (n) πράξεις για την επίλυση του Π. Βρες μια συνάρτηση F και απέδειξε το εξής Θεώρημα: για κάθε αλγόριθμο Χ (ίδιας κλάσης) που επιλύει το πρόβλημα Π υπάρχει μια είσοδος μήκους n, για την οποία ο αλγόριθμος απαιτεί τουλάχιστο F(n) πράξεις.

92 Άνω και Κάτω φράγματα Πόσο αποτελεσματικός είναι ο Αλγόριθμος Α που επιλύει το Πρόβλημα Π? Πρόβλημα P 1. Άνω Φράγμα $ A, " I, A(I) = P(I) & Time(A,I) T upper ( I ) 2. Κάτω Φράγμα " A, $ I, A(I) = P(I) or Time(A,I) T lower ( I )

93 Άνω και Κάτω φράγματα Ο(n 4 ) Αλγόριθμος 1 Πρόβλημα Π Πολυπλοκότητας Ο(n) Ο(n 3 ) Αλγόριθμος 2 Ο(n 2 ) Αλγόριθμος 3 Ο(n) Αλγόριθμος 4 Ω(n) Θεώρημα 3 Άνω Φράγμα Κάτω Φράγμα Ω(logn ) Θεώρημα 2 Ω(1) Θεώρημα 1

94 Άνω και Κάτω φράγματα Ο(n 4 ) Αλγόριθμος 1 Ο(n 3 ) Αλγόριθμος 2 ΚΕΝΟ Ω(n 2 ) Θεώρημα 4 Πρόβλημα Π Πολυπλοκότητας Ο(n 3 ) Άνω Φράγμα Κάτω Φράγμα Ω(n) Θεώρημα 3 Ω(logn ) Θεώρημα 2 Ω(1) Θεώρημα 1

95 Άνω και Κάτω φράγματα Πρόβλημα Παράδειγμα Εύρεση του ΜΑΧ στοιχείου από ένα σύνολο S, με S =n και στοιχεία τύπου type(s). Κλάση Αλγορίθμων: Βασικές Πράξεις: Αλγόριθμοι που Συγκρίνουν και Αντιγράφουν στοιχεία τύπου type(s). Σύγκριση ενός στοιχείου του S με οποιοδήποτε άλλο στοιχείο τύπου type(s).

96 Άνω και Κάτω φράγματα Άνω Φράγμα Παράδειγμα Αλγόριθμος: Find_Max Το πλήθος των Βασικών Πράξεων (S[i]>max) είναι ακριβώς n-1, και επομένως W Find_Max (n) = n-1.

97 Άνω και Κάτω φράγματα Άνω Φράγμα Παράδειγμα Αλγόριθμος: Find_Max Υπάρχει Ταχύτερος Αλγόριθμος!!! Το πλήθος των Βασικών Πράξεων (S[i]>max) είναι ακριβώς n-1, και επομένως W Find_Max (n) = n-1.

98 Άνω και Κάτω φράγματα Κάτω Φράγμα Παράδειγμα Υπολόγισε ένα ελάχιστο πλήθος Βασικών Πράξεων που απαιτούνται για την επίλυση του Προβλήματος Έστω ένα σύνολο S με n στοιχεία τύπου type(s). Υποθέτουμε ότι όλα τα στοιχεία είναι διαφορετικά. Μπορούμε να κάνουμε αυτή την υπόθεση γιατί το κάτω φράγμα αποδεικνύεται για την χειρίστη-περίπτωση και επομένως όλες οι είσοδοι είναι αποδεκτές.

99 Άνω και Κάτω φράγματα Κάτω Φράγμα Παράδειγμα Υπολόγισε ένα ελάχιστο πλήθος Βασικών Πράξεων που απαιτούνται για την επίλυση του Προβλήματος Στο σύνολο S, που έχει n διαφορετικά στοιχεία, υπάρχουν n-1 που δεν είναι max. Ένα στοιχείο x του S, ΔΕΝ είναι max μόνο εάν είναι μικρότερο από ένα τουλάχιστο στοιχείο y του S (x<y). Στη σύγκριση (x<y), το στοιχείο x είναι ο ηττημένος, και το στοιχείο y είναι ο νικητής.

100 Άνω και Κάτω φράγματα Κάτω Φράγμα Παράδειγμα Υπολόγισε ένα ελάχιστο πλήθος Βασικών Πράξεων που απαιτούνται για την επίλυση του Προβλήματος Άρα, n-1 στοιχεία πρέπει να νικηθούν συγκρινόμενα. Προσοχή: με οποιοδήποτε Αλγόριθμο και αν επινοήσουμε!!! Κάθε σύγκριση έχει μόνο ένα ηττημένο (και φυσικά μόνο ένα νικητή ). Άρα, πρέπει να τουλάχιστο n-1 συγκρίσεις!!!

101 Άνω και Κάτω φράγματα Κάτω Φράγμα Παράδειγμα Υπολόγισε ένα ελάχιστο πλήθος Βασικών Πράξεων που απαιτούνται για την επίλυση του Προβλήματος Αυτό σημαίνει ότι, εάν υπάρχουν δύο ή περισσότεροι μη-ηττημένοι όταν οποιοσδήποτε Αλγόριθμος τερματίσει, τότε δεν θα μπορεί να εντοπίσει το max. Άρα, F(n) = n-1 είναι ένα κάτω-φράγμα για το πλήθος των απαιτούμενων συγκρίσεων!!!

102 Κλάσεις Πολυπλοκότητας Πολυπλοκότητα

103 Κλάσεις Πολυπλοκότητας Πολυπλοκότητα

104 Κλάσεις Πολυπλοκότητας Πολυπλοκότητα

105 Κλάσεις Πολυπλοκότητας Πολυπλοκότητα

106 Κλάσεις Πολυπλοκότητας Πολυπλοκότητα

107 Κλάσεις Πολυπλοκότητας Πολυπλοκότητα Ενότητα Αλγόριθμοι και Πολυπλοκότητα

108 Ερωτήματα - Προβληματισμοί Ιστορία των Sissa και Moore

109 Ερωτήματα - Προβληματισμοί Ιστορία του Sissa Σύμφωνα με την παράδοση όταν κάποτε ο ηγεμόνας της περιοχής που ζούσε ο βραχμάνος Σίσσα κάλεσε αυτόν για να επιδείξει το παιγνίδι που είχε εφεύρει, τόσο πολύ γοητεύτηκε απ αυτό που ρώτησε τον Σίσσα τι θα ήθελε ως ανταμοιβή. Τότε ο σοφός εκείνος ζήτησε

110 Ερωτήματα - Προβληματισμοί Το αίτημα του Sissa Το σιτάρι που χρειάζονταν ανέρχονταν σε κόκκους, που αυτοί εκπεφρασμένοι σε βάρος, έχοντας ότι το βάρος ενός κόκκου ίσο με 0, 053 γραμμάρια, ισοδυναμούσαν στη τεράστια ποσότητα των τόνων!

111 Ερωτήματα - Προβληματισμοί Ιστορία του Moore Νόμος του Moore 1965 Ως «Νόμος του Μουρ» ονομάζεται η παρατήρηση πως ο αριθμός των τρανζίστορ ενός πυκνού ολοκληρωμένου κυκλώματος διπλασιάζεται κάθε δύο χρόνια.

112 Ερωτήματα - Προβληματισμοί Ιστορία του Moore Νόμος του Moore 1965 Διατηρεί την ισχύ του αξιοσημείωτα καλά επί 40 χρόνια!!!

113 Ερωτήματα - Προβληματισμοί Ιστορία του Moore Νόμος του Moore 1965

114 Ερωτήματα - Προβληματισμοί Ιστορία του Moore Νόμος του Moore 1965 Ο Νόμος του Moore δίνει αντικίνητρα για την ανάπτυξη πολυωνυμιών αλγορίθμων??? Εάν ένας αλγόριθμος είναι εκθετικός, γιατί να μην περιμένουμε μέχρι να τον κάνει εφικτό ο Νόμος του Moore!!! Συμβαίνει το αντίθετο!!! Ο Νόμος του Moore αποτελεί ένα τεράστιο κίνητρο για την ανάπτυξη αποδοτικών αλγορίθμων!!!!

115 Ερωτήματα - Προβληματισμοί Ιστορία του Moore Νόμος του Moore 1965 Ορίστε γιατί!!! Ένας αλγόριθμος Ο(2 n ) για το πρόβλημα SAT είχε στη διάθεσή του 1 ώρα, θα μπορούσε να λύσει το πρόβλημα με 25 μεταβλητέ το 1975, με 31 μεταβλητές το 1985, με 38 μεταβλητές το 1995, και με περίπου 45 μεταβλητές με τους σημερινού Η/Υ.

116 Ερωτήματα - Προβληματισμοί Ιστορία του Moore Νόμος του Moore 1965 Αρκετή Πρόοδος!!! Κάθε επιπλέων μεταβλητή απαιτεί ΕΝΑΜΙΣΗ χρόνο αναμονής!!!!!! Αντίθετα. Το μέγεθος των στιγμιότυπων που επιλύονται από έναν αλγόριθμο Ο(n) ή ένα αλγόριθμο Ο(n logn) ΕΚΑΤΟΝΤΑΠΛΑΣΙΑΖΕΤΕ κάθε δεκαετία!!!!!!

117 Ερωτήματα - Προβληματισμοί Ιστορία των Sissa και Moore Οι Εκθετικοί Αλγόριθμοι παρουσιάζουν πολυωνυμική αργή πρόοδο!!! ενώ οι Πολυωνυμικοί Αλγόριθμοι παρουσιάζουν εκθετικά γρήγορα πρόοδο!!!

118 Ερωτήματα - Προβληματισμοί Πολυπλοκότητα Αλγόριθμοι Πολυωνυμικοί Εκθετικοί Ο(n k ), k 1 Πολυωνυμικό Χρόνο Εκτέλεσης Ο(c n ), c >1 Εκθετικό Χρόνο Εκτέλεσης

119 Ερωτήματα - Προβληματισμοί???? Πρόβλημα π

120 Ερωτήματα - Προβληματισμοί Ακολουθία Fibonacci εάν εάν εάν

121 Ερωτήματα - Προβληματισμοί Ακολουθία Fibonacci Οι αριθμοί Fibonacci αυξάνουν σχεδόν το ίδιο γρήγορα με τις δυνάμεις του 2 Για παράδειγμα: αποτελείται ήδη από 21 ψηφία!!! Γενικά:

122 Ερωτήματα - Προβληματισμοί Αλγόριθμος Fib1 Fib1(n) if n=0 then return 0 if n=1 then return 1 return Fib1(n-1)+ Fib1(n-2)

123 Ερωτήματα - Προβληματισμοί Αλγόριθμος Fib1 Fib1(n) if n=0 then return 0 if n=1 then return 1 return Fib1(n-1) + Fib1(n-2) Ερωτήματα Μόνο 3!!! Είναι σωστός; Πόσο χρόνο επαιτεί (ως συνάρτηση του μεγέθους n της εισόδου); Μπορούμε να τον βελτιώσουμε;

124 Ερωτήματα - Προβληματισμοί Αλγόριθμος Fib1 1 Είναι σωστός; Fib1(n) if n=0 then return 0 if n=1 then return 1 return Fib1(n-1)+Fib1(n-2) Ακαδημαϊκή ερώτηση!!! καθώς ο αλγόριθμος Fib1 είναι ακριβώς ο ορισμός του Fibinacci για το F n. Καμία σοβαρή δική μας σκέψη!!!

125 Ερωτήματα - Προβληματισμοί Αλγόριθμος Fib1 2 Πόσο χρόνο επαιτεί; Fib1(n) if n=0 then return 0 if n=1 then return 1 return Fib1(n-1)+Fib1(n-2) Έστω T(n) το πλήθος των υπολογιστικών βημάτων (βασικών πράξεων) που απαιτούνται για τον υπολογισμό της Fib1(n).

126 Ερωτήματα - Προβληματισμοί Αλγόριθμος Fib1 2 Πόσο χρόνο επαιτεί; Fib1(n) if n=0 then return 0 if n=1 then return 1 return Fib1(n-1)+Fib1(n-2)

127 Ερωτήματα - Προβληματισμοί Αλγόριθμος Fib1 2 Πόσο χρόνο επαιτεί; Fib1(n) if n=0 then return 0 if n=1 then return 1 return Fib1(n-1)+Fib1(n-2) Πολύ άσχημα νέα!!! Ο χρόνος εκτέλεσης του αλγόριθμου αυξάνει το ίδιο γρήγορα με τους αριθμούς Fibonacci!!! Εκθετικό ως προς το n

128 Ερωτήματα - Προβληματισμοί Αλγόριθμος Fib1 2 Πόσο χρόνο επαιτεί; Fib1(n) if n=0 then return 0 if n=1 then return 1 return Fib1(n-1)+Fib1(n-2) Τι σημαίνει αυτό?... Πόσο κακός είναι ο Fib1? υπολογιστικά βήματα Earth Simulator της NEC με ταχύτητα 40 τρισεκατομμύρια βήματα/sec Η συνάρτηση Fib1(200) απαιτεί sec

129 Ερωτήματα - Προβληματισμοί Αλγόριθμος Fib1 2 Πόσο χρόνο επαιτεί; Fib1(n) if n=0 then return 0 if n=1 then return 1 return Fib1(n-1)+Fib1(n-2) Η συνάρτηση Fib1(200) απαιτεί sec Εάν ξεκινήσει σήμερα τον υπολογισμό, αυτός θα συνεχιζόταν και μετά την μετατροπή του ήλιου μας σε κόκκινο γίγαντα!!!!

130 Ερωτήματα - Προβληματισμοί Αλγόριθμος Fib1 Fib1(n) if n=0 then return 0 if n=1 then return 1 return Fib1(n-1)+Fib1(n-2) Η ταχύτητα των Η/Υ διπλασιάζεται περίπου κάθε 18 μήνες (Νόμος του Moore) Ίσως τότε ο αλγόριθμος Fib1 να εκτελείται πολύ πιο γρήγορα στους Η/Υ του επόμενου έτους!!!! Ο χρόνος εκτέλεσης του Fib1(n) είναι ανάλογος του n (1.6) n Σήμερα το Fib1(100), το επόμενο έτος το Fib1(101), το επόμενο το Fib1(102), Ένα μόνο όρο κάθε έτος!!!!!

131 Ερωτήματα - Προβληματισμοί Αλγόριθμος Fib1 Fib1(n) if n=0 then return 0 if n=1 then return 1 return Fib1(n-1)+Fib1(n-2) Γιατί ο αλγόριθμός μας είναι τόσο αργός? Πρέπει να τον μελετήσουμε και να απαντήσουμε την ερώτηση!!!!????

132 Ερωτήματα - Προβληματισμοί Αλγόριθμος Fib1 Fib1(n) if n=0 then return 0 if n=1 then return 1 return Fib1(n-1)+Fib1(n-2)

133 Ερωτήματα - Προβληματισμοί Αλγόριθμος Fib1 Fib1(n) if n=0 then return 0 if n=1 then return 1 return Fib1(n-1)+Fib1(n-2)

134 Ερωτήματα - Προβληματισμοί Αλγόριθμος Fib1 Fib1(n) if n=0 then return 0 if n=1 then return 1 return Fib1(n-1)+Fib1(n-2)

135 Ερωτήματα - Προβληματισμοί Αλγόριθμος Fib1 Fib1(n) if n=0 then return 0 if n=1 then return 1 return Fib1(n-1)+Fib1(n-2)

136 Ερωτήματα - Προβληματισμοί Αλγόριθμος Fib1 3 Μπορούμε να τον βελτιώσουμε; Fib1(n) if n=0 then return 0 if n=1 then return 1 return Fib1(n-1)+Fib1(n-2) Ιδέα!!! Να αποθηκεύουμε τα ενδιάμεσα αποτελέσματα!!!!

137 Ερωτήματα - Προβληματισμοί Αλγόριθμος Fib2 Fib2(n) if n=0 then return 0 Δημιούργησε έναν πίνακα f[0..n] Θέσε f[0]=0 και f[1]=1 for i=2 to n do f[i]=f[i-1]+f[i-2] return f[n] f

138 Ερωτήματα - Προβληματισμοί Αλγόριθμος Fib2 1 Είναι σωστός; Η ορθότητα προκύπτει άμεσα από τον ορισμό του F n Fib2(n) if n=0 then return 0 Δημιούργησε έναν πίνακα f[0..n] Θέσε f[0]=0 και f[1]=1 for i=2 to n do f[i]=f[i-1]+f[i-2] return f[n] 2 Πόσο χρόνο επαιτεί; Ο εσωτερικός βρόχος έχει 1 μόνο υπολογιστικό βήμα και εκτελείται n-1 φορές Τώρα με τον Fib2(n) μπορούμε να υπολογίσουμε όχι μόνο τον όρο αλλά και τον!!!

139 Ερωτήματα - Προβληματισμοί Αλγόριθμος Fib2 3 Μπορούμε να τον βελτιώσουμε; ΝΑΙ!!! Fib2(n) if n=0 then return 0 Δημιούργησε έναν πίνακα f[0..n] Θέσε f[0]=0 και f[1]=1 for i=2 to n do f[i]=f[i-1]+f[i-2] return f[n] Ιδέα!!! Πολλαπλασιασμός Πινάκων!!!! Αλγόριθμος Fib3

140 Ερωτήματα - Προβληματισμοί Προβλήματα με Πολυωνυμική Λύση Πολυωνυμικοί Αλγόριθμοι Ο(n k ), k 1 Πολυωνυμικό Χρόνο Εκτέλεσης

141 Ερωτήματα - Προβληματισμοί Προβλήματα με Εκθετική Λύση Εκθετικοί Αλγόριθμοι Ο(c n ), c >1 Εκθετικό Χρόνο Εκτέλεσης

142 Ερωτήματα - Προβληματισμοί Προβλήματα Μη-επιλύσιμα ΔΕΝ ΥΠΑΡΧΕΙ ΚΑΝΕΝΑΣ ΑΛΓΌΡΙΘΜΟΣ

143 Ερωτήματα - Προβληματισμοί Προβλήματα Μη-επιλύσιμα Με δεδομένη μια πολυωνυμική εξίσωση πολλών μεταβλητών, όπως για παράδειγμα η εξίσωση υπάρχουν ακέραιες τιμές των x, y, z οι οποίες να την ικανοποιούν;

144 Ερωτήματα - Προβληματισμοί Προβλήματα Μη-επιλύσιμα Το πρώτο μη-επιλύσιμο πρόβλημα ανακαλύφθηκε το 1936 από τον Alan Turing, τότε φοιτητής των μαθηματικών στο Cambridge της Αγγλίας. Το Πρόβλημα του Τερματισμού Όταν το διατύπωσε ο Turing δεν υπήρχαν Η/Υ ή γλώσσες προγραμματισμού. Εμφανίστηκαν αργότερα ακριβώς επειδή είχε αυτή την λαμπρή και ευφυή ιδέα ο Turing.

145 Ερωτήματα - Προβληματισμοί Προβλήματα Μη-επιλύσιμα Πρόβλημα Τερματισμού Έστω ότι σας δίνεται ένα πρόγραμμα P στην αγαπημένη σας γλώσσα προγραμματισμού, μαζί με μια είσοδο X. Μπορείτε να απαντήσετε εάν το πρόγραμμα Π με την είσοδο X θα μπορέσει ποτέ να τερματίσει! Θα θέλαμε να είχαμε έναν Αλγόριθμο, ας τον ονομάσουμε terminates(p,x), ο οποίος μετά από υπολογισμούς θα μας έλεγε εάν το P με είσοδο Χ θα τερματίσει την εκτέλεσή του. Πως θα γράφατε το πρόγραμμα terminates(p,x)

146 Ερωτήματα - Προβληματισμοί Προβλήματα Μη-επιλύσιμα Πρόβλημα Τερματισμού Λοιπόν, δεν μπορείτε!... Τέτοιος αλγόριθμος δεν υπάρχει!!! Να και η απόδειξη: Υποθέστε ότι είχατε το πρόγραμμα terminates(p,x). Τότε θα μπορούσατε να το χρησιμοποιήσετε ως υποπρόγραμμα του ακόλουθου κακού προγράμματος: paradox(z: file) 1. if terminates(z,z) goto 1

147 Ερωτήματα - Προβληματισμοί Προβλήματα Μη-επιλύσιμα Πρόβλημα Τερματισμού paradox(z: file) 1. if terminates(z,z) goto 1 Παρατηρήστε τι κάνει το πρόγραμμα paradox: Τερματίζει, εάν και μόνο εάν το πρόγραμμα z δεν τερματίζει με είσοδο z. Και εάν εκτελούσαμε το πρόγραμμα paradox(paradox); Θα μπορούσε ποτέ να τερματίσει; Ή όχι; Καμία απάντηση δεν είναι δυνατή!!!!

148 Ερωτήματα - Προβληματισμοί Προβλήματα Μη-επιλύσιμα Πρόβλημα Τερματισμού Καταλήξαμε σε αντίφαση υποθέτοντας ότι υπάρχει αλγόριθμος που μπορεί να πει εάν ένα πρόγραμμα τερματίζει. Επομένως αυτό το πρόβλημα δεν μπορεί να λυθεί με κανένα αλγόριθμο!!! Όλα αυτά μας λένε κάτι σημαντικό για τον προγραμματισμό: ποτέ δεν θα αυτοματοποιηθεί, και πάντοτε θα βασίζεται στην πειθαρχεία, την επινοητικότητα, και την σοβαρή μελέτη!!!

149 Ερωτήματα - Προβληματισμοί Στόχος ο Σχεδιασμός Αποτελεσματικών Αλγορίθμων Τεχνικές Σχεδίασης Αναδρομή (recursion) Διαίρει και κυρίευε (divide and conquer) Δυναμικός προγραμματισμός (dynamic programming) Απληστία (greedy algorithms) Τυχαιοποίηση (randomization) Αντιστάθμιση (amortization)

150 Τέλος Ενότητας Ευχαριστώ για τη Συμμετοχή σας!!! Σταύρος Δ. Νικολόπουλος Τμήμα Μηχανικών Η/Υ & Πληροφορικής Πανεπιστήμιο Ιωαννίνων Webpage: