Θεωρήµατα Ιεραρχίας Ειδικά Θέµατα Υπολογισµού και Πολυπλοκότητας, Μάθηµα Βασικής Επιλογής Εαρινού Εξαµήνου Τοµέας Εφαρµογών και Θεµελιώσεων Απόστολος Φίλιππας Τµήµα Μηχανικών Η/Υ και Πληροφορικής 19 Μαΐου, 2011 Ειδικά Θέµατα Υπολογισµού και Πολυπλοκότητας ΤΜΗΥΠ/ΠΠ,Πέµπτη 19 Μαΐου 2011 1 / 26
Στην συνέχεια... Γιατί ϑεωρήµατα Ιεραρχίας; 1 Γιατί ϑεωρήµατα Ιεραρχίας; 2 3 Χρονική Κατασκευασιµότητα 4 Συµπεράσµατα Πορίσµατα Ειδικά Θέµατα Υπολογισµού και Πολυπλοκότητας ΤΜΗΥΠ/ΠΠ,Πέµπτη 19 Μαΐου 2011 2 / 26
Motivation Γιατί ϑεωρήµατα Ιεραρχίας; Η κοινή λογική µας υπαγορεύει το διαισθητικό συµπέρασµα πως αν δώσουµε περισσότερους πόρους σε µία µηχανή, τότε (γενικά) η µηχανή έχει περισσότερες δυνατότητες από πριν Ετσι και σε µία Turing Machine αν αυξήσουµε τον χρόνο ή τον χώρο που επιτρέπεται να χρησιµοποιήσει, ϑα διευρυνθεί και η κλάση των προβληµάτων που µπορεί να επιλύσει Τα ϑεωρήµατα ιεραρχίας αποδεικνύουν πως αυτή η διαισθητική πρόβλεψη ειναι σωστή αλλά κάτω από ορισµένες προϋποθέσεις τις οποίες ϑα αναλύσουµε παρακάτω Ειδικά Θέµατα Υπολογισµού και Πολυπλοκότητας ΤΜΗΥΠ/ΠΠ,Πέµπτη 19 Μαΐου 2011 3 / 26
Στην συνέχεια... 1 Γιατί ϑεωρήµατα Ιεραρχίας; 2 3 Χρονική Κατασκευασιµότητα 4 Συµπεράσµατα Πορίσµατα Ειδικά Θέµατα Υπολογισµού και Πολυπλοκότητας ΤΜΗΥΠ/ΠΠ,Πέµπτη 19 Μαΐου 2011 4 / 26
Χωρικά Κατασκευάσιµες Συναρτήσεις (1) Εστω f : N N, όπου η τιµή f(n) είναι τουλάχιστον τάξης O(logn) Θα λέµε πως η f είναι χωρικά κατασκευάσιµη (space constructible) εάν υπάρχει Turing Machine που υπολογίζει την f(n) σε χώρο O(f(n)) όταν ως είσοδο δώσουµε την λέξη 1 n. Με 1 n αναπαριστούµε την λέξη απο 1 µήκους n Με άλλα λόγια η Turing Machine χώρου O(f(n)) ξεκινά µε είσοδο 1 n και τερµατίζει έχοντας στην ταινία της την δυαδική αναπαράσταση του f(n) Ειδικά Θέµατα Υπολογισµού και Πολυπλοκότητας ΤΜΗΥΠ/ΠΠ,Πέµπτη 19 Μαΐου 2011 5 / 26
Χωρικά Κατασκευάσιµες Συναρτήσεις (2) Ολες οι συνήθεις συναρτήσεις που είναι µεγέθους τουλάχιστον O(logn) είναι χωρικά κατασκευάσιµες π.χ. f(n) = n 2, f(n) = n n, 2 π αλλά και οι logn, 2logn Οµως οι f(n) = loglogn, f(n) = c δεν είναι χωρικά κατασκευάσιµες Ειδικά Θέµατα Υπολογισµού και Πολυπλοκότητας ΤΜΗΥΠ/ΠΠ,Πέµπτη 19 Μαΐου 2011 6 / 26
Θεώρηµα της Χωρικής Ιεαραρχίας Για οποιαδήποτε χωρικά κατασκευάσιµη συνάρτηση f : N N, υπάρχει γλώσσα που διαγιγνώσκεται σε χώρο O(f(n)) αλλά όχι σε χώρο o(f(n)) Η διαίσθηση µας µας έλεγε πως δίνοντας περισσοτερο χώρο σε µία Turing Machine ϑα αυξηθεί και η υπολογιστική της ισχύς Είναι προφανές πως το να δώσουµε περισσοτερο χωρο δεν µπορει να κανει το µοντέλο µας πιο ασθενές µας λέει πως η διαίσθηση µας ήταν όντως σωστή - αρκεί ο παραπάνω αυτός χώρος να ειναι ασυµπτωτικά περισσότερος Ειδικά Θέµατα Υπολογισµού και Πολυπλοκότητας ΤΜΗΥΠ/ΠΠ,Πέµπτη 19 Μαΐου 2011 7 / 26
(1) Είναι προφανές πως µία Turing Machine χώρου o(f(n)) δεν µπορεί ποτέ να διαγιγνώσκει περισσότερες γλώσσες από µία Turing Machine χώρου O(f(n)) Αρκεί λοιπόν να δώσουµε µία γλώσσα η οποία Θα διαγιγνώσκεται απο Turing Machine χώρου O(f(n)) ΕΝ ϑα διαγιγνώσκεται απο Turing Machine χώρου o(f(n)) Γλώσσα L L = {(< M >, 10 k ) : η Μ δεν διαγιγνώσκει την λέξη (< M >, 10 k ) χρησιµοποιώντας χώρο f( < M >, 10 k )} Ειδικά Θέµατα Υπολογισµού και Πολυπλοκότητας ΤΜΗΥΠ/ΠΠ,Πέµπτη 19 Μαΐου 2011 8 / 26
(2) Θα δώσουµε τώρα και την τυπική περιγραφή της Turing Machine που διαγιγνώσκει την L D = Για είσοδο w, µε w = n 1 Υπολόγισε την τιµή f(n) χρησιµοποιώντας την χωρική κατασκευασιµότητα της f και οριοθέτησε χωρο f(n) στην ταινία. 2 Αν η w δεν ειναι της µορφής < M >, 10, όπου M µία Turing Machine τότε ΑΠΟΡΡΙΠΤΩ 3 Προσοµοίωσε την M για είσοδο w. Αν ο απαιτούµενος χώρος υπερβει το f(n) ή ο απαιτούµενος χρονος υπερβεί το 2 f(n) ΑΠΟΡΡΙΠΤΩ 4 Αν η M αποδέχεται, τοτε ΑΠΟΡΡΙΠΤΩ. Αν η M απορριπτει, τότε ΑΠΟ ΕΧΟΜΑΙ Ειδικά Θέµατα Υπολογισµού και Πολυπλοκότητας ΤΜΗΥΠ/ΠΠ,Πέµπτη 19 Μαΐου 2011 9 / 26
(3.1) 1. Υπολόγισε την τιµή f(n) χρησιµοποιώντας την χωρική κατασκευασιµότητα της f και οριοθέτησε χωρο f(n) στην ταινία Χρησιµοποιούµε χώρο f(n) στην ταινία Ο ορισµός της χωρικής κατασκευασιµότηας που δώσαµε πριν, µας εγγυάται πως ο υπολογισµός f( w ) = f(n) ϑα απαιτήσει χώρο O(f(n)) Ετσι εξασφαλίζεται πως η Turing Machine που περιγράφουµε απαιτεί πάντα χώρο O(f(n)) (και τίποτα λιγότερο) Ειδικά Θέµατα Υπολογισµού και Πολυπλοκότητας ΤΜΗΥΠ/ΠΠ,Πέµπτη 19 Μαΐου 2011 10 / 26
(3.2) 2. Αν η w δεν ειναι της µορφής < M >, 10, όπου M µία Turing Machine τότε ΑΠΟΡΡΙΠΤΩ Ως είσοδο λοιπόν παίρνουµε την περιγραφή µίας ΤΜ Μ, της µηχανής που αργότερα ϑα προσωµοιώσουµε µε είσοδο w Παρόλο που η Μ µπορεί όντως να είναι χώρου o(f(n)), αυτή η ασυµπτωτική συµπεριφορά ίσως να µην εκδηλώνεται για µικρά n, και τότε να χρησιµοποιεί περισσότερο χώρο απ όσο διαθέτει η D για να την προσοµοιώσει Για να αποφύγουµε αυτό το εµπόδιο απαιτούµε εισοδο µορφής < M >, 10 ή αλλιώς < M >, 10 k Ετσι για ένα αρκετά µεγάλο πλήθος απο 0, δηλαδή για αρκετά µεγάλο k, η ασυµπτωτική συµπεριφορά ϑα αναδειχθεί Ειδικά Θέµατα Υπολογισµού και Πολυπλοκότητας ΤΜΗΥΠ/ΠΠ,Πέµπτη 19 Μαΐου 2011 11 / 26
(3.3) 3. Προσοµοίωσε την M για είσοδο w. Αν ο απαιτούµενος χώρος υπερβει το f(n) ή ο απαιτούµενος χρονος υπερβεί το 2 f(n) ΑΠΟΡΡΙΠΤΩ Προφανώς ϑα απορρίψουµε αν ο απαιτούµενος χώρος υπερβεί το f(n), καθώς τοτε ασχολούµαστε µε µία ΤΜ Μ η οποία λειτουργεί σε χώρο περισσότερο απο O(f(n)) Αν η µηχανή µας κάνει περισσοτερα απο 2 f(n) ϐήµατα προσοµοίωσης, τότε πρέπει πάλι να απορρίψουµε Αυτό συµβαίνει για να αποφύγουµε την περίπτωση όπου µία µηχανή Μ έχει πέσει σε ατέρµονα ϐρόχο, χωρίς όµως να υπερβαίνει το χωρικό ϕράγµα Ειδικά Θέµατα Υπολογισµού και Πολυπλοκότητας ΤΜΗΥΠ/ΠΠ,Πέµπτη 19 Μαΐου 2011 12 / 26
(3.4) 4. Αν η M αποδέχεται, τοτε ΑΠΟΡΡΙΠΤΩ. Αν η M απορριπτει, τότε ΑΠΟ ΕΧΟΜΑΙ Μέσω τον προηγουµένων ϐηµάτων έχουµε αποφύγει όλες τις κακοτοπιές και ϕτάνουµε στο ουσιαστικό ϐήµα της ΤΜ µας Εδώ υλοποιείται η τεχνική της διαγωνοποίησης, και έχουµε µόνο µια ευκαιρία να την εφαρµόσουµε Η ευκαιρία αυτή ειναι η προσοµοίωση της < M > (περιγραφή της ΤΜ Μ) στην ίδια την ΤΜ Μ Ετσι συµπεριφερόµαστε αντίθετα µε την Μ, έτσι ώστε η ΤΜ που κατασκευάσαµε να µην διαγιγνώσκει την ίδια γλώσσα Ειδικά Θέµατα Υπολογισµού και Πολυπλοκότητας ΤΜΗΥΠ/ΠΠ,Πέµπτη 19 Μαΐου 2011 13 / 26
(4) Η µηχανή που κατασκευάσαµε είναι ιαγνώστης της γλώσσας L καθότι κάθε ϐήµα της ειναι χρονικά ϕραγµένο Αφού ο χώρος που χρησιµοποιεί η ΤΜ D είναι O(f(n)), η γλώσσα L διαγιγνώσκεται σε χωρο O(f(n)) Μας µένει να δείξουµε πως η L δεν µπορει να διαγνωστεί απο ΤΜ χώρου o(f(n)) Ειδικά Θέµατα Υπολογισµού και Πολυπλοκότητας ΤΜΗΥΠ/ΠΠ,Πέµπτη 19 Μαΐου 2011 14 / 26
(5) Εστω λοιπόν πως µία ΤΜ διαγιγνώσκει την L σε χώρο o(f(n)) = g(n) Απο τον ορισµό του littleo για την g(n) ισχύει g(n) < f(n), n n 0 Εστω οτι εκτελούµε την D µε είσοδο < M >, 10 n0 Η προσοµοίωση της Μ ϑα εκτελεστει τότε µέχρι τέλους στο ϐήµα 4 Αρα η D ϑα συµπεριφέρεται διαφορετικά απο την M για την εισοδο αυτή Αρα η υπόθεση µας δεν ισχύει Ειδικά Θέµατα Υπολογισµού και Πολυπλοκότητας ΤΜΗΥΠ/ΠΠ,Πέµπτη 19 Μαΐου 2011 15 / 26
Στην συνέχεια... Χρονική Κατασκευασιµότητα 1 Γιατί ϑεωρήµατα Ιεραρχίας; 2 3 Χρονική Κατασκευασιµότητα 4 Συµπεράσµατα Πορίσµατα Ειδικά Θέµατα Υπολογισµού και Πολυπλοκότητας ΤΜΗΥΠ/ΠΠ,Πέµπτη 19 Μαΐου 2011 16 / 26
Χρονική Κατασκευασιµότητα Χρονικά Κατασκευάσιµες Συναρτήσεις (1) Εστω t : N N, όπου η τιµή t(n) ειναι τουλάχιστον τάξης O(nlogn) Θα λέµε πως η t είναι χρονικά κατασκευάσιµη (time constructible) εάν υπάρχει Turing Machine που υπολογίζει την t(n) σε χρόνο O(t(n)) όταν ως είσοδο δώσουµε την λέξη 1 n. Οπως και πριν, η Turing Machine χρόνου O(t(n)) όταν ξεκινά µε είσοδο 1 n τερµατίζει έχοντας στην ταινία της την δυαδική αναπαράσταση του t(n) Ολες οι συναρτήσεις που ειναι τουλάχιστον nlogn ειναι χρονικά κατασκευάσιµες Συναρτήσεις o(n) δεν µπορούν να ειναι χρονικά κατασκευάσιµες αφού χρειαζοµαστε χρόνο n για να διαβάσουµε την είσοδο 1 n Ειδικά Θέµατα Υπολογισµού και Πολυπλοκότητας ΤΜΗΥΠ/ΠΠ,Πέµπτη 19 Μαΐου 2011 17 / 26
Χρονική Κατασκευασιµότητα Θεώρηµα της Χρονικής Ιεαραρχίας Για οποιαδήποτε χρονικά κατασκευάσιµη συνάρτηση t : N N, υπάρχει γλώσσα που διαγιγνώσκεται σε χώρο O(t(n)) αλλά όχι σε χώρο o(t(n)/logt(n)) Και εδώ επιβεβαιώνεται η διαισθητική µας πρόβλεψη Το αποτέλεσµα όµως ειναι λίγο ασθενεστερο απο την Χωρική Ιεραρχία - η αύξηση του χρονου δεν πρέπει να ειναι µόνο ασυµπτωτική όπως πριν. Πρέπει να έχουµε αύξηση κατά έναν λογαριθµικό πολλαπλασιαστικό συντελεστή Ειδικά Θέµατα Υπολογισµού και Πολυπλοκότητας ΤΜΗΥΠ/ΠΠ,Πέµπτη 19 Μαΐου 2011 18 / 26
Σκιαγράφηση της ς (1) Χρονική Κατασκευασιµότητα Η απόδειξη είναι σχεδόν ίδια όπως και στο ϑεώρηµα της Χωρικής Ιεραρχίας Αρκεί λοιπόν και εδώ να δώσουµε µία γλώσσα η οποία Θα διαγιγνώσκεται απο Turing Machine χρόνου O(t(n)) ΕΝ ϑα διαγιγνώσκεται απο Turing Machine χώρου o(t(n)/logt(n)) Ενδιαφέρον λοιπόν έχει να δούµε τον λόγο για τον οποίο απαιτείται αύξηση χρονου κατα έναν λογαριθµικό πολλαπλασιαστικό παράγοντα, και όχι µόνο ασυµπτωτικά Ειδικά Θέµατα Υπολογισµού και Πολυπλοκότητας ΤΜΗΥΠ/ΠΠ,Πέµπτη 19 Μαΐου 2011 19 / 26
Σκιαγράφηση της ς (2) Χρονική Κατασκευασιµότητα Για να µετρήσουµε χρόνο, ϑα πρέπει να χρησιµοποιήσουµε έναν µετρητή τον οποίο ϑα µειώνουµε κατα την διάρκεια της προσοµοίωσης Αυτός ο µετρητής πρέπει να ϐρίσκεται κοντά στη τρέχουσα ϑέση της κεφαλής της M έτσι ώστε η D να µην κάνει κάθε ϕορά πολλά ϐήµατα για να τον ενηµερώσει εδοµένου πως ο µετρητής έχει µέγεθος t(n)/logt(n) το µήκος της δυαδικής του αναπαράστασης είναι O(logt(n)) Αρα το κόστος ενηµέρωσης και µεταφοράς του σε κάθε ϐήµα της προσοµοίωσης αυξάνει τον χρόνο προσοµοίωσης κατά έναν πολλαπλασιαστικό συντελεστη logt(n) Ειδικά Θέµατα Υπολογισµού και Πολυπλοκότητας ΤΜΗΥΠ/ΠΠ,Πέµπτη 19 Μαΐου 2011 20 / 26
Σκιαγράφηση της ς (3) Χρονική Κατασκευασιµότητα Η ιδιαιτερότητα αυτή του ϑεωρήµατος της Χρονικής Ιεραρχίας οφείλεται στο γεγονός πως η χρονική πολυπλοκότητα µετριέται µέσω µονοταινιακών ΤΜ Είναι πιθανόν να ισχύει ένα αυστηρότερο ϑεώρηµα Χρονικής Ιεραρχίας Μέχρι όµως να ϐρούµε µία πιο δραστική προσοµοίωση που να αυξάνει τον χρόνο µόνο κατα έναν πολλαπλασιαστικό παράγοντα, το ϕράγµα αυτό είναι το καλύτερο που µπορούµε να πετύχουµε. Ειδικά Θέµατα Υπολογισµού και Πολυπλοκότητας ΤΜΗΥΠ/ΠΠ,Πέµπτη 19 Μαΐου 2011 21 / 26
Στην συνέχεια... Συµπεράσµατα Πορίσµατα 1 Γιατί ϑεωρήµατα Ιεραρχίας; 2 3 Χρονική Κατασκευασιµότητα 4 Συµπεράσµατα Πορίσµατα Ειδικά Θέµατα Υπολογισµού και Πολυπλοκότητας ΤΜΗΥΠ/ΠΠ,Πέµπτη 19 Μαΐου 2011 22 / 26
Συνοψίζοντας Συµπεράσµατα Πορίσµατα ώσαµε λοιπόν ϑεωρήµατα που συσχετίζουν την υπολογιστική ισχύ µίας Turing Machine µε την ποσότητα χρόνου ή χώρου που είναι διαθέσιµη για τους υπολογισµούς της Αν αυξήσουµε ασυµπτωτικά τον διαθέσιµο χώρο µίας ΤΜ, η υπολογιστική της ισχύς αυξάνεται Αν αυξήσουµε κατα έναν λογαριθµικό πολλαπλασιαστικό παράγοντα τον διαθέσιµο χρόνο µίας ΤΜ, η υπολογιστική της ισχύς αυξάνεται Ειδικά Θέµατα Υπολογισµού και Πολυπλοκότητας ΤΜΗΥΠ/ΠΠ,Πέµπτη 19 Μαΐου 2011 23 / 26
Πορίσµατα (1) Συµπεράσµατα Πορίσµατα Για οποιουσδήποτε δύο πραγµατικούς αριθµούς 0 e 1 < e 2 ισχύει: SPACE(n e1 ) SPACE(n e2 ) Εχουµε δηλαδή µία πολύ λεπτοµερή ιεραρχία του PSPACE! NL PSPACE Από το ϑεώρηµα του Savitch ξέρω πως NL SPACE(log 2 n) Απο το ϑεώρηµα χωρικής ιεραρχίας άµεσα επάγεται πως SPACE(log 2 n) SPACE(n) Ειδικά Θέµατα Υπολογισµού και Πολυπλοκότητας ΤΜΗΥΠ/ΠΠ,Πέµπτη 19 Μαΐου 2011 24 / 26
Πορίσµατα (2) Συµπεράσµατα Πορίσµατα Υπάρχουν προβλήµατα στην κλάση P τα οποία χρειάζονται αυθαίρετα µεγάλους συντελεστές για να λυθούν Για παράδειγµα υπάρχουν προβλήµατα που δεν είναι υπολογίσιµα σε χρονο n 99999 αλλά είναι υπολογίσιµα σε χρόνο n 100000 Αυτό αντίκειται στην ϑέση του Cobham, σύµφωνα µε την οποία η κλάση P αποτελείται απο πρακτικά επιλύσιµα προβλήµατα Από την άλλη όµως αυτά τα προβλήµατα ειναι τεχνητά, δηλαδή είναι δύσκολο να ϐρούµε πρόβληµα της πραγµατικής Ϲωής µε τόσο µεγάλη πολυωνυµική πολυπλοκότητα Για οποιουσδήποτε δύο πραγµατικούς αριθµούς 0 e 1 < e 2 ισχύει: TIME(n e1 ) TIME(n e2 ) P EXPTIME Ειδικά Θέµατα Υπολογισµού και Πολυπλοκότητας ΤΜΗΥΠ/ΠΠ,Πέµπτη 19 Μαΐου 2011 25 / 26
Ευχαριστώ Συµπεράσµατα Πορίσµατα Ευχαριστώ πολύ για την προσοχή! Ειδικά Θέµατα Υπολογισµού και Πολυπλοκότητας ΤΜΗΥΠ/ΠΠ,Πέµπτη 19 Μαΐου 2011 26 / 26