Πιθανότητες και Αλγόριθμοι

Σχετικά έγγραφα
Πιθανότητες και Αλγόριθμοι

Πιθανότητες και Αλγόριθμοι

Πιθανότητες και Αλγόριθμοι

Πιθανοτικοί Αλγόριθμοι

Πιθανότητες και Αλγόριθμοι

Μέγιστη Ροή Ελάχιστη Τομή

Προσεγγιστικοί Αλγόριθμοι βασισμένοι σε Γραμμικό Προγραμματισμό

Προσεγγιστικοί Αλγόριθμοι βασισμένοι σε Γραμμικό Προγραμματισμό

Προσεγγιστικοί Αλγόριθμοι βασισμένοι σε Γραμμικό Προγραμματισμό

για NP-Δύσκολα Προβλήματα

Προσεγγιστικοί Αλγόριθμοι για NP- ύσκολα Προβλήματα

Υπολογιστική Πολυπλοκότητα

Προσεγγιστικοί Αλγόριθμοι για NP- ύσκολα Προβλήματα

Προσεγγιστικοί Αλγόριθμοι βασισμένοι σε Γραμμικό Προγραμματισμό

Θεωρία Γραφημάτων: Ορολογία και Βασικές Έννοιες

Υπολογιστική Πολυπλοκότητα

Τυχαιότητα (Randomness) I

Μέγιστη Ροή Ελάχιστη Τομή

Approximation Algorithms for the k-median problem

Τυχαιοκρατικοί Αλγόριθμοι

Αλγόριθμοι Προσέγγισης για NP-Δύσκολα Προβλήματα

υναμικός Προγραμματισμός

Κρυπτογραφία. Έλεγχος πρώτων αριθών-παραγοντοποίηση. Διαφάνειες: Άρης Παγουρτζής Πέτρος Ποτίκας

Προσεγγιστικοί Αλγόριθμοι βασισμένοι σε Γραμμικό Προγραμματισμό

Δυναμικός Προγραμματισμός

υναμικός Προγραμματισμός

Θεωρία Γραφημάτων: Ορολογία και Βασικές Έννοιες

Εισαγωγικές Έννοιες. ημήτρης Φωτάκης. Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών. Εθνικό Μετσόβιο Πολυτεχνείο

υναμικός Προγραμματισμός

Εισαγωγή Ορισμός Frequency moments

Quicksort. ημήτρης Φωτάκης. Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών. Εθνικό Μετσόβιο Πολυτεχνείο

ΠΛΗ 20, 4 η ΟΣΣ: Βασικές Έννοιες Θεωρίας Γραφημάτων

Συνδυαστική Απαρίθμηση

Μαθηματικά Πληροφορικής Πιθανοτικά Εργαλεία. Υποπροσθετικότητα. Η Πιθανοτική Μέθοδος (The Probabilistic Method)

Τυχαίοι γράφοι Η διάμετρος του G(n, 2 ln n/n) Ioannis Giotis

Συντομότερες ιαδρομές

Quicksort. Πρόβλημα Ταξινόμησης. Μέθοδοι Ταξινόμησης. Συγκριτικοί Αλγόριθμοι

Πίνακες Διασποράς. Χρησιμοποιούμε ένα πίνακα διασποράς T και μια συνάρτηση διασποράς h. Ένα στοιχείο με κλειδί k αποθηκεύεται στη θέση

Δυναμικός Προγραμματισμός

Θεωρία Πιθανοτήτων, εαρινό εξάμηνο Λύσεις του πέμπτου φυλλαδίου ασκήσεων.. Δηλαδή:

Συνδυαστική Απαρίθμηση

Συνδυαστική Απαρίθμηση

Συντομότερες Διαδρομές

Quicksort. Επιμέλεια διαφανειών: Δ. Φωτάκης Μικροαλλαγές: Α. Παγουρτζής. Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών

ΠΛΗ 20, 4 η ΟΣΣ: Βασικές Έννοιες Θεωρίας Γραφημάτων

έντρα ιδάσκοντες:. Φωτάκης,. Σούλιου Επιμέλεια διαφανειών:. Φωτάκης Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών Εθνικό Μετσόβιο Πολυτεχνείο

Επιλογή. Επιμέλεια διαφανειών: Δ. Φωτάκης. Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών. Εθνικό Μετσόβιο Πολυτεχνείο

Δυϊκότητα. Δημήτρης Φωτάκης. Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών. Εθνικό Μετσόβιο Πολυτεχνείο

Δυναμικός Προγραμματισμός

Μετασχηματισμοί, Αναπαράσταση και Ισομορφισμός Γραφημάτων

Βασικές Έννοιες Θεωρίας Γραφημάτων

Προσεγγιστικοί Αλγόριθμοι

Συντομότερες ιαδρομές

Συνδυαστική Απαρίθμηση

ιδάσκοντες: Φ. Αφράτη,. Φωτάκης,. Σούλιου Επιμέλεια διαφανειών:. Φωτάκης Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών

Quicksort. ιδάσκοντες: Σ. Ζάχος,. Φωτάκης Επιμέλεια διαφανειών:. Φωτάκης. Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών

Υπολογιστικό Πρόβληµα

Συντομότερες Διαδρομές

Γραμμικός Προγραμματισμός

Κεφάλαιο 8. NP και Υπολογιστική Δυσεπιλυσιμότητα. Χρησιμοποιήθηκε υλικό από τις αγγλικές διαφάνειες του Kevin Wayne.

Ασυμπτωτικός Συμβολισμός

Συνδυαστική Απαρίθμηση

ΕΦΑΡΜΟΣΜΕΝΗ ΣΤΑΤΙΣΤΙΚΗ I Παντελής Δημήτριος Τμήμα Μηχανολόγων Μηχανικών

Συνδυαστική Απαρίθµηση

n ίδια n διαφορετικά n n 0 n n n 1 n n n n 0 4

Κατανεμημένα Συστήματα Ι

Ελάχιστο Συνδετικό έντρο

Βασικές Έννοιες Θεωρίας Γραφημάτων

Γραμμικός Προγραμματισμός

Ασυμπτωτικός Συμβολισμός

Μέθοδος μέγιστης πιθανοφάνειας

Επιλογή. ημήτρης Φωτάκης. Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών. Εθνικό Μετσόβιο Πολυτεχνείο

Κεφάλαιο 8. NP και Υπολογιστική Δυσεπιλυσιµότητα. Χρησιµοποιήθηκε υλικό από τις αγγλικές διαφάνειες του Kevin Wayne.

Ελάχιστο Συνδετικό Δέντρο

Υπολογιστικά & Διακριτά Μαθηματικά

ΠΛΗ 20, 4 η ΟΣΣ: Βασικές Έννοιες Θεωρίας Γραφημάτων

4η Γραπτή Ασκηση Αλγόριθμοι και Πολυπλοκότητα CoReLab ΣΗΜΜΥ 3/2/2019 CoReLab (ΣΗΜΜΥ) 4η Γραπτή Ασκηση 3/2/ / 37

Σχέσεις. Διμελής Σχέση. ΣτοΊδιοΣύνολο. Αναπαράσταση

Αναζήτηση Κατά Πλάτος

Quicksort [Hoare, 62] Αλγόριθµοι & Πολυπλοκότητα (Χειµώνας 2011) Quicksort 1

Προσεγγιστικοί Αλγόριθμοι

Συντομότερες ιαδρομές

Κεφάλαιο 8. NP και Υπολογιστική Δυσεπιλυσιμότητα. Παύλος Εφραιμίδης V1.1,

pdf: X = 0, 1 - p = q E(X) = 1 p + 0 (1 p) = p V ar(x) = E[(X µ) 2 ] = (1 p) 2 p + (0 p) 2 (1 p) = p (1 p) [1 p + p] = p (1 p) = p q

Επιλογή. Πρόβλημα Επιλογής. Μέγιστο / Ελάχιστο. Εφαρμογές

pdf: X = 0, 1 - p = q E(X) = 1 p + 0 (1 p) = p V ar(x) = E[(X µ) 2 ] = (1 p) 2 p + (0 p) 2 (1 p) = p (1 p) [1 p + p] = p (1 p) = p q

ΕΠΑΝΑΛΗΠΤΙΚΕΣ ΑΣΚΗΣΕΙΣ

Διδάσκοντες: Δ. Φωτάκης, Δ. Σούλιου Επιμέλεια διαφανειών: Δ. Φωτάκης. Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών

Learning k-modal distributions via testing

Σχέσεις. ιδάσκοντες:. Φωτάκης,. Σούλιου Επιμέλεια διαφανειών:. Φωτάκης. Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών

Γραμμικός Προγραμματισμός

ΔΥΣΚΟΛΙΑ ΣΤΗΝ ΠΡΟΣΕΓΓΙΣΙΜΟΤΗΤΑ

Γνωστό: P (M) = 2 M = τρόποι επιλογής υποσυνόλου του M. Π.χ. M = {A, B, C} π. 1. Π.χ.

Ελάχιστο Συνδετικό Δέντρο

Διαχείριση Εφοδιαστικής Αλυσίδας ΙΙ

Ποσοτικές Μέθοδοι στη Διοίκηση Επιχειρήσεων ΙΙ Σύνολο- Περιεχόμενο Μαθήματος

Κατευθυνόμενα γραφήματα. Μαθηματικά Πληροφορικής 6ο Μάθημα. Βρόχοι. Μη κατευθυνόμενα γραφήματα. Ορισμός

Κατευθυνόμενα γραφήματα. Μαθηματικά Πληροφορικής 6ο Μάθημα. Βρόγχοι. Μη κατευθυνόμενα γραφήματα. Ορισμός

Κατευθυνόμενα γραφήματα. Μαθηματικά Πληροφορικής 6ο Μάθημα. Βρόχοι. Μη κατευθυνόμενα γραφήματα. Ορισμός

4η Γραπτή Ασκηση Αλγόριθμοι και Πολυπλοκότητα CoReLab ΣΗΜΜΥ 7 Φεβρουαρίου 2017 CoReLab (ΣΗΜΜΥ) 4η Γραπτή Ασκηση 7 Φεβρουαρίου / 38

Transcript:

Πιθανότητες και Αλγόριθμοι ημήτρης Φωτάκης Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών Εθνικό Μετσόβιο Πολυτεχνείο

Πιθανοτικοί Αλγόριθμοι Πιθανοτικός αλγόριθμος κάνει τυχαίες επιλογές και εξαρτά εξέλιξή του από αυτές. Κατανομή πιθανότητας πάνω σε ντετερμινιστικούς αλγόριθμους. Πλεονεκτήματα πιθανοτικών αλγόριθμων: Απλότητα και κομψότητα (π.χ. quickselect, primality). Συνήθως ταχύτεροι από ντετερμινιστικούς. Όταν έχουμε μερική γνώση, περιορισμένη μνήμη, κλπ., πρακτικά αποτελούν μόνη αποδοτική λύση. Μειονεκτήματα: Λάθος απάντηση (με μικρή πιθανότητα). Κυμαινόμενος χρόνος εκτέλεσης. ύσκολο debugging. Αλγόριθμοι και Πολυπλοκότητα (ΠΜΣ, Χειμώνας 2012) Πιθανότητες και Αλγόριθμοι 2

Πώς τα Καταφέρνουν; Εκμεταλλεύονται «εργαλεία» της πιθανότητας. «Αδυνατίζει» (και γίνεται πιο ρεαλιστική) η χειρότερη περίπτωση (π.χ. quicksort). Τυχαία δειγματοληψία: αντιπροσωπευτικό δείγμα και λύση (π.χ. clustering, sublinear algs). Ικανό πλήθος πιστοποιητικών (βλ. property testing). Τυχαία μοιρασιά εργασιών: ισορροπημένη και με ελάχιστο κόστος (υπολογιστικό, επικοινωνιακό). Fingerprinting και hashing. «Σπάσιμο» συμμετρίας (π.χ. Ethernet, leader election). Προσομοίωση διαδικασιών και rapid mixing. Αλγόριθμοι και Πολυπλοκότητα (ΠΜΣ, Χειμώνας 2012) Πιθανότητες και Αλγόριθμοι 3

Γινόμενο Πολυωνύμων Πολυώνυμα P 1 (x), P 2 (x), P 3 (x) ορισμένα σε field F. Έλεγχος αν P 1 (x) P 2 (x) = P 3 (x) σε χρόνο (σημαντικά) μικρότερο του πολλαπλασιασμού; Ελέγχουμε αν Q(x) = P 1 (x) P 2 (x) P 3 (x) είναι (ταυτ.) 0. Έστω Q(x) βαθμού d και όχι (ταυτοτικά) 0. Για κάθε S F, Pr r S [Q(r) = 0] d/ S. Για S = 100d και 3 ανεξ. δείγματα, πιθαν. λάθους 10 6. Χρόνος πολ/μού: Θ(d 2 ). Χρόνος ελέγχου: Θ(d). Επεκτείνεται σε πολυώνυμα πολλών μεταβλητών, όπου αντίστοιχη πιθανότητα ορίζεται με συνολικό βαθμό. Θεώρημα Schwartz-Zippel. Αλγόριθμοι και Πολυπλοκότητα (ΠΜΣ, Χειμώνας 2012) Πιθανότητες και Αλγόριθμοι 4

Γινόμενο Πινάκων ίνονται A, B, C πίνακες n n. Έλεγχος αν AB = C σε χρόνο Ο(n 2 ). Tυχαίο διάνυσμα r {0, 1} n. Απαντ. ΝΑΙ ανν A(Br) = Cr. Ισοδύναμα ανν Dr = 0, όπου D = (AB C). Αν D 0, D έχει μη μηδενικά στοιχεία. Χβτγ., κάποια μη μηδενικά στοιχεία στην 1 η γραμμή του D, ένα μη μηδενικό στοιχείο στην 1 η γραμμή και 1 η στήλη. Για κάθε επιλογή των r 2,, r n, υπάρχει μια (το πολύ) επιλογή για το r 1 τ.ω. Άρα πιθανότητα λάθους 1/2. Με π.χ. 30 ανεξάρτητες επαναλήψεις, πιθ. λάθους < 10 6. Αλγόριθμοι και Πολυπλοκότητα (ΠΜΣ, Χειμώνας 2012) Πιθανότητες και Αλγόριθμοι 5

Γινόμενο Πινάκων: Εργαλείο Ανάλυση βασίζεται σε αρχή αναβολής τυχαίων αποφάσεων (principle of deferred decisions): «Φιξάρουμε» μέρος των τυχαίων επιλογών (συνήθως σε αυθαίρετες τιμές). Υπολογίζουμε πιθανότητα, δεδομένων αυτών των τιμών. Τεχνικά, υπολογίζουμε την πιθανότητα υπό συνθήκη. Επειδή ισχύει για αυθαίρετη συνθήκη, ισχύει χωρίς συνθήκη. Γενικότερα, έστω Ε 1,.., Ε n μια διαμέριση του δειγματοχώρου σε γεγονότα. Τότε: Αλγόριθμοι και Πολυπλοκότητα (ΠΜΣ, Χειμώνας 2012) Πιθανότητες και Αλγόριθμοι 6

Ελάχιστη Τομή Μη κατευθυνόμενο συνεκτικό πολυγράφημα G(V, E). Πολλαπλές ακμές, όχι χωρητικότητες / βάρη. Τομή: διαμέριση κορυφών (S, V \ S) με S V. Σύνολο ακμών που αφαίρεσή τους δημιουργεί τουλ. 2 συνεκτικές συνιστώσες. Μέγεθος τομής Πρόβλημα: υπολογισμός μιας ελάχιστης τομής. Λύνεται σε χρόνο Ο(n 4 ) με διαδοχικές εφαρμογές αλγόριθμου μέγιστης ροής. Υπάρχουν εξειδικευμένοι αλγόριθμοι με χρόνο Ο(n 3 ). Αλγόριθμοι και Πολυπλοκότητα (ΠΜΣ, Χειμώνας 2012) Πιθανότητες και Αλγόριθμοι 7

Σύμπτυξη Κορυφών Σύμπτυξη κορυφών u και v: Αντικατάσταση u, v από μία νέα κορυφή uv. Κάθε ακμή {x, u} / {x, v} αντικαθίσταται από ακμή {x, uv}. Ακμές {u, v} παραλείπονται. ιαδοχικές συμπτύξεις κορυφών 1, 2 και 12, 3. Τομή σε γράφημα μετά από διαδοχικές συμπτύξεις αντιστοιχεί σε τομή σε αρχικό γράφημα. Λειτουργία σύμπτυξης δεν μειώνει ελάχιστη τομή.

Πιθανοτικός Αλγόριθμος [Karger, 93] Ενόσω το γράφημα που απομένει έχει > 2 κορυφές: ιάλεξε μια τυχαία ακμή {u, v}. Αντικατέστησε γράφημα με αυτό που προκύπτει από σύμπτυξη κορυφών u και v. Ακμές τομής αυτές μεταξύ 2 κορυφών που απομένουν. Τομή ορίζεται από κορυφές που συμπτύχθηκαν στις 2 κορυφές που απομένουν. Αλγόριθμοι και Πολυπλοκότητα (ΠΜΣ, Χειμώνας 2012) Πιθανότητες και Αλγόριθμοι 9

Παράδειγμα Αρχικές συμπτύξεις 1, 2, και 12, 3. Σύμπτυξη 123, 4. Σύμπτυξη 5, 4. Αλγόριθμοι και Πολυπλοκότητα (ΠΜΣ, Χειμώνας 2012) Πιθανότητες και Αλγόριθμοι 10

Πιθανοτικός Αλγόριθμος [Karger, 93] Βασικές ιδιότητες: Πάντα τερματίζει έπειτα από n 2 συμπτύξεις. Υπολογίζει μία τομή, μπορεί όχι ελάχιστη. Ποια πιθανότητα p να καταλήξει σε ελάχιστη τομή; Αν p όχι αμελητέα, μεγαλώνει γρήγορα με επαναλήψεις. Αν p 2/n 2, πιθανότητα τουλ. μία από n 2 lnn επαναλήψεις να καταλήξει σε ελάχιστη τομή 1 1/n 2. Έστω ελάχιστη τομή C = {e 1,, e k } μεγέθους k. Αλγ. επιστρέφει C ανν καμία από ακμές C δεν επιλεγεί για σύμπτυξη. Αλγόριθμοι και Πολυπλοκότητα (ΠΜΣ, Χειμώνας 2012) Πιθανότητες και Αλγόριθμοι 11

Πιθανότητα Επιτυχίας Συγκεκριμένη ελάχιστη τομή C = {e 1,, e k } μεγέθους k. Πιθανότητα καμία από ακμές C δεν επιλέγεται για σύμπτυξη. Ελάχιστος βαθμός κορυφής ελάχιστη τομή. G(V, E) έχει ελάχιστο βαθμό κορυφής k. G έχει #ακμών nk/2. Πιθανότητα δεν επιλέγεται ακμή του C στην 1 η σύμπτυξη: Μετά από t συμπτύξεις, γράφημα έχει ελάχιστο βαθμό k. #ακμών (n t)k/2. Πιθανότητα δεν επιλέγεται ακμή C του ούτε στην (t+1) η σύμπτυξη: Αλγόριθμοι και Πολυπλοκότητα (ΠΜΣ, Χειμώνας 2012) Πιθανότητες και Αλγόριθμοι 12

Πιθανότητα Επιτυχίας Συγκεκριμένη ελάχιστη τομή C = {e 1,, e k } μεγέθους k. Πιθανότητα καμία από ακμές C δεν επιλέγεται για σύμπτυξη: Άρα p 2/n 2, και πιθανότητα τουλ. μία από n 2 logn επαναλήψεις να καταλήξει σε ελάχιστη τομή 1 1/n 2. Χρόνος εκτέλεσης Ο(n 2 ) / επανάληψη. Συνολικός χρόνος Ο(n 4 logn). Αλγόριθμοι και Πολυπλοκότητα (ΠΜΣ, Χειμώνας 2012) Πιθανότητες και Αλγόριθμοι 13

Χρόνος Εκτέλεσης Όμως (σχετικά) μικρή πιθανότητα αποτυχίας στις πρώτες μισές συμπτύξεις! Π.χ. πιθανότητα να μην συμπτυχθεί καμία ακμή C στις πρώτες (n 3)/2 συμπτύξεις 1/4. «Ακριβές» συμπτύξεις είναι «επιτυχημένες». Αναδρομική υλοποίηση σε φάσεις: Εκτέλεση βασικού αλγόριθμου για n/2 συμπτύξεις 4 φορές. Συνεχίσουμε αναδρομικά για καθένα από τα αποτελέσματα. Χρόνος εκτέλεσης Ο(n 2 log 3 n) για πιθανότητα επιτυχίας = 1 Ο(1/n). Αλγόριθμοι και Πολυπλοκότητα (ΠΜΣ, Χειμώνας 2012) Πιθανότητες και Αλγόριθμοι 14

Monte Carlo vs Las Vegas Monte Carlo αλγόριθμοι (π.χ. min-cut, max-cut): Μπορεί να δώσουν λάθος απάντηση (με μικρή πιθανότητα), χρόνος εκτέλεσης ντετερμινιστικός (συνήθως!). Πιθανότητα λάθους μπορεί να γίνει πολύ-πολύ μικρή με ανεξάρτητες επαναλήψεις. Προβλήματα απόφασης: οne-sided error και two-sided error. Πολυωνυμικοί one-sided error αλγόριθμοι: RP και corp. Πολυωνυμικοί two-sided error αλγόριθμοι: BPP. Las Vegas αλγόριθμοι (π.χ. quicksort, quickselect): Πάντα σωστή απάντηση, χρόνος εκτέλεσης τυχαία μεταβλητή. Πολυωνυμικοί αλγόριθμοι: ZPP. Αλγόριθμοι και Πολυπλοκότητα (ΠΜΣ, Χειμώνας 2012) Πιθανότητες και Αλγόριθμοι 15

Βασικές Έννοιες Πιθανότητας ειγματοχώρος, γεγονός και πιθανότητα, τυχαία μεταβλητή. Pr[A B] = Pr[A] + Pr[B] Pr[A B] (γενικεύεται με μέθοδο εγκλεισμού αποκλεισμού). Union bound: Πιθανότητα Α υπό συνθήκη Β: Γενίκευση: Ανεξάρτητα γεγονότα: Pr[A B] = Pr[A] Pr[B]. Αρνητικά σχετιζόμενα γεγονότα. Αλγόριθμοι και Πολυπλοκότητα (ΠΜΣ, Χειμώνας 2012) Πιθανότητες και Αλγόριθμοι 16

Βασικές Έννοιες Πιθανότητας Μέση τιμή: Ισοδύναμα (ακέραιες τυχαίες μεταβλ.): Γραμμικότητα: Ε[Χ+Υ] = Ε[Χ] + Ε[Υ]. Ανισότητα Jensen: Αν f κυρτή συνάρτηση, E[f(X)] f(e[x]). Αν Χ και Υ ανεξάρτητες: Ε[Χ Υ] = Ε[Χ] Ε[Υ]. ιακύμανση (variance): Var[X] = E[(X E[X]) 2 ] = E[X 2 ] E[X] 2 Τυπική απόκλιση (std deviation): σ X = Var(X) 1/2 Αν Χ και Υ ανεξάρτητες: Var[Χ + Υ] = Var[Χ] + Var[Υ]. Probability generating function: Αλγόριθμοι και Πολυπλοκότητα (ΠΜΣ, Χειμώνας 2012) Πιθανότητες και Αλγόριθμοι 17

Παραδείγματα Κατανομών Bernoulli μεταβλητή X: 1 με πιθ. p, και 0 διαφ. E[X] = p, Var[X] = p(1 p), G X (z) = 1 p + pz. υωνυμική κατανομή Bin(n, p): Αριθμός επιτυχιών σε n «ρίψεις» με πιθανότητα επιτυχίας p. Άθροισμα n Bernoulli μεταβλητών με παράμετρο p. E[X] = np, Var[X] = np(1 p), G X (z) = (1 p + pz) n Γεωμετρική κατανομή Geo(p): Pr[X = k] = (1 p) k 1 p Αριθμός «ρίψεων» μέχρι την πρώτη επιτυχία (waiting time). E[X] = 1/p, Var[X] = (1 p)/p 2, G X (z) = pz / (1 z + pz) Αμνησία: Pr[X = n+k X > k] = Pr[X = n] Αλγόριθμοι και Πολυπλοκότητα (ΠΜΣ, Χειμώνας 2012) Πιθανότητες και Αλγόριθμοι 18

Μπάλες και Κουτιά Έχουμε m μπάλες και n κουτιά. Κάθε μπάλα επιλέγει το κουτί της ισοπίθανα και ανεξάρτητα. Απλό μοντέλο, πλήθος εφαρμογών(!). Μέγιστος #μπαλών σε κάποιο κουτί; Load balancing. Hashing with chains. Ελάχιστο m ώστε να εμφανιστεί κουτί με 2 μπάλες; Birthday paradox. Ελάχιστο m ώστε κανένα κουτί άδειο; Coupon collecting. Αλγόριθμοι και Πολυπλοκότητα (ΠΜΣ, Χειμώνας 2012) Πιθανότητες και Αλγόριθμοι 19

Μέγιστος #Μπαλών Πιθανότητα να βρεθεί κουτί με 3 lnn/lnlnn μπάλες είναι 1/n. L i = #μπαλών σε κουτί i: Συνεπώς... και (από union bound) Πιο ακριβής ανάλυση είναι εφικτή [Gonnet]. Νδο με πιθανότητα 1/n, υπάρχει κουτί με Ω(lnn/lnlnn). Αλγόριθμοι και Πολυπλοκότητα (ΠΜΣ, Χειμώνας 2012) Πιθανότητες και Αλγόριθμοι 20

υο Μπάλες στο Ίδιο Κουτί Πιθανότητα όλες οι m (< n) μπάλες σε διαφορετικό κουτί: Πιθανότητα τουλ. 2 μπάλες στο ίδιο κουτί 1 P m Για n = 365 και m = 28: πιθανότητα σε 28 ανθρώπους, κάποιοι να έχουν γενέθλια την ίδια μέρα > 1 e 1 Αλγόριθμοι και Πολυπλοκότητα (ΠΜΣ, Χειμώνας 2012) Πιθανότητες και Αλγόριθμοι 21

Συλλογή Κουπονιών Ελάχιστο m ώστε κανένα κουτί άδειο. Z k = #μπαλών όταν για πρώτη φορά #γεμάτων κουτιών = k. Χ k = Z k+1 Z k : #μπαλώνγιαναγεμίσειτοk+1 κουτί. Χ k ακολουθεί γεωμετρική κατανομή με παράμετρο 1 k/n, και έχει Ε[X k ] = n/(n k). Γραμμικότητα μέσης τιμής: Εμφανίζει ισχυρή συγκέντρωση γύρω από την μέση τιμή: Y j,k : κουτί j είναι άδειο μετά τις πρώτες k μπάλες. Για κάθε β > 1, πιθανότητα κάποιο κουτί άδειο μετά από βnlnn μπάλες: Μπορεί ν.δ.ο. για κάθε c, πιθανότητα κάποιο κουτί άδειο μετά από n(lnn + c) μπάλες: Αλγόριθμοι και Πολυπλοκότητα (ΠΜΣ, Χειμώνας 2012) Πιθανότητες και Αλγόριθμοι 22

Συγκέντρωση στη Μέση Τιμή (Πραγματική τιμή) «ομαλών» συναρτήσεων μεγάλου αριθμού ανεξάρτητων τυχαίων μεταβλητών «κινείται» σε ένα μικρό διάστημα γύρω από την μέση τιμή. Βλ. [Dubhashi and Panconessi, Concentration of Measure for the Analysis of Randomized Algorithms, 2007]. Ανισότητα Markov (γενική, αλλά όχι ιδιαίτερα ισχυρή): Χμη-αρνητική τυχαία μεταβλητή. Για κάθε t > 0, Ανισότητα Chebysev (γενική, ισχυρότερη): Για κάθε t > 0, Απόδειξη εύκολα από ορισμό Var[Χ] και ανισότητα Markov. Αλγόριθμοι και Πολυπλοκότητα (ΠΜΣ, Χειμώνας 2012) Πιθανότητες και Αλγόριθμοι 23

Chernoff Bounds Έστω X 1,, X n ανεξάρτητες Bernoulli τ.μ. με E[X k ] = p k, Χ = Χ 1 +...+X n, και Ε[Χ] = μ. Για κάθε ε > 0, Για κάθε t > 0, και χρησιμοποιώντας ανισότητα Markov: Αλγόριθμοι και Πολυπλοκότητα (ΠΜΣ, Χειμώνας 2012) Πιθανότητες και Αλγόριθμοι 24

Chernoff Bounds Έστω X 1,, X n ανεξάρτητες Bernoulli τ.μ., Χ = Χ 1 +...+X n, και Ε[Χ] = μ. Για κάθε 1 ε 0, Εξαιρετικά ισχυρή συγκέντρωση γύρω από την μέση τιμή! Απαιτούν σύγκριση Χ με λογαριθμική ποσότητα για να «δουλέψουν καλά». Αντίστοιχα φράγματα για τ.μ. X k με πεδίο τιμών το [0, w k ]. Απαιτούν ανεξαρτησία (ή αρνητική εξάρτηση). Αντίστοιχα bounds για τ.μ. με περιορισμένη εξάρτηση. Πολύ σημαντικά για την ανάλυση πιθανοτικών αλγόριθμων. Αλγόριθμοι και Πολυπλοκότητα (ΠΜΣ, Χειμώνας 2012) Πιθανότητες και Αλγόριθμοι 25

Παραδείγματα Αν μοιράζουμε m = nlnn μπάλες σε n κουτιά, πιθανότητα προκύψει κουτί με > 3lnn μπάλες είναι 1/n. Set Balancing: A 1,, A n υποσύνολα U, U = n και για κάθε j, A j = n/2. Ζητείται διαμέριση U σε B και W που ελαχιστοποιεί: Τυχαία διαμέριση B, W: με πιθανότητα 1 2/n 2. Για κάθε j, X j = A j W με E[X j ] = n/4. Έχουμε: Αλγόριθμοι και Πολυπλοκότητα (ΠΜΣ, Χειμώνας 2012) Πιθανότητες και Αλγόριθμοι 26

Τυχαία ειγματοληψία Σύνολο Α, A = n, (άγνωστου μεγέθους) σύνολο Χ Α με στοιχεία Α που έχουν κάποια ιδιότητα. Έστω Χ = p n. Θα υπολογίσουμε εκτίμηση p για p. Επιλέγουμε «δείγμα» A, A 3ln(2/δ)/ε 2, και υπολογίζουμε p = A Χ. Με πιθανότητα 1 δ, εκτίμηση p [p ε, p+ε]. Σύνολο Α, A = n, με διαμέριση A 1,, A k, Α j = α j n γn, που ορίζεται από κάποιες ιδιότητες (π.χ. τι ψηφίζουν). Θα εκτιμήσουμε όλα τα α j γνωρίζοντας μόνο ότι είναι γ. Επιλέγουμε «δείγμα» B, B 3ln(2/(δγ))/(γε 2 ). Έστω B j = A j B και β j = B j / Β. Με πιθανότητα 1 - δ, για όλα τα Α j, (1 ε)α j β j (1+ε)α j Αλγόριθμοι και Πολυπλοκότητα (ΠΜΣ, Χειμώνας 2012) Πιθανότητες και Αλγόριθμοι 27

VLSI Routing Grid n n και k ζεύγη κορυφών (s j, t j ) που πρέπει να συνδέσουμε με μονοπάτια. ύο μόνο δυνατότητες για κάθε ζεύγος j: r(j): πρώταευθείαμετάκάθετα. c(j): πρώτα κάθετα μετά ευθεία. Συνδέσεις που ελαχιστοποιούν φορτίο (#μονοπατιών) κάθε ακμής. NP-complete. Εκφράζεται ως Ακέραιο Γραμμικό Πρόγραμμα: s j c(j) r(j) t j Αλγόριθμοι και Πολυπλοκότητα (ΠΜΣ, Χειμώνας 2012) Πιθανότητες και Αλγόριθμοι 28

VLSI Routing Λύνουμε σε πολυωνυμικό χρόνο το αντίστοιχο (μη Ακέραιο) Γραμμικό Πρόγραμμα: Βέλτιστη κλασματική λύση W * βέλτιστη ακέραια λύση. Ντετερμινιστική στρογγυλοποίηση: Για κάθε j, αν x j* 1/2 στην βέλτιστη ΓΠ-λύση, (s j, t j ) συνδέεται με r(j), διαφορετικά με c(j). Λόγος προσέγγισης 2, επειδή max(x j*, 1 x j* ) 1/2. Αλγόριθμοι και Πολυπλοκότητα (ΠΜΣ, Χειμώνας 2012) Πιθανότητες και Αλγόριθμοι 29

VLSI Routing Randomized rounding: Για κάθε j, (s j, t j ) συνδέεται με r(j) με πιθανότητα x j*, διαφορετικά συνδέεται με c(j). Τυχαία μετ/τη W: μέγιστοφορτίοακμήςστην(ακέραια) λύση (x 1,, x n ) που προκύπτει. Ε[W e ] W *. Θέτουμε m = 2n(n-1) (#ακμών στο grid). Εφαρμόζοντας Chernoff bounds με έχουμε ότι αν, τότε: Αλγόριθμοι και Πολυπλοκότητα (ΠΜΣ, Χειμώνας 2012) Πιθανότητες και Αλγόριθμοι 30

Χωροθέτηση Υπηρεσιών (Facility Location) Μετρικός χώρος (μη αρνητικές συμμετρικές αποστάσεις d(i, j) που ικανοποιούν την τριγωνική ανισότητα). Θέσεις υπηρεσιών F με κόστος εγκατάστασης f i, i F. Θέσεις πελατών D, και αποστάσεις d(j, i), j D, i F. Αλγόριθμοι και Πολυπλοκότητα (ΠΜΣ, Χειμώνας 2012) Πιθανότητες και Αλγόριθμοι 31

Χωροθέτηση Υπηρεσιών (Facility Location) Θέσεις εγκατάστασης υπηρεσιών F * F με ελάχιστο κόστος εγκατάστασης + κόστος εξυπηρέτησης Αλγόριθμοι και Πολυπλοκότητα (ΠΜΣ, Χειμώνας 2012) Πιθανότητες και Αλγόριθμοι 32

Online Facility Location [Meyerson, 01] Απαιτήσεις δεν είναι γνωστές εκ των προτέρων. Απαιτήσεις εμφανίζονται μία-μία και ενσωματώνονται άμεσα στη λύση χωρίς καμία άλλη μεταβολή. Αλλαγή διαμόρφωσης δικτύου: ακριβή ή και μη εφικτή! OFL με τυχαία διάταξη απαιτήσεων. Απαιτήσεις επιλέγονται αυθαίρετα, αλλά εμφανίζονται σε τυχαία σειρά (σύμφωνα με μια τυχαία μετάθεσή τους). Αλγόριθμοι και Πολυπλοκότητα (ΠΜΣ, Χειμώνας 2012) Πιθανότητες και Αλγόριθμοι 33

Αλγόριθμος Meyerson ιατηρούμε σύνολο facilities F. Αρχικά F =. Εμφάνιση νέας (τυχαίας) απαίτησης u: Νέο facility στηθέσητουu με πιθανότητα d(f,u)/f. Κόστος εγκατάστασης f. ιαφορετικά, εξυπηρέτηση u από κοντινότερο facility. Κόστος εξυπηρέτησης d(f,u). Απόφαση και κόστος (και δομή λύσης) είναι αμετάκλητα! Γραμμικός χρόνος εκτέλεσης. Αλγόριθμοι και Πολυπλοκότητα (ΠΜΣ, Χειμώνας 2012) Πιθανότητες και Αλγόριθμοι 34

Ανάλυση Αν απαιτήσεις εμφανίζονται με τυχαία σειρά, ο αλγόριθμος έχει λόγο προσέγγισης Ο(1)! Αναμενόμενο κόστος για απαίτηση u 2d(F,u). Θεωρούμε βέλτιστο facility c που εξυπηρετεί n απαιτήσεις με κόστος Asg(c), και θέτουμε α = Asg(c)/n. Inner απαιτήσ.: n/2 πλησιέστερες σε c εντός Ball(c,2α). Αναμενόμενο συνολικό κόστος μέχρι πρώτη facility σε θέση inner απαίτησης f (εξυπ.) + f (εγκατ.) = 2f. Αναμενόμενο κόστος για κάθε επόμενη inner απαίτηση u 2d(F,u) 2(d * u + 2α). Αναμενόμενο κόστος για inner: c a Ανεξάρτητο από σειρά εμφάνισής τους. Αλγόριθμοι και Πολυπλοκότητα (ΠΜΣ, Χειμώνας 2012)

Ανάλυση Outer απαιτήσεις όσες δεν είναι inner. Έστω d(f,c)=β όταν outer απαίτηση u: d(f,u) d * u +β. Για «εκτίμηση» β, χρησιμοποιούμε τυχαία διάταξη απαιτήσεων και αναμενόμενο κόστος inner απαιτήσεων. Έστω v τελευταία inner απαίτηση πριν u: β d(f,v)+d * v v «επιλέγεται» ισοπίθανα μεταξύ inner απαιτήσεων: u a c β Αλγόριθμοι και Πολυπλοκότητα (ΠΜΣ, Χειμώνας 2012) v w

Ανάλυση Συνολικό αναμενόμενο κόστος για inner απαιτήσεις: Συνολικό αναμενόμενο κόστος για outer απαιτήσεις: Συνολικό αναμενόμενο κόστος: Λόγος προσέγγισης 8 (μπορεί να βελτιωθεί λίγο). Με αυθαίρετη σειρά εμφάνισης, λόγος ανταγωνισμού: Αλγόριθμοι και Πολυπλοκότητα (ΠΜΣ, Χειμώνας 2012) Πιθανότητες και Αλγόριθμοι 37