ΠΑΝΕΠΙΣΤΗΜΙΟ ΙΩΑΝΝΙΝΩΝ ΑΝΟΙΚΤΑ ΑΚΑΔΗΜΑΪΚΑ ΜΑΘΗΜΑΤΑ Ηλεκτρονικοί Υπολογιστές IV Τυχαίοι αριθμοί - ψευδοτυχαίοι αριθμοί Διδάσκων: Επίκουρος Καθηγητής Αθανάσιος Σταυρακούδης
Άδειες Χρήσης Το παρόν εκπαιδευτικό υλικό υπόκειται σε άδειες χρήσης Creative Commons. Για εκπαιδευτικό υλικό, όπως εικόνες, που υπόκειται σε άλλου τύπου άδειας χρήσης, η άδεια χρήσης αναφέρεται ρητώς.
Τυχαίοι αριθμοί Αθανάσιος Σταυρακούδης http://stavrakoudis.econ.uoi.gr 20/3/2013 1 / 36
Τύχη Που χρειάζονται οι τυχαίοι αριθμοί 1 Πολιτική, εκλογή θέσεων στην Αθηναϊκή Δημοκρατία. 2 Αθλητισμός, κλήρωση πρωταθλήματος. 3 Κοινωνική ζωή, τάβλι. 4 Ιατρική, τυχαιοποιημένη ελεγχόμενη διαδικασία 5 Μαθηματικά, Monte Carlo, γενετικοί αλγόριθμοι. 2 / 36
Ψευδοτυχαίοι αριθμοί Γεννήτρια Neuman 1946 1 Εστω ένας τετραψήφιος αριθμός, π.χ. 6713 2 Παίρνουμε το τετράγωνό του: 5043 5043 = 25431849 3 Απομονώνουμε τα 4 μεσαία ψηφία: 4318. 4 Υψώνουμε στο τετράγωνο: 4318 4318 = 18645124. 5 Απομονώνουμε τα 4 μεσαία ψηφία: 6451. 6 Υψώνουμε στο τετράγωνο: 6451 6451 = 41615401. 7 Απομονώνουμε τα 4 μεσαία ψηφία: 6154. 8 Επαναλαμβάνουμε... Ψευδοτυχαίοι αριθμοί Η αλληλουχία 6713, 4318, 6451, 6154... είναι αλληλουχία ψευδοτυχαίων αριθμών. 3 / 36
Γραμμική συγκλίνουσα μέθοδος Επαναληπτική μέθοδος x n+1 = (αx n + c) mod m 1 a, c, m θετικοί ακέραιοι. 2 Οι πιθανές τιμές είναι 0, 1,..., m 1. 3 Ομοιόμορφη κατανομή. 4 Διαιρώντας το αποτέλεσμα με m 1 παίρνουμε τυχαίους αριθμούς στο διάστημα [0, 1]. 4 / 36
Παράδειγμα γραμμικής συγκλίνουσας μεθόδου Παράδειγμα, x 0 = 5, a = 7, c = 1, m = 10 x n+1 = (αx n + c) mod m n x n ax n + c x n+1 0 5 36 6 1 6 43 3 2 3 22 2 3 2 15 5 4 5 36 6 5 6 43 3 5 / 36
Παράδειγμα γραμμικής συγκλίνουσας μεθόδου Παράδειγμα, x 0 = 5, a = 7, c = 1, m = 10 x n+1 = (αx n + c) mod m n x n ax n + c x n+1 0 5 36 6 1 6 43 3 2 3 22 2 3 2 15 5 4 5 36 6 5 6 43 3 Τυχαίοι; Η αλληλουχία 6, 3, 2, 5 επαναλαμβάνεται! 6 / 36
Γραμμική συγκλίνουσα μέθοδος Σχεδιασμός της γεννήτριας x n+1 = (αx n + c) mod m 1 Μεγάλο m αυξάνει το όριο [0, m 1] στο οποίο παράγονται οι τυχαίοι αριθμοί. 2 Συνήθως m = 2 n, π.χ. n = 32. 3 Πολύ συχνά χρειαζόμαστε δεκαδικούς τυχαίους αριθμούς στο διάστημα (0, 1). Αυτό μπορεί να γίνει εύκολα με το μετασχηματισμό: x = x/m 4 Κατάλληλη επιλογή των a, c οδηγεί σε καλύτερη «τυχαιότητα». 5 Η μη επανάληψη είναι βασική προϋπόθεση μιας καλής γεννήτριας τυχαίων αριθμών. 7 / 36
Παράδειγμα LCG clear ; m = 2ˆ32; a = 1664525; c = 1013904223; Listing 1: LCG1.m x ( 1 ) = 327680; f o r i = 2:500; x ( i ) = mod ( (a x ( i 1) + c), m ) ; end z = x / m; h i s t ( z ) 8 / 36
Παράδειγμα συνάρτησης LCG function z = rndlcg( T ) m = 2ˆ32; a = 1664525; c = 1013904223; k = 100; x ( 1 ) = 327680; Listing 2: rndlcg.m f o r i = 2: T+k ; x ( i ) = mod ( (a x ( i 1) + c), m ) ; end z = x ( k +1: T+k ) / m; x = [ ] ; end 9 / 36
Κατανομή LCG με n = 100 20 15 10 5 0 0 0.2 0.4 0.6 0.8 1 10 / 36
Κατανομή LCG με n = 1000 120 100 80 60 40 20 0 0 0.2 0.4 0.6 0.8 1 11 / 36
Κατανομή LCG με n = 10000 1200 1000 800 600 400 200 0 0 0.2 0.4 0.6 0.8 1 12 / 36
Παραλλαγές και επεκτάσεις Σχεδιασμός της γεννήτριας x n+1 = (αx n + c) mod m 1 Υπάρχουν διάφορες παραλλαγές και επεκτάσεις της μεθόδου. 2 Διαφορετικά συστήματα και λογισμικά πακέτα χρησιμοποιούν διαφορετικούς συνδυασμούς a, c, m. 3 Με βάση την ομοιόμορφη κατανομή [0, 1] μπορούμε να υπολογίσουμε τυχαίους αριθμούς με όρια a, b: x (b a) + a 4 Η κατανομή των τυχαίων αριθμών μπορεί να επηρεάζεται από το «φύτρο» (seed). 5 Βιβλιογραφία... 13 / 36
Παραλλαγές και επεκτάσεις Αθροιστικές ισοϋπόλοιπες γεννήτριες x n+1 = (α 1 x n + α 2 x n 1 ) mod m Δευτεροβάθμιες ισοϋπόλοιπες γεννήτριες x n+1 = (α 1 x 2 n + α 2 x n 1 + c) mod m Συνδυαστικές ισοϋπόλοιπες γεννήτριες x n+1 = (y n+1 + z n+1 ) mod m 14 / 36
Ελεγχοι τυχαιότητας 1 Ελεγχος κατανομής 2 Σειριακός έλεγχος 3 Ελεγχος απόστασης 4 Ελεγχος διαστήματος 5 Ελεγχος συνέχειας 6 Φασματικός έλεγχος 7 Ελεγχος πόκερ 8 Ελεγχος ροών 9 Ελεγχος διάταξης 10 Ελεγχος Yule 15 / 36
Ελεγχος κατανομής με το χ 2 τεστ Ορισμός Αν το δείγμα N παρατηρήσεων χωριστεί σε n κλάσεις, και: V = n (O i E i ) 2 E i i=1 1 O i το πλήθος των παρατηρήσεων στην κλάση i. 2 E i το αναμενόμενο πλήθος των παρατηρήσεων στην κλάση i. 3 Στην ομοιόμορφη κατανομή ισχύει: E i = N n Παρατηρήσεις Για μικρές διαφορές O i E i, η τιμή V είναι μικρή. Η V ακολουθεί την κατανομή χ 2. 16 / 36
Διαδικασία ελέγχου χ 2 τεστ Υπόθεση H 0 : Ομοιόμορφη κατανομή στο [0, 1] H 1 : Μη ομοιόμορφη κατανομή στο [0, 1] Διαδικασία Ορισμός κλάσεων διαχωρισμού. Υπολογισμός O i, E i. Υπολογισμός τιμής V. Υπολογισμός της τιμής p value. Απόρριψη ή μη απόρριψη της H 0, ανάλογα με το επίπεδο σημαντικότητας που επιθυμούμε. 17 / 36
Παράδειγμα ελέγχου χ 2 με Octave/Matlab alpha = 0. 0 5 ; n = 10; T = 100; Listing 3: chi1.m x = rndlcg( T ) ; h = h i s t ( x, n ) ; t ( 1 : n) = T /n ; V = sum( (h t ). ˆ 2 / t ) ; h i s t ( x, n) pval = 1 chi2cdf (V, n 1) i f ( pval > alpha ) p r i n t f ( H0 not rejected \n ) ; else p r i n t f ( H0 rejected \n ) ; end 18 / 36
Σειριακός έλεγχος Χωρίζουμε το δείγμα Ν αριθμών σε Ν/2 ζεύγη. μετράμε το πλήθος κάθε ζεύγους. Ελέγχουμε με το τεστ χ 2 τη διαφορά αναμενόμενων και μετρήσιμων τιμών πλήθους. Για παράδειγμα, έστω τυχαίοι αριθμοί -1 (25%), 0 (50%), 1 (25%): -1 0 1-1 1 3 2 0 2 6 3 1 3 4 3 Είναι τυχαία η εμφάνιση των ζευγών; Λύστε το ερώτημα σε Η/Υ. 19 / 36
Πόκερ τεστ Name Pattern Probability All different ABCDE 0.3024 One Pair AABCD 0.5040 Two pairs AABBC 0.1080 Three of a kind AAABC 0.0720 Full house AAABB 0.0090 Four of a kind AAAAB 0.0045 Five of a kind AAAAA 0.0001 Σύμπτυξη περιπτώσεων Πλήθος Πιθανότητα 1 0.0001 2 0.0135 3 0.1800 4 0.5040 5 0.3024 20 / 36
Πιθανότητες κατηγοριών Πιθανότητα Pr(r) = d, πλήθος αριθμών, εδώ d = 10 d(d 1)(d 2)... (d r + 1) d k r, πιθανές επιλογές, εδώ r = 1, 2, 3, 4, 5 k, πλήθος στοιχείων ομαδοποίησης, εδώ k = 5 { k } r, αριθμοί Stirling δευτέρου είδους { } k r Προσοχή { } k r ( ) k r 21 / 36
2nd type Stirling numbers Ορισμός { } n = 1 k k! Αναδρομικός τύπος υπολογισμού k ( k ( 1) k j j j=0 { } 0 = 1 0 { } n = 0 0 { } 0 = 0 k { } { } n n 1 = k k 1 ) j n { } n 1 + k k 22 / 36
Υπολογισμός πιθανοτήτων κατηγοριών Pr(1) = 10 { } 5 10 5 = 0.0001 1 = 0.0001 1 { } 10(10 1) 5 Pr(2) = 10 5 = 0.0009 15 = 0.0135 2 { } 10(10 1)(10 8) 5 Pr(3) = 10 5 = 0.0072000 25 = 0.180 3 { } 10(10 1)(10 8)(10 7) 5 Pr(4) = 10 5 4 Pr(5) = = 0.05040 10 = 0.5040 10(10 1)(10 8)(10 7)(10 6) 10 5 = 0.30240 1 = 0.3024 { } 5 5 23 / 36
Παράδειγμα ελέγχου poker με Octave/Matlab Listing 4: poker.m p = [0.0001 0.0135 0.1800 0.5040 0. 3 0 2 4 ] ; N = 10; k = 5; alpha = 0. 0 5 ; c = [ ] ; f o r i = 1:N x = f l o o r (rndlcg( k ) 1 0 ) ; c( i ) = length ( unique ( x ) ) ; end h = h i s t (c, 1 : 1 : k ) ; h = [h /sum(h ) ] ; V = sum( (p h ). ˆ 2. / p ) pval = 1 chi2cdf (V, N 1) 24 / 36
Κριτήριο ροών runs των Wald Wolfowitz Υπόθεση Εστω μια ακολουθία αριθμών με R ροές πάνω και κάτω από το διάμεσο όρο: + + + + + + + + H 0 H 1 Ελεγχος : το δείγμα είναι τυχαίο : το δείγμα δεν είναι τυχαίο Το πλήθος ροών ακολουθεί κανονική κατανομή (µ, σ 2 ): µ = 2 N+ N N + 1 σ 2 = 2 N+ N (2 N + N N) N 2 (N 1) = (µ 1)(µ 2) N 1 25 / 36
Κριτήριο ροών στην πράξη Διαδικασία 1 Υπολογίζουμε την τιμή µ R. 2 Υπολογίζουμε την τιμή σ R. 3 Αν R > µ R τότε 4 Αν R < µ R τότε Z = R µ R 0.5 σ R Z = R µ R + 0.5 σ R 5 Η Z ακολουθεί την κατανομή N(0, 1) 6 Απορρίπτουμε την H 0 όταν Z Z α/2 26 / 36
Απόρριψη μηδενικής υπόθεσης Διάστημα εμπιστοσύνης του μέσου Αν το πλήθος ροών R βρίσκεται μέσα στο διάστημα [µ 1.96σ, µ + 1.96σ] τότε σε επίπεδο σημαντικότητας 95% δεν απορρίπτουμε την H 0, θεωρούμε το δείγμα ως τυχαίους αριθμούς. Διαφορετικά απορρίπτουμε την H 0 Ελεγχος p-value Υπολογίζουμε την τιμή p-value: η τιμή Z προέρχεται από κανονική κατανομή N(0, 1). Δεν απορρίπτουμε (μεγάλη τιμή p-value ), ή απορρίπτουμε (μικρή τιμή p-value) την υπόθεση H 0, ανάλογα με την τιμή p-value, εκλέγοντας κατάλληλο επίπεδο σημαντικότητας. Παράγραφος 3.3.8 του βιβλίου «Προσομοίωση και εφαρμογές» του Μ. Σφακιανάκη. 27 / 36
Παράδειγμα Ακολουθεί παράδειγμα έκπληξη. 28 / 36
Διάγραμμα διασποράς δύο μεταβλητών y 0 5 10 15 20 25 30 0 5 10 15 20 x 29 / 36
Γραμμικό μοντέλο y 0 5 10 15 20 25 30 0 5 10 15 20 x y = b 0 + b 1 x + u 30 / 36
Παλινδρόμηση y = 1.166 + 1.368x + u y 0 5 10 15 20 25 30 0 5 10 15 20 x Αλληλουχία ροών + + + + + + + + 31 / 36
Ελεγχος ροών για την τυχαιότητα του σφάλματος Ελεγχος της αναμενόμενης τιμής N + = 8 N = 9 R = 11 µ = 2 N+ N (µ 1)(µ 2) N 1 = N + 1 = 2 8 9 17 + 1 9.47 (9.47 1)(9.47 2) 17 1 3.96 σ R = 11 [µ 1.96σ, µ + 1.96σ] [1.71, 17.22] Δεν απορρίπτουμε την H 0. Octave octave:> 1 normcdf (11, 9.47, 3.96) ans = 0.34961 R > pnorm(11, 9.47, 3.96, lower. t a i l =F ) [ 1 ] 0.3496137 32 / 36
Παλινδρόμηση y -20 0 20 40 60 80 0 2 4 6 8 10 x Αλληλουχία ροών + + + + + + + 33 / 36
Παλινδρόμηση y 0 20 40 60 80 0 20 40 60 80 100 x Αλληλουχία ροών + + + + + + 34 / 36
y Καταλληλότητα μοντέλου y y = b 0 + b 1 x + u y = b 0 + b 1 x 2 + u -20 0 20 40 60 80 0 20 40 60 80 0 2 4 6 8 10 x 0 20 40 60 80 100 x Προσοχή στην τυχαιότητα του στοχαστικού όρου. 35 / 36
Σχόλια και ερωτήσεις Σας ευχαριστώ για την προσοχή σας Είμαι στη διάθεσή σας για σχόλια, απορίες και ερωτήσεις 36 / 36
Τέλος Ενότητας
Χρηματοδότηση Το παρόν εκπαιδευτικό υλικό έχει αναπτυχθεί στα πλαίσια του εκπαιδευτικού έργου του διδάσκοντα. Το έργο «Ανοικτά Ακαδημαϊκά Μαθήματα στο Πανεπιστήμιο Ιωαννίνων» έχει χρηματοδοτήσει μόνο τη αναδιαμόρφωση του εκπαιδευτικού υλικού. Το έργο υλοποιείται στο πλαίσιο του Επιχειρησιακού Προγράμματος «Εκπαίδευση και Δια Βίου Μάθηση» και συγχρηματοδοτείται από την Ευρωπαϊκή Ένωση (Ευρωπαϊκό Κοινωνικό Ταμείο) και από εθνικούς πόρους.
Σημειώματα
Σημείωμα Ιστορικού Εκδόσεων Έργου Το παρόν έργο αποτελεί την έκδοση 1.0. Έχουν προηγηθεί οι κάτωθι εκδόσεις: Έκδοση 1.0 διαθέσιμη εδώ. http://ecourse.uoi.gr/course/view.php?id=1155.
Σημείωμα Αναφοράς Copyright Πανεπιστήμιο Ιωαννίνων, Διδάσκων: Επίκουρος Καθηγητής Αθανάσιος Σταυρακούδης. «Ηλεκτρονικοί Υπολογιστές IV. Τυχαίοι αριθμοί - ψευδοτυχαίοι αριθμοί». Έκδοση: 1.0. Ιωάννινα 2014. Διαθέσιμο από τη δικτυακή διεύθυνση: http://ecourse.uoi.gr/course/view.php?id=1155.
Σημείωμα Αδειοδότησης Το παρόν υλικό διατίθεται με τους όρους της άδειας χρήσης Creative Commons Αναφορά Δημιουργού - Παρόμοια Διανομή, Διεθνής Έκδοση 4.0 [1] ή μεταγενέστερη. [1] https://creativecommons.org/licenses/by-sa/4.0/.