Ηλεκτρονικοί Υπολογιστές IV

Transcript

1 ΠΑΝΕΠΙΣΤΗΜΙΟ ΙΩΑΝΝΙΝΩΝ ΑΝΟΙΚΤΑ ΑΚΑΔΗΜΑΪΚΑ ΜΑΘΗΜΑΤΑ Ηλεκτρονικοί Υπολογιστές IV Τυχαίοι αριθμοί - ψευδοτυχαίοι αριθμοί Διδάσκων: Επίκουρος Καθηγητής Αθανάσιος Σταυρακούδης

2 Άδειες Χρήσης Το παρόν εκπαιδευτικό υλικό υπόκειται σε άδειες χρήσης Creative Commons. Για εκπαιδευτικό υλικό, όπως εικόνες, που υπόκειται σε άλλου τύπου άδειας χρήσης, η άδεια χρήσης αναφέρεται ρητώς.

3 Τυχαίοι αριθμοί Αθανάσιος Σταυρακούδης 20/3/ / 36

4 Τύχη Που χρειάζονται οι τυχαίοι αριθμοί 1 Πολιτική, εκλογή θέσεων στην Αθηναϊκή Δημοκρατία. 2 Αθλητισμός, κλήρωση πρωταθλήματος. 3 Κοινωνική ζωή, τάβλι. 4 Ιατρική, τυχαιοποιημένη ελεγχόμενη διαδικασία 5 Μαθηματικά, Monte Carlo, γενετικοί αλγόριθμοι. 2 / 36

5 Ψευδοτυχαίοι αριθμοί Γεννήτρια Neuman Εστω ένας τετραψήφιος αριθμός, π.χ Παίρνουμε το τετράγωνό του: = Απομονώνουμε τα 4 μεσαία ψηφία: Υψώνουμε στο τετράγωνο: = Απομονώνουμε τα 4 μεσαία ψηφία: Υψώνουμε στο τετράγωνο: = Απομονώνουμε τα 4 μεσαία ψηφία: Επαναλαμβάνουμε... Ψευδοτυχαίοι αριθμοί Η αλληλουχία 6713, 4318, 6451, είναι αλληλουχία ψευδοτυχαίων αριθμών. 3 / 36

6 Γραμμική συγκλίνουσα μέθοδος Επαναληπτική μέθοδος x n+1 = (αx n + c) mod m 1 a, c, m θετικοί ακέραιοι. 2 Οι πιθανές τιμές είναι 0, 1,..., m 1. 3 Ομοιόμορφη κατανομή. 4 Διαιρώντας το αποτέλεσμα με m 1 παίρνουμε τυχαίους αριθμούς στο διάστημα [0, 1]. 4 / 36

7 Παράδειγμα γραμμικής συγκλίνουσας μεθόδου Παράδειγμα, x 0 = 5, a = 7, c = 1, m = 10 x n+1 = (αx n + c) mod m n x n ax n + c x n / 36

8 Παράδειγμα γραμμικής συγκλίνουσας μεθόδου Παράδειγμα, x 0 = 5, a = 7, c = 1, m = 10 x n+1 = (αx n + c) mod m n x n ax n + c x n Τυχαίοι; Η αλληλουχία 6, 3, 2, 5 επαναλαμβάνεται! 6 / 36

9 Γραμμική συγκλίνουσα μέθοδος Σχεδιασμός της γεννήτριας x n+1 = (αx n + c) mod m 1 Μεγάλο m αυξάνει το όριο [0, m 1] στο οποίο παράγονται οι τυχαίοι αριθμοί. 2 Συνήθως m = 2 n, π.χ. n = Πολύ συχνά χρειαζόμαστε δεκαδικούς τυχαίους αριθμούς στο διάστημα (0, 1). Αυτό μπορεί να γίνει εύκολα με το μετασχηματισμό: x = x/m 4 Κατάλληλη επιλογή των a, c οδηγεί σε καλύτερη «τυχαιότητα». 5 Η μη επανάληψη είναι βασική προϋπόθεση μιας καλής γεννήτριας τυχαίων αριθμών. 7 / 36

10 Παράδειγμα LCG clear ; m = 2ˆ32; a = ; c = ; Listing 1: LCG1.m x ( 1 ) = ; f o r i = 2:500; x ( i ) = mod ( (a x ( i 1) + c), m ) ; end z = x / m; h i s t ( z ) 8 / 36

11 Παράδειγμα συνάρτησης LCG function z = rndlcg( T ) m = 2ˆ32; a = ; c = ; k = 100; x ( 1 ) = ; Listing 2: rndlcg.m f o r i = 2: T+k ; x ( i ) = mod ( (a x ( i 1) + c), m ) ; end z = x ( k +1: T+k ) / m; x = [ ] ; end 9 / 36

12 Κατανομή LCG με n = / 36

13 Κατανομή LCG με n = / 36

14 Κατανομή LCG με n = / 36

15 Παραλλαγές και επεκτάσεις Σχεδιασμός της γεννήτριας x n+1 = (αx n + c) mod m 1 Υπάρχουν διάφορες παραλλαγές και επεκτάσεις της μεθόδου. 2 Διαφορετικά συστήματα και λογισμικά πακέτα χρησιμοποιούν διαφορετικούς συνδυασμούς a, c, m. 3 Με βάση την ομοιόμορφη κατανομή [0, 1] μπορούμε να υπολογίσουμε τυχαίους αριθμούς με όρια a, b: x (b a) + a 4 Η κατανομή των τυχαίων αριθμών μπορεί να επηρεάζεται από το «φύτρο» (seed). 5 Βιβλιογραφία / 36

16 Παραλλαγές και επεκτάσεις Αθροιστικές ισοϋπόλοιπες γεννήτριες x n+1 = (α 1 x n + α 2 x n 1 ) mod m Δευτεροβάθμιες ισοϋπόλοιπες γεννήτριες x n+1 = (α 1 x 2 n + α 2 x n 1 + c) mod m Συνδυαστικές ισοϋπόλοιπες γεννήτριες x n+1 = (y n+1 + z n+1 ) mod m 14 / 36

17 Ελεγχοι τυχαιότητας 1 Ελεγχος κατανομής 2 Σειριακός έλεγχος 3 Ελεγχος απόστασης 4 Ελεγχος διαστήματος 5 Ελεγχος συνέχειας 6 Φασματικός έλεγχος 7 Ελεγχος πόκερ 8 Ελεγχος ροών 9 Ελεγχος διάταξης 10 Ελεγχος Yule 15 / 36

18 Ελεγχος κατανομής με το χ 2 τεστ Ορισμός Αν το δείγμα N παρατηρήσεων χωριστεί σε n κλάσεις, και: V = n (O i E i ) 2 E i i=1 1 O i το πλήθος των παρατηρήσεων στην κλάση i. 2 E i το αναμενόμενο πλήθος των παρατηρήσεων στην κλάση i. 3 Στην ομοιόμορφη κατανομή ισχύει: E i = N n Παρατηρήσεις Για μικρές διαφορές O i E i, η τιμή V είναι μικρή. Η V ακολουθεί την κατανομή χ / 36

19 Διαδικασία ελέγχου χ 2 τεστ Υπόθεση H 0 : Ομοιόμορφη κατανομή στο [0, 1] H 1 : Μη ομοιόμορφη κατανομή στο [0, 1] Διαδικασία Ορισμός κλάσεων διαχωρισμού. Υπολογισμός O i, E i. Υπολογισμός τιμής V. Υπολογισμός της τιμής p value. Απόρριψη ή μη απόρριψη της H 0, ανάλογα με το επίπεδο σημαντικότητας που επιθυμούμε. 17 / 36

20 Παράδειγμα ελέγχου χ 2 με Octave/Matlab alpha = ; n = 10; T = 100; Listing 3: chi1.m x = rndlcg( T ) ; h = h i s t ( x, n ) ; t ( 1 : n) = T /n ; V = sum( (h t ). ˆ 2 / t ) ; h i s t ( x, n) pval = 1 chi2cdf (V, n 1) i f ( pval > alpha ) p r i n t f ( H0 not rejected \n ) ; else p r i n t f ( H0 rejected \n ) ; end 18 / 36

21 Σειριακός έλεγχος Χωρίζουμε το δείγμα Ν αριθμών σε Ν/2 ζεύγη. μετράμε το πλήθος κάθε ζεύγους. Ελέγχουμε με το τεστ χ 2 τη διαφορά αναμενόμενων και μετρήσιμων τιμών πλήθους. Για παράδειγμα, έστω τυχαίοι αριθμοί -1 (25%), 0 (50%), 1 (25%): Είναι τυχαία η εμφάνιση των ζευγών; Λύστε το ερώτημα σε Η/Υ. 19 / 36

22 Πόκερ τεστ Name Pattern Probability All different ABCDE One Pair AABCD Two pairs AABBC Three of a kind AAABC Full house AAABB Four of a kind AAAAB Five of a kind AAAAA Σύμπτυξη περιπτώσεων Πλήθος Πιθανότητα / 36

23 Πιθανότητες κατηγοριών Πιθανότητα Pr(r) = d, πλήθος αριθμών, εδώ d = 10 d(d 1)(d 2)... (d r + 1) d k r, πιθανές επιλογές, εδώ r = 1, 2, 3, 4, 5 k, πλήθος στοιχείων ομαδοποίησης, εδώ k = 5 { k } r, αριθμοί Stirling δευτέρου είδους { } k r Προσοχή { } k r ( ) k r 21 / 36

24 2nd type Stirling numbers Ορισμός { } n = 1 k k! Αναδρομικός τύπος υπολογισμού k ( k ( 1) k j j j=0 { } 0 = 1 0 { } n = 0 0 { } 0 = 0 k { } { } n n 1 = k k 1 ) j n { } n 1 + k k 22 / 36

25 Υπολογισμός πιθανοτήτων κατηγοριών Pr(1) = 10 { } = = { } 10(10 1) 5 Pr(2) = 10 5 = = { } 10(10 1)(10 8) 5 Pr(3) = 10 5 = = { } 10(10 1)(10 8)(10 7) 5 Pr(4) = Pr(5) = = = (10 1)(10 8)(10 7)(10 6) 10 5 = = { } / 36

26 Παράδειγμα ελέγχου poker με Octave/Matlab Listing 4: poker.m p = [ ] ; N = 10; k = 5; alpha = ; c = [ ] ; f o r i = 1:N x = f l o o r (rndlcg( k ) 1 0 ) ; c( i ) = length ( unique ( x ) ) ; end h = h i s t (c, 1 : 1 : k ) ; h = [h /sum(h ) ] ; V = sum( (p h ). ˆ 2. / p ) pval = 1 chi2cdf (V, N 1) 24 / 36

27 Κριτήριο ροών runs των Wald Wolfowitz Υπόθεση Εστω μια ακολουθία αριθμών με R ροές πάνω και κάτω από το διάμεσο όρο: H 0 H 1 Ελεγχος : το δείγμα είναι τυχαίο : το δείγμα δεν είναι τυχαίο Το πλήθος ροών ακολουθεί κανονική κατανομή (µ, σ 2 ): µ = 2 N+ N N + 1 σ 2 = 2 N+ N (2 N + N N) N 2 (N 1) = (µ 1)(µ 2) N 1 25 / 36

28 Κριτήριο ροών στην πράξη Διαδικασία 1 Υπολογίζουμε την τιμή µ R. 2 Υπολογίζουμε την τιμή σ R. 3 Αν R > µ R τότε 4 Αν R < µ R τότε Z = R µ R 0.5 σ R Z = R µ R σ R 5 Η Z ακολουθεί την κατανομή N(0, 1) 6 Απορρίπτουμε την H 0 όταν Z Z α/2 26 / 36

29 Απόρριψη μηδενικής υπόθεσης Διάστημα εμπιστοσύνης του μέσου Αν το πλήθος ροών R βρίσκεται μέσα στο διάστημα [µ 1.96σ, µ σ] τότε σε επίπεδο σημαντικότητας 95% δεν απορρίπτουμε την H 0, θεωρούμε το δείγμα ως τυχαίους αριθμούς. Διαφορετικά απορρίπτουμε την H 0 Ελεγχος p-value Υπολογίζουμε την τιμή p-value: η τιμή Z προέρχεται από κανονική κατανομή N(0, 1). Δεν απορρίπτουμε (μεγάλη τιμή p-value ), ή απορρίπτουμε (μικρή τιμή p-value) την υπόθεση H 0, ανάλογα με την τιμή p-value, εκλέγοντας κατάλληλο επίπεδο σημαντικότητας. Παράγραφος του βιβλίου «Προσομοίωση και εφαρμογές» του Μ. Σφακιανάκη. 27 / 36

30 Παράδειγμα Ακολουθεί παράδειγμα έκπληξη. 28 / 36

31 Διάγραμμα διασποράς δύο μεταβλητών y x 29 / 36

32 Γραμμικό μοντέλο y x y = b 0 + b 1 x + u 30 / 36

33 Παλινδρόμηση y = x + u y x Αλληλουχία ροών / 36

34 Ελεγχος ροών για την τυχαιότητα του σφάλματος Ελεγχος της αναμενόμενης τιμής N + = 8 N = 9 R = 11 µ = 2 N+ N (µ 1)(µ 2) N 1 = N + 1 = (9.47 1)(9.47 2) σ R = 11 [µ 1.96σ, µ σ] [1.71, 17.22] Δεν απορρίπτουμε την H 0. Octave octave:> 1 normcdf (11, 9.47, 3.96) ans = R > pnorm(11, 9.47, 3.96, lower. t a i l =F ) [ 1 ] / 36

35 Παλινδρόμηση y x Αλληλουχία ροών / 36

36 Παλινδρόμηση y x Αλληλουχία ροών / 36

37 y Καταλληλότητα μοντέλου y y = b 0 + b 1 x + u y = b 0 + b 1 x 2 + u x x Προσοχή στην τυχαιότητα του στοχαστικού όρου. 35 / 36

38 Σχόλια και ερωτήσεις Σας ευχαριστώ για την προσοχή σας Είμαι στη διάθεσή σας για σχόλια, απορίες και ερωτήσεις 36 / 36

39 Τέλος Ενότητας

40 Χρηματοδότηση Το παρόν εκπαιδευτικό υλικό έχει αναπτυχθεί στα πλαίσια του εκπαιδευτικού έργου του διδάσκοντα. Το έργο «Ανοικτά Ακαδημαϊκά Μαθήματα στο Πανεπιστήμιο Ιωαννίνων» έχει χρηματοδοτήσει μόνο τη αναδιαμόρφωση του εκπαιδευτικού υλικού. Το έργο υλοποιείται στο πλαίσιο του Επιχειρησιακού Προγράμματος «Εκπαίδευση και Δια Βίου Μάθηση» και συγχρηματοδοτείται από την Ευρωπαϊκή Ένωση (Ευρωπαϊκό Κοινωνικό Ταμείο) και από εθνικούς πόρους.

41 Σημειώματα

42 Σημείωμα Ιστορικού Εκδόσεων Έργου Το παρόν έργο αποτελεί την έκδοση 1.0. Έχουν προηγηθεί οι κάτωθι εκδόσεις: Έκδοση 1.0 διαθέσιμη εδώ.

43 Σημείωμα Αναφοράς Copyright Πανεπιστήμιο Ιωαννίνων, Διδάσκων: Επίκουρος Καθηγητής Αθανάσιος Σταυρακούδης. «Ηλεκτρονικοί Υπολογιστές IV. Τυχαίοι αριθμοί - ψευδοτυχαίοι αριθμοί». Έκδοση: 1.0. Ιωάννινα Διαθέσιμο από τη δικτυακή διεύθυνση:

44 Σημείωμα Αδειοδότησης Το παρόν υλικό διατίθεται με τους όρους της άδειας χρήσης Creative Commons Αναφορά Δημιουργού - Παρόμοια Διανομή, Διεθνής Έκδοση 4.0 [1] ή μεταγενέστερη. [1]