Επαλήθευση μοντέλου (model Verification) Προσομοίωση Βιομηχανικής Παραγωγής & Επιχειρήσεων ΚΕΦ. 5 Μοντελοποίηση Τυχαίοι Αριθμοί Διαγράμματα Επαλήθευση Ανάλυση Αποτελεσμάτων
Επαλήθευση, Επικύρωση και Αξιοπιστία Μοντέλου Όταν το μοντέλο της προσομοίωσης συστήματος γίνει πρόγραμμα στον υπολογιστή, υπάρχουν οι 3 παρακάτω έννοιες και διαδικασίες: 1. Επαλήθευση (verification) 2. Επικύρωση (validation) 3. Αξιοπιστία (reliability, credibility) Oι διαδικασίες της επαλήθευσης και της επικύρωσης όταν υλοποιηθούν επιτυχώς οδηγούν σε ένα αξιόπιστο μοντέλο. ΠΡΟΣΟΜΟΙΩΣΗ 6.2
Επαλήθευση του Προγράμματος Έλεγχος αν το πρόγραμμα λειτουργεί όπως το λογικό μοντέλο, δηλαδή, να ελεγχθεί αν οι λογικές και μαθηματικές σχέσεις που εμφανίζονται στα αρχικά διαγράμματα μεταφέρθηκαν σωστά στον κώδικα και στη λογική του προγράμματος. Σε οποιοδήποτε πρόγραμμα υπολογιστή είναι γνωστό ως αποσφαλμάτωση (debugging). Για προγράμματα Προσομοίωσης μπορούν να χρησιμοποιηθούν τα παρακάτω: 1. Εφαρμογή γνωστών τεχνικών (μεθόδων) και καλών πρακτικών ανάπτυξης λογισμικού 2. Διαδικασία παρακολούθησης (ιχνηλάτηση) των ενδιάμεσων αποτελεσμάτων του προγράμματος βήμα-βήμα (tracing) 3. Ακύρωση της τυχαιότητας (randomness cancellation) 4. Επιλεκτικός έλεγχος (test check) των αποτελεσμάτων του μοντέλου προσομοίωσης 5. Σύγκριση αποτελεσμάτων του μοντέλου προσομοίωσης με πραγματικά αποτελέσματα ή με αποτελέσματα αναλυτικών μοντέλων 6. χρήση γραφικών τεχνικών απεικόνισης (animation, visual representation) για την αναπαράσταση των οντοτήτων και των μεταβλητών κατάστασης. ΠΡΟΣΟΜΟΙΩΣΗ 6.3
Μέθοδοι Επαλήθευσης Προγράμματος 1. Εφαρμογή γνωστών τεχνικών (μεθόδων) και καλών πρακτικών ανάπτυξης λογισμικού από την πλευρά της μεθοδολογίας ανάπτυξης λογισμικού καλές πρακτικές είναι: a. Τμηματικός προγραμματισμός (modular programming), b. Δομημένος προγραμματισμός (structured programming), c. Αντικειμενοστραφής προγραμματισμός (object-oriented programming) 2. Διαδικασία παρακολούθησης (ιχνηλάτηση) των ενδιάμεσων αποτελεσμάτων του προγράμματος βήμαβήμα (tracing) Παρακολουθούμε την εκτέλεση του προγράμματος βήμα-βήμα (εντολή-εντολή) για να επαληθεύσουμε ότι πραγματικά «κάνει» αυτό που σχεδιάσαμε. Στα σύγχρονα προγραμματιστικά περιβάλλοντα η διαδικασία ονομάζεται tracing και μας δίνει τη δυνατότητα να παρακολουθούμε τις τιμές των μεταβλητών και εντολών που εκτελούνται βήμα-βήμα. 3. Ακύρωση της τυχαιότητας (randomness cancellation) Στα προγράμματα προσομοίωσης αναπόφευκτα υπάρχουν τυχαίες τιμές (π.χ. σε 1 μεταβλητή για το χρόνο εξυπηρέτησης). Αυτό οδηγεί σε διαφορετικά αποτελέσματα κάθε φορά που «τρέχει» το πρόγραμμα. Η ακύρωση της τυχαιότητας είναι ακριβώς η επιλογή σε κάθε «τρέξιμο» να έχουμε τους ίδιους τυχαίους, ώστε να παράγονται τα ίδια αποτελέσματα για να είναι εφικτός έλεγχος των αποτελεσμάτων. Σε λογισμικά προσομοίωσης αυτό μπορεί να γίνει με τον έλεγχο σπόρου (seed) των γεννητριών τυχαίων αριθμών. Αν χρησιμοποιηθεί ο ίδιος σπόρος δημιουργούνται οι ίδιοι τυχαίοι => ίδια αποτελέσματα που μπορούν να ιχνηλατηθούν. ΠΡΟΣΟΜΟΙΩΣΗ 6.4
Μέθοδοι Επαλήθευσης Προγράμματος 4. Επιλεκτικός έλεγχος (test check) των αποτελεσμάτων του μοντέλου προσομοίωσης Αναφέρεται στον έλεγχο αν διάφορα μέρη του προγράμματος (υπο-προγράμματα, εντολές συγκεκριμένης διαδικασίας). Σε πολλές περιπτώσεις είναι ευκολότερο και σημαντικότερο να ελεγχθούν επιλεκτικά μέρη του προγράμματος, π.χ. για το αν λειτουργεί σωστά το μέρος που παράγει τυχαίους αριθμούς αφίξεων πελατών, κλπ. 5. Σύγκριση αποτελεσμάτων του μοντέλου προσομοίωσης με πραγματικά αποτελέσματα ή με αποτελέσματα αναλυτικών μοντέλων Στη μέθοδο αυτή τα αποτελέσματα συγκρίνονται είτε με αποτελέσματα του πραγματικού συστήματος ή με αποτελέσματα που έχουν προκύψει με αναλυτική μέθοδο επίλυσης (αν υπάρχει) 6. χρήση γραφικών τεχνικών απεικόνισης (animation, visual representation) για την αναπαράσταση των οντοτήτων και των μεταβλητών κατάστασης. Με την γραφική απεικόνιση και αναπαράσταση της λειτουργίας (animation) του συστήματος μπορούμε ευκολότερα να εξετάσουμε αν το πρόγραμμα ανταποκρίνεται σε αυτό που παρατηρούμε και στο πραγματικό σύστημα, επίσης είναι μέθοδος που διευκολύνει έμπειρους στο πραγματικό σύστημα που δεν είναι έμπειροι στον προγραμματισμό να δουν και να ελέγξουν πως λειτουργεί το πρόγραμμα. ΠΡΟΣΟΜΟΙΩΣΗ 6.5
Επικύρωση Προγράμματος Η διαδικασία της επικύρωσης είναι μια λειτουργία που γίνεται κατά την ολοκλήρωση της διαδικασίας ανάπτυξης του μοντέλου, αλλά ΚΑΙ είναι μια συνεχής προσπάθεια ανατροφοδότησης που στοχεύει στη λήψη βέλτιστων αποφάσεων. ΠΡΟΣΟΜΟΙΩΣΗ 6.6
Επικύρωση Μοντέλου η επικύρωση είναι η διαδικασία η οποία εξασφαλίζει ότι το μοντέλο προσομοίωσης είναι αρκετά ακριβές, ώστε να εξυπηρετήσει το σκοπό για τον οποίο αναπτύχθηκε. Ο ορισμός πηγάζει από το γεγονός ότι ο στόχος μας κατά την προσομοίωση είναι να έχουμε ένα μοντέλο που να περιγράφει επαρκώς το πραγματικό σύστημα σε σχέση με τους σκοπούς της μελέτης (model scope). Θεωρητικά, είναι αδύνατο να υπάρξει πλήρης περιγραφή ενός συστήματος και βεβαίως κανένα μοντέλο δεν μπορεί να παραστήσει πλήρως ένα σύστημα, αλλά πάντα αποτελεί μια (λιγότερο ή περισσότερο) ικανοποιητική προσέγγιση. Το μοντέλο πρέπει να ελέγχεται σύμφωνα με το σύνολο των στόχων για τους οποίους δημιουργήθηκε (model scope), γιατί η πιθανή χρήση του πέρα από τα όρια αυτά ενδεχομένως να το καθιστά μη έγκυρο/αναξιόπιστο. Η βασική αρχή είναι η σύγκριση των αποτελεσμάτων του μοντέλου με πραγματικά δεδομένα και αποτελέσματα. Το κριτήριο απόρριψης ή αποδοχής πρέπει να πηγάζει από τον τρόπο χρήσης του μοντέλου και τον βαθμό επάρκειάς του για την κάλυψη των αναγκών διερεύνησης του προβλήματος για το οποίο αναπτύχθηκε. ΠΡΟΣΟΜΟΙΩΣΗ 6.7
Τεχνικές Επικύρωσης-Αξιοπιστίας Μοντέλου 1. Επικύρωση Εννοιολογικού Μοντέλου: Έλεγχος με βάση τη λογική και τα διαγράμματα του μοντέλου σε σχέση με το πραγματικό σύστημα. 2. Επικύρωση Δεδομένων: Έλεγχος για την ακρίβεια των δεδομένων από το πραγματικό σύστημα. 3. Black box Επικύρωση: Έλεγχος μόνο δεδομένων εισόδου-εξόδου, τα ενδιάμεσα (μοντέλο) δεν εξετάζονται. 4. White box Επικύρωση: Έλεγχος για τα τμήματα (υποσυστήματα) του μοντέλου, γιατί είναι όλα γνωστά και μπορεί να ελεγχθούν. ΠΡΟΣΟΜΟΙΩΣΗ 6.8
Επικύρωση Εννοιολογικού Μοντέλου (conceptual model validation) Ο αναλυτής χρησιμοποιεί πληροφορίες για να μοντελοποιήσει το σύστημα (προσδιορισμός οντοτήτων, δραστηριοτήτων, γεγονότων, μεταβλητών απόφασης, αντικειμενικών στόχων, περιορισμών κ.λπ.) και να δημιουργήσει ένα εννοιολογικό μοντέλο το οποίο αποτυπώνεται με γραπτό λόγο, σχηματικές διατάξεις (διαγράμματα), κλπ. Το εννοιολογικό μοντέλο πρέπει να αποσαφηνίζει τις πτυχές του πραγματικού συστήματος που πρόκειται να συμπεριληφθούν. Για την ανάπτυξη του μοντέλου, ο αναλυτής πρέπει να ερμηνεύσει τις πληροφορίες που λαμβάνονται από το πραγματικό σύστημα σύμφωνα με τους στόχους που έχουν τεθεί. Η επικύρωση του εννοιολογικού μοντέλου αποτελεί σημαντικό στάδιο της διαδικασίας. Να επιβεβαιώσει ότι το κατασκευασμένο μοντέλο αναπαριστά το πραγματικό σύστημα με τις λεπτομέρειες που είναι επιθυμητές. ΠΡΟΣΟΜΟΙΩΣΗ 6.9
Επικύρωση Δεδομένων (Data Validation) Τα δεδομένα (data) που συλλέγονται στον πραγματικό σύστημα και αποτελούν την εισροή (είσοδο, input) για το εννοιολογικό και για το «υπολογιστικό» μοντέλο χρησιμοποιούνται εξίσου και για την επικύρωση και τον έλεγχο της αξιοπιστίας του μοντέλου προσομοίωσης. Τα δεδομένα μπορούν να αποτελέσουν πηγή σφαλμάτων σε ένα μοντέλο προσομοίωσης (σε οποιοδήποτε μοντέλο). Πρέπει να εξασφαλιστεί ότι τα δεδομένα είναι όσο το δυνατόν πιο ακριβή. Ο αναλυτής πρέπει να διερευνήσει την πηγή όλων των δεδομένων με σκοπό τον έλεγχο της αξιοπιστίας τους και να τα αναλύσει για τυχόν προβλήματα. Αν υπάρχουν προβλήματα (σφάλματα) στα πραγματικά δεδομένα που θα χρησιμοποιηθούν θα αποτύχει η επικύρωση του μοντέλου προσομοίωσης. ΠΡΟΣΟΜΟΙΩΣΗ 6.10
Black box Επικύρωση Η τακτική για τον έλεγχο του μοντέλου προσομοίωσης σε περιβάλλον black box Επικύρωσης είναι η εξής: Η συμπεριφορά του πραγματικού συστήματος (μεταβλητές κατάστασης) κάτω από συνθήκες στις οποίες μπορεί να υποβληθεί το μοντέλο παρατηρείται και καταγράφεται. Αν το μοντέλο είναι σχετικά αξιόπιστο, τότε αναμένεται ότι ο στατιστικός έλεγχος (έλεγχος υποθέσεων) για τη σύγκριση των αποτελεσμάτων που προκύπτουν στην έξοδο και των δύο, θα δείξει ότι δεν διαφέρουν σημαντικά. Αυτό εκφράζεται με τον στατιστικό έλεγχο υποθέσεων: μηδενική υπόθεση H 0 έναντι εναλλακτικής υπόθεσης Η 1 Από τη στατιστική υπάρχουν διάφορα είδη ελέγχου που μπορούν να εφαρμοστούν για τα δεδομένα εξόδου (έλεγχος μέσου, έλεγχος διασποράς, κλπ.) Η μέθοδος ονομάζεται black box γιατί «ελέγχουμε» Τα δεδομένα εισόδου και εξόδου χωρίς να εξετάζουμε Τον ενδιάμεσο «μηχανισμό» (το μοντέλο). Θεωρούμε το μοντέλο black box (Μαύρο Κουτί) ΠΡΟΣΟΜΟΙΩΣΗ 6.11
White box Επικύρωση Στην επικύρωση Black Box δεν μας ενδιαφέρει το μοντέλο, το χειριζόμαστε σαν Μαύρο κουτί που παράγει τα αποτελέσματα. Αλλά το μοντέλο προσομοίωσης έχει κατασκευαστεί από τον αναλυτή και είναι γνωστή η λειτουργία του, ο «μηχανισμός» που παράγει τα αποτελέσματα (είναι «Λευκό κουτί»). Μπορούμε να ακολουθήσουμε τα παρακάτω βήματα. i) Ανάπτυξη ενός μοντέλου το οποίο εκ πρώτης όψεως φαίνεται λογικό: Πριν τον προγραμματισμό στον υπολογιστή (διαγράμματα) να εξασφαλιστεί ότι το μοντέλο περιγράφει το πραγματικό σύστημα ii) iii) Έλεγχος των υποθέσεων εμπειρικά/στατιστικά: Έλεγχος στα τμήματα του μοντέλου ότι «ταιριάζουν» με το πραγματικό σύστημα. Έλεγχος των αποτελεσμάτων που προκύπτουν στην έξοδο: Έλεγχος από γραφήματα πραγματικών και δεδομένων προσομοίωσης για παρόμοια συμπεριφορά. Μέθοδος Turing Turing test: Η βασική ιδέα είναι να ελέγξει κανείς αν η συμπεριφορά του μοντέλου είναι ισοδύναμη και μη διακριτή σε σχέση με εκείνη του αληθινού συστήματος. Πρακτικά, υλοποιείται ως εξής: Τα αποτελέσματα της προσομοίωσης και τα πραγματικά αποτελέσματα παραδίδονται σε στελέχη που γνωρίζουν καλά τη λειτουργία του συστήματος και καλούνται να διακρίνουν ποια είναι τα πραγματικά και ποια τα προσομοιωμένα. Όσο δυσκολότερο είναι για τα στελέχη να διακρίνουν τη διαφορά τόσο εγκυρότερο θεωρείται το μοντέλο. ΠΡΟΣΟΜΟΙΩΣΗ 6.12
Σφάλματα Τύπου Ι και ΙΙ Στη Στατιστική 2 τύποι σφαλμάτων μπορούν να εμφανιστούν, τα σφάλματα τύπου I και σφάλματα τύπου II. 1. Το σφάλμα τύπου I προκύπτει όταν μια υπόθεση απορρίπτεται ενώ στην πραγματικότητα είναι σωστή. Κατά τον έλεγχο της αξιοπιστίας ενός μοντέλου, αυτό σημαίνει ότι στηριζόμενοι σε κάποιο έλεγχο που εκτελέστηκε (test), ένα έγκυρο μοντέλο τελικά απορρίφθηκε γιατί θεωρήθηκε μη αξιόπιστο. Η πιθανότητα να συμβεί ένα σφάλμα τύπου I είναι το γνωστό a η στάθμη-επίπεδο σημαντικότητας. Η πιθανότητα αυτή ενσωματώνεται σε όλα τα αποτελέσματα είτε αυτά αφορούν τον έλεγχο της αξιοπιστίας είτε την ανάλυση των αποτελεσμάτων της προσομοίωσης με στατιστικές μεθόδους. 2. Το σφάλμα τύπου II προκύπτει όταν ένα μοντέλο γίνεται δεκτό ως έγκυρο ενώ στην πραγματικότητα είναι μη αξιόπιστο. Η πιθανότητα να συμβεί ένα σφάλμα τύπου II είναι ο κίνδυνος που αντιμετωπίζει ο αναλυτής λήπτης της απόφασης και χρήστης του μοντέλου (user s risk). Η πιθανότητα να συμβεί ένα σφάλμα τύπου I είναι ο κίνδυνος που αντιμετωπίζει ο αναλυτής ο οποίος αναπτύσσει το μοντέλο (modeler s risk) λόγω της εμπλοκής του με το μοντέλο και της άποψής του ότι ακόμα και μικρά προβλήματα επηρεάζουν σημαντικά την αξιοπιστία του μοντέλου. ΠΡΟΣΟΜΟΙΩΣΗ 6.13
Σφάλματα Μηδενικού Τύπου Υπάρχουν τα σφάλματα τύπου I και σφάλματα τύπου II. 1. Το σφάλμα τύπου I προκύπτει όταν μια υπόθεση απορρίπτεται ενώ στην πραγματικότητα είναι σωστή. 2. Το σφάλμα τύπου II προκύπτει όταν ένα μοντέλο γίνεται δεκτό ως έγκυρο ενώ στην πραγματικότητα είναι μη αξιόπιστο. Σφάλματα Μηδενικού Τύπου. Το σφάλμα μηδενικού τύπου προκύπτει όταν κατά τη διαδικασία ανάπτυξης και ελέγχου του μοντέλου, ο αναλυτής εφαρμόζει εσφαλμένες τεχνικές ή διατυπώνει εσφαλμένες ερωτήσεις ή απευθύνεται σε λάθος άτομα ή χρησιμοποιεί εσφαλμένες πηγές δεδομένων. Τα λάθη μηδενικού τύπου μπορούν να προκύψουν από την ανεπαρκή διατύπωση ενός προβλήματος και την ελλιπή προσπάθεια μοντελοποίησης και επίλυσής του. 2 είναι οι κύριοι λόγοι που οδηγούν σφάλματα μηδενικού τύπου: Η προσθήκη πολλών λεπτομερειών και στοιχείων (details) στο μοντέλο ή αντίθετα το υπεραπλουστευμένο μοντέλο με πολλές παραδοχές, περιορισμούς και υποθέσεις (assumptions, constraints) Πρέπει να υπάρχει η ισορροπία που αναφέρθηκε στο Κεφ. 1 ΠΡΟΣΟΜΟΙΩΣΗ 6.14
Παράδειγμα 5.1: Στατιστικοί Έλεγχοι Αξιοπιστίας Σύστημα εξυπηρέτησης με μία ουρά αναμονής στο εξωτερικό ιατρείο μιας παθολογικής κλινικής σε ώρες αιχμής (π.χ. κατά την ημέρα της εφημερίας). Από αναλυτικά μοντέλα, υπολογίστηκε ότι ένας εκτιμητής του μέσου χρόνου παραμονής στο σύστημα ήταν 1.3 ώρες. Δηλαδή, αν συμβολίσουμε με W την τυχαία μεταβλητή, σύμφωνα με το αναλυτικό μοντέλο αναμενόμενη (μέση) τιμή E(W)=1.3. Αναπτύχθηκε ένα μοντέλο προσομοίωσης το οποίο είχε ως στόχο, να περιγράψει το σύστημα και κατόπιν να χρησιμοποιηθεί για να δοκιμαστούν εναλλακτικά σενάρια λειτουργίας του συστήματος εξυπηρέτησης. Το μοντέλο υλοποιήθηκε ως πρόγραμμα προσομοίωσης στον υπολογιστή και «έτρεξε» 25 φορές και παρήγαγε ένα δείγμα από 25 ανεξάρτητες παρατηρήσεις για τον μέσο χρόνο παραμονής. Προέκυψε από το πείραμα της προσομοίωσης εκτίμηση W=1.356. Θέλουμε να ελέγξουμε αν το μοντέλο είναι αξιόπιστο σχετικά με τον υπολογισμό του συγκεκριμένου δείκτη. Σε στάθμη (επίπεδο) σημαντικότητας a=5%, εξετάζουμε την υπόθεση ότι με βάση το αποτέλεσμα του δείγματος της προσομοίωσης, η θεωρητική μέση τιμή μπορεί να έχει πράγματι την τιμή E(W) = 1.3. Το δείγμα από το οποίο προέκυψε το W=1.356 έχει μέγεθος ίσο με n=25. Στη θέση της άγνωστης θεωρητικής διασποράς σ 2 χρησιμοποιήθηκε η δειγματική που υπολογίστηκε s 2 =0.4747 και επομένως, η τυπική απόκλιση είναι s=0,689. ΕΠΟΜΕΝΗ ΔΙΑΦΑΝΕΙΑ ΠΡΟΣΟΜΟΙΩΣΗ 6.15
Παράδειγμα 5.1: Έλεγχος t Μέσου Δείγματος Σύμφωνα με το αναλυτικό μοντέλο E(W)=1.3, από το δείγμα της προσομοίωσης εκτιμήθηκε W=1,356. Θέλουμε να ελέγξουμε αν το μοντέλο είναι αξιόπιστο σχετικά με τον υπολογισμό του συγκεκριμένου δείκτη W, δηλαδή ότι είναι αξιόπιστο για την αναπαράσταση του συστήματος σε επίπεδο (στάθμη) σημαντικότητας α=5%. Το δείγμα από το οποίο προέκυψε το W=1.356 έχει μέγεθος n=25. Στη θέση της άγνωστης θεωρητικής διασποράς σ 2 χρησιμοποιούμε τη δειγματική s 2 =0.4747 και επομένως η τυπική απόκλιση είναι s=0.689 Υπολογίζουμε την τιμή t από το δείγμα: το t-test για το Μέσο Δείγματος θα μας δώσει τη ζητούμενη απάντηση. Από τον πίνακα της κατανομής Student, με n-1=24 βαθμούς ελευθερίας και σε στάθμη σημαντικότητας a=5% (αποδεκτή πιθανότητα για σφάλμα τύπου I), βρίσκουμε ότι κρίσιμη τιμή t 24,0.025 =2.064. Συγκρίνοντας το στατιστικό t=0.4063 με την κρίσιμη τιμή t 24,0.025 από τον πίνακα 0.4063 < 2.064 επομένως, αν απορρίψουμε την αρχική (βασική) υπόθεση Η 0, δηλαδή ότι το μοντέλο βρίσκει αξιόπιστο μέσο χρόνο παραμονής στο σύστημα, η πιθανότητα να κάνουμε λάθος (τύπου I) είναι μεγαλύτερη από 5%. Δεν μπορούμε να απορρίψουμε την αρχική (βασική) υπόθεση H 0. Δεχόμαστε ότι με βάση τα δεδομένα που είχαμε από το πραγματικό σύστημα, ο εκτιμητής που έδωσε το μοντέλο για τον μέσο χρόνο παραμονής είναι αξιόπιστος και το μοντέλο αξιόπιστο. ΠΡΟΣΟΜΟΙΩΣΗ 6.16
Πίνακας t-student Στον πίνακα t-student οι γραμμές αντιστοιχούν στους βαθμούς ελευθερίας df (degree of freedom) n-1, όπου n το πλήθος των δεδομένων. Οι στήλες στην πιθανότητα a (επίπεδο σημαντικότητας του ελέγχου). Στο παράδειγμά μας είναι n=25 επομένως n-1=24 Και α=5% επομένως a/2=2.5%=0.025 από κάθε πλευρά. Στη γραμμή 24 και στήλη 0.025=2.5% έχουμε τιμή του πίνακα 2.064 Επειδή αυτή η τιμή του πίνακα αντιστοιχεί σε n-1=24 και a/2=0.025 συμβολίζεται: t 24, 0.025 =2.064 Αν η τιμή από το δείγμα t είναι μικρότερη από την τιμή του πίνακα t n-1,a/2 αποδεχόμαστε τη βασική υπόθεση Η 0, δηλαδή οι μέσοι είναι στατιστικά ίσοι, το δείγμα προέρχεται από την θεωρητική κατανομή, είναι αξιόπιστο. ΠΡΟΣΟΜΟΙΩΣΗ 6.17
Παράδειγμα 5.1: Έλεγχος Διασποράς X 2 Το δείγμα προσομοίωσης από το οποίο προέκυψε το W=1.356 έχει μέγεθος n=25 και η δειγματική διασπορά s 2 =0.4747. Αν από την αναλυτική λύση η θεωρητική διασπορά υπολογίστηκε σ 2 = 1.0 Μπορούμε να ελέγξουμε τη δειγματική διασπορά με έλεγχο X 2 κατανομής. Υπολογίζουμε την τιμή Χ 2 από το δείγμα: Χ 2 =(n-1)s 2 /σ 2 =(25-1)0.4747/1=11.3928 Για το Χ 2 -test έχουμε 2 κρίσιμες τιμές για κάθε τιμή n-1 (βαθμούς ελευθερίας), από τον πίνακα της X 2 κατανομής έχουμε Χ 2 24,0.975=12,401 για πιθανότητα 0.975=97.5% και Χ 2 24,0.025=39,364 για πιθανότητα 0.025=2.5%. Με πιθανότητα 100%-2.5%-2.5%=95% η τιμή θα είναι ανάμεσα στις 2 τιμές Χ 2 24,0.975=12,401 και Χ 2 24,0.025=39,364, υπολογίσαμε ότι για το δείγμα η τιμή Χ 2 =11.3928 δεν είναι ανάμεσα, οπότε απορρίπτουμε την βασική υπόθεση, το δείγμα της προσομοίωσης ΔΕΝ είναι αξιόπιστο ως προς τη διασπορά. Για την προσομοίωση αυτό σημαίνει ότι πρέπει να βελτιώσουμε το μοντέλο μας για να γίνει αξιόπιστο, να κάνουμε αλλαγές ώστε η εκτίμηση της διασποράς να προσεγγίσει την πραγματική. ΠΡΟΣΟΜΟΙΩΣΗ 6.18
Πίνακας X 2 Στον πίνακα X 2 οι γραμμές αντιστοιχούν στους βαθμούς ελευθερίας df (degree of freedom) n-1, όπου n το πλήθος των δεδομένων. Οι στήλες σε τιμές πιθανότητας, η κατανομή είναι ασύμμετρη. Στο παράδειγμά μας είναι n=25 επομένως n-1=24, a=5% επομένως a/2=2.5%=0.025 από κάθε πλευρά, επομένως 1-0.025=0.975 και 0+0.025=0.025 Στη γραμμή 24 και στήλη 0.025=2.5% έχουμε τιμή του πίνακα Χ 2 24, 0.025=39.364 ενώ στη στήλη 0.975=97.5% τιμή Χ 2 24, 0.975=12.401 Αν η τιμή από το δείγμα X 2 είναι ανάμεσα στις 2 τιμές X 2 n-1,1-a/2 X 2 n-1,a/2 αποδεχόμαστε τη βασική υπόθεση Η 0, δηλαδή η διασπορά στο δείγμα προέρχεται από την θεωρητική κατανομή, το μοντέλο είναι αξιόπιστο. ΠΡΟΣΟΜΟΙΩΣΗ 6.19
Παράδειγμα 5.2: Προσομοίωση server Αναπτύχθηκε ένα μοντέλο προσομοίωσης για να βοηθήσει στη βελτίωση της λειτουργίας ενός υπολογιστικού συστήματος (ενός server- εξυπηρετητή). Το σύστημα ήταν σε λειτουργία και το μοντέλο αποσκοπούσε να διερευνήσει τον τρόπο λειτουργίας και στη συνέχεια να συνδράμει στη βελτίωση κάποιων δεικτών απόδοσης. Αρχικά μετρήθηκε το πλήθος των εργασιών που κατέφθαναν και διεκπεραιώνονταν στον εξυπηρετητή για ένα διάστημα 15 συνεχόμενων ημερών. Δηλαδή, τα δεδομένα αυτά είναι πραγματικά και θα χρησιμοποιηθούν τόσο για τη σύγκριση όσο και για τον έλεγχο της εγκυρότητας του μοντέλου προσομοίωσης. Στη συνέχεια το μοντέλο «έτρεξε» και έδωσε 15 αντίστοιχες προσομοιωμένες τιμές. ΠΡΟΣΟΜΟΙΩΣΗ 6.20
Παράδειγμα 5.2 Για να ελεγχθεί η αξιοπιστία του μοντέλου ως προς τον εκτιμητή του μέσου πλήθους εργασιών που διεκπεραιώθηκαν από τον server σε περίοδο 15 ημερών, πραγματοποιούμε t-test για τον έλεγχο της ισότητας των μέσων τιμών από τους πληθυσμούς των δύο δειγμάτων. Από τις προσομοιωμένες παρατηρήσεις προκύπτει ότι ο εκτιμητής του μέσου πλήθους είναι ο αριθμητικός μέσος των παραπάνω 15 τιμών, ഥx=855.33 με τυπική απόκλιση s x = 52.70, ενώ για τις πραγματικές τιμές είναι ഥy=879.53 με τυπική απόκλιση s y =34.55. Υποθέτοντας ότι η άγνωστη θεωρητική διασπορά σ είναι κοινή, υπολογίζουμε το στατιστικό: s=44.56 και t=1.487 όπου Από πίνακα t-student έχουμε t 28, 0.025 =2.048 και επειδή t=1.487< t 28, 0.025 =2.048 αποδεχόμαστε την Η 0 δηλαδή οι μέσοι των 2 δειγμάτων (πραγματικού και προσομοίωσης) είναι ίσοι => ΜΟΝΤΕΛΟ ΑΞΙΟΠΙΣΤΟ. Για τα ίδια δεδομένα μπορούν να γίνουν και άλλα στατιστικά test, όπως το t-test για ζευγαρωτές παρατηρήσεις (θεωρώντας ότι για κάθε ημέρα έχουμε 1 ζευγάρι πραγματικών και προσομοιωμένων εργασιών) οπότε ελέγχουμε με t-test ότι οι ημερήσιες διαφορές τους είναι στατιστικά 0. Η ΒΑΣΙΚΗ ΙΔΕΑ ΧΡΗΣΗΣ ΣΤΑΤΙΣΤΙΚΩΝ ΤΕΣΤ ΝΑ ΣΥΓΚΡΙΝΟΥΜΕ ΑΠΟΤΕΛΕΣΜΑΤΑ ΠΡΟΣΟΜΟΙΩΣΗΣ ΜΕ ΠΡΑΓΜΑΤΙΚΑ ΠΡΟΣΟΜΟΙΩΣΗ 6.21
Έλεγχοι Στατιστικών Υποθέσεων Από την θεωρία της στατιστικής είναι γνωστοί διάφοροι έλεγχοι υποθέσεων και στατιστικά τεστ ανάλογα με τα διαθέσιμα δεδομένα και τις στατιστικές παραμέτρους (μέσος, διασπορά) Το διάγραμμα παρουσιάζει διάφορες περιπτώσεις Στατιστικών Ελέγχων που μπορούν να γίνουν. ΥΠΑΡΧΟΥΝ ΠΟΛΛΑ ΣΤΑΤΙΣΤΙΚΑ ΤΕΣΤ ΔΙΑΘΕΣΙΜΑ! ΠΡΟΣΟΜΟΙΩΣΗ 6.22
ΕΡΩΤΗΣΕΙΣ ΕΝΟΤΗΤΑΣ 1. Τι είναι επαλήθευση, επικύρωση, και αξιοπιστία μοντέλου προσομοίωσης. 2. Αναφέρεται και περιγράψτε με συντομία 3 τρόπους επικύρωσης μοντέλου προσομοίωσης. 3. Τι είναι ακύρωση τυχαιότητας και γιατί είναι χρήσιμη. 4. Ποιες είναι οι τεχνικές επικύρωσης μοντέλου προσομοίωσης. 5. Ποια η διαφορά Black box και White box μεθόδου επικύρωσης και που χρησιμοποιείτε? 6. Τι είναι τα σφάλματα μηδενικού τύπου στην προσομοίωση και που μπορεί να οφείλονται? 7. Ποιος είναι ο κίνδυνος του αναλυτή και ποιος ο κίνδυνος του χρήστη στην προσομοίωση, 8. Ποια τα πλεονεκτήματα και μειονεκτήματα Διαδικτυακής Προσομοίωσης. 9. Με ποιο τρόπο και προϋποθέσεις μπορούμε να χρησιμοποιήσουμε στατιστικούς ελέγχους υποθέσεων για να ελέγξουμε την αξιοπιστία ενός μοντέλου προσομοίωσης. 10. Ποιο είναι το Turing test για την αξιοπιστία ενός μοντέλου προσομοίωσης. ΠΡΟΣΟΜΟΙΩΣΗ 6.23
ΑΣΚΗΣΕΙΣ ΕΝΟΤΗΤΑΣ 1. Σε κάποιο σύστημα που προσομοιώθηκε ο μέσος μιας μεταβλητής μετρήθηκε ότι έχει μέσο μ=10 ενώ από την προσομοίωση του συστήματος προέκυψε η εκτίμηση για το μέσο m=11.33 και διασπορά δείγματος s 2 =3.75 από 15 «τρεξίματα» της προσομοίωσης. Μπορούμε να θεωρήσουμε το μοντέλο αξιόπιστο ως προς την μεταβλητή? ΠΡΟΣΟΜΟΙΩΣΗ 6.24
ΑΣΚΗΣΕΙΣ ΕΝΟΤΗΤΑΣ 2. Στην προσομοίωση ενός συστήματος έχουμε τα παρακάτω δεδομένα μιας μεταβλητής του συστήματος, που αφορούν πραγματικά και προσομοίωσης του συστήματος. Μπορούμε να δεχτούμε ότι το μοντέλο είναι αξιόπιστο ως προς τα δεδομένα αυτά? Πραγματικά Προσομοίωση 92 64 51 76 72 54 59 72 85 92 55 91 74 95 70 52 86 61 95 69 66 65 87 72 SIMUL ATION ΠΡΟΣΟΜΟΙΩΣΗ 6.25