ΑΝΑΛΥΣΗ ΑΠΟΔΟΣΗΣ ΠΛΗΡΟΦΟΡΙΑΚΩΝ ΣΥΣΤΗΜΑΤΩΝ

ΑΝΑΛΥΣΗ ΑΠΟΔΟΣΗΣ ΠΛΗΡΟΦΟΡΙΑΚΩΝ ΣΥΣΤΗΜΑΤΩΝ ΔΙΑΛΕΞΕΙΣ -3: ΒΕΛΤΙΣΤΟΠΟΙΗΣΗ ΤΗΣ ΕΝΤΡΟΠΙΑΣ Καθ. Γιάννης Γαροφαλάκης ΜΔΕ Επιστήμης και Τεχνολογίας Υπολογιστών Τμήμα Μηχανικών Η/Υ και Πληροφορικής

Εισαγωγή Η εντροπία παίζει σημαντικό ρόλο στη διαμόρφωση πιθανοτικών συστημάτων σε πολλές περιοχές. Το ενδιαφέρον εδώ επικεντρώνεται στην εντροπία της πληροφορίας.

Βασικές Συνεισφορές Η μετρική Shao για εντροπία της πληροφορίας(948) Η αρχή Μέγιστης Εντροπίας του Jaye (MaxEt-957) Η αρχή Ελάχιστης Εντροπίας του Kullback (MEt-959) 3

Αρχή Μέγιστης Εντροπίας Μέθοδος στατιστικής παρεμβολής, όταν η πληροφορία μας για ένα πρόβλημα υπάρχει με την μορφή μέσων τιμών κι άλλων ροπών. Υπολογίζει τις κατανομές, μεγιστοποιώντας τη μετρική Shao, υπό γραμμικούς περιορισμούς ροπών. 4

Αρχή ελάχιστης εντροπίας του Kullback Μαθηματική μέθοδος που βασίζεται: Στο Kullback-Lebler(K-L) μέτρο Ένα μετρό για την απόσταση μεταξύ πιθανοτικών κατανομών. Εκφράζεται ως το άθροισμα λογαριθμικών όρων, ένας από τους οποίους είναι η μετρική Shao. Στην ελαχιστοποίηση του K-L μέτρου υπό συγκεκριμένους γραμμικούς περιορισμούς Όταν η μία κατανομή είναι η ομοιόμορφη, τότε η αρχή ελάχιστης εντροπίας ισοδυναμεί με την αρχή μέγιστης εντροπίας. 5

Τι είναι η εντροπία; Μετασχηματισμός από τάξη σε αταξία. Ουσιαστικά ισοδυναμεί με την αβεβαιότητα. Όσο περισσότερη πληροφορία συγκεντρώνεται, τόσο αυξάνεται η εντροπία. Εντροπία Πιθανοτική Αβεβαιότητα 6

Τι είναι η πιθανοτική αβεβαιότητα; Είναι η αβεβαιότητα που σχετίζεται με την πιθανότητα αποτελεσμάτων. Για κάθε πρόβλημα μπορεί να υπάρχουν πιθανά αποτελέσματα με πιθανότητες,,, όπου 0, 0,, 0 και Η αβεβαιότητα αφορά το ποιο αποτέλεσμα θα έρθει. Δεν είναι γνωστές οι τιμές,,. Διαφορετικές κατανομές έχουν διαφορετική αβεβαιότητα. 7

Τι είναι η βελτιστοποίηση; Περιλαμβάνει: Μεγιστοποίηση Ελαχιστοποίηση ή ταυτόχρονη μεγιστοποίηση μιας συνάρτησης κι ελαχιστοποίηση μιας άλλης. Συνηθίζεται η βελτιστοποίηση υπό περιορισμούς π.χ βελτιστοποίηση απόδοσης φοιτητή υπό περιορισμούς χρόνου και προετοιμασίας Για προβλήματα βελτιστοποίησης εντροπίας προτιμάται η μέθοδος του Lagrage. 8

Γιατί βελτιστοποιούμε την εντροπία;() Στόχος είναι η μείωση της αβεβαιότητας με τη συγκέντρωση περισσότερης πληροφορίας. Μελετώντας ένα πρόβλημα χωρίς κάποιες πληροφορίες η αβεβαιότητα για τις κατανομές είναι πολύ μεγάλη. Συλλέγοντας βηματικά πληροφορίες, προστίθενται περιορισμοί στο πρόβλημα, που μειώνουν την αβεβαιότητα. 9

Γιατί βελτιστοποιούμε την εντροπία;() Σε κάθε βήμα από τις κατανομές που ικανοποιούν τους μέχρι τότε περιορισμούς μία θα έχει μέγιστη αβεβαιότητα(s ax ) και μία θα έχει ελάχιστη αβεβαιότητα(s ). Το σύνολο των κατανομών σε κάθε βήμα είναι υποσύνολο των κατανομών του προηγούμενου βήματος,οπότε το S ax μειώνεται ή τουλάχιστον δε μεγαλώνει και το S αυξάνει ή τουλάχιστον δε μικραίνει. 0

Γιατί βελτιστοποιούμε την εντροπία;(3) Στο τελευταίο βήμα μόνο μία κατανομή έχει και ελάχιστη και μέγιστη αβεβαιότητα. 0 00 Sax S Σε κάθε βήμα η αβεβαιότητα μιας αποδεκτής κατανομής βρίσκεται μεταξύ S και S ax. Σχηματικά, η βελτιστοποίηση φαίνεται στο διπλανό γράφημα. Εντροπία 80 60 40 0 0 0 3 4 5 Περιορισμοί

Τι εννοούμε με τη μείωση αβεβαιότητας; Ο αριθμός των πιθανών κατανομών μειώνεται. Το S ax -S μειώνεται. Δεν μειώνεται η αβεβαιότητα για το αποτέλεσμα του πειράματος, μόνο η αβεβαιότητα για τις τιμές των,,

Αρχές Βελτιστοποίησης() Σε κάθε βήμα μπορεί να έχουμε άπειρες κατανομές που ικανοποιούν τους περιορισμούς:, gr ar,, r,,., 0,, Από όλες αυτές τις κατανομές, η S ax έχει τη μέγιστη αβεβαιότητα και η αβεβαιότητα κάθε άλλης κατανομής είναι μικρότερη της S ax. Η χρήση άλλης κατανομής από την S ax προϋποθέτει επιπλέον πληροφορία. 0 ( * ) 3

Αρχές Βελτιστοποίησης() ΑΡΧΗ: Πρέπει να χρησιμοποιούμε όλη τη διαθέσιμη πληροφορία και να μη χρησιμοποιούμε πληροφορία που δε έχει δοθεί. (επιστημονική αντικειμενικότητα και τιμιότητα) Χρησιμοποιούμε μόνο κατανομές που υπόκεινται στους αρχικούς περιορισμούς, πιθανόν από άπειρες. Θα επιλέξουμε την S ax, διότι δεν έχουμε επιπλέον πληροφορία ακόμη. 4

Αρχή Μέγιστης Εντροπίας Περιγραφή

Ορισμός Από όλες τις κατανομές που υπόκεινται σε ένα δεδομένο σύνολο περιορισμών, επιλέγουμε αυτή που έχει μεγαλύτερη αβεβαιότητα. 6

Ερμηνεία της κατανομής S Ξεκινάμε με S ax και προχωράμε βάζοντας επιπλέον περιορισμούς στην ( * ). Έτσι, μειώνεται το S ax. Δεν μπορούμε να συνεχίσουμε κάτω από S. Οι περιορισμοί αυτοί υπάρχουν, επειδή υπάρχει το S. Βρίσκοντας τους περιορισμούς αυτούς, θα έχουμε το μέγιστο σύνολο περιορισμών που είναι αποδεκτοί από τους αρχικούς περιορισμούς. 7

Παρατηρήσεις Το πρόβλημα της εύρεσης όλων των πιθανών περιορισμών είναι γνωστό ως Patter Recogto. Η μεγιστοποίηση κι η ελαχιστοποίηση της αβεβαιότητας είναι σημαντικές για να γνωρίζουμε το εύρος αβεβαιότητας και το μέγεθος μείωσης του από δεδομένη πληροφορία. 8

Παράδοξο Ενώ στόχος μας είναι η μείωση αβεβαιότητας, γιατί προσπαθούμε να τη μεγιστοποιήσουμε; Μειώνουμε την αβεβαιότητα με τη βοήθεια της πληροφορίας που μας δίνεται κι έτσι επιτυγχάνουμε μέγιστη μείωση με χρήσης όλης της διαθέσιμης πληροφορίας. Όμως, πάντα μένει αβεβαιότητα, επειδή υπάρχει πληροφορία που δε μας έχει δοθεί. Δηλαδή, μένουμε όσο το δυνατό περισσότερο αβέβαιοι για την άγνωστη πληροφορία. Είναι η πιο τίμια προσέγγιση. 9

Εντροπία ή Αβεβαιότητα; Πλεονεκτήματα-Μειονεκτήματα

Αρχικός Ορισμός Εντροπίας Υπήρχε ενδιαφέρον από το Shao για ένα μέτρο πληροφορίας, με στόχο να μετρήσει την πληροφορία που στέλνεται/λαμβάνεται/χάνεται σε θορυβώδη κανάλια. Ανέπτυξε ένα μέτρο αβεβαιότητας μιας πιθανοτικής κατανομής,, : S k όπου k αυθαίρετη θετική σταθερά l Ονομάστηκε εντροπία κι όχι μέτρο πληροφορίας, γιατί ο ορισμός είναι ίδιος με τον ορισμό της εντροπίας στη θερμοδυναμική.

Χρήση Όρου Εντροπία Αντί Για Αβεβαιότητα Αρνητικά Σημεία Η εντροπία θεωρείται όρος μόνο της φυσικής και μηχανικής. Όταν η εντροπία χρησιμοποιείται σε άλλα πεδία, λανθασμένα θεωρείται ότι επιβάλλονται νόμοι θερμοδυναμικής σε αυτά. Πρεστίζ στο Shao, γιατί η εντροπία θεωρείται «βαθιά» έννοια. Θετικά Σημεία Ο όρος αβεβαιότητα είναι πολύ ευρύς για να αφορά μόνο τη μετρική του Shao. Δεν ενδιαφερόμαστε για αβεβαιότητα λόγω fuzess της πληροφορίας παρά μόνο για μερικές πλευρές πιθανοτικής αβεβαιότητας. Μετρούνται εκτός από την αβεβαιότητα και: ισότητα, αταξία, διαφορετικότητα, ομοιότητα, τυχαιότητα, κ.τ.λ

Μια Άλλη Αρχή Βελτιστοποίησης Εντροπίας Περιγραφή, Περιορισμοί

Η αρχή ανεπαρκούς εξήγησης του Lalace() Ειδική περίπτωση νόμου μέγιστης αβεβαιότητας όταν είναι γνωστοί μόνο οι περιορισμοί:, 0,, 0 Δεν υπάρχει τότε λόγος να επιλέξουμε άλλες τιμές για τις πιθανότητες από = = = = /. Επιλέγουμε δηλαδή την ομοιόμορφη κατανομή : U,,, Αυτή είναι η κατανομή με μέγιστη εντροπία από όλα τα εξαγόμενα,εφόσον κάθε άλλη κατανομή απαιτεί επιπλέον πληροφορία. 4

Η αρχή ανεπαρκούς εξήγησης του Lalace() Αν έχουμε επιπλέον περιορισμούς της μορφής gr a r, r,,., τότε το να είμαστε αβέβαιοι, μπορεί να σημαίνει να είμαστε όσο πιο κοντά στην ομοιόμορφη κατανομή, που είναι η πιο αβέβαιη. Χρειαζόμαστε μία μετρική απόστασης μεταξύ δύο κατανομών,..., και q q q,..., q.,, 5

Η αρχή ανεπαρκούς εξήγησης του Lalace(3) Μπορούμε να χρησιμοποιήσουμε το μέτρο της Ευκλείδιας απόστασης q ή ή το μέτρο των Kullback-Lebler l q ή οποιαδήποτε άλλη μετρική μπορεί να χρησιμοποιηθεί ως μέτρο απόστασης q 6

Επαναδιατύπωση της Αρχής Μέγιστης Αβεβαιότητας() ΑΡΧΗ : Από όλες τις κατανομές που ικανοποιούν δεδομένους περιορισμούς, επιλέξτε αυτή που είναι πιο κοντά στην ομοιόμορφη κατανομή. Υπάρχουν περιπτώσεις που έχουμε λόγους να επιλέξουμε διαφορετικές,,,. Για παράδειγμα, αν έχουμε αρχικές τιμές των πιθανοτήτων τις χρησιμοποιούμε. 7

Επαναδιατύπωση της Αρχής Μέγιστης Αβεβαιότητας() ΑΡΧΗ : Από όλες τις κατανομές που ικανοποιούν τους δοσμένους περιορισμούς, επιλέξτε αυτή που είναι πιο κοντά στην a ror κατανομή q.(αρχή Ελάχιστης Cross-Etroy) Δηλαδή, έχουμε τύπους διαθέσιμης πληροφορίας: Με μορφή a ror κατανομής q που βασίζεται στη διαίσθηση ή στην εμπειρία σχετικά με το πρόβλημα Με τη μορφή περιορισμών που βασίζεται στην παρατήρηση. 8

Επαναδιατύπωση της Αρχής Μέγιστης Αβεβαιότητας(3) Η μεγιστοποίηση αβεβαιότητας ισοδυναμεί με την ελαχιστοποίηση της κατευθυνόμενης διαφοράς από την ομοιόμορφη ή την a ror κατανομή. ΓΕΝΙΚΗ ΑΡΧΗ: Από όλες τις κατανομές που ικανοποιούν τους περιορισμούς, επιλέξτε αυτή που είναι πιο κοντά στην a ror κατανομή, κι αν αυτή δεν υπάρχει, τότε επιλέξτε αυτή που είναι πιο κοντά στην ομοιόμορφη. 9

Υπολογισμός της κατευθυνόμενης διαφοράς() Δεν πρόκειται για αποστάσεις στον Ευκλείδιο χώρο. Εδώ κάθε σημείο αντιπροσωπεύει μια κατανομή. Υπάρχουν κοινές ιδιότητες αλλά και διαφορές Κοινές Ιδιότητες 0 Θέλουμε D : q και D : q 0 αν q Θέλουμε η D : q να είναι κυρτή για να βρίσκουμε εύκολα το ελάχιστο της Θέλουμε τα στοιχεία του που ελαχιστοποιούν τη D : q να είναι μεγαλύτερα του μηδενός Διαφορετικές Ιδιότητες Δεν απαιτούμε : q Dq D : Δεν απαιτούμε D : q D q : r D : r 30

Υπολογισμός της κατευθυνόμενης διαφοράς() Το πιο χρήσιμο και απλό μέτρο που ικανοποιεί τις απαιτήσεις μας είναι των Kullback, Lebler: D( : q) όπου επιλέγουμε έτσι ώστε να ελαχιστοποιείται η μετρική υπό τους περιορισμούς. Αυτή είναι η αρχή ελάχιστης cross etroy του Kullback. l q 3

Υπολογισμός της κατευθυνόμενης διαφοράς(3) Όταν q U D( : u) l l l l S( ) όπου S η μετρική Shao Δηλαδή, όταν δεν έχουμε επιλέγουμε το, έτσι ώστε να μεγιστοποιείται η μετρική Shao υπό τους περιορισμούς. Αυτή είναι η αρχή μέγιστης εντροπίας του Jayes. q 3

Άλλες Αρχές Βελτιστοποίησης Εντροπίας Iverse Αρχή Βελτιστοποίησης Εντροπίας Μας δίνονται από τα 3: Σύνολο από περιορισμούς ροπών C Μετρική εντροπίας ή cross-εντροπίας Μ A ror κατανομή Μας ζητείται ο προσδιορισμός του τρίτου, ώστε μία δεδομένη μέγιστη εντροπία ή ελάχιστη cross-εντροπία. Καθολική Αρχή Βελτιστοποίησης Εντροπίας Μας δίνονται τρία από τα τέταρτο, ώστε το D : q, q, C, M ( q) και ζητείται να βρούμε το να είναι ελάχιστο. να έχει 33

Η μετρική Shao Ιδιότητες, Χαρακτηριστικά

35 Επιθυμητές Ιδιότητες. Η S θα πρέπει να είναι συνάρτηση όλων των,,,.. Η S(,,, ) συνεχής συνάρτηση των,,,. 3. Η S(,,, ) συμμετρική στα,,,. 4. Η S(/, /,,/) μονοτονικά αύξουσα συνάρτηση του. 5. 3, ) ( ),...,, ( ),...,, ( S S S k S l

Συνέπειες Η S είναι κοίλη συνάρτηση των,,, Όταν μεγιστοποιείται η S υπό γραμμικούς περιορισμούς, οι πιθανότητες που τη μεγιστοποιούν είναι όλες μεγαλύτερες του μηδέν. 36

Ιδιότητες μετρικής Shao (). H S ( ) είναι συμμετρική.δεν αλλάζει τιμή, αν αλλάξει η θέση των,,,.. Οι και l είναι συνεχείς συναρτήσεις του, όταν 0 κι έτσι η l είναι συνεχής. Όταν =0, το l δεν ορίζεται, αλλά l l l l l 0 0 0 0 l 0 οπότε μπορούμε να δεχτούμε συνέχεια και για =0, ορίζοντας 0l 0 0 37

Ιδιότητες μετρικής Shao () 3. Η S δεν αλλάζει αν βάλουμε απίθανο γεγονός. Δηλαδή, S 0,,...,,0 l 0l l S 4. Όταν 0, τότε l 0 και l 0. Όταν ή 0, τότε l 0. Συνεπώς, l 0 και ( ) 0. S 38

Ιδιότητες μετρικής Shao (3) 5. Οι κατανομές Δ =(,0,.,0) Δ =(0,,.,0) Δ =(0,0,.,) δίνουν πάντα ( ) 0. S ( ) 0 6. Για όλες τις υπόλοιπες κατανομές S 39

Ιδιότητες μετρικής Shao(4) 7. Αν ορίσουμε φ l τότε φ' l και φ φ' ' Δηλαδή, η είναι κοίλη συνάρτηση του. S ( ) 8. Η μέγιστη τιμή της δίνεται όταν u,,, 9. Η μέγιστη τιμή είναι: S ( u) l Το l είναι αύξουσα συνάρτηση, οπότε και το l S (u ) που είναι επιθυμητό γιατί όσο περισσότερα πιθανά εξαγόμενα, τόσο μεγαλύτερη αβεβαιότητα. 40

Ιδιότητες μετρικής Shao(5) 0. Έστω,,..., ), q ( q, q,..., ) ανεξάρτητες ( 3 q3 κατανομές των Τ.Μ. Χ,Υ αντίστοιχα: P(X=x )=, P(Y=y j )=q j και P(X=x, Y=y j )= q j. Για την κοινή κατανομή των x,y υπάρχουν πιθανά εξαγόμενα με πιθανότητα q j. Η εντροπία της κοινής κατανομής είναι: S q q j l q j j υνέχεια Σ 4

Ιδιότητες μετρικής Shao(6) S q q l q l q S j j j q q l q l q j j j j j j j l j q j l q j S ( q) S ( ) S ( q) 4

Ιδιότητες μετρικής Shao(7).Αν και δεν είναι απαραίτητα ανεξάρτητες q κατανομές, ορίζουμε: P(X=x )=, P(Y=y j / X=x )=q j και P(X=x,Y=y j )= q j. Τότε S Όμως, ( q) j q j j P Y j q l j l j q q j j y / X x j j q j l υνέχεια Σ q j 43

Ιδιότητες μετρικής Shao(8) Δηλαδή, q q, q,..., q είναι η υπό συνθήκη κατανομή των εξαγόμενων του ου πειράματος, όταν το πρώτο έχει αποτελέσματα Χ=X. Άρα, S ( q) S ( ) που σημαίνει ότι η εντροπία της κοινής κατανομής είναι ίση με την εντροπία του πρώτου πειράματος συν την αναμενόμενη τιμή της υπό συνθήκη εντροπίας του δεύτερου. Μπορεί να γραφτεί και ως: S ( q) S S ( q) j ( q ) q j S ( j ) 44

Ιδιότητες μετρικής Shao(9). Για κάθε κυρτή συνάρτηση f(x), έχουμε εξ ορισμού: f x x x f x f x... f x Είναι Αν θέσουμε f ( x) xl q j... l q j q P x, x q j θα έχουμε j q j l X x PY y / X x q j q j Οπότε q j l q j q j l q j υνέχεια Σ 45

46 Ιδιότητες μετρικής Shao(0) ) ( ) ( ) ( q S S q S Αθροίζοντας Χρησιμοποιώντας την προηγούμενη ιδιότητα j j j j j j q q q q l l j j j j j j q q q q l l q S q S

47 Ιδιότητες μετρικής Shao() 3. Άρα Δηλαδή, αν συνδυαστούν δύο εξαγόμενα, μειώνεται η εντροπία. ),...,, ( ),...,, ( 3 S S S 3 3 l l ),...,, ( l l l l 3 l l,..., S 3,,..., S S ),...,, ( S

Ιδιότητες μετρικής Shao () 4. Ο υπολογισμός του S (,, ) γίνεται σε δύο στάδια: Αρχικά, βρίσκουμε το S - ( +, 3, ). Στη συνέχεια, έχουμε το + διαιρεμένο σε τμήματα και, ώστε έχουμε την κατανομή, και βάρος +. με εντροπία S, 48

Ιδιότητες μετρικής Shao (3) Αυτή είναι η αρχή διακλάδωσης και κάθε πιθανότητα υπολογίζεται όπως φαίνεται στο σχέδιο. 49

Η Αρχή Μέγιστης Εντροπίας του Jaye-MaxEt Ορισμός, εξήγηση

Υπολογισμός μικρο-καταστάσεων με μακροσκοπικές μετρήσεις() Έστω μία Τ.Μ. Χ παίρνει τις τιμές x,x,,x με πιθανότητες,,,. Οι τελευταίες μπορούν χρησιμοποιηθούν για τον υπολογισμό της μέσης τιμής, της διακύμανσης κι άλλων ροπών της Χ, όπως το x Γενικά μπορούμε να έχουμε μέσες τιμές των συναρτήσεων g (x),g (x),,g (x) για να πάρουμε g r ( x ) μαζί με () a r, r,,..., () 5

Υπολογισμός μικρο-καταστάσεων με μακροσκοπικές μετρήσεις() Συνεπώς, μπορούμε να έχουμε + σχέσεις των,,,. Αν +<, τότε οι () και () δεν μπορούν να προσδιορίσουν μοναδικά τις,,,. Μπορούμε να δώσουμε αυθαίρετες τιμές στα -- και να λύσουμε τις () και () για τα υπόλοιπα. Γενικά, υπάρχουν άπειρες λύσεις, αλλά δεχόμαστε μόνο αυτές με 0. 5

Ορισμός της αρχής μέγιστης εντροπίας του Jaye Από όλες τις κατανομές που ικανοποιούν τους περιορισμούς μέσης τιμής () και () επέλεξε αυτή που μεγιστοποιεί τη μετρική Shao. Δηλαδή: Την κατανομή με μέγιστη αβεβαιότητα Την κατανομή με ελάχιστη δέσμευση στη μη-γνωστή πληροφορία Την πιο τυχαία κατανομή Την λιγότερο επηρεασμένη κατανομή 53

Μαθηματική Εφαρμογή της Αρχής() Μεγιστοποίηση της μετρικής Shao υπό τους περιορισμούς (),() Εφαρμόζουμε μέθοδο Lagrage l L l λ0 λr q r a r όπου λ 0,λ,,λ οι + πολλαπλασιαστές Lagrage L 0 l λ λ g... λ λ g 0 r λ r g r 0 0 e,,..., 54

55 Μαθηματική Εφαρμογή της Αρχής() Τα λ 0,λ, λ υπολογίζονται με αντικατάσταση του της σχέσης (3) στους περιορισμούς () και () 0 g λ λ j j j e r g λ λ r a e g j j j 0

56 Μαθηματική Εφαρμογή της Αρχής() Η μέγιστη εντροπία είναι λ a a λ λ a λ S... 0 ax g λ g λ g λ λ S 0 ax... l

Εφαρμογή της MaxEt στην Queueg Theory Πρόβλημα, Εφαρμογές

Ορισμός προβλήματος Δίνονται: Κατανομή των χρόνων μεταξύ αφίξεων Κατανομή των χρόνων εξυπηρέτησης Τρόπος πρόσβασης(fcfs, Rado Servce, LCFS,προτεραιότητες) Άλλα δεδομένα(π.χ περιορισμένη ουρά) Και ζητούνται οι κατανομές των μέτρων απόδοσης: Κατανομή μεγέθους ουράς Κατανομή χρόνου αναμονής Κατανομή busy περιόδου 58

Πότε εφαρμόζεται η MaxEt; Όταν μας δίνεται λίγη πληροφορία για τις κατανομές(π.χ μερικές ροπές του χρόνου μεταξύ αφίξεων, του χρόνου εξυπηρέτηση, του μεγέθους ουράς, του χρόνου αναμονής) Όταν οι κατανομές που προκύπτουν με γνωστούς τρόπους είναι πολύπλοκες, η MaxEt χρησιμοποιείται για να τις προσεγγίσει με απλούστερες. ΣΗΜΕΙΩΣΗ: Η γνώση για τις ροπές μπορεί να βρεθεί με απευθείας παρατήρηση της ουράς ή με χρήση αποτελεσμάτων της Queueg Theory. 59

Αποτελέσματα από MaxEt(). Όταν έχουμε άπειρο μήκος ουράς κι η μόνη πληροφορία που έχουμε αφορά το μέσο αριθμό πελατών. : η πιθανότητα να είναι πελάτες στο σύστημα, =0,,,.. : μέσος αριθμός πελατών Θέλουμε μεγιστοποίηση της περιορισμούς 0, 0 l Εφαρμόζοντας μέθοδο Lagrage καταλήγουμε σε,όπου b b b S 0 υπό τους 60

Αποτελέσματα από MaxEt(). Περιορισμένο μήκος ουράς, μέσος αριθμός πελατών : η πιθανότητα να είναι πελάτες στο σύστημα, =0,,,,Ν : μέσος αριθμός πελατών Η μεγιστοποίηση εντροπίας δίνει όπου ab 0,,,..., N a N 0 b N και a 0 b έτσι ώστε το b δίνεται από τη σχέση b b... Nb b b... b N N 6

Αποτελέσματα από MaxEt(3) 3. Άπειρο μήκος ουράς, μέσος αριθμός πελατών, πιθανότητα 0 άδειο σύστημα : η πιθανότητα να είναι πελάτες στο σύστημα, =,,.. : μέσος αριθμός πελατών Θέλουμε μεγιστοποίηση της S l υπό τους περιορισμούς Βρίσκουμε όπου 0 ab b και ab 0, ab b υνέχεια Σ

Αποτελέσματα από MaxEt(4) Τελικά είναι 0, 0 0,,... Aν 0 ρ, ρ ρ ρ 63

Αποτελέσματα από MaxEt(5) 4. Κλειστό δίκτυο ουρών, γνωρίζουμε μέσο αριθμό πελατών σε κάθε ουρά : αριθμός ουρών Ν: συνολικός αριθμός πελατών Q : μέσος αριθμός πελατών στις ουρές, =,,, (,,, ): η πιθανότητα να είναι,,, πελάτες στις ουρές Θέλουμε μεγιστοποίηση του υπό τους περιορισμούς... S, N...,...,,..., l,,...,, N και... N,,..., Q υνέχεια Σ

65 Αποτελέσματα από MaxEt(6) Με τη μέθοδο Lagrage παίρνουμε όπου x,x, x είναι οι πολλαπλασιαστές Lagrage και υπολογίζονται από τους περιορισμούς Η κατανομή αυτή είναι roduct-for πιθανοτική κατανομή. Η οριακή κατανομή για την κατανομή του μεγέθους ουράς της πρώτης ουράς είναι: x x x x x x,..., N x x x x x x x N N 0,,,...,,... 3... 3 3 3 3 3

Exteded MaxEt Εφαρμογές

Επιπλέον εφαρμογές MaxEt Η αρχή MaxEt εφαρμόζεται και σε αναλογίες x Π.χ, αν x,x, x μη-αρνητικοί αριθμοί, τότε με x x και και 0 το S l αποτελεί ένα μέτρο ισότητας των x. Πεδία εφαρμογής Επιχειρήσεις Οικονομία Αστικός Σχεδιασμός Ανάλυση γλωσσών x 67

Χρηματοδότηση Το παρόν εκπαιδευτικό υλικό έχει αναπτυχθεί στo πλαίσιo του εκπαιδευτικού έργου του διδάσκοντα. Το έργο «Ανοικτά Ακαδημαϊκά Μαθήματα στο Πανεπιστήμιο Πατρών» έχει χρηματοδοτήσει μόνο την αναδιαμόρφωση του εκπαιδευτικού υλικού. Το έργο υλοποιείται στο πλαίσιο του Επιχειρησιακού Προγράμματος «Εκπαίδευση και Δια Βίου Μάθηση» και συγχρηματοδοτείται από την Ευρωπαϊκή Ένωση (Ευρωπαϊκό Κοινωνικό Ταμείο) και από εθνικούς πόρους. 68

Σημείωμα Ιστορικού Εκδόσεων Έργου Το παρόν έργο αποτελεί την έκδοση.0 69

Σημείωμα Αναφοράς Coyrght Πανεπιστήμιο Πατρών, Γιάννης Γαροφαλάκης, 05. «Ανάλυση Απόδοσης Πληροφοριακών Συστημάτων. Μεγιστοποίηση της Εντροπίας». Έκδοση:.0. Πάτρα 05. Διαθέσιμο από τη δικτυακή διεύθυνση: htts://eclass.uatras.gr/courses/ceid094/ 70

Σημείωμα Αδειοδότησης Το παρόν υλικό διατίθεται με τους όρους της άδειας χρήσης Creatve Coos Αναφορά, Μη Εμπορική Χρήση Παρόμοια Διανομή 4.0 [] ή μεταγενέστερη, Διεθνής Έκδοση. Εξαιρούνται τα αυτοτελή έργα τρίτων π.χ. φωτογραφίες, διαγράμματα κ.λ.π., τα οποία εμπεριέχονται σε αυτό και τα οποία αναφέρονται μαζί με τους όρους χρήσης τους στο «Σημείωμα Χρήσης Έργων Τρίτων». [] htt://creatvecoos.org/lceses/by-c-sa/4.0/ Ως Μη Εμπορική ορίζεται η χρήση: που δεν περιλαμβάνει άμεσο ή έμμεσο οικονομικό όφελος από την χρήση του έργου, για το διανομέα του έργου και αδειοδόχο που δεν περιλαμβάνει οικονομική συναλλαγή ως προϋπόθεση για τη χρήση ή πρόσβαση στο έργο που δεν προσπορίζει στο διανομέα του έργου και αδειοδόχο έμμεσο οικονομικό όφελος (π.χ. διαφημίσεις) από την προβολή του έργου σε διαδικτυακό τόπο Ο δικαιούχος μπορεί να παρέχει στον αδειοδόχο ξεχωριστή άδεια να χρησιμοποιεί το έργο για εμπορική χρήση, εφόσον αυτό του ζητηθεί. 7