Συμπίεση Εικόνας με Μεθόδους μη Ελεγχόμενης Ασαφούς Κβάντισης Διανύσματος

Transcript

1 Συμπίεση Εικόνας με Μεθόδους μη Ελεγχόμενης Ασαφούς Κβάντισης Διανύσματος Πτυχιακή Εργασία του Μάμαλη Αντώνιου Τμήμα Πολιτισμικής Τεχνολογίας & Επικοινωνίας Πανεπιστημίου Αιγαίου Επιβλέπων: Τσεκούρας Γεώργιος, Επίκουρος Καθηγητής Συνεπιβλέποντες: Αναγνωστόπουλος Χρήστος, Επίκουρος Καθηγητής Γαβαλάς Δαμιανός, Επίκουρος Καθηγητής Φεβρουάριος 8

2 Αφιερώνεται στους γονείς μου

3 Ευχαριστίες Από τη θέση αυτή θα ήθελα πρώτα απ όλα, να εκφράσω τις ευχαριστίες και την βαθύτατη ευγνωμοσύνη μου στον επιβλέποντα Επίκουρο Καθηγητή κ. Γεώργιο Τσεκούρα για την αμέριστη συμπαράσταση και την εύστοχη καθοδήγησή του κατά την εκπόνηση της παρούσας πτυχιακής εργασίας. Το ήθος και η άρτια επιστημονική του κατάρτιση υπήρξαν ουσιαστικά στοιχεία για την ολοκλήρωση της εργασίας. Η συνεργασία μαζί του αποτέλεσε για μένα πρωτόγνωρη και καθοριστικής σημασίας εμπειρία. Επίσης θα ήθελα να ευχαριστήσω τον Επίκουρο Καθηγητή κ. Χρήστο Αναγνωστόπουλο για την πολύτιμη υποστήριξή του. Tον Επίκουρο Καθηγητή κ. Δαμιανό Γαβαλά για τη συμμετοχή του στην τριμελή επιτροπή και για τη βοήθειά του. Τέλος, επιθυμώ να εκφράσω την ευγνωμοσύνη μου στους γονείς μου για την υλική και ηθική τους συμπαράσταση καθόλη τη διάρκεια των σπουδών μου.

4 ΠΕΡΙΕΧΟΜΕΝΑ ΕΙΣΑΓΩΓΗ.... ΣΥΜΠΙΕΣΗ ΕΙΚΟΝΑΣ ΜΕ ΚΒΑΝΤΙΣΗ ΔΙΑΝΥΣΜΑΤΟΣ...6. Εισαγωγή στη Συμπίεση Εικόνας...6. Συναρτήσεις Παραμόρφωσης.8.. Η Συνάρτηση Παραμόρφωσης Τετραγωνισμένου Σφάλματος Η Συνάρτηση Παραμόρφωσης Itaura-Sato...3 Κβάντιση Διανύσματος για Συμπίεση Εικόνας..3. Δίκτυα Kohonen (Learnng Vector Quantzaton-LVQ) Ο Αλγόριθμος των c-μέσων (ή Αλγόριθμος Lloyd) Ο Γενικευμένος Αλγόριθμος Lloyd (ή Αλγόριθμος LBG) Βελτιστοποίηση βιβλίου κωδικοποίησης Μονογράφηση του Βιβλίου Κωδικοποίησης Κβαντιστές Διανύσματος Ανατροφοδότησης Προσαρμοστικοί Κβαντιστές Διανύσματος ΚΒΑΝΤΙΣΤΕΣ ΔΙΑΝΥΣΜΑΤΟΣ ΒΑΣΙΣΜΕΝΟΙ ΣΤΗΝ ΑΣΑΦΗ ΛΟΓΙΚΗ...5. Εισαγωγή στην Ασαφή Λογική. 5. Ο Αλγόριθμος των Ασαφών c-μέσων (Fuzzy c-means)..8.3 Ο Αλγόριθμος Ασαφούς Κβάντισης Διανύσματος με Εκμάθηση (Fuzzy Learnng Vector Quantzaton FLVQ) 3.4 Ασαφής Κβάντιση Διανύσματος (Fuzzy Vector Quantzaton-FVQ) ΠΡΟΤΕΙΝΟΜΕΝΟΣ ΑΛΓΌΡΙΘΜΟΣ ΣΥΜΠΙΕΣΗΣ ΕΙΚΟΝΑΣ ΜΕ ΑΣΑΦΗ ΚΒΑΝΤΙΣΗ ΔΙΑΝΥΣΜΑΤΟΣ ΠΕΙΡΑΜΑΤΙΚΗ ΕΦΑΡΜΟΓΗ ΚΑΙ ΑΠΟΤΕΛΕΣΜΑΤΑ Πείραμα : Έλεγχος της ευαισθησίας του αλγόριθμου IFLVQ όσον αφορά την επιλογή της παραμέτρου ασάφειας Πείραμα : Έλεγχος του υπολογιστικού κόστους του IFLVQ Πείραμα 3: Έλεγχος της επίδρασης του μεγέθους του βιβλίου κωδικοποίησης Πείραμα 4: Οπτικός έλεγχος των αποτελεσμάτων Πείραμα 5: Έλεγχος της επίδρασης της παραμέτρου tmax.49

5 4.6 Πείραμα 6: Έμεση σύγκριση του IFLVQ με μεθόδους στη διεθνή βιβλιογραφία ΣΥΖΗΤΗΣΗ ΑΠΟΤΕΛΕΣΜΑΤΩΝ ΚΑΙ ΣΥΜΠΕΡΑΣΜΑΤΑ ΑΝΑΦΟΡΕΣ...56

6 ΕΙΣΑΓΩΓΗ Η συμπίεση δεδομένων έχει λάβει αυξανόμενη προσοχή, τα τελευταία χρόνια, λόγω της μεγάλης σημασίας που έχει στις ψηφιακές επικοινωνίες. Παρόλο που τα ευρυζωνικά συστήματα είναι σχετικά φθηνά (π.χ. οπτικές ίνες, συνδέσεις καλωδιακής τηλεόρασης κ.λ.π.), στα πιο πολλά συστήματα το αυξανόμενο ποσό πληροφοριών που οι χρήστες επιθυμούν να αποθηκεύουν απαιτεί κάποια μορφή συμπίεσης για αποδοτική, ασφαλή, και αξιόπιστη χρήση της επικοινωνίας ή του μέσου αποθήκευσης. Ένα απλό παράδειγμα είναι η μετάδοση ψηφιακής εικόνας, όπου απαιτούνται μεγάλοι ρυθμοί μετάδοσης bt και το προκύπτον σήμα χρειάζεται μεγάλο εύρος ζώνης για να μεταδοθεί σε κανάλια. Συνεπώς, η συμπίεση δεδομένων είναι απαραίτητη για την αποδοτική μετάδοση μιας εικόνας γιατί μικραίνοντας το μέγεθος των δεδομένων η μετάδοση είναι εφικτή και σε κανάλια μικρού εύρους ζώνης. Αυτό καθιστά τη συμπίεση εικόνας (ή αλλιώς κωδικοποίηση εικόνας) μια από τις πιο σημαντικές εφαρμογές συμπίεσης δεδομένων. Είναι επίσης μεταξύ των πιο ενδιαφερόντων για μελέτη, επειδή βασίζεται σε ένα καλά δομημένο μαθηματικό υπόβαθρο επιτρέποντας έτσι την ανάπτυξη πολύπλοκων αλγόριθμων. Η μετάδοση εικόνων μέσω ενός ψηφιακού καναλιού επικοινωνίας προϋποθέτει την συμπίεσή τους για την εύκολη και γρηγορότερη μετάδοσή τους. Για να επιτευχθεί η συμπίεση πρέπει οι εικόνες να κωδικοποιηθούν για να διαπεράσουν το ψηφιακό κανάλι και όταν φτάσουν στη πηγή να αποκωδικοποιηθούν. Η συμπίεση δεδομένων είναι η μετατροπή μιας σειράς αρχικών δεδομένων με υψηλό λόγο σήματος προς θόρυβο σε μια σειρά ψηφιακών δεδομένων με σχετικά χαμηλό λόγο σήματος προς θόρυβο ώστε η αποθήκευσή τους να είναι εύκολη. Οι μέθοδοι συμπίεσης εικόνας κατατάσσονται σε δύο μεγάλες κατηγορίες: (α) τη συμπίεση χωρίς απώλειες και (β) τη συμπίεση με απώλειες. Με βάση τις μεθόδους της πρώτης κατηγορίας, η τελική εικόνα είναι ακριβές αντίγραφο της αρχικής. Αυτό σημαίνει ότι, επί της ουσίας, δεν λαμβάνει χώρα καμιά συμπίεση και άρα το κόστος μετάδοσης της εικόνας είναι ασύμφορο. Οι μέθοδοι που ανήκουν στη δεύτερη κατηγορία είναι οι πλέον χρησιμοποιήσιμες γιατί επιτυγχάνουν μικρούς ρυθμούς μετάδοσης bt ενώ η τελική εικόνα που προκύπτει, παρουσιάζει παραμόρφωση και συνεπώς παύει να είναι πιστό αντίγραφο της αρχικής εικόνας. Στη παρούσα εργασία θα ασχοληθούμε με την συμπίεση με απώλειες και όταν αναφέρεται ο όρος συμπίεση θα αφορά τη συμπίεση με απώλειες. Το πρόβλημα που προκύπτει από την συμπίεση μιας εικόνας είναι το κατά πόσο η τελική αποσυμπιεσμένη εικόνα είναι πιστό αντίγραφο της αρχικής εικόνας. Εδώ εμπλέκεται ο συνήθης ύποπτος

7 της ψηφιακής επεξεργασίας σήματος που είναι ο λόγος σήματος προς θόρυβο. Υψηλή συμπίεση σημαίνει ότι ο λόγος σήματος προς θόρυβο είναι μεγάλος και άρα το ποσοστό καθαρού σήματος στην τελική έκδοση της εικόνας μεγάλο. Στην πράξη όμως είναι πολύ δύσκολο να επιτευχθούν μεγάλοι λόγοι σήματος προς θόρυβο. Έτσι, στο ερευνητικό πεδίο της συμπίεσης μιας εικόνας μιλάμε για συμβιβασμό μεταξύ βαθμού συμπίεσης (δηλ. λόγου σήματος προς θόρυβο) και ποιότητας τελικής εικόνας. Για την επίτευξη καλού βαθμού συμπίεσης συνήθως χρησιμοποιούμε μία συνάρτηση παραμόρφωσης (dstorton measure) της τελικής (αποσυμπιεσμένης) εικόνας. Ο βαθμός αυτός είναι αντιστρόφως ανάλογος του λόγου σήματος προς θόρυβο. Συνεπώς για να πάρουμε την καλύτερη δυνατή συμπίεση πρέπει η συνάρτηση παραμόρφωσης να ελαχιστοποιηθεί. Με βάση τη παρατήρηση αυτή οριοθετούμε το σκοπό της χρήσης μιας μεθόδου συμπίεσης στη παρακάτω πρόταση: Η εφαρμογή μιας μεθόδου συμπίεσης εικόνας έχει ως στόχο την επίτευξη της βέλτιστης (ελάχιστης) τιμής της συνάρτησης παραμόρφωσης, η οποία δίνει την καλύτερη δυνατή ποιότητα στη τελική εικόνα. Η ποιότητα της τελικής εικόνας αναφέρεται στη ακρίβεια προσέγγισης της αρχικής εικόνας. Ως εκ τούτου ο βασικός στόχος της συμπίεσης εικονικών δεδομένων είναι η επίτευξη της καλύτερης δυνατής ακρίβειας για δεδομένη αναλογία σήματος προς θόρυβο ή, ισοδύναμα, η ελαχιστοποίηση της συνάρτησης παραμόρφωσης για μια δεδομένη απόδοση. Η συμπίεση εικόνας με απώλειες συνήθως διενεργείται με τη χρήση τεχνικών κβάντισης διανύσματος (Vector Quantzaton-VQ). Η εφαρμογή της κβάντισης διανύσματος προϋποθέτει την αποσύνθεση της αρχικής ψηφιακής εικόνας σ έναν αριθμό από ορθογώνιες περιοχές (blocs), όπου η καθεμιά περιέχει p = p p pxels. Καθένα από αυτά τα blocs αποτελεί και ένα διανυσματικό δεδομένο. Στη συνέχεια, η κβάντιση διανύσματος προσπαθεί να ταξινομήσει όλα τα διανυσματικά δεδομένα σε έναν αριθμό από συστάδες (clusters). Αυτό επιτυγχάνεται με την ελαχιστοποίηση της συνάρτησης παραμόρφωσης, όπως έχει ήδη προαναφερθεί. Τα κέντρα των παραγόμενων συστάδων ονομάζονται διανύσματα κωδικοποίησης (codeboo vectors) ενώ το σύνολο τους ονομάζεται βιβλίο κωδικοποίησης (codeboo). Τα δεδομένα που τελικά μεταδίδονται μέσα από το κανάλι είναι τα διανύσματα κωδικοποίησης μαζί με έναν αριθμό δεικτών, οι οποίοι υποδηλώνουν σε πια συστάδα ανήκει τα καθένα από τα αρχικά διανυσματικά δεδομένα. Έτσι, η εικόνα αναδημιουργείται αντικαθιστώντας κάθε διανυσματικό δεδομένο από το κοντινότερό του διάνυσμα κωδικοποίησης. Μέχρι τώρα, η κβάντιση διανύσματος έχει

8 αποδειχθεί ότι είναι μια από τις πιο αποδοτικές διαδικασίες παραγωγής βιβλίων κωδικοποίησης. Ένα ευρύ φάσμα από μεθόδους έχει αναπτυχθεί όσον αφορά αυτό το ζήτημα. Πολλές από αυτές τις προσεγγίσεις είναι βασισμένες στην ανάλυση της συσχέτισης (cross-correlaton) μεταξύ των διανυσματικών δεδομένων. Προκειμένου να επιτευχθεί το καλύτερο αποτέλεσμα μεταξύ συμπίεσης και ποιότητας τελικής εικόνας, πολλοί ερευνητές χρησιμοποιούν νευρωνικά δίκτυα (neural networs), μετασχηματισμένους κβαντιστές διανύσματος (transformed vector quantzaton) και διαδικασίες διαχωρισμού (splttng)και συγχώνευσης (mergng) των διανυσμάτων κωδικοποίησης. Ο Kohonen [4] ανέπτυξε έναν αλγόριθμο ανταγωνιστικής εκμάθησης (compettve learnng) που ονομάζεται κβάντιση διανύσματος με εκμάθηση (Learnng Vector Quantzaton-LVQ). O LVQ είναι μια προσέγγιση που τροποποιεί τα διανύσματα κωδικοποίησης σε πραγματικό χρόνο (on-lne) κάθε φορά που εμφανίζεται ένα καινούριο διανυσματικό δεδομένο. Όλες οι παραπάνω μέθοδοι σχεδιασμού βιβλίων κώδικα βασίζονται στην χρήση σαφών (διακριτών) αποφάσεων (crsp decsons), υπό την έννοια ότι κάθε διανυσματικό δεδομένο ανήκει σε μία μόνο συστάδα (δηλ. σε ένα μόνο διάνυσμα κωδικοποίησης). Έτσι, αυτές οι μέθοδοι αγνοούν την πιθανότητα ένα συγκεκριμένο διανυσματικό δεδομένο να ανήκει και σε άλλες συστάδες ταυτόχρονα. Η θεωρία ασαφών συνόλων είναι ένα αποδοτικό εργαλείο για να αντιμετωπιστεί αυτό το πρόβλημα. Η εφαρμογή των ασαφών τεχνικών στη συμπίεση εικόνας παρέχει δυο κύρια οφέλη. Πρώτον, η θεωρία ασαφών συνόλων είναι σε θέση να μοντελοποιήσει την αβεβαιότητα που υπάρχει σε ένα σύνολο διανυσματικών δεδομένων. Δεύτερον, προσφέρει μία υπολογιστική πλατφόρμα, η οποία βασίζεται σε ένα στέρεο και καλώς δομημένο μαθηματικό υπόβαθρο. Οι μέθοδοι της ασαφούς λογικής που μπορούν να χρησιμοποιηθούν αποδοτικά στην συμπίεση εικόνας, είναι κυρίως βασισμένοι στην ανάλυση ασαφούς συσταδοποίησης (fuzzy clusterng). Ο πιο αντιπροσωπευτικός αλγόριθμος αυτής της κατηγορίας είναι η μέθοδος των Ασαφών c-μέσων (Fuzzy c-means- FCM). Η FCM εκλαμβάνει κάθε συστάδα σαν ένα ασαφές σύνολο και άρα, ο σχεδιασμός του βιβλίου κωδικοποίησης (codeboo) βασίζεται σε ασαφείς (soft) διαδικασίες λήψης απόφασης και όχι σε σαφείς (crsp). Από τη στιγμή που η ασαφής συσταδοποίηση είναι σε θέση να μοντελοποιήσει την αβεβαιότητα σε ένα σύνολο διανυσματικών δεδομένων, μπορεί αποδοτικά να χρησιμοποιηθεί για να εξαλείψει ή τουλάχιστον να μειώσει σημαντικά την εξάρτηση του σχεδιασμού του βιβλίου κωδικοποίησης από την επιλογή των αρχικών διανυσμάτων κωδικοποίησης. Το τελευταίο ονομάζεται πρόβλημα αρχικοποίησης. 3

9 Η συμπίεση εικόνας πραγματοποιείται με την αντιστοίχηση κάθε διανυσματικού δεδομένου σ ένα μόνο διάνυσμα κωδικοποίησης. Συνεπώς, μια αξιόπιστη εφαρμογή της FCM στη συμπίεση εικόνας θα πρέπει να βασίζεται στην αντιστοίχηση κάθε διανυσματικού δεδομένου στο διάνυσμα κωδικοποίησης (κέντρο συστάδας) που εμφανίζει το μεγαλύτερο βαθμό συμμετοχής. Αλλά μια τέτοια σαφής (crsp) ερμηνεία της FCM μπορεί να έχει σοβαρές επιπτώσεις στην ποιότητα της συμπιεσμένης εικόνας. Για να λυθεί αυτό το πρόβλημα υπάρχουν τρία γενικά πλαίσια. Το πρώτο είναι βασισμένο στην Aσαφή Kβάντιση Διανύσματος (Fuzzy Vector Quantzaton-FVQ), όπου ειδικές στρατηγικές για την ομαλή μετάβαση από την ασαφή στη σαφή διαδικασία λήψης απόφασης έχουν αναπτυχθεί. Τέτοιου είδους προσεγγίσεις προτάθηκαν από τους Karayanns and Pa (995) [] και Tseouras (5) [49]. Το δεύτερο πλαίσιο είναι o αλγόριθμος ασαφούς κβάντισης διανύσματος με εκμάθηση (Fuzzy Learnng Vector Quantzaton-FLVQ), ο οποίος εισήχθη από τους Tsao et al (994) [48]. Σ αυτή την περίπτωση, η μετάβαση από τις ασαφείς στις σαφείς διαδικασίες λήψης απόφασης επιτυγχάνεται με το χειρισμό της παραμέτρου ασάφειας της FCM. Η συσχέτιση αυτού του μοντέλου με τον κλασσικό αλγόριθμο FCM επιτεύχθηκε από τους Karayanns and Bezdeq (997) []. Μια καίρια διαφορά μεταξύ αυτών των δυο προαναφερθέντων πλαισίων είναι ότι η FVQ διατηρεί σταθερή τη παράμετρο ασάφειας σε όλη τη διαδικασία εκπαίδευσης, ενώ η FLVQ την αλλάζει από μία μεγάλη σε μία μικρή τιμή. Τέλος, το τρίτο πλαίσιο αναπτύχθηκε από τους Tseouras et al (8), το οποίο συνδυάζει τις δύο παραπάνω τεχνικές παράγοντας έτσι έναν πολύ αποδοτικό τρόπο σχεδιασμού βιβλίων κωδικοποίησης. Και τα τρία παραπάνω πλαίσια επεξεργάζονται όλα τα διανυσματικά δεδομένα ταυτόχρονα, σε αντίθεση με τον κλασσικό αλγόριθμο LVQ του Kohonen [4], ο οποίος όπως προαναφέρθηκε, επεξεργάζεται ένα δεδομένο κάθε φορά. Στόχος της παρούσας πτυχιακής εργασίας είναι η εφαρμογή των αλγόριθμων ασαφούς συμπίεσης σε στατικές grayscale εικόνες και η εκτεταμένη σύγκρισή τους με άλλες μεθόδους, οι οποίες δεν βασίζονται στην ασαφή λογική. Πιο συγκεκριμένα, οι αλγόριθμοι που χρησιμοποιούνται είναι οι εξής: Fuzzy Learnng Vector Quantzaton (FLVQ) (Tsao et al. 994) [48] Fuzzy Vector Quantzaton (FVQ) (Karayanns and Pa 995) [] Improved Fuzzy Vector Quantzaton (IFVQ) (Tseouras 5) [49] Improved Fuzzy Learnng Vector Quantzaton (IFLVQ) (Tseouras et al 8) 4

10 Οι παραπάνω αλγόριθμοι εφαρμόζονται σε δύο δημοφιλή παραδείγματα στατικών εικόνων: (α) την εικόνα Lena και (β) την εικόνα Boat. Στη συνέχεια τα αποτελέσματα αυτών των προσομοιώσεων συγκρίνονται με άλλες μεθόδους οι οποίες έχουν δημοσιευθεί στη διεθνή βιβλιογραφία. Η παρούσα πτυχιακή δομείται ως ακολούθως: Στο Κεφάλαιο περιγράφεται η συμπίεση εικόνας ως φυσικό αντικείμενο και αναλύεται ένας αριθμός τεχνικών κβάντισης διανύσματος που χρησιμοποιούνται σε αυτή. Στο Κεφάλαιο αναλύονται λεπτομερώς οι παραπάνω αλγόριθμοι ασαφούς κβάντισης διανύσματος. Στο Κεφάλαιο 3 παρατίθενται τα αποτελέσματα των συγκριτικών προσομοιώσεων και τέλος το Κεφάλαιο 4 παραθέτει τη συζήτηση αποτελεσμάτων καθώς και τη πιθανή μελλοντική εργασία που σχετίζεται με την παρούσα πτυχιακή. 5

11 ΚΕΦΑΛΑΙΟ Συμπίεση Εικόνας με Κβάντιση Διανύσματος. Εισαγωγή στη Συμπίεση Εικόνας Ένα σύστημα συμπίεσης αποτελείται από δύο δομικά blocs: (α) τον κωδικοποιητή και (β) τον αποκωδικοποιητή. Η βασική δομή ενός συστήματος συμπίεσης δίνεται στο σχήμα.. Με βάση το σχήμα αυτό εισάγεται μία εικόνα f (, j) στον κωδικοποιητή. Μετά τη μετάδοση της μέσα από το κανάλι, η κωδικοποιημένη απεικόνιση τροφοδοτείται στον αποκωδικοποιητή, όπου μια αναδημιουργημένη εικόνα f ˆ(, j ) παράγεται. Η fˆ (, j) είναι μια προσέγγιση της f (, j). Εάν η προσέγγιση είναι ακριβής τότε το σύστημα ονομάζεται επιτρεπόμενων σφαλμάτων ή διατηρούμενης πληροφορίας. Στην αντίθετη περίπτωση, ένα επίπεδο παραμόρφωσης εμφανίζεται στην ανακατασκευασμένη εικόνα. Σχήμα.: Ένα γενικό σύστημα συμπίεσης εικόνας. Ο κωδικοποιητής και ο αποκωδικοποιητής που φαίνονται στο σχήμα. αποτελούνται από δυο συγγενικές ανεξάρτητες συναρτήσεις. Ο κωδικοποιητής αποτελείται από τον κωδικοποιητή πηγής, ο οποίος αφαιρεί τα επιμέρους σφάλματα και τον κωδικοποιητή καναλιού, ο οποίος μειώνει το επίπεδο θορύβου της πηγαίας εικόνας. Αντίστοιχα, ο αποκωδικοποιητής περιλαμβάνει τον αποκωδικοποιητή καναλιού ακολουθούμενο από τον αποκωδικοποιητή πηγής. Στη συνέχεια της ενότητας αναλύονται τα επιμέρους τμήματα του παραπάνω μοντέλου συμπίεσης. Ο κωδικοποιητής πηγής είναι υπεύθυνος για την μείωση ή εξάλειψη των επιμέρους σφαλμάτων κωδικοποίησης. Οι σχετιζόμενες απαιτήσεις ακρίβειας υπαγορεύουν την καλύτερη προσέγγιση κωδικοποίησης για να χρησιμοποιηθεί σε οποιαδήποτε δεδομένη κατάσταση. Φυσιολογικά, η προσέγγιση μπορεί να διαμορφωθεί από μια σειρά τριών ανεξάρτητων διαδικασιών. Το σχήμα. δείχνει τη βασική δομή του κωδικοποιητή πηγής. 6

12 Σχήμα.: Κωδικοποιητής πηγής. Σχήμα.3: Αποκωδικοποιητής πηγής. Με βάση αυτό το σχήμα, το πρώτο στάδιο του κωδικοποιητή πηγής είναι ο αποτυπωτής, ο οποίος μετατρέπει τα εισαγόμενα δεδομένα σε μια μορφή ειδικά σχεδιασμένη ώστε να μειώνει την περιττή πληροφορία των pxels της εισαγόμενης εικόνας. Αυτή η λειτουργία γενικά είναι αντιστρεπτή και δεν μειώνει απευθείας τη συνολική ποσότητα δεδομένων που απαιτούνται για να εμφανιστεί η εικόνα. Η κωδικοποίηση χρόνου-τρεξίματος είναι ένα παράδειγμα μιας αποτύπωσης που απευθείας καταλήγει στη συμπίεση δεδομένων σε αυτό το αρχικό στάδιο της κωδικοποίησης πηγής. Ένα άλλο παράδειγμα είναι η απεικόνιση μιας εικόνας με ένα σύνολο συντελεστών μετατροπής (συνήθως συντελεστές Fourer), όπου η εικόνα μετατρέπεται σε ένα διάνυσμα αυτών συντελεστών, καθιστώντας έτσι την περιττή πληροφορία των pxels χρήσιμη για συμπίεση σε μεταγενέστερα στάδια της διαδικασίας κωδικοποίησης. Το δεύτερο στάδιο, είναι ο κβαντιστής ή κβαντιστής, ο οποίος μειώνει την ακρίβεια της εξόδου του αποτυπωτή σε συμφωνία με ένα κριτήριο. Αυτή η λειτουργία είναι αμετάκλητη και πρέπει να παραλείπεται όταν είναι επιθυμητή η συμπίεση με σφάλματα. Στο τρίτο και τελευταίο στάδιο της κωδικοποίησης πηγής, ο κωδικοποιητής συμβόλων δημιουργεί έναν κώδικα σταθερού ή μεταβλητού μήκους για να περιγράψει την έξοδο του κβαντιστή. Ο όρος κωδικοποιητής συμβόλων διακρίνει τη λειτουργία κωδικοποίησης από τη γενική διαδικασία κωδικοποίησης πηγής. Στις περισσότερες των περιπτώσεων, ένας κώδικας μεταβλητού μήκους χρησιμοποιείται για να αντιπροσωπεύει το αποτυπωμένο και κβαντισμένο σύνολο δεδομένων. Αυτό γίνεται με το να ορίζει τις μικρότερες λέξεις κώδικα στις πιο συχνά εμφανιζόμενες τιμές εξόδου, μειώνοντας έτσι την περιττή πληροφορία. Η λειτουργία αυτή είναι αντιστρεπτή. Το Σχήμα. δείχνει την διαδικασία κωδικοποίησης πηγής σαν τρεις επιτυχημένες λειτουργίες, οι οποίες όμως δεν περιλαμβάνονται 7

13 απαραίτητα σε κάθε σύστημα συμπίεσης. O κβαντιστής πρέπει να παραληφθεί όταν επιθυμείται η συμπίεση με σφάλματα. Το Σχήμα.3 παραθέτει τη βασική δομή του αποκωδικοποιητή πηγής. Με βάση το σχήμα αυτό, ο αποκωδικοποιητής πηγής περιέχει μόνο δύο συστατικά: τον αποκωδικοποιητή συμβόλων και έναν αντίστροφο αποτυπωτή, οι οποίοι περιέχουν τις αντίστροφες λειτουργίες του κωδικοποιητή συμβόλων του κωδικοποιητή πηγής, όπως επίσης και τον αποτυπωτή. Πρέπει να σημειωθεί ότι αντίστροφη διαδικασία κβάντισης δεν υπάρχει γιατί, λόγω της απώλειας πληροφορίας, αυτό είναι ανούσιο. Ο κωδικοποιητής και αποκωδικοποιητής καναλιού παίζουν ένα σημαντικό ρόλο στην γενική διαδικασία κωδικοποίησης-αποκωδικοποίησης όταν το κανάλι μετάδοσης είναι θορυβώδες ή επιρρεπές σε σφάλμα. Και οι δύο είναι σχεδιασμένοι να μειώνουν τον θόρυβο του καναλιού με την εισαγωγή μιας ελεγχόμενης φόρμας πλεονασμών (redundancy form) στα κωδικοποιημένα δεδομένα πηγής. Όσο η έξοδος του κωδικοποιητή πηγής περιέχει μικρό πλεονασμό πληροφορίας (redundancy), είναι πολύ ευαίσθητο στο θόρυβο χωρίς την προσθήκη αυτού του ελεγχόμενου πλεονασμού (controlled redundancy). Μία από τις πιο χρήσιμες τεχνικές κωδικοποίησης καναλιού επινοήθηκε από τον Hammng (95) [6]. Είναι βασισμένο στην επισύναψη αρκετών bts στα δεδομένα που κωδικοποιούνται για να εξασφαλίσουν ότι ένας ελάχιστος αριθμός bt πρέπει να αλλάξει μεταξύ έγκυρων διανυσμάτων κωδικοποίησης. Η κωδικοποίηση με απώλειες είναι βασισμένη στην επίτευξη αυξημένης συμπίεσης της ανακατασκευασμένης εικόνας, η οποία δίνει την καλύτερη δυνατή ακρίβεια. Εάν η προκύπτουσα παραμόρφωση (η οποία μπορεί να είναι οπτικά προφανής) μπορεί να μειωθεί, ο βαθμός συμπίεσης μπορεί να αυξηθεί περισσότερο. Στην πραγματικότητα, πολλές τεχνικές κωδικοποίησης με απώλειες είναι ικανές να αναπαράγουν αναγνωρίσιμες μονόχρωμες εικόνες από δεδομένα που έχουν συμπιεστεί περισσότερο από 3: και εικόνες που είναι ουσιαστικά όμοιες από τις αυθεντικές : σε :. Στη συνέχεια αναλύονται οι βασικές τεχνικές συμπίεσης εικόνας με απώλειες.. Συναρτήσεις Παραμόρφωσης Για την υλοποίηση μιας μεθόδου συμπίεσης εικόνας είναι απαραίτητη η ελαχιστοποίηση μιας συνάρτησης παραμόρφωσης. Η πιο απλή μορφή μιας τέτοιας συνάρτησης βασίζεται στο σφάλμα μεταξύ της αρχικής και της τελικής εικόνας και δίνεται ως εξής: 8

14 N N ( e = f(,j) f(,j) ˆ ) (.) = j= όπου f (, j) είναι η φωτεινότητα του pxel στην θέση (, j) της αρχικής εικόνας και fˆ (, j) η φωτεινότητα του pxel στην θέση (, j) της τελικής (ανακατασκευασμένης) εικόνας και N N είναι η ανάλυση της εικόνας (δηλ. ο συνολικός αριθμός pxels). Μελετώντας μια ποικιλία συστημάτων συμπίεσης πάνω σε κοινές πηγές δεδομένων, τα αποτελέσματα αποφέρουν κάποιες γενικές συγκρίσεις και τάσεις ανάμεσα σε διάφορες τεχνικές κβάντισης διανύσματος. Θα πρέπει να λαμβάνουμε υπόψη δυο περιοριστικούς όρους όταν ερμηνεύουμε τέτοια ποσοτικά αποτελέσματα: Πρώτον, η έμφαση εδώ είναι στα συστήματα χαμηλού ρυθμού μετάδοσης bt και δεύτερον, τα δεδομένα εισόδου και οι σχεδιαστικοί παράμετροι του συστήματος όπως το ποσοστό δειγματοληψίας και το προ- ή μετά-φιλτράρισμα, μπορεί να είναι αρκετά διαφορετικά από εφαρμογή σε εφαρμογή. Ιδανικά ένα μέτρο παραμόρφωσης πρέπει να είναι πειθήνιο για να επιτρέπει την ανάλυση, υπολογίσιμο έτσι ώστε να μπορεί να αξιολογηθεί σε πραγματικό χρόνο και να χρησιμοποιηθεί σε ελάχιστα συστήματα παραμόρφωσης, και υποκειμενικά τόσο σημαντικό ώστε μεγάλες ή μικρές τιμές παραμόρφωσης να συσχετίζονται με κακή και καλή υποκειμενική ποιότητα, αντίστοιχα. Εδώ δεν εξετάζουμε τα δύσκολα και αμφισβητούμενα ζητήματα της επιλογής ενός μέτρου παραμόρφωσης, αλλά υποθέτουμε ότι κάποιο έχει επιλεγεί και εξετάζουμε τη μέθοδο του σχεδιασμού συστημάτων, η οποία παράγει μικρή μέση παραμόρφωση... Η Συνάρτηση Παραμόρφωσης Τετραγωνισμένου Σφάλματος Η συνάρτηση παραμόρφωσης τετραγωνισμένου σφάλματος βασίζεται στον Ευκλείδεια απόσταση p-διάστατων διανυσμάτων, p d( x, xˆ ) = x xˆ = ( x j xˆ j ) (.) j= Η Σχέση (.) είναι το πιο απλό μέτρο παραμόρφωσης. Για τη συνάρτηση τετραγωνισμένου σφάλματος είναι κοινή πρακτική να μετράμε την απόδοση ενός συστήματος με βάση το λόγο σήμα προς θόρυβο, το οποίο για μία εικόνα διάστασης N N δίνεται από την παρακάτω σχέση, 9

15 [ ] N 55 PSNR = log (.3) N N f(,j) f(,j) ˆ = j= όπου 55 είναι η μέγιστη τιμή σήματος, f (, j) και fˆ (, j) είναι οι φωτεινότητες των pxels για την αρχική και την ανακατασκευασμένη εικόνα. Το PSNR αντιστοιχεί στην ομαλοποίηση της μέσης παραμόρφωσης από την μέση ενέργεια και τη χάραξή του σε μια λογαριθμική κλίμακα: Μεγάλο (μικρό) PSNR αντιστοιχεί σε μικρή (μεγάλη) παραμόρφωση... Η Συνάρτηση Παραμόρφωσης Itaura-Sato Αυτή η συνάρτηση παραμόρφωσης είναι χρήσιμη κυρίως σε εφαρμογές κωδικοποίησης φωνής όπου στο δέκτη στέλνεται ένα γραμμικό πρότυπο της διαδικασίας παραγωγής φωνής και είναι βασισμένη στην έννοια του ισοδύναμου μέτρου λάθους. Γενικότερα, αυτή η παραμόρφωση είναι μια ειδική περίπτωση μιας ελάχιστης σχετικής εντροπίας ή μέτρο διάκρισης, όπως αυτό ορίστηκε από τον Shannon [44]. Εδώ το εισαγόμενο διάνυσμα μπορεί πάλι να θεωρηθεί ότι είναι μια συλλογή από διαδοχικά κυματοειδή δείγματα. Τα ˆ παραγόμενα διανύσματα έχουν τη μορφή = ( a, a, a,..., ) a p x, όπου a είναι ένα θετικό κέρδος (ή ενεργειακός όρος) και τα a είναι αντίστροφοι συντελεστές φίλτρων με την έννοια ότι εάν ο μετασχηματισμός z του αρχικού σήματος δίνεται ως, p () z = A = a z (.4) τότε το φίλτρο με z -μετατροπή / A( z ) είναι ένα σταθερό φίλτρο. Εδώ η αναπαραγωγή διανυσμάτων μπορεί να θεωρηθεί σαν πρότυπο όλων των πόλων για σύνθεση της αναπαραγωγής στο δέκτη χρησιμοποιώντας έναν τοπικά παραγόμενο θόρυβο ή περιοδική πηγή. Με άλλα λόγια, είναι ένα τμήμα φίλτρου από ένα γραμμικό προβλεπόμενο μοντέλο κωδικοποίησης σε ένα vocodng (κωδικοποίησης φωνής) σύστημα. Η παραμόρφωση Itaura-Sato (97s) ανάμεσα στο εισαγόμενο διάνυσμα και το μοντέλο μπορεί να καθοριστεί ως,

16 t a R( x) a a p( x) d( x, xˆ ) = ln (.5) a a ( t όπου a, a,..., a p, = ) R ( x ) είναι το x( p +) εισαγόμενου διανύσματος x και ( x) p δείγμα αυτοσυσχέτισης πλέγματος του a είναι ένας εισαγόμενος όρος κέρδους (υπόλοιπη ενέργεια) που καθορίζεται σαν η ελάχιστη τιμή του b t R( x )b, όπου το ελάχιστο προκύπτει από όλα τα διανύσματα b με την πρώτη συνιστώσα ίση με. Υπάρχουν πολλές ισοδύναμες μορφές της παραπάνω παραμόρφωσης, κάποιες από τις οποίες είναι χρήσιμες για θεωρία και κάποιες για υπολογισμό. Ο παραπάνω τύπος παραμόρφωσης είναι ένας από τους απλούστερους και καταδεικνύει ότι το μέτρο παραμόρφωσης είναι πράγματι περίπλοκο και όχι μια απλή συμμετρική συνάρτηση ενός διανύσματος σφάλματος..3 Κβάντιση Διανύσματος για Συμπίεση Εικόνας Ένας κβαντιστής διανύσματος (VQ) είναι ένα σύστημα που αποτυπώνει μια ακολουθία διανυσματικών δεδομένων σε μια ψηφιακή ακολουθία κατάλληλη για μεταβίβαση ή αποθήκευση σε ένα ψηφιακό κανάλι. Ο σκοπός ενός τέτοιου συστήματος είναι η συμπίεση δεδομένων, δηλ. η μείωση του αριθμού bt και η ελαχιστοποίηση της χωρητικότητας του καναλιού επικοινωνίας ή των απαιτήσεων αποθηκευτικής μνήμης διατηρώντας παράλληλα την απαραίτητη ακρίβεια προσέγγισης των αρχικών από τα συμπιεσμένα δεδομένα. Η μετατροπή κάθε διανύσματος μπορεί να χρειαστεί ελάχιστη μνήμη υπό την έννοια ότι εξαρτάται από προηγούμενες ενέργειες του κωδικοποιητή. Κατά τη διάρκεια των προηγούμενων ετών πολλοί αλγόριθμοι σχεδιασμού αναπτύχθηκαν για πλήθος διαφορετικών κβαντιστών διανύσματος, ενώ η απόδοση αυτών των κωδικοποιητών έχει μελετηθεί για μία ευρεία γκάμα εφαρμογών. Από μαθηματική άποψη, ένας κβαντιστής διανύσματος περιγράφεται ως ακολούθως. Έστω X = p { x, x,..., } R xn ένα σύνολο p-διάστατων διανυσματικών δεδομένων. Στόχος ενός κβαντιστή διανύσματος είναι ο διαμερισμός του συνόλου συστάδων (ομάδων) V = { v v..., } v,v,..., vc R p,, v c X σε ένα σύνολο, όπου τα διανύσματα ονομάζονται διανύσματα κωδικοποίησης (cluster centers ή codeboo vectors) και το σύνολο V ονομάζεται βιβλίο κωδικοποίησης. Βασικό χαρακτηριστικό του παραπάνω διαμερισμού είναι ότι διανυσματικά δεδομένα που ανήκουν στην ίδια συστάδα είναι όσο το δυνατόν πιο όμοια μεταξύ τους, ενώ διανυσματικά δεδομένα που ανήκουν σε

17 διαφορετικές ομάδες όσο το δυνατόν πιο ανόμοια. Ο εν λόγω διαμερισμός προκύπτει από την ελαχιστοποίηση μίας αντικειμενικής συνάρτησης κόστους, η οποία σχετίζεται άμεσα με την συνάρτηση παραμόρφωσης, την οποία επιλέγουμε για το σύστημά μας. Στη συνέχεια αναλύονται κλασσικές τεχνικές κβάντισης διανύσματος.3. Δίκτυα Kohonen (Learnng Vector Quantzaton-LVQ) Η συσταδοποίηση δικτύων του Kohonen (KCNs) [4] είναι μια χωρίς επίβλεψη διαδικασία, η οποία βρίσκει το καλύτερο σύνολο συστάδων με έναν επαναληπτικό τρόπο. Η βασική δομή του KCN δίνεται στο Σχήμα.4, όπου βλέπουμε ότι αποτελείται από δύο επίπεδα: ένα επίπεδο εισαγωγής (nput layer) και ένα επίπεδο εξόδου (output layer). Κάθε νευρώνας (node) εξόδου έχει ένα πρωτότυπο ή διάνυσμα βάρους συνδεδεμένο σε αυτό, και είναι αυτό το διάνυσμα βάρους δικτύου που προσαρμόζεται κατά τη διάρκεια της εκπαίδευσης. Τα διανύσματα βάρους είναι τα κέντρα των συστάδων η σύμφωνα με την ορολογία της παρούσας πτυχιακής τα διανύσματα κωδικοποίησης. Δεδομένου ενός διανύσματος εισαγωγής, οι νευρώνες στο επίπεδο εξόδου ανταγωνίζονται μεταξύ τους και ο νικητής (του οποίου το βάρος έχει την μικρότερη απόσταση από το διάνυσμα εισαγωγής) αναβαθμίζει τα βάρη του και εκείνα από μερικά σύνολα από προκαθορισμένους γείτονες. Σχήμα.4: Η δομή ενός δικτύου Kohonen.

18 Η διαδικασία συνεχίζεται μέχρι τα διανύσματα βαρών να σταθεροποιηθούν. Σε αυτή τη μέθοδο, πρέπει να καθοριστεί μία διαδικασία εκπαίδευσης η οποία μειώνεται με το χρόνο και τερματίζεται. Ο τρόπος ανανέωσης των βαρών πρέπει επίσης να μειώνεται με το χρόνο. Η ασυμπτωτική σύγκλιση των KCN καταλήγει σε τοπικό ελάχιστο. Μια συνοπτική προδιαγραφή του KCN αλγόριθμου δίδεται πιο κάτω. Αλγόριθμος Δικτύου Kohonen Βήμα ). Ορίζουμε τον αριθμό των βαρών c και ε > κάποια μικρή σταθερά. cp Βήμα ) Επιλέγουμε τυχαία τα αρχικά κέντρα v ( v v v c ) R μεταβολής α, (, ). Βήμα 3). Για t=,,, t max Για =,,, n: Α. Υπολογίζουμε την Ευκλείδεια απόσταση B. Ταξινομούμε την { } d d... d c. =,,,...,,, και τον ρυθμό d, t = x v, για = μέχρι c. d με σειρά από το μικρότερο στο μεγαλύτερο: C. Ενημερώνουμε το νικητή: v + ( x ) D. Αν Nt n t στο στο Β:, t =, t a, t v, t v. = ενημερώνουμε τους ( n ) δεσμούς οι οποίοι είναι κοντινότερα x v v + ( ) Ε. Επόμενο., t =, t a, t x t v, t, =,3,...,( n t ). Βήμα 4). Υπολογίζουμε το E t = v t vt = v, t v, t. Βήμα 5) Αν Et μεταβολής {, t } ε τότε ο αλγόριθμος σταματάει αλλιώς αλλάζουμε τους ρυθμούς a και ενημερώνουμε την γειτονιά. Επόμενο t. Τα χαρακτηριστικά του παραπάνω αλγόριθμου αναλύονται στη συνέχεια. Όπως διευκρινίζεται, o KCN είναι σειριακός (onlne) ένα x τροφοδοτείται στο δίκτυο, και κάποια βάρη ενημερώνονται αμέσως. Η παράμετρος a έχει συνταχθεί στο και, t. Αυτό γίνεται εξαιτίας του ότι οι τιμές του a που χρησιμοποιήθηκαν στην ενημέρωση των βαρών διανέμονται στο N t, κεντραρισμένες στο νικητή, το v,t, και η σύνταξη του v είναι μια συνάρτηση του x. Επιπλέον, το a συνήθως μειώνεται με το χρόνο (t ) για να εξαναγκάσει το Et N t ε (καθαρά E όπως a, ). Αυτό είναι μια τεχνητή στρατηγική t t 3

19 τερματισμού, στην οποία ο κανόνας ενημέρωσης εγγυάται την εξάρτηση των διαδοχικών επαναλήψεων μετά από αρκετό χρόνο, ακόμη κι αν αυτοί δεν είναι κοντά σε ένα διάνυσμα λύσης. Επιλέγοντας το μέγεθος της γειτονιάς, η αναλογία εκπαίδευσης και οι στρατηγικές για να λειτουργήσουν αυτοί οι παράμετροι είναι κρίσιμες για τον τερματισμό της KCN. Επιπλέον διαφορετικά σύνολα παραμέτρων αποφέρουν διαφορετικά αποτελέσματα. Ο Kohonen έχει δείξει ότι αυτή η διαδικασία συγκλίνει, υπό την έννοια ότι το { v} { v } για { } t * a, αλλά το v * είναι απλώς ένα σημείο ορίου της επανάληψης αλληλουχίας (και όχι το βέλτιστο σημείο). Το KCN δεν χρησιμοποιεί ένα συγκεκριμένο διαμερισμό των δεδομένων κατά τη διάρκεια της εκπαίδευσης..3. Ο Αλγόριθμος των c-μέσων (ή Αλγόριθμος Lloyd) Ο αλγόριθμος c-means ονομάζεται και αλγόριθμος Lloyd και ανήκει σε μια μεγάλη κατηγορία αλγορίθμων ομαδοποίησης που είναι γνωστοί ως αλγόριθμοι διαμέρισης (parttonng algorthms). Στην ίδια κατηγορία ανήκει και ο KCN. Ουσιαστικά οι αλγόριθμοι αυτοί είναι έτσι φτιαγμένοι, ώστε να διαμερίζουν τον χώρο των δεδομένων σε περιοχές και να αντιστοιχεί μια περιοχή σε κάθε ομάδα. Η μέθοδος θεωρεί πως ο αριθμός των ομάδων (συστάδων) που θα προκύψουν είναι γνωστός εκ των προτέρων. Αυτό αποτελεί έναν περιορισμό της μεθόδου, καθώς είτε πρέπει να τρέξουμε τον αλγόριθμο με διαφορετικές επιλογές ως προς το πλήθος των ομάδων είτε πρέπει με κάποιον άλλο τρόπο να έχουμε καταλήξει στον αριθμό των ομάδων. Η μέθοδος δουλεύει επαναληπτικά. Χρησιμοποιεί την έννοια του κέντρου της συστάδας (cluster center) και στη συνέχεια κατατάσσει τις παρατηρήσεις ανάλογα με την απόστασή τους από τα κέντρα όλων των ομάδων. Το κέντρο της ομάδας δεν είναι τίποτα άλλο από τη μέση τιμή για κάθε μεταβλητή όλων των παρατηρήσεων της ομάδας. Στη συνέχεια για κάθε παρατήρηση (διανυσματικό δεδομένο) υπολογίζουμε την Ευκλείδεια απόστασή της από τα κέντρα των ομάδων που έχουμε και κατατάσσουμε κάθε παρατήρηση στην ομάδα που είναι πιο κοντά (για την ακρίβεια στην ομάδα με κέντρο πιο κοντά στην παρατήρηση). Αφού κατατάξουμε όλα τα δεδομένα, τότε υπολογίζουμε εκ νέου τα κέντρα, απλώς ως τα διανύσματα των μέσων για τα δεδομένα που ανήκουν στην κάθε ομάδα. Η διαδικασία επαναλαμβάνεται μέχρις ότου δεν υπάρχουν διαφορές ανάμεσα σε δύο διαδοχικές επαναλήψεις. Συνήθως η απόσταση που χρησιμοποιείται για να κατατάξει τα δεδομένα είναι η Ευκλείδεια 4

20 απόσταση. Αν θέλουμε να χρησιμοποιήσουμε άλλη απόσταση, θα πρέπει να κάνουμε ειδικούς μετασχηματισμούς στα δεδομένα πριν τη χρησιμοποιήσουμε. Όπως είπαμε και πριν, ο αλγόριθμος αυτός δουλεύει ικανοποιητικά για μεγάλα σύνολα δεδομένων. Αυτός είναι και ο λόγος που η μέθοδος μερικές φορές καλείται και γρήγορη ομαδοποίηση (Quc Clusterng). Η αντικειμενική συνάρτηση κόστους που ελαχιστοποιεί ο αλγόριθμος c-means δίνεται στη συνέχεια, J n c c Means = μ v = = x (.6) Όπου n είναι ο αριθμός των διανυσματικών δεδομένων, c ο αριθμός των διανυσμάτων κωδικοποίησης (κέντρα συστάδων), x το -οστό διανυσματικό δεδομένο, v το -οστό διάνυσμα κωδικοποίησης και μ είναι η συνάρτηση συμμετοχής του x στην -οστή συστάδα και δίνεται από την παρακάτω σχέση, που είναι γνωστή ως ο νόμος του κοντινότερου γείτονα, μ, =, αν x αλλιώς v = mn j { x v } j (.7) Η ελαχιστοποίηση της παρακάτω εξίσωση, J c Means επιτυγχάνεται αν υπολογίζουμε τα κέντρα με βάση την n μ x = v = n (.8) μ = Η τελευταία εξίσωση υποδηλώνει ότι ένα διάνυσμα κωδικοποίησης είναι το κέντρο βάρους (μέσος όρος) των διανυσματικών δεδομένων που έχουν βαθμό συμμετοχής ίσον με τη μονάδα ως προς αυτό το διάνυσμα κωδικοποίησης. Η επαναληπτική διαδικασία, η οποία ελαχιστοποιεί τη συνάρτηση της εξίσωσης (.7) δίνεται στη συνέχεια. 5

21 Αλγόριθμος c-means Βήμα ). Τυχαία επιλογή των αρχικών τιμών των διανυσμάτων κωδικοποίησης v ( c). Βήμα ). Προσδιορισμός των συναρτήσεων συμμετοχής με βάση την εξίσωση (.7) και κατάταξη των διανυσματικών δεδομένων στις συστάδες. Βήμα 3). Υπολογισμός των καινούργιων κέντρων των συστάδων (διανύσματα κωδικοποίησης) με βάση την εξίσωση (.8). Βήμα 4). Προσδιορισμός των συναρτήσεων συμμετοχής με βάση την εξίσωση (.7) και ανακατάταξη των διανυσματικών δεδομένων στις συστάδες. Σχήμα.5: Επαναληπτική διαδικασία του αλγόριθμου c-means. Το Σχήμα.5 δείχνει πώς δουλεύει ο αλγόριθμος, όπου τα δεδομένα συμβολίζονται με «x» και τα κέντρα με «ο». Για κάθε δεδομένο μετράμε την απόσταση από κάθε κέντρο και το κατατάσσουμε στην ομάδα με το πλησιέστερο κέντρο. Σχηματίζουμε δηλαδή τα δύο νέφη της εικόνας β. Στη συνέχεια, από όλες τις παρατηρήσεις που έχουμε κατατάξει υπολογίζουμε τα νέα κέντρα των ομάδων. Έτσι, στο Σχήμα.5(γ) βλέπουμε πως τα κέντρα μετατοπίζονται. Με βάση αυτά τα νέα κέντρα ξεκινάμε από την αρχή κατατάσσοντας πάλι παρατηρήσεις κ.λπ. Τα αρχικά κέντρα μπορούν είτε να οριστούν από το χρήστη είτε υπολογίζονται με κάποιο συγκεκριμένο αλγόριθμο. 6

22 Ο παραπάνω αλγόριθμος είναι ιδιαίτερα γρήγορος και στην πράξη σταματάμε συνήθως μετά από σχετικά λίγες επαναλήψεις. Αυτό τον κάνει ιδιαίτερα χρήσιμο για τις περιπτώσεις μεγάλων συνόλων δεδομένων. Επίσης, δε χρειάζεται να κρατά στη μνήμη πολλά στοιχεία και επομένως δε χρειάζεται ιδιαίτερα μεγάλη υπολογιστική ισχύ. Σχήμα.6: Ευαισθησία του αλγορίθμου c-means στην επιλογή αρχικών κέντρων Το μεγάλο μειονέκτημα του αλγορίθμου είναι ότι εξαρτάται από τις αρχικές τιμές οι οποίες, αν δεν βρεθούν με καλό τρόπο, μπορεί να οδηγήσουν σε κακή ομαδοποίηση. Για να το ξεπεράσουμε αυτό, μια λύση είναι να τρέξουμε τον αλγόριθμο με διάφορες αρχικές τιμές, ώστε να είμαστε σίγουροι πως δεν παγιδεύτηκε σε κάποια μη βέλτιστη λύση. Το παράδειγμα του Σχήματος.6 αναφέρεται στο πρόβλημα αυτό. Με βάση το σχήμα αυτό, έστω ότι έχουμε 7 παρατηρήσεις και θέλουμε να τις κατατάξουμε σε 3 ομάδες. Αν χρησιμοποιήσουμε ως αρχικές τιμές τα σημεία Α, Β, C, τότε οι ομάδες που προκύπτουν συμβολίζονται με τις ελλείψεις. Οι ομάδες είναι {Α}, {Β,C}, {Ε,D,G,F}. Αν όμως ξεκινήσουμε από τα σημεία Α, D και F, τότε οι ομάδες που φτιάχνουμε συμβολίζονται με τα τετράγωνα και είναι {Α,Β,C}, {Ε,D}, {G,F}). Στην πρώτη περίπτωση οι διαφορές μέσα στις ομάδες είναι πολύ μεγαλύτερες απ ότι στη δεύτερη. Ένα άλλο πρόβλημα έχει να κάνει με την επιλογή του αριθμού των ομάδων. Όπως είπαμε, μια τακτική θα μπορούσε να είναι η ομαδοποίηση με διαφορετικό κάθε φορά αριθμό ομάδων και στο τέλος την επιλογή της ομάδας που είναι κατά κάποιον τρόπο βέλτιστη. Με βάση, λοιπόν, τα παραπάνω μερικές χρήσιμες στρατηγικές είναι οι ακόλουθες: Η επιλογή των αρχικών κέντρων πρέπει να γίνεται έτσι ώστε αυτά να είναι όσο γίνεται πιο μακριά μεταξύ τους. 7

23 Ένας τρόπος για να αποφύγουμε την υλοποίηση μεγάλου αριθμού διαφορετικών ομαδοποιήσεων είναι να μελετήσουμε τη λύση που ήδη έχουμε, προσπαθώντας να ενώσουμε ή να διαλύσουμε ομάδες που θα μπορούσαν να μας βελτιώσουν τη μέση απόσταση των δεδομένων από το κέντρο της ομάδας που ανήκουν. Για παράδειγμα, αν δούμε μια ομάδα με μερικά δεδομένα πιο απομακρυσμένα, θα ήταν μια καλή ιδέα να ξανατρέξουμε τον αλγόριθμο, αυξάνοντας κατά ένα τον αριθμό των ομάδων. Είναι μάλλον σπάνιο να πετύχουμε τη βέλτιστη λύση με μια μόνο επιλογή αριθμού ομάδων. Συνεπώς, θα πρέπει να δοκιμάσουμε διάφορες επιλογές και να χρησιμοποιήσουμε και τη διαίσθηση μας, ώστε να πετύχουμε την καλύτερη ομαδοποίηση. Μπορεί να αποδειχθεί ότι ελαχιστοποιώντας την αντικειμενική συνάρτηση κόστους της εξίσωσης (.6), ουσιαστικά ελαχιστοποιείται η συνάρτηση παραμόρφωσης τετραγωνισμένου σφάλματος της εξίσωσης (.) και άρα μεγιστοποιείται το PSNR της εξίσωσης (.3). Στην περίπτωση αυτή, η συνάρτηση παραμόρφωσης τετραγωνισμένου σφάλματος της εξίσωσης (.), τροποποιείται ώστε να μοντελοποιήσει την συνολική παραμόρφωση της αναδημιουργούμενης εικόνας και ονομάζεται Μέση Παραμόρφωση, η οποία δίνεται από την παρακάτω σχέση. D n = mn{ n c = x v } (.9) Συνοψίζοντας, η χρήση της κβάντισης διανύσματος στην συμπίεση εικόνας έχει ως στόχο την ελαχιστοποίηση μίας αντικειμενικής συνάρτησης κόστους, πράγμα το οποίο έχει ως άμεσο αποτέλεσμα την ελαχιστοποίηση της μέσης παραμόρφωσης της σχέσης (.9) και την μεγιστοποίηση του λόγου σήματος προς θόρυβο της σχέσης (.3). Τελειώνοντας, θα πρέπει να παρατηρήσουμε πως η δυναμική του αλγορίθμου c-means είναι ότι με τις πρώτες λίγες επαναλήψεις πλησιάζει πολύ κοντά στην τελική λύση και στις υπόλοιπες επαναλήψεις, οι όποιες διαφορές οφείλονται σε μετακίνηση κάποιων λίγων κέντρων. Επομένως, δεν είναι απαραίτητος ένας μεγάλος αριθμός επαναλήψεων, καθώς η βασική δομή θα σχηματιστεί πολύ γρήγορα..3.3 Ο Γενικευμένος Αλγόριθμος Lloyd (ή Αλγόριθμος LBG) Οι Lnde-Buzo-Gray [3] επέκτειναν τον αλγόριθμο c-means και πρότειναν μια βελτίωση αυτού. Γι αυτό το λόγο, ο αλγόριθμός τους είναι γνωστός ως ο Γενικευμένος Lloyd Αλγόριθμος (GLA) ή LBG από τα αρχικά των δημιουργών. Ο αλγόριθμος LBG 8

24 είναι μια πεπερασμένη ακολουθία βημάτων στην οποία, σε κάθε βήμα, ένας καινούριος κβαντιστής με μια μέση παραμόρφωση μικρότερη ή ίση με την προηγούμενη, παράγεται. Σχήμα.7: Ο αλγόριθμος LBG. Το διάγραμμα ροής του αλγόριθμου φαίνεται στο Σχήμα.7. Τώρα, θα περιγράψουμε τα βήματα του LBG. Μπορούμε να διακρίνουμε δύο φάσεις, όπως φαίνονται στο σχήμα: η μονογράφηση του βιβλίου κωδικοποίησης και η βελτιστοποίησή του Βελτιστοποίηση βιβλίου κωδικοποίησης Καταρχήν, θα περιγράψουμε το βήμα βελτιστοποίησης χρησιμοποιώντας τα σύμβολα: m : αριθμός επανάληψης Ym : m-οστό βιβλίο κωδικοποίησης και D m : H ΜΚΣ υπολογίζει το d και στη m-στη επανάληψη. Το Σχήμα.8 δείχνει το διάγραμμα ροής. Η βελτιστοποίηση του βιβλίου κωδικοποίησης ξεκινά από ένα αρχικό βιβλίο κωδικοποίησης και μετά από κάποιες επαναλήψεις παράγει ένα τελικό βιβλίο κωδικοποίησης με μια παραμόρφωση που αντιστοιχεί σε ένα τοπικό ελάχιστο. Τα βήματα έχουν ως εξής: 9

25 Σχήμα.8: Βελτιστοποίηση βιβλίου κωδικοποίησης LBG.. Μονογράφηση. Οι παρακάτω τιμές είναι σταθερές: o N C : ο αριθμός των διανυσμάτων κωδικοποίησης o ε : ακρίβεια της διαδικασίας βελτιστοποίησης o Y : αρχικό βιβλίο κωδικοποίησης o X { xj; j,..., Np} = = : διανυσματικά δεδομένα. Επιπροσθέτως, γίνονται οι παρακάτω εκχωρήσεις:

26 o m = και o D - = +.. Υπολογισμός συστάδας. Δεδομένου του βιβλίου κωδικοποίησης Y m, υπολογίζεται το μέγεθος ℵ ( Y m ) της συστάδας Y m. 3. Έλεγχος κατάστασης τερματισμού. Η μέση παραμόρφωση του κβαντιστή D m υπολογίζεται σύμφωνα με τη συνάρτηση (.9). Αν ( ) διαδικασία ολοκληρώνεται και το Y m κωδικοποίησης. D m Dm / D m ε, τότε η είναι το τελικό επιστρεφόμενο βιβλίο 4. Υπολογισμός νέου βιβλίου κωδικοποίησης. Δεδομένης της συστάδας Y m που έχει μέγεθος ℵ ( Y m ), το καινούριο βιβλίου κωδικοποίησης υπολογίζεται ως, m = ( ℵ + ( m )) Y X Y Ο μετρητής m αυξάνεται κατά ένα και η διαδικασία πηγαίνει στο βήμα Μονογράφηση του Βιβλίου Κωδικοποίησης Η μονογράφηση του βιβλίου κωδικοποίησης είναι ένα πολύ σημαντικό θέμα και παρουσιάζεται διαγραμματικά στο Σχήμα.9. Μια κακή επιλογή των αρχικών διανυσμάτων κωδικοποίησης γενικά οδηγεί σε μεγάλο σφάλμα παραμόρφωσης. Εδώ περιγράφουμε την τυχαία μονογράφηση και την μονογράφηση με διαχωρισμό. Σχήμα.9: Διαχωρισμός ενός βιβλίου κωδικοποίησης. Τυχαία μονογράφηση: Τα αρχικά διανύσματα κωδικοποίησης είναι επιλεγμένα τυχαία. Γενικά επιλέγονται μέσα στο κυρτό επικάλυμμα του συνόλου των δεδομένων εισόδου.

27 Μονογράφηση με διαχωρισμό. Αυτή η μονογράφηση απαιτεί ο αριθμός των διανυσμάτων κωδικοποίησης να είναι δύναμη του. Η διαδικασία ξεκινά από μόνο ένα διάνυσμα κωδικοποίησης ώστε, κατ επανάληψη, να τα χωρίζει σε δυο ευδιάκριτα διανύσματα κωδικοποίησης. Πιο συγκεκριμένα, το m-οστό βήμα αποτελείται από το διαχωρισμό όλων των διανυσμάτων που αποκτήθηκαν στο τέλος του προηγούμενου βήματος. Μετά το διαχωρισμό, ένα βήμα βελτιστοποίησης εκτελείται σύμφωνα με τη μέθοδο που περιγράφηκε πρωτύτερα. Με βάση το Σχήμα.9 το κριτήριο διαχωρισμού ξεκινά από ένα διάνυσμα κωδικοποίησης y. Το διάνυσμα αυτό χωρίζεται σε δυο κοντινά διανύσματα y+e και y-e όπου e είναι ένα σταθερό διάνυσμα διαταραχής..3.4 Κβαντιστές Διανύσματος Ανατροφοδότησης Στη περίπτωση των κβαντιστών διανύσματος με ανατροφοδότηση, η μνήμη μπορεί να ενσωματωθεί σε έναν κβαντιστή διανύσματος κατά τρόπο απλό χρησιμοποιώντας διαφορετικά βιβλία κωδικοποίησης για κάθε εισαγόμενο διάνυσμα, όπου τα βιβλία κωδικοποίησης επιλέγονται βασισμένα σε προηγούμενα εισαγόμενα διανύσματα. Ο αποκωδικοποιητής πρέπει να ξέρει ποιό βιβλίο κωδικοποίησης χρησιμοποιείται από τον κωδικοποιητή για να αποκωδικοποιήσει τα σύμβολα καναλιού. Αυτό μπορεί να επιτυγχανθεί με δύο τρόπους: ) Ο κωδικοποιητής μπορεί να χρησιμοποιήσει μια διαδικασία επιλογής βιβλίου κωδικοποίησης που εξαρτάται μόνο από παρελθούσες εξόδους του κωδικοποιητή και άρα η ακολουθία του βιβλίου κωδικοποίησης μπορεί να εντοπιστεί από τον αποκωδικοποιητή. ) Ο αποκωδικοποιητής ενημερώνεται για το επιλεγμένο βιβλίο κωδικοποίησης μέσω ενός ειδικού παράπλευρου καναλιού χαμηλής αναλογίας σήματος προς θόρυβο. Η πρώτη προσέγγιση ονομάζεται ανατροφοδότηση κβάντισης διανύσματος και είναι αντικείμενο αυτής της ενότητας. Το όνομα προκύπτει επειδή η έξοδος του κωδικοποιητή ανατροφοδοτείται για την επιλογή του καινούριου βιβλίου κωδικοποίησης. Πολλά συστήματα συμπίεσης μπορούν να συνδυάσουν και τις δυο παραπάνω προσεγγίσεις και να χρησιμοποιήσουν και ανατροφοδότηση και δευτερεύουσες πληροφορίες. Ένας κβαντιστής διανύσματος ανατροφοδότησης περιγράφεται ως ακολούθως:

28 Ας υποθέσουμε τώρα ότι έχουμε ένα διάστημα S του οποίου τα μέλη θα αποκαλούμε κράτη και ότι για κάθε κράτος s στο S έχουμε έναν ξεχωριστό κβαντιστή: έναν κωδικοποιητή γ s, έναν αποκωδικοποιητή β s, και ένα βιβλίο κωδικοποίησης C s. Το διάστημα καναλιού προτύπου M θεωρείται ότι είναι το ίδιο για όλους τους κβαντιστές διανύσματος. Εξετάζουμε ένα σύστημα συμπίεσης δεδομένων αποτελούμενο από μια διαδοχική μηχανή τέτοια που αν η μηχανή είναι στο κράτος κβαντιστή με κωδικοποιητή γ s και αποκωδικοποιητή s, τότε χρησιμοποιεί τον β s. Μετά επιλέγει το επόμενο κράτος του μια αποτύπωση που ονομάζεται «επόμενου κράτους συνάρτηση» ή «συνάρτηση μετάβασης κράτους» ( f ) τέτοια ώστε δεδομένου ενός κράτους σύμβολο καναλιού υ, τότε η f (, s) s και ένα υ είναι το νέο κράτος. Πιο συγκεκριμένα, δεδομένης μιας ακολουθίας εισαγόμενων διανυσμάτων { x n,... } τότε η επόμενου κράτους ακολουθία αναπαραγομένη ακολουθία υ sn = γ ( x ), xˆ = β ( υ ), ( υ ) n sn n n s n n ;,, n = και ένα αρχικό κράτος,, η συμβόλου καναλιού ακολουθία x ˆn καθορίζονται κατ' επανάληψη για s f. =, n+ n s n s υ n και η n =,,,... ως, Από τη στιγμή που το επόμενο κράτος εξαρτάται μόνο από το τρέχον κράτος και το πρότυπο καναλιού, ο αποκωδικοποιητής μπορεί να εντοπίσει ένα συγκεκριμένο κράτος αν γνωρίζει το αρχικό κράτος και την ακολουθία καναλιού. Η ελευθερία να χρησιμοποιήσουμε διαφορετικούς κβαντιστές διανύσματος βασισμένους στους προηγούμενους, χωρίς να αυξήσουμε στην αναλογία σήματος τον θόρυβο, επιτρέπει στον κώδικα να εκτελεστεί καλύτερα από έναν κβαντιστή με ελάχιστη μνήμη της ίδιας διάστασης και αναλογίας. Ένα σημαντικό μειονέκτημα όλων των κβαντιστών ανατροφοδότησης είναι ότι τα σφάλματα καναλιού μπορούν να συσσωρεύσουν και να προκαλέσουν καταστρεπτικά σφάλματα παραμόρφωσης. Τέλος, πρέπει να σημειωθεί ότι υπάρχουν τρεις αλγόριθμοι σχεδιασμού κβαντιστών διανύσματος ανατροφοδότησης χρησιμοποιώντας παραλλαγές του γενικευμένου αλγόριθμου Lloyd, ο οποίος αναλύθηκε προηγουμένως..3.5 Προσαρμοστικοί Κβαντιστές Διανύσματος Σαν κατηγορία αυτή εξετάζουμε συστήματα που χρησιμοποιούν έναν κβαντιστή διανύσματος για να προσαρμόσουν ένα βιβλίο κωδικοποίησης, το οποίο μπορεί να είναι ένας άλλος κβαντιστής διανύσματος. Εναλλακτικά, θα μπορούσε να χρησιμοποιηθεί ένα επιλεγόμενο πρότυπο για να σχεδιάσει ένα βιβλίο κωδικοποίησης. Αυτό θα αποφέρει ένα 3

29 σύστημα τυπικά πολύ μεγαλύτερης αναλογίας σήματος προς θόρυβο και άρα πολύ καλύτερης ποιότητας. Η πρώτη εφαρμογή προσαρμοστικού κβαντιστή διανύσματος προτάθηκε από τους Adoul, Debray, και Dalle [] που χρησιμοποίησαν έναν προλογέα σε έναν κυματοειδή κωδικογράφο προγνωστικής κλιμάκωσης. Η κβάντιση διανύσματος χρησιμοποιήθηκε μόνο για την προσαρμογή των διανυσμάτων κωδικοποίησης και όχι για την κυματοειδούς συνάρτησης. Μια προσαρμοστική γενίκευση αυτού του συστήματος αργότερα αναπτύχθηκε από τους Cuperman και Gersho [] που χρησιμοποίησαν μια εναλλακτική τεχνική ταξινόμησης για να διαλέξουν έναν από τους τρεις προλογείς διανυσμάτων και μετά χρησιμοποίησαν αυτούς τους προλογείς σε έναν κβαντιστή προγνωστικού διανύσματος. Οι Rebolledo [4], Adoul και Mablleau [] ανέπτυξαν διανυσματικά υπόλοιπα διεγερμένων γραμμικών προγνωστικών συστημάτων. Ένα παρόμοιο σύστημα υιοθετώντας έναν απλό δικτυωτό κωδικοποιητή για τον κυματοειδή κωδικογράφο αναπτύχθηκε από τον Stewart [5]. Και τα δυο αυτά συστήματα χρησιμοποίησαν τον βασικό αλγόριθμο για να σχεδιάσουν τον κβαντιστή διανύσματος και τους κυματοειδείς κωδικογράφους. Πολλές άλλες παραλλαγές του προσαρμοστικού κβαντιστή διανύσματος είναι δυνατές και η κατασκευή είναι πολλά υποσχόμενη για διαδικασίες όπως η επεξεργασία φωνής που εμφανίζουν τοπική σταθερότητα και βραχυπρόθεσμη στατική συμπεριφορά. Η χρήση ενός προσαρμόσιμου κβαντιστή διανύσματος είναι μια ενορατική προσέγγιση στον σχεδιασμό συστημάτων συμπίεσης. Παρόλο που η κωδικοποίηση εικόνας χρησιμοποιώντας προσαρμοστικούς κβαντιστές διανύσματος είναι ακόμα σε πρώιμα στάδια, τα παραπάνω πειράματα χρησιμοποιώντας μόνο απλές τεχνικές με ελάχιστη μνήμη και ανατροφοδότησης με μικρά βιβλία κωδικοποίησης καταδεικνύουν ότι η γενική προσέγγιση κρατά ιδιαίτερες υποσχέσεις για τέτοιες εφαρμογές. 4

30 ΚΕΦΑΛΑΙΟ Κβαντιστές Διανύσματος Βασισμένοι στην Ασαφή Λογική. Εισαγωγή στην Ασαφή Λογική Η θεωρία της ασαφούς λογικής αναπτύχθηκε από την ανάγκη να εκφράσουμε πραγματικά γεγονότα με πιο ρεαλιστικό τρόπο, χωρίς να λαμβάνουμε υπόψη διακριτούς περιορισμούς. Το βασικό δομικό στοιχείο της ασαφούς λογικής είναι το ασαφές σύνολο (Zadeh, 965) [5]. Η κύρια διαφορά μεταξύ του κλασσικού και του ασαφούς συνόλου είναι ότι η συνάρτηση συμμετοχής του πρώτου παίρνει τις τιμές ή, ενώ του δευτέρου ανήκει στο κλειστό διάστημα [, +]. Συνεπώς, η ασαφής λογική είναι μία επέκταση της κλασσικής λογικής, η οποία περιέχει δύο λογικές τιμές (αληθής και ψευδής) (Klr, 995) [3]. Η θεμελιώδης έννοια της ασαφούς λογικής είναι το ασαφές σύνολο. Η κύρια δομική διαφορά μεταξύ του ασαφούς συνόλου (fuzzy set) και του διακριτού (crsp) συνόλου είναι ο τρόπος συμμετοχής των στοιχείων τους σ αυτά (Zadeh,965) [5]. Οι ορισμοί που ακολουθούν προσδιορίζουν τις δομές των δύο συνόλων. Ορισμός.: Έστω U το πεδίο ορισμού της μεταβλητής x. Ένα διακριτό (κλασσικό) σύνολο Α ορισμένο στο U χαρακτηρίζεται από την παρακάτω συνάρτηση συμμετοχής των στοιχείων του,, αν x A μ Α ( x ) = με μ Α : U {, } (.), αλλιως & Ορισμός.: Έστω U το πεδίο ορισμού της μεταβλητής x. Ένα ασαφές σύνολο Α ορισμένο στο U χαρακτηρίζεται από την παρακάτω συνάρτηση συμμετοχής των στοιχείων του, f ( x) [, ], αν x A μ Α( x ) = με μ Α : U [, ] (.), aλλιως & Οι πιο διαδεδομένες συναρτήσεις συμμετοχής είναι η τριγωνική, η τραπεζοειδής, και η γκαουσσιανή (Klr, 995) [3], ο οποίες αναλύονται στην συνέχεια: 5

31 μ() x μ() x x a b c a b c d x ( α ) ( β) μ() x 3σ/ c () γ x Σχήμα.: Ασαφή σύνολα με: (α) τριγωνική, (β) τραπεζοειδή και (γ) γκαουσσιανή συνάρτηση συμμετοχής. Τριγωνική Συνάρτηση Συμμετοχής Η τριγωνική συνάρτηση συμμετοχής δίνεται από την παρακάτω σχέση,, αν x < a x a, αν a x < b b a μ( x) = x c, αν b x < c c b, αν x c (.3) 6

32 Όπως φαίνεται στο σχήμα.(α), το κέντρο του τριγώνου είναι το σημείο b στο οποίο αντιστοιχεί ο μέγιστος βαθμός συμμετοχής, και τα σημεία a, c είναι τα ακραία σημεία της βάσης του τριγωνικού συνόλου. Τραπεζοειδής Συνάρτηση Συμμετοχής Η τραπεζοειδής συνάρτηση συμμετοχής ορίζεται ως εξής: x a b a μ( x) = x d d c, αν x < a, αν a x < b, αν b x < c (.4), αν c x < d, αν x d Διαγραμματικά, η τραπεζοειδής συνάρτηση συμμετοχής φαίνεται στο σχήμα.(β) Γκαουσσιανή Συνάρτηση Συμμετοχής Η γκαουσσιανή συνάρτηση συμμετοχής δίνεται από την παρακάτω σχέση ( c x) μ( x ) = exp[ ] (.5) σ Το σχήμα.(γ) παρουσιάζει τη δομή της συνάρτησης συμμετοχής. Ένα από τα βασικά προβλήματα που έχουν να αντιμετωπίσουν οι αλγόριθμοι ανάλυσης συστάδων είναι η μεγάλη εξάρτηση από την επιλογή των αρχικών τιμών τόσο για τον αριθμό των συστάδων όσο και για τα αντίστοιχα κέντρα. Αν δεν επιλέξουμε προσεκτικά τις αρχικές τιμές για τις παραπάνω σχεδιαστικές παραμέτρους τότε η εφαρμογή αλγόριθμων όπως ο c-means θα οδηγήσει σε τοπικό ελάχιστο. Αυτό οφείλεται στο γεγονός ότι υπάρχει περίπτωση πολλά κέντρα συστάδων να μην κινηθούν καθόλου κατά την διάρκεια εκτέλεσης του αλγόριθμου και συνεπώς στο τέλος πολύ λίγα δεδομένα να αντιστοιχηθούν σε αυτά. Η αιτία είναι ότι οι παραπάνω αλγόριθμοι βασίζονται στην στρατηγική ο νικητής τα παίρνει όλα (wnner taes all). Η χρήση μεθόδων ασαφούς λογικής μπορεί να βοηθήσει προς αυτή τη κατεύθυνση για τους παρακάτω λόγους (Klr, 995 [3], Pedrycz, 984 [39], Pedrycz, 993 [4]): 7

33 Η ασαφής λογική παρέχει τεχνικές αξιόπιστης μοντελοποίησης της αβεβαιότητας που υπάρχει σε ένα σύνολο δεδομένων Η ασαφής λογική μπορεί να ελαχιστοποιήσει την εξάρτηση των αλγόριθμων συσταδοποίησης από την αρχικοποίηση των σχεδιαστικών της παραμέτρων γιατί βασίζεται σε πράες υπολογιστικές τεχνικές (soft computng technques), οι οποίες μειώνουν την επίδραση της στρατηγικής ο νικητής τα παίρνει όλα Η μείωση της επίδρασης της στρατηγικής ο νικητής τα παίρνει όλα οφείλεται κυρίως στο γεγονός ότι, με βάση την ασαφή λογική, τα διανυσματικά δεδομένα δεν ανήκουν μόνο σε μία συστάδα αλλά σε πολλές με διαφορετικούς βαθμούς συμμετοχής. Αυτό πρακτικά σημαίνει ότι όλα τα κέντρα θα κινηθούν (φυσικά με διαφορετικούς ρυθμούς) για να κερδίσουν δεδομένα (Bezde and Pal, 99) [7]. Άρα το τελικό αποτέλεσμα θα είναι πιο αξιόπιστο από τις κλασσικές μεθόδους ανάλυσης συστάδων. Επίσης, η χρήση ασαφούς λογικής παρέχει το πλεονέκτημα ότι μπορεί να προσδιορίσει έναν ασαφή διαμερισμό (fuzzy partton) ενός συνόλου δεδομένων σε ασαφείς συστάδες (fuzzy clusters) με αυτόματο τρόπο γιατί στηρίζεται σε αυτοδιδασκόμενους μηχανισμούς (Gustafson et al., 979) [5]. Οι μηχανισμοί αυτοί βασίζονται στην εκπλήρωση κάποιων κριτηρίων ή παραδοχών. Ο διαμερισμός (partton) που τελικά προκύπτει έχει ελεύθερη δομή, πράγμα που καθιστά την μεταχείριση της κάθε μεταβλητής πάρα πολύ εύκολη (Gomez-Sarmeta et al., 999 [5]).. Ο Αλγόριθμος των Ασαφών c-μέσων (Fuzzy c-means) Η πιο διαδεδομένη μέθοδος ασαφούς ανάλυσης συστάδων είναι ο αλγόριθμος Fuzzy c- Means (FcM) Bezde, 973) [3]. Ο αλγόριθμος αυτός είναι αντίστοιχος με τον κλασσικό c- Means που αναλύθηκε σε προηγούμενη ενότητα. Επιλύει το πρόβλημα της ελαχιστοποίησης των αποστάσεων μέσα σε μία συστάδα και της μεγιστοποίησης των αποστάσεων μεταξύ των συστάδων με βάση το παρακάτω κριτήριο βελτιστοποίησης (Bezde, 973 [3], Bezde and Pal, 99 [7]), c n m J m = ( u ) ( x v ) (.6) = = 8