Οργάνωση και διαχείριση ϐάσεων εικόνων ϐασισµένη σε τεχνικές εκµάθησης δεδοµένων πολυσχιδούς δοµής

Transcript

1 Εργαστήριο Ηλεκτρονικής Τοµέας Ηλεκτρονικής και Υπολογιστών Τµήµα Φυσικής Πανεπιστήµιο Πατρών Οργάνωση και διαχείριση ϐάσεων εικόνων ϐασισµένη σε τεχνικές εκµάθησης δεδοµένων πολυσχιδούς δοµής ιδακτορική ιατριβή Ανδρέα Μακεδόνα Φυσικού Μ..Ε. Ηλεκτρονικής Πάτρα, Σεπτέµβριος 2009

2

3 Επταµελής Εξεταστική Επιτροπή ˆ ˆ ˆ Σ. Φωτόπουλος, Καθηγητής, Τµήµα Φυσικής, Παν. Πατρών Γ. Οικονόµου, Αναπληρωτής Καθηγητής, Τµήµα Φυσικής, Παν. Πατρών Β. Αναστασόπουλος, Καθηγητής, Τµήµα Φυσικής, Παν. Πατρών ˆ Α. Σκόδρας, Καθηγητής Σχολή Θετικών Επιστηµών & Τεχνολογίας, Ελληνικό Α- νοικτό Πανεπιστήµιο ˆ ˆ Ι. Χαριτάντης, Καθηγητής, Τµήµα Φυσικής, Π αν. Πατρών Γ. Παναγιωτάκης, Καθηγητής, Τµήµα Ιατρικής Φυσικής, Παν. Πατρών ˆ Κ. Μπερµπερίδης, Καθηγητής, Τµήµα Μηχανικών Η/Υ & Πληροφορικής, Παν. Πατρών

4

5 Περιεχόµενα Περιεχόµενα Ευχαριστίες Κατάλογος Σχηµάτων Κατάλογος Πινάκων Περίληψη Preface I III V VII VIII X 1 Εισαγωγή Κίνητρο και αντικείµενο της διατριβής Γενική επισκόπηση της διατριβής ηµοσιευµένο έργο Εργασίες σε ιεθνή Περιοδικά Ανακοινώσεις σε ιεθνή Συνέδρια µε Κριτές ιάρθρωση της διατριβής Στοιχεία ϑεωρίας γράφων και ελάττωσης διαστάσεων Εισαγωγή Στοιχεία ϑεωρίας γράφων Γράφοι Ανοιγµένα έντρα (Spanning Trees) Ζευγνύοντα έντρα Ελαχίστου Μήκους (Minimal Spanning Tree, MST) Εφαρµογές της ϑεωρίας γράφων στην επεξεργασία εικόνας Το πρόβληµα της διαστατικότητας Ανάλυση κυρίαρχων συνιστωσών Πολυδιάστατη κλιµάκωση Τοπικά γραµµική ενσωµάτωση I

6 ΠΕΡΙΕΧΟΜΕΝΑ II Isomap Laplacian Eigenmaps - LE Συµπεράσµατα Οπτικοί περιγραφείς Εισαγωγή Περιγραφείς χρώµατος Περιγραφέας επικρατούντων χρωµάτων (Dominant Color Descriptor - DCD) Κλιµακωτός Περιγραφέας Χρώµατος (Scalable Color Descriptor - SCD) Περιγραφέας οµής χρώµατος (Color Structure Descriptor - CSD) Περιγραφέας ιάταξης Χρώµατος (Color Layout Descriptor - CLD) Περιγραφείς υφής Περιγραφέας οµοιογενούς υφής (Homogeneous Texture Descriptor - HTD) Περιγραφέας ιστογράµµατος ακµών (Edge Histogram Descriptor - EHD) Περιγραφείς σχήµατος Περιγραφέας σχήµατος µε ϐάση την περιοχή (Region-Based Shape Descriptor) Περιγραφέας Σχήµατος µε ϐάση το Περίγραµµα (Contour-Based Shape Descriptor) Βελτίωση της διαδικασίας ανάκτησης εικόνας µε σύνθεση διαφόρων περιγραφέων Η µέθοδος υπολογισµού της οµοιότητας Συνδυασµός των µέτρων οµοιότητας Εξαγωγή χαρακτηριστικών Πειραµατική επισκόπηση Αξιολόγηση του συστήµατος ανάκτησης Πειραµατικά αποτελέσµατα Συµπεράσµατα Ανάκτηση εικόνας µε χρήση χρωµατικών λεξικών Εισαγωγή Το λεξικό µιας ακολουθίας Ο αλγόριθµος συµπίεσης LZW Ιδιότητες του λεξικού µιας ακολουθίας Απόσταση ακολουθιών ϐασισµένη στα λεξικά τους Εφαρµογή της NDD στην ανάκτηση έγχρωµων εικόνων Μετατροπή µιας δύο διαστάσεων εικόνας σε ακολουθία µίας διάστασης 72

7 ΠΕΡΙΕΧΟΜΕΝΑ III Ενσωµάτωση της χρωµατικής πληροφορίας στην µονοδιάστατη ακολουθία Πειραµατική επισκόπηση Βάση δεδοµένων Αξιολόγηση του συστήµατος ανάκτησης Μέτρα σύγκρισης οµοιότητας εικόνας Πειραµατικά αποτελέσµατα Συµπεράσµατα Οργάνωση ϐάσεως εικόνων µε ασαφή λογική Εισαγωγή Επιλογή χαρακτηριστικών Επιλογή των πρωτοτύπων ηµιουργία του πίνακα διαχωρισµού Ο γράφος συνδεσιµότητας των πρωτοτύπων Μορφοποίηση των οµάδων Εξαγωγή οµάδων εικόνων µε χρήση Ϲευγνύοντος δέντρου ελαχίστου µήκους Εξαγωγή κυρίαρχων οµάδων Κανονικοποιηµένες τοµές Πειραµατική διαδικασία Βάση δεδοµένων Ρύθµιση των παραµέτρων Κριτήρια αξιολόγησης προτεινόµενων συστηµάτων οργάνωσης ϐάσης Πειραµατικά αποτελέσµατα Συµπεράσµατα Αντιληπτική οργάνωση ϐάσεων εικόνων Εισαγωγή Εξαγωγή οµοιότητας ϐασισµένη στη σειρά κατάταξης Αντιληπτική οργάνωση ϐάσεως εικόνων Πειραµατική διαδικασία Συµπεράσµατα Συµπεράσµατα και µελλοντικές κατευθύνσεις Συµπεράσµατα Μελλοντικές κατευθύνσεις ΒΙΒΛΙΟΓΡΑΦΙΑ 132

8

9 Ευχαριστίες Η ερευνητική εργασία που αναπτύσσεται σε αυτή τη ιδακτορική ιατριβή πραγµατοποιήθηκε στο Εργαστήριο Ηλεκτρονικής, Τµήµατος Φυσικής, Πανεπιστηµίου Πατρών. Αυτό µου πρόσφερε την ευκαιρία να συνεχίσω τις σπουδές µου σε διάφορες περιοχές της επεξεργασίας εικόνας, έναν τοµέα µε τον οποίο ασχολούµαι επισταµένως από τα πρώτα µου χρόνια στο Πανεπιστήµιο και συγκεκριµένα στο Εργαστήριο Ηλεκτρονικής. Η έρευνα στο χώρο του εργαστηρίου υπήρξε γόνιµη και ευχάριστη, λόγω της άριστης ατµόσφαιρας και του υπέροχου κλίµατος το οποίο αναπτύχθηκε κατά τη διάρκεια της εργασίας µου στο ELLAB. Η ολοκλήρωση µιας διδακτορικής διατριβής είναι συνήθως αποτέλεσµα συνεργασίας µε πολλούς επιστήµονες. Η παρούσα εργασία δεν αποτελεί εξαίρεση σε αυτόν τον κανόνα. Θα ήθελα να ευχαριστήσω ιδιαίτερα τον Καθηγητή του Εργαστηρίου Ηλεκτρονικής στο Πανεπιστήµιο Πατρών κ. Σπύρο Φωτόπουλο, ο οποίος και ήταν ο κύριος επιβλέπων της διατριβής. Η συνεχής επιστηµονική του καθοδήγηση, το αµείωτο ενδιαφέρον του και η εµπειρία του σε ϑέµατα επεξεργασίας και ανάλυσης εικόνας ήταν απαραίτητα στοιχεία για την πραγµατοποίηση της παρούσας διατριβής. Επιπλέον, η εµπιστοσύνη που µου προσέφερε και το γεγονός ότι υπήρξε πάντοτε διαθέσιµος για επιστηµονικές και προσωπικού χαρακτήρα συζητήσεις, έδρασε καταλυτικά στον τρόπο σκέψης και δράσης µου όλα αυτά τα χρόνια. Καταλυτική υπήρξε επίσης η συνεισφορά του µέλους της τριµελούς Συµβουλευτικής Επιτροπής, Αν. Καθηγητή κ. Γεωργίου Οικονόµου, µέλους του Εργαστηρίου Ηλεκτρονικής, για την αδιάκοπη συνεργασία του, τη συνεχή τροφοδότησή του µε νέες ιδέες και ερωτήµατα και τη µύηση σε ϑέµατα που άπτονται της παρούσας διατριβής. Ουσιαστική υπήρξε η συνεισφορά στην πορεία της διδακτορικής διατριβής του ερευνητή κ. Χρήστου Θεοχαράτου, καθώς και του Λέκτορα κ. Νικολάου Λάσκαρη, µέλους του Εργαστηρίου Υπολογιστικής Νοηµοσύνης και Ανάλυσης Πληροφορίας, του Τµήµατος Πληροφορικής, του Πανεπιστηµίου Θεσσαλονίκης. Η συνεργασία µαζί τους, τόσο στο χώρο του εργαστη- ϱίου, όσο και εξ αποστάσεως (στην περίπτωση του κ. Λάσκαρη, λόγω των υποχρεώσεων του στο Πανεπιστήµιο Θεσσαλονίκης) και η επιστηµονική τους κατάρτιση στα ϑέµατα που άπτονται της παρούσης εργασίας, υπήρξε σηµαντική και κρίσιµη για την πορεία υλοποίησης της διατριβής.

10 Θα ήθελα επίσης να ευχαριστήσω τον κ. ηµήτριο Μπεσύρη και κ. Αθανάσιο Ζάγου- ϱα, συναδέλφους µου και υποψήφιους διδάκτορες, για τις χρήσιµες παρατηρήσεις τους και τη σηµαντική συνεισφορά τους στην ολοκλήρωση της παρούσας διατριβής. Η ϐοήθεια που µου παρείχαν οι παραπάνω έξι άνθρωποι, η στενή συνεργασία µου µαζί τους, την οποία πάντα απολάµβανα µε ελευθερία σκέψης και έκφρασης, η τεράστια ηθική συµπα- ϱάσταση και η ϕιλική διάθεση απέναντί µου, υπήρξαν αρωγός για την εποικοδοµητική ολοκλήρωση της ερευνητικής µου εργασίας και την άρτια συγκραφή αυτής. Θα ήθελα επίσης να ευχαριστήσω τον Καθηγητή κ. Βασίλειο Αναστασόπουλο, µέλος της Τριµελούς Εξεταστικής Επιτροπής, για τις στοχευµένες παρατηρήσεις του κατά τη διάρκεια εκπόνησης της διατριβής µου. Πολλές και ειλικρινείς είναι οι ευχαριστίες µου, τόσο προς τα µέλη.ε.π. του Εργαστηρίου Ηλεκτρονικής, όσο και προς το τεχνικό και υποστηρικτικό προσωπικό του Εργαστηρίου. Μου προσέφεραν το πλέον κατάλληλο περιβάλλον για σπουδές και έρευνα. Θα ήθελα να ευχαριστήσω από καρδιάς, τους συναδέλφους µου, κ. Γ. Χριστούλα, Ν. Φραγκούλη, Β. Τσαγκάρη, Κ. Γιαννακόπουλο και κα. Α. Παναγιωτοπούλου, καθώς και όλους τους µεταπτυχιακόυς ϕοιτητές του Εργαστηρίου Ηλεκτρονικής, για τη διατήρηση ενός ευχάριστου κλίµατος συνεργασίας και τη συνεχή συµπαράσταση που µου προσέφεραν. Ευχαριστώ επίσης τους : κ. Α. Σκόδρα, Καθηγητή Σχολής Θετικών Επιστηµών & Τεχνολογίας, Ελληνικού Ανοικτού Πανεπιστηµίου, κ. Ι. Χαριτάντη, Καθηγητή Τµήµατος Φυσικής, Παν. Πατρών, κ. Γ. Παναγιωτάκη, Καθηγητή Τµήµατος Ιατρικής Φυσικής, Παν. Πατρών και κ. Κ. Μπερµπερίδη, Καθηγητή Τµήµατος Μηχανικών Η/Υ & Πληρο- ϕορικής Παν. Πατρών, οι οποίοι δέχθηκαν να συµµετάσχουν στην επταµελή εξεταστική µου επιτροπή. Θα ήθελα να εκφράσω την αµέριστη ευγνωµοσύνη µου στη ϕίλη µου Χριστίνα, για τη συνεχή συµπαράσταση που παρείχε, έστω και από µεγάλη πολλές ϕορές απόσταση, κατά τη διάρκεια της επίπονης και αδιάκοπης εκπόνησης της διατριβής µου. Κλείνοντας ϑα ήθελα να εκφράσω την ευγνωµοσύνη µου στους γονείς µου, Αντώνιο και ήµητρα για την ηθική του συµπαράσταση, την αγάπη τους και τη ϐοήθειά τους, χωρίς την οποία η διατριβή αυτή δεν ϑα είχε καταστεί δυνατή. Ευχαριστώ επίσης ολόκληρη την οικογένειά µου για τη χαρά που µου προσφέρουν όλα αυτά τα χρόνια. Ανδρέας Μακεδόνας, Πάτρα, 21 Σεπτεµβρίου 2009

11 Κατάλογος Σχηµάτων 2.1 Γεωµετρική αναπαράσταση ενός γράφου µε κόµβους V = {1, 2,..., 7} και σύνολο ακµών E = {(1, 3), (2, 5), (5, 6), (5, 7), (6, 7)} ιαδροµή, ίχνος και µονοπάτι ενός γράφου Σχηµατική αναπαράσταση ενός (α) Ϲευγνύοντος δέντρου (spanning tree) και (ϐ) Ϲευγνύοντος δέντρου ελαχίστου µήκους (minimal spanning tree, MST), για N = 10 κόµβους της ίδιας τοπολογίας Μέθοδοι µείωσης διαστατικότητας Παράδειγµα ελάττωσης διαστάσεων µε γραµµικές (MDS, PCA) και µη γραµ- µικές (ISOMAP, LLE, Laplacian Eigenmaps) µεθόδους Παράδειγµα σχηµατικής αναπαράστασης του µετασχηµατισµού PCA Σχηµατική αναπαράσταση σταδίων υλοποίησης του LLE Οπτικοί περιγραφείς του πρωτοκόλλου MP EG Εξαγωγή κύριων χρωµάτων µε τα αντίστοιχα ποσοστά παρουσίας τους στην εικόνα µε χρήση του DCD (α) Βασική µονάδα του µετασχηµατισµού Haar, (ϐ) σχηµατικό διάγραµµα δηµιουργίας του SCD ύο ισο-χρωµατικά επίπεδα µε διαφορετική δοµή χρώµατος ηµιουργία του CS ιστογράµµατος ιαδικασία εξαγωγής του περιγραφέα διάταξης χρώµατος ιάταξη συχνότητας για την εξαγωγή του περιγραφέα οµοιογενούς υφής [MSS02] ιαδικασία εξαγωγής του περιγραφέα ιστογράµµατος ακµών Παραδείγµατα σχηµάτων για τα οποία ο περιγραφέας σχήµατος µε ϐάση την περιοχή είναι εφαρµόσιµος [MSS02] Παραδείγµατα σχηµάτων για τα οποία ο περιγραφέας σχήµατος µε ϐάση το περίγραµµα είναι εφαρµόσιµος [MSS02] ηµιουργία του Ϲευγνύοντος δέντρου ελαχίστου µήκους και υπολογισµός της στατιστικής παραµέτρου R για εικόνες οι οποίες προέρχονται από (α) ίδιες και (ϐ) διαφορετικές κατηγορίες VII

12 ΚΑΤΑΛΟΓΟΣ ΣΧΗΜΑΤΩΝ VIII 3.12 ιάγραµµα ακρίβειας (precision) ως προς την αντίστοιχη ανάκληση (recall) για το προτεινόµενο µέτρο οµοιότητας, µαζί µε τα µέτρα οµοιότητας που υπολογίζονται για κάθε περιγραφέα χωριστά, για τα ίδια σύνολα χαρακτη- ϱιστικών χρώµατος και υφής ιαδικασία συµπίεσης µιας ακολουθίας µε χρήση του LZD αλγορίθµου συµπίεσης ιαδικασία αποσυµπίεσης µιας ακολουθίας µε χρήση του LZD αλγορίθµου συµπίεσης Αναπαράσταση των λεξικών SD(x) και SD(y) δύο ακολουθιών x και y αντίστοιχα µε την κοινή περιοχή να αποτελεί το κοινό λεξικό SD(x y) των δύο ακολουθιών Μετατροπή µιας εικόνας σε µονοδιάστατη ακολουθία Κατακερµατισµός του RGBχώρου σε (α) 8 και (ϐ) 64 κύβους Αναπαράσταση της κβάντωσης της αρχικής εικόνας (α) σε 8 επίπεδα (ϐ) και σε 64 επίπεδα (ϐ) Αποτελέσµατα ακρίβειας ανάκτησης σε συνάρτηση µε το µέγεθος της εικόνας για τις 10 πρώτες ανακτηθείσες εικόνες. Το λεξικότης κάθε ακολουθίας του συνόλου των εικόνων, δηµιουργήθηκε µε χρήση 8 χρωµατικών χαρακτήρων Αποτελέσµατα ακρίβειας ανάκτησης σε συνάρτηση µε το µέγεθος της εικόνας για τις 10 πρώτες ανακτηθείσες εικόνες. Το λεξικότης κάθε ακολουθίας του συνόλου των εικόνων, δηµιουργήθηκε µε χρήση 16 χρωµατικών χαρακτήρων Αποτελέσµατα ακρίβειας ανάκτησης σε συνάρτηση µε το πλήθος των σταθ- µών κβάντισης της κάθε εικόνας για τις 10 πρώτες ανακτηθείσες εικόνες. Η ενσωµάτωση των χρωµάτων για τη δηµιουργία των λέξεων πραγµατοποιή- ϑηκε στον HMMD χρωµατικό χώρο Σύγκριση των αποτελεσµάτων ακρίβειας των χρησιµοποιούµενων µεθοδολογιών ϐάση του διαγράµµατος ακρίβειας σε σχέση µε την αντίστοιχη ανάκλησης για τις διάφορες προσεγγίσεις οµή του συστήµατος οργάνωσης ϐάσεως εικόνων Παράδειγµα εξαγωγής πρωτοτύπων από δύο οµάδες διαφορετικής δοµής. Τα πρωτότυπα έχουν εξαχθεί (α) µε χρήση της τεχνικής της ϱώσικης ϱουλέτας και (ϐ) µε χρήση του αλγορίθµου FCM (α) Απεικόνιση του πίνακα διαχωρισµού U, (ϐ) τιµές συµµετοχής που συνδέονται µε ένα τυχαίο στοιχείο της ϐάσης δεδοµένων (δηλαδή, µια στήλη του πίνακα διαχωρισµού) Αναπαράσταση του πίνακα συνδεσιµότητας CM (α) και του τροποποιηµένου πίνακα συνδεσιµότητας CM (ϐ)

13 ΚΑΤΑΛΟΓΟΣ ΣΧΗΜΑΤΩΝ IX 5.5 (α) αναπαράσταση του πλήρη γράφου όπως αυτός προκύπτει από τη χρήση του Ϲευγνύοντος δέντρου ελαχίστου µήκους στον R 2, (ϐ) ταξινοµιµένες τιµές των ϐαρών των ακµών που συνιστούν τον γράφο, (γ) εξαγωγή υπογράφων µε τη διαγραφή των ασθενέστερων ακµών, (δ) ένωση ολόκληρης της ϐάσης µε τα επιλεγµένα πρωτότυπα Υπολογισµός της τιµής της στατιστικής του Hubert για διάφορες τιµές του κατωφλίου τ Αποτελέσµατα οµαδοποίησης των τυχαία επιλεγµένων πρωτοτύπων µε ε- ϕαρµογή της µεθόδου των κυρίαρχων οµάδων στον πίνακα ένωσης τους Παράδειγµα σχηµατισµού διανύσµατος σειράς κατάταξης οµοιότητας Οπτικοποίηση των πρωτοτύπων στο επίπεδο Σειρά κατάταξης των τυχαίως επιλεγµένων πρωτοτύπων Αναπαράσταση αντιληπτικής οργάνωσης µιας συλλογής εικόνων στο επίπεδο των δύο διαστάσεων

14

15 Κατάλογος Πινάκων 3.1 Τιµές της κανονικοποιηµένης τροποποιηµένης τάξης ανάκτησης (N M RR) για διάφορες εικόνες, όπως προκύπτουν από τον υπολογισµό της στατιστική παράµετρο R για τους περιγραφείς DCD, EHD, καθώς και τον συνδυασµό τους Μήτρα σύγχυσης (οµάδα οµάδα) των σωστά/λανθασµένα κατηγοριοποιηµένων εικόνων χρησιµοποιώντας ως χαρακτηριστικό το ιστόγραµµα 24 σταθµών στον HSV χρωµατικό χώρο, 70 τυχαία επιλεγµένες εικόνες ως πρωτότυπα και κατακερµατισµό του παραγόµενου M ST για το σχηµατισµό των οµάδων Μήτρα σύγχυσης (οµάδα οµάδα) των σωστά/λανθασµένα κατηγοριοποιηµένων εικόνων χρησιµοποιώντας ως χαρακτηριστικό το ιστόγραµµα 24 σταθµών στον HSV χρωµατικό χώρο, 70 τυχαία επιλεγµένες εικόνες ως πρωτότυπα και χρήση του k means αλγορίθµου για το σχηµατισµό των οµάδων Μήτρα σύγχυσης (οµάδα οµάδα) των σωστά/λανθασµένα κατηγοριοποιηµένων εικόνων χρησιµοποιώντας ως χαρακτηριστικό το ιστόγραµµα 24 σταθµών στον HSV χρωµατικό χώρο, 70 τυχαία επιλεγµένες εικόνες ως πρωτότυπα και χρήση του F CM αλγορίθµου για το σχηµατισµό των οµάδων Μήτρα σύγχυσης (οµάδα οµάδα) των σωστά/λανθασµένα κατηγοριοποιη- µένων εικόνων χρησιµοποιώντας το λεξικό ως το επιλεγµένο χαρακτηριστικό, 75 τυχαία επιλεγµένες εικόνες ως πρωτότυπα και τα κυρίαρχα σύνολα ως την επιλεγµένη µέθοδο οµαδοποίησης Μήτρα σύγχυσης (οµάδα οµάδα) των σωστά/λανθασµένα κατηγοριοποιη- µένων εικόνων χρησιµοποιώντας ιστόγραµµα 16 σταθµών στον HSC χρω- µατικό χώρο, 75 τυχαία επιλεγµένες εικόνες ως πρωτότυπα και τα κυρίαρχα σύνολα ως την επιλεγµένη µέθοδο οµαδοποίησης XI

16 ΚΑΤΑΛΟΓΟΣ ΠΙΝΑΚΩΝ XII 5.6 Μήτρα σύγχυσης (οµάδα οµάδα) των σωστά/λανθασµένα κατηγοριοποιη- µένων εικόνων χρησιµοποιώντας το λεξικό ως το επιλεγµένο χαρακτηριστικό, και τα κυρίαρχα σύνολα ως την επιλεγµένη µέθοδο οµαδοποίησης µε εφαρµογή σε ολόκληρη τη ϐάση Μήτρα σύγχυσης (οµάδα οµάδα) των σωστά/λανθασµένα κατηγοριοποιη- µένων εικόνων χρησιµοποιώντας το λεξικό ως το επιλεγµένο χαρακτηριστικό, 75 τυχαία επιλεγµένες εικόνες ως πρωτότυπα και τις κανονικοποιηµένες τοµές ως την επιλεγµένη µέθοδο οµαδοποίησης Μήτρα σύγχυσης (οµάδα οµάδα) των σωστά/λανθασµένα κατηγοριοποιη- µένων εικόνων χρησιµοποιώντας το λεξικό ως το επιλεγµένο χαρακτηριστικό, 75 τυχαία επιλεγµένες εικόνες ως πρωτότυπα και τα κυρίαρχα σύνολα ως την επιλεγµένη µέθοδο οµαδοποίησης µε εφαρµογή στον πίνακα οµοιότητας των επιλεγµένων πρωτοτύπων

17 Περίληψη Το ερευνητικό αντικείµενο της συγκεκριµένης διατριβής αναφέρεται στην επεξεργασία έγχρωµης εικόνας µε χρήση της ϑεωρίας γράφων, την ανάκτηση εικόνας καθώς και την οργάνωση / διαχείριση ϐάσεων δεδοµένων µε µεθόδους γραφηµάτων και αναγνώρισης προτύπων, µε εφαρµογή σε πολυµέσα. Τα συγκεκριµένα προβλήµατα προσεγγίστηκαν διατηρώντας τη γενικότητά τους και επιλύθηκαν µε ϐάση τα ακόλουθα σηµεία : ˆ Ανάπτυξη τεχνικών για την επιλογή χαρακτηριστικών από τις εικόνες ϐάσει χαρακτηριστικών χαµηλού επιπέδου (χρώµατος και υφής), για χρήση τους σε εφαρµογές οµοιότητας και ανάκτησης εικόνας. ˆ Υπολογισµός µετρικών και αποστάσεων στο χώρο των χαρακτηριστικών. ˆ ˆ Μελέτη της πολυσχιδούς δοµής των εικόνων µιας ϐάσης στο χώρο των χαρακτηριστικών. Ελάττωση της διάστασης του χώρου και παραγωγή αναπαραστάσεων δύο διαστάσεων. ˆ Εφαρµογή των µεθόδων αυτών σε υποκειµενικές αποστάσεις εικόνων. Η ϑεωρία γράφων και οι µέθοδοι αναγνώρισης προτύπων χρησιµοποιήθηκαν προκειµένου να παρουσιαστούν ϐέλτιστες λύσεις αφενός στο πρόβληµα της ανάκτησης εικόνων από ϐάσεις δεδοµένων και αφετέρου στην οργάνωση και διαχείριση τέτοιων ϐάσεων εικόνων. Η διατριβή ϕέρνει πιο κοντά την επεξεργασία εικόνας µε µεθόδους προερχόµενες από τη ϑεωρία γραφηµάτων, τη στατιστική και την αναγνώριση προτύπων. Σε όλη τη διάρκεια της διατριβής, ιδιαίτερη έµφαση δόθηκε στο Ϲήτηµα της εύρεσης του κατάλληλου συνδυασµού µεταξύ της αποτελεσµατικότητας των συστηµάτων και της αποδοτικότητας στα πλαίσια της εφαρµογής των προτεινόµενων αλγοριθµικών διαδικασιών. Τα αναλυτικά πειραµατικά αποτελέσµατα που πραγµατοποιήθηκαν, αποδεικνύουν την ϐελτιωµένη απόδοση των προτεινόµενων µεθοδολογιών. Τέλος προτείνονται µελλοντικές κατευθύνσεις για περαιτέρω έρευνα στα αντικείµενα που διαπραγµατεύεται η παρούσα διατριβή. XIII

18

19 Preface The subject of this doctoral thesis is related to color image processing using graph theoretic methods, image retrieval and image database management and organization in the reduced feature space, using pattern recognition analysis, with multimedia applications. The author attempted to approach the thesis subject by retaining its genericness and addressing the following points: ˆ Development of techniques for extraction of image visual attributes based on low level features (color and texture information), to be used for image similarity and retrieval practices. ˆ ˆ ˆ ˆ Calculation of metrics and distances in the feature space. Study of the image manifolds created in the selected feature space. Application of dimensionality reduction techniques and production of biplots. Application of the proposed methodologies using perceptual image distances. Graph theory and pattern recognition methodologies were incorporated in order to provide novel solution to color image retrieval of image databases, as well as to image database management and organization. The current thesis brings closer image processing with graph theoretic methodologies, statistical analysis and pattern recognition. Throughout the thesis, consideration has been taken for finding the best trade off between effectiveness and efficiency when applying the proposed algorithmic procedures. The extended experimental results carried out in all stages of the projected studies reveal the enhanced performance of the proposed methodologies. Finally, future direction are given for further exploitation of the current work. XV

20

21 Κεφάλαιο 1 Εισαγωγή 1.1 Κίνητρο και αντικείµενο της διατριβής Ο µεγάλος όγκος των εικόνων που δηµιουργούνται και διακινούνται σε ιαδίκτυο, Βιβλιοθήκες, κινητά τηλέφωνα και οποιοδήποτε άλλο δυνατό µέσο, απαιτούν εµπεριστατωµένη διαχείριση που να ϐασίζεται στο περιεχόµενο κυρίως και όχι µόνο σε δείκτες ή κείµενο που ταξινοµεί, περιγράφει ή κατατάσσει τις εικόνες σε οµάδες. Ως αποτέλεσµα, έχει ανακύψει η ανάγκη δηµιουργίας τέτοιων εργαλείων, ώστε να µπορεί να καταστεί δυνατή η ανάδειξη της χρήσιµης πληροφορίας µέσα από τον υπερ- µεγέθη όγκο των υπό επεξεργασία δεδοµένων, στην προσπάθεια διαχείρισης µεγάλων ϐάσεων εικόνων ή απεικόνισης πολύπλοκων δοµών και κατηγοριών δεδοµένων. Η ανάγκη αυτή έχει καταγραφεί στο διεθνή ακαδηµαϊκό και τεχνολογικό χώρο µε δηµοσίευση µεγάλου όγκου εργασιών σε συνέδρια και περιοδικά που αναφέρονται σε όλες τις διαδικασίες διαχείρισης εικόνας : ανάκτηση ϐάσει του περιεχοµένου, ταξινόµηση, καταχώρηση (ή/και σύγκριση), σχολιασµός (Content Based Image Retrieval CBIR, indexing, registration, annotation)[sws + 00], [LZLM07], [DJLW08]. Πολλές από τις διαδικασίες αυτές ϐασίζονται σε µέτρα οµοιότητας εικόνων. Συγκεκρι- µένα χαρακτηριστικά, προσφιλή στο χώρο της επεξεργασίας εικόνας (π.χ. ιστόγραµµα), εξάγονται από όλες τις εικόνες και µε τη χρήση τους προσδιορίζεται ο σχετικός ϐαθµός 1

22 ΚΕΦΑΛΑΙΟ 1. ΕΙΣΑΓΩΓΗ 2 οµοιότητας. Για µερικά από τα παραπάνω ϑέµατα διαχείρισης όπως είναι το CBIR έχει παραχθεί και υπάρχει στην αγορά διαθέσιµο λογισµικό (π.χ. QBIC[NBE + 93], Photobook[PPS94], Virage[BFG + 96], VisualSEEK[SC96], NETRA[MM97]) χωρίς αυτό να συνεπάγεται ότι το ϑέµα έχει εξαντληθεί και δεν υπάρχει πεδίο περαιτέρω έρευνας. Ιδιαιτέρως έχει επισηµανθεί η δυσκολία της µετάφρασης µιας αναζήτησης σε µετρική µέσω της οποίας ϑα γίνει ανάσυρση εικόνων µε συγκεκριµένο εννοιολογικό περιεχόµενο. Το πρόβληµα έγκειται στη διαφορά ανάµεσα στην low-level αναπαράσταση της πληροφορίας από τον υπολογιστή µέσω των εξαγόµενων χαρακτηριστικών από κάθε εικόνα και στην αντίστοιχη high-level αναπαράσταση της πληροφορίας από το χρήστη. Η πρώτη είναι µηχανιστική και συνεπώς µονοσήµαντα ορισµένη για την εικόνα, ενώ η δεύτερη είναι προσαρµοζό- µενη και εξαρτάται από υποκειµενικούς παραµέτρους πέρα από την ίδια την εικόνα. Μια πρώτη προσπάθεια προσέγγισης των δύο αναπαραστάσεων επιχειρείται µέσω διαδικασιών ανατροφοδότησης (relevance feedback)[zh02], όπου τροποποιείται η σχετική ϐαρύτητα των επιµέρους χαρακτηριστικών στον υπολογισµό της οµοιότητας[rhom98], [SZLM03], [KC03]. Το έργο αυτό για το παραπάνω πρόβληµα ανακαλεί και χρησιµοποιεί µη γραµµικές τεχνικές και ακολουθεί τις µεθόδους που ϐασίζονται στην εκµάθηση της δοµής ή καλύτερα τις δεσµευµένες υπερεπιφάνειες. Αυτό ϕέρεται µε την ονοµασία Data manifold learning και αποτελεί ερευνητικό πεδίο έντονης δραστηριότητας[sl00], [FRPM01], [RS00], [TdSL00], [SR03], [BN03], [ZWG + 03]. Τα ερευνητικά αντικείµενα που αναφέρθηκαν παραπάνω, δηλαδή η ανάλυση πολυδιάστατων δεδοµένων, η εξαγωγή χρήσιµης πληροφορίας από δεδοµένα έγχρωµων εικόνων µε ϐάση το περιεχόµενο και ο συνδυασµός τεχνικών προκειµένου να µεγιστοποιηθεί η πληροφορία αυτή, η δηµιουργία αυτόµατων τεχνικών για το χειρισµό του αυξανόµενου όγκου ψηφιακών δεδοµένων εικόνων, η δηµιουργία τεχνικών εκµάθησης δεδοµένων για την διερεύνηση και ανακάλυψη της δοµής ϐάσεων εικόνων, η αποτελεσµατική οργάνωση µιας ϐάσης δεδοµένων µε εικόνες για εύκολη περιήγηση και αναζήτηση του περιεχοµένου, όπως επίσης και η ορθή οπτικοποίηση των δεδοµένων, µε παράλληλη κατηγο- ϱιοποίησή τους σε οµάδες, αποτελούν κίνητρα της παρούσας διατριβής. Προκειµένου

23 ΚΕΦΑΛΑΙΟ 1. ΕΙΣΑΓΩΓΗ 3 να επιλυθούν τα διαφορετικά ερωτήµατα, χρησιµοποιήθηκαν τεχνικές και εργαλεία της αναγνώρισης προτύπων[dhs01] και της ϑεωρίας γράφων[die00]. 1.2 Γενική επισκόπηση της διατριβής Στην παρούσα διδακτορική διατριβή περιγράφονται µέθοδοι ανάκτησης εικόνας ϐάσει του περιεχοµένου και υπολογισµού της οµοιότητάς τους, καθώς και µέθοδοι οργάνωσης, οπτικοποίησης και διαχείρισης ϐάσεων εικόνων. Παρουσιάζεται µάλιστα ένας πρωτότυπος τρόπος για τον υπολογισµό της απόστασης ανάµεσα σε έγχρωµες εικόνες ϐασισµένη σε χαρακτηριστικά λεξικά που εξάγονται και περιγράφουν τις υπό εξέταση εικόνες, ένα σύνολο εργαλείων για την αποδοτική εξαγωγή χαρακτηριστικών στο επίπεδο της εικόνας και µια έξυπνη µεθοδολογία γεωµετρικής ανάλυσης για την οργάνωση, αποτύπωση και διαχείριση ϐάσεων εικόνων. Πιο συγκεκριµένα, διερευνώνται τα ακόλουθα ερωτήµατα : ˆ Πώς µπορούµε να ταξινοµήσουµε αποτελεσµατικότερα πολυδιάστατα δεδοµένα; ˆ Ποια χαρακτηριστικά περιγράφουν ικανοποιητικά το περιεχόµενο µιας εικόνας; ˆ Πώς µπορούµε να υπολογίσουµε την απόσταση (ανοµοιότητα) µεταξύ των συνόλων των χαρακτηριστικών που έχουν εξαχθεί από κάθε εικόνα; ˆ Πώς µπορούµε να συνδυάσουµε τα διάφορα χαρακτηριστικά που εξάγονται από µια εικόνα, για τον υπολογισµό µιας σύνθετης απόστασης που να εκφράζει τον συνδυασµό τους; ˆ Πώς µπορούµε να απεικονίσουµε τα αποτελέσµατα µιας αναζήτησης µε αποτελεσµατικό τρόπο; ˆ Πώς µπορούµε να οργανώσουµε µε έξυπνο τρόπο µια ετερογενή ϐάση εικόνων; Στην παρούσα διατριβή, το ενδιαφέρον επικεντρώνεται κυρίως στο χρωµατικό πε- ϱιεχόµενο των εικόνων, αλλά και στην πληροφορία υφής που περιέχεται σε αυτές. Η

24 ΚΕΦΑΛΑΙΟ 1. ΕΙΣΑΓΩΓΗ 4 συνολική κατανοµή των χρωµάτων µέσα σε µία εικόνα, όπως επίσης και ο τρόπος µε τον οποίο τα χρώµατα εναλλάσσονται σε αυτήν, συνεισφέρει στη γενική κατανόηση του περιεχοµένου της εικόνας και αποτελεί ένα χρήσιµο στοιχείο για τον χαρακτηρισµό της. Ενώ το χρώµα είναι µια ιδιότητα των εικονοστοιχείων ξεχωριστά, η εξαγωγή της χωρικής κατανοµής των χρωµάτων, καθώς και η εναλλαγές τους στο επίπεδο της εικόνας δίνει σαφώς καλύτερη πληροφόρηση για το περιεχόµενο των υπό εξέταση εικόνων. Η επιλογή και εξαγωγή των καταλληλότερων χαρακτηριστικών έχει να κάνει µε τη σηµασιολογική τους ϐαρύτητα, την ανεξαρτησία και την αποδοτικότητά τους. Τα χαρακτηριστικά πρέπει να αναπαρίστανται µε τρόπο ώστε να αντανακλούν την αναγνώριση της οµοιότητας των εικόνων από οποιονδήποτε χρήστη. Ταυτόχρονα, το σύνολο των χαρακτηριστικών που εξάγονται πρέπει να είναι όσο το δυνατόν πιο περιεκτικά, εµπεριέχοντας το µεγαλύτερο ποσοστό της παρεχόµενης πληροφορίας και σχετικά λίγα το πλήθος, ώστε να µπορούν να διαχειριστούν µε ευκολία. Ο ορισµός ενός µέτρου ανοµοιότητας µεταξύ των συνόλων των χαρακτηριστικών µιας οµάδας εικόνων, απαιτεί µια αντίληψη της απόστασης ανάµεσα στα εξαγόµενα χαρακτη- ϱιστικά που περιγράφουν τις εικόνες. Στη διατριβή αυτή, ορίζεται µια µετρική, η οποία υπολογίζει την απόσταση (ανοµοιότητα) ανάµεσα σε σύνολα ακολουθιών χρωµάτων που εξάγονται από κάθε εικόνα. Επειτα από την αποτελεσµατική σύγκριση των αντίστοιχων χαρακτηριστικών, αν οι εικόνες µιας ϐάσης µπορούν να τοποθετηθούν στον χώρο έτσι ώστε να αντανακλούν τις µεταξύ τους διαφορές ή οµοιότητές τους, η αναζήτηση στη ϐάση µέσω περιήγησης στο χώρο µπορεί να αποδειχθεί πραγµατικά διαισθητικά εποικοδοµητική. Στην πραγµατικότητα, η ϐάση εικόνων µπορεί πλέον να χαρακτηριστεί από µια µετρική δοµή και µπορεί να εξερευνηθεί µε τρόπο συνεχή και αντιληπτά περιεκτικό. Αν λοιπόν επιτευχθεί η σωστή οργάνωση της ϐάσης σε ένα χώρο χαµηλότερης διάστασης (συνήθως δύο ή τριών διαστάσεων), είναι εφικτό πλέον να απεικονισθούν τα αποτελέσµατα µιας αναζήτησης µε διαισθητικό τρόπο και όχι µε µορφή ταξινοµηµένης λίστας.

25 ΚΕΦΑΛΑΙΟ 1. ΕΙΣΑΓΩΓΗ ηµοσιευµένο έργο Ακολουθεί κατάλογος των δηµοσιεύσεων που προέκυψαν κατά της υλοποίηση της διατριβής Εργασίες σε ιεθνή Περιοδικά ˆ D. Besiris, A. Makedonas, G. Economou and S. Fotopoulos, Combining graph connectivity and dominant set clustering for video summarization, Journal of Multimedia Tools and Applications, vol.44, pp , ˆ A. Makedonas, D. Besiris, G. Economou and S. Fotopoulos, Dictionary based color image retrieval, Journal of Visual Communication and Image Representation, vol. 19, no. 7, pp , ˆ A. Makedonas, D. Besiris, Ch. Theoharatos, G. Economou and S. Fotopoulos, An unsupervised graph based approach for image database organization, submitted to Journal of Image and Vision Computing. ˆ D. Besiris, A. Zagouras, A. Makedonas, M. Vemis and G. Economou, Edge Detection Using Hubert s Statistical Analysis, submitted to Journal of Pattern Analysis and Applications Ανακοινώσεις σε ιεθνή Συνέδρια µε Κριτές ˆ A. Makedonas, A. Zagouras, D. Besiris, and S. Fotopoulos, Perceptual Organization of Image Database Using Rank Order Similarity and visualization techniques, 1st PanHellenic Conference on Electronics and Telecommunications, Patras, Greece 2009 (PACET2009).

26 ΚΕΦΑΛΑΙΟ 1. ΕΙΣΑΓΩΓΗ 6 ˆ A. Makedonas, D. Besiris, G. Economou and S. Fotopoulos, Image database organization based on membership values and connectivity graph, 15th International Conference on Systems, Signals and Image Processing, IWSSIP 2008, Bratislava, Slovak Republic, June ˆ A. Zagouras, G. Economou, A. Makedonas, and S. Fotopoulos, An application study of manifold learning - ranking techniques in face recognition, IEEE 9th Workshop on Multimedia Signal Processing, Crete 2007 (MMSP 2007), pp ˆ A. Makedonas, S. Fotopoulos, and G. Economou, Improvement of image retrieval by fusing different descriptors, 8th International Workshop on Image Analysis for Multimedia Interactive Services, Santorini 2007, (WIAMIS 2007), pp ιάρθρωση της διατριβής Το κεφάλαιο 2 περιέχει το ϑεωρητικό κοµµάτι της διατριβής που αφορά σε στοιχεία ϑεωρίας γράφων και αναγνώρισης προτύπων. Αφενός µεν, παρουσιάζονται κάποιες εισαγωγικές έννοιες των γράφων και ειδικότερα το M ST, αφετέρου δε, παρουσιάζονται έννοιες της ελάττωσης των διαστάσεων του χώρου. Στο κεφάλαιο 3 παρουσιάζονται µερικοί από τους σηµαντικότερους οπτικούς περιγραφείς, όπως αυτοί έχουν τυποποιηθεί από το πρότυπο MP EG 7, καθώς και µια διαδικασία συνδυασµού των περιγραφέων για τον καλύτερο προσδιορισµό της απόστασης µεταξύ δύο εικόνων. Ο αλγόριθµος στηρίζεται στην ιδιότητα που έχει το M ST να αναδεικνύει το σκελετό σε πολυδιάστατες κατανοµές, από τον οποίο προκύπτει η αναγνώριση παρόµοιων κλάσεων. Στο κεφάλαιο 4 παρουσιάζεται µια µέθοδος δεικτοδότησης και ανάκτησης εικόνων α- πό ϐάσεις δεδοµένων µε ϐάση τη χρωµατικά λεξικά που εξάγονται από κάθε µια. Εισάγεται µια καινούρια µετρική, η οποία υπολογίζει την οµοιότητα των λέξεων που απαρτίζουν τα λεξικά των εικόνων.

27 ΚΕΦΑΛΑΙΟ 1. ΕΙΣΑΓΩΓΗ 7 Στο κεφάλαιο 5 προτείνεται µια µεθοδολογία οργάνωσης και απεικόνισης ϐάσεων δεδοµένων εικόνων, µε χρήση ϑεωρίας γράφων, επιλογή χαρακτηριστικών αντιπροσώπων της ϐάσης και χρήση τους για την οργάνωση της υπόλοιπης ϐάσης. Το κεφάλαιο 6 περιλαµβάνει µια µέθοδο οργάνωσης ϐάσεων εικόνων ϐασισµένη στην ανθρώπινη αντίληψη. Γίνεται χρήση γεωµετρικών τεχνικών ελάττωσης των διαστάσεων του χώρου και εισαγωγή των εικόνων στον ελαττωµένο χώρο των χαρακτηριστικών. Τέλος, το κεφάλαιο 7 περιλαµβάνει γενικά συµπεράσµατα και προτάσεις για περαιτέρω έρευνα και επέκταση των τεχνικών που υλοποιήθηκαν.

28

29 Κεφάλαιο 2 Στοιχεία ϑεωρίας γράφων και ελάττωσης διαστάσεων 2.1 Εισαγωγή Σκοπός της παρούσης διατριβής είναι η οργάνωση και διαχείριση ϐάσεων εικόνας µε χρήση µεθοδολογιών δανεισµένων από τη ϑεωρία των γράφων[die00] και τεχνικών αναγνώρισης προτύπων [DHS01]. Στα πλαίσια αυτά, ϑα εφαρµοστούν µέθοδοι δεικτοδότησης (indexing ) και ανάκτησης (retrieval) εικόνων από µεγάλες ϐάσεις δεδοµένων, καθώς επίσης και µέθοδοι για την οργάνωση και την διαχείριση των ϐάσεων αυτών. Οι τεχνικές αυτές αφορούν πολυµεσικές εφαρµογές και είναι πλέον ευρύτατα διαδεδοµένες και ενσωµατωµένες σε σύγχρονα πρότυπα, όπως αυτό του MPEG-7[MSS02]. Στο κεφάλαιο αυτό επιχειρείται µια εισαγωγή στις κυριότερες έννοιες που έχουν σχέση µε τη ϑεωρία γράφων [Die00]και σε τεχνικές αναγνώρισης προτύπων [DHS01]που ϑα χρησιµοποιηθούν κατά τη διάρκεια της διατριβής. Οι µεθοδολογίες αυτές αποτελούν το ϐασικό ϑεωρητικό υπόβαθρο που απαιτείται για να κατανοηθούν οι µέθοδοι που αναπτύσσονται στα κεφάλαια που ακολουθούν. Αρχικά, γίνεται µια σύντοµη εισαγωγή στις έννοιες και τα είδη των γράφων, καθώς και στη χρήση αυτών σε εφαρµογές επεξεργασίας 9

30 ΚΕΦΑΛΑΙΟ 2. ΣΤΟΙΧΕΙΑ ΘΕΩΡΙΑΣ ΓΡΑΦΩΝ ΚΑΙ ΕΛΑΤΤΩΣΗΣ ΙΑΣΤΑΣΕΩΝ 10 εικόνας. Ιδιαίτερη αναφορά γίνεται για το Ϲευγνύων δέντρο ελαχίστου µήκους (minimal spanning tree - MST). Επειτα παρουσιάζονται σύντοµα ορισµένες ϐασικές έννοιες της αναγνώρισης προτύπων, όπως µέθοδοι και αλγόριθµοι ελάττωσης διαστάσεων του χώρου των χαρακτηριστικών (πολυδιάστατη κλιµάκωση, ανάλυση κύριων συνιστωσών, κ.λπ.), µε παράλληλη αναφορά στα διάφορα πεδία εφαρµογής των τεχνικών αυτών στο χώρο της επεξεργασίας και διαχείρισης εικόνας. 2.2 Στοιχεία ϑεωρίας γράφων Στην ενότητα αυτή γίνεται µια σύντοµη παρουσίαση µερικών ϐασικών εννοιών της ϑεωρίας των γράφων που χρησιµοποιούνται στα πλαίσια της παρούσας διατριβής. Αρχικά, παρουσιάζεται µε συντοµία µια περίληψη των πιο ϐασικών ορισµών της ϑεωρίας των γράφων. Για το σκοπό αυτό ορίζεται µε N το σύνολο των ϕυσικών αριθµών (συµπεριλαµβανο- µένου και του µηδενός). Ενα σύνολο A = {A 1,..., A k } µη ενωµένων υποσυνόλων ενός συνόλου A, αποτελεί µια υποδιαίρεση (κατάτµηση) του A αν A = k i=1 A i και A i 0 για κάθε i. Επιπλέον, ορίζουµε µε [A] k το σύνολο όλων των k στοιχείων, τα οποία αποτελούν υποσύνολα του A. Τα σύνολα εκείνα που περιέχουν k στοιχεία ϑα ονοµάζονται k σύνολα και µε παρόµοιο τρόπο, τα υποσύνολα εκείνα που περιέχουν k στοιχεία ϑα καλούνται k υποσύνολα Γράφοι Ο γράφος (graph) αποτελεί µια µαθηµατικών οντότητα, ένα Ϲεύγος G = (V, E) από σύνολα, τα οποία ικανοποιούν τη συνθήκη E [V ] 2 (τα στοιχεία του E είναι υποσύνολα 2-στοιχείων του V ). Τα στοιχεία που αποτελούν το σύνολο V = {V i } i=1:n καλούνται κορυφές (vetrices) ή κόµβοι (nodes) ή σηµεία (points) ενός γράφου G, ενώ τα στοιχεία του συνόλου E = {E ij } i j αποτελούν τις ακµές (edges) ή τις γραµµές (lines) του.

31 ΚΕΦΑΛΑΙΟ 2. ΣΤΟΙΧΕΙΑ ΘΕΩΡΙΑΣ ΓΡΑΦΩΝ ΚΑΙ ΕΛΑΤΤΩΣΗΣ ΙΑΣΤΑΣΕΩΝ 11 Ο συνήθης τρόπος αναπαράστασης ενός γράφουείναι µέσω της σχεδίασης µιας κουκίδας για κάθε κόµβοκαι την ένωση δύο εξ αυτών µε µια γραµµή, αν ϐεβαίως οι αντίστοιχοι κόµβοι συνιστούν µια ακµή όπως ϕαίνεται στο Σχ Σχήµα 2.1: Γεωµετρική αναπαράσταση ενός γράφου µε κόµβους V = {1, 2,..., 7} και σύνολο ακµών E = {(1, 3), (2, 5), (5, 6), (5, 7), (6, 7)}. Συνεπώς, σε ένα γράφο, κάθε ακµή ενώνει δύο κόµβους, οι οποίοι καλούνται πέρατα ή άκρα (endpoints)της συγκεκριµένης ακµής. Ορίζοντας τους κόµβους µε τους αριθ- µούς 1, 2,..., m, οι ακµές µπορούν να οριστούν ως e 1, e 2,..., e n ή να αναπαρασταθούν ως διατεταγµένα Ϲεύγη των άκρων τους. Για παράδειγµα, όπως ϕαίνεται στο Σχ. 2.1 (1, 3), (2, 5), (5, 6), (5, 7) και (6, 7). Ο ϐαθµός (degree) ενός κόµβου v ισούται µε τον α- ϱιθµό των ακµών που εµπίπτουν σε αυτόν. Οπως ϕαίνεται στο Σχ. 2.1 ο ϐαθµός των κόµβων 1, 2 και 3 ισούται µε ένα (1), των κόµβων 6 και 7 µε δύο (2), του κόµβου 5 µε τρία (3), ενώ του κόµβου 4 µε µηδέν (0). Ο τελευταίος, ο οποίος δεν συνδέεται µε κανένα άλλο κόµβο καλείται αποµονωµένος κόµβος (isolated node) και συνήθως εξαιρείται από τη γεωµετρική αναπαράσταση ενός γράφου. ύο κόµβοι οι οποίοι είναι ενωµένοι µε την ίδια ακµή, ονοµάζονται γειτονικοί ή συνοριακοί (adjacent) κόµβοι Ανοιγµένα έντρα (Spanning Trees) Προτού γίνει αναφορά στην ειδική κατηγορία των γραφηµάτων που ονοµάζονται δέντρα (trees), πρέπει να γίνει εισαγωγή ορισµένων εννοιών και δοµών µε ιδιαίτερο ενδιαφέ-

32 ΚΕΦΑΛΑΙΟ 2. ΣΤΟΙΧΕΙΑ ΘΕΩΡΙΑΣ ΓΡΑΦΩΝ ΚΑΙ ΕΛΑΤΤΩΣΗΣ ΙΑΣΤΑΣΕΩΝ 12 ϱον[die00]. Εστω ο γράφος του Σχ Αν διασταυρωθούν κάποιοι από τους κόµβους κατά µήκος των δεδοµένων ακµών, ϑα προκύψει ένας σηµαντικός αριθµός από διαφο- ϱετικές πιθανότητες και προβλήµατα, ανάλογα µε τους περιορισµούς που τίθενται από τις επιλογές των τροχιών. Σχήµα 2.2: ιαδροµή, ίχνος και µονοπάτι ενός γράφου. Στην περίπτωση, κατά την οποία δεν υπάρχει κανένας περιορισµός, η οποιαδήποτε οδός διαµέσου του γράφου ονοµάζεται διαδροµή (walk). Για παράδειγµα, η µετακίνηση µεταξύ των κόµβων µέσα στο γράφο του Σχ. 2.2 αποτελεί µια απλή διαδροµή. Στην περίπτωση που η κάθε ακµή µπορεί να συναντηθεί µόνο µια ϕορά, η δεδοµένη διαδροµή διαµέσου του γράφου ονοµάζεται ίχνος (trail). Η µετακίνηση µεταξύ των κόµβων όπως ϕαίνεται στο Σχ. 2.2 ϑα είναι ένα τέτοιο ίχνος. Ενα µονοπάτι (path) είναι µια διαδροµή η οποία δεν περιέχει επαναλαµβανόµενους κόµβους. Προφανώς, κάθε µονοπάτι αποτελεί αυτοµάτως και ένα ίχνος, επειδή είναι αδύνατον να περάσει από την ίδια ακµή δύο ϕορές χωρίς να ϐρεθεί σε ίδιο κόµβο περισσότερες από µία ϕορές. Ενα µονοπάτι στο γράφο του Σχ. 2.2 είναι αυτό που περνά από τους κόµβους Ενα οποιοδήποτε µονοπάτι, ίχνος ή διαδροµή ϑα ονοµάζεται κλειστό, αν καταλήγει σε εκείνο τον κόµβο από τον οποίο ξεκίνησε. Πιο συγκεκριµένα, αν ένα µονοπάτι καταλήγει στον κόµβο από όπου ξεκίνησε, τότε ονοµά- Ϲεται κύκλος (cycle). Για παράδειγµα, ο κλειστός ϐρόχος του Σχ. 2.2 αποτελεί έναν κύκλο. Επιπλέον, συνδεδεµένος γράφος (connected graph), ονοµάζεται ο γράφος στον οποίο

33 ΚΕΦΑΛΑΙΟ 2. ΣΤΟΙΧΕΙΑ ΘΕΩΡΙΑΣ ΓΡΑΦΩΝ ΚΑΙ ΕΛΑΤΤΩΣΗΣ ΙΑΣΤΑΣΕΩΝ 13 υπάρχει διαδροµή µεταξύ κάθε πιθανού Ϲεύγους κόµβων του. Οταν σε κάθε συνδεδεµένο γράφο έχει αποδοθεί µια τιµή ως απόσταση για κάθε ακµή, τότε ο γράφος ϑα είναι σταθµισµένος (weighted graph). Το µήκος µιας διαδροµής σε έναν τέτοιο γράφο ϑα ισούται στην περίπτωση αυτή µε το άθροισµα των αποστάσεων όλων των ακµών που συµπεριλαµβάνονται. Εποµένως είναι προφανές ότι το συντοµότερο µονοπάτι (shortest path) ελαχιστοποιεί την ποσότητα L ij όπου L ij η Ευκλείδεια απόσταση δύο ακµών µε i = 1, 2,..., n 1 και j = 1, 2,..., n για τον αριθµό n των κόµβων που συµµετέχουν στον γράφο. Τέλος, ένας γράφος G = (V, E ) ονοµάζεται υπογράφος (subgraph) του G = (V, E), αν V V και E E Ζευγνύοντα έντρα Ελαχίστου Μήκους (Minimal Spanning Tree, MST) Ενα δέντρο αποτελεί ένα ειδικό είδος γράφου, το οποίο χαρακτηρίζεται από ˆ έλλειψη κύκλων και ˆ συνεκτικότητα (υπάρχουν δηλαδή ακµές που ενώνουν όλους τους κόµβους του γρά- ϕου) Οµοίως, ένα Ϲευγνύων δέντρο (spanning tree) ενός συνδεδεµένου σταθµισµένου γρά- ϕου G = (V, E), είναι ένας συνδεδεµένος υπογράφος του G = (V, E), ο οποίος περιέχει όλους τους κόµβους του γράφου και επιπλέον δεν περιέχει κανένα κύκλο. Αν αρχικά υπάρχουν N κόµβοι, τότε ένα Ϲευγνύων δέντρο περιέχει ακριβώς N 1 ακµές. Τέλος, το Ϲευγνύων δέντρο ελαχίστου µήκους (minimal spanning tree, MST), είναι ένα συνδεδεµένο δέντρο το οποίο περιέχει επίσης N 1 ακµές, για τις οποίες όµως το άθροισµα των αποστάσεών τους είναι ελάχιστο. ηλαδή, αν κάθε ακµή (i, j) έχει µήκος L ij, το MST είναι η δενδρική δοµή εκείνη του γράφου για την οποία ελαχιστοποιείται η ποσότητα Lij [Zah71]. Στο Σχ. 2.3 απεικονίζονται γραφικά οι ορισµοί που δόθηκαν παραπάνω, για την ίδια ακριβώς τοπολογία κόµβων. Ενα Ϲευγνύων δέντρο απεικονίζεται στο Σχ. 2.3 (α)

34 ΚΕΦΑΛΑΙΟ 2. ΣΤΟΙΧΕΙΑ ΘΕΩΡΙΑΣ ΓΡΑΦΩΝ ΚΑΙ ΕΛΑΤΤΩΣΗΣ ΙΑΣΤΑΣΕΩΝ 14 Σχήµα 2.3: Σχηµατική αναπαράσταση ενός (α) Ϲευγνύοντος δέντρου (spanning tree) και (ϐ) Ϲευγνύοντος δέντρου ελαχίστου µήκους (minimal spanning tree, MST), για N = 10 κόµβους της ίδιας τοπολογίας. συνδεδεµένο ακολουθώντας τη διαδοχή των έντονα τονισµένων ακµών, ενώ το M ST πα- ϱουσιάζεται στο Σχ. 2.3 (ϐ), το οποίο πάλι αποτελείται από τις έντονα τονισµένες ακµές. Από τον ορισµό και την σχηµατική αναπαράσταση γίνεται αντιληπτό ότι ένα Ϲευγνύων δέντρο δεν είναι µονοσήµαντα ορισµένο, εν αντιθέσει µε το MST το οποίο είναι ένα και µοναδικό για κάθε διαφορετική τοπολογία κοµβικών σηµείων. Επιπρόσθετα, και τα δύο δέντρα έχουν τον ίδιο αριθµό ακµών (για το Σχ. 2.3 ϑα είναι και στις δύο περιπτώσεις N 1 = 9 όπου N = 10 το πλήθος των κόµβων). Τέλος, πρέπει να σηµειωθεί ότι η δοµή και η τοπολογία του M ST κατέχει ενδιαφέρουσες ιδιότητες και χαρακτηριστικά, τα οποία το κάνουν ελκυστικό εργαλείο για µια πληθώρα εφαρµογών της επιστήµης των υπολογιστών Εφαρµογές της ϑεωρίας γράφων στην επεξεργασία εικόνας Ξεκινώντας από το τέλος της δεκαετίας του 70, διάφορες τεχνικές προτάθηκαν ϐασισµένες στη Θεωρία Γράφων ως ένα δυναµικό εργαλείο για την αναπαράσταση και

35 ΚΕΦΑΛΑΙΟ 2. ΣΤΟΙΧΕΙΑ ΘΕΩΡΙΑΣ ΓΡΑΦΩΝ ΚΑΙ ΕΛΑΤΤΩΣΗΣ ΙΑΣΤΑΣΕΩΝ 15 κατηγοριοποίηση προτύπων[die00]. Επειτα από τον αρχικό ενθουσιασµό οι γράφοι πα- ϱαµερίσθηκαν πρακτικά στο περιθώριο για ένα µεγάλο χρονικό διάστηµα. Πρόσφατα, η χρήση της Θεωρίας Γράφων στην Αναγνώριση Προτύπων και την Επεξεργασία Εικόνας έχει αποκτήσει αυξανόµενο ενδιαφέρον και προσοχή από την επιστηµονική κοινότητα [CFSV03].Αυτό πιθανώς προήλθε από το γεγονός ότι η υπολογιστική πολυπλοκότητα των αλγορίθµων που χρησιµοποιούν γράφους, τα τελευταία χρόνια, έχει γίνει συγκρίσιµη µε την υπολογιστική ισχύ της νέας γενιά υπολογιστικών συστηµάτων [HMMG02]. Στο σενάριο αυτό, είναι λογικό να παρατηρήσουµε ότι οι σχετικά πρόσφατες εφαρµογές χρησιµοποιούν αλγόριθµους γραφηµάτων, οι οποίοι έχουν προταθεί στη ϐιβλιογρα- ϕία πριν από τρεις περίπου δεκαετίες. Το µεγαλύτερο τµήµα των δηµοσιεύσεων αφορά στις εφαρµογές σύγκρισης γράφων, τη διαδικασία δηλαδή της σύγκρισης δύο γράφων µέσω της αντιστοίχησης των κόµβων και των ακµών, οι οποίες αντανακλούν τη δοµή των εµπλεκοµένων γράφων. Στον τοµέα της ανάλυσης και επεξεργασίας εικόνας δύο και τριών διαστάσεων, έχει παρουσιαστεί µια πληθώρα µεθόδων γραφηµάτων τόσο σε εφαρ- µογές σύγκρισης[cfsv03], όσο και σε περιπτώσεις οµαδοποίησης [Zah71], όπως επίσης και τµηµατοποίησης εικόνων[mlc86], [Mak02], [SM00]. Επιπλέον, στον τοµέα των ϐάσεων δεδοµένων εικόνων, οι τεχνικές που στηρίζονται στη ϑεωρία γραφηµάτων έχει χρησιµοποιηθεί µε τεράστια επιτυχία τα τελευταία χρόνια, µε τυπικές εφαρµογές τους τη διαχείριση και την ανάκτηση εικόνων. Ορισµένες εργασίες έχουν ασχοληθεί και µε τα δύο αυτά πεδία [BBV01], [PFL02], ενώ το µεγαλύτερο ερευνητικό τµήµα ασχολείται αποκλειστικά µε το πρόβληµα της ανάκτησης εικόνας [CCY98], [GK02]. 2.3 Το πρόβληµα της διαστατικότητας Κάθε εικόνα, η οποία αποτελείτε από Ν εικονοστοιχεία, µπορεί να ϑεωρηθεί σαν ένα σηµείο σε ένα N διάστατο χώρο των χαρακτηριστικών. Η ανάγκη ανάλυσης και επεξεργασίας τέτοιου είδους δεσµευµένων πολύ-παραµετρικών δοµών (manifold) ανέδειξε το σηµαντικό πρόβληµα της µείωσης της διαστατικότητας τους. Η επίλυση του προβλήµα-

36 ΚΕΦΑΛΑΙΟ 2. ΣΤΟΙΧΕΙΑ ΘΕΩΡΙΑΣ ΓΡΑΦΩΝ ΚΑΙ ΕΛΑΤΤΩΣΗΣ ΙΑΣΤΑΣΕΩΝ 16 τος αυτού δίνει πιο συµπαγείς αναπαραστάσεις της πληροφορίας, η οποία εµπεριέχεται σε αυτά τα χαρακτηριστικά, µε αποτέλεσµα να γίνεται ευκολότερη η διαχείριση της. Με σκοπό την µείωση της διαστατικότητας πολυδιάστατων δεδοµένων έχουν προταθεί τόσο γραµµικές όσο και µη γραµµικές µέθοδοι. Στο Σχ. 2.4, παρατίθενται οι σηµαντικότερες από αυτές τις µεθόδους. Σχήµα 2.4: Μέθοδοι µείωσης διαστατικότητας Οι κλασικές µέθοδοι εκµάθησης δεδοµένων πολυσχιδούς δοµής (PCA [Jol86], MDS [CC94]) έχουν σχεδιαστεί µε τη λογική ότι η παραγόµενη από τα πολυδιάστατα δεδο- µένα υπερεπιφάνεια (manifold) αναπαριστάται µε γραµµικό ή σχεδόν γραµµικό τρόπο στον ελαττωµένο χώρο των χαρακτηριστικών. Στην PCA υπολογίζονται οι γραµµικές προ- ϐολές µε την µεγαλύτερη διακύµανση από τα µεγαλύτερα ιδιοδιανύσµατα, όπως αυτά προκύπτουν από τον πίνακα διασποράς των αρχικών δεδοµένων, ενώ στην MDS οι νέες ϑέσεις των δεδοµένων καθορίζονται µε κριτήριο την καλύτερη διατήρηση των αποστάσεων µεταξύ των αρχικών σηµείων. Στην περίπτωση που οι αποστάσεις αυτές σχετίζονται µε τις ευκλείδειες αποστάσεις των σηµείων αυτών, τα αποτελέσµατα των δύο µεθόδων είναι ταυτόσηµα. Στην περίπτωση όµως ύπαρξης µη γραµµικών δοµών, οι οποίες δεν µπο- ϱούν να προσεγγιστούν µε γραµµικό τρόπο, οι µέθοδοι αυτοί δεν δίνουν ικανοποιητικές αναπαραστάσεις.

37 ΚΕΦΑΛΑΙΟ 2. ΣΤΟΙΧΕΙΑ ΘΕΩΡΙΑΣ ΓΡΑΦΩΝ ΚΑΙ ΕΛΑΤΤΩΣΗΣ ΙΑΣΤΑΣΕΩΝ 17 Οι µη γραµµικές προσεγγίσεις συνδυάζουν τα πλεονεκτήµατα των γραµµικών µε- ϑόδων µείωσης διαστατικότητας (PCA, MDS), µε την δυνατότητα να αποκαλύπτουν την εσωτερική γεωµετρική δοµή των µη γραµµικών υπερεπιφανειών. Οι µέθοδοι αυτοί χω- ϱίζονται σε δύο κατηγορίες, τις τοπικές (LLE [RS00], Laplacian Eigenmaps[BN03]) και ολικές (ISOMAP [TdSL00]). Στην πρώτη υποκατηγορία γίνεται προσπάθεια να διατηρη- ϑεί η τοπική γεωµετρία, ενώ στην δεύτερη η αναδόµηση στον ελαττωµένο χώρο γίνεται µε τέτοιο τρόπο ώστε να διατηρηθεί η γεωµετρία σε όλη την κλίµακα. Ως αποτέλεσµα οι προσεγγίσεις που ασχολούνται µε την συνολική δοµή της υπερεπιφάνειας, δίνουν πιο ικανοποιητικές αναπαραστάσεις της συνολικής δοµής του, σε αντίθεση µε τις τοπικές προσεγγίσεις που δίνουν χρήσιµα αποτελέσµατα όταν η τοπική γεωµετρία προσεγγίζει την ευκλείδεια, σε αντίθεση µε την συνολική γεωµετρία του συστήµατος, η οποία µπορεί να µην την προσεγγίζει. Στο Σχ. 2.5 που ακολουθεί δίνεται ένα παράδειγµα δεσµευµένης πολυπαραµετρικής δοµής και αναπαράστασής της στον ελαττωµένο χώρο των χαρακτη- ϱιστικών τόσο µε γραµµικές, όσο και µε µη γραµµικές µεθόδους. Σχήµα 2.5: Παράδειγµα ελάττωσης διαστάσεων µε γραµµικές (MDS, PCA) και µη γραµ- µικές (ISOMAP, LLE, Laplacian Eigenmaps) µεθόδους. Στην ενότητα αυτή ϑα αναπτυχθούν µε συντοµία µερικές από τις προαναφερθείσες τεχνικές αναπαράστασης δοµών, τις πολυδιάστατες συσχετίσεις ανάµεσα σε σύνολα

38 ΚΕΦΑΛΑΙΟ 2. ΣΤΟΙΧΕΙΑ ΘΕΩΡΙΑΣ ΓΡΑΦΩΝ ΚΑΙ ΕΛΑΤΤΩΣΗΣ ΙΑΣΤΑΣΕΩΝ 18 δεδοµένων πολλαπλών διαστάσεων και τρόπους µείωσης των διαστάσεων του χώρου, πα- ϱουσιάζονται παράλληλα το ϑεωρητικό υπόβαθρο των τεχνικών αυτών Ανάλυση κυρίαρχων συνιστωσών Στην ελάττωση διάστασης µε ανάλυση κυρίαρχων συνιστωσών (principal component analysis - PCA), τα δεδοµένα µεταβάλλονται πάνω στα σηµαντικά ιδιοδιανύσµατα του πίνακα συνδιασποράς, έτσι ώστε να αντιστοιχούν στις διευθύνσεις της µέγιστης διασπο- ϱάς. Είναι δηλαδή µια πολυδιάστατη διαδικασία, η οποία περιστρέφει τα δεδοµένα έτσι ώστε να προβάλλονται πάνω στους τελικούς άξονες οι µέγιστες µεταβολές, όπως ϕαίνεται στο Σχ 2.6. Ουσιαστικά, ένα σύνολο από συσχετισµένες µεταβλητές µετασχηµατίζονται σε ένα σύνολο ασυσχέτιστων µεταβλητών, οι οποίες είναι ταξινοµηµένες µε ϕθίνουσα σει- ϱά µεταβολών. Οι ασυσχέτιστες µεταβλητές είναι γραµµικός συνδυασµός των αρχικών µεταβλητών και οι τελευταίες από αυτές µπορούν να αφαιρεθούν µε ελάχιστη απώλεια των πραγµατικών δεδοµένων[jol86]. Σχήµα 2.6: Παράδειγµα σχηµατικής αναπαράστασης του µετασχηµατισµού PCA. Η κύρια χρήση της µεθόδου αυτής έγκειται στην ελάττωση της διάστασης του χώ- ϱου, διατηρώντας κατά το δυνατόν τη µέγιστη πληροφορία. οθέντος ενός συνόλου από p διαστάσεων χαρακτηριστικά διανύσµατα {x i } στον αρχικό χώρο F, η PCA ανάλυση

39 ΚΕΦΑΛΑΙΟ 2. ΣΤΟΙΧΕΙΑ ΘΕΩΡΙΑΣ ΓΡΑΦΩΝ ΚΑΙ ΕΛΑΤΤΩΣΗΣ ΙΑΣΤΑΣΕΩΝ 19 ϐρίσκει έναν υποχώρο F P CA διαστάσεων r p, στον οποίο τα ϐασικά διανύσµατα αντιστοιχούν στις διευθύνσεις µέγιστης διασποράς του X = (x 1,..., x p ) T. Ονοµάζοντας M p τον p r πίνακα του γραµµικού µετασχηµατισµού από τον χώρο F στον χώρο F P CA, τότε η προβολή του X στον νέο αυτό χώρο ϑα είναι MP T X. Οι στήλες του πίνακα µετασχηµατισµού M P = [e 1,..., e p ] αποτελούνται από τα ιδιοδιανύσµατα e i που προκύπτουν από τη διαδικασία ιδιοανάλυσης λ i e i = ( XX T ) e i, όπου το γινόµενο XX T αποτελεί τον πίνακα συνδιασποράς και το λ i η ιδιοτιµή που σχετίζεται µε το ιδιοδιάνυσµα e i. Οι τιµές λ i ταξινοµούνται κατά ϕθίνουσα σειρά, έτσι ώστε το e 1 να αντιστοιχεί στη διεύθυνση της µέγιστης διασποράς του Q και το e p στην ελάχιστη. Συνήθως, γίνεται χρήση των πρώτων r διαστάσεων κατά την υλοποίηση της διαδικασίας ελάττωσης των διαστάσεων του χώ- ϱου, έτσι ώστε r i=1 λ i 0, 99 p i=1 λ i. Στη γενική του µορφή ο µετασχηµατισµός PCA συµβολίζεται ως M p : F F P CA. Ο µετασχηµατισµός PCA µπορεί να ϑεωρηθεί ως η περιστροφή των υπαρχόντων α- ξόνων σε νέες ϑέσεις µέσα στο χώρο των χαρακτηριστικών, οι οποίες ορίζονται από τις αρχικές µεταβλητές. Σε αυτή την περιστροφή, δεν υπάρχει καµία συσχέτιση µεταξύ των νέων µεταβλητών που ορίζονται από την περιστροφή, ενώ οι προβολές των δεδοµένων γίνεται σε ορθογώνιους (µεταξύ τους) άξονες. Η πρώτη κυρίαρχη συνιστώσα ϑα διατηρεί το µέγιστο ποσοστό της ενέργειας του αρχικού σήµατος, η δεύτερη ϑα ακολουθεί, κ.ο.κ.. Στο Σχ. 2.6, παρουσιάζεται ένα παράδειγµα µετασχηµατισµού PCA σε διδιάστατα δεδοµένα. Αν και η τεχνική εφαρµόζεται γενικά σε πολλών διαστάσεων δεδοµένα, εδώ, για ευκολία στην απεικόνιση και την αντίληψη χρησιµοποιούνται οι δύο διαστάσεις. Ε- ϕαρµόζοντας το µετασχηµατισµό PCA εξάγονται δύο κυρίαρχες συνιστώσες (µέσω του υπολογισµού του πίνακα συνδιασποράς). Η γραµµή v 1 αναπαριστά την κατεύθυνση της πρώτης κυρίαρχης συνιστώσας, η οποία ϐρίσκεται στη διεύθυνση της µέγιστης διασπο- ϱάς, ενώ η γραµµή v 2 αναπαριστά αυτή της δεύτερης κυρίαρχης συνιστώσας, η οποία έχει διεύθυνση κάθετη στην πρώτη. Πολλαπλασιάζοντας τα αρχικά δεδοµένα µε τα κυρίαρχα διανύσµατα, τα δεδοµένα περιστρέφονται ώστε τα κυρίαρχα διανύσµατα να ϐρίσκονται παράλληλα στους άξονες (Σχ. 2.6 (ϐ) ). Μειώνοντας τις διαστάσεις των δεδοµένων σε µία και προβάλλοντας τα δεδοµένα στη διεύθυνση της κυρίαρχης συνιστώσας (Σχ. 2.6 (γ) ), επιτυγχάνεται η διατήρηση της µέγιστης πληροφορίας.