Development of new machine learning methods for medical image processing and analysis

Transcript

1 UNIVERSITY OF PATRAS SCHOOL OF HEALTH SCIENCES FACULTY OF MEDICINE INTERDEPARTMENTAL POSTGRADUATE PROGRAM IN MEDICAL PHYSICS PhD Thesis: Development of new machine learning methods for medical image processing and analysis GLOTSOS DIMITRIOS B. Sc. in Medical Instruments Technology M. Sc. in Medical Physics Patras, May 2006, Hellas We thank the European Social Fund (ESF), Operational Program for Educational and Vocational Training II (EPEAEK II), and particularly the Program HERAKLITOS, for funding this PhD thesis.

2 ΠΑΝΕΠΙΣΤΗΜΙΟ ΠΑΤΡΩΝ ΣΧΟΛΗ ΕΠΙΣΤΗΜΩΝ ΥΓΕΙΑΣ ΤΜΗΜΑ ΙΑΤΡΙΚΗΣ ΔΙΑΤΜΗΜΑΤΙΚΟ ΠΡΟΓΡΑΜΜΑ ΜΕΤΑΠΤΥΧΙΑΚΩΝ ΣΠΟΥΔΩΝ ΣΤΗΝ ΙΑΤΡΙΚΗ ΦΥΣΙΚΗ Διδακτορική Διατριβή: Μεθοδολογία ανάπτυξης νέων συστημάτων μάθησης στην επεξεργασία, ανάλυση και ταξινόμηση ιατρικής εικόνας ΓΚΛΩΤΣΟΣ ΔΗΜΗΤΡΙΟΣ B. Sc. Τεχνολογία Ιατρικών Οργάνων M. Sc. Ιατρική Φυσική Πάτρα, Μάιος 2006, Ελλάδα Ευχαριστούμε το Ευρωπαϊκό Κοινωνικό Ταμείο (ESF), το πρόγραμμα Εκπαίδευσης και Επαγγελματικής Κατάρτισης (ΕΠΕΑΕΚ ΙΙ) και ιδιαιτέρως το πρόγραμμα Ηράκλειτος, για την οικονομική ενίσχυση της διδακτορικής αυτής διατριβής.

3

4 SUPERVISING COMMITTEE 1 George Nikiforidis, Professor, Department of Medical Physics, University of Patras (Supervisor), Greece 2 Dionisis Cavouras, Professor, Department of Medical Instruments Technology, Technological Institute of Athens, Greece 3 Spyros Fotopoulos, Associate Professor, Department of Physics, University of Patras, Greece EXAMINING COMMITTEE 1 George Nikiforidis, Professor, Department of Medical Physics, University of Patras, Greece 2 Spyros Fotopoulos, Associate Professor, Department of Physics, University of Patras, Greece 3 Vassilis Anastasopoulos, Professor, Department of Physics, University of Patras, Greece 4 George Panayiotakis, Professor, Department of Medical Physics, University of Patras, Greece 5 Stavros Koubias, Professor, Department of Electrical and Computer Engineering, University of Patras, Greece 6 Kostas Berberidis, Associate Professor, Department of Computer Engineering and Informatics University of Patras, Greece 7 George Sakellaropoulos, Lecturer, Department of Medical Physics, University of Patras, Greece

5 To my family and friends To fighting spirits and selfless people

6 ACKNOWLEDGEMENTS First of all I wish to acknowledge the guidance of my supervisor, Prof. G. Nikiforidis, in the preparation of this work. I have been able to rely with confidence on his support during all these years. In addition, I would like to thank him for helping me in finding means of financial support for this research. Last but not least, I would like to thank him for believing, supporting and investing in graduate students from Greek Technological Institutions. His fighting spirit has caused a revolution in the delivery of postgraduate education in Greece, since he was among the first to support the right of graduates from Technological Institutions to postgraduate and PhD studies in Greek Universities. Secondly, I would like to express my gratitude to Prof. D. Cavouras for his immense contribution in the realization of this thesis. He stood by me not only as an essential supervisor but also as a friend. Among others, he taught me pattern recognition, programming, and writing scientific articles. He provided me additional financial support, which allowed me to try to dedicate solely in aspects of this research. I would like to thank him for his devotion to selfness support that has greatly inspired me. Finally, I would like to thank him for his superhuman efforts to keep the doors of postgraduate education in Greek Universities open for graduate students from Technological Institutions. Thirdly, my biggest inspiration originated from Dr. P. Spyridonos to whom I am very grateful. She was the first to deal with computer-assisted microscopy in our lab. She introduced me to all the key concepts of the problems involved in this thesis, she co-authored all related publications and she has addressed many questions discussed in this work. During all these years, her careful scientific guidance uncovered many weaknesses of this research, which I was then able to correct. She provided me an inspiring atmosphere for scientific research and an invaluable friendship. Many thanks to the Department of Pathology of the University Hospital of Patras and especially to M.D. P. Ravazoula, who spent uncountable hours with me under the microscope trying to explain with great patience the biological issues relating to the clinical material included in this research. Our collaboration was constant, pleasant and successful. Many thanks to Dr. I. Kalatzis for his enlightening conversations we had all these years concerning pattern recognition algorithms and MATLAB implementation issues. In addition his support in administration issues has been and still is invaluable. Many thanks to Dr. U. Ruotsalainen and especially to Dr. J. Tohka from the Tampere University of Technology of Finland. During my stay in Finland we had a fruitful collaboration, which resulted into new ideas and important publications that support the present thesis.

7 Many thanks to my friends and colleagues at the Medical Physics, the MEDISP and the MIPA laboratories for sharing with me the many delights and few grief of this thesis. In random order, to Mr. A. Daskalakis for his scientific, and not only, hospitality. To Mr. P. Petalas for the relaxing conversations. To Mr. S. Kostopoulos for his critical scientific point of view. To Mr. P. Bougioukos for his persistence in adding some fine-tunes in our scientific research. To Mr. P. Theocharakis for his ability to make enjoyable our common breaks during working hours. To Mr. K. Papadimitriou for his companionship. To Mr. M. Athanasiadis and Mr. S. Tsantis for their fruitful collaboration in wavelet analysis. Additionally, to all the members of the MIPA and MEDISP laboratories for their assistance in helping me solve bureaucracy issues, especially when I was abroad. Finally, I would to thank everyone that contributed to this thesis but I do not mention here, though, unintentionally. Last but not least, I would like to thank my family for believing and supporting me with all possible means these years.

8 TABLE OF CONTENTS ΕΛΛΗΝΙΚΗ ΠΕΡΙΛΗΨΗ-SUMMARY IN GREEK CHAPTER 1-PREFACE 1.1. Abstract Aims, novelties and contributions of the thesis Organization of the thesis Research funding 5 PART I BASIC THEORY CHAPTER 2-BRAIN TUMOURS 2.1. Brain tumours General Causes Symptoms Types Astrocytomas General Diagnosis Grading Treatment Recurrence and progression 14 CHAPTER 3- COMPUTER-ASSISTED MICROSCOPY: BASIC PRINCIPLES AND INSTRUMENTATION 3.1. Basic principles Instrumentation and data acquisition 16 CHAPTER 4- COMPUTER-ASSISTED MICROSCOPY: PATTERN RECOGNITION SYSTEM 4.1. Pattern recognition in computer-assisted microscopy Segmentation Feature generation Morphological features First order statistical features Second order statistical features Features extracted from the co-occurrence matrix Features extracted from the run-length matrix Feature selection and classification Minimum distance classifier Least Square minimum distance classifier k-nearest Neighbour classifier Bayesian classifier Probabilistic Neural Networks k-means clustering Support Vector Machines and Support Vector Clustering 37

9 PART II EXPERIMENTAL RESEARCH WORKFLOW OF EXPERIMENTAL PROCEDURE 42 CHAPTER 5- CLINICAL MATERIAL 5.1 Clinical Material Statistics Inter observer reproducibility 48 CHAPTER 6- SET UP AND QUALITY CONTROL TESTS OF THE LIGHT MICROSCOPY IMAGING SYSTEM 6.1. Assembly of the light microscopy imaging system Quality control experiments Focusing Signal to noise ratio 52 CHAPTER 7- MICROSCOPY IMAGE SEGMENTATION FOR NUCLEI DETECTION 7.1. Introduction Review of the literature Segmentation as a supervised pattern recognition problem Materials and Methods Results Discussion and contribution Summary and Conclusions Segmentation as a clustering problem Materials and Methods Results Discussion and contribution Summary and Conclusions 71 CHAPTER 8- MICROSCOPY IMAGE CLASSIFICATION FOR AUTOMATED GRADE DIAGNOSIS 8.1. Introduction Review of the literature Materials and Methods Results Discussion and contribution Summary and Conclusions 84

10 CHAPTER 9- A DENSITY ESTIMATION BASED APPROACH TO ROBUST CLUSTERING - PART I: THEORY AND INNOVATION 9.1. Introduction to robust clustering Review of the literature A new approach to robust clustering: Innovation and contribution A new approach to robust clustering: Algorithm description Autocorrelation feature space DER clustering in a Neural Network configuration. Similarities with the Probabilistic Neural Network Results in simulated data Discussion and Contribution Summary and Conclusions 98 CHAPTER 10- A DENSITY ESTIMATION BASED APPROACH TO ROBUST CLUSTERING - PART II: IMPLEMENTATION TO COMPUTER ASSISTED-MICROSCOPY Application of the proposed Robust Clustering method in microscopy image segmentation and classification Materials and Methods Microscopy image segmentation Microscopy image classification Results Discussion and contribution Summary and Conclusions 109 CHAPTER 11- A DENSITY ESTIMATION BASED APPROACH TO ROBUST CLUSTERING - PART III: IMPLEMENTATION TO BIOAFFINITY ASSAY SIGNAL PROCESSING Application of the proposed Robust Clustering method in the analysis of bioaffinity assay data Introduction to bioaffinity assays Material and Methods Results, Discussion and contribution Summary and Conclusions 124 CHAPTER 12- SUMMARY, IMPORTANT CONCLUSIONS AND FUTURE PERSPECTIVES Summary and important conclusions Future perspectives 126 REFERENCES 128 APPENDIX I List of publications as result of the research work performed for the purposes of the present thesis 140

11 APPENDIX II Abbreviations 143 APPENDIX III List of Figures 145 APPENDIX IV List of Tables 149

12 ΠΕΡΙΛΗΨΗ Η διαχείριση της πληροφορίας που προέρχεται από εικόνες ιστοπαθολογίας μικροσκοπίου (βιοψίες) αποτελεί διεργασία υψηλής πολυπλοκότητας που αξιοποιείται για την εξαγωγή διαγνωστικών και προγνωστικών συμπερασμάτων από τον ιστοπαθολόγο [1]. Η πολυπλοκότητα αυτή πηγάζει από τον τεράστιο όγκο βιολογικών οντοτήτων που περιέχονται στο δείγμα βιοψίας αλλά και στις μεταξύ τους πολυσύνθετες αλληλεπιδράσεις. Οι πιο σύγχρονες μέθοδοι τεχνητής νοημοσύνης προτείνουν εναλλακτικές προσεγγίσεις για την επίλυση των προβλημάτων υψηλής πολυπλοκότητας αυτού του τύπου [6-12]. Ανάμεσα όμως στην είσοδο (δεδομένα) και έξοδο (αποτέλεσμα) των έξυπνων υπολογιστικών συστημάτων, κρύβεται η μεθοδολογία και στρατηγική επεξεργασίας και ανάλυσης της διαθέσιμης πληροφορίας. Κατά το στάδιο αυτό οι παράμετροι ελέγχου διαχωρίζονται και συσχετίζονται μεταξύ τους τυφλά (π.χ. με νευρωνικά δίκτυα, ασαφή λογική) σύμφωνα με συγκεκριμένα μαθηματικά κριτήρια (π.χ. πιθανοκρατικά, ελάχιστων τετραγώνων κ.α.) χωρίς όμως να λαμβάνουν υπόψη την ευρετική (heuristic) του ειδικού με αποτέλεσμα να παρουσιάζουν πεπερασμένη ακρίβεια, μεγάλο χρόνο υλοποίησης, αδυναμία γενίκευσης. Έτσι, η απόδοση των συστημάτων αυτών εξαρτάται από το μέγεθος και ποιότητα (θορυβώδη, ελλιπή δεδομένα κ.α.) των δεδομένων, το πλήθος των συνδυασμών των ποσοτικών χαρακτηριστικών που περιγράφουν τα δεδομένα, τον καθορισμό των πλούσιων σε πληροφορία χαρακτηριστικών, την σημαντικότητα των επιμέρους χαρακτηριστικών και των μαθηματικών κριτηρίων ταξινόμησης. Για παράδειγμα πολλά χαρακτηριστικά περιγράφουν καλύτερα την υπό μελέτη διεργασία αλλά η εξαγωγή των πλούσιων σε προγνωστική πληροφορία χαρακτηριστικών απαιτεί πολλούς συνδυασμούς και μεγάλη υπολογιστική ισχύ. Επίσης πολλά χαρακτηριστικά σημαίνει εξειδίκευση του συστήματος στα δεδομένα εκπαίδευσης και αδυναμία εφαρμογής σε άγνωστα δεδομένα [64]. Η παρούσα διατριβή διαπραγματεύεται τον σχεδιασμό, ανάπτυξη και υλοποίηση νέων μεθόδων επεξεργασίας και ανάλυσης ιατρικών εικόνων, επικεντρώνοντας ειδικότερα στην εφαρμογή των μεθόδων αυτών σε υπολογιστικό σύστημα μικροσκοπίας για την διάγνωση όγκων εγκεφάλου τύπου αστροκυττώματος. I

13 ΘΕΩΡΗΤΙΚΟ ΜΕΡΟΣ ΕΙΣΑΓΩΓΗ Τα αστροκυττώματα αποτελούν τον συχνότερο ενδοπαρεγχυματικό όγκο του εγκεφάλου και είναι από τις πιο θανατηφόρες και δύσκολα θεραπεύσιμες μορφές καρκίνου. Τα αστροκύτταρα, τα οποία είναι η πηγή προέλευσης των αστροκυττωμάτων, προσφέρουν δομική στήριξη στον νευρικό ιστό. Έχουν ως βασική λειτουργία να τρέφουν τους νευρώνες και να περιβάλλουν και να ελέγχουν τις νευρικές συνάψεις [1]. Συνήθως τα αστροκυττώματα προκαλούν ως αρχικά συμπτώματα κεφαλαλγίες και επιληπτικές κρίσεις που όχι σπάνια ταλαιπωρούν τον ασθενή μέχρι την τελική διάγνωση [2,34]. Η διάγνωση πραγματοποιείται με συνδυασμό διαφόρων εξετάσεων όπως, Νευρολογικών που διερευνούν τα αντανακλαστικά του κεντρικού νευρικού συστήματος, Ηλεκτροεγκεφαλογραφήματα για τον αρχικό εντοπισμό της περιοχής της ασθένειας, Μαγνητική Τομογραφία, Τομογραφία Εκπομπής Φωτονίου η οποία χρησιμοποιείται κυρίως για μετεγχειρητικούς σκοπούς όπως επίσης και η Τομογραφία Εκπομπής Ποζιτρονίου, και η κλασσική Αξονική Τομογραφία για τον εντοπισμό της θέσης και της σύστασης του όγκου [2]. Παρόλα αυτά, με τις απεικονιστικές αυτές εξετάσεις δεν είναι εφικτή η διάκριση, πέραν από κάθε αμφιβολία, μεταξύ της καλοήθους και της κακοήθους φύσης ενός όγκου, καθώς επίσης δεν είναι εφικτή η ταξινόμηση των καρκινικών όγκων σε βαθμούς κακοήθειας [1,25]. Γι' αυτό το πιο σημαντικό βήμα στην διαγνωστική αλυσίδα παραμένει έως σήμερα η ιστοπαθολογική ταυτοποίηση της ασθένειας μέσω της εξέτασης ιστολογικών δειγμάτων βιοψίας με το μικροσκόπιο [1]. Μέσω της μικροσκοπικής εξέτασης βιοψιών είναι εφικτή η απόκτηση πληροφοριών σχετικά με τον ιστολογικό τύπο και τον βαθμό διαφοροποίησης του όγκου, στοιχεία που αποτελούν σημαντικότατες παραμέτρους για τον προσδιορισμό της κατάλληλης θεραπευτικής αγωγής [1, 25]. Εκτός από λίγες εξαιρέσεις οι περισσότεροι ιστοί είναι άχρωμοι με αποτέλεσμα να είναι δύσκολη η εξέτασή τους στο μικροσκόπιο. Γι αυτό το λόγο επινοήθηκαν διάφοροι τρόποι χρώσης των ιστών όχι μόνο για να φανερώσουν τα διάφορα συστατικά των κυττάρων και πυρήνων αλλά και για να επιτρέψουν την διάκριση μεταξύ τους. Αυτό γίνεται χρησιμοποιώντας μίγματα διαφόρων χρωστικών ουσιών, από τα οποία το πιο πολυχρησιμοποιημένο στην περίπτωση των αστροκυττωμάτων είναι το μίγμα Αιματοξυλίνης- Ηωσίνης (Hematoxylin & Eosin - Η&Ε). Η αιματοξυλίνη χρωματίζει μπλε τους πυρήνες των κυττάρων, ενώ με την ηωσίνη το κυτταρόπλασμα προσλαμβάνει κόκκινο χρώμα [57]. Σύμφωνα με τον Παγκόσμιο Οργανισμό Υγείας (World Health Organization - WHO) τα αστροκυττώματα χαρακτηρίζονται από ιδιαίτερα μεγάλη πολυμορφία και ετερογένεια και κατηγοριοποιούνται με βάση ιστολογικά κριτήρια σε τρεις βαθμούς κακοήθειας: grade II, II

14 grade III και grade IV. Στο ένα άκρο ανευρίσκονται οι χαμηλής κακοήθειας όγκοι ή grade II και στο άλλο άκρο οι υψηλής κακοήθειας όγκοι ή grade IV που είναι επίσης γνωστοί ως πολύμορφα γλοιοβλαστώματα [32]. Παρόλα αυτά, η εκτίμηση των μικροσκοπικών παρασκευασμάτων με την οπτική παρατήρηση έχει αποδειχθεί ότι έχει σημαντικούς περιορισμούς, όπως Η σημαντική μεταβλητότητα στην διαγνωστική ερμηνεία μεταξύ διαφορετικών [4, 5] παρατηρητών (inter-observer reproducibility) Η σημαντική μεταβλητότητα στην διαγνωστική ερμηνεία του ιδίου παρατηρητή για διαγνώσεις των ίδιων δειγμάτων σε διαφορετικά χρονικά διαστήματα (intra observer reproducibility) [4, 5] Δεν υπάρχουν σαφή κριτήρια για τον προσδιορισμό ξεκάθαρων ορίων μεταξύ όγκων διαφορετικού βαθμού κακοήθειας. Αυτό οφείλεται στο γεγονός ότι η κακοήθεια [4, 5] αναπτύσσεται σε μία βιολογική συνέχεια Η μεγάλη πολυμορφία και ετερογένεια των όγκων, καθώς οι όγκοι αποτελούνται από μικτούς πληθυσμούς καλοηθών και κακοηθών κυττάρων καθώς επίσης και κυττάρων από όλους τους βαθμούς κακοήθειας [4, 5] Αυτοί οι περιορισμοί έχουν ως αποτέλεσμα να διακινδυνεύεται η σωστή διάγνωση. H εσφαλμένη ταξινόμηση ενός όγκου χαμηλής κακοήθειας μπορεί να οδηγήσει σε λιγότερο επιθετική θεραπεία από όσο πρέπει καθώς επίσης και το αντίστροφο [4,5], άρα ο ακριβής προσδιορισμός του βαθμού κακοήθειας είναι μείζονος σημασίας. Για να αντιμετωπιστούν οι περιορισμοί αυτοί εισήχθηκαν στην κλινική έρευνα συστήματα υπολογιστικής μικροσκοπίας [6-12, 38, 49] με στόχο: Την αντικειμενική διάγνωση Βελτίωση της inter και intra observer μεταβλητότητας Ελάττωση της πιθανότητας διαγνωστικών παρερμηνειών Τα συστήματα υπολογιστικής μικροσκοπίας αποτελούνται από δύο βασικά μέρη: το απεικονιστικό σύστημα και το σύστημα αναγνώρισης προτύπων. Το απεικονιστικό σύστημα συνίσταται από το μικροσκόπιο, το οποίο σχηματίζει την πρωτογενή οπτική εικόνα, και την ψηφιακή κάμερα, για την μετατροπή του αναλογικού σήματος σε ψηφιακή εικόνα. Οι III

15 ψηφιοποιημένες εικόνες αποτελούν την είσοδο στο σύστημα αναγνώρισης προτύπων που έχει ως σκοπό την τμηματοποίηση των εικόνων σε πυρήνες και περιβάλλον υπόβαθρο καθώς οι πυρήνες έχει αποδειχθεί ότι περιέχουν πλούσια διαγνωστική πληροφορία. Η πληροφορία αυτή κωδικοποιείται στο επόμενο στάδιο του υπολογισμού πυρηνικών χαρακτηριστικών. Την ερμηνεία αυτών των χαρακτηριστικών αναλαμβάνουν εξειδικευμένοι αλγόριθμοι ταξινόμησης, οι οποίοι σχεδιάζονται για να μεταφράζουν την ποσοτική είσοδο σε ποιοτική έξοδο, δηλαδή διάγνωση. ΣΤΟΧΟΙ ΚΑΙ ΣΥΝΕΙΣΦΟΡΕΣ ΤΗΣ ΠΑΡΟΥΣΑΣ ΔΙΑΤΡΙΒΗΣ Η έρευνα στα συστήματα υπολογιστικής μικροσκοπίας, που αποτελεί και το πεδίο της παρούσας διατριβής, έχει εστιαστεί σε δύο κυρίως στάδια: Την τμηματοποίηση για τον ακριβή διαχωρισμό των πυρήνων Και την ταξινόμηση για την ακριβέστερη διάγνωση Οι προηγούμενες ερευνητικές προσεγγίσεις, που ασχολήθηκαν με το πρόβλημα της πυρηνικής τμηματοποίησης, μπορούν να ταξινομηθούν στις ημιαυτόματες (απαιτείτε η ενεργός συμμετοχή χρηστών) και αυτόματες μεθόδους [17-21, 93, 98, 104, 105]. Οι ημιαυτόματες προσεγγίσεις έχουν ως σκοπό να λειτουργήσουν από κοινού με την ανθρώπινη επενέργεια. Η απόδοσή των μεθόδων αυτών έχει εξαρτηθεί κυρίως από τις αρχικές a priori υποθέσεις για τη μορφολογία πυρήνων, τη χωρική κατανομή τους και την υφή. Οι αυτόματες μέθοδοι έχουν ερευνήσει ιστογραμμικές τεχνικές, μεθόδους ανίχνευσης παρυφών, αλγόριθμους επέκτασης περιοχών (region-based), προσεγγίσεις αναγνώρισης προτύπων και μοντέλα ενεργού περιγράμματος (active contour models). Οι ιστογραμμικές τεχνικές είναι επιτυχείς για εικόνες με ομοιόμορφο φωτισμό. Οι αλγόριθμοι ανίχνευσης παρυφών έχουν στηριχθεί στην ιδέα της ανίχνευσης ασυνεχειών των εντάσεων των εικονοστοιχείων (pixels) στα όρια διαφορετικών αντικειμένων. Οι αλγόριθμοι επέκτασης περιοχών θεωρούν ότι τα αντικείμενα ενδιαφέροντος χαρακτηρίζονται από ομοιογενή ένταση και έχουν εκτελέσει την κατάτμηση χρησιμοποιώντας αλγορίθμους επέκτασης, διαχωρισμού και συγχώνευσης περιοχής (region growing, merging and splitting). Οι τεχνικές αναγνώρισης προτύπων χρησιμοποιούν την ιδέα της εποπτευμένης εκπαίδευσης ενός ταξινομητή για να κάνουν διακρίσεις μεταξύ των πυρήνων και του υποβάθρου. Εντούτοις, οι αλγόριθμοι ανίχνευσης παρυφών και οι ιστογραμμικές τεχνικές είναι ευαίσθητες στην παρουσία θορύβου. Οι αλγόριθμοι επέκτασης περιοχών είναι λιγότερο ευαίσθητοι στο θόρυβο, αλλά χρειάζονται υψηλή υπολογιστική ισχύ. Οι εικόνες μικροσκοπίας που βάφονται με Αιματοξυλίνη-Ηωσίνη είναι από τις πιο σύνθετες και IV

16 θορυβώδεις μικροσκοπικές εικόνες, και χαρακτηρίζονται από μεγάλη μεταβλητότητα στην ένταση της χρώσης. Κατά συνέπεια, οι προαναφερθείσες τεχνικές κατάτμησης είναι δύσκολο να εφαρμοστούν στις εικόνες Αιματοξυλίνη-Ηωσίνη. Ως πιο υποσχόμενες τεχνικές τμηματοποίησης θεωρούνται οι τεχνικές ενεργού περιγράμματος οι οποίες έχουν ήδη εξεταστεί στο πρόβλημα της αυτόματης πυρηνικής κατάτμησης. Η επιτυχία των τεχνικών ενεργού περιγράμματος εξαρτάται κυρίως από τις αρχικές υποθέσεις που γίνονται για τη μορφολογία πυρήνων, η ύπαρξη υπό-πυρηνικών δομών και συνήθως από την αρχικοποίηση της παραμορφώσιμης καμπύλης. Όσο ακριβέστερος είναι ο προσδιορισμός των αρχικών κατά προσέγγιση παρυφών των πυρήνων, τόσο καλύτερα λειτουργούν οι τεχνικές ενεργού περιγράμματος. Η πολύ δύσκολη αρχικοποίηση των μοντέλων αυτών, έχει περιορίσει την εφαρμογή τους στην τμηματοποίηση πυρήνων σε εικόνες μικροσκοπίας βαμμένες με Αιματοξυλίνη-Ηωσίνη. Παρόλο που η Αιματοξυλίνη-Ηωσίνη δεν είναι τόσο ακριβής όσο οι άλλες τεχνικές στην πυρηνική χρώση, είναι η τεχνική που έχει υιοθετηθεί στην κλινική ρουτίνα στην διάγνωση των αστροκυττωμάτων λόγω της ευκολίας παραγωγής, χρήσης και του μικρού κόστους [57]. Η επεξεργασία και τμηματοποίηση εικόνων Αιματοξυλίνης-Ηωσίνης αποτελεί ένα σημαντικό βήμα για την υιοθέτηση υπολογιστικών συστημάτων μικροσκοπίας στην κλινική ρουτίνα, κάτι που αποτέλεσε τον πρώτο στόχο της παρούσας διατριβής. Η αυτόματη ταξινόμηση των αστροκυττωμάτων σύμφωνα με το βαθμό κακοήθειας έχει μελετηθεί από λίγα ερευνητικά εργαστήρια παγκοσμίως [6-12], γεγονός που οφείλεται στην εμφάνιση εξαιρετικά χαμηλού περιπτώσεων ανά χρόνο, με τυπικό αριθμό 4-6 περιπτώσεις ανά νοσοκομείο ανά χρόνο. Οι δουλειές αυτές έχουν αξιολογήσει την χρησιμότητα των πυρηνικών χαρακτηριστικών στην διάγνωση και την πρόγνωση με χρήση αλγορίθμων διαχωριστικής ανάλυσης, νευρωνικών δικτύων, ασαφούς λογικής, δέντρων απόφασης, και κ- πλησιέστερων γειτόνων. Οι δουλειές αυτές όμως, έχουν στηριχθεί σε διάφορες παραλλαγές του συστήματος του Παγκόσμιου Οργανισμού Υγείας και σε εξειδικευμένες τεχνικές χρώσεως. Η καλύτερη ακρίβεια υπολογιστικού συστήματος υποβοήθησης διάγνωσης με το σύστημα του Παγκόσμιου Οργανισμού είναι 88% [8], αλλά με τεχνική χρώσης ki-67, η οποία χρησιμοποιείται κυρίως για τον προσδιορισμό της κυτταροβρείθιας, μόνο ενός δηλαδή από τα πολυάριθμα ιστολογικά χαρακτηριστικά που ο Παγκόσμιος Οργανισμός Υγείας έχει καθορίσει ως κριτήρια για την διάγνωση των αστροκυττωμάτων. Το γεγονός αυτό κάνει δύσκολη την εφαρμογή τέτοιων συστημάτων στην καθημερινή κλινική ρουτίνα. Η υπολογιστική υποβοήθηση για την ταχεία εντόπιση και τον ακριβή ιστοπαθολογικό προσδιορισμό των αστροκυττωμάτων θα ήταν εξαιρετικά χρήσιμη στους ειδικούς ειδικά στην περίπτωση που γίνεται υιοθετώντας πρωτόκολλα κλινικής ρουτίνας, κάτι που αποτέλεσε τον δεύτερο στόχο της παρούσας διατριβής. V

17 Επίσης, τα συστήματα που έχουν προταθεί στην βιβλιογραφία έχουν κυρίως εξετάσει τον διαχωρισμό χαμηλών από υψηλούς όγκους κακοήθειας, καθώς μέχρι πρόσφατα υπήρχε η πεποίθηση ότι οι υψηλής κακοήθειας όγκοι (grade III-IV) πρέπει να ακολουθούν την ίδια θεραπευτική αγωγή [6-9]. Νέες μελέτες, όμως, έχουν δείξει ότι οι grade III όγκοι είναι ενδεχομένως περισσότερο ευπρόσβλητοι στην χημειοθεραπεία από ότι οι grade IV όγκοι [23, 24]. Άρα ο ακριβής διαχωρισμός τους είναι κρίσιμος, κάτι που αποτέλεσε τον τρίτο στόχο της παρούσας διατριβής. Ένα ακόμα πεδίο που δεν έχει διερευνηθεί στην διάγνωση των αστροκυττωμάτων, είναι η ενδεχόμενη συσχέτιση μεταβολών της χρωματίνης του πυρήνα με ύποπτους όγκους ή όγκους ενδιάμεσης κακοήθειας. Δηλαδή εκείνους τους όγκους τους οποίους οι ιστοπαθολόγοι κατατάσσουν ως μη-διαγνώσιμους ή αχαρακτήριστους. Αυτοί οι όγκοι ταξινομούνται συνήθως μεταξύ grade II-IΙΙ, και ενδεχομένως να συνιστούν μια σημασιολογική κλινική κατηγορία. Αυτό αποτέλεσε τον τέταρτο στόχο της παρούσας διατριβής. Για την υλοποίηση του 1 ου στόχου, αναπτύχθηκαν αλγόριθμοι εποπτευόμενης και μη εποπτευόμενης μάθησης για την εύρωστη τμηματοποίηση πυρήνων σε εικόνες Αιματοξυλίνης-Ηωσίνης. Για την υλοποίηση του 2 ου στόχου, αναπτύχθηκε υπολογιστικό σύστημα αυτόματου διαχωρισμού των αστροκυττωμάτων χαμηλής από υψηλής κακοήθειας με βάση πρωτόκολλα κλινικής ρουτίνας. Για την υλοποίηση του 3 ου και 4 ου στόχου, διερευνήθηκε κατά πόσο οι μεταβολές στην υφή της χρωματίνης συσχετίζονται με την διαφοροποίηση των όγκων υψηλής κακοήθειας και των ύποπτων όγκων ενδιάμεσης κακοήθειας. Τέλος, μια από τις σημαντικές τεχνολογικές καινοτομίες της παρούσας διατριβής είναι ο σχεδιασμός, και υλοποίηση ενός αλγορίθμου εύρωστης ομαδοποίησης. Ο αλγόριθμος εφαρμόστηκε στην επεξεργασία και ανάλυση εικόνων μικροσκοπίας αλλά και στην επεξεργασία και ανάλυση βιολογικών σημάτων για την αναγνώριση βιομοριων. VI

18 ΠΕΙΡΑΜΑΤΙΚΟ ΜΕΡΟΣ Περνάμε τώρα στο πειραματικό κομμάτι να δούμε αναλυτικά τις βασικές ιδέες πίσω από τις μεθοδολογίες που αναπτύχθηκαν. ΠΡΟΕΠΕΞΕΡΓΑΣΙΑ ΔΕΔΟΜΕΝΩΝ Βιοψίες από 203 ασθενείς με αστροκυττώματα συλλέχθηκαν από το αρχείο του Εργαστηρίου Ιστοπαθολογίας του Πανεπιστημιακού Νοσοκομείου Πατρών. Οι βιοψίες υπέστησαν επεξεργασία βαφής Αιματοξυλίνης-Ηωσίνης. Ειδικευμένη ιστοπαθολόγος (Παναγιώτα Ραβαζούλα) ταξινόμησε τους όγκους σε τρεις βαθμούς κακοήθειας σύμφωνα με το σύστημα του Παγκόσμιου Οργανισμού Υγείας. Κατόπιν, η ιστοπαθολόγος περιέγραψε την πιο αντιπροσωπευτική περιοχή πάνω στο πλακάκι. Η διάγνωση της ιστοπαθολόγου συγκρίθηκε με την καταχωρημένη διάγνωση στο αρχείο του νοσοκομείου. Οι περιπτώσεις για τις οποίες υπήρχε ασυμφωνία μεταξύ της διάγνωσης της ιστοπαθολόγου και του αρχείου του νοσοκομείου απορρίφθηκαν. Οι περιπτώσεις για τις οποίες υπήρχε συμφωνία μεταξύ της διάγνωσης της ιστοπαθολόγου και του αρχείου του νοσοκομείου επιλέχθηκαν για περαιτέρω ανάλυση. Οι περιπτώσεις ομοφωνίας ανήλθαν στις 140, εκ των οποίων 72 ταξινομήθηκαν ως χαμηλής κακοήθειας ή grade II, 66 ως υψηλής κακοήθειας ή grade III και 65 ως ιδιαίτερα υψηλής κακοήθειας ή grade IV. Συναρμολογήθηκε το απεικονιστικό σύστημα μικροσκοπίας το οποίο αποτελείτο από μικροσκόπιο τύπου Zeiss Axiostar-Plus microscope (ZEISS; Germany). Το μικροσκόπιο συνδέθηκε μέσω C-mount σε μία ψυχόμενη έγχρωμη ψηφιακή κάμερα τύπου Leica DC 300 F (LEICA; Germany). Η έξοδος της κάμερας συνδέθηκε σε Η/Υ (Pentium 4/2.8GHz, RAM 228MB) μέσω κάρτας ψηφιοποίησης τύπου Leica PCI. Πραγματοποιήθηκαν έλεγχοι ποιότητας όσο αφορά το σήμα προς θόρυβο του συστήματος και την ακρίβεια εστίασής του. Τουλάχιστον δέκα διαφορετικές περιοχές από κάθε βιοψία ψηφιοποιήθηκαν σε μεγέθυνση x400. Οι εικόνες αυτές αποθηκεύτηκαν σε tiff format για περαιτέρω ανάλυση στον Η/Υ με τους προτεινόμενους αλγορίθμους. Η συναρμολόγηση και εγκατάσταση του συστήματος μικροσκοπίας έγινε στο εργαστήριο Ιατρικής Φυσικής του Πανεπιστημίου Πατρών. ΤΜΗΜΑΤΟΠΟΙΗΣΗ ΠΥΡΗΝΩΝ Τα ακατέργαστα μικροσκοπικά κυτταρολογικά δείγματα δεν μπορούν να απεικονιστούν στο μικροσκόπιο επειδή είναι διαφανής και πρέπει προηγουμένως να επεξεργαστούν κατάλληλα με ειδικές τεχνικές χρώσης. Η διαδικασία της χρώσης στοχεύει να ενισχύσει την αντίθεση μεταξύ της περιοχής ενδιαφέροντος (συνήθως πυρήνες) και του υποβάθρου. Το VII

19 υλικό χρώσης αποτελούν ουσίες ειδικά σχεδιασμένες να προσκολλούνται στους πυρήνες, δίνοντας τους έτσι χρώμα. Εντούτοις, οι χρώσεις συγκεντρώνονται ανεπιθύμητα πολλές φορές σε ποικίλες δομές έξω από τους πυρήνες, λόγω τις πολυπλοκότητας της βιολογικής διαδικασίας της πρόσφυσης, μολύνοντας έτσι τις μικροσκοπικές εικόνες με θορυβώδεις περιοχές. Το γεγονός αυτό περιπλέκει σημαντικά την ακριβή τμηματοποίηση πυρήνων, η οποία είναι το σημαντικότερο στάδιο προ-επεξεργασίας των σύγχρονων υπολογιστικών συστημάτων μικροσκοπίας. Επιπροσθέτως, ο πυρήνας είναι μια πολύ σημαντική δομή μέσα στο κύτταρο, όσον αφορά στη διάγνωση της κακοήθειας ενός όγκου. Από καιρό έχει αναγνωριστεί ότι οι πυρήνες φέρνουν σημαντικές πληροφορίες, οι οποίες, εάν ποσοτικοποιηθούν μπορεί να επιτρέψουν τη διάγνωση και ενδεχομένως την πρόβλεψη της πορείας της ασθένειας. Συνεπώς, η τμηματοποίηση των πυρήνων διαδραματίζει σημαντικό ρόλο στη υπολογιστικά υποβοηθούμενη διάγνωση και πρόγνωση. Για τμηματοποίηση πυρήνων σε εικόνες Αιματοξυλίνης-Ηωσίνης αναπτύχθηκαν δύο αλγόριθμοι, εκ των οποίων ο ένας βασίζεται στην εποπτευόμενη μάθηση και ο άλλος στην μη εποπτευόμενη μάθηση. Η βασική ιδέα και για τους δύο αλγορίθμους είναι ότι τα περισσότερα εικονοστοιχεία (pixel) πιθανότατα ανήκουν στην ίδια δομική περιοχή στην οποία ανήκουν και τα γειτονικά τους εικονοστοιχεία. Ο αλγόριθμος εποπτευόμενης μάθησης εφαρμόστηκε σε 140 εικόνες Αιματοξυλίνης-Ηωσίνης αστροκυττωμάτων και δομείται στα ακόλουθα 4 στάδια. Αρχικά δειγματολειπτούνται περιοχές από πυρήνες και περιβάλλον ιστούς. Από τις περιοχές αυτές υπολογίζονται χαρακτηριστικά με βάση τον μετασχηματισμό κυματίου (wavelet) [68]. Τα χαρακτηριστικά αυτά τροφοδοτούν ένα ταξινομητή Μηχανών Στήριξης Διανυσμάτων (Support Vector Machine - SVM) [89, 90] ο οποίος εκπαιδεύεται να διαχωρίζει τα εικονοστοιχεία σε αυτά που ανήκουν στους πυρήνες και αυτά που ανήκουν στον περιβάλλον ιστό. Η έξοδος του ταξινομητή είναι μια ασπρόμαυρη εικόνα στην οποία οι άσπρες περιοχές δηλώνουν τις συντεταγμένες των πυρήνων σύμφωνα με την απόφαση του ταξινομητή. Με φιλτράρισμα καθαρίζονται οι μικρές θορυβώδεις περιοχές και διατηρούνται μόνο τα όρια από κάθε πυρήνα τα οποία υπερθέτονται πάνω στην αρχική εικόνα. Τα όρια αυτά θεωρούνται ως οι αρχικές συντεταγμένες από τις οποίες ξεκινάει ένα ενεργό περίγραμμα που οδηγεί στην τελική τμηματοποίηση [100]. Οι ταξινομητές Μηχανών Στήριξης Διανυσμάτων αποτελούν σύγχρονες τεχνικές μάθησης με πολύ υποσχόμενα αποτελέσματα σε εφαρμογές ιατρικών προβλημάτων. Χρησιμοποιούν γεωμετρικά κριτήρια και μπορούν να εφαρμοστούν τόσο σε γραμμικά αλλά και μη γραμμικά διαχωρίσιμα δεδομένα. Η βασική ιδέα είναι ο προσδιορισμός του βέλτιστου διαχωριστικού υπερεπιπέδου (hyperplane), το οποίο έχει την ιδιότητα, σε σχέση με όλα τα πιθανά διαχωριστικά υπερεπίπεδα, ότι η απόστασή του από τα πιο κοντινά, σε αυτό, δεδομένα είναι μέγιστη. Μερικά από τα πιο ελκυστικά χαρακτηριστικά του ταξινομητή Μηχανών VIII

20 Διανυσμάτων Στήριξης είναι ότι δεν διακινδυνεύει να παγιδευτεί σε τοπικά ελάχιστα, δεν χρειάζεται καμία επαναληπτική διαδικασία, δεν υποθέτει a priori γνώση της πυκνότητας πιθανότητας των δεδομένων και η ρύθμισή του είναι πολύ ευκολότερη όταν συγκρίνεται με τους συμβατικούς ταξινομητές (π.χ. πολυστρωματικό νευρικό δίκτυο). Η βασική ιδέα για την εφαρμογή του ταξινομητή Μηχανών Στήριξης Διανυσμάτων για την αντιμετώπιση προβλημάτων ταξινόμησης συνίσταται σε δύο βήματα: Μετασχηματισμός των διανυσμάτων εκπαίδευσης (που στην γενική περίπτωση δεν είναι γραμμικώς διαχωρίσιμα) σε ένα υψηλότερων διαστάσεων χώρο (feature space) μέσω μιας κατάλληλης συνάρτησης (συνάρτηση πυρήνα), ώστε να καταστούν γραμμικώς διαχωρίσιμα. Υπολογισμός του βέλτιστου πεδίου διαχωρισμού (margin) ανάμεσα στις δύο κατηγορίες με τέτοιο τρόπο ώστε να ικανοποιούνται οι ακόλουθες συνθήκες: α) το εύρος του πεδίου διαχωρισμού να είναι μέγιστο, και β) το πλήθος των σημείων που βρίσκονται εντός του πεδίου αυτού να είναι ελάχιστο. Η αξιολόγηση του αλγορίθμου τμηματοποίησης έγινε με τη συνεισφορά ειδικευμένης ιστοπαθολόγου, η οποία σύγκρινε την αρχική εικόνα με την τμηματοποιημένη εικόνα και σημείωσε τον αριθμό των σωστά και λάθος τμηματοποιημένων πυρήνων. Σύμφωνα με αυτή την διαδικασία η μέση ακρίβεια τμηματοποίησης για τις 140 εικόνες κυμάνθηκε στο 88%. Τα αποτελέσματα μπορούν να θεωρηθούν ως πολύ υποσχόμενα, δεδομένου ότι η τεχνική χρώσης-βαφής που χρησιμοποιήθηκε δεν είναι τόσο ευαίσθητη όσο οι τεχνικές χρώσεις που έχουν υιοθετηθεί από τις προηγούμενες δουλειές. Επίσης πρέπει να σημειωθεί ότι ο στόχος ήταν να εξαχθεί ένα αντιπροσωπευτικό δείγμα πυρήνων από τους οποίους, στο επόμενο στάδιο, υπολογίζονται πυρηνικά χαρακτηριστικά. Δεδομένου ότι οι τμηματοποιημένοι πυρήνες για κάθε ασθενή κυμάνθηκαν από 275 ως 415, το σφάλμα τμηματοποίησης μπορεί να θεωρηθεί ως ήσσονος σημασίας. Επίσης ένα σημαντικό συμπέρασμα που προκύπτει είναι ότι η εφαρμογή του ενεργού περιγράμματος στο τελικό στάδιο της τμηματοποίησης οδηγεί σε πιο ακριβή περιγραφή των πυρηνικών ορίων από ότι η χρήση των μορφολογικών φίλτρων που έχει προταθεί στην διεθνή βιβλιογραφία. Η συνεισφορά τις προσπάθειας αυτής συνίσταται στην ανάπτυξη αλγορίθμου για την τμηματοποίηση πυρήνων σε εικόνες Αιματοξυλίνης-Ηωσίνης περιορίζοντας το σφάλμα εκτίμησης του πυρηνικού σχήματος με την χρήση των ενεργών περιγραμμάτων. Ο αλγόριθμος μη εποπτευόμενης μάθησης εφαρμόστηκε σε δύο διαφορετικά είδη εικόνων Αιματοξυλίνης-Ηωσίνης. Πιο συγκεκριμένα εφαρμόστηκε σε 50 εικόνες αστροκυττωμάτων, και σε 50 εικόνες καρκίνων ουροδόχου κύστεως. Σε αντίθεση με τον προηγούμενο αλγόριθμο IX

21 δεν χρειάζεται αρχική δειγματοληψία. Η διαδικασία ξεκινάει με τον υπολογισμό χαρακτηριστικών με βάση τον μετασχηματισμό wavelet σε κάθε πιθανό 5x5 παράθυρο της εικόνας. Επίσης δημιουργήσαμε ένα νέο χαρακτηριστικό, το λεγόμενο PBH (Parzen based Homogeneity), το οποίο σχεδιάστηκε ώστε να κωδικοποιεί ανομοιογένειες, δίνοντας έτσι συμπληρωματική πληροφορία στα χαρακτηριστικά wavelet. Τα χαρακτηριστικά αυτά τροφοδοτούν ένα αλγόριθμο ομαδοποίησης Στήριξης Διανυσμάτων (Support Vector Clustering - SVC) [92] ο οποίος διαχωρίζει τα εικονοστοιχεία σε αυτά που ανήκουν στους πυρήνες και αυτά που ανήκουν στον περιβάλλον ιστό. Στο επόμενο στάδιο χρησιμοποιείται αλγόριθμος ενεργού περιγράμματος ο οποίος δίνει την τελική τμηματοποίηση. Η αξιολόγηση του αλγορίθμου έγινε συγκρίνοντας ως προς την επιφάνεια, την κυκλικότητα και την κοιλότητα πυρήνων που τμηματοποιήθηκαν χειροκίνητα με τους αντίστοιχους πυρήνες που τμηματοποιήθηκαν με την χρήση του αλγορίθμου. Σύμφωνα με αυτή την διαδικασία η μέση ακρίβεια τμηματοποίησης κυμάνθηκε στο 84,5%. Όπως προηγουμένως, τα αποτελέσματα μπορούν να χαρακτηριστούν πολύ υποσχόμενα δεδομένού ότι χρησιμοποιήθηκαν εικόνες με χρώση Αιματοξυλίνης-Ηωσίνης, η οποία δεν είναι τόσο ακριβής στην χρώση των πυρήνων αλλά επίσης και γιατί ο αλγόριθμος λειτουργεί αυτόματα, χωρίς την ανάγκη για παρεμβολή από το χρήστη. Δεν χρειάζεται εκπαίδευση ή χειροκίνητη δειγματοληψία, παρόλα αυτά δίνει πολύ υψηλή ακρίβεια τμηματοποίησης, κάτι που αποτελεί και την συνεισφορά της προσπάθειας αυτής. Επίσης ο αλγόριθμος δοκιμάστηκε σε δύο είδη ιστοπαθολογιών, σε αστροκυττώματα και σε καρκίνους ουροδόχου κύστεως. Αυτό αποτελεί μια σημαντική ένδειξη ότι ο αλγόριθμος μπορεί να γενικευτεί και σε άλλα είδη ιστοπαθολογικών εικόνων που χρησιμοποιούν την χρώση Αιματοξυλίνης-Ηωσίνης. ΑΥΤΟΜΑΤΗ ΔΙΑΓΝΩΣΗ Περνάμε τώρα στο επόμενο στάδιο της επεξεργασίας των τμηματοποιημένων πυρήνων για την αποκωδικοποίηση και μετάφραση της πυρηνικής πληροφορίας σε τελική διάγνωση. Αρχικά, η πληροφορία όσο αφορά την υφή της χρωματίνης και το σχήμα των πυρήνων κωδικοποιείται στο στάδιο εξαγωγής χαρακτηριστικών. Τα χαρακτηριστικά αυτά αποτελούν την είσοδο σε ένα ιεραρχικό δέντρο ταξινόμησης, σχεδιασμένο ώστε να διαχωρίζει χαμηλής από υψηλής κακοήθειας όγκους στο πρώτο επίπεδο και περαιτέρω grade III από grade IV όγκους στο δεύτερο επίπεδο. Σε κάθε επίπεδο σχεδιάζεται ένας ταξινομητής Μηχανών Στήριξης Διανυσμάτων ο οποίος αναλαμβάνει την μετάφραση των ποσοτικών αυτών χαρακτηριστικών σε ποιοτική έξοδο, δηλαδή διάγνωση. Εξήχθηκαν συνολικά 40 χαρακτηριστικά για κάθε ασθενή-περίπτωση, από τα οποίο 18 ήταν μορφολογικά ώστε να περιγράψουν το σχήμα και το μέγεθος των πυρήνων, και 22 υφής ώστε να περιγράψουν την κατανομή της χρωματίνης και του DNA των πυρήνων [69, 80]. X

22 Το κλινικό υλικό αποτελείτο από 150 συνολικά περιπτώσεις οι οποίες χωρίστηκαν σε δύο κατηγορίες, τα δεδομένα εκπαίδευσης, 90 περιπτώσεις, και τα δεδομένα ελέγχου, 60 περιπτώσεις. Τα δεδομένα αυτά χρησιμοποιήθηκαν για να εκπαιδεύσουν και να ελέγξουν την απόδοση του ταξινομητή Μηχανών Στήριξης Διανυσμάτων σε κάθε επίπεδο του ιεραρχικού δέντρου. Η επιλογή των πλούσιων σε πληροφορία χαρακτηριστικών έγινε κάνοντας χρήση της μεθόδου διαδοχικής εμπρόσθιο-επιλογής (Sequential Forward Selection - SFS) [65] και εξαντλητικής αναζήτησης (Exhaustive Search). Η απόδοση του συστήματος εκτιμήθηκε με τη χρήση μεθόδου εξωτερικού διασταυρωμένου ελέγχου αξιοπιστίας (External Cross Validation ECV) [83]. Για λόγους συγκριτικής αποτίμησης εξετάστηκαν διάφορες αρχιτεκτονικές του ταξινομητή Μηχανών Στήριξης Διανυσμάτων καθώς επίσης και διαφορετικοί ταξινομητές όπως το Πιθανοκρατικό Νευρωνικό Δίκτυο (Probabilistic Neural Network - PNN) και ο αλγόριθμος κ-πλησιέστερων γειτόνων (k-nearest Neighbor - knn). Ο ταξινομητής Μηχανών Στήριξης Διανυσμάτων με αρχιτεκτονική πολυωνυμικού πυρήνα τρίτου βαθμού έδωσε τα καλύτερα αποτελέσματα στο πρώτο επίπεδο του ιεραρχικού δέντρου. Η καλύτερη ακρίβεια επετεύχθη με 7 χαρακτηριστικά και ήταν 93.9%. Στο δεύτερο επίπεδο ξανά τα καλύτερα αποτελέσματα έδωσε ταξινομητής Μηχανών Στήριξης Διανυσμάτων με πολυωνυμικό πυρήνα τρίτου βαθμού, με 8 χαρακτηριστικά και 93.2% ακρίβεια. Οι διαφορές της προσέγγισης αυτής σε σχέση με τις προηγούμενες δουλειές μπορούν να συνοψιστούν σε τέσσερα σημαντικά σημεία. Πρώτον, επιλέξαμε να χρησιμοποιήσουμε εικόνες με χρώση Αιματοξυλίνης-Ηωσίνης, οι οποίες παρόλο που είναι κατώτερης ποιότητας σε σχέση με τις χρώσεις που έχουν χρησιμοποιηθεί από άλλες δουλειές, είναι οι εικόνες που χρησιμοποιούνται στην κλινική ρουτίνα. Δεύτερον, παρόλο που οι προηγούμενες δουλειές έχουν παρουσιάσει αρκετά υψηλά ποσοστά ακρίβειας, τα συστήματά τους βασίζονται σε εξειδικευμένα πρωτόκολλα grading. Τα πρωτόκολλα αυτά παρόλο που έχουν προταθεί εδώ και αρκετά χρόνια, υπάρχουν σημαντικές αμφισβητήσεις όσο αφορά την πληρότητά τους για εφαρμογές κλινικής ρουτίνας. Για αυτό το λόγο εμείς επιλέξαμε να δουλέψουμε με το πρωτόκολλο της κλινικής ρουτίνας που είναι το σύστημα του Παγκόσμιου Οργανισμού Υγείας. Τρίτον, εφαρμόσαμε τον ταξινομητή Μηχανών Στήριξης Διανυσμάτων για πρώτη φορά στην ιστοπαθολογία. Η εφαρμογή του είναι ιδιαίτερα ελκυστική καθώς είναι από τους αλγορίθμους που σχεδιάζονται έτσι ώστε να εξασφαλίσουν καλή γενίκευση και σε νέα δεδομένα, κάτι που αποδείχθηκε και από τα πειράματά μας. Τέταρτον, βελτιώσαμε την ακρίβεια ταξινόμησης σε σχέση με τις προηγούμενες δουλειές που χρησιμοποίησαν εικόνες Αιματοξυλίνης-Ηωσίνης ή και το σύστημα του Παγκόσμιου Οργανισμού Υγείας. Ένα άλλο σημαντικό σχόλιο που πρέπει να γίνει είναι ότι οι περισσότερες προηγούμενες εστιάστηκαν κυρίως στον διαχωρισμό όγκων χαμηλής από υψηλής κακοήθειας [6-9]. Νέες μελέτες όμως έχουν δείξει ότι οι grade III όγκοι είναι ενδεχομένως περισσότερο XI

23 χημειοευαίσθητοι σε σχέση με τους grade IV όγκους [23, 24]. Άρα ο διαχωρισμός τους είναι εξαιρετικά κρίσιμος. Ανταποκρινόμενοι σε αυτήν την εξέλιξη σχεδιάσαμε το σύστημά μας να κατηγοριοποιεί με υψηλή ακρίβεια τους όγκους αυτούς (με ακρίβεια της τάξεως του 93.2% στον διαχωρισμό όγκων grade III από όγκους grade IV). Τέλος ένα άλλο σημαντικό σχόλιο που πρέπει να γίνει είναι ότι διαφορετικά χαρακτηριστικά αναδείχθηκαν σε κάθε επίπεδο του ιεραρχικού δέντρου. Προκύπτει ότι οι διαφορές στην μορφολογία των πυρήνων είναι πιο σημαντικές για τον διαχωρισμό όγκων χαμηλής από υψηλής κακοήθειας. Από την άλλη μεριά, προκύπτει ότι οι διαφορές στην υφή των πυρήνων είναι πιο σημαντικές για τον διαχωρισμό grade III από grade IV όγκους. Αυτό είναι ένα ιδιαίτερα σημαντικό συμπέρασμα, καθώς ευθυγραμμίζεται πλήρως με τα συμπεράσματα που πρόσφατα εμφανίστηκαν στην βιβλιογραφία σχετικά με την χημειοευαισθησία των αστροκυττωμάτων σε διάφορους χημειοθεραπευτικούς παράγοντες [23, 24]. Καταλήγοντας, η συνεισφορά σε αυτή τη δουλειά είναι η ανάπτυξη ενός συστήματος αυτόματης διάγνωσης κακοήθειας αστροκυττωμάτων, που υιοθετεί πρωτόκολλα κλινικής ρουτίνας και διαχωρίζει όχι μόνο όγκους χαμηλής από όγκους υψηλής κακοήθειας αλλά και grade III από grade IV όγκους με υψηλή ακρίβεια. ΜΕΘΟΔΟΣ ΕΥΡΩΣΤΗΣ ΟΜΑΔΟΠΟΙΗΣΗΣ Παρόλο που το προτεινόμενο σύστημα με βάση τον ταξινομητή Μηχανών Στήριξης Διανυσμάτων αποδείχθηκε αποτελεσματικό στον διαχωρισμό όγκων grade II, grade III, και grade IV, δεν μπόρεσε να εφαρμοστεί για την μελέτη τον όγκων ενδιάμεσης κακοήθειας καθώς αυτοί οι όγκοι φαίνεται ότι δεν ακολουθούν το νόμο της βιολογικής συνέχειας και επομένως δεν μπορούν με σιγουριά να ταξινομηθούν σε κάποια συγκεκριμένη κατηγορία ακόμα και από τους πιο έμπειρους ειδικούς. Το γεγονός αυτό οδήγησε στην διερεύνηση των όγκων αυτών ως πιθανά outlier στα δεδομένα και οδήγησε στην ανάπτυξη ενός αλγορίθμου εύρωστης ομαδοποίησης ο οποίος σχεδιάστηκε έτσι ώστε να προβλέπει την ύπαρξη outliers. Ομαδοποίηση είναι η διαδικασία με την οποία ένα ενιαίο σύνολο δεδομένων διαμερίζεται σε μικρότερα σύνολα με κοινά χαρακτηριστικά. Η εύρωστη (robust) ομαδοποίηση διαφέρει από την κλασσική ομαδοποίηση στο ότι προβλέπει την ύπαρξη θορύβου ή αλλιώς των λεγόμενων outliers [112]. Τα outliers είναι δεδομένα των οποίων οι τιμές αποκλίνουν σημαντικά από την πλειοψηφία των υπολοίπων δεδομένων. Στην αναγνώριση προτύπων ως outliers μπορούν να θεωρηθούν εκείνα τα διανύσματα χαρακτηριστικών που δεν αντιπροσωπεύουν καμία από τις τάξεις ενδιαφέροντος. Οι αλγόριθμοι εύρωστης ομαδοποίησης είναι εξαιρετικά χρήσιμοι πειραματική επιστήμη, δεδομένου ότι τα δεδομένα σχεδόν πάντα εμπεριέχουν outliers. Η παρουσία ακόμα και ενός outliers είναι ικανή να προκαλέσει την αποτυχία των αλγορίθμων ομαδοποίησης. XII

24 Οι προηγούμενες δουλειές έχουν εφαρμόσει πιθανοκρατικές μεθόδους βασισμένες σε Ασαφής c-means (Fuzzy c-means), Μπαεζιανά Νευρωνικά Δίκτυα (Bayesian Neural Networks - BNN), Επαναλαμβανόμενα Νευρωνικά Δίκτυα (Replicator Neural Networks - RNN), και υβριδικές μεθόδους όπως ο συνδυασμός Ομαδοποίησης Ασαφούς Λογικής (Fuzzy Clustering FC) και Εύρωστης Παλινδρόμησης (Robust Regression) [112, 113, 115, ]. Η μέθοδος που προτείνουμε διαφέρει από τις προηγούμενες σε δύο σημεία: 1. η ομαδοποίηση γίνεται σε ένα μετασχηματισμένο πεδίο χαρακτηριστικών βασιζόμενο στην συνάρτηση αυτοσυσχέτισης 2. δεν κάνουμε καμία a priori υπόθεση για την κατανομή των δεδομένων αλλά την υπολογίζουμε μη παραμετρικά Αρχικά τα δεδομένα εισόδου μετασχηματίζονται σε ένα νέο πεδίο χαρακτηριστικών που προκύπτει χρησιμοποιώντας την συνάρτηση αυτοσυσχέτισης. Στο νέο πεδίο χαρακτηριστικό εφαρμόζεται ένας αλγόριθμος εύρωστης ομαδοποίησης βασισμένος στην ιδέα της εκτίμησης της πυκνότητας πιθανότητας των δεδομένων. Η έξοδος του αλγορίθμου είναι η ταξινόμηση των σημείων σε διαφορετικά clusters και ο διαχωρισμός των outliers. Ο μετασχηματισμός στο νέο πεδίο χαρακτηριστικών γίνεται με βάση την συνάρτηση αυτοσυσχέτισης [137]. Το κίνητρο με βάση το οποίο επιλέξαμε την συνάρτηση αυτή είναι επειδή κωδικοποιεί το βαθμό συσχέτισης μεταξύ μεμονωμένων δεδομένων, άρα ενδεχομένως να μπορεί να χρησιμοποιηθεί για να κωδικοποιήσει το βαθμό συσχέτισης μεταξύ διαφορετικών ομάδων δεδομένων. Με αυτόν τον τρόπο, ανεξάρτητα τη διάσταση του διανύσματος εισόδου η ομαδοποίηση πραγματοποιείται σε 2 ή τρεις διαστάσεις, ανάλογα με τα χαρακτηριστικά αυτοσυσχέτισης που υπολογίζονται. Ο προτεινόμενος αλγόριθμος διαφέρει από το κλασσικό Πιθανοκρατικό Νευρωνικό Δίκτυο [88] στο ότι μπορεί να χρησιμοποιηθεί και σε περιπτώσεις ομαδοποίησης. Το πρώτο επίπεδο έχει τόσους κόμβους όσα και τα μετασχηματισμένα διανύσματα εισόδου. Στο δεύτερο επίπεδο εκτιμάται η πυκνότητα πιθανότητας κάθε διανύσματος εισόδου χρησιμοποιώντας ένα Gaussian παράθυρο Parzen [88]. Στο τρίτο επίπεδο υπολογίζεται η συνολική πυκνότητα πιθανότητας όλων των δεδομένων αθροίζοντας τις πυκνότητες πιθανότητας κάθε διανύσματος εισόδου που υπολογίστηκε στο δεύτερο επίπεδο. Στο τέταρτο επίπεδο υπολογίζονται ως κέντρα των clusters τα μέγιστα της κατανομής. Κατόπιν υπολογίζεται η απόσταση των δεδομένων από τα γειτονικά τους δεδομένα, η απόστασή τους από τα κέντρα των clusters και η απόστασή τους από τα πιο απομακρυσμένα σημεία στο πεδίο της πυκνότητας πιθανότητας. Στο τελευταίο επίπεδο τα δεδομένα διαχωρίζονται σε ομάδες και outliers. XIII

25 Ας δούμε αναλυτικά τι γίνεται στο τέταρτο επίπεδο. Αφού υπολογιστεί η πυκνότητα πιθανότητας των δεδομένων, αρχικά προσδιορίζεται το μέγιστο της κατανομής που θεωρείται ως το κέντρο του πρώτου cluster. Κατόπιν με βάση μια εκτίμηση της διασποράς, αφαιρείται από την υπόλοιπη ανάλυση το κομμάτι της κατανομής που καλύπτεται από τη διασπορά. Στο υπολειπόμενο κομμάτι της κατανομής επαναϋπολογίζουμε το μέγιστο και το θεωρούμε ως το κέντρο του δεύτερου cluster. Η διαδικασία αυτή συνεχίζεται επαναληπτικά τόσες φορές όσο ο αριθμός των clusters που αναζητούμε. Κατόπιν, τα δεδομένα ανατίθενται σε κάποιο cluster ή σαν outliers με βάση ένα κανόνα κ-πλησιέστερου γείτονα: αν οι κ κοντινότεροι γείτονες ενός συγκεκριμένου δεδομένου x i ανήκουν στο cluster j τότε το δεδομένο x i ταξινομείται στο cluster j. Αν οι κ κοντινότεροι γείτονες του x i βρίσκονται ποιο κοντά στα ποιο απομακρυσμένα σημεία της κατανομής, τότε το x i ταξινομείται ως outlier. Το Πιθανοκρατικό Νευρωνικό Δίκτυο είναι ένας πολύ αποτελεσματικός αλγόριθμος και έχει εφαρμοστεί από πολλούς ερευνητές στην επεξεργασία και ανάλυση ιατρικών εικόνων. Ο αλγόριθμος όμως αυτός μπορεί να εφαρμοστεί με εποπτευόμενο χαρακτήρα. Σε αυτή την δουλειά προτείνουμε ένα αλγόριθμο ο οποίος στηρίζεται στις ίδιες ιδέες με το Πιθανοκρατικό Νευρωνικό Δίκτυο αλλά μπορεί να εφαρμοστεί με μη εποπτευόμενο χαρακτήρα. Τα αποτελέσματα της εφαρμογής του αλγορίθμου για την εύρεση αστροκυττωματικών όγκων ενδιάμεσης κακοήθειας ήταν πολύ υποσχόμενα. Ο αλγόριθμος αναγνώρισε αυτόματα τους όγκους αυτούς με 88.3% ακρίβεια. Επιλέξαμε να μελετήσουμε ενδεχόμενη ύπαρξη όγκων ενδιάμεσης κακοήθειας, καθώς αυτοί οι όγκοι είναι που προκαλούν και την πλειονότητα των διαγνωστικών παρερμηνειών και ενδεχομένως μπορούν να θεωρηθούν ως outliers στα δεδομένα. Τα αποτελέσματα έδειξαν ότι πράγματι υπάρχει ποσοτική διαφοροποίηση και οι όγκοι αυτοί ενδεχομένως να συνιστούν μια σημασιολογική κατηγορία. Τέλος, ο αλγόριθμος εφαρμόστηκε στη απαιτητικό πρόβλημα της ανάλυσης σημάτων βιοσυγγένειας για την αναγνώριση βιομορίων. Οι αναλύσεις βιοσυγγένειας χρησιμοποιούνται για την ανίχνευση βιομορίων μέσω βιοχημικών αντιδράσεων [148]. Τα υπό ανίχνευση βιομόρια αντιδρούν με συγκεκριμένους φωσφορίζοντες ιχνηθέτες οι οποίοι βρίσκονται προσδεμένοι στην επιφάνεια μικροσφαιριδίων που επιπλέουν σε υδάτινα διαλύματα. Μετρώντας την εκπομπή φωτός από τους σημαντές σε συνδυασμό με το μήκος κύματος, είναι δυνατή τόσο η ανίχνευση του τύπου όσο και της ποσότητας του βιομορίου στο εξεταζόμενο διάλυμα. Στις αντιδράσεις συγγένειας που βασίζονται σε μικροσφαιρίδια οι μετρήσεις είναι κατά κανόνα περιορισμένες και εμπλουτισμένες με outliers, γεγονός που δημιουργεί την ανάγκη εκτίμησης των σημάτων με τεχνικές εύρωστης ομαδοποίησης. Ο προτεινόμενος αλγόριθμος εύρωστης ομαδοποίησης εφαρμόστηκε στην ανάλυση τέτοιων σημάτων σε μια νέου τύπου αντίδραση βιοσυγγένειας την οποία παρείχε η εταιρεία ArcDia Oy [148]. XIV

26 Ο στόχος ήταν η εύρωστη εκτίμηση του σήματος βιοαντιδράσεων, απομονώνοντας ταυτόχρονα θορυβώδη δεδομένα. Δύο σημαντικά ζητήματα τέθηκαν στην ανάλυση αυτή: 1. Ποιος είναι ο ελάχιστος αριθμός μετρήσεων που πρέπει να γίνουν ώστε η εκτίμηση του σήματος βιοσυγγένειας να παραμείνει εύρωστη. 2. Σύγκριση του προτεινόμενου αλγόριθμου εύρωστης ομαδοποίησης με άλλες μεθόδους που έχουν ήδη εφαρμοστεί στην κλινική χημεία [ ]. Από την ανάλυση, προκύπτει πρώτον ότι τα δεδομένα εμπεριέχουν πολλά outliers. Δεύτερον ότι από όλες τις μεθόδους που εξετάσαμε, ο αλγόριθμος εύρωστης ομαδοποίησης έδωσε τα καλύτερα και περισσότερο συνεπή αποτελέσματα σύμφωνα με ανάλυση bootstrap και Συντελεστών Μεταβολής (Coefficient of Variation - CV) [164]. Η χρήση του αλγορίθμου εύρωστης ομαδοποίησης είναι πολύ απλή αλλά και αποτελεσματική για πολυδιάστατα δεδομένα. Τρίτον, δείξαμε ότι μπορούμε να περιορίσουμε σημαντικά των αριθμό των μετρήσεων που πρέπει να γίνουν ώστε να σταματήσει η διαδικασία, καθώς αλγόριθμος εύρωστης ομαδοποίησης ανέχεται ακόμα και την ύπαρξη 40% outliers στα δεδομένα. Το γεγονός αυτό είναι εξαιρετικά σημαντικό, καθώς η μείωση των απαραίτητων μετρήσεων μεταφράζεται σε μείωση του συνολικού χρόνου εξέτασης άρα σε μείωση του κόστους χωρίς όμως παράλληλης μείωση στην ακρίβεια των μετρήσεων και δυνατότητα εφαρμογής στην καθημερινή ρουτίνα. ΣΥΜΠΕΡΑΣΜΑΤΑ Τέλος κάνοντας μια περίληψη, η παρούσα διατριβή διαπραγματεύεται τον σχεδιασμό, ανάπτυξη και υλοποίηση νέων μεθόδων και αλγορίθμων για την επεξεργασία και ανάλυση ιατρικών εικόνων, επικεντρώνοντας ειδικότερα στην εφαρμογή των μεθόδων αυτών για την διάγνωση όγκων εγκεφάλου τύπου αστροκυττώματος. Η πρώτη συνεισφορά της διατριβής είναι η ανάπτυξη αλγορίθμων για την ακριβή τμηματοποίηση πυρήνων σε εικόνες Αιματοξυλίνης-Ηωσίνης. Η δεύτερη συνεισφορά σχετίζεται με την ανάπτυξη υπολογιστικού συστήματος αυτόματης διάγνωσης για τον ακριβή διαχωρισμό των αστροκυττωμάτων σε βαθμούς κακοήθειας σύμφωνα με κλινικά πρωτόκολλα ρουτίνας. Η τρίτη συνεισφορά αφορά την ανάπτυξη ενός νέου αλγορίθμου εύρωστης τμηματοποίησης ο οποίος δείξαμε ότι μπορεί να εφαρμοστεί τόσο στην επεξεργασία και ανάλυση ιατρικών εικόνων αλλά και στην επεξεργασία και ανάλυση ιατρικών σημάτων. Τέταρτον, αναπτύξαμε μια νέα μέθοδο με βάση τον αλγόριθμο αυτό για την αναγνώριση βιομορίων. XV

27 ΜΕΛΛΟΝΤΙΚΗ ΔΟΥΛΕΙΑ Θα ήταν εξαιρετικά ενδιαφέρον να συσχετιστούν οι διαφορές στην υφή της χρωματίνης με την χημειοευαισθησία που φαίνεται να έχουν ορισμένοι αστροκυττωματικοί όγκοι σε συγκεκριμένους χημειοθεραπευτικούς παράγοντες όπως ο BCNU [23,24]. Δεύτερον, παρόλο που επιλέξαμε προσεχτικά τα δεδομένα όσο αφορά την μεταβλητότητα στην διαγνωστική ερμηνεία μεταξύ διαφορετικών ειδικών, αδιαφιλονίκητα συμπεράσματα μπορούν να εξαχθούν κάνοντας χρήση του follow up. Τρίτον, υπάρχει μεγάλο κενό στην βιβλιογραφία όσο αφορά την δημιουργία προσομοιωμένων μοντέλων ιστοπαθολογικών εικόνων, κάτι που θα βοηθούσε την αντικειμενική και ποσοτική αξιολόγηση της απόδοσης των αλγορίθμων τμηματοποίησης. Τέταρτον, η εφαρμογή του συστήματος στην κλινική ρουτίνα, κάτι που δεν φαντάζει τόσο μακρινό αν σκεφτούμε ότι τα πρωτόκολλα που υιοθετήσαμε είναι αυτά που χρησιμοποιούνται στην κλινική πράξη. Τέλος, ένα ακόμα απαιτητικό και εξαιρετικά ενδιαφέρον πεδίο εφαρμογής για τους προτεινόμενους αλγορίθμους και μεθόδους θα είναι η επεξεργασία και ανάλυση εικόνων μικροσυστοιχιών (microarrays) καθώς οι εικόνες αυτές έχουν παρόμοια προβλήματα XVI

28 CHAPTER 1 PREFACE 1.1. ABSTRACT The determination of the degree of tumour abnormality (grade) is the most critical step when diagnosing brain tumours astrocytomas, because it specifies treatment planning and patient management [1]. Histopathologists decide on the aggressiveness of astrocytic tumours by visually examining tissue section slides (biopsies) with the microscope [2]. According to guidelines published by the World Health Organization (WHO) [3], three grades are established on the basis of four histological criteria (the existence or absence of cellular pleomorphism, mitoses, endothelial proliferation and necrosis): low (grade II) and high grade (grade III and grade IV). Low-grade astrocytomas are the least malignant tumours and have generally good prognosis with survival up to 5 years. Astrocytomas of grade III and IV (high grade) are the most aggressive tumours, characterized by a rapid growth pattern and a tendency to invade nearby healthy tissue; survival time for high grade tumours ranges on average from 6 months to 1 year [2]. Although the WHO grading system is the most popular for grading astrocytomas, the WHO guidelines are limited by the ambiguity of the descriptions, used to define each grade. Some of these definitions become clearer only by experience [4]. The latter promotes inter and intra observer variability that has been shown to significantly influence the quality of diagnosis, with the possibility of provoking diagnostic errors [5]. Diagnostic errors originate from multiple sources with most important being the following: a) malignancy forms along a biological continuum, where there is no specific biological criterion to establish clear and understandable boundaries between low (grade II) and high grade tumours (grade III) or grade III and grade IV tumours; b) the tumour internal heterogeneity, which means that tumours are formed from various cell populations of different grades; c) biopsy size and sample, since not always the most representative tissue region is selected for examination [4]. Recent developments in computer-assisted microscopy have introduced solutions to objectify grading of astrocytic tumours and have investigated new diagnostic features that can be potentially used to define distinct boundaries between different grade tumours [6-12]. Research has been focused into two main aspects: segmentation of microscopy images [13-21], for the separation of nuclei from surrounding tissue, and classification of microscopy images, for automated grade 1