ΕΡΓΑΣΤΗΡΙΟ: Ενσύρματης Τηλεπικοινωνίας & Τεχνολογίας της Πληροφορίας

Transcript

1 ΠΑΝΕΠΙΣΤΗΜΙΟ ΠΑΤΡΩΝ ΤΜΗΜΑ ΗΛΕΚΤΡΟΛΟΓΩΝ ΜΗΧΑΝΙΚΩΝ ΚΑΙ ΤΕΧΝΟΛΟΓΙΑΣ ΥΠΟΛΟΓΙΣΤΩΝ ΤΟΜΕΑΣ: Ηλεκτρονικής & Υπολογιστών ΕΡΓΑΣΤΗΡΙΟ: Ενσύρματης Τηλεπικοινωνίας & Τεχνολογίας της Πληροφορίας Διπλωματική Εργασία του φοιτητή του Τμήματος Ηλεκτρολόγων Μηχανικών και Τεχνολογίας Υπολογιστών της Πολυτεχνικής Σχολής του Πανεπιστημίου Πατρών Εμμανουηλίδη Νεκτάριου του Σπυρίδωνος Αριθμός Μητρώου: Θέμα «Ανίχνευση νεοπλασιών σε ψηφιακή μαστογραφία με τεχνικές βαθείας μάθησης»

2 Επιβλέπων Ευάγγελος Δερματάς Αριθμός Διπλωματικής Εργασίας: /2021 Πάτρα, Μάιος 2021 ΠΙΣΤΟΠΟΙΗΣΗ Πιστοποιείται ότι η Διπλωματική Εργασία με θέμα «Ανίχνευση νεοπλασιών σε ψηφιακή μαστογραφία με τεχνικές βαθείας μάθησης» 1

3 Του φοιτητή του Τμήματος Ηλεκτρολόγων Μηχανικών και Τεχνολογίας Υπολογιστών Εμμανουηλίδη Νεκτάριου του Σπυρίδωνος Αριθμός Μητρώου: Παρουσιάστηκε δημόσια και εξετάστηκε στο Τμήμα Ηλεκτρολόγων Μηχανικών και Τεχνολογίας Υπολογιστών στις.../../ 2

4 Ο Επιβλέπων Διευθυντής του Τομέα Παλιουράς Βασίλειος Αναπληρωτής Καθηγητής Δερματάς Ευάγγελος Αναπληρωτής Καθηγητής Λυμπερόπουλος Δημήτριος Αναπληρωτής Καθηγητής Αριθμός Διπλωματικής Εργασίας: /2021 Θέμα: «Ανίχνευση νεοπλασιών σε ψηφιακή μαστογραφία με τεχνικές βαθείας μάθησης» Φοιτητής: Εμμανουηλίδης Νεκτάριος Επιβλέπων: Δερματάς Ευάγγελος 3

5 Περίληψη: Σκοπός της παρούσας διπλωματικής εργασίας είναι η εύρεση ποιοτικής ερμηνείας των χαρακτηριστικών επιπέδων ενός νευρωνικού δικτύου που θα μπορεί να αναδείξει ότι τα νευρωνικά δίκτυα που είναι εκπαιδευμένα για την εύρεση του καρκίνου του μαστού σε μαστογραφίες είναι σε θέση να παράγουν επεξηγηματικές περιγραφές που μπορούν υποστηρίξουν τις τελικές αποφάσεις της ταξινόμησης. Αυτό το βλέπουμε ως ένα σημαντικό πρώτο βήμα προς την ερμηνεία των εσωτερικών αναπαραστάσεων ενός νευρωνικού δικτύου και την δικαιολόγηση των προβλέψεων του. Η υλοποίηση του συστήματος έγινε σε περιβάλλον Python χρησιμοποιώντας τη βιβλιοθήκη PyTorch. Το παρών σύστημα εκπαιδεύτηκε και αξιολογήθηκε χρησιμοποιώντας μία βάση δεδομένων που αποτελείται από ψηφιοποιημένες μαστογραφίες οι οποίες αρχικά καταγράφηκαν από αναλογικό μαστογράφο. Στο πρώτο κεφάλαιο παρατίθενται γενικά στοιχεία για την ανατομία και τη φυσιολογία του μαστού, την έκταση και τα είδη του καρκίνου του μαστού, τις αιτίες εμφάνισης, τις διαγνωστικές μεθόδους καθώς και κάποια σχετικά επιδημιολογικά στοιχεία. Στο δεύτερο κεφάλαιο παρουσιάζονται τα νευρωνικά δίκτυα και η λειτουργία τους, δίνοντας ιδιαίτερη έμφαση στα επίπεδα που απαρτίζουν τα συνελικτικά νευρωνικά δίκτυα και την διαδικασία εκπαίδευσης τους. Στο τρίτο κεφάλαιο παρουσιάζονται τα στάδια της πειραματικής διαδικασίας που ακολουθήθηκαν και γίνεται ανάλυση της αρχιτεκτονικής και της λειτουργίας του νευρωνικού δικτύου CNN, καθώς και της μεθόδου εξαγωγής των εσωτερικών αναπαραστάσεων. Στο τέταρτο και τελευταίο κεφάλαιο παρατίθενται τα αποτελέσματα των πειραμάτων που πραγματοποιήθηκαν, παρουσιάζονται τα συμπεράσματα που εξάγονται με βάση αυτά και γίνεται αναφορά σε δυνητικές βελτιώσεις. 4

6 Abstract: The aim of this dissertation is to find a qualitative interpretation of the characteristic levels of a neural network that can show that neural networks trained to detect breast cancer on mammograms are able to produce explanatory descriptions that can support the final decisions of classification. We see this as an important first step towards interpreting the internal representations of a neural network and justifying its predictions. The system was implemented in a Python environment using the PyTorch library. The present system was trained and evaluated using a database consisting of digitized mammograms which were originally recorded by an analog mammogram. The first chapter provides general information on the anatomy and physiology of the breast, the extent and types of breast cancer, the causes, the diagnostic methods and some relevant epidemiological data. The second chapter presents the neural networks and their function, with particular emphasis on the levels of the cohesive neural networks and their training process. The third chapter presents the stages of the experimental process followed and analyzes the architecture and operation of the CNN neural network, as well as the method of extracting the internal representations. The fourth and last chapter presents the results of the experiments performed, presents the conclusions drawn based on them and mentions potential improvements. 5

7 Contents Κεφάλαιο 1 : Ο καρκίνος του μαστού Εισαγωγή Ανατομία Παράγοντες Συμπτώματα Είδη Καρκίνου του Μαστού Στατιστικά Διάγνωση και θεραπεία Κεφάλαιο 2: Συστήματα Αυτόματης Διάγνωσης Διάγνωση με τη χρήση υπολογιστή Εισαγωγή στα Νευρωνικά Δίκτυα Νευρωνικά Δίκτυα Perceptron Συνελικτικά Νευρωνικά Δίκτυα Αρχιτεκτονική Συνελικτικών Νευρωνικών Δικτύων Παραδείγματα Κεφάλαιο 3: Πειραματική Διαδικασία Περιγραφή του προβλήματος Μέθοδος Λογισμικό και εξοπλισμός Βάσεις Δεδομένων και Δεδομένα Εκπαίδευση Εξαγωγή Κεφάλαιο 4 : Αποτελέσματα Συμπεράσματα Εισαγωγή στην αξιολόγηση Επίδοση νευρωνικού δικτύου Αποτελέσματα Χαρτών Χαρακτηριστικών Συμπεράσματα και μελλοντικές επεκτάσεις Παραπομπές :

8 Κεφάλαιο 1 : Ο καρκίνος του μαστού 1.1 Εισαγωγή Ο όρος καρκίνος, ή κακοήθης όγκος, ή κακοήθης νεοπλασία, αναφέρεται στο σύνολο των εξαιρετικά σοβαρών και θανατηφόρων ασθενειών κατά τις οποίες κύτταρα του οργανισμού ξεκινούν να πολλαπλασιάζονται ανεξέλεγκτα και εισβάλουν σε κοντινούς ιστούς. Κανονικά, τα ανθρώπινα κύτταρα μεγαλώνουν και διαιρούνται για να σχηματίσουν νέα κύτταρα σύμφωνα με τις ανάγκες του οργανισμού. Όταν τα κύτταρα γερνούν ή έχουν υποστεί ζημιά, τότε πεθαίνουν και νέα κύτταρα παίρνουν τη θέση τους. Η ανάπτυξη του καρκίνου προκαλείται από την κατάρρευση αυτής της διαδικασίας. Όταν τα κύτταρα γίνονται όλο και λιγότερο φυσιολογικά, τότε ηλικιωμένα ή κατεστραμμένα κύτταρα επιζούν ενώ θα έπρεπε να πεθάνουν και νέα κύτταρα δημιουργούνται ενώ δεν υπήρχε η ανάγκη ύπαρξής τους. Αυτά τα επιπλέον κύτταρα, γνωστά και ως καρκινικά, έχουν τα δυνατότητα να διαιρούνται χωρίς έλεγχο και στις περισσότερες περιπτώσεις να σχηματίζουν μάζες από περίσσιο ιστό, νεοπλασίες που ονομάζονται όγκοι. Η δυνατότητά τους αυτή οφείλεται στο γεγονός ότι, σε αντίθεση με τα φυσιολογικά κύτταρα, τα καρκινικά δεν ωριμάζουν σε κάποιο συγκεκριμένο κυτταρικό τύπο ή εξειδικευμένη λειτουργία ενώ επιπλέον έχουν τη δυνατότητα να αγνοούν σήματα του οργανισμού που κανονικά αναγκάζουν ένα κύτταρο να πάψει να διαιρείται ή να ξεκινήσει τη διαδικασία του κυτταρικού θανάτου. Ο καρκίνος μπορεί να ξεκινήσει σε οποιοδήποτε μέρος του σώματος το οποίο αποτελείται από πάνω από 1 τρισεκατομμύριο κύτταρα. Υπάρχουν τουλάχιστον 100 διαφορετικά είδη καρκίνου τα οποία συνήθως παίρνουν το όνομά τους από το όργανο ή τον ιστό από όπου ξεκίνησε η ασθένεια. Οι καρκινικοί όγκοι που σχηματίζονται είναι κακοήθεις που σημαίνει ότι μπορούν να διαδοθούν και να εισβάλλουν σε κοντινούς ιστούς. Επιπλέον, καθώς οι όγκοι αυτοί μεγαλώνουν, κάποια καρκινικά κύτταρα έχουν τη δυνατότητα να αποσπαστούν από τη μάζα τους και να ταξιδέψουν στο υπόλοιπο σώμα μέσω του αίματος ή του λεμφικού συστήματος και να σχηματίσουν νέους όγκους ανεξάρτητα του πρωταρχικού. Αυτή η κινητοποίηση, εγκατάσταση και ανάπτυξη νέων κακοήθων όγκων σε άλλα μέρη του σώματος ονομάζεται μετάσταση. Τα καρκινικά κύτταρα μπορούν να θρέφουν συνεχώς τους όγκους και να συντελούν στην ανάπτυξη και εξάπλωσή τους, επηρεάζοντας κατάλληλα τα γύρω φυσιολογικά κύτταρα και δομές, ενώ παράλληλα είναι συχνά ικανά να βλάψουν το ανοσοποιητικό σύστημα ώστε να αγνοεί και να επιτρέπει την ύπαρξή τους. Η παρούσα διπλωματική εργασία ασχολείται με τον καρκίνο του μαστού που είναι ο καρκίνος ο οποίος εμφανίζεται στον ιστό του μαστού. Εμφανίζεται κυρίως σε γυναίκες με αυξανόμενη πιθανότητα εμφάνισης κατά ηλικία ενώ σε σπάνιες περιπτώσεις μπορεί να εμφανιστεί και σε άντρες που διαθέτουν λόγω κληρονομικών παραγόντων μαστικό ιστό. Ο μαστικός ιστός αποτελείται από λοβούς, γαλακτοφόρους Κάθε διόγκωση του μαστού δε σημαίνει αυτόματα την ύπαρξη κακοήθειας. Υπάρχουν και καλοήθεις όγκοι οι οποίοι, εν αντιθέσει με τους κακοήθεις, είναι ομαλοί με την έννοια ότι δεν εξαπλώνονται και δε διεισδύουν σε κοντινούς ιστούς και όργανα παρόλο που μπορεί να 7

9 λάβουν αρκετά μεγάλες διαστάσεις. Επιπλέον η αφαίρεσή τους στην πλειοψηφία των περιπτώσεων συνεπάγεται τη μη επανεμφάνισή τους πράγμα που δεν ισχύει για τους κακοήθεις όγκους. Ο συγκεκριμένος τύπος καρκίνου που βλάπτει το μαστικό ιστό, αναπτύσσεται προοδευτικά και μπορεί να εμφανίσει μετάσταση σε άλλα σημεία του σώματος. Τα πιο συνηθισμένα σημεία μετάστασης του καρκίνου του μαστού είναι τα οστά, το ήπαρ, οι πνεύμονες και ο εγκέφαλος. Αν η ασθένεια δε διαγνωσθεί εγκαίρως και η εξάπλωσή της δεν ελεγχθεί, πολύ συχνά οδηγεί στο θάνατο του ασθενούς. Σύμφωνα με στατιστικά δεδομένα ο καρκίνος του μαστού αποτελεί την πρώτη αιτία θανάτου από καρκίνο για τις γυναίκες σε ηλικίες από 20 έως 59 ετών και τη δεύτερη σε γυναίκες άνω των 59 ετών μετά τον καρκίνο του πνεύμονα που αποτελεί συνολικά τον τύπο καρκίνου με τα μεγαλύτερα ποσοστά θνησιμότητας παγκοσμίως. Όπως κάθε είδος καρκίνου, έτσι κι αυτός συμβαίνει λόγω κάποιας γενετικής ανωμαλίας σε κάποιο κύτταρο. Παρότι η αιτία βρίσκεται σε επίπεδο γονιδίων, μόνο το 5-10% των καρκίνων του μαστού κληρονομούνται από τους γονείς. Οι περισσότεροι οφείλονται σε κάποια γονιδιακή βλάβη που συμβαίνει κατά τη διάρκεια ζωής του ατόμου. Ο κίνδυνος να αναπτύξει μια γυναίκα καρκίνο στο μαστό αυξάνει με την ηλικία με τις γυναίκες ηλικίας ετών να κινδυνεύουν περισσότερο από εκείνες ηλικίας έως 39 ετών. Από την ηλικία των 60 ετών και άνω, ο κίνδυνος εμφανίζεται ακόμα πιο αυξημένος. 1.2 Ανατομία Οι μαστοί βρίσκονται στην πρόσθια και εν μέρει στις πλευρικές επιφάνειες του θώρακα και είναι τροποποιημένοι αδένες του δέρματος. Κάθε μαστός εκτείνεται από το 2ο μέχρι το 7ο πλευρό και από το έξω στερνικό χείλος μέχρι την πρόσθια μασχαλιαία γραμμή. Ο μαζικός αδένας έχει σχήμα δισκοειδές εκτός από μία προεξοχή που σχηματίζεται στο εξωτερικό άνω τεταρτημόριο περί της πρόσθιας μασχαλιαίας γραμμής, η αποκαλούμενη ουρά του Spence. Ο μαζικός αδένας περιβάλλεται από περιμαστικό λίπος και δέρμα και αποτελείται από το σύμπλεγμα θηλή-θηλαία άλως, ποικίλο αδενικό παρέγχυμα και λοβούς οι οποίοι διατάσσονται ακτινοειδώς γύρω από τη θηλή. Το σύμπλεγμα θηλή-θηλαία άλως βρίσκεται μεταξύ της 4ης και της 5ης πλευράς. Οι φυσικές γραμμές τάσεως του δέρματος, γνωστές ως γραμμές Langer, επεκτείνονται εξωτερικά και περιμετρικά από το σύμπλεγμα θηλή άλως. Οι γραμμές αυτές έχουν ιδιαίτερη κλινική σημασία για το χειρουργό, καθώς καθορίζουν τη θέση της τομής στις βιοψίες του μαστού. Όσον αφορά στους λοβούς, καθένας από αυτούς εκβάλλει με δικό του εκφορητικό πόρο στη θηλή και υποδιαιρείται σε λόβια. Περαιτέρω τα λόβια υποδιαιρούνται σε πόρους και αδενικά λοβίδια, το σύνολο των οποίων αποτελεί την τελική πορολοβιακή μονάδα του μαζικού αδένα. Οι λοβοί χωρίζονται μεταξύ τους από συνδετικό ιστό ο οποίος συγκεντρώνεται σε ορισμένα σημεία και σχηματίζει τους καλούμενους συνδέσμους του Coοper, που σε συνδυασμό με το πέταλο της επιπολής θωρακικής περιτονίας συμβάλλουν στη στήριξη των μαστών. Ο αδενικός ιστός του μαστού αποτελείται από ένα σύστημα πόρων που βρίσκονται μέσα σε συνδετικό ιστό και δεν εκτείνονται πέρα από τα όρια της θηλαίας άλω. Ο κύριος πόρος κάθε λοβού εκβάλλει ανεξάρτητα στην κορυφή της θηλής και εμφανίζει το διευρυμένο γαλακτοφόρο κόλπο λίγο πριν από την εκβολή του. Η θηλαία άλως αποτελεί κυκλική περιοχή βαθυχρωματικού δέρματος που περιβάλλει την περιοχή της θηλής. Μικρά οζίδια παράγονται στη θηλαία άλω από τους υποκείμενους αλωαίους αδένες. Οι λοβοί του αδένα χωρίζονται με ινώδη διαφράγματα. Η θέση της θηλής σε σχέση με το πρόσθιο θωρακικό τοίχωμα δεν είναι σταθερή, αλλά εξαρτάται από το μέγεθος και το βαθμό χαλάρωσης του μαστού. 8

10 Εικόνα 1.1: Ανατομία του μαστού Οι μύες στην περιοχή του μαστού που έχουν σημασία για τις χειρουργικές επεμβάσεις σε περιπτώσεις καρκίνου του μαστού, συμπεριλαμβανομένης και της πλαστικής αποκατάστασης, είναι ο μείζων θωρακικός, ο ελάσσων θωρακικός, ο πρόσθιος οδοντωτός, ο πλατύς ραχιαίος, ο κορακοβραχιόνιος, ο υποπλάτιος και ο έξω λοξός κοιλιακός. Η οπίσθια επιφάνεια του μαστού είναι ελαφρά κοίλη, επικάθεται στην περιτονία του μείζονος θωρακικού μυός και σε μεγάλους μαστούς εκτείνεται έως και τον πρόσθιο οδοντωτό ή τον έξω λοξό κοιλιακό μυ. Το λεμφαγγειακό δίκτυο του μαστού είναι πλούσιο και αποχετεύει τη λέμφο προς δυο κατευθύνσεις, προς τους μασχαλιαίους και προς τους λεμφαδένες της έσω μαστικής αρτηρίας. Οι λεμφαδένες του μαστού διακρίνονται σε τρεις ομάδες, τους μασχαλιαίους, τους υπερκλείδιους και τους λεμφαδένες της έσω μαστικής αρτηρίας. Στις γυναίκες, ως επί τω πλείστο η ανάπτυξη του μαστού ξεκινά μετά τη γέννηση, σε αντίθεση με τους άνδρες όπου λαμβάνει χώρα χρονικά νωρίτερα. Επίσης, η αύξηση και η ανάπτυξη της διακλάδωσης των μαζικών αδένων γίνεται κατά τη προεφηβεία. Ακόμη, η ανάπτυξη των μαζικών αδένων αυξάνεται εντυπωσιακά στην εφηβεία όποτε και οι μαστικοί αδένες της γυναίκας μεγαλώνουν και οι μαστοί αποκτούν το ημισφαιρικό τους σχήμα υπό την επήρεια των ωοθηκικών ορμονών. Οι πόροι των αδένων επιμηκύνονται, αλλά η αύξηση του μεγέθους του μαστού οφείλεται στην εναπόθεση λίπους. Οι μαστοί των γυναικών κατά την ηλικία των ετών διαφέρουν ορμονικά και βιολογικά από εκείνους των γυναικών ηλικίας ετών που εισέρχονται σταδιακά στην εμμηνόπαυση. Κατά τη διάρκεια της αναπαραγωγικής ηλικίας τα υψηλά επίπεδα των 9

11 οιστρογόνων που εκκρίνονται από τις ωοθήκες αλλά και η προγεστερόνη διατηρούν τους μαστούς πυκνούς και αυτό συσχετίζεται με τις περιοδικές μεταβολές που εμφανίζονται σε αυτούς λίγες ημέρες πριν την ωορρηξία μέχρι και την εμμηνορρυσία, όπως η αύξηση του μεγέθους των μαστών, ο πόνος και ευαισθησία. Τα συμπτώματα αυτά συνήθως υποχωρούν λίγες ημέρες μετά την έναρξη της εμμηνορρυσίας, είναι απολύτως φυσιολογικά και δεν προκαλούν καμία ανησυχία. Καθώς οι γυναίκες εισέρχονται στην εμμηνόπαυση ο αδενικός ιστός και τα λόβια του μαστού ατροφούν και αντικαθίσταται από λίπος. Έτσι παρατηρείται σταδιακή μείωση της πυκνότητας των μαστών που έχει ως συνέπεια τη μεγαλύτερη ευαισθησία της μαστογραφίας στην ανίχνευση του καρκίνου αλλά και την υποχώρηση του πόνου και της ευαισθησίας που εμφάνιζε η γυναίκα κατά την αναπαραγωγική ηλικία. 1.3 Παράγοντες Στις μέρες μας, δεν έχει γίνει ακόμη ξεκάθαρο γιατί αναπτύσσεται ο καρκίνος του μαστού, ωστόσο έχουν προσδιοριστεί ορισμένα χαρακτηριστικά που είναι παράγοντες κινδύνου. Ένας παράγοντας κινδύνου μπορεί να αυξάνει την πιθανότητα εμφάνισης του καρκίνου, αλλά δεν αποτελεί ούτε αναγκαία ούτε και ικανή συνθήκη ώστε να προκαλέσει καρκίνο. Δηλαδή, υπάρχουν ορισμένες γυναίκες που διαθέτουν αυτούς τους παράγοντες κινδύνου, αλλά παρόλα αυτά δεν θα αναπτύξουν ποτέ καρκίνο του μαστού, ενώ υπάρχουν και άλλες, που θα εμφανίσουν καρκίνο χωρίς να διαθέτουν κανέναν από αυτούς τους παράγοντες. Άρα, η παρουσία των παρακάτω παραγόντων στο ιστορικό και στο ιατρικό προφίλ μιας γυναίκας δεν συνεπάγεται τη διάγνωση της ασθένειας, αλλά την κατατάσσει αυτόματα στην ομάδα υψηλού κινδύνου. Ακόμη, η πλειοψηφία των καρκίνων του μαστού χρειάζονται οιστρογόνα για να αναπτυχθούν, ενώ χωρίς οιστρογόνα σταματάει η ανάπτυξή τους ή αναπτύσσονται πιο αργά. Αυτός είναι ο λόγος που, με λίγες εξαιρέσεις, οι παράγοντες κινδύνου για τον καρκίνο του μαστού συνδέονται με τα οιστρογόνα. Οι κυριότεροι παράγοντες κινδύνου του καρκίνου του μαστού στις γυναίκες παρατίθενται παρακάτω: Ηλικία: Η πιθανότητα μία γυναίκα να αναπτύξει καρκίνο του μαστού αυξάνεται με την ηλικία. Είναι 100 φορές πιο πιθανό για μία γυναίκα στην ηλικία των 60 να αναπτύξει καρκίνο σε σχέση με μία 20 χρονών, αν και στις νεαρότερες ηλικίες τείνουν να αναπτύσσονται πιο επιθετικές μορφές του καρκίνου σε σχέση με τις μεγαλύτερες. Κληρονομικότητα: Περίπου το 5% των καρκίνων του μαστού οφείλονται σε ισχυρούς κληρονομικούς παράγοντες. Δύο αυτοσωματικά κυρίαρχα γονίδια, τα BRCA1 και BRCA2, αντιπροσωπεύουν τις περισσότερες από τις περιπτώσεις οικογενειακού καρκίνου του μαστού. Οι γυναίκες που φέρουν μια επιβλαβή μετάλλαξη BRCA έχουν κίνδυνο 60% έως 80% να αναπτύξουν καρκίνο του μαστού στη διάρκεια της ζωής τους. Εάν μια μητέρα ή μια αδελφή διαγνώστηκε καρκίνος του μαστού, ο κίνδυνος κληρονομικής μετάλλαξης γονιδίου BRCA1 ή BRCA2 είναι περίπου 2 φορές υψηλότερος από αυτές των γυναικών χωρίς οικογενειακό ιστορικό. Οι κληρονομικοί μη-brca1 και μη-brca2 όγκοι του μαστού (και ακόμη και μερικά σποραδικά καρκινώματα) πιστεύεται ότι προκύπτουν από την έκφραση ασθενώς διεισδυτικών αλλά εξαιρετικά διαδεδομένων μεταλλάξεων σε διάφορα γονίδια. Για παράδειγμα, πολυμορφισμός έχει ταυτοποιηθεί σε γονίδια που σχετίζονται με το μεταβολισμό οιστρογόνων ή καρκινογόνων, οιστρογόνο, ανδρογόνο και βιταμίνη D, στη συν-ενεργοποίηση της μεταγραφής γονιδίων, στις οδούς απόκρισης βλάβης στο DNA. Οι παραλλαγές ακολουθίας αυτών των γονιδίων που είναι σχετικά κοινές στον πληθυσμό μπορεί να σχετίζονται με έναν μικρό έως μέτριο αυξημένο σχετικό 10

12 κίνδυνο για καρκίνο του μαστού. Οι συνδυασμοί τέτοιων παραλλαγών θα μπορούσαν να οδηγήσουν σε πολλαπλασιαστικά αποτελέσματα. Ατομικό ιστορικό καρκίνου του μαστού: συχνή εμφάνιση της νόσου και στον άλλο μαστό όταν υπάρχει ιστορικό στον έναν ή κάποια άλλη πάθηση του μαστού ή καρκίνου ωοθήκης, ενδομήτριου και παχέος εντέρου. Ορμόνες: Τα επιμόνως αυξημένα επίπεδα οιστρογόνου στο αίμα σχετίζονται με αυξημένο κίνδυνο καρκίνου του μαστού, ενώ τα αυξημένα επίπεδα προγεστερόνης στο αίμα σχετίζονται με μειωμένο κίνδυνο καρκίνου του μαστού σε προεμμηνοπαυσιακές γυναίκες. Ορισμένες καταστάσεις που αυξάνουν την έκθεση σε ενδογενή οιστρογόνα, όπως η ατεκνία, η καθυστέρηση του πρώτου τοκετού, ο μη θηλασμός, η πρώιμη εμμηνόρροια (η πρώτη εμμηνορροϊκή περίοδος), η ορμονική θεραπεία εμμηνόπαυσης, η χρήση αντισυλληπτικών φαρμάκων και η καθυστερημένη εμμηνόπαυση υποπτεύονται ότι αυξάνουν τον κίνδυνο ανάπτυξης καρκίνου του μαστού. Επίσης, υπάρχουν ισχυρές ενδείξεις ότι τα ξενοοιστρογόνα και άλλοι ενδοκρινολογικοί διαταράκτες όπως τα BPAs, οι αρωματικές αμίνες και άλλα χημικά που βρίσκονται σε προϊόντα καθημερινής χρήσης αυξάνουν τον κίνδυνο εμφάνισης καρκίνου του μαστού. Διατροφή, υπερβολικό βάρος και παχυσαρκία: Έχει παρατηρηθεί πως γυναίκες η διατροφή των οποίων είναι πλούσια σε κορεσμένα λίπη αντιμετωπίζουν αυξημένο κίνδυνο ανάπτυξης καρκίνου του μαστού. Επιπλέον, υπέρβαρες και παχύσαρκες γυναίκες έχουν επίσης αυξημένο κίνδυνο ανάπτυξης καρκίνου του μαστού και ιδιαίτερα κατόπιν εμμηνόπαυσης. Το γεγονός αυτό ενδεχομένως οφείλεται στην παραγωγή οιστρογόνων στον λιπώδη ιστό ο οποίος αποτελεί την κύρια πηγή οιστρογόνων μετά την εμμηνόπαυση. Κατανάλωση αλκοόλ και κάπνισμα: Έχει παρατηρηθεί συσχέτιση μεταξύ της κατανάλωσης αλκοόλ και του καπνίσματος με την αύξηση του κινδύνου εμφάνισης καρκίνου του μαστού, χωρίς ωστόσο να έχουν διασαφηνιστεί οι μηχανισμοί που την διέπουν. 1.3 Συμπτώματα Κάποια από τα συμπτώματα που χαρακτηρίζουν τον καρκίνο του μαστού είναι τα εξής: Εξόγκωμα ή σκλήρυνση στην περιοχή του μαστού ή και της μασχάλης. Διόγκωση λεμφαδένων. Αλλαγή στο περίγραμμα των μαστών. Έκκριση υγρού ή αίματος από τη θηλή. Εισολκή δέρματος, δηλαδή έλξη του δέρματος στην περιοχή της θηλής ή στο εσωτερικό του μαστού. Ερυθρότητα, ευαισθησία ή πόνοι στο στήθος. Τα παραπάνω συμπτώματα παρουσιάζονται στον ασθενή όταν η ασθένεια έχει ήδη αρχίσει να αναπτύσσεται στο μαστικό ιστό με χαρακτηριστικότερο από όλα την εμφάνιση ψηλαφητού μορφώματος. Σε αρχικό στάδιο ο καρκίνος του μαστού δεν παρουσιάζει συμπτώματα. Αν ο ασθενής δε δώσει σημασία σε περιπτώσεις ύπαρξης των παραπάνω μπορεί να εμφανίσει σημάδια ακόμα πιο προχωρημένης νόσου, όπως θερμό και ερυθρό μαστό (φλεγμονώδης καρκίνος), πόνους στα οστά, μεγάλη διόγκωση και μεταστάσεις σε άλλους ιστούς και όργανα. 11

13 Εικόνα 1.2 Πιθανά συμπτώματα του καρκίνου του μαστού Στα αρχικά στάδια, ο καρκίνος του µαστού δεν παρουσιάζει σημάδια ή συμπτώματα και ανιχνεύεται µόνο µε τη μαστογραφία. Αργότερα όταν η ασθένεια έχει αρχίσει ήδη να αναπτύσσεται στον μαστικό ιστό μπορεί να εμφανιστεί ψηλαφητό μόρφωμα στο μαστό (όγκος), αλλαγή του χρώματος του δέρματος, εισολκή δέρματος ή θηλής ή έκκριμα θηλής. Αν η γυναίκα δεν δώσει την πρέπουσα σημασία σε περιπτώσεις ύπαρξης των προαναφερθέντων συμπτωμάτων, τότε μπορεί να εμφανίσει σημάδια προχωρημένης νόσου, όπως θερμό και ερυθρό μαστό (φλεγμονώδης καρκίνος), πόνους στα οστά, μεγάλη διόγκωση στην περιοχή της μασχάλης ή μεταστάσεις σε άλλους ιστούς και όργανα. 12

14 1.5 Είδη Καρκίνου του Μαστού Υπάρχουν πολλά είδη καρκίνων του μαστού που κατατάσσονται σε διαφορετικές κατηγορίες με βάση το κριτήριο που χρησιμοποιήθηκε για την κατηγοριοποίησή τους. Βασικά κριτήρια είναι ο ιστοπαθολογικός τύπος, η τάξη, το στάδιο, οι υποδοχείς ορμονών. Ιστοπαθολογία: παρά το γεγονός ότι ο καρκίνος του μαστού έχει πολλές διαφορετικές ιστολογίες η πλειονότητα τους προέρχονται από την επένδυση επιθηλίου των λοβών (λοβιακός καρκίνος) ή των πόρων(πορογενής καρκίνος), και κατηγοριοποιούνται ως καρκινώματα του μαστικού πόρου, τα οποία χαρακτηρίζονται ως in situ όταν βρίσκονται αποκλειστικά εντός του επιθηλιακού ιστού, ή ως διηθητικοί (invasive) εάν έχουν προχωρήσει εκτός του επιθηλιακού ιστού. Σύμφωνα με τους παραπάνω συνδυασμούς οι συνηθέστεροι τύποι καρκίνου του μαστού είναι οι εξής: In situ πορογενές καρκίνωμα του μαστού (DCIS): Πρόκειται για ένα πρώιμο στάδιο του καρκίνου του μαστού όπου τα καρκινικά κύτταρα εντοπίζονται αποκλειστικά στον γαλακτοφόρο πόρο και δεν έχουν εξαπλωθεί ακόμα σε άλλους ιστούς του μαστού. Η πλειοψηφία των γυναικών στις οποίες γίνεται διάγνωση σε αυτό το στάδιο μπορούν να έχουν μία αποτελεσματική ίαση. Εικόνα 1.3 Απεικόνιση πορογενούς καρκινώματος ιστού 13

15 Διηθητικό πορογενές καρκίνωμα του μαστού (IDC): Πρόκειται για τον συνηθέστερο τύπο καρκίνου του μαστού στον οποίο η καρκινογένεση έχει ξεκινήσει από την εσωτερική μεμβράνη του γαλακτοφόρου πόρου που διοχετεύει το γάλα στη θηλή, αλλά σε αντίθεση με τον DCIS τα καρκινικά κύτταρα σε αυτήν την περίπτωση έχουν εξαπλωθεί πέραν του πόρου και έχουν διεισδύσει στον λιπώδη ιστό του μαστού. Εικόνα 1.4 Απεικόνιση Διηθητικού πορογενούς καρκινώματος 14

16 Διηθητικό λοβιακό καρκίνωμα του μαστού (ILC): Πρόκειται για τον δεύτερο συνηθέστερο τύπο καρκίνου του μαστού μετά τον IDC. Η καρκινογένεση έχει ξεκινήσει από τους γαλακτοπαραγωγούς αδένες, δηλαδή τους λοβούς και τα καρκινικά κύτταρα έχουν επεκταθεί στους γειτονικούς ιστούς του μαστού και με την πάροδο του χρόνου δύνανται να εξαπλωθούν και σε άλλα όργανα του σώματος. Εικόνα 1.5 Απεικόνιση Διηθητικού Λοβιακού Καρκινώματος In situ λοβιακό καρκίνωμα του μαστού (LCIS): Η λιγότερο συνηθισμένη πάθηση από τις τέσσερις που προκύπτει ένεκα της παρουσίας μη φυσιολογικών κυττάρων στους γαλακτοπαραγωγούς αδένες στο άκρο των μαστικών πόρων, δηλαδή στους λοβούς. Εικόνα 1.6 Απεικόνιση In Situ λοβιακού καρκινώματος 15

17 Πέραν των ανωτέρω συνηθέστερων τύπων καρκίνου του μαστού υπάρχουν και ακόμα δύο επίσης βασικοί αλλά σπάνιοι τύποι, οι οποίοι φαίνονται παρακάτω: Φλεγμονώδης καρκίνος του μαστού (IBC) : Εξαιτίας του IBC ενδέχεται να προκληθεί ερυθρότητα και αίσθημα καύσου στο στήθος καθώς επίσης αλλάζει η όψη και η υφή εξωτερικά του μαστού ο οποίος θυμίζει φλούδα πορτοκαλιού. Επιπλέον, συνήθως δεν υπάρχει ένα μόνο ογκίδιο ή όγκος με κίνδυνο να ερμηνευτεί εσφαλμένα ως μαστίτιδα ή κάποιου είδους φλεγμονή στο στήθος. Νόσος Paget της θηλής: Πρόκειται για μία επίσης σπάνια μορφή καρκίνου του μαστού στην οποία η νόσος ξεκινά από τους πόρους του μαστού και εξαπλώνεται στην περιοχή της θηλής. Συχνό φαινόμενο είναι το ξεφλούδισμα, η φολίδωση και η ερυθρότητα της επιδερμίδας περί της θηλής τα οποία συνοδεύονται από ύπαρξη σημείων εξέλκωσης ή εκροής αιμορραγικού υγρού. Στην πλειονότητα των περιπτώσεων συνδέεται με το DCIS ή το IDC. Τάξη: Η τάξη ενός καρκίνου ορίζει το πόσο διαφοροποιημένα είναι τα κύτταρά του καρκίνου και χωρίζεται σε χαμηλής, μέσης και υψηλής διαφοροποίησης. Πρόκειται για έναν δείκτη επιθετικότητας του καρκίνου και όσο χαμηλότερη είναι η διαφοροποίηση του τόσο πιο γρήγορα εξελίσσεται ο όγκος. Συνεπώς είναι προτιμότερη η υψηλή ή η μέση διαφοροποίηση συγκριτικά με την χαμηλή. Ακόμα χειρότερη μορφή είναι ο αδιαφοροποίητος καρκίνος του μαστού. Η διαφοροποίηση που κανονικά μετριέται από καλλιέργειες των κυττάρων σε εργαστήριο, μπορεί να μετρηθεί και από την εμφάνιση των κυττάρων, όσο πιο κοντά στα πραγματικά υγιή κύτταρα, τόσο υψηλότερη είναι η διαφοροποίηση τους, ενώ αν είναι λιγότερο διαφοροποιημένα, θα φαίνονται ως μη ώριμα κύτταρα και άρα θα πολλαπλασιάζονται πιο γρήγορα, και για αυτό θεωρείται πιο επικίνδυνος ο αδιαφοροποίητος καρκίνος. Στάδιο: Το στάδιο ενός καρκίνου περιγράφει το σημείο στο χρόνο που βρίσκεται ο εξελισσόμενος καρκίνος, δηλαδή για γνωστό τύπο καρκίνου του μαστού, το μέγεθος του, η διήθηση του σε γειτονικούς ιστούς και τυχόν μεταστάσεις σε άλλα σημεία του σώματος καθορίζουν το στάδιο στο οποίο βρίσκεται. Οι μεγαλύτερες ιατρικές οργανώσεις ανά τον κόσμο χρησιμοποιούν το σύστημα ΤΝΜ ως κώδικα για την κατηγοριοποίηση των καρκίνων σε στάδια. 16

18 ΣΤΑΔΙΑ ΣΤΑΔΙΟ 0 ΣΤΑΔΙΟ 1 ΣΤΑΔΙΟ 2 ΣΤΑΔΙΟ 3 ΣΤΑΔΙΟ 4 ΟΡΙΣΜΟΣ Τα ανώμαλα κύτταρα περιορίζονται ακόμα στους πόρους, όπου εμφανίστηκαν αρχικά. Δεν υπάρχει εξάπλωση στον περιβάλλοντα ιστό του μαστού και ο καρκίνος είναι ιάσιμος. Αναφέρεται ως καρκίνωμα «in situ» και ταξινομείται σε δύο τύπους: Πορογενές καρκίνωμα in situ (DCIS) αποτελεί ιδιαίτερα θεραπεύσιμη μορφή. Εάν αφεθεί χωρίς θεραπεία ή δεν αναγνωριστεί εγκαίρως, μπορεί να εξαπλωθεί στον περιβάλλοντα ιστό του μαστού. Λοβιακό καρκίνωμα in situ (LCIS) δεν είναι καρκίνος, αλλά ένας δείκτης που προσδιορίζει ότι μια γυναίκα έχει αυξημένο κίνδυνο ανάπτυξης καρκίνου του μαστού. Paget s disease μία μορφή καρκίνου που μοιάζει με έκζεμα γύρω από την περιοχή της θηλής, είναι θεραπεύσιμη σε ποσοστό έως 95% με χημειοθεραπεία. Η διάμετρος του όγκου είναι μικρότερη από 2 cm και μικρές νησίδες καρκινικών κυττάρων μπορούν να ανευρεθούν στους λεμφαδένες. Το στάδιο Ι του καρκίνου του μαστού χωρίζεται σε στάδιο ΙΑ ο καρκίνος δεν έχει προχωρήσει στους λεμφαδένες και ΙΒ στο οποίο υπάρχουν μικρές νησίδες καρκινικών κυττάρων που είναι μικρότερες από 0.2 mm στους λεμφαδένες ανεξάρτητα από την ύπαρξη η μη όγκου στο μαστό. Στο δεύτερο στάδιο, ο καρκίνος του μαστού χωρίζεται σε δύο κατηγορίες ανάλογα με το μέγεθος του όγκου και την εξάπλωσή του στους λεμφαδένες: Στάδιο ΙΙΑ: είτε ο όγκος είναι μικρότερος από 2 cm και έχει εξαπλωθεί μέχρι τους λεμφαδένες της μασχάλης, είτε ο όγκος έχει αυξηθεί περισσότερο από 2 cm, αλλά δεν είναι μεγαλύτερος από 5 cm και δεν έχει εξαπλωθεί στους γύρω λεμφαδένες. Στάδιο ΙΙΒ: είτε ο όγκος έχει αυξηθεί από 2 cm έως 5 cm και έχει εξαπλωθεί μέχρι τους λεμφαδένες της μασχάλης, είτε ο όγκος είναι μεγαλύτερος από 5 cm αλλά δεν έχει εξαπλωθεί στους γύρω λεμφαδένες. Το στάδιο ΙΙΙ του καρκίνου του μαστού χωρίζεται επίσης σε υποκατηγορίες, τα στάδια ΙΙΙΑ, IIIB και IIIC. Στο ΙΙΑ κανένας όγκος δεν βρίσκεται στο στήθος ή ο όγκος μπορεί να έχει οποιοδήποτε μέγεθος ενώ ο καρκίνος βρίσκεται σε 4 έως 9 μασχαλιαίους λεμφαδένες ή στους λεμφαδένες κοντά στο στήθος ή, ο όγκος είναι μεγαλύτερος από 5 εκατοστά και μικρές ομάδες καρκινικών κυττάρων του μαστού(μεγαλύτερες από 0,2 χιλιοστά αλλά όχι μεγαλύτερες από 2) βρίσκονται στους λεμφαδένες ή, ο όγκος είναι μεγαλύτερος από 5 cm και ο καρκίνος έχει εξαπλωθεί σε 1 έως 3 μασχαλιαία λεμφαδένες ή στους λεμφαδένες κοντά στο στήθος. Στο ΙΙΒ ο όγκος μπορεί να έχει οποιοδήποτε μέγεθος, έχει εξαπλωθεί στο θωρακικό τοίχωμα ή/και στο δέρμα του μαστού και έχει επεκταθεί σε έως 9 μασχαλιαίους λεμφαδένες ή έχει επεκταθεί σε λεμφαδένες κοντά στο στέρνο. Στο ΙΙC μπορεί να μην υπάρχει ίχνος του καρκίνου στο στήθος ή, εάν υπάρχει όγκος, μπορεί να έχει οποιοδήποτε μέγεθος και μπορεί να έχει εξαπλωθεί στο θωρακικό τοίχωμα ενώ ο καρκίνος έχει εξαπλωθεί σε 10 ή περισσότερους μασχαλιαίους λεμφαδένες ή ο καρκίνος έχει εξαπλωθεί στους λεμφαδένες πάνω ή κάτω από τον κορμό ή έχει εξαπλωθεί στους μασχαλιαίους λεμφαδένες ή στους λεμφαδένες κοντά στο στήθος. Ο καρκίνος έχει επεκταθεί σε άλλα όργανα του σώματος με πιο συχνές περιπτώσεις μετάστασης να είναι τα οστά, οι λεμφαδένες, οι πνεύμονες, το ήπαρ ή ακόμα και ο εγκέφαλος. 17

19 Εικόνα 1.7 Συγκεντρωτικά παραδείγματα κατηγοριοποίησης εικόνων με το σύστημα BI-RADS 1.6 Στατιστικά Σύμφωνα με τον Παγκόσμιο Οργανισμό Υγείας ο καρκίνος του μαστού είναι ο πιο συχνός τύπος καρκίνου στις γυναίκες, προσβάλλοντας 2.1 δισεκατομμύρια γυναίκες ετησίως και προκαλώντας τον μεγαλύτερο αριθμό θανάτων λόγω καρκίνου στις γυναίκες. Το 2018, εκτιμάται πως γυναίκες πέθαναν λόγω καρκίνου του μαστού, το οποίο είναι προσεγγιστικά το 15 % όλων των θανάτων γυναικών λόγω καρκίνου. Προκειμένου να βελτιωθούν τα αποτελέσματα και η επιβίωση λόγω καρκίνου του μαστού, η έγκαιρη ανίχνευση είναι κρίσιμη. Δεδομένου αυτού, δημιουργείται η ανάγκη για βελτίωση της διακριτικής μας ικανότητας κατά την αξιολόγηση οποιουδήποτε είδους απεικόνισης μαστού. 1.7 Διάγνωση και θεραπεία Ο ενεργοποιητικός παράγοντας για τη δημιουργία του καρκίνου του μαστού είναι ακόμα άγνωστος συνεπώς δεν γίνεται να έχουμε πρωτογενή πρόληψη. Ωστόσο έχουμε την δυνατότητα για δευτερογενή πρόληψη με την έγκαιρη διάγνωση, εάν είναι δυνατόν πριν ακόμα γίνει ψηλαφητός ο όγκος ή δώσει συμπτώματα. Αναφερόμενοι στην δευτερογενή πρόληψη εννοούμε την αυτοεξέταση του μαστού από την ίδια την γυναίκα και την κλινική εξέταση του μαστού από τον γιατρό. Η διάγνωση του καρκίνου του μαστού αρχίζει όταν μια μάζα γίνεται αντιληπτή στο μαστό με την ψηλάφηση ή με μια από τις παρακάτω διαγνωστικές μεθόδους: Μαστογραφία: Είναι η ακτινογραφία του μαστού και πραγματοποιείται με ειδικό μηχάνημα που ονομάζεται μαστογράφος. Αποτελεί την εξέταση που κατέχει το μεγαλύτερο ποσοστό αξιοπιστίας για τη διερεύνηση ύπαρξης καρκίνου του μαστού καθώς και για τον εντοπισμό του 18

20 σε πρώιμο στάδιο, δηλαδή όταν το μέγεθός του είναι μερικά μόλις χιλιοστά και μη ψηλαφητός. Στη μαστογραφία ο μαστός τοποθετείται σε ειδική θέση του μηχανήματος, συμπιέζεται ελαφρά και η απεικόνιση γίνεται σε λεπτόκοκκα φιλμ υψηλής διακριτότητας. Η κατάλληλη πίεση στο μαστό είναι απαραίτητη ώστε να πλατύνει ο μαστός και να μπορεί να απεικονιστεί και να εξεταστεί η μεγαλύτερη δυνατή ποσότητα ιστού. Σημειώνεται ότι στις μέρες μας τα φιλμ αυτά έχουν αντικατασταθεί από ψηφιακό ανιχνευτή και ηλεκτρονικό υπολογιστή, εξ ου και ο όρος ψηφιακή μαστογραφία. Στην απεικόνιση που λαμβάνουμε από τη διαδικασία της μαστογραφίας οι φωτεινές και οι σκοτεινές περιοχές που σχηματίζονται οφείλονται στην απορροφητικότητα του μαστού. Επειδή ο μαστός περιέχει λιπώδη ιστό ο οποίος είναι πολύ πιο διαπερατός από ότι τα οστά, η δόση της ακτινοβολίας για τη λήψη μιας μαστογραφίας είναι πολύ χαμηλότερη από αυτή της κανονικής ακτινογραφίας, της τάξης rad. Έτσι, επιτυγχάνεται η επιθυμητή λήψη χωρίς να επιβαρύνεται με μεγάλη δόση ακτινοβολίας η προς εξέταση περιοχή, επομένως πρόκειται για μια ασφαλή και ανώδυνη εξέταση. Στην εικόνα η οποία προκύπτει με σκούρο χρώμα απεικονίζονται οι περιοχές του λιπώδους ιστού του μαστού και γενικά περιοχές που παρουσιάζουν χαμηλή πυκνότητα και είναι εύκολα διαπερατές από την ακτινοβολία. Με ανοιχτό χρώμα πολύ κοντά στο λευκό απεικονίζονται εκείνες οι περιοχές που χαρακτηρίζονται είτε από υψηλή πυκνότητα ιστού είτε είναι οι παθολογικές περιοχές, οπότε αναφερόμαστε σε όγκους. Στην πράξη οι μαστογραφίες λαμβάνονται είτε για προληπτικούς σκοπούς (screening mammography) είτε για διαγνωστικούς σκοπούς (diagnostic mammography). Στόχος της προληπτικής μαστογραφίας είναι η εύρεση καρκινογενέσεων οι οποίες βρίσκονται σε πρώιμο στάδιο και οι γυναίκες οι οποίες υποβάλλονται σε αυτή την εξέταση δεν έχουν παρουσιάσει κάποια συμπτώματα καρκινογένεσης. Για την εξέταση αυτή λαμβάνονται συνολικά 4 εικόνες, 2 συνολικά για κάθε μαστό οι οποίες είναι οι ακόλουθες: Cranio-Caudal (CC) και MedioLateral-Oblique (MLO) ανάλογα με τη γωνία λήψης. Αντίθετα, η διαγνωστική μαστογραφία στοχεύει στη διάγνωση και τον χαρακτηρισμό των όγκων οι οποίοι έχουν γίνει ήδη ψηλαφητοί ή έχουν ανιχνευθεί με άλλο τρόπο. Επομένως, οι γυναίκες οι οποίες υποβάλλονται σε αυτή την εξέταση έχουν παρουσιάσει κάποιες ανωμαλίες οι οποίες είναι απαραίτητο να εξετασθούν περαιτέρω. Μέσω της διαγνωστικής μαστογραφίας μετρούνται κυρίως το μέγεθος του όγκου και η ακριβής θέση του. Οι τυπικές λήψεις της διαγνωστικής μαστογραφίας περιλαμβάνουν εκτός από τις προαναφερθείσες για την προληπτική μαστογραφία και τις LateroMedial (LM) και MedioLateral (ML) λήψεις. Υπερηχογράφημα Ο υπέρηχος μαστών χρησιμοποιείται συχνά για να αξιολογήσει τις ανωμαλίες του μαστού που εντοπίζονται με προασυμπτωτική ή διαγνωστική μαστογραφία ή κατά τη διάρκεια εξέτασης από τον κλινικό γιατρό. Ο υπέρηχος επιτρέπει σημαντική ελευθερία στη λήψη των απεικονίσεων του μαστού σχεδόν από οποιοδήποτε προσανατολισμό. Η αξία του είναι μεγάλη στο διαχωρισμό μεταξύ συμπαγών και κυστικών μαζών. Χρησιμοποιείται επίσης με μεγάλη επιτυχία για τον εντοπισμό μικρών σε μέγεθος βλαβών (πχ. ενδοαυλικό θήλωμα). Επιπλέον, ο υπέρηχος μπορεί συχνά να καθορίσει εάν μια ύποπτη περιοχή είναι στην πραγματικότητα μια κύστη (μη-καρκινική) ή μια αυξανόμενη πυκνότητα του στερεού ιστού (πυκνή μάζα) που μπορεί να απαιτήσει βιοψία για να καθοριστεί η φύση της (καλοήθης ή κακοήθης). Ελαστογραφία: Η ελαστογραφία είναι ένα μοντέρνο υπερηχογράφημα που μετράει τη σκληρότητα ενός ογκιδίου του μαστού καθώς το πιέζουμε με την κεφαλή του υπερήχου. Η ελαστογραφία μάς δίνει ένα συντελεστή σκληρότητας που κυμαίνεται από το 1 έως το 5. Ο καρκίνος έχει μεγαλύτερο συντελεστή σκληρότητας από ένα καλοήθες ογκίδιο, γεγονός στο 19

21 οποίο βασίζεται και η κλινική εξέταση της ψηλάφησης. Τα διάφορα ογκίδια του μαστού δεν έχουν ομοιόμορφη σκληρότητα σε όλη τους την έκταση άρα και ο συντελεστής σκληρότητας μπορεί να διαφέρει από σημείο σε σημείο του ίδιου ογκιδίου. Η τεχνολογία αυτή έχει μεγάλη ευαισθησία στην ανάδειξη κακοηθειών και στον διαχωρισμό συμπαγών αλλοιώσεων από επιπλεγμένες κύστες. Αξονική τομογραφία: Πρόκειται για μία ακτινολογική μέθοδο στην οποία χρησιμοποιούνται ακτίνες Χ για την απεικόνιση εγκάρσιων τομών του ανθρώπινου σώματος. Για την διεκπεραίωση μίας τέτοιας εξέτασης, ο ασθενής τοποθετείται σε έναν κυλινδρικού σχήματος σαρωτή. Οι ακτίνες Χ διαπερνούν υπό συγκεκριμένη γωνία τον ασθενή και αναλόγως την εξασθένηση που υφίστανται από τον εκάστοτε ιστό ή όργανο που διαπερνούν λαμβάνεται μία τιμή από τους ανιχνευτές που βρίσκονται αντιδιαμετρικά της πηγής ακτινών Χ με κέντρο συμμετρίας τον ασθενή. Η τιμή αυτή συνήθως ψηφιοποιείται για περαιτέρω επεξεργασία και ανάλυση με τη βοήθεια υπολογιστή. Επαναλαμβάνοντας αυτήν την διαδικασία υπό διάφορες γωνίες μπορεί να υπολογιστεί μία δισδιάστατη απεικόνιση της εκάστοτε τομής. Κατόπιν επαναλαμβάνοντας την ίδια διαδικασία και για διαφορετικές θέσεις κατά μήκος του ύψους του ασθενούς μπορεί να υπολογιστεί ένα τρισδιάστατο μοντέλο του εξεταζόμενου οργάνου και να ακολουθήσει περαιτέρω επεξεργασία και ανάλυση με χρήση ηλεκτρονικού υπολογιστή. Η μέθοδος αυτή γίνεται μόνο σε άκρως επιλεγμένες περιπτώσεις. Είναι εξέταση επιλογής κυρίως σε επείγουσες και οξείες καταστάσεις πχ σε τραύματα, σε εγκεφαλικά επεισόδια καθώς και σε σταδιοποίηση καρκινοπαθούς. Μαγνητική τομογραφία: Η μαγνητική τομογραφία (Magnetic Resonance Imaging/MRI) είναι εξέταση νεότερη της αξονικής η οποία αντί για ακτίνες Χ χρησιμοποιεί ένα ισχυρό μαγνητικό πεδίο και κύματα ραδιοσυχνοτήτων για τη δημιουργία εσωτερικών απεικονίσεων. Παρουσία ισχυρού μαγνητικού πεδίου της τάξης των Tesla (προς σύγκριση η ένταση του μαγνητικού πεδίου της γης στην επιφάνειά της είναι της τάξης microtesla) τα πρωτόνια του των κυττάρων του σώματος ευθυγραμμίζονται στην διεύθυνση του πεδίου. Από την πηγή ραδιοσυχνοτήτων εκπέμπονται παλμοί ραδιοκυμάτων οι οποίοι διαπερνούν τον ασθενή, διεγείρουν τα πρωτόνια και τα εκτρέπουν από τη θέση ισορροπίας τους (ευθυγραμμισμένα στην διεύθυνση του πεδίου). Όταν ο παλμός σταματήσει οι αισθητήρες του MRI είναι σε θέση να ανιχνεύουν την ενέργεια που απελευθερώνεται καθώς τα πρωτόνια αποδιεγείρονται και επαναευθυγραμμίζονται στην διεύθυνση του μαγνητικού πεδίου. Ο χρόνος επαναφοράς στη θέση ισορροπίας καθώς και το ποσό της ενέργειας που απελευθερώνεται εξαρτώνται από το περιβάλλον και την χημική φύση των εκάστοτε κυττάρων και έτσι με βάση αυτά τα χαρακτηριστικά είμαστε σε θέση να διαχωρίσουμε τους διάφορους ιστούς. Η γεωμετρία του μηχανήματος είναι ίδια με αυτή του αξονικού τομογράφου, δηλαδή το μαγνητικό πεδίο περιβάλει τον ασθενή μέσα στον κυλινδρικού σχήματος σαρωτή και οι αισθητήρες του MRI είναι τοποθετημένοι αντιδιαμετρικά της πηγής ραδιοσυχνοτήτων με κέντρο συμμετρίας τον ασθενή. Τέλος, η χρήση του είναι όμοια με αυτή του αξονικού τομογράφου και μπορεί χρησιμοποιώντας διάφορες γωνίες εκπομπής ραδιοσυχνοτήτων και διάφορες θέσεις κατά μήκος του ύψους του ασθενούς να παράγει τρισδιάστατη αναπαράσταση του εξεταζόμενου οργάνου. Σπινθηρογράφημα: Το σπινθηρογράφημα είναι μια συμπληρωματική εξέταση μαστών που μπορεί να χρησιμοποιηθεί σε μερικούς ασθενείς για να ερευνήσει μια ανωμαλία μαστών. Μια εξέταση πυρηνικής ιατρικής δεν είναι ένα αρχικό εξεταστικό εργαλείο για τον καρκίνο του μαστού αλλά μπορεί να είναι χρήσιμη σε επιλεγμένες περιπτώσεις μετά τη διαγνωστική μαστογραφία. Η πυρηνική ιατρική περιλαμβάνει την έγχυση ενός ραδιενεργού ανιχνευτή 20

22 (χρωστική ουσία) στον ασθενή. Δεδομένου ότι η χρωστική ουσία συσσωρεύεται διαφορετικά στους καρκινώδεις και μη-καρκινώδεις ιστούς, το σπινθηρογράφημα μπορεί να βοηθήσει τους παθολόγους να καθορίσουν εάν υπάρχει καρκίνος. Κεφάλαιο 2: Συστήματα Αυτόματης Διάγνωσης 2.1 Διάγνωση με τη χρήση υπολογιστή Μέχρι σήμερα, η αξιολόγηση εικόνων γινόταν αποκλειστικά από ειδικευμένους ιατρούς. Ωστόσο η αξιολόγηση από ανθρώπους περιορίζεται από τα μη συστηματικά πρότυπα αναζήτησης του ανθρώπου, την παρουσία δομικού θορύβου στην εικόνα και την ύπαρξη πολύπλοκων ασθενειών που απαιτούν το συνδυασμό τεράστιας ποσότητας απεικονιστικών και κλινικών δεδομένων. Τα τελευταία χρόνια η διάγνωση μέσω υπολογιστή έχει εξελιχθεί εξαιτίας της ολοένα και αυξανόμενης ανάγκης για αυτοματοποιημένη υποβοηθητική διάγνωση μέσω υπολογιστή (Computer Aided Diagnosis - CAD). Οι μαστογραφίες μετά τη λήψη τους είτε ψηφιοποιούνται και απεικονίζονται στον υπολογιστή είτε εξ αρχής αποθηκεύονται σε ψηφιακή μορφή αν πρόκειται για μαστογράφο με ψηφιακό ανιχνευτή στερεάς κατάστασης. Το ίδιο ισχύει και για τις βιοψίες που αποτελούν προϊόν απεικόνισης του ιστού με χρήση μικροσκοπίου, οργάνου που χαρακτηρίζεται από μεγάλη ευαισθησία και ακρίβεια. Παρόλο που η διάγνωση με τη βοήθεια υπολογιστή (CAD) χρησιμοποιείται ευρέως στη μαστογραφία, τα συμβατικά προγράμματα CAD που χρησιμοποιούν προτροπές για υποδείξουν πιθανούς καρκίνους σε μαστογραφίες, δεν έχουν οδηγήσει σε βελτίωση της διαγνωστικής ακρίβειας. Οι διαθέσιμοι αλγόριθμοι είναι εξελιγμένοι και προσεγγίζουν την απόδοση των ακτινολόγων - ειδικά για την ανίχνευση καρκίνου και την πρόβλεψη κινδύνου στη μαστογραφία. Ωστόσο, η κλινική επικύρωση απουσιάζει σε μεγάλο βαθμό και δεν είναι σαφές πώς πρέπει να χρησιμοποιηθεί η δύναμη της βαθιάς μάθησης για βελτιστοποίηση πρακτική. Τα περισσότερα διαθέσιμα συστήματα CAD εκτελούν, κατ ουσίαν, δύο ξεχωριστές εργασίες. Στην πρώτη εργασία, πιθανές βλάβες που ξεχωρίζουν ανιχνεύονται από τον φυσιολογικό ινωδογλοιακό ιστό. Η δεύτερη εργασία συνεπάγεται τη μείωση του αριθμού των ψευδώς θετικών ευρημάτων. Σε αυτό το βήμα, οι πιθανές βλάβες ταξινομούνται και προφανή ψευδώς θετικά ευρήματα αφαιρούνται από τη λίστα πιθανών βλαβών. Για να πραγματοποιηθεί αυτή η εργασία, τα κλασικά συστήματα CAD εξαρτώνται από ανθρώπινα σχεδιασμένα χαρακτηριστικά. Για παράδειγμα, οι μάζες ανιχνεύονται χρησιμοποιώντας το γκρίζο επίπεδό τους (πόσο λευκό είναι), τη διαβάθμιση (αν ξεχωρίζει από το περιβάλλον του), την υφή (πόσο ομοιογενές είναι) και το σχήμα τους (αν μοιάζει με μάζα). Για να μειωθεί ο αριθμός των ψευδώς θετικών ευρημάτων, τα υποψήφια εικονοστοιχεία, συγκεντρώνονται σε πιθανές βλάβες και αναλύονται με χρήση πρόσθετων χαρακτηριστικών όπως διανομή, σχήμα, περιθώριο και υφή. Για να φτάσει σε μια τελική ταξινόμηση σχετικά με το αν ένα εύρημα πρέπει να 21

23 επισημανθεί, τα συστήματα CAD συνδυάζουν τα πιο διακριτά και σημαντικά χαρακτηριστικά χρησιμοποιώντας έναν ταξινομητή (π.χ., SVMs μηχανές φορέα υποστήριξης, random forests τυχαία δάση) και βλάβες πάνω από ένα προκαθορισμένο όριο στη συνέχεια επισημαίνονται. Τα συστήματα CAD ταξινομούνται σε δύο ομάδες: συστήματα ανίχνευσης και συστήματα διάγνωσης. Τα συστήματα ανίχνευσης με τη βοήθεια υπολογιστή επικεντρώνονται στην εργασία εντοπισμού (δηλαδή, ανίχνευση ύποπτης ανωμαλίας). Χρησιμεύουν ως μία δεύτερη γνώμη σε ακτινολόγους και αφήνουν την διαχείριση των αποφάσεων στον ακτινολόγο. Τα συστήματα διάγνωσης με υπολογιστή, ωστόσο, χαρακτηρίζουν μια ανωμαλία που αναγνωρίζεται από ακτινολόγο ή υπολογιστή. Η διάγνωση με τη βοήθεια υπολογιστή το σύστημα εκτιμά την πιθανότητα μιας ασθένειας για την ασθένεια και το ταξινομεί ως καλοήθη ή κακοήθη. Ο ακτινολόγος τότε αποφασίζει εάν η ανωμαλία δικαιολογεί περαιτέρω αξιολόγηση και καθορίζει την κλινική της σημασία. Η ταξινόμηση χαρακτηριστικών με την πάροδο των ετών έχει οδηγήσει σε σημαντική βελτίωση τόσο της ευαισθησίας όσο και της ειδικότητας του CAD. Η απόδοση των κορυφαίων συστημάτων που μπορούν να βρεθούν στη βιβλιογραφία πλησιάζει αυτή του ανθρώπου στην ταξινόμηση με βάση, αν και μόνο σε συγκεκριμένες εργασίες (π.χ., μαζική ανίχνευση) σε επιλεγμένα σύνολα δεδομένων. Τα περισσότερα συμβατικά συστήματα CAD παρουσιάζουν τα ευρήματά τους με τη μορφή διαγνώσεων στη μαστογραφία, η οποία απαιτεί από τον ακτινολόγο να αποφασίσει εάν πραγματικά υπάρχει μια υποκείμενη κακοήθης μάζα που πρέπει να ερευνηθεί. Λόγω της περιορισμένης ειδικότητας, δηλαδή της ύπαρξης πολλών ψευδώς θετικών ταξινομήσεων που πραγματοποιούν αυτά τα συστήματα, αυτό είναι ένα δύσκολο έργο. Οι Ikeda et al ανέφεραν ότι, όταν χρησιμοποιούν ένα σύστημα CAD βασισμένο σε χαρακτηριστικά, περίπου 1000 προτροπές πρέπει να αναλυθεί για να ανιχνευθεί ένας επιπλέον καρκίνος. Συνεπώς δεν προκαλεί έκπληξη το γεγονός ότι η χρήση του CAD στη μαστογραφία οδηγεί ελαφρώς υψηλότερο ποσοστό ανίχνευσης (εύρος, 1% 19%) όταν συνδυάζεται με μία μόνο ανάγνωση, αλλά με κόστος χαμηλότερης ειδικότητας (αυξητικό ποσοστό ανάκλησης, 6% 36%) και μεγαλύτεροι χρόνοι αξιολόγησης. Η διπλή ανάγνωση φαίνεται να είναι πολύ καλύτερη από την απλή ανάγνωση με CAD. Στην κλινική πρακτική, η χρήση του CAD δεν βελτιώνει τη διαγνωστική ακρίβεια επειδή οι πολλές λανθασμένες διαγνώσεις οδηγούν σε υψηλότερα ψευδώς θετικά ποσοστά, ποσοστά ανάκλησης και ποσοστά βιοψίας. Επιπλέον, η χρήση του CAD δεν φαίνεται να είναι οικονομικά αποδοτική, σύμφωνα με τις τελευταίες έρευνες(66). Αρκετές μελέτες κατέληξαν στο συμπέρασμα ότι οι συμβατικές εφαρμογές CAD απαιτούν ουσιαστική βελτίωση για να είναι πραγματικά επωφελείς. Η τεχνητή νοημοσύνη, που ενισχύεται από τις πρόσφατες εξελίξεις στη μηχανική μάθηση, μπορεί Κάντε το CAD για μαστογραφία πιο πολύτιμο στην κλινική πρακτική. Η πιο υποσχόμενη από αυτές τις εξελίξεις είναι η βαθιά μάθηση, μία οικογένεια μεθόδων μηχανικής μάθησης που εστιάζουν στην ανάπτυξη πολυεπίπεδων νευρωνικών δικτύων. Όπως τα συμβατικά CAD συστήματα, τα νευρωνικά δίκτυα εκπαιδεύονται κυρίως με τη χρήση εποπτευόμενης μάθησης, στην οποία κάθε παράδειγμα εκπαίδευσης συνοδεύεται από ένα αναμενόμενο αποτέλεσμα. Η λογιστική παλινδρόμηση, τα δέντρα αποφάσεων και μηχανήματα φορέα υποστήριξης, τα οποία χρησιμοποιούνται για συμβατικά CAD, είναι παραδείγματα εποπτευόμενων μαθησιακών μοντέλων που δεν βασίζονται σε νευρωνικά δίκτυα. Ωστόσο, αυτό που έχουν κοινό αυτές οι μέθοδοι είναι ότι, παρόλο που η διαδικασία απόφασης που χρησιμοποιούν για να φτάσουν στην απόφαση 22

24 ταξινόμησης μπορεί να είναι πολύ περίπλοκη, δεν μαθαίνουν τυχόν ενδιάμεσες αναπαραστάσεις των δεδομένων. Επομένως οι μέθοδοι αυτές μπορούν να λειτουργήσουν καλά μόνο εάν η είσοδος διαθέτει παρουσιάζονται με πολύ προβλέψιμο για να ξεκινήσετε. Ωστόσο, όπως φαίνεται από τα ψευδώς θετικά ευρήματα στα συμβατικά CAD, στην αξιολόγηση μαστογραφιών είναι πολύ δύσκολο να σχεδιαστούν χαρακτηριστικά στο επίπεδο των εικονοστοιχείων εισόδου που θα επέτρεπαν στον ταξινομητή να προβλέψει με ακρίβεια την ετικέτα για ολόκληρη την εικόνα. Τα νευρωνικά δίκτυα, από την άλλη πλευρά, είναι ικανά να μάθουν ενδιάμεσες, πιο αφηρημένες, αναπαραστάσεις των δεδομένων πριν την ταξινόμηση ολόκληρης της εικόνας. Τα CNN συνδυάζουν μόνο πληροφορίες από εικονοστοιχεία που είναι χωρικά κοντά μεταξύ τους και είναι επομένως ιδιαίτερα κατάλληλα για αξιολόγηση εικόνας. Αυτό είναι το κλειδί να κατανοήσουμε γιατί τα νευρικά δίκτυα λειτουργούν τόσο καλά για ανάλυση εικόνας σε σύγκριση με άλλες μεθόδους. 2.2 Εισαγωγή στα Νευρωνικά Δίκτυα Με τον όρο τεχνητό νευρωνικό δίκτυο (Artificial Neural Network, ANN) εννοούμε ένα μαθηματικό μοντέλο το οποίο προσπαθεί να προσομοιώσει την λειτουργία του Κεντρικού Νευρικού Συστήματος (ΚΝΣ). Η δομή του αποτελείται από απλούς υπολογιστικούς κόμβους οι οποίοι είναι διασυνδεδεμένοι και οργανωμένοι σε επίπεδα, που ονομάζονται νευρώνες. Πρόκειται δηλαδή για έναν προσαρμοστικό μηχανισμό, καθώς η δομή του επηρεάζεται από την πληροφορία που έχει να επεξεργαστεί. Από μαθηματικής άποψης, τα νευρωνικά δίκτυα υλοποιούν μια μη γραμμική διανυσματική συνάρτηση η οποία μεταβάλλεται (εκπαιδεύεται) σύμφωνα με την εκάστοτε εφαρμογή. Τα δύο βασικότερα προβλήματα για τα οποία επιστρατεύονται συχνότερα τα νευρωνικά δίκτυα στην πράξη είναι τα εξής: Προβλήματα Παλινδρόμησης (Regression Problems): Σε αυτά τα προβλήματα ο σκοπός είναι η προσέγγιση μιας συνάρτησης αντιστοίχισης f μεταξύ των μεταβλητών εισόδου X και μιας συνεχούς μεταβλητής εξόδου y. Δηλαδή προσπαθούμε έχοντας δεδομένες τιμές εισόδου να εκτιμήσουμε την τιμή εξόδου. Προβλήματα Ταξινόμησης (Classification Problems): Εδώ το αντικείμενο είναι η προσέγγιση μιας συνάρτησης αντιστοίχισης f μεταξύ των μεταβλητών εισόδου X και μιας διακριτής μεταβλητής εξόδου y, που ορίζει τις κατηγορίες ή κλάσεις στις οποίες επιθυμούμε να γίνει ταξινόμηση των δεδομένων εισόδου. Όσον αφορά στον χαρακτηρισμό των νευρωνικών δικτύων, ανάλογα με το πλήθος των επιπέδων που αυτά διαθέτουν, τα χωρίζουμε στις παρακάτω δύο βασικές κατηγορίες: Ρηχά Νευρωνικά Δίκτυα (Shallow Neural Networks): Τα νευρωνικά δίκτυα αυτά (SNN) αποτελούνται από μικρό πλήθος επιπέδων, είναι μικρής υπολογιστικής πολυπλοκότητας και χρησιμοποιούνται κυρίως για την επίλυση απλών προβλημάτων. 23

25 Βαθιά Νευρωνικά Δίκτυα (Deep Neural Networks): Τα νευρωνικά δίκτυα αυτά (DNN) αποτελούνται από μεγάλο πλήθος (δεκάδες) επιπέδων, απαιτούν μεγάλη υπολογιστική ισχύ και μεγάλης χωρητικότητας μνήμη. Ένα πρόβλημα το οποίο μπορεί να επιλυθεί με χρήση βαθιών νευρωνικών δικτύων η ανίχνευση και ταξινόμηση αντικειμένων που βρίσκονται μέσα σε εικόνες, όπως και το αντικείμενο της παρούσας εργασίας. Τη σήμερον ημέρα τα νευρωνικά δίκτυα χρησιμοποιούνται σε υπερπληθώρα εφαρμογών λύνοντας πολλά και διάφορα προβλήματα, από εκτίμηση τιμών μετοχών μέχρι αναγνώριση ομιλίας και ανίχνευση αντικειμένων σε εικόνες. Ανάλογα με το εκάστοτε πρόβλημα που καλούμαστε να λύσουμε προχωράμε και σε επιλογή του κατάλληλου είδους για αυτήν δικτύου. Τα κυριότερα και δημοφιλέστερα είδη νευρωνικών δικτύων ονομαστικά είναι τα: Πολυεπίπεδο Perceptron (Multilayer Perceptron) Δίκτυα Ακτινικών Συναρτήσεων (Radial Basis Function Neural Networks) Συνελικτικά Νευρωνικά Δίκτυα (Convolutional Neural Networks) Ανατροφοδοτούμενα Νευρωνικά Δίκτυα (Recurrent Neural Networks) Νευρωνικά Δίκτυα LSTM (Long Short Term Memory Neural Networks) Γεννητικά Ανταγωνιστικά Δίκτυα (Generative Adversarial Networks) Περιορισμένες Μηχανές Boltzmann (Restricted Boltzmann Machine) Στην παρούσα διπλωματική εργασία η ανάλυση επικεντρώνεται στο Συνελικτικό Νευρωνικό δίκτυο που αποτελεί μια σύνθετη εκδοχή του απλού πολυεπίπεδου Perceptron. Στα νευρωνικά δίκτυα υπάρχουν δύο κατευθύνσεις κατά τις οποίες διαδίδεται της πληροφορίας, η εμπρόσθια και η οπισθοδρομική. Κατά την ενεργοποίηση του δικτύου υπολογίζονται οι εσωτερικές καταστάσεις όλων των νευρώνων του δικτύου και τέλος οι τιμές εξόδου των νευρώνων του επιπέδου εξόδου που αποτελούν και την τελική έξοδο του δικτύου. Η ενεργοποίηση του δικτύου είναι γνωστή και ως εμπρόσθια διάδοση (forward pass). Η διαδικασία της εκπαίδευσης κατά την οποία επαναπροσδιορίζονται οι τιμές βαρών και πόλωσης του δικτύου ξεκινάει από το τελευταίο επίπεδο του δικτύου προχωρώντας σταδιακά προς τα πρώτα επίπεδα. Αυτός είναι και ο λόγος που πολλές φορές αναφερόμαστε στην εκπαίδευση ενός νευρωνικού δικτύου με τον όρο οπισθοδρομική διάδοση (backward pass). Η εκπαίδευση ενός νευρωνικού δικτύου σαν αυτά που χρησιμοποιούνται στην παρούσα εργασία είναι επιβλεπόμενη (supervised), δηλαδή για το σετ τιμών εισόδου γνωρίζουμε τις αντίστοιχες επιθυμητές τιμές εξόδου. Για να είναι λοιπόν δυνατή η εκπαίδευση ενός τέτοιου νευρωνικού δικτύου είναι απαραίτητη η εύρεση ή δημιουργία ενός σετ δεδομένων (dataset) η ποιότητα του οποίου είναι καταλυτικής σημασίας για την ορθή εκπαίδευση. Κάθε σετ δεδομένων χωρίζεται σε τρία επιμέρους σετ τα οποία φαίνονται παρακάτω συνοδευόμενα από σύντομη περιγραφή και τρόπο χρήσης. Δεδομένα Εκπαίδευσης (Training Set): o Τα δεδομένα αυτά χρησιμοποιούνται για την εκπαίδευση και μόνο του δικτύου, δηλαδή κατά την διαδικασία επαναπροσδιορισμού των παραμέτρων του δικτύου για ελαχιστοποίηση της τιμής της συνάρτησης κόστους. Δεδομένα Επικύρωσης (Validation Set): 24

26 o Το συγκεκριμένο σετ δεδομένων χρησιμοποιείται για την αξιολόγηση του δικτύου κατά την διαδικασία της εκπαίδευσης. Το σετ αυτό χρησιμοποιείται μεταξύ των επαναλήψεων της εκπαίδευσης για να αξιολογείται η συμπεριφορά του δικτύου με τις εκάστοτε τιμές παραμέτρων σε καινούρια δεδομένα τα οποία δεν έχει ξαναδεί το δίκτυο. o Ένα από τα συχνότερα προβλήματα στων οποίων την λύση βοηθάει η χρήση δεδομένων επικύρωσης είναι το overfitting. Όταν ένα δίκτυο υποφέρει από overfitting σημαίνει πως έχει μάθει πολύ καλά τα δεδομένα εκπαίδευσης με αποτέλεσμα να συμπεριφέρεται συνεχώς καλύτερα σε αυτά ενώ ταυτόχρονα χάνει την ικανότητα να γενικεύει και άρα η συμπεριφορά του στα δεδομένα επικύρωσης είναι σημαντικά χειρότερη. Τέλος, να σημειωθεί πως κατά την διαδικασία αξιολόγησης του δικτύου μέσω των δεδομένων επικύρωσης δεν λαμβάνει χώρα καμία διαδικασία εκπαίδευσης. Δεδομένα Αξιολόγησης (Test Set): o Το συγκεκριμένο σετ χρησιμοποιείται μόνο μία φορά για την τελική αξιολόγηση της συμπεριφοράς του δικτύου με άγνωστα για αυτό δεδομένα εφόσον η διαδικασία της εκπαίδευσης έχει ολοκληρωθεί. Συνήθως τα δεδομένα χωρίζονται σε δεδομένα εκπαίδευσης και δεδομένα επικύρωσης/αξιολόγησης με λόγο μεταξύ 80:20 και 90:10, ενώ επίσης τα δεδομένα επικύρωσης και τα δεδομένα αξιολόγησης έχουν μεταξύ τους περίπου ίσο πλήθος παραδειγμάτων. Τέλος, δίνονται κάποιοι ορισμοί οι οποίοι συνδέονται με την διαδικασία της εκπαίδευσης και στους οποίους γίνεται αναφορά σε μετέπειτα σημεία της εργασίας: Εποχές (Epoch): Ως εποχή ορίζεται μία εμπρόσθια και μία οπισθοδρομική διάδοση του δικτύου για το σύνολο των δεδομένων εκπαίδευσης. Μέγεθος Τεμαχίων (Batch Size): Ως μέγεθος τεμαχίων ορίζεται το πλήθος των δεδομένων εκπαίδευσης που χρησιμοποιούνται για μία μόνο εμπρόσθια διάδοση και την αντίστοιχη οπισθοδρομική διάδοση, δηλαδή για μία εποχή. Κατά την επιλογή του μεγέθους των τεμαχίων περιοριζόμαστε από τη διαθέσιμη μνήμη Όπως είναι λογικό στην επιλογή του μεγέθους τεμαχίων τίθενται περιορισμοί από την ποσότητα της διαθέσιμης μνήμης, καθώς όσο μεγαλύτερο μέγεθος τεμαχίων τόσο περισσότερη η απαιτούμενη μνήμη που χρειάζεται κατά τη διάδοση τους κατά την εποχή. Επαναλήψεις (Iterations): Ως επαναλήψεις ορίζεται το πλήθος των τεμαχίων που απαιτούνται για να ολοκληρωθεί μία εποχή, δηλαδή για να περάσουν όλα τα δεδομένα εκπαίδευσης από το νευρωνικό δίκτυο μια φορά. Για παράδειγμα, εάν τα δεδομένα εκπαίδευσης είναι στο πλήθος και το μέγεθος τεμαχίων 32, θα χρειαστούν 500 επαναλήψεις για να περάσουν όλα τα δεδομένα εκπαίδευσης μια φορά από το δίκτυο. 25

27 2.3 Νευρωνικά Δίκτυα Perceptron Τα νευρωνικά δίκτυα δομούνται ως ένα σύνολο νευρώνων οι οποίοι είναι οργανωμένοι σε διακριτά επίπεδα (στρώματα ή layers), όπου οι έξοδοι των νευρώνων ενός επιπέδου αποτελούν εισόδους των νευρώνων του επόμενου επιπέδου. Οι νευρώνες του δικτύου είναι συνδεδεμένοι σε ακυκλικό γράφο και αυτό διότι κύκλοι στην συγκεκριμένη αρχιτεκτονική είναι αρκετά πιθανό να δημιουργήσουν ατέρμονες βρόχους στην εμπρόσθια προσπέλαση (forward pass) του δικτύου με αποτέλεσμα την μη σύγκλιση. Οι νευρώνες δύο διαδοχικών επιπέδων συνδέονται μεταξύ τους με βάρη όπως εξηγήθηκε παραπάνω και κάθε νευρωνικό δίκτυο αποτελείται από τουλάχιστον δύο επίπεδα, το επίπεδο εισόδου (input layer) από το οποίο εισέρχονται τα δεδομένα εισόδου και το επίπεδο εξόδου (output layer) από το οποίο παίρνουμε την έξοδο του δικτύου. Στην περίπτωση που το νευρωνικό δίκτυο δεν αποτελείται μόνο από τα δύο προαναφερθέντα επίπεδα, ονομάζεται πολυεπίπεδο (multilayer) και τα ενδιάμεσα επίπεδα ονομάζονται κρυφά επίπεδα (hidden layers). Βάσει σύμβασης, σε ένα δίκτυο Ν-επιπέδων δεν συμπεριλαμβάνουμε το επίπεδο εισόδου. Εικόνα 2.1 Παράδειγμα Δομής Νευρωνικού Δικτύου Το παραπάνω νευρωνικό δίκτυο είναι ένα δίκτυο Ν-επιπέδων. Όπως παρατηρείται από την παραπάνω εικόνα, τα επίπεδα του έχουν ίδιο πλήθος νευρώνων, κάτι που δεν είναι υποχρεωτικό, είναι ωστόσο απαραίτητο οι νευρώνες ενός επιπέδου να χρησιμοποιούν την ίδια συνάρτηση ενεργοποίησης. Ως επί τω πλείστον το επίπεδο εξόδου δεν χρησιμοποιεί κάποια συνάρτηση ενεργοποίησης καθώς αντιπροσωπεύει τις τελικές τιμές εξόδου του δικτύου οι οποίες αφορούν στην ταξινόμηση. Στην περίπτωση που η ροή των σημάτων μέσα στο νευρωνικό δίκτυο είναι τέτοια ώστε η έξοδος κανενός νευρώνα να μην αποτελεί είσοδο σε νευρώνα του ίδιου ή προηγούμενου επιπέδου, 26

28 λέμε πως το δίκτυο είναι εμπρόσθιας τροφοδότησης (feedforward network). Σε αντίθεση με την προηγούμενη περίπτωση η οποία είναι και η πιο συνήθης, υπάρχουν αρχιτεκτονικές νευρωνικών δικτύων οι οποίες περιέχουν τέτοιου είδους ανατροφοδοτήσεις και τα δίκτυα αυτά ονομάζονται δίκτυο με ανάδραση (feedback network). Επιπλέον, όταν κάθε νευρώνας ενός επιπέδου συνδέεται με κάθε νευρώνα του επόμενου επιπέδου και αυτό ισχύει για όλα τα επίπεδα, όπως στο παραπάνω παράδειγμα, τότε λέμε πως το νευρωνικό δίκτυο είναι πλήρως συνδεδεμένο (fully connected network, FCN). Στην περίπτωση αυτή τα επίπεδα του δικτύου ονομάζονται πλήρως συνδεδεμένα (fully connected layers). 2.4 Συνελικτικά Νευρωνικά Δίκτυα Τα Συνελικτικά Νευρωνικά Δίκτυα (Convolutional Neural Networks, CNNs) δε διαφέρουν πολύ από τον κλασσικό τύπο Νευρωνικών Δικτύων που αναλύθηκε παραπάνω. Τα CNNs απαρτίζονται από ένα σύνολο νευρώνων που έχουν εκπαιδεύσιμα βάρη και biases. Κάθε νευρώνας δέχεται κάποιες εισόδους, εκτελεί έναν μαθηματικό υπολογισμό και προωθεί την έξοδο σε μια μη γραμμική συνάρτηση ενεργοποίησης. Συνολικά το δίκτυο και πάλι χαρακτηρίζεται από μια παραγωγίσιμη συνάρτηση κόστους που εκφράζει το ποσοστό επιτυχίας ταξινόμησης των δεδομένων που ξεκινούν από την είσοδο σε μια από τις κλάσεις που υπάρχουν στην έξοδο με όλες τις διαδικασίες που αναλύθηκαν για τα τυπικά Νευρωνικά Δίκτυα να υφίστανται και να χρησιμοποιούνται. Τα CNNs παίρνουν το όνομά τους από έναν ειδικό τύπο στρώματος (layer) που αποτελεί τον πυρήνα της αρχιτεκτονικής τους, τα Convolutional Layers. Όπως δηλώνει και η ονομασία τους, τα στρώματα αυτά εκτελούν την πράξη της συνέλιξης μεταξύ των εικόνων με τις οποίες τα τροφοδοτούμε και κάποιων φίλτρων ώστε να εξάγουν από τις εικόνες χρήσιμα χαρακτηριστικά. Τα φίλτρα αυτά στην ουσία αποτελούν τα εκπαιδεύσιμα βάρη του δικτύου. Η βασική διαφορά των CNNs με τα τυπικά NNs είναι στην υπόθεση ότι στα δεδομένα εισόδου μας ενδιαφέρει η τοπολογία των χαρακτηριστικών όπως συμβαίνει στις εικόνες πράγμα που μας επιτρέπει να κωδικοποιήσουμε συγκεκριμένες λειτουργίες και να τις εντάξουμε στο δίκτυο. Αυτό έχει σαν αποτέλεσμα η εμπρόσθια ροή δεδομένων να είναι πιο αποδοτική και μειώνει σημαντικά το σύνολο των παραμέτρων του δικτύου. Τα μοντέρνα Συνελικτικά Νευρωνικά Δίκτυα περιέχουν σε σύνολο ίσως και 100 εκατομμύρια παραμέτρους και αποτελούνται από επίπεδα, εξ ου και ο όρος Βαθιά Μάθηση (Deep Learning). Οι βασικοί λόγοι για τους οποίους οι παράμετροι από τις οποίες χαρακτηρίζεται ένα CNN είναι σημαντικά λιγότερες από αυτές ενός τυπικού NN είναι οι παρακάτω: Σε ένα τυπικό ΝΝ όλοι οι νευρώνες ενός στρώματος του δικτύου συνδέονται με όλους τους νευρώνες του επόμενου στρώματος και για κάθε σύναψη που συνδέει 2 νευρώνες ορίζεται ένα βάρος. Στα CNNs δεν ισχύει αυτό, δηλαδή υπάρχουν άμεσες σχέσης επίδρασης μεταξύ ενός συνόλου από νευρώνες του ενός επιπέδου με συγκεκριμένους νευρώνες του επόμενου επιπέδου αφού κάθε σύνολο από νευρώνες αντιλαμβάνονται ένα μέρος της εικόνας που 56 παίρνει στην είσοδο. Με αυτό τον τρόπο οι νευρώνες του στρώματος n καθορίζουν το πεδίο αντίληψης (receptive field) των νευρώνων του στρώματος n+1 με τους οποίους συνδέονται. Οι νευρώνες του στρώματος n+1 με τη σειρά τους συνδέονται με κάποιους από τους νευρώνες του στρώματος n+2 καθορίζοντας το δικό τους πεδίο αντίληψης. Το βάθος του δικτύου στα CNNs μεγαλώνει προσθέτοντας περισσότερα στρώματα για τα οποία δεν υπάρχει ανάγκη για μετάδοση της πληροφορία από όλους τους νευρώνες σε όλους τους νευρώνες 27

29 οπότε αυτές οι αραιές αλληλεπιδράσεις μεταξύ διαδοχικών στρωμάτων, με λιγότερα βάρη από τα τυπικά NNs είναι αρκετές ώστε να δημιουργηθεί ένα αξιόπιστο μοντέλο. Ένας άλλος λόγος για τον οποίο τα CNNs απαιτούν μειωμένο αριθμό παραμέτρων είναι οι διαμοιρασμένες παράμετροι (parameter sharing). Όπως θα δούμε παρακάτω, όταν τα δεδομένα εισόδου είναι εικόνες και περάσουν από ένα Convolutional layer, στην έξοδο αυτό θα δώσει έναν όγκο δεδομένων, δηλαδή πίνακες 3 διαστάσεων (έχουν βάθος). Αυτοί οι πίνακες αναπαριστούν χαρακτηριστικά που εντοπίστηκαν στην εικόνες κάνοντας συνέλιξη αυτής και των φίλτρων του Convolutional layer και δημιουργώντας έτσι χάρτες χαρακτηριστικών (feature maps). Τα δεδομένα αυτού του πίνακα για συγκεκριμένο βάθος δημιουργούνται με τη χρήση του ίδιου φίλτρου δηλαδή με τις ίδιες διαμοιρασμένες παραμέτρους οπότε τελικά για κάποιο συγκεκριμένο χαρακτηριστικό που αναζητούν οι νευρώνες μοιράζονται τα ίδια φίλτρα, άρα τα ίδια βάρη. 2.5 Αρχιτεκτονική Συνελικτικών Νευρωνικών Δικτύων Τα CNNs επωφελούνται από το γεγονός ότι τα δεδομένα εισόδου είναι εικόνες και έτσι η αρχιτεκτονική τους προσαρμόζεται ανάλογα. Πιο συγκεκριμένα, σε αντίθεση με τα τυπικά νευρωνικά δίκτυα, τα στρώματα ενός CNN αποτελούνται από νευρώνες που έχουν 3 διαστάσεις: πλάτος, ύψος, βάθος. Μία side-to-side σύγκριση των δύο τύπων νευρωνικών δικτύων φαίνεται στην παρακάτω εικόνα. Εικόνα 2.2 : Δομή ενός απλού δικτύου σε σχέση με ένα συνελικτικό νευρωνικό δίκτυο Έστω ότι θέλουμε να τροφοδοτήσουμε το δίκτυο με μια εικόνα σε RGB χρωματικό χάρτη και διαστάσεις 32x32. Πρακτικά αυτό σημαίνει ότι η εικόνα αυτή θα αναπαρίσταται ως ένας πίνακας 32x32x3=3072 τιμών που αντιστοιχούν στη φωτεινότητα του κάθε εικονοστοιχείου για το εκάστοτε χρωματικό κανάλι. Τροφοδοτώντας αυτό το διάνυσμα στο NN συνδέουμε όλους τους νευρώνες του στρώματος εισόδου σε όλους τους νευρώνες του πρώτου κρυφού στρώματος και συνολικά κάθε ένας από αυτούς τους νευρώνες συνοδεύεται από 3072 βάρη. Αυτός ο αριθμός μπορεί να φαίνεται διαχειρίσιμος υπολογιστικά αλλά προφανώς όταν έχουμε να κάνουμε με εικόνες μεγαλύτερων 28

30 διαστάσεων και βαθιές αρχιτεκτονικές πολλών επιπέδων, τότε οι παράμετροι ανεβαίνουν εκθετικά και κάνουν και την υπολογιστική πολυπλοκότητα αυξάνεται επίσης εκθετικά μειώνοντας κατακόρυφα την απόδοση και την ταχύτητα του δικτύου. Σε αντίθεση με αυτή την υλοποίηση, τα CNNs εκμεταλλεύονται το γεγονός ότι τα δεδομένα είναι εικόνες και η αρχιτεκτονικής τους προσαρμόζεται ανάλογα. Εδώ οι νευρώνες του κάθε στρώματος είναι δομημένοι στις 3 διαστάσεις (πλάτος, ύψος, βάθος). Αν θέλαμε λοιπόν να τροφοδοτήσουμε την 32x32x3 εικόνα στο CNN δίκτυο που φαίνεται στα δεξιά θα κρατάγαμε τη δομή της εικόνας ως όγκο δεδομένων, δηλαδή με 3 διαστάσεις και η σύνδεσή της με το πρώτο κρυφό στρώμα θα γινόταν τοπικά, όπως ορίζει το μέγεθος των φίλτρων του στρώματος και όχι σε ολόκληρη την εικόνα με αποτέλεσμα τα βάρη που χρειάζονται για τις συνδέσεις μεταξύ των στρωμάτων να είναι πολύ λιγότερα και πολύ πιο διαχειρίσιμα. Στην ουρά του CNN όπου οι διαστάσεις των χαρτών των χαρακτηριστικών έχουν μειωθεί όπως θα δούμε παρακάτω συνήθως υπάρχει ένα fully-connected δίκτυο το οποίο χρησιμοποιείται για την τελική ταξινόμηση και δουλεύει όπως τα τυπικά νευρωνικά δίκτυα. Η αρχιτεκτονική ενός δικτύου CNN αποτελείται, όπως είπαμε παραπάνω, από στρώματα διατεταγμένα το ένα μετά το άλλο όπως στα τυπικά απλά Perceptron με τη διαφορά ότι κάθε στρώμα μετασχηματίζει έναν όγκο δεδομένων που δέχεται σε έναν άλλον όγκο μέσω μιας παραγωγίσιμης συνάρτησης ώστε τελικά να παράγει τα σκορ της εισόδου για κάθε κλάση. Οι τρεις βασικοί τύπου στρωμάτων στα νευρωνικά δίκτυα είναι οι παρακάτω: Convolutional Layer: Το Convolutional Layer είναι το βασικό σχεδιαστικό στοιχείο των CNNs και είναι αυτό που κουβαλάει τις περισσότερες υπολογιστικές διαδικασίες μέσα στο δίκτυο. Οι παράμετροι των convolutional layers αποτελούνται από ένα σύνολο εκπαιδεύσιμων φίλτρων. Κάθε φίλτρο είναι μικρό σε μέγεθος (σε πλάτος και ύψος) και σε βάθος εκτείνεται όσο και όγκος που δέχεται στην είσοδο. Για παράδειγμα ένα τυπικό φίλτρο του πρώτου convolutional layer ενός CNN μπορεί να έχει μέγεθος 3x3x3 δηλαδή πλάτος και ύψος 3 και βάθος ίσο με τα χρωματικά κανάλια της εικόνας εισόδου, δηλαδή επίσης 3 στις περισσότερες περιπτώσεις που δουλεύουμε με RGB. Κατά την εμπρόσθια τροφοδότηση, κάθε ένα από τα φίλτρα του στρώματος περνάει κατά πλάτος και κατά ύψος του όγκου της εισόδου και υπολογίζει εσωτερικά γινόμενα μεταξύ των στοιχείων του κάθε φίλτρου και των στοιχείων της εισόδου σε κάθε θέση. Αυτή η διαδικασία είναι ουσιαστικά μια συνέλιξη μεταξύ δύο σημάτων, του φίλτρου και της εικόνας, εξ ου και το όνομα convolutional layer. Όπως περνά αυτό το φίλτρο κατά πλάτος και ύψος του όγκου της εισόδου παράγεται ένας πίνακας 2 διαστάσεων, που αποτελείται από τις τιμές που παίρνουμε κατά τον υπολογισμό και αντιπροσωπεύουν την απόκριση του φίλτρου σε κάθε θέση χωρικά. Καθώς προχωράμε στη φάση της εκπαίδευσης το δίκτυο θα εκπαιδεύεται μαθαίνοντας τα φίλτρα εκείνα που ενεργοποιούνται όταν αναγνωρίζουν κάποιας μορφής οπτικό χαρακτηριστικό πχ. μια προσανατολισμένη ακμή, ένα χρώμα και γενικά patterns που όσο πηγαίνουμε πιο βαθιά μέσα στο δίκτυο σε περισσότερα convolutional layers τόσο αυτά τα patterns θα γίνονται και πιο διακριτά. Σε κάθε convolutional layer δε θα έχουμε ένα μόνο φίλτρο αλλά ένα σύνολο από φίλτρα τα οποία θα παράγουν έναν ξεχωριστό δισδιάστατο χάρτη και βάζοντας όλους τους χάρτες αυτούς τον ένα μετά 29

31 τον άλλο κατά βάθος σχηματίζεται ο όγκος της εξόδου. Για το τελικό αποτέλεσμα σε κάθε τιμή που υπολογίζεται από τη συνέλιξη προστίθεται και το bias offset σε πλήρη αντιστοιχία με την λειτουργία υπολογισμού των εξόδων των νευρώνων στα τυπικά ΝΝ. Τα bias offsets για ένα στρώμα σε σύνολο είναι όσα και τα φίλτρα του στρώματος. Κάτι που είναι σημαντικό να γίνει κατανοητό είναι το πως προκύπτει το τελικό μέγεθος του όγκου στην έξοδο. Υπάρχουν 3 παράμετροι που το καθορίζουν και αυτές είναι το βάθος, το βήμα της συνέλιξης και η διαδικασία του padding. Το βάθος του όγκου στην έξοδο καθορίζεται από τον αριθμό των φίλτρων που χρησιμοποιούμε, από τα οποία το καθένα ψάχνει να αναγνωρίσει διαφορετικά χαρακτηριστικά στην είσοδο.το βήμα της συνέλιξης αφορά το κατά πόσα εικονοστοιχεία μετακινούμε το φίλτρο κάθε φορά που το περνάμε πάνω από την εικόνα. Όταν τo βήμα είναι 1, όπως στις περισσότερες περιπτώσεις, τότε μετακινούμε το φίλτρο 1 pixel τη φορά με αποτέλεσμα να παίρνουμε τις ίδιες διαστάσεις πλάτους και ύψους και στην έξοδο. Αν έχουμε τη δυνατότητα μπορούμε να μεγαλώσουμε το βήμα και έτσι να πάρουμε μικρότερους όγκους στην έξοδο. Για να πάρουμε εν τέλει τις ίδιες διαστάσεις στην έξοδο του νευρώνα χρειάζεται να ασχοληθούμε και με τις οριακές θέσεις της εικόνας στην είσοδο και τον τρόπο με τον οποίο θα λειτουργήσει η συνέλιξη σε εκείνες τις περιπτώσεις όπου το φίλτρο μπορεί να «προεξέχει». O πιο διαδεδομένος τρόπος να το πετύχουμε αυτό είναι να εισάγουμε στα άκρα της εισόδου μηδενικά, τόσα ώστε περνώντας το φίλτρο πάνω από τις ακμές της εικόνας να μπορούμε να αξιοποιήσουμε τις τιμές που θα υπάρχουν εκεί. H τεχνική αυτή ονομάζεται zero padding. Εξετάζοντας τώρα τον άλλο σημαντικό λόγο για τον οποίο είναι πολύ λιγότερες οι παράμετροι ενός CNN αυτός αφορά στον διαμοιρασμό των παραμέτρων. Αυτό μπορεί να γίνει αντιληπτό κοιτάζοντας την παραπάνω εικόνα. Κάθε ένα από τα 4 διαφορετικά φίλτρα του συγκεκριμένου παραδείγματος αναζητά διαφορετικά χαρακτηριστικά στην εικόνα της εισόδου. Είναι λογικό όμως ότι αν ένα χρήσιμο χαρακτηριστικό αναγνωριστεί σε μια συγκεκριμένη θέση της εισόδου, τότε σχεδόν σίγουρα θα ήταν χρήσιμο και αν εντοπιζόταν σε οποιαδήποτε άλλη θέση της εισόδου. Έτσι για την αναζήτησή του σε όλη την εικόνα παίρνουμε το φίλτρο που θα το αναγνώριζε τοπικά στην αρχική εικόνα και το περνάμε από όλη την εικόνα προς αναζήτηση του ίδιου χαρακτηριστικού σε κάποιο άλλο σημείο της. Αφού λοιπόν χρησιμοποιούμε τον ίδιο «ανιχνευτή» για το συγκεκριμένο χαρακτηριστικό μπορούμε να χρησιμοποιήσουμε το ίδιο φίλτρο άρα τις ίδιες παραμέτρους κατά την ανίχνευσή του. Είναι προφανές ότι το μέγεθος των φίλτρων πρέπει να είναι τέτοιο ώστε να έχει τη δυνατότητα να αναγνωρίσει χαρακτηριστικά μέσα στην εικόνα, για αυτό και συνήθως επιλέγεται να έχει μικρή τιμή πχ 3x3 που μπορεί να αναγνωρίσει πολύ μικρής κλίμακας χαρακτηριστικά. Μαθηματικά η πράξη της συνέλιξης μιας εικόνας πχ. 15x15x3 της εικόνας με 4 φίλτρα 5x5x3 με βήμα 5 και zero-padding γίνεται υπολογίζοντας το εσωτερικό γινόμενο των πινάκων και για την τελική έξοδο προστίθεται σε κάθε τιμή ένας bias. Για να μπορεί να γίνει ο πολλαπλασιασμός των πινάκων πρέπει να μετατραπούν οι 2 όγκοι σε μονοδιάστατα διανύσματα. Αρχικά παίρνουμε 5x5x3 κομμάτια της εικόνας (τα πεδίο αντίληψης των φίλτρων) και τα μετασχηματίζουμε σε διανύσματα μιας γραμμής 5x5x3=75 θέσεων. Επαναλαμβάνουμε αυτή τη διαδικασία με βήμα 5 για όλη την εικόνα και λαμβάνουμε (15-5)/5+1=3 διαφορετικές τοποθεσίες κατά πλάτος και ύψος, δηλαδή 3x3=9 στο σύνολο, δημιουργώντας έναν πίνακα x=[9,75]. Στη συνέχεια κάνουμε το ίδιο και για τα φίλτρα όπου για 4 φίλτρα διαστάσεων 5x5x3 παίρνουμε εν τέλει έναν πίνακα w=[4,75]. Για κάθε ένα από τα φίλτρα έχουμε και ένα bias offset τα οποία σχηματίζουν τον πίνακα [5,1]. Η διαδικασία του πολλαπλασιασμού γίνεται επαναληπτικά για 30

32 κάθε σειρά του w (κάθε φίλτρο) με κάθε σειρά του x (κάθε κομμάτι της εικόνας) και είναι η παρακάτω: output = x Τ w + b Η οποία κρατώντας τις τιμές από όλα τα εσωτερικά γινόμενα οδηγεί σε έναν πίνακα διαστάσεων [5,9]. Στο τέλος το αποτέλεσμα πρέπει να μετασχηματιστεί στην σωστή του μορφή για να δώσει τις σωστές διαστάσεις στην έξοδο, δηλαδή 3x3x4. Σημειώνεται ότι και εδώ χρησιμοποιούμε μια συνάρτηση ενεργοποίησης για τις τιμές που παράγονται σε κάθε νευρώνα για να δηλώσουμε την ενεργοποίηση του νευρώνα με πιο συνηθισμένη και πιο αποδοτική επιλογή να είναι η ReLU. Max Pooling Layer: Είναι συνηθισμένο στην αρχιτεκτονική των CNNs μετά από κάθε convolutional layer ή μετά από διαδοχικά Convolutional layers να εισέρχεται ένα Max Pooling layer. Η λειτουργία τους είναι να μειώνει προοδευτικά τις διαστάσεις των όγκων που παράγουν τα convolutional layers έτσι ώστε να μειωθεί και το πλήθος των παραμέτρων και η υπολογιστική πολυπλοκότητα του δικτύου. Τα pooling layers λειτουργούν ανεξάρτητα σε κάθε φέτα κατά βάθος της εισόδου που δέχονται και κάνουν την μείωση των διαστάσεων κατά βάθος και κατά μήκος χρησιμοποιώντας μια συνάρτηση Max. Ο πιο γνωστός τύπος Max Pooling Layer είναι η υλοποίηση του συγκεκριμένου στρώματος με φίλτρα 2x2 που περνάνε από την είσοδο με βήμα 2 και συρρικνώνουν στην ουσία κάθε φέτα του όγκου εισόδου μειώνοντας στο μισό τις διαστάσεις ύψους και πλάτους και αφήνοντας εκτός το 75% των ενεργοποιήσεων που έλαβαν. Κάθε Max συνάρτηση σε αυτή την περίπτωση λαμβάνει το μέγιστο των 4 αριθμών που υπάρχουν στην 2x2 περιοχή της φέτας του όγκου εισόδου από την οποία περνάει. Το βάθος πριν και μετά παραμένει το ίδιο. H λειτουργία του max pooling φαίνεται στο παράδειγμα της παρακάτω εικόνας. 31

33 Εικόνα 2.3: Διάγραμμα παραδείγματος της λειτουργίας του συνελικτικού και του max pooling επιπέδου Fully-Connected Layers: Μετά από διαδοχικά ζευγάρια convolutional-max pooling layers έχουμε σειρά ένα σύνολο από στρώματα πλήρως διασυνδεδεμένων νευρώνων που στόχο έχουν την τελική ταξινόμηση των εικόνων που έχει τροφοδοτηθεί στην είσοδο σε μία από τις προκαθορισμένες κλάσεις. Οι νευρώνες αυτών των στρωμάτων είναι συνδεδεμένοι με όλους τους νευρώνες του προηγούμενου στρώματος όπως ακριβώς και στα τυπικά ΝΝ. Η ενεργοποίηση του κάθε νευρώνα λοιπόν μπορεί να υπολογιστεί κατά τα γνωστά με πολλαπλασιασμό πινάκων ακολουθούμενο από το άθροισμα ενός bias. Πριν τη μετάβαση από τo τελευταίο convolutional-pooling κρυφό στρώμα στο πρώτο fully connected στρώμα, που συχνά καλείται και πυκνό (dense) στρώμα, πρέπει να προηγηθεί η μετατροπή του όγκου εξόδου σε μονοδιάστατο διάνυσμα έτσι ώστε να πάρει την απαραίτητη μορφή για τους πλήρως διασυνδεδεμένους νευρώνες με τη χρήση της συνάρτησης flatten. Η χρήση του Fully-Connected Layer με αριθμό νευρώνων ίσο έναν αριθμό που εμείς ορίζουμε γίνεται έτσι ώστε να παρέχονται τελικά πολλοί διαφορετικοί συνδυασμοί χαρακτηριστικών. Τα Convolutional Layers χρησιμοποιούνται για να παρέχουν έναν ουσιώδη, μικρών διαστάσεων χώρο με χαρακτηριστικά. Τα Fully-Connected Layers χρησιμοποιούνται ώστε να εκπαιδεύεται το δίκτυο στη μη γραμμική συνάρτηση που συνδέει τους πολλούς διαφορετικούς συνδυασμούς αυτών των χαρακτηριστικών με την ταξινόμηση. Σε πολλές αρχιτεκτονικές, όπως και σε αυτή του δικού μου δικτύου, συναντάται η διαδοχική διάταξη δύο fully-connected layers με σκοπό την αύξηση της πιθανότητας το δίκτυο να μάθει την μη γραμμική συνάρτηση που αναφέρθηκε παραπάνω. 32

34 Η έξοδος του δικτύου ονομάζεται output layer και είναι και αυτή ένα fully connected στρώμα το οποίο περιέχει τόσους νευρώνες όσες και η κλάσεις στις οποίες ταξινομούνται τα δεδομένα. Έτσι με την παρατήρηση των ενεργοποιήσεων των νευρώνων αυτών, σε πλήρη αντιστοιχία με τα τυπικά ΝΝ, μπορούμε να εξάγουμε την πρόβλεψη του δικτύου για την ταξινόμηση του εκάστοτε δεδομένου απλά κοιτάζοντας ποιος νευρώνας δίνει τη μεγαλύτερη έξοδο. Στα fully connected στρώματα του δικτύου, εκτός του στρώματος εξόδου, επίσης εφαρμόζεται μια συνάρτηση ενεργοποίησης με σκοπό τη βελτίωση της ταχύτητας σύγκλισης του δικτύου κατά τη φάση αναπροσαρμογής των παραμέτρων. Η επιλογή της συνάρτησης ενεργοποίησης εξαρτάται από το πρόβλημα που αντιμετωπίζουμε αλλά η πιο συνηθισμένη περίπτωση που εισάγει τους λιγότερους κινδύνους είναι η ReLU. Ένα παράδειγμα της πλήρους αρχιτεκτονικής ενός CNN που χρησιμοποιεί όλα τα παραπάνω στρώματα για τη δομή του φαίνεται στην παρακάτω εικόνα: Εικόνα 2.4 : Πλήρης δομή ενός συνελικτικού νευρωνικού δικτύου 2.6 Συναφή Παραδείγματα Τα μοντέλα βαθιάς μάθησης φαίνεται να είναι επιτυχημένα στην αξιολόγηση μαστογραφίας. Στο διαγωνισμό e Digital Mammography Dialogue for Reverse Engineering Assessments and Methods, ή DREAM, που πραγματοποιήθηκε μεταξύ Νοεμβρίου 2016 και Μαΐου 2017, πολλές ομάδες ανταγωνίστηκαν στην ανάπτυξη μοντέλων μηχανικής μάθησης για την ταξινόμηση των μαστογραφιών ανάλογα με το εάν υπήρχε καρκίνος. Κάθε ομάδα χρησιμοποίησε το ίδιο σύνολο δεδομένων, το οποίο αποτελούνταν από εικόνες από περισσότερες από γυναίκες. Οι πιο επιτυχημένες ομάδες χρησιμοποίησαν μοντέλα βαθιάς μάθησης (69,70), με επίτευξη ευαισθησίας έως και 87%. Αυτό είναι ισοδύναμο με το 88% ευαισθησία που επιτεύχθηκε από ακτινολόγους με το ίδιο σύνολο δεδομένων. 33

35 Ωστόσο, μόνο οι πρώτες ομάδες του διαγωνισμού πέτυχαν μια ιδιαιτερότητα 82%, μια απόδοση που προσεγγίζει την ειδικότητα των ακτινολόγων στην κοινοπραξία καρκίνου του μαστού. Η συντριπτική πλειοψηφία των μοντέλων βαθιάς μάθησης που αναπτύχθηκαν σε αυτό το διαγωνισμό βασίστηκε σε σχετικά απλές παραλλαγές των CNN που περιεγράφηκαν στην ανωτέρω υποενότητα. Ένας βασικός τρόπος ταξινόμησης των διαφόρων μοντέλων είναι από το εάν εκπαιδεύονται μόνο με χρήση τις ετικέτες σε επίπεδο εξέτασης (αναφέροντας εάν ο ασθενής υπό εξέταση έχει καρκίνο) ή και τις δύο ετικέτες, σε επίπεδο εξέτασης και τις ετικέτες σε επίπεδο εικονοστοιχείου (σχολιασμοί κακοήθους ή καλοήθους βλάβης). Τα μοντέλα που εκπαιδεύτηκαν μόνο με ετικέτες επιπέδου εξέτασης εκπαιδεύονται από άκρο σε άκρο, ενώ τα μοντέλα εκπαιδεύονται και με τα δύο, δηλαδή ετικέτες σε επίπεδο εξέτασης και pixel χρειάζονται πιο πολύπλοκες εκπαιδευτική διαδικασία. Τα μοντέλα που εκπαιδεύονται με ετικέτες σε επίπεδο εξέτασης είναι συνήθως τα πιο παρόμοια με τα τυπικά βαθιά CNN. Αυτά μερικές φορές τροποποιούνται λαμβάνοντας υπόψη πολλαπλές μαστογραφικές προβολές ταυτόχρονα ή προσθέτοντας ένα επίπεδο πολλαπλών αρχών (multiple instance layer). Από την άλλη πλευρά, μοντέλα που χρησιμοποιούν και τις ετικέτες σε επίπεδο pixel εκπαιδεύονται ως δύο ξεχωριστά μοντέλα σε διαφορετικά παραλλαγές. Μοντέλα που μαθαίνουν από τις ετικέτες σε επίπεδο εξέτασης και σε επίπεδο εικονοστοιχείων παρουσιάζουν γενικά υψηλότερη απόδοση ή και απαιτούν λιγότερες περιπτώσεις επειδή μαθαίνουν από μια πιο λεπτομερή επίβλεψη. Ωστόσο, η συλλογή αυτών των δεδομένων είναι πολύ πιο επίπονη και η απόδοση εξαρτάται απόλυτα από την ποιότητα των σχολιασμών - το οποίο είναι ένα δύσκολο πρόβλημα δεδομένου ότι δεν υπάρχει πραγματική αλήθεια και η μεταβλητότητα της γνωμάτευσης από ειδικό σε ειδικό είναι σημαντική. Η πιο σημαντική αποστολή των συστημάτων CAD μέχρι στιγμής ήταν η ανίχνευση καρκίνου σε ψηφιακές μαστογραφίες, η ποιότητα του οποίου έχει βελτιωθεί με την εφαρμογή της βαθιάς μάθησης. Μάλιστα μερικά πειραματικά συστήματα AI αποδίδουν τώρα στο επίπεδο ακτινολόγων (Εικ. 2.5). Εικόνα 2.5: Χαρακτηριστικές καμπύλες λειτουργίας δέκτη από ακτινολόγους και αυτόνομο σύστημα τεχνητής νοημοσύνης (AI). Οι κύκλοι υποδεικνύουν τις αποδόσεις στο σύστημα BIRADS με 3 σημεία. (82) 34

36 Μια ανοιχτή ερώτηση είναι πώς να χρησιμοποιηθεί αυτή η ισχυρή απόδοση για βελτιστοποίηση των σημερινών διαδικασιών διάγνωσης και ελέγχου. Ως αρχικό βήμα συστήματα βαθιάς μάθησης μπορόυν να χρησιμοποιηθούν για την ανίχνευση καρκίνου με πολύ παρόμοιο τρόπο με τα κλασικά συστήματα CAD, δηλαδή επισημαίνοντας ανωμαλίες. Υπάρχουν δύο τρόποι για πραγματοποιηθεί αυτό το βήμα: Μία εναλλακτική είναι η χρήση προτροπών για όλα τα ευρήματα, και η άλλη είναι σε διαδραστικό περιβάλλον, δείχνοντας ευρήματα μόνο για συγκεκριμένες περιοχές της μαστογραφίας, κατόπιν απαίτησης, όπως λειτουργούν τα απλά συστήματα CAD σήμερα. Παρόλο που η δεύτερη προσέγγιση αποδείχθηκε πιο αποτελεσματική όταν χρησιμοποιείται συμβατικό CAD, αυτό αποτελεί ηθικό πρόβλημα κατά τη χρήση συστημάτων τεχνητής νοημοσύνης γιατί προφανείς καρκίνοι που μπορούν να εντοπιστούν από το σύστημα AI μπορεί να μείνουν απαρατήρητοι όταν ο χρήστης δεν επιλέγει το σωστό σημείο παρατήρησης. Κατά συνέπεια, τα υβριδικά συστήματα τα οποία έχουν προταθεί λειτουργούν αποκλειστικά ως βοηθοί λήψης αποφάσεων που παρέχουν διαδραστικά σχόλια και εμφανίζουν προφανή ευρήματα στις μαστογραφίες. Όπως φαίνεται στο παρακάτω γράφημα η χρήση ενός τέτοιου συστήματος AI αύξησε σημαντικά την απόδοση του ραδιολόγου-αναγνώστη. Επειδή τα συστήματα AI είναι πολύ πιο συγκεκριμένα από τα προηγούμενα Συστήματα CAD, μπορούν να χρησιμοποιηθούν για τη μείωση του ρυθμού ανάκλησης (recall) για παράδειγμα, προσδιορίζοντας συγκεκριμένα μαστογραφικά χαρακτηριστικά για να διαφοροποιήσουμε τις ανακληθείσες καλοήθεις εικόνες από κακοήθεις και αρνητικές περιπτώσεις. Η πρόσφατη πρόοδος στη διαθεσιμότητα μεγάλων βάσεων δεδομένων με ετικέτες, έχει οδηγήσει στη βελτίωση της απόδοσης που μπορεί να επιτύχει ένα νευρωνικό δίκτυο, ειδικά στα ποσοστά των ψευδώς αληθών ευρημάτων, όπου έχει υπάρξει μείωση από 10 έως 20% στο ρυθμό της ανάκλησης. Αυτό το γεγονός μπορεί να αυξήσει το βαθμό αυτοπεποίθησης των ραδιολόγων, και επομένως να μειώσει το χρόνο που χρειάζονται για να χαρακτηρίσουν μία μαστογραφία ως υγιή, δημιουργώντας πολύτιμο χρόνο για την περαιτέρω εξέταση των πραγματικών καρκινικών όγκων. Υπάρχουν σκέψεις στην επιστημονική κοινότητα, που υποστηρίζουν την ύπαρξη πλήρως αυτόνομων συστημάτων τεχνητής νοημοσύνης που θα λειτουργούν ως ανεξάρτητοι παρατηρητές στη διαδικασία της εξέτασης μιας μαστογραφίας, μειώνοντας το ανθρώπινο κεφάλαιο που χρειάζεται σήμερα, καθώς μία εξέταση περνά συνήθως από τουλάχιστον δύο ραδιολόγους για λόγους αξιοπιστίας. Αυτή η στρατηγική επιχειρήθηκε και με τα απλά συστήματα CAD στο παρελθόν, αλλά για την ασφάλεια των ασθενών, και τη διασφάλιση της ποιότητας δε προχώρησε διότι αυτά τα συστήματα δε μπόρεσαν να προσφέρουν αξιοπιστία υψηλότερη, ούτε αντίστοιχη των ραδιολόγων. Παρόλο που τα νευρωνικά δίκτυα διαθέτουν καλύτερη απόδοση από τα συστήματα CAD, δεν έχουμε φτάσει στο σημείο που η εμπιστοσύνη στις διαδικασίες τους να είναι αρκετά μεγάλη ώστε να καμφθεί αυτό το εμπόδιο. Υπάρχουν απόλυτα λογικές επιφυλάξεις σχετικά με την αξιοπιστία τους, καθώς και ηθικοί κίνδυνοι που εμπεριέχονται στην αντικατάσταση ενός εκπαιδευμένου επιστήμονα στο χώρο της υγείας με ένα σύστημα τεχνητής νοημοσύνης, χωρίς αυτό να σημαίνει ότι δε θα γίνει πραγματικότητα στο μέλλον. Είναι λοιπόν ακόμα πιο καίριο το θέμα της παρούσας εργασίας, προκειμένου να προχωρήσει άλλο ένα βήμα αυτή η επιστήμη. 35

37 Κεφάλαιο 3: Πειραματική Διαδικασία 3.1 Περιγραφή του προβλήματος Στις μέρες μας είναι πολλά τα συνελικτικά νευρωνικά δίκτυα τα οποία βρίσκουν εφαρμογή στην ταξινόμηση εικόνας, αλλά σε αντίθεση με τις κλασικές αλγοριθμικές εφαρμογές της μηχανικής μάθησης, τα νευρωνικά δίκτυα έχουν ιδιαίτερα μεγάλη πολυπλοκότητα και μέγεθος, κάτι που τα καθιστά πιο δύσκολα στη μελέτη. Αυτό έχει ως συνέπεια, πολλές φορές να τα βλέπουμε ως «μαύρα κουτιά» στα οποία δίνουμε δεδομένα και παίρνουμε αποτελέσματα, χωρίς να μας ενδιαφέρουν τόσο οι εσωτερικές διαδικασίες που πραγματοποιούν. Εδώ οι ειδικοί επιστήμονες πρότειναν τη χρήση ενός όρου για το σαφή ορισμό του παραπάνω φαινόμενου και την περιγραφή τρόπων για την αντιμετώπιση του: Η ερμηνευσιμότητα στα πλαίσια της τεχνητής νοημοσύνης ορίζεται ως ο βαθμός που μπορεί ένας άνθρωπος να καταλάβει τον τρόπο με τον οποίο πραγματοποιεί αποφάσεις ένα νευρωνικό δίκτυο με όρους οι οποίοι μπορούν να γίνουν εύκολα κατανοητοί, όπως οι άνθρωποι μπορούν να εξηγήσουν τη λογική με την οποία παίρνουν μία απόφαση. Καθώς τα νευρωνικά δίκτυα γίνονται όλο και πιο μεγάλο κομμάτι της ζωής μας, η ερμηνευσιμότητα γίνεται ακόμα πιο απαραίτητη προκειμένου να αναπτυχθεί εμπιστοσύνη προς αυτά και να διασφαλιστεί η ποιότητα της λειτουργίας τους. Για αυτό τον λόγο, είναι πιο σημαντικό από ποτέ να αναπτυχθούν νέα εργαλεία για την αξιολόγηση των συνελικτικών νευρωνικών δικτύων, τα οποία θα μπορούν να εντοπίσουν τη λογική με την οποία πραγματοποιούν την ταξινόμηση τους, κάνοντας τη λειτουργία τους πιο κατανοητή στον ανθρώπινο νου, και βρίσκοντας πιθανά λάθη κατά τη δημιουργία τους. Στη συνέχεια αυτού του κεφαλαίου θα δοθεί η αναλυτική περιγραφή των βημάτων που ακολούθησα κατά τη διάρκεια της έρευνας μου. 3.2 Μέθοδος Ο σκοπός της εργασίας είναι να δημιουργήσουμε ένα νευρωνικό δίκτυο που ανιχνεύει τις νεοπλασίες που οφείλονται σε καρκίνο του μαστού, χρησιμοποιώντας μαστογραφίες. Μετέπειτα η έρευνα κατευθύνθηκε προς την έννοια της ερμηνευσιμότητας του νευρωνικού δικτύου ώστε να αποκτήσουμε κάποια γνώση πάνω στον τρόπο με τον οποίο μαθαίνουν αυτά τα νευρωνικά δίκτυα, τον τρόπο με τον οποίο δικαιολογούν την ταξινόμηση που κάνουν, τι αναγνωρίζουν, ποια πρότυπα μνημονεύουν και όποιες άλλες πληροφορίες προκύπταν κατά τη διαδικασία αυτήν. Η έρευνα πραγματοποιήθηκε με τη χρήση εικόνων από την ψηφιακή βάση δεδομένων μαστογραφίας (DDSM), ένα σύνολο δεδομένων που καταρτίστηκε για να διευκολύνει την έρευνα στον υπολογιστή με καρκίνο του μαστού. Το DDSM αποτελείται από μελέτες, καθεμία από τις οποίες περιλαμβάνει δύο εικόνες κάθε μαστού την όψη MLO και την όψη CC, ηλικία ασθενή, βαθμολογία πυκνότητας μαστού ACR, βαθμολογία λεπτότητας για ανωμαλίες, περιγραφή λέξεωνκλειδιών ACR ανωμαλιών και πληροφορίες σχετικά με τον τρόπο απεικόνισης και την ανάλυση. 36

38 Οι ετικέτες περιλαμβάνουν 2 ονομασίες σε ολόκληρη την εικόνα (π.χ. καρκινικές, φυσιολογικές, καλοήθεις) και ταυτοποιήσεις βλαβών σε επίπεδο pixel. Λόγω της φύσης των νευρωνικών δικτύων, ο αριθμός των εικόνων (2500) είναι πολύ μικρός για την σωστή εκπαίδευση ενός δικτύου. Για αυτό το λόγο εφαρμόστηκαν τεχνικές επαύξησης των δεδομένων (data augmentation). Κάθε εικόνα μαστογραφίας χωρίστηκε σε περίπου 50 πολλαπλά επικαλυπτόμενα τμήματα (patches) μεγέθους 224x224, καθώς αυτό είναι το ζητούμενο μέγεθος για την είσοδο στα νευρωνικά δίκτυα που χρησιμοποιήθηκαν, με τη μέθοδο συρόμενου παραθύρου. Η ταμπέλα αληθείας (ground truth label ) αντιστοιχεί σε θετική εάν το 30% μιας νεοπλασίας βρίσκεται εντός του τμήματος, ή το 30% της εικόνας είναι καλυμμένο από μια νεοπλασία. Η απόφαση για την επιλογή του 30% έγινε από την ερευνητική ομάδα που παρείχε το dataset. Οι υπόλοιπες χαρακτηρίστηκαν ως αρνητικές. Στη συνέχεια αυτά τα patches επεξεργάστηκαν ώστε να έχουν διαστάσεις 224 x 224 x 3 και οι τιμές τους να βρίσκονται στο διάστημα [ -1, 1 ]. Για τα πειράματα στις ακόλουθες ενότητες, χώρισα τις σαρώσεις των δεδομένων σε 80% training (357,686 εικόνες), 10% validation (44,613 εικόνες ) και 10% test (45,163 εικόνες). Όλες οι εικόνες που ανήκουν σε έναν μοναδικό ασθενή βρίσκονται στον ίδιο διαχωρισμό, για να αποτρέψουν την προπόνηση και τον έλεγχο σε διαφορετικές απόψεις του ίδιου μαστού. Αυτές οι εικόνες χρησιμοποιήθηκαν για την εκπαίδευση του τελευταίου πλήρως συνδεδεμένου επιπέδου (fully connected layer) ενός προεκπαιδευμένου συνελικτικού νευρωνικού δικτύου ImageNet, και για τη βελτιστοποίηση των τιμών των βαρών που έχουν οι νευρώνες του δικτύου. Για αυτό το σκοπό εκπαιδεύτηκε ένα νευρωνικό δίκτυο με την αρχιτεκτονική Resnet152. Χρησιμοποιήθηκε η βιβλιοθήκη PyTorch για την εκπαίδευση του νευρωνικού δικτύου και για την περαιτέρω επεξεργασία του. Κατά τη διάρκεια της εκπαίδευσης το τελευταίο επίπεδο του προεκπαιδευμένου δικτύου αντικαταστάθηκε από ένα γραμμικό ταξινομητή (linear classifier) και χωρίς να είναι παγωμένα τα επίπεδα του νευρωνικού δικτύου. Χρησιμοποίησα το περιβάλλον Google Collab για την εκπαίδευση και την επεξεργασία του νευρωνικού δικτύου. Στη συνέχεια, με σκοπό την αποσαφήνιση των αφηρημένων εννοιών που χρησιμοποιεί το δίκτυο για την αναγνώριση και την ταξινόμηση, πραγματοποιήθηκε η εξαγωγή των επιπέδων του νευρωνικού δικτύου των τμημάτων των εικόνων ή των προτύπων, που εμφανίζονται στις εικόνες που μεγιστοποιούν την ενεργοποίηση των νευρώνων των κρυμμένων επιπέδων του νευρωνικού δικτύου. Η διαδικασία αυτή ξεκινά με την εισαγωγή μίας εικόνας στο νευρωνικό δίκτυο αλλα με τη χρήση ενός hook. 37

39 Τα hook είναι μικρές υποσυναρτήσεις, κομμάτια των κλάσεων των νευρωνικών δικτύων, που εκτελούνται κατά τη διάρκεια ενός περάσματος είτε εμπρόσθιου είτε οπίσθιου, και είναι πολύ χρήσιμες καθώς μας επιτρέπουν να ελέγχουμε στατιστικά, πληροφορίες σχετικά με τις τρέχουσες τιμές βαρών για τους νευρώνες, ακόμα και να αλλάζουμε τις τιμές τους την ώρα της εκπαίδευσης. Ουσιαστικά μας επιτρέπουν σε πραγματικό χρόνο να βλέπουμε τι συμβαίνει μέσα σε ένα νευρωνικό δίκτυο, με πάρα πολλές εφαρμογές, είτε για debugging, είτε όπως στη δική μας περίπτωση για την εξαγωγή χρήσιμων πληροφοριών για το δίκτυο, τα επίπεδα του, τα φίλτρα, και τους νευρώνες. Το hook που χρησιμοποίησα αποθηκεύει για κάθε φίλτρο σε κάθε επίπεδο του δικτύου που επιθυμώ, την «εικόνα» που δημιουργείται από το πέρασμα της εικόνας ελέγχου μέσα από αυτό το σημείο του δικτύου. Τελείως για προγραμματιστικούς λόγους επιλέχθηκε το Resnet152 κυρίως επειδή η δομή υλοποίησης του στην PyTorch επιτρέπει τη χρήση των hooks στα επίπεδα που μας ενδιαφέρουν. Το σκεπτικό είναι ότι γνωρίζοντας τι είδους πρότυπα προκαλούν τη μεγιστοποίηση της ενεργοποίησης ενός φίλτρου, μπορούμε στη συνέχεια να πούμε ότι αυτό το φίλτρο, ή μάλλον ότι αυτό το χαρακτηριστικό που απεικονίζεται στον χάρτη χαρακτηριστικών που παράγεται από το φίλτρο, είναι υπεύθυνο ή συνυπεύθυνο για την αναγνώριση ενός συγκεκριμένου προτύπου Για την εξαγωγή αποτελεσμάτων που είναι κατανοητά από το ανθρώπινο μάτι, χρησιμοποιήθηκαν ολόκληρες εικόνες, patches εικόνων, καθώς και τυχαίες εικόνες (θόρυβος) ως είσοδοι στο πρόγραμμα υπολογισμού της ενεργοποίησης των επιπέδων. Ύστερα, για κάθε επίπεδο, δημιούργησα χάρτες χαρακτηριστικών για καθένα από τα φίλτρα του, για μεγάλο αριθμό εικόνων, ώστε να βρεθούν χάρτες που μας δείχνουν τι αναγνωρίζει το νευρωνικό δίκτυο σε αυτό το σημείο. Στη συνέχεια εφόσον εξακριβώθηκε ότι για κάθε εικόνα τα χαρακτηριστικά παραμένουν σταθερά και σε συμφωνία με ground truths, επέλεξα κάποια τα οποία έχουν ενδιαφέρον ως προς το τι απεικονίζουν στο πλαίσιο της μαστογραφίας, και δημιούργησα τους αντίστοιχους χάρτες για την εύρεση πραγματικών ιατρικών χαρακτηριστικών σε μαστογραφίες χωρίς την πρότερη γνώση της τοποθεσίας τους. 3.3 Λογισμικό και εξοπλισμός Για την υλοποίηση όλου του λογισμικού χρησιμοποιήθηκε η πλατφόρμα Google Colab, και για την εκπαίδευση του νευρωνικού δικτύου και για την επεξεργασία των αποτελεσμάτων του. Το Google Colab είναι μια ελεύθερη διαδικτυακή πλατφόρμα η οποία προσφέρει δωρεάν αποθηκευτικό χώρο και υπολογιστική ισχύ, βασισμένη στη τεχνολογία του Jupyter Notebook. Το περιβάλλον προγραμματισμού που προσφέρεται είναι σχεδιασμένο για τη χρήση της γλώσσας Python, είτε με τη μορφή ενός Jupyter Notebook είτε με τη φόρτωση αρχείων τύπου.py. Διαθέτει όλες τις διαθέσιμες βιβλιοθήκες της Python, και η εγκατάσταση custom βιβλιοθηκών είναι εύκολη. Το μεγαλύτερο πλεονέκτημα που διαθέτει το Google Colab είναι πως διαθέτει δωρεάν στο χρήστη τη δυνατότητα να χρησιμοποιήσει δωρεάν μέσω του νέφους εξοπλισμό ο οποίος είναι ακριβός και δυσεύρετος όπως GPUs και TPUs καθώς και ελεύθερο αποθηκευτικό χώρο κατά τη διάρκεια της ενεργής συνεδρίας κατά την οποία χρησιμοποιεί την πλατφόρμα. 38

40 Ειδικά για την εκπαίδευση ενός συνελικτικού νευρωνικού δικτύου, το οποίο είναι σύνθετο στη δομή, και χρησιμοποιεί βάσεις δεδομένων μεγάλου όγκου η χρήση μιας GPU/TPU είναι επιβεβλημένη, γιατί προσφέρουν μεγάλη επιτάχυνση υπολογισμών σε σχέση με μια απλή CPU. Το Google Colab συγκεκριμένα δίνει τη δυνατότητα επιλογής μεταξύ των εξής: CPU: Intel Xeon Processor with two 2.30 GHz and 13 GB RAM GPU: NVIDIA Tesla T4 with 2560 CUDA Cores and 16 GB VRAM TPU: Cloud TPU with 64 GB RAM and 180 TeraFlops of computation Βασικό μειονέκτημα της πλατφόρμας Google Colab είναι το περιορισμένο χρονικό πλαίσιο συνεχούς χρήσης των πόρων της, όπου για την CPU είναι 12 ώρες και για την GPU και την TPU αντίστοιχα 8 ώρες. Αυτό σημαίνει πως σε περιπτώσεις εκτέλεσης κώδικα που απαιτεί περισσότερες από τόσες ώρες, όπως ενδεχομένως συμβαίνει σε περιπτώσεις εκπαίδευσης βαθέων νευρωνικών δικτύων θα πρέπει να γίνεται αποθήκευση των μέχρι στιγμής δεδομένων σε τακτά χρονικά διαστήματα ώστε να είναι δυνατή η συνέχεια της εκτέλεσης στην επόμενη συνεδρία (session). Η βιβλιοθήκη PyTorch είναι μία από τις δημοφιλέστερες βιβλιοθήκες ανοιχτού κώδικα για τη δημιουργία εφαρμογών μηχανικής μάθησης. Χρησιμοποιείται από τις μεγαλύτερες εταιρίες στον κόσμο (Tesla, Uber, Facebook, Twitter, etc. ) και προσφέρει εργαλεία για τη δημιουργία και διαχείριση νευρωνικών δικτύων. Τα βασικά χαρακτηριστικά της PyTorch είναι τα εξής: Εργαλεία δημιουργίας και διαχείρισης τενσορων. Οι τένσορες είναι μία μορφή πινάκων και διανυσμάτων η οποία έχει σχεδιαστεί για την αναπαράσταση δεδομένων σε μήτρες n- διαστάσεων, ιδανικές για τη χρήση σε νευρωνικά δίκτυα όπου απαιτούνται τέτοια μαθηματικά μοντέλα. Με την PyTorch απλοποιούνται πάρα πολύ οι διαδικασίες προκειμένου να στηθεί ένα νευρωνικό δίκτυο, καθώς και ο χρόνος που απαιτείται για την εκπαίδευση του, διότι παρέχει βελτιστοποίηση ως προς τη χρήση του υλικού (CPU, GPU) κάτι πολύ σημαντικό στη σχεδίαση ενός συνελικτικού νευρωνικού δικτύου για εικόνες, όπου οι υπολογιστικοί πόροι που χρειάζονται είναι τεράστιοι. Δημιουργία και δυναμική διαχείριση υπολογιστικών γράφων. Ένα από τα μεγαλύτερα πλεονεκτήματα της PyTorch έναντι άλλων αντίστοιχων βιβλιοθηκών που χρησιμοποιούνται σήμερα στο machine learning είναι ο τρόπος με τον οποίο χτίζονται τα μοντέλα. Συγκεκριμένα η PyTorch διαθέτει ένα δυναμικό τρόπο για τον ορισμό ενός νευρωνικού δικτύου, ο οποίος είναι πάρα πολύ χρήσιμος όσο αναφορά τη δημιουργία, καθώς μας δίνει τη δυνατότητα να σταματήσουμε σε οποιοδήποτε σημείο της διαδικασίας της εκπαίδευσης (είτε μετά την εκπαίδευση), να πάμε σε κάθε στάδιο αυτής, και να αλλάξουμε όποιο κομμάτι του μοντέλου θέλουμε, χωρίς να θυσιάζονται οι υπολογιστικοί πόροι που έχουμε χρησιμοποιήσει. Έτσι μας προσδίδει την απαραίτητη ευελιξία για δοκιμές, αλλαγές στο μοντέλο μας χωρίς αυτό να μας κοστίζει. Κομμάτι της φιλοσοφίας της PyTorch είναι η ευκολία στην εκμάθηση και τη χρήση. Βρίσκεται πολύ κοντά στο απλό επίπεδο της Python, και προσφέρει τη δυνατότητα εύκολης ανάγνωσης λόγω των πολλών σαφών αναφορών σε διάσημες μαθηματικές βιβλιοθήκες όπως η NumPy, και ένα γενικότερα φιλικό προς τον προγραμματιστή περιβάλλον. Διαθέτει πολλά εργαλεία για debugging και παρακολούθησης παραμέτρων, που αυξάνουν τη γενικότερη ποιότητα της εμπειρίας χρήσης. 39

41 3.4 Βάσεις Δεδομένων και Δεδομένα Ένα εκτενώς καταγεγραμμένο πρόβλημα σήμερα στη έρευνα που σχετίζεται με τη μηχανική μάθηση πάνω στον καρκίνο του μαστού, είναι η έλλειψη πλήθους στις δημόσιες ψηφιακές βάσεις δεδομένων. Παρακάτω αναφέρονται οι 3 που ήταν υποψήφιες για χρήση στην παρούσα διπλωματική, καθώς και η διαδικασία που ακολουθήθηκε για την επιλογή των δεδομένων που χρησιμοποιήθηκαν, και η επεξεργασία που υπέστησαν. MIAS: Η MIAS (Mammographic Image Analysis Society) αποτελείται από 322 ψηφιοποιημένες μαστογραφίες ανάλυσης 1024x1024 pixels χρησιμοποιώντας 8 bits για την κωδικοποίηση της έντασης εκ των οποίων οι 209 δεν περιέχουν κάποιο εύρημα και στις υπόλοιπες 113 υπάρχουν 122 ευρήματα (30 μικροασβεστώσεις, 92 όγκοι). Για τα ευρήματα παρέχονται πληροφορίες σχετικά με την κατηγορία τους (καλοήθη, κακοήθη) και τις συντεταγμένες των bounding boxes που τα περικλείουν αλλά όχι μάσκες τμηματοποίησης. Επειδή το νευρωνικό δίκτυο που έχουμε να δημιουργήσουμε χρειάζεται μάσκες τμηματοποίησης, η απουσία τους καθιστά την βάση δεδομένων MIAS ακατάλληλη και για αυτό δεν χρησιμοποιήθηκε. InBreast: Η InBreast αποτελεί την μεγαλύτερη δημοσίως διαθέσιμη πλήρως ψηφιακή βάση δεδομένων (καταγραφή από ψηφιακό μαστογράφο) για μαστογραφίες και δημιουργήθηκε στο πανεπιστημιακό νοσοκομείο του São João στο Porto της Πορτογαλίας. Αποτελείται συνολικά από 410 μαστογραφίες που έχουν ανάλυση 3328x4084 ή 2560x3328 pixels και χρησιμοποιούν 14 bits για την κωδικοποίηση της έντασης. Λόγω των μεγάλων διαφορών στη ποιότητα των εικόνων της με την DDSM, καθώς και το μικρό μέγεθος της βάσης InBreast, δε θεωρήθηκε επαρκής ώστε να χρησιμοποιηθεί στη παρούσα διπλωματική εργασία. Η DDSM (Digital Database for Screening Mammography) είναι η μεγαλύτερη σε μέγεθος δημοσίως διαθέσιμη βάση δεδομένων για μαστογραφίες, αποτελείται από ψηφιοποιημένες μαστογραφίες ( οι οποίες έχουν καταγραφεί από αναλογικό μαστογράφο) ανάλυσης από 2000x2000 έως 5000x5000 pixels, χρησιμοποιεί 16 bits για την κωδικοποίηση της έντασης. Δημιουργήθηκε από το University of South Florida σε συνεργασία με το Massachusetts General Hospital και το Sandia National Laboratories ως η πρώτη μεγάλου μεγέθους βάση δεδομένων μαστογραφιών. Η DDSM αποτελείται από μελέτες, καθεμία από τις οποίες περιλαμβάνει δύο εικόνες κάθε μαστού την όψη MLO και την όψη CC, ηλικία ασθενή, βαθμολογία πυκνότητας μαστού ACR, βαθμολογία λεπτότητας για ανωμαλίες, περιγραφή λέξεων-κλειδιών ACR ανωμαλιών και πληροφορίες σχετικά με τον τρόπο απεικόνισης και την ανάλυση. Το μέγεθος της, αποτέλεσε κλειδί στην επιλογή της ως η θεμιτή επιλογή για χρήση στην παρούσα διπλωματική εργασία. Προεπεξεργασία της Βάσης DDSM: 40

42 Λόγω των απαιτήσεων που μας θέτει η φύση της εκπαίδευσης των συνελικτικών νευρωνικών δικτύων, ο αριθμός των εικόνων (2500) είναι πολύ μικρός για την σωστή εκπαίδευση ενός δικτύου. Σήμερα είναι φυσιολογικό ένα νευρωνικό δίκτυο να απαιτεί έως και εκατομμύρια εικόνες για να εκπαιδευτεί σωστά χωρίς να αναπτυχθούν έντονα φαινόμενα overfitting. Για αυτό το λόγο εφαρμόστηκαν τεχνικές επαύξησης των δεδομένων (data augmentation), μία πρακτική που συνηθίζεται στις περιπτώσεις όπου τα δεδομένα μας δεν επαρκούν για την εκπαίδευση. Εδώ κάθε εικόνα μαστογραφίας χωρίστηκε σε περίπου 50 πολλαπλά επικαλυπτόμενα τμήματα (patches) μεγέθους 224x224, με τη μέθοδο συρόμενου παραθύρου. Η ταμπέλα αληθείας (ground truth label ) επιλέχθηκε αυθαίρετα, χωρίς να δημιουργηθεί σφάλμα στη γενίκευση του μοντέλου, ώστε να αντιστοιχεί σε θετική εάν τουλάχιστον 30% μιας νεοπλασίας βρίσκεται εντός του τμήματος, ή τουλάχιστον 30% της εικόνας είναι καλυμμένο από μια νεοπλασία. Οι υπόλοιπες χαρακτηρίστηκαν ως αρνητικές. Ο λόγος επιλογής του 30% έγκειται στην επιθυμία για ένα συνολικό δείγμα το οποίο να είναι αντιπροσωπευτικό των ποσοστών εμφάνισης του καρκίνου σύμφωνα με τα διεθνή στατιστικά. Εικόνα 3.1 : Από αριστερά προς τα δεξιά: 1. Αρχική εικόνα. 2. Διαχωρισμός σε patches. 3. Πως φαίνεται ένα patch. 41

43 Στη συνέχεια αυτά τα patches επεξεργάστηκαν ώστε να έχουν διαστάσεις 224 x 224 x 3, που είναι το πρότυπο μέγεθος εισόδου στα νευρωνικά δίκτυα και οι τιμές τους να βρίσκονται στο διάστημα [ -1, 1 ]. Οι ετικέτες περιλαμβάνουν χαρακτηρισμό ολόκληρης της εικόνας (π.χ. καρκινικές, φυσιολογικές, καλοήθεις) και ταυτοποιήσεις βλαβών σε επίπεδο pixel. Για τα πειράματα στις ακόλουθες ενότητες, τα δεδομένα ακολουθούν το δόκιμο διαχωρισμό σε 80% training, validation 10% και 10% test. Όλες οι εικόνες που ανήκουν σε έναν μοναδικό ασθενή βρίσκονται στον ίδιο διαχωρισμό, για να αποτρέψουν την προπόνηση και τον έλεγχο σε διαφορετικές απόψεις του ίδιου μαστού. 3.5 Εκπαίδευση Η αρχιτεκτονική του μοντέλου: Ύστερα από δοκιμές διαφόρων κλασικών αρχιτεκτονικών όπως Alexnet,VGG16,Resnet, επιλέχθηκε η χρήση του προεκπαιδευμένου Resnet152 που προσφέρεται από τη βιβλιοθήκη PyTorch. Η PyTorch προσφέρει προεκπαιδευμένη εκδοχή με top 5 error 5.94%. Το Resnet152 είναι ένα εξαιρετικά βαθύ νευρωνικό δίκτυο καθώς όπως αναφέρεται και στο όνομα του διαθέτει 152 επίπεδα συνολικά. Το πλεονέκτημα της αρχιτεκτονικής του είναι η ύπαρξη επιπλέον συνδέσεων μεταξύ των επιπέδων, μια μέθοδος η οποία ονομάστηκε υπολειπόμενη μάθηση και έχει σχεδιαστεί προκειμένου να αντιμετωπίζεται το κύριο πρόβλημα των πολύ βαθιών δικτύων, που είναι ο εκφυλισμός της πληροφορίας, και ο κορεσμός της ακρίβειας καθώς αυξάνονται τα επίπεδα σε ένα δίκτυο. Η υπολειπόμενη μάθηση όπως ορίζεται από τους δημιουργούς του Resnet152 ως η ύπαρξη συνελικτικών επιπέδων στα οποία η είσοδος τους, είναι το αποτέλεσμα της πρόσθεσης του προηγούμενου με ένα αρκετά προγενέστερο επίπεδο. Αυτή η τεχνική (Residual Learning) έδωσε το όνομα της στο Resnet152 και είναι υπεύθυνη για τη μεγάλη ακρίβεια του παρά το ιδιαίτερα μεγάλο βάθος του. Εικόνα 3.2: Συνολικός αριθμός επιπέδων των διάφορων εκδοχών της αρχιτεκτονικής Resnet Με βάση αυτό το προεκπαιδευμένο δίκτυο πραγματοποιήθηκε η εκπαίδευση του δικού μας δικτύου. Εν αρχή το Resnet152 μπορεί να ταξινομήσει μία εικόνα σε 1000 διαφορετικές κλάσεις. Στην 42

44 εφαρμογή που δημιουργούμε μας ενδιαφέρουν μόνο 2 κλάσεις. Μία κλάση για την ύπαρξη κακοήθους όγκου, και μία κλάση για τη μη ύπαρξη κακοήθους όγκου. Πριν την εκπαίδευση λοιπόν, πραγματοποιήθηκε η σύμπτυξη των κλάσεων του Resnet152 σε 2 με ένα απλό γραμμικό μετασχηματισμό. y = xa T + b Στη συνέχεια επιλέχθηκαν οι παράμετροι εκπαίδευσης, οι οποίες επιλέχθηκαν είτε αυθαίρετα, είτε λόγω των περιορισμών του υλικού, είτε με χρήση των βέλτιστων πρακτικών εκπαίδευσης. Επιλέχθηκε ο ελεύθερος επαναπροσδιορισμός των βαρών χωρίς παγωμένα επίπεδα. Χρησιμοποιήθηκε ο optimizer SGD (Stochastic Gradient Descent) με τα εξής χαρακτηριστικά : Learning Rate : momentum: 0.9 type: sgd weight_decay: Ύστερα από την εκπαίδευση πραγματοποιήθηκε έλεγχος των χαρακτηριστικών τιμών που χρησιμοποιούνται για την εκτίμηση της ποιότητας ενός νευρωνικού δικτύου, και επιλέχθηκε για περαιτέρω χρήση η βέλτιστη εκδοχή που προέκυψε. Συγκεκριμένα πραγματοποιήθηκαν 5 εποχές εκπαίδευσης με την τέταρτη να αποτελεί αυτή που απέδωσε καλύτερα. 3.6 Εξαγωγή Έχοντας ένα εκπαιδευμένο δίκτυο στα χέρια μας, η συνέχεια αυτής της διπλωματικής εργασίας εδράζεται στην επεξεργασία του, με σκοπό την κατανόηση της λειτουργίας του, και την εύρεση ενδείξεων σωστής λειτουργίας. Με αυτό ως σκοπό επιστράτευσα μία πολύ χρήσιμη λειτουργία της python τα hooks. Στο δεύτερο κομμάτι του κώδικα που αναπτύχθηκε, ασχολούμαστε αποκλειστικά με την εξαγωγή δεδομένων από το νευρωνικό δίκτυο. Εδώ χρησιμοποιείται το τμήμα της βάσης δεδομένων που καταχωρήθηκε ως test dataset και αποτελεί το 10% του συνόλου. Η λογική του κώδικα είναι η εξής : Με το έτοιμο νευρωνικό δίκτυο, μπορούμε με τη χρήση hooks να κάνουμε χειροκίνητα οπισθοδρομική διάδοση (Guided Back Propagation) και σε κάθε επίπεδο του δικτύου να εξάγουμε χάρτες χαρακτηριστικών. Οι χάρτες χαρακτηριστικών είναι το αποτέλεσμα της εφαρμογής των φίλτρων ενός επιπέδου στην εικόνα εισόδου. Η χρησιμότητα τους έγκειται στην εύκολη αναγνώριση της πληροφορίας που εξάγεται από το νευρωνικό δίκτυο με το ανθρώπινο μάτι καθώς έχοντας υπόψιν την αρχική εικόνα οι διαφορές που οφείλονται στην επεξεργασία που υποβάλλεται η εικόνα από το δίκτυο γίνονται εμφανείς. Το σκεπτικό της εφαρμογής χαρτών χαρακτηριστικών για την κατανόηση ενός νευρωνικού δικτύου έγκειται στην εξής ιδέα: Προσπαθούμε να βρούμε πρότυπα που μεγιστοποιούν την απόκριση ενός κρυμμένου επιπέδου, και εφόσον η συνάρτηση ενεργοποίησης είναι γραμμική σε σχέση με την είσοδο το πρότυπο θα είναι ανάλογο του φίλτρου. Δηλαδή βρίσκοντας πρότυπα στα οποία 43

45 αποκρίνεται με το μέγιστο τρόπο ένα φίλτρο, μπορούμε να αναπαραστήσουμε με κάποια σιγουριά, τη λειτουργία που επιτελεί, μέσω των χαρτών. Για να γίνει κατανοητός ο τρόπος με τον οποίο πραγματοποιήθηκε το παραπάνω έργο πρέπει να εξηγήσουμε την έννοια των hooks μιας προγραμματιστικής τεχνικής που έχει πολλές και σημαντικές εφαρμογές σε όλα τα πεδία του προγραμματισμού, αλλά είναι ιδιαιτέρως χρήσιμη στην ανάπτυξη ορθών νευρωνικών δικτύων. Τα hooks είναι μικρές υποσυναρτήσεις, που εισάγονται ως κομμάτια συναρτήσεις κλάσεων, αλλά είναι ανεξάρτητες από αυτές και τη λειτουργία τους. Ουσιαστικά είναι μικροί κώδικες που ο στόχος τους ορίζεται από τον προγραμματιστή ώστε να εκτελείται κατά τη διάρκεια του προγράμματος με σκοπό να προσφέρουν πληροφορίες για την εσωτερική κατάσταση του αντικειμένου της κλάσης. Στη περίπτωση των νευρωνικών δικτύων που μας αφορά, τα hooks είναι ο τρόπος με τον οποίο κατά τη διάρκεια του back propagation αποκτούμε πρόσβαση στο εσωτερικό του νευρωνικού δικτύου. Η χρησιμότητα τους έγκειται στη δυνατότητα τους να αποθηκευτεί ένα στιγμιότυπο του νευρωνικού δικτύου σε οποιοδήποτε στάδιο του forward/backwards pass και μας επιτρέπουν να ελέγχουμε στατιστικά, πληροφορίες σχετικά με τις τρέχουσες τιμές βαρών για τους νευρώνες, ακόμα και να αλλάζουμε τις τιμές τους την ώρα της εκπαίδευσης. Ουσιαστικά μας επιτρέπουν σε πραγματικό χρόνο να βλέπουμε τι συμβαίνει μέσα σε ένα νευρωνικό δίκτυο, με πάρα πολλές εφαρμογές, είτε για debugging, είτε όπως στη δική μας περίπτωση για την εξαγωγή χρήσιμων πληροφοριών για το δίκτυο, τα επίπεδα του, τα φίλτρα, και τους νευρώνες. Στον κώδικα, τα hooks μας δίνουν τη δυνατότητα να κάνουμε ένα πέρασμα μιας εικόνας από κάθε επίπεδο του νευρωνικού δικτύου και να αποθηκεύσουμε τον χάρτη χαρακτηριστικών που προκύπτει. Ο χάρτης χαρακτηριστικών θα παρουσιάσει έντονη ενεργοποίηση ανάλογα με το πρότυπα που παρουσιάζονται στην εικόνα, καθώς κάποια θα δώσουν μέγιστη απόκριση και άλλα όχι. Έχοντας τη γνώση της βασικής αλήθειας για μία εικόνα, δηλαδή βλέποντας τα χαρακτηριστικά που έχει, πχ. όγκους, ακμές, ασβεστώσεις και συγκρίνοντας τα με τους αντίστοιχους χάρτες χαρακτηριστικών, μπορούμε να εντοπίσουμε τα σημεία του νευρωνικού δικτύου όπου αναγνωρίζεται το κάθε ένα από τα προαναφερθέντα πρότυπα. Έτσι, με σιγουριά θα μπορούμε να υποστηρίξουμε απόψεις για τη μεθοδολογία που ακολουθεί το δίκτυο στην ταξινόμηση του. Κεφάλαιο 4 : Αποτελέσματα Συμπεράσματα 4.1 Εισαγωγή στην αξιολόγηση Για την αποτίμηση της συμπεριφοράς μοντέλων που πραγματοποιούν ανίχνευση αντικειμένων όπως στη περίπτωση μας χρησιμοποιούνται ανά περίπτωση διάφορες μετρικές, όπου για να γίνει κατανοητή η φυσική σημασία της καθεμίας πρέπει πρώτα να δοθούν οι παρακάτω ορισμοί: TP (True Positive): Το αντικείμενο της εικόνας ανιχνεύεται και αναγνωρίζεται σωστά. 44

46 FP (False Positive): Γίνεται ανίχνευση αντικειμένου σε σημείο της εικόνας που αποτελεί παρασκήνιο (background), είτε γίνεται σωστά η ανίχνευση κάποιου αντικειμένου αλλά λανθασμένη αναγνώριση αυτού (ταξινόμηση του αντικειμένου σε λάθος κλάση). TN (True Negative): Ορθά δεν γίνεται κάποια ανίχνευση σε περιοχές της εικόνας που δεν υπάρχει κάποιο αντικείμενο ενδιαφέροντος. FN (False Negative): Δεν γίνεται ανίχνευση αντικειμένου ενώ αυτό είναι παρών στην εικόνα. Με βάση του τέσσερις παραπάνω όρους ορίζονται τέσσερις βασικές μετρικές, η ακρίβεια (precision), η ανάκληση (recall), η ευαισθησία (sensitivity) η οποία ουσιαστικά είναι το ίδιο και το αυτό με την ανάκληση και η ειδικότητα (specificity) όπως φαίνονται παρακάτω: Precision = TP TP+FP Recall/Sensitivity = TP TP+FN Specificity = TN TN+FP Στην ουσία η ακρίβεια μας δείχνει το ποσοστό των πραγματικά σωστών ανιχνεύσεων από όλες τις ανιχνεύσεις που προέκυψαν και η ανάκληση άρα και η ευαισθησία μας δείχνουν το ποσοστό των σωστών ανιχνεύσεων από όλες τις ανιχνεύσεις που θα έπρεπε να γίνουν. Η ειδικότητα μας δείχνει το ποσοστό των σωστών αρνητικών διαγνώσεων, ένα εξαιρετικά σημαντικό νούμερο, καθώς η εσφαλμένη θετική διάγνωση προσθέτει στους παρόχους υπηρεσιών υγείας επιπλέον κόστος και άγχος στους ασθενείς. Πληροφοριακά, για την αξιολόγηση συστημάτων δυαδικής ταξινόμησης συχνά χρησιμοποιούνται οι ποσότητες της ευαισθησίας και της ειδικότητας, ενώ πολλές φορές σχεδιάζεται η καμπύλη της ευαισθησίας συναρτήσει της ειδικότητας γνωστή ως ROC (Receiver Operating Characteristic) και υπολογίζεται το εμβαδόν κάτω από την καμπύλη γνωστό ως AUC (Area Under the Curve) το οποίο αποτελεί μία μετρική για την συμπεριφορά του συστήματος. 45

47 4.2 Επίδοση νευρωνικού δικτύου Σε αυτή την παράγραφο παρουσιάζονται όλα τα δεδομένα που συλλέχθησαν για την ποιοτική αξιολόγηση του δικτύου συμπεριλαμβανομένων των καμπυλών ROC, της ακρίβειας και της ευαισθησίας του. Πραγματοποιήθηκε ένα πείραμα χρησιμοποιώντας το test dataset. Του οποίου η κατανομή φαίνεται στο παρακάτω διάγραμμα: Test Dataset Αρνητικά Δείγματα Θετικά Δείγματα Εικόνα 6: Γραφική αναπαράσταση των στατιστικών της βάσης δεδομένων Αποτελείται από σύνολο εικόνες με split αντιπροσωπευτικό της πραγματικής πιθανότητας εμφάνισης καρκινικού όγκου σε μαστογραφία. Επιλέχθηκε αυτός ο διαχωρισμός προκειμένου να μην ενθαρρυνθεί η ύπαρξη μεγάλων δεικτών False positives, κάτι που όπως θα δούμε στη συνέχεια επετεύχθη. Στις δοκιμές που πραγματοποιήθηκαν, βρέθηκε ο αριθμός των True Positives, True Negatives και αντίστοιχα των False Positives και Negatives από τα οποία υπολογίζονται οι μετρικές που ορίστηκαν στην προηγούμενη παράγραφο. True False Positive Negative Όπως δείχνουν τα παραπάνω δεδομένα το μοντέλο είναι εξαιρετικά καλό στην ταξινόμηση των φυσιολογικών εικόνων, ενώ στις καρκινικές μαστογραφίες έχουμε ένα μικτό τοπίο. Η ευαισθησία του 46

48 μοντέλου υπολογίζεται στο 65% και η ακρίβεια του στο 34%. Ενώ η ειδικότητα του στο 98% ένα εξαιρετικό νούμερο. Δημιουργήθηκε μία καμπύλη ROC για κάθε μία από τις δύο κλάσεις στις οποίες ταξινομεί τις εικόνες το νευρωνικό δίκτυο, με τη χρήση του test dataset. Παρακάτω παρουσιάζονται οι καμπύλες για τη κάθε μία κλάση ξεχωριστά, καθώς και οι τιμές των βασικών μετρικών που υπολογίστηκαν. Εικόνα 5.1 ROC για τη κλάση κανονικών εικόνων (Class 0) Εικόνα 5.2 ROC για την κλάση των καρκινικών εικόνων (Class 1) class 0 roc_auc_score: class 1 roc_auc_score: Αποτελέσματα Χαρτών Χαρακτηριστικών Με χρήση του κώδικα που αναπτύχθηκε και παρουσιάστηκε στην παράγραφο 3.6 έγινε η δημιουργία χαρτών χαρακτηριστικών. Στη συνέχεια χειροκίνητα έγινε η μελέτη τους, με σκοπό την αξιολόγηση και βελτίωση του κώδικα, και μετέπειτα τη διαλογή τους, προκειμένου να υπάρξει περεταίρω εκβάθυνση της έρευνας σε συγκεκριμένα σημεία του δικτύου τα οποία παρουσιάζουν το μεγαλύτερο ενδιαφέρον. Τα κριτήρια της επιλογής αυτής, εδράζονται στα εξής γνωρίσματα: 47

49 Το κατά πόσο είναι σταθερά και αξιόπιστα τα αποτελέσματα που δίνουν Το είδος των προτύπων που αναγνωρίζονται Η ευκολία της σύγκρισης με τις αρχικές εικόνες Η ευκολία στην κατανόηση της οπτικής πληροφορίας που διαθέτουν Εφόσον επιλέχθηκαν κάποια σημαντικά φίλτρα του δικτύου, αυτά παρουσιάζονται παρακάτω αναλυτικά. Εικόν α 1 Αρχικές εικόνες Φίλτρο 1 Ομάδα 17 Φίλτρο 2 Ομάδα 17 Φίλτρο 3 Ομάδα 17 Εικόν α 2 Εικόν α 3 Εικόν α 4 48

50 Εικόν α 5 Στην πρώτη στήλη βλέπουμε πραγματικές εικόνες που αποτελούν κομμάτι του dataset. Σε αυτές τις εικόνες, οι οποίες προέρχονται από τα patches που δημιουργήσαμε από τις μαστογραφίες της DDSM, περιέχονται καρκινικοί όγκοι που έχουν οροθετηθεί και χαρακτηρισθεί από ειδικούς, χρησιμοποιώντας το σύστημα BI-RADS. Αυτή η πληροφορία μας δίνεται από τις ετικέτες που προσφέρει η βάση. Οι εικόνες έχουν επιλεχθεί με γνώμονα την καθαρότητα και την προφανή ύπαρξη ενός καρκινικού όγκου σε αυτές, με σκοπό την καλύτερη δυνατή κατανόηση των αποτελεσμάτων οπτικά. Συγκεκριμένα σε αυτές τις εικόνες οι καρκινικοί όγκοι είναι οι φωτεινές μάζες ακανόνιστου σχήματος Στις διπλανές στήλες απεικονίζονται οι χάρτες χαρακτηριστικών που δημιουργήθηκαν από αυτές, κατά τη διάρκεια του πειράματος. Τα φίλτρα που απεικονίζονται, έχουν επιλεχθεί με κριτήριο το πόσο ενδιαφέροντα είναι τα πρότυπα που εμφανίζονται σε αυτά, καθώς σε όλες τις εικόνες που περιείχαν όγκους, η μέγιστη ενεργοποίηση τους εντοπίστηκε με εξαιρετική ακρίβεια, σε κάποιες περιπτώσεις, σε αυτούς. Δηλαδή τα σημεία των εικόνων στα οποία βρίσκονται καρκινικοί όγκοι προκαλούν τη μέγιστη ενεργοποίηση αυτών των νευρώνων. Έχει αποφασισθεί, να μη παρουσιαστούν «χαμηλού επιπέδου» γενικά φίλτρα, δηλαδή αυτά τα οποία αναγνωρίζουν βασικά και γενικά χαρακτηριστικά σε εικόνες, όπως πχ. ακμές, καθώς αποτελούν κατά πάσα πιθανότητα κατάλοιπα της προεκπαίδευσης που υπήρχε στο δίκτυο, ειδικά στα πρώτα επίπεδα. Αναλυτικότερα, τα φίλτρα ομάδας 17, αποτελούνται από τρία διαφορετικά κομμάτια του δικτύου, που παρουσιάζουν παρόμοια συμπεριφορά, και δείχνουν να επιτελούν παρόμοιο σκοπό σε αυτό, για αυτό το λόγο ομαδοποιούνται. Το φίλτρο 1 είναι ένα φίλτρο σε σχετικά ρηχό βάθος στο συνελικτικό δίκτυο, δηλαδή σε σημείο όπου δε μπορούμε να περιμένουμε από αυτό περίπλοκες αναπαραστάσεις και νοήμονες προβλέψεις. Ο λόγος για τον οποίο μας αφορά, είναι ότι παρά το ότι δε μπορεί να αναγνωρίσει πρότυπα τα οποία είναι κοντά σε επιστημονικά στάνταρ, η περιοχή ενδιαφέροντος του είναι πάντα εντός της περιοχής του καρκινικού όγκου ή παραπλησίως. Εδώ δηλαδή βλέπουμε την απαρχή των πιο ουσιωδών σημείων του νευρωνικού δικτύου, τα οποία όπως θα δούμε στα υπόλοιπα φίλτρα της ομάδας 17 βρίσκονται σε βαθύτερα επίπεδα. Το φίλτρο 2, βρίσκεται στα μεσαία επίπεδα του νευρωνικού δικτύου, και αναγνωρίζει με μεγάλη ακρίβεια τις ακμές και τα σύνορα καρκινικών όγκων. Σε όλες τις δοκιμές που πραγματοποιήθηκαν, πέτυχε την αναγνώριση του εκάστοτε όγκου, μη δίνοντας έμφαση στην υφή, εστιάζοντας στα όρια του. Έδωσε πολύ κοντινά αποτελέσματα στην περιοχή που βρίσκεται ο όγκος, σύμφωνα με τα αρχεία τοποθεσίας που βρίσκονται στη διάθεση μας από τη βάση δεδομένων. 49

51 Το φίλτρο 3 είναι σε αρκετά μεγάλο βάθος στο δίκτυο, εκεί που περιμένουμε από τους χάρτες χαρακτηριστικών να αναγνωρίζουν πιο προηγμένα και περίπλοκα πρότυπα, τα οποία σύμφωνα και με τη βιβλιογραφία πλησιάζουν αυτά που χρησιμοποιούν και οι ραδιολόγοι. Εδώ το φίλτρο 3 ενεργοποιείται πλήρως από την ύπαρξη ενός καρκινικού όγκου, και με «χειρουργική» ακρίβεια τον οριοθετεί σε οποιοδήποτε καρκινικό patch έχει δοκιμαστεί. Συγκεκριμένα στις δοκιμές που πραγματοποιήθηκαν, παρατηρήσαμε ότι αναγνώρισε κάθε καρκινικό όγκο είτε επακριβώς στα όρια που έχουν οριστεί από τη βάση δεδομένων, είτε με μεγαλύτερη σαφήνεια, γεγονός πολύ εντυπωσιακό καθώς δείχνει τα πλεονεκτήματα των συνελικτικών δικτύων στην επεξεργασία εικόνας, προσφέροντας μεγάλη λεπτομέρεια και σαφήνεια. Εικόνα 1 Αρχική Εικόνα Ομάδα 42 φίλτρο 1 Ομάδα 42 φίλτρο 2 Ομάδα 42 φίλτρο 3 Εικόνα 2 Εικόνα 3 50

52 Εικόνα 4 Εικόνα 5 Εδώ βλέπουμε μία άλλη συλλογή χαρτών που επίσης προέρχονται από τις ίδιες εικόνες ( αριστερή στήλη), που αποτελούν τμήμα του dataset της DDSM. Οι τρείς επόμενες στήλες αποτελούνται από τους χάρτες χαρακτηριστικών που εξήχθησαν από την ενεργοποίηση των νευρώνων της ομάδας 42, κατά τη διάρκεια της πειραματικής διαδικασίας. Αυτά τα φίλτρα που παρουσιάζονται όπως και με την ομάδα 17 έχουν ομαδοποιηθεί λόγω της παρόμοιας συμπεριφοράς που φαίνεται να παρουσιάζουν. Το φίλτρο 1 της ομάδας 42 είναι ένα φίλτρο μεσαίου επιπέδου, δηλαδή βρίσκεται σχετικά στο κέντρο του συνελικτικού νευρωνικού δικτύου που εκπαιδεύσαμε. Εδώ το κύριο χαρακτηριστικό, που θα δούμε και στα υπόλοιπα φίλτρα, είναι η ενεργοποίηση του φίλτρου από χαρακτηριστικά που σχετίζονται με την υφή. Ειδικότερα, στους χάρτες χαρακτηριστικών του φίλτρου 1 υπάρχει έντονη παρουσία της υφής, με συνάφεια ως προς τους καρκινικούς όγκους η υφή των οποίων δεν αναγνωρίζεται, όπως φαίνεται και από τον κενό γκρι χώρο στις εικόνες, ο οποίος στις πρώτες 4 εικόνες ταυτίζεται και με την περιοχή που περιέχεται ο όγκος. Ενώ τα περιθώρια του σκιαγραφούνται με ανοιχτά χρώματα. Στο δεύτερο φίλτρο της ομάδας, βλέπουμε μια πιο λεπτομερή απόκριση στην υφή, που ανταποκρίνεται στην τοποθεσία του μέσα στο δίκτυο που είναι σε μεγάλο βάθος. Σε αντίθεση με το φίλτρο 1 εδώ υπάρχει μεγαλύτερη σαφήνεια της απόκρισης. Δηλαδή υπάρχει λιγότερος κενός χώρος στις περιοχές καρκινικών όγκων, όπου ο χάρτης δε δείχνει ενεργοποίηση του χαρακτηριστικού. Με ανοιχτές αποχρώσεις παρατηρούμε την τοποθεσία του καρκινικού όγκου στην εικόνα, ξεκάθαρα μαρκαρισμένη, πάλι με έμφαση στην υφή της περιοχής. Στο φίλτρο 3, το οποίο είναι και το υψηλότερου επιπέδου, αντιπροσωπεύει ένα πρότυπο το οποίο είναι δύσκολο στη σύλληψη, δηλαδή δεν είναι αμέσως κατανοητή η πληροφορία που εξάγεται 51