ΑΝΑΛΥΣΗ ΚΑΙ ΑΝΑΖΗΤΗΣΗ ΙΑΤΡΙΚΩΝ ΜΑΣΤΟΓΡΑΦΙΚΩΝ ΕΙΚΟΝΩΝ

Transcript

1 ΑΝΑΛΥΣΗ ΚΑΙ ΑΝΑΖΗΤΗΣΗ ΙΑΤΡΙΚΩΝ ΜΑΣΤΟΓΡΑΦΙΚΩΝ ΕΙΚΟΝΩΝ Στυλιανόσ Δ. Τζικόπουλοσ Επιβλϋπων: Σϋργιοσ Θεοδωρύδησ, καθηγητόσ ΕΚΠΑ Αθόνα, 24/01/2011 Διδακτορικό Διατριβό - Τζικόπουλοσ Στ. - ΕΚΠΑ

2 Κύρια ςημεία διατριβήσ Ειςαγωγό Ανατομύα και φυςιολογύα του μαςτού Καρκύνοσ του μαςτού Μαςτογραφύα CAD ςυςτόματα ωσ εφαρμογό CBIR ςυςτημϊτων CAD ςύςτημα (1) Κατϊτμηςη Εύρεςη πυκνότητασ μαζικού παρεγχύματοσ Εύρεςη αςυμμετρύασ μεταξύ ζεύγουσ μαςτών CAD ςύςτημα (2) Εφαρμογό τεχνικών RF για ανϊκτηςη μαζών με όμοιο περύγραμμα Διδακτορικό Διατριβό - Τζικόπουλοσ Στ. - ΕΚΠΑ

3 Ανατομία και φυςιολογία του μαςτού λοβού Γαλακτοφόροι πόροι Γαλακτοφόροι κόλποι Θηλό Λύποσ Συνδετικόσ ιςτόσ (ςύνδεςμοι Cooper) Διδακτορικό Διατριβό - Τζικόπουλοσ Στ. - ΕΚΠΑ

4 Καρκίνοσ του μαςτού Τύποι Πορογενέσ καρκίνωμα Πολύ ςυχνά ςχετίζεται με αδενικό-ινώδη ιςτό Λοβιακό καρκίνωμα Διδακτορικό Διατριβό - Τζικόπουλοσ Στ. - ΕΚΠΑ

5 Καρκίνοσ του μαςτού Στατιςτικά & Διάγνωςη Ωσ προσ τισ γυναύκεσ: Αλλϊ: Συνηθϋςτερη μορφό καρκύνου 2 η αιτύα θανϊτου παγκοςμύωσ Σε ϋνα 10% θα διαγνωςτεύ καρκύνοσ του μαςτού Αφορϊ ςε μεγϊλεσ ηλικύεσ (μ.ο. εμφϊνιςησ 58 ϋτη) Υψηλϊ ποςοςτϊ επιβύωςησ, αν διαγνωςτεύ ςε πρώιμο ςτϊδιο Μεθοδολογύεσ ϋγκαιρησ διϊγνωςησ Μαςτογραφία : ακτινογραφύα ακτύνων Χ του μαςτού Κλινικό εξϋταςη ςτόθουσ (CBE) Αυτοεξϋταςη του ςτόθουσ (BSE) Μαγνητικό τομογραφύα (MRI) Διδακτορικό Διατριβό - Τζικόπουλοσ Στ. - ΕΚΠΑ

6 Μαςτογραφία ςάρωςησ Τακτικόσ προληπτικόσ ϋλεγχοσ μϋςω μαςτογραφύασ κϊθε χρόνο Γυναύκεσ ηλικύασ >40 ετών ό και νωρύτερα Βαςικϋσ προώποθϋςεισ: Εντοπιςμόσ καρκύνου ςε πρώιμο ςτϊδιο Μϊζεσ <1 cm Αποτιτανώςεισ και μικροαποτιτανώςεισ Μικρό ποςοςτό false-negative Μικρό ποςοςτό false-positive και λογικό κόςτοσ των περαιτϋρω εξετϊςεων Χαμηλό κόςτοσ και μηδενικϋσ παρενϋργειεσ Διδακτορικό Διατριβό - Τζικόπουλοσ Στ. - ΕΚΠΑ

7 Τυπικέσ μαςτογραφικέσ εικόνεσ MLO view CC view Διδακτορικό Διατριβό - Τζικόπουλοσ Στ. - ΕΚΠΑ

8 Ανάγνωςη μαςτογραφικήσ εικόνασ Λεπτομερόσ επιςκόπηςη από ακτινολόγο Εντοπιςμόσ φυςιολογικών και μη φυςιολογικών δομών: Περιοχό μαςτού, θηλό, αδενικόσ ιςτόσ, ςύνδεςμοι Cooper, αιμοφόρα αγγεύα, αδενικϋσ και λιπώδεισ περιοχϋσ κτλ. Νεοπλαςύεσ ςε μορφό μαζών, αςτεροειδεύσ ςχηματιςμού, ςχηματιςμού λεμφαδενωμϊτων, αποτιτανώςεισ, αρχιτεκτονικϋσ διαταραχϋσ, αςυμμετρύα Συγκριτικό επιςκόπηςη εικόνων μεταξύ τουσ και με προηγούμενεσ μαςτογραφύεσ Ιδιαύτερα δύςκολη και πολύπλοκη διαδικαςύα Υποκειμενικό ζότημα, που ςχετύζεται με ικανότητα και εμπειρύα ιατρού => «διπλό» ανϊγνωςη Πιθανϊ εύρηματα: Μϊζεσ & Αποτιτανώςεισ Υψηλόσ φόρτοσ εργαςύασ των ακτινολόγων Διδακτορικό Διατριβό - Τζικόπουλοσ Στ. - ΕΚΠΑ

9 CAD ςυςτήματα (1) Συςτόματα διϊγνωςησ υποβοηθούμενησ από Η/Υ CAD ςυςτόματα: Εργαλεύα, που παρϋχουν επικουρικό ϋργο προσ τον ιατρό Δεν τον αντικαθιςτούν, αλλϊ τον βοηθούν Παρουςιϊζουν πρόςθετη πληροφορύα για την ανϊδειξη κρύςιμων ωσ προσ τη διϊγνωςηχαρακτηριςτικών Βελτιώνουν την ακρύβεια τησ διαδικαςύασ ανϊγνωςησ Διδακτορικό Διατριβό - Τζικόπουλοσ Στ. - ΕΚΠΑ

10 CAD ςυςτήματα (2) Βαςικϊ ςτϊδια: Προ-επεξεργαςύα: Αποθορυβοπούηςη, βελτύωςη εικόνασ Κατϊτμηςη: Εύρεςη δομών, όπωσ υπόβαθρο, περιοχό του μαςτού, θωρακικόσ μυσ. Ανϊλυςη χαρακτηριςτικών: Εξαγωγό τιμών ςε επιλεγμϋνα χαρακτηριςτικϊ (π.χ. πλόθοσ αποτιτανώςεων και πυκνότητϊ τουσ) Ταξινόμηςη: Κατηγοριοπούηςη εικόνασ ωσ προσ χαρακτηριςτικό γνώριςμα (π.χ. πυκνότητα μαζικού παρεγχύματοσ) Διδακτορικό Διατριβό - Τζικόπουλοσ Στ. - ΕΚΠΑ

11 CAD ςυςτήματα - Μέλλον Συςχετιςμόσ επιμϋρουσ κλινικών περιπτώςεων Χρόςη πληροφοριών: Γραπτϋσ ςημειώςεισ (annotation) των ιατρών Πληροφορύα εξαγόμενη από την ύδια την εικόνα Content-based medical image retrieval ςυςτόματα, ωσ επϋκταςη των κλαςικών CBIR ςυςτημϊτων Διδακτορικό Διατριβό - Τζικόπουλοσ Στ. - ΕΚΠΑ

12 CBIR ςυςτήματα - RF Εξαγωγό χαμηλού επιπϋδου χαρακτηριςτικών (χρώμα, υφό, ςχόμα) Χρόςη κριτηρύων ομοιότητασ Ανϊκτηςη εικόνων όμοιεσ με την επερώτηςη του χρόςτη Αλλϊ: Σημαςιολογικό χϊςμα (semantic gap) (Τα χαρακτηριςτικϊ αδυνατούν να περιγρϊψουν ανθρώπινο μοντϋλο) Υποκειμενικότητα τησ ανθρώπινησ αντύληψησ Λύςη: ενςωμϊτωςη ανθρώπου ςτη διαδικαςύα ανϊκτηςησ Ανατροφοδότηςη ςυνϊφειασ (Relevance Feedback): Ο χρόςτησ επιλϋγει ςυγκεκριμϋνεσ εικόνεσ ωσ ςχετικϋσ ό μη με την επερώτηςη και καθοδηγεύ τη διαδικαςύα ανϊκτηςησ με την προςωπικό του κρύςη CAD ςυςτόματα με τεχνικϋσ RF (πολύ λύγα) Διδακτορικό Διατριβό - Τζικόπουλοσ Στ. - ΕΚΠΑ

13 CAD ςύςτημα (1) Πλόρωσ αυτοματοποιημϋνη λειτουργύα, χωρύσ την ανϊγκη εξωτερικόσ παρϋμβαςησ Χρόςη απλών μεθοδολογιών, με ςκοπό τη γρόγορη εκτϋλεςη Αναλύει και κατηγοριοποιεύ μαςτογραφύεσ Περιλαμβϊνει: 1. Κατϊτμηςη μαςτογραφικόσ εικόνασ 2. Εύρεςη πυκνότητασ μαζικού παρεγχύματοσ 3. Εύρεςη αςυμμετρύασ μεταξύ ζεύγουσ μαςτών Διδακτορικό Διατριβό - Τζικόπουλοσ Στ. - ΕΚΠΑ

14 Βάςη εικόνων Mini-MIAS Δημόςια προςβϊςιμη 161 ζεύγη μαςτογραφικών εικόνων MLO απεικόνιςησ Ανϊλυςη εικόνων : 0.4mm/pixel Βϊθοσ χρώματοσ : 8 bits, 256 επύπεδα γκρι Διαθϋςιμοσ και πλόρησ γραπτόσ ςχολιαςμόσ: Πυκνότητα παρεγχύματοσ Ύπαρξη ανωμαλιών και χαρακτηριςμόσ τουσ Διδακτορικό Διατριβό - Τζικόπουλοσ Στ. - ΕΚΠΑ

15 Κατάτμηςη μαςτογραφίασ (1) Αρχικό βόμα όλων των CAD ςυςτημϊτων Γρόγορη εκτϋλεςη με ικανοποιητικϊ αποτελϋςματα, διότι επηρεϊζει όλα τα επόμενα ςτϊδια επεξεργαςύασ Περιλαμβϊνει: Τεχνικϋσ προ-επεξεργαςύασ Εύρεςη κατεύθυνςησ, εύρεςη θορύβου, βελτύωςη ποιότητασ τησ εικόνασ Κατϊτμηςη υποβϊθρου Κατϊτμηςη θωρακικού μυόσ Εύρεςη θϋςησ τησ θηλόσ Διδακτορικό Διατριβό - Τζικόπουλοσ Στ. - ΕΚΠΑ

16 Κατάτμηςη μαςτογραφίασ (2) Θωρακικόσ μυσ Θόρυβοσ Θηλό Όριο μαςτού Διδακτορικό Διατριβό - Τζικόπουλοσ Στ. - ΕΚΠΑ

17 Τεχνικέσ προ-επεξεργαςίασ Εύρεςη κατεύθυνςησ τησ μαςτογραφικόσ εικόνασ Εύρεςη θορύβου Θόρυβοσ υψηλόσ φωτεινότητασ Tape artifacts Βελτύωςη ποιότητασ τησ εικόνασ Φύλτρο διαμϋςου ό μεςαύου (median) Διδακτορικό Διατριβό - Τζικόπουλοσ Στ. - ΕΚΠΑ

18 Κατάτμηςη υποβάθρου Υπϊρχουςα μεθοδολογύα [Masek 04] Βαςύζεται ςτην ιδϋα, ότι το όριο του μαςτού θα προκύψει από την ϋνωςη pixels ύδιασ φωτεινότητασ, που ςχηματύζουν ομαλό καμπύλη χωρύσ απότομεσ μεταβολϋσ Μεθοδολογύα Κατωφλύωςη τησ εικόνασ για κατώφλι Τ Υπολογιςμόσ προςϋγγιςησ Προςαρμογό πολυωνύμων Υπολογιςμόσ προςαρμοςμϋνου τετραγωνικού ςφϊλματοσ Επανϊληψη για διϊφορα Τ και επιλογό τησ προςϋγγιςησ που αντιςτοιχεύ ςτο ελϊχιςτο ςφϊλμα Διαχωριςμόσ τησ εικόνασ ςε ζώνεσ και χρόςη διαφορετικού κατωφλύου για κϊθε ζώνη Διδακτορικό Διατριβό - Τζικόπουλοσ Στ. - ΕΚΠΑ

19 Κατάτμηςη υποβάθρου Αποτελέςματα (1) Άριςτησ ποιότητασ Μέτριασ ποιότητασ Κακήσ ποιότητασ Διδακτορικό Διατριβό - Τζικόπουλοσ Στ. - ΕΚΠΑ

20 Κατάτμηςη υποβάθρου Αποτελέςματα (2) Αξιολόγηςη Χρόςη ground truth χειροκύνητησ κατϊτμηςησ Σύγκριςη με την αυτόματη κατϊτμηςη Μετρικϋσ (θεωρώντασ δύο περιοχϋσ Α,Β) Tannimoto Coefficient Dice Similarity Coefficient Μετρικϋσ (θεωρώντασ TP: True-Positive και αντύςτοιχα FP, FN) Completeness Correctness Quality qual compl corr TP TP FN TP TP FP TP TP FP FN TC DSC N( A N( A B) B) 2N( A N( A) B) N( B) Διδακτορικό Διατριβό - Τζικόπουλοσ Στ. - ΕΚΠΑ

21 Κατάτμηςη υποβάθρου Αποτελέςματα (3) Χρόςη δύο περιοχών αξιολόγηςησ Όλοσ ο μαςτόσ Περιοχό 10mm s γύρω από το ground truth Περιοχή αξιολόγηςησ Ολόκληροσ ο μαςτόσ Περιοχή κοντά ςτο όριο του μαςτού Ποςοτική μετρική αξιολόγηςησ Completeness Correctness Quality TC DSC Αλλϊ : Μη εύρεςη τησ θηλόσ ωσ μϋροσ του μαςτού, όταν αυτό απεικονύζεται ςε προβολό, εξαιτύασ των ϋντονων γωνιών του ορύου ςτο ςημεύο αυτό Διδακτορικό Διατριβό - Τζικόπουλοσ Στ. - ΕΚΠΑ

22 Κατάτμηςη θωρακικού μυόσ Διαδικαςύα 2 βαςικών βημϊτων [Kwok 04] : Straight Line Estimation: Το όριο προςεγγύζεται από ευθεύα γραμμό Iterative Cliff Detection: Η ευθεύα μετατρϋπεται ςε καμπύλη Διδακτορικό Διατριβό - Τζικόπουλοσ Στ. - ΕΚΠΑ

23 Κατάτμηςη θωρακικού μυόσ Βελτίωςη (1) Διαδικαςύα του Region enclosing : Εκτελεύται ςτο τϋλοσ τησ διαδικαςύασ, όταν το κϊτω ϊκρο δεν βρύςκεται ςτην αριςτερό ϊκρη τησ εικόνασ Υπϊρχουςα τεχνικό : πρόςθεςη ευθύγραμμου τμόματοσ παρϊλληλο με την αρχικό ευθεύα προςϋγγιςη Αρχικό ευθεύα προςϋγγιςη Διδακτορικό Διατριβό - Τζικόπουλοσ Στ. - ΕΚΠΑ Ακριβόσ προςϋγγιςη 2 ου ςταδύου 23

24 Κατάτμηςη θωρακικού μυόσ Βελτίωςη (2) Διαδικαςύα του Region enclosing : Προτεινόμενη τεχνικό : πρόςθεςη ευθύγραμμου τμόματοσ παρϊλληλο με την ευθεύα γραμμό, που προςαρμόζεται καλύτερα ςτην ακριβό προςϋγγιςη του 2 ου ςταδύου Αρχικό ευθεύα προςϋγγιςη Διδακτορικό Διατριβό - Τζικόπουλοσ Στ. - ΕΚΠΑ Ακριβόσ προςϋγγιςη 2 ου ςταδύου 24

25 Κατάτμηςη θωρακικού μυόσ - Αποτελέςματα Υπϊρχουςα και βελτιωμϋνη τεχνικό Διδακτορικό Διατριβό - Τζικόπουλοσ Στ. - ΕΚΠΑ

26 Κατάτμηςη θωρακικού μυόσ - Αξιολόγηςη Σχόμα αξιολόγηςησ: Εφαρμογό υπϊρχουςασ τεχνικόσ ςτην εικόνα i => Pi,1 Εφαρμογό νϋασ τεχνικόσ ςτην εικόνα i => Pi,2 Υπολογιςμόσ διαφορετικών pixels Di Αν Di > 20, η εικόνα i προςτύθεται ςτο ςύνολο DiffImgs Σύνολο εικόνων DiffImgs με ND=79 εικόνεσ. Για κϊθε εικόνα i, ειδικόσ ακτινολόγοσ δύνει βαθμό Marki=-2,.,2, ανϊλογα με το αν η νϋα τεχνικό ϋδωςε χειρότερα ό καλύτερα αποτελϋςματα Υπολογιςμόσ μ.ο. μ.ο. 1 wa N D D Mark i Τιμϋσ : α= και wα=62.2 pixels i a 1 N D Mark i Εύρεςη εικόνων που δίνουν αρκετά διαφορετικέσ προςεγγίςεισ και ςταθμιςμϋνου Διδακτορικό Διατριβό - Τζικόπουλοσ Στ. - ΕΚΠΑ

27 Εύρεςη θηλήσ Κύνητρο: Η θηλό δεν εντοπύζεται, όταν απεικονύζεται ςε προβολό ςτην εικόνα Χρόςη του όδη υπολογιςμϋνου ορύου, με ςκοπό την εύρεςη τησ θηλόσ, αν αυτό απεικονύζεται Διδακτορικό Διατριβό - Τζικόπουλοσ Στ. - ΕΚΠΑ

28 Εύρεςη θηλήσ Τεχνική (1) Οριςμόσ μύασ περιοχόσ αναζότηςησ πλϊτουσ 10mm s Εφαρμογό gaussian φύλτρου για μεύωςη θορύβου Κατωφλύωςη με χρόςη τιμών που προκύπτουν από την διαδικαςύα εύρεςησ του ορύου του μαςτού Τιμό κατωφλύου: 1 Τιμό κατωφλύου: 3 Διδακτορικό Διατριβό - Τζικόπουλοσ Στ. - ΕΚΠΑ

29 Εύρεςη θηλήσ -Τεχνική (2) Προςπϊθεια προςαρμογόσ μύασ ϋλλειψησ Κινούμενο κϋντρο πϊνω ςτο όριο του μαςτού Μεταβλητού ο μεγϊλοσ και ο μικρόσ ϊξονασ (2mm s - 10mm s) Για την αποφυγό εντοπιςμού περιοχόσ θορύβου ωσ θηλό: Η μϊςκα, που θα προκύψει από τη τιμό του κατωφλύου, οφεύλει να περιϋχει τουλϊχιςτον ϋνα pixel τησ πραγματικόσ περιοχόσ τησ θηλόσ μϋγιςτη Διδακτορικό Διατριβό - Τζικόπουλοσ Στ. - ΕΚΠΑ

30 Εύρεςη θηλήσ - Αποτελέςματα Αξιολόγηςη Nipple Not Visible Visible Not Detected Detected Χειροκύνητοσ χαρακτηριςμόσ των εικόνων από ειδικό 118 μαςτογραφύεσ με τη θηλό ςε προβολό Ορθό εύρεςη ςε 88 από αυτϋσ Σε 30 από αυτϋσ δεν εντοπύςτηκε Σε 25 από αυτϋσ εύναι μερικώσ ςε προβολό και ςυμπεριλαμβϊνεται ςτο όριο του μαςτού 204 μαςτογραφύεσ με τη θηλό να μην εύναι ςε προβολό Σε 15 από αυτϋσ εντοπύςτηκε θηλό, εξαιτύασ υψηλού ποςοςτού θορύβου Διδακτορικό Διατριβό - Τζικόπουλοσ Στ. - ΕΚΠΑ

31 Σωςτόσ εντοπιςμόσ Εύρεςη θηλήσ - Εικόνεσ Μη εντοπιςμόσ, ενώ εύναι ςε προβολό Εντοπιςμόσ, ενώ δεν εύναι ςε προβολό Διδακτορικό Διατριβό - Τζικόπουλοσ Στ. - ΕΚΠΑ

32 Εύρεςη θηλήσ Αξιολόγηςη Υπολογιςμόσ των τιμών των μετρικών, που χρηςιμοποιόθηκαν για την αξιολόγηςη τησ κατϊτμηςησ του υποβϊθρου, ςυμπεριλαμβϊνοντασ και την εντοπιςμϋνη θηλό ςτο όριο του μαςτού 3 περιοχϋσ αξιολόγηςησ: Ολόκληροσ μαςτόσ Περιοχό του ορύου Περιοχό θηλόσ Υπολογιςμϋνο όριο Περιοχή αξιολόγηςησ 2 Περιοχή αξιολόγηςησ 1 Περιοχή αξιολόγηςησ 3 Εντοπιςμϋνη θηλό Διδακτορικό Διατριβό - Τζικόπουλοσ Στ. - ΕΚΠΑ

33 Συμπεριλαμβάνοντασ την εντοπιςμένη θηλή Εύρεςη θηλήσ - Αξιολόγηςη Χωρίσ να περιλαμβάνεται η εντοπιςμένη θηλή Περιοχή αξιολόγηςησ Ποςοτική μετρική αξιολόγηςησ Completeness Correctness Quality TC DSC Ολόκληροσ ο μαςτόσ Περιοχή κοντά ςτο όριο του μαςτού Περιοχή τησ θηλήσ Η αύξηςη δεν «φαύνεται» μεγϊλη, αλλϊ: Το όριο αλλϊζει μόνο όταν εντοπύζεται η θηλό ( εικόνεσ) Η περιοχό, όπου αλλϊζει το όριο, εύναι πολύ μικρό ςε ςύγκριςη με ολόκληρο το όριο του μαςτού Διδακτορικό Διατριβό - Τζικόπουλοσ Στ. - ΕΚΠΑ

34 Κατάτμηςη μαςτογραφίασ - Συμπεράςματα Στϊδιο προ-επεξεργαςύασ: Επιτυχϋσ Υλοποιημϋνοσ αλγόριθμοσ εύρεςησ ορύου του μαςτού: Αποδεκτϊ αποτελϋςματα, με κριτόριο Συγκεκριμϋνα ςτατιςτικϊ μϋτρα Προςεκτικό επιςκόπηςη από ειδικό Κατϊτμηςη θωρακικού μυόσ : Αποδεκτϊ αποτελϋςματα και επιπλϋον, βελτιωμϋνα, με κριτόριο ςυγκεκριμϋνεσ μετρικϋσ Νϋα μεθοδολογύα εύρεςησ τησ θηλόσ Υπολογιςμόσ νϋου βελτιωμϋνου ορύου Υπολογιςμόσ τησ θϋςησ ωσ βαςικό ςημεύο για την περαιτϋρω επεξεργαςύα και ανϊλυςη τησ εικόνασ Διδακτορικό Διατριβό - Τζικόπουλοσ Στ. - ΕΚΠΑ

35 Πυκνότητα παρεγχύματοσ Μαςτόσ αποτελεύται από Ινώδη-αδενικό ιςτό : μη ακτινοπερατόσ / λευκό απόχρωςη Λιπώδη ιςτό : ακτινοπερατόσ / ςκούρα απόχρωςη Η αναλογύα τουσ αντιςτοιχεύ ςτην πυκνότητα του μαζικού παρεγχύματοσ Μαςτογραφύεσ υψηλόσ πυκνότητασ αντιςτοιχούν ςε μεγαλύτερο κύνδυνο Εικόνεσ υψηλόσ πυκνότητασ θα πρϋπει να ελϋγχονται πιο προςεκτικϊ Ανϊγκη για μεθοδολογύεσ αυτόματησ εύρεςησ τησ πυκνότητασ του μαζικού παρεγχύματοσ Χαμηλόσ πυκνότητασ (F) Υψηλόσ πυκνότητασ (D) Μϋςησ πυκνότητασ (G) Διδακτορικό Διατριβό - Τζικόπουλοσ Στ. - ΕΚΠΑ

36 Πυκνότητα παρεγχύματοσ Εξαγωγή χαρακτηριςτικών (1) Προ-επεξεργαςύα: Gaussian φύλτρο (παρϊμετροι: μϋγεθοσ, σ) Unsharp φύλτρο (παρϊμετροσ: α) Κατϊτμηςη εικόνων από προηγούμενο βόμα ςε Αυτόματη επιλογή τιμών με βάςη το ποςοςτό επιτυχίασ Μαςτόσ (BrT) Αρχική εικόνα (Ι) Υπόβαθρο (Back) Ανθρώπινοσ ιςτόσ (HuT) Διδακτορικό Διατριβό - Τζικόπουλοσ Στ. - ΕΚΠΑ

37 Πυκνότητα παρεγχύματοσ Εξαγωγή χαρακτηριςτικών (2) F1,F2 : μϋςη τιμό και διακύμανςη των pixels του υποβϊθρου (Back): Μοντελοπούηςη θορύβου F3,F4 : κανονικοποιημϋνη επιφϊνεια και ιςχύσ τησ περιοχόσ του μαςτού (BrT) F5 : ςχετιζόμενο με fractal διϊςταςη τησ εικόνασ DFT τησ περιοχόσ HuT Εξαγωγό του λογαρύθμου των τιμών τησ διαγωνύου Προςαρμογό εκθετικόσ f(x) = Aexp(Bx)+C F5=Β Διδακτορικό Διατριβό - Τζικόπουλοσ Στ. - ΕΚΠΑ

38 T T1 Πυκνότητα παρεγχύματοσ Εξαγωγή χαρακτηριςτικών (3) Κατϊτμηςη ςτο εςωτερικό του μαςτού Εφαρμογό minimum cross-entropy κατωφλύωςησ 3 φορϋσ ςτην περιοχό HuT ROI1 / ROI2 ROI3 / ROI4 ROI5 T2 Διδακτορικό Διατριβό - Τζικόπουλοσ Στ. - ΕΚΠΑ

39 Πυκνότητα παρεγχύματοσ Εξαγωγή χαρακτηριςτικών (4) Για κϊθε μύα περιοχό ROIi,υπολογύζεται η μϋςη τιμό και η διακύμανςη των pixels (10 χαρακτηριςτικϊ) Για τα ROI2, ROI4, ROI5 υπολογύζονται: Αναλογύα N( ROI i ) N( BrT ) Σταθμιςμϋνη αναλογύα r i Δεύχνουν την αναλογύα του ινώδουσ-αδενικού και του λιπώδουσ ιςτού ωσ προσ το μαςτό, αλλϊ και μεταξύ τουσ (6 χαρακτηριςτικϊ) Συνολικϊ: 21 χαρακτηριςτικϊ (κανονικοπούηςη) wr i ( x, y) ( x, y) I( x, y) ROI I( x, y) BrT i Διδακτορικό Διατριβό - Τζικόπουλοσ Στ. - ΕΚΠΑ

40 Πυκνότητα παρεγχύματοσ - Ταξινόμηςη Πρόβλημα 3 κλϊςεων Ταξινομητϋσ: Classification and Regression Trees (CART) One-against-all ςχόμα ταξινόμηςησ Εκπαύδευςη 3 CART δϋντρων, ϋνα για κϊθε κλϊςη Ταξινόμηςη ςτην κλϊςη j με τη μϋγιςτη τιμό εξόδου k-πληςιϋςτερων γειτόνων (knn) Μηχανών Διανυςματικόσ Υποςτόριξησ (SVM) One-against-one ςχόμα ταξινόμηςησ Επικύρωςη: 3 δυαδικού SVM ταξινομητϋσ Το ϊγνωςτο πρότυπο ταξινομεύται και από τουσ 3 και αποφαςύζεται υπϋρ τησ κλϊςησ με μϋγιςτο αριθμό ψόφων Leave-one-out και leave-one-woman-out (2 εικόνεσ του ζεύγουσ) Διδακτορικό Διατριβό - Τζικόπουλοσ Στ. - ΕΚΠΑ

41 Πυκνότητα παρεγχύματοσ Αποτελέςματα Μεθοδολογία κατάτμηςησ υποβάθρου Ταξινομητήσ CART k-nn SVM Αυτόματη 67.39% 78.57% 85.71% Χειροκύνητη 68.01% 78.57% 84.16% Μεθοδολογία κατάτμηςησ υποβάθρου leave-one-out Ταξινομητήσ leave-one-woman-out CART k-nn SVM Αυτόματη 65.84% 76.40% 77.02% Χειροκύνητη 65.84% 76.40% 77.33% Διδακτορικό Διατριβό - Τζικόπουλοσ Στ. - ΕΚΠΑ

42 Πυκνότητα παρεγχύματοσ - Συμπεράςματα Η μεθοδολογύα: Χρηςιμοποιεύ απλϊ ςτατιςτικϊ πρώτησ τϊξησ Ελκυςτικό για real-time εφαρμογϋσ Τεχνικό για υπολογιςμό fractal μϋςω φϊςματοσ ιςχύοσ Επιτυγχϊνει υψηλό ποςοςτό επιτυχύασ και χρηςιμοποιεύ ολόκληρη τη διαθϋςιμη βϊςη εικόνων Διδακτορικό Διατριβό - Τζικόπουλοσ Στ. - ΕΚΠΑ

43 Εύρεςη αςυμμετριών Πιθανό αςυμμετρύα μεταξύ ζεύγουσ μαςτογραφικών εικόνων Πρώιμη ϋνδειξη ανωμαλύασ CAD ςυςτόματα: Αυτόματη ανϊλυςη και ςύγκριςη ζεύγουσ εικόνων Διδακτορικό Διατριβό - Τζικόπουλοσ Στ. - ΕΚΠΑ

44 Εύρεςη αςυμμετριών Εξαγωγή χαρακτηριςτικών (1) Χρόςη τησ όδη υπολογιςμϋνησ εςωτερικόσ κατϊτμηςησ Για κϊθε μύα εικόνα υπολογύζονται: x-axis Το πλόθοσ των pixels τησ BrT περιοχόσ και ϊλλα 7 χαρακτηριςτικϊ από το προηγούμενο βόμα Θεωρώντασ ωσ μϊςκεσ τισ περιοχϋσ ROI2, ROI4, ROI5, υπολογύζονται τα x- και y-ιςτογρϊμματα Για κϊθε ϋνα ιςτόγραμμα υπολογύζονται ςτατιςτικϋσ πρώτησ τϊξησ: Μϋςη τιμό, τυπικό απόκλιςη, ςτρϋβλωςη, κύρτωςη και διϊμεςοσ Προκύπτουν 30 διαφορετικϊ χαρακτηριςτικϊ y-axis Διδακτορικό Διατριβό - Τζικόπουλοσ Στ. - ΕΚΠΑ

45 Εύρεςη αςυμμετριών Εξαγωγή χαρακτηριςτικών (2) Για κϊθε μύα μαςτογραφύα => 38 χαρακτηριςτικϊ Θϋλουμε να εντοπύςουμε αςυμμετρύα ζεύγουσ: Υπολογύζουμε f και g για τισ εικόνεσ δεξιού και αριςτερού μαςτού Εύρεςη περιπτώςεων που οι παραπϊνω τιμϋσ διαφϋρουν ςημαντικϊ μεταξύ τουσ Διϊνυςμα χαρακτηριςτικών του ζεύγουσ (πλόθοσ 114): Διδακτορικό Διατριβό - Τζικόπουλοσ Στ. - ΕΚΠΑ

46 Εύρεςη αςυμμετριών Ταξινόμηςη Ταξινομητϋσ: weighted k-nn 1-class SVM Μοντελοπούηςη τησ κλϊςησ με τα αςυμμετρικϊ ζεύγη μαςτών Επικύρωςη: Leave-one-out T-test : Μεύωςη πλόθουσ χαρακτηριςτικών ςε 18 Διδακτορικό Διατριβό - Τζικόπουλοσ Στ. - ΕΚΠΑ

47 Εύρεςη αςυμμετριών Αποτελέςματα Μεθοδολογία κατάτμηςησ υποβάθρου weighted k-nn Ταξινομητήσ 1-class SVM Αυτόματη 70.19% 84.47% Χειροκύνητη 73.91% 80.75% Εύρεςη αςυμμετριών Απλό τεχνικό Χρόςη τησ όδη υπολογιςμϋνησ εςωτερικόσ κατϊτμηςησ του μαςτού Παρόμοιο ό και υψηλότερο ποςοςτό επιτυχύασ από τη βιβλιογραφύα Τα 2 ξεχωριςτϊ ςτϊδια (πυκνότητα/αςυμμετρύα) αντιμετωπύζονται με αυτοματοποιημϋνο και ενοποιημϋνο τρόπο Διδακτορικό Διατριβό - Τζικόπουλοσ Στ. - ΕΚΠΑ

48 τιμϋσ ςε second CAD ςύςτημα - Συνοπτικά CAD (21.5) 1.1 Εύρεςη κατεύθυνςησ (0.3) 1.2 Κατϊτμηςη θορύβου (1.7) 1.3. Βελτύωςη ποιότητασ (0.01) 1. Προεπεξεργαςύα (2.0) 2.1. Υποβϊθρου (5.1) Θωρακικού μυόσ (8.2) Θηλόσ (4.6) 2. Κατϊτμηςη (17.9) Πυκνότητα (1.9) Προ-επεξεργαςύα (0.004) 3. Ταξινόμηςη Εξαγωγό χαρ/κών (1.1) (1.6) Ταξινόμηςη (0.02) Ανϊλυςη και κατηγοριοπούηςη Αςυμμετρύα (0.5) Εξαγωγό χαρ/κών (0.5) Ταξινόμηςη (0.0003) Διδακτορικό Διατριβό - Τζικόπουλοσ Στ. - ΕΚΠΑ

49 Ανατροφοδότηςη ςυνάφειασ - RF Τυπικό RF ςύςτημα: Ο χρόςτησ αλληλεπιδρϊ με τη μηχανό αναζότηςησ Ο χρόςτησ επιλϋγει από τισ επιςτρεφόμενεσ εικόνεσ τισ ςχετικϋσ και τισ μη ςχετικϋσ Η μηχανό «μαθαύνει» χρηςιμοποιώντασ την ανϊδραςη του χρόςτη Βελτιωμϋνα αποτελϋςματα επιςτρϋφονται ςτην επόμενη επανϊληψη Μηχανό αναζότηςησ : Ένασ ταξινομητόσ, που εκπαιδεύεται από τισ ςχετικϋσ και μη ςχετικϋσ εικόνεσ του χρόςτη Σύνηθησ επιλογό : SVM Διδακτορικό Διατριβό - Τζικόπουλοσ Στ. - ΕΚΠΑ

50 Ανατροφοδότηςη ςυνάφειασ Simple SVM και Active SVM : Simple SVM Ο χρόςτησ χαρακτηρύζει εικόνεσ που ανόκουν με μεγϊλη πιθανότητα ςτισ ςχετικϋσ με την επερώτηςη Ευκολότερο για το χρόςτη Όχι χρόςιμη πληροφορύα => αργό ςύγκλιςη του ςυςτόματοσ Active SVM : Ο χρόςτησ χαρακτηρύζει εικόνεσ που βρύςκονται εγγύτερα ςτο διαχωριςτικό επύπεδο του ταξινομητό Δυςκολότερο για το χρόςτη Χαρακτηρύζει εικόνεσ που παρϋχουν τη μϋγιςτη πληροφορύα => γρόγορη ςύγκλιςη RF ςτην ανϊκτηςη ιατρικών εικόνων Ενςωματώνει την κρύςη του ακτινολόγου Ιδέα : ο πλϋον ειδικόσ εύναι ο ακτινολόγοσ, η κρύςη του οπούου θα πρϋπει να ληφθεύ υπόψη και να καθοδηγόςει τη διαδικαςύα τησ ανϊκτηςησ των εικόνων Διδακτορικό Διατριβό - Τζικόπουλοσ Στ. - ΕΚΠΑ

51 CAD ςύςτημα (2) Πραγματικό εφαρμογό ανϊκτηςησ μαςτογραφιών με χρόςη τεχνικών RF Ανϊκτηςη εικόνων με μϊζα όμοιου ςχόματοσ με την επερώτηςη Δεδομϋνα 2274 μϊζεσ που ανόκουν ςε 7 διακριτϋσ κλϊςεισ Χαρακτηριςτικϊ περιγραφόσ ςχόματοσ : ςτατιςτικϋσ 1 ησ τϊξησ του ορύου τησ μϊζασ Διδακτορικό Διατριβό - Τζικόπουλοσ Στ. - ΕΚΠΑ

52 Δεδομένα Προϋρχονται από τη βϊςη εικόνων DDSM Δύςκολη η μετατροπό τουσ ςε png (Σύντομα public available) 2589 περιπτώςεισ 4 μαςτογραφύεσ καθεμύα (CC-MLO, left-right) Κϊθε ανωμαλύα : Σχολιαςμϋνη ςαν μϊζα / αποτιτϊνωςη Περικλεύεται ςε ςυγκεκριμϋνη περιοχό (pixel ground truth) Κϊθε μϊζα χαρακτηρύζεται ωσ προσ το ςχόμα τησ Χρηςιμοποιούμε εικόνεσ με μϊζεσ που ανόκουν ςε 7 διακριτϋσ κλϊςεισ: Irregular, Oval, Round, Lobulated, Lymph Node, Tubular, Other Διδακτορικό Διατριβό - Τζικόπουλοσ Στ. - ΕΚΠΑ

53 Εξαγωγή χαρακτηριςτικών Για κϊθε μϊζα δύνεται ακριβόσ περιγραφό του ορύου τησ και χαρακτηριςμόσ του ςχόματόσ τησ Σκοπόσ : εύρεςη τησ κλϊςησ του ςχόματοσ, χρηςιμοποιώντασ μορφολογικϊ χαρακτηριςτικϊ του ορύου Στατιςτικϋσ 1 ησ τϊξησ τησ Κανονικοποιημϋνησ Ακτινικόσ Απόςταςησ (NRD) Υπολογιςμόσ του κϋντρου μϊζασ Εύρεςη τησ απόςταςησ κϊθε pixel του περιγρϊμματοσ από το κϋντρο μϊζασ d( i) ( x( i) X Y ) ( y( i) 0 ) Κανονικοπούηςη ςτο [0,1] => NRD (dn) Υπολογιςμόσ 7 απλών μετρικών ςτο ςόμα dn mean, std, circularity, entropy, area ratio, zerocrossing count, roughness Διδακτορικό Διατριβό - Τζικόπουλοσ Στ. - ΕΚΠΑ

54 Πειράματα RF (1) Ταξινόμηςη: Στο βόμα 0 : Απλόσ ταξινομητόσ ελϊχιςτησ Ευκλεύδειασ απόςταςησ Στα επόμενα βόματα 1-10 : Εκπαύδευςη ενόσ SVM ταξινομητό (δεδομϋνα εκπαύδευςησ: ανϊδραςη του χρόςτη) 2274 μϊζεσ που ανόκουν ςε 7 διακριτϋσ κλϊςεισ Χρόςτησ: πλόρωσ αυτοματοποιημϋνοσ ωσ: «Υπομονετικόσ» : χαρακτηρύζει όλεσ τισ εικόνεσ Λιγότερο «υπομονετικόσ» : χαρακτηρύζει ϋωσ 4 ςχετικϋσ και 4 μη ςχετικϋσ «Ανυπόμονοσ» : χαρακτηρύζει ϋωσ 3 ςχετικϋσ και 3 μη ςχετικϋσ «Οκνηρόσ» : χαρακτηρύζει ϋωσ 2 ςχετικϋσ και 2 μη ςχετικϋσ Μετρικό αξιολόγηςησ : precision pr R (Relevant images) N (N 10 returned images) Διδακτορικό Διατριβό - Τζικόπουλοσ Στ. - ΕΚΠΑ

55 Πειράματα RF (2) Σενάριο : Επιλογό μϊζασ ωσ εικόνα επερώτηςησ Για τα βόματα 0 ϋωσ 10 : Το ςύςτημα επιςτρϋφει 10 εικόνεσ για αξιολόγηςη. Υπολογύζεται η τιμό τησ μετρικόσ Precision Το ςύςτημα επιςτρϋφει 10 εικόνεσ για χαρακτηριςμό Ο χρόςτησ χαρακτηρύζει υποςύνολο των εικόνων ωσ ςχετικϋσ ό μη Το ςύςτημα εκπαιδεύεται με τα νϋα δεδομϋνα ανϊδραςησ Το ςενϊριο επαναλαμβϊνεται για τισ 2274 εικόνεσ 2 ςχόματα Simple SVM : χαρακτηριςμόσ των πλϋον ςχετικών εικόνων Active SVM : χαρακτηριςμόσ των πλϋον αμφιλεγόμενων εικόνων Διδακτορικό Διατριβό - Τζικόπουλοσ Στ. - ΕΚΠΑ

56 Εκτύπωςη καμπυλών (1) μ.ο. precision για κϊθε βόμα (4 χρόςτεσ / 2 τεχνικϋσ : 8 ςενϊρια) Διδακτορικό Διατριβό - Τζικόπουλοσ Στ. - ΕΚΠΑ

57 Εκτύπωςη καμπυλών (1) - Σχόλια Βόμα 0: Όλεσ οι καμπύλεσ ςτο ύδιο ςημεύο Βόμα 1: Simple ύδιο με Active για τον ύδιο τύπο χρόςτη Βόματα 2-10: Active πϊντα καλύτερο του Simple για τον ύδιο τύπο χρόςτη Παρατόρηςη: ταχύτατη ςύγκλιςη του active ςεναρύου Διδακτορικό Διατριβό - Τζικόπουλοσ Στ. - ΕΚΠΑ

58 Εκτύπωςη καμπυλών (2) μ.ο. precision για κϊθε κλϊςη (8 ςενϊρια) Εκτύμηςη απόδοςησ ςυςτόματοσ για κϊθε κλϊςη ξεχωριςτϊ Απεικονύζεται το ςενϊριο active / «ανυπόμονοσ» Παρόμοιεσ καμπύλεσ και τα 8 ςενϊρια Μονότονη αύξηςη, εκτόσ τησ κλϊςησ Tubular (4 εικόνεσ) Διδακτορικό Διατριβό - Τζικόπουλοσ Στ. - ΕΚΠΑ

59 Πειράματα RF Υπολογιςμόσ precision VS scope Precision ςε ςυγκεκριμϋνο scope s : πλόθοσ εικόνων όμοιεσ με την επερώτηςη οι οπούεσ και ανόκουν ςτισ πρώτεσ s εικόνεσ που επϋςτρεψε το ςύςτημα προσ την τιμό s Προςπϊθεια αξιολόγηςησ τησ διαδικαςύασ ςε ευρύτερο φϊςμα και όχι μόνο ςτισ 10 πρώτεσ εικόνεσ Εξαγωγό καμπύλησ precision VS scope Για κϊθε βόμα τησ επαναληπτικόσ διαδικαςύασ Για κϊθε ϋνα από τα 8 διαθϋςιμα ςενϊρια Διδακτορικό Διατριβό - Τζικόπουλοσ Στ. - ΕΚΠΑ

60 Η active υπερέχει ακόμη και για λιγότερα δεδομένα εκπαίδευςησ Εκτύπωςη καμπυλών (3) Μϋςοσ όροσ precision VS scope για κϊθε ςενϊριο (11 βόματα RF) βήμα 2 βήμα 7 Διδακτορικό Διατριβό - Τζικόπουλοσ Στ. - ΕΚΠΑ

61 Εκτύπωςη καμπυλών (4) Βελτίωςη ςε κάθε βήμα RF Μϋςοσ όροσ precision VS scope για κϊθε βόμα του RF (8 ςενϊρια) simple / 3pos-3neg active / 3pos-3neg Διδακτορικό Διατριβό - Τζικόπουλοσ Στ. - ΕΚΠΑ

62 RF Σχολιαςμόσ Το RF παρουςιϊςτηκε ωσ βοηθητικό εργαλεύο ςε ϋνα CAD ςύςτημα Ανϊκληςη μαζών με όμοιο ςχόμα Επιτυγχϊνει ςχεδόν 90% precision Η διαδικαςύα ανϊκτηςησ μπορεύ να βελτιωθεύ ςημαντικϊ, όταν ο ακτινολόγοσ ενςωματωθεύ ςτη διαδικαςύα Το ςύςτημα ςυγκλύνει γρηγορότερα, όταν χρόςτησ εμπλϋκεται πιο ενεργϊ (active SVM) Online ( ) Διδακτορικό Διατριβό - Τζικόπουλοσ Στ. - ΕΚΠΑ

63 Κλείνοντασ... CAD ςύςτημα: Κατϊτμηςη Νϋεσ τεχνικϋσ εύρεςησ πυκνότητασ και αςυμμετρύασ Μελϋτη και διερεύνηςη τησ αποτελεςματικότητασ του RF ςε ιατρικϋσ εικόνεσ: Ψηφιακϋσ μαςτογραφύεσ και ςυγκεκριμϋνα, μϊζεσ Πραγματικό εφαρμογό Εκτενόσ βϊςη / μοντελοπούηςη χρόςτη Διδακτορικό Διατριβό - Τζικόπουλοσ Στ. - ΕΚΠΑ

64 Σχετικέσ Δημοςιεύςεισ Tzikopoulos S., Mavroforakis M., Georgiou H, Dimitropoulos N., Theodoridis,S., A fully automated scheme for mammographic segmentation and classification based on breast density and asymmetry, Computer Methods and Programs in Biomedicine (accepted for publication) Stylianos D. Tzikopoulos and Harris V. Georgiou and Michael E. Mavroforakis and Sergios Theodoridis, 'Shape-Based Tumor Retrieval in Mammograms Using Relevance-Feedback Techniques', 20 th International Conference on Artificial Neural Networks (ICANN), Thessaloniki, Greece, 2010 (among the student travel grant awards) Tzikopoulos St., Georgiou H., Mavroforakis M., Theodoridis, S., 'A fully automated scheme for breast density estimation and asymmetry detection of mammograms', 17 th European Signal Processing Conference (EUSIPCO), Glasgow, Scotland, 2009 Tzikopoulos St., Georgiou H., Mavroforakis M., Dimitropoulos N., Theodoridis, S., 'A fully automated complete segmentation scheme for mammograms', 16 th International Conference on Digital Signal Processing (DSP), Santorini, Greece, 2009 Διδακτορικό Διατριβό - Τζικόπουλοσ Στ. - ΕΚΠΑ

65 Συζήτηςη Ευχαριςτώ πολύ για την προςοχό ςασ Ερωτόςεισ ; Διδακτορικό Διατριβό - Τζικόπουλοσ Στ. - ΕΚΠΑ