ΙΑΤΡΙΚΗ ΑΠΕΙΚΟΝΙΣΗ & ΨΗΦΙΑΚΗ ΕΠΕΞΕΡΓΑΣΙΑ ΙΑΤΡΙΚΗΣ ΕΙΚΟΝΑΣ ΔΡ. Γ. ΜΑΤΣΟΠΟΥΛΟΣ ΕΠ. ΚΑΘΗΓΗΤΗΣ ΣΧΟΛΗ ΗΛΕΚΤΟΛΟΓΩΝ ΜΗΧΑΝΙΚΩΝ ΚΑΙ ΜΗΧΑΝΙΚΩΝ ΥΠΟΛΟΓΙΣΤΩΝ ΕΘΝΙΚΟ ΜΕΤΣΟΒΙΟ ΠΟΛΥΤΕΧΝΕΙΟ
Ευθυγράμμιση ιατρικών δεδομένων: καλείται η χωρική τοποθέτηση δύο συνόλων δεδομένων κατά τέτοιο τρόπο ώστε οι δομές που είναι κοινές σε αυτά να συμπίπτουν Σύντηξη ιατρικών δεδομένων: καλείται ο συνδυασμός της κοινής πληροφορίας μετά την ευθυγράμμισή σε ένα σύνολο δεδομέμων που προσφέρει τη μέγιστη δυνατή διαγνωστική πληροφορία 2
Οι ίδιες ανατομικές δομές απεικονίζονται με διαφορετικές απεικονιστικές τεχνικές Κάθε τεχνική παρέχει διαφορετικό είδος πληροφορίας: ανατομική, λειτουργική Μέχρι τώρα ο κλινικός ιατρός πραγματοποιούσε τη σύντηξη της πληροφορίας με τρόπο νοητικό που είχε ως αποτέλεσμα την ύπαρξη υποκειμενικότητας και αυξημένης πιθανότητας σφάλματος Η ακρίβεια της πληροφορίας μειωνόταν από ύπαρξη γεωμετρικών διαταραχών: Κινήσεις του ασθενούς, τεχνικά σφάλματα των απεικονιστικών συστημάτων (MRI, SPECT, κλπ), φυσιολογικές κινήσεις (αναπνοή,καρδιακοί παλμοί) 3
Ακτινοθεραπεία (CT CT, CT - MRI, CT SPECT, CT - PET) Ψηφιακή Διαφορική Αγγειογραφία (DSA) Αγγειογραφία αμφιβληστροειδούς (Flouorescein -Indocyanine) Αξιολόγηση θεραπείας (σύγκριση δεδομένων της ίδιας απεικονιστικής τεχνικής πριν / μετά την έναρξη της θεραπείας) 4
Παράδειγμα Ευθυγράμμισης και Σύντηξης Τομή MRI T2 Τομή SPECT (Tc) Ευθυγραμμισμένη Τομή Τομή Σύντηξης 5
Κατηγοριοποίηση Τεχνικών Ευθυγράμμισης Ημι-αυτόματες Τεχνικές (Manual): επενέργεια χρήστη Αυτόματες Τεχνικές (Automatic): καμία επενέργεια χρήστη 6
Ημι-αυτόματες Τεχνικές (Manual) Χρήση οδηγών σημείων (Markers): τοποθετούνται εξωτερικά στο δέρμα του ασθενή Εμφανίζονται σε διαφορετικά απεικονιστικά συστήματα Χρήση ανατομικών σημείων / περιοχών (Landmarks): τοποθετούνται αντίστοιχα σημαία / περιοχές στα δεδομένα από το χρήστη μέσω κατάλληλου λογισμικού Η ευθυγράμμιση πραγματοποιείται υπολογίζοντας τους παραμέτρους ενός γεωμετρικού μετασχηματισμού ώστε τα σημεία να ταυτιστούν χωρικά 7
Αυτόματες Τεχνικές (Automatic) Δεν απαιτείται καμία επενέργεια από το χρήστη Υπάρχουν δύο βασικές προσεγγίσεις: Από κάτω προς τα πάνω (Bottom up approach): χρήση τεχνικών επεξεργασίας εικόνων Χρήση μοντέλων (Model-based approach): απαιτεί αρχική γνώση των χρησιμοποιούμενων μοντέλων τρισδιάστατων αντικειμένων 8
Αυτόματες Τεχνικές (Automatic) Από κάτω προς τα πάνω προσέγγιση (Bottom up approach) Επιφάνειες Αρχικά Δεδομένα Τμηματοποίηση (3D) 9 Τελικό 3D Αντικείμενο
Αυτόματες Τεχνικές (Automatic) Προσέγγιση με χρήση μοντέλων (Model-based approach) Δημιουργία Αντικειμένων 10
Αυτόματες Τεχνικές (Automatic) Βασική κατηγοριοποίηση αυτόματων τεχνικών ευθυγράμμισης: Ευθυγράμμιση στο επίπεδο των δεδομένων (volume-based) Βασίζεται στα διαφορετικά επίπεδα του γκρι των δεδομένων Ευθυγράμμιση επιφανειών (surface-based) Βασίζεται στην τμηματοποίηση κοινών περιοχών ενδιαφέροντος των δεδομένων (π.χ. εξωτερικές επιφάνειες) 11
Αυτόματες vs Ημι-αυτόματες Τεχνικές Ευθυγράμμισης Ημι-αυτόματες Τεχνικές: Απαιτούν επεμβατικές διαδικασίες εφαρμοζόμενες σε συγκεκριμένα πρωτόκολλα μη ακριβής ευθυγράμμιση Αυτόματες Τεχνικές: Φιλική χρήση ακρίβεια ευθυγράμμισης - δυνατότητα επαναληψημότητας δύσκολες στην ανάπτυξη 12
ΒΑΣΙΚΑ ΜΕΘΟΔΟΛΟΓΙΚΑ ΒΗΜΑΤΑ ΕΥΘΥΓΡΑΜΜΙΣΗΣ Συλλογή Δεδομένων (Εικόνα Αναφοράς Εικόνα προς Ευθυγράμμιση) Προ-επεξεργασία Δεδομένων Ορισμός Γεωμετρικού Μετασχηματισμού Ορισμός Συνάρτησης Τεριάσματος Εικόνων (Measure of Match) Επιλογή και Εφαρμογή Τεχνικής Βελτιστοποίησης για τον Υπολογισμό των Παραμέτρων του Μετασχηματισμού 13
Προ-επεξεργασία Δεδομένων Επαναδειγματοληψία Δεδομένων Βελτίωση Ποιότητας Δεδομένων Τμηματοποίηση Δεδομένων (προαιρετικά) 14
Επαναδειγματοληψία Δεδομένων Δεδομένα από διαφορετικά απεικονιστικά συστήματα είναι δυνατόν να είναι σε διαφορετική διακριτική ανάλυση: Αξονικός Τομογράφος: κάθε τομή έχει διαστάσεις 512 512 12 bits per pixels Μαγνητικός Τομογράφος: 256 256 8 bits per pixel Απαιτείται κατάλληλη τεχνική Επαναδειγματοληψία (resampling) προκειμένου τα δεδομένα να έχουν κοινό μέγεθος Στοιχειώδης κύβος (voxel size) στις τρεις διαστάσεις (3D) 15
Επαναδειγματοληψία Δεδομένων I ( x, y, z) ( x, y) Έστω το pixel στην τομή z Η τεχνική Επαναδειγματοληψίας υλοποιείται με συνέλιξη με πυρήνα παρεμβολής σύμφωνα με τη σχέση: I x, y, z = I x, y, z h x x h y y h z z ( ) ( ) ( ) ( ) ( ) ( ) hu x y z Η συνάρτηση καλείται πυρήνας παρεμβολής (interpolation kernel) Τυπική γραμμική παρεμβολή: hu ( ) 1 u, u 1 = 0, u > 1 16
Βελτίωση Ποιότητας Δεδομένων Η βελτίωση ποιότητας των δεδομένων αποτελεί προαιρετικό βήμα Εξομάλυνση περιοχών ενδιαφέροντος Απομάκρυνση μη χρήσιμης πληροφορίας ως θόρυβο Οι τεχνικές προ-επεξεργασίας μπορούν να εφαρμοστούν: Στο επίπεδο τομών (δύο διαστάσεις 2D) Στο σύνολο των δεδομένων (τρεις διαστάσεις 3D) Εφαρμογή γραμμικών ή μη γραμμικών τελεστών 17
Τμηματοποίηση Δεδομένων Η τμηματοποίηση δεδομένων αποτελεί προαιρετικό βήμα Ευθυγράμμιση συγκεκριμένων περιοχών ενδιαφέροντος Ευθυγράμμιση Επιφανειών Οι τεχνικές τμηματοποίησης μπορούν να εφαρμοστούν: Στο επίπεδο τομών (δύο διαστάσεις 2D) Στο σύνολο των δεδομένων (τρεις διαστάσεις 3D) Εφαρμογή γραμμικών ή μη γραμμικών μεθόδων τμηματοποίησης 18
Γεωμετρικοί Μετασχηματισμοί (Transformation) Ολικοί Γεωμετρικοί Μετασχηματισμοί: Συμπαγής (Rigid) (μετατοπίσεις και περιστροφές)) Αφινικός (Affine) Διγραμμικός (Bilinear) Προβολικός (Projective) Διτερτράγωνος (Biquadratic) κ.λπ. Ελαστικοί Μετασχηματισμοί 19
Γεωμετρικοί Μετασχηματισμοί Transformation 2D Case 3D Case Rigid 3 5 Afine 6 12 Bilinear 8 24 Biquadratic 12 33 Projective 9 -- Elastic 150 2000 20
Γεωμετρικοί Μετασχηματισμοί Τυπικά Παραδείγματα Ολικών Μετασχηματισμών Γραμμικός Αφινικός Διγραμμικός 21
Γεωμετρικοί Μετασχηματισμοί Τυπικά Παραδείγματα Ελαστικών Μετασχηματισμών Ελαστικός Μετασχηματισμός για διαφορετικές τιμές παραμόρφωσης 22
Συναρτήσεις Ταιριάσματος (Measure of Match MoM) Οι Συναρτήσεις Ταιριάσματος ποσοτικοποιεί το ταίριασμα των ευθυγραμμισμένων δεδομένων Τυπικές Συναρτήσεις Ταιριάσματος: Άθροισμα απολύτων διαφορών (Sum of absolute differences) Άθροισμα τετραγώνων (Sum of squares) Συντελεστής συσχέτισης (Correlation coefficient - CC) Συντελεστής αμοιβαίας πληροφορίας (Mutual Information - MI) Απόσταση σημείων / επιφανειών Στοχαστική μεταβολή προσήμου (Stochastic sign change - SSC) κ.λπ. 23
Συναρτήσεις Ταιριάσματος Συντελεστής Συσχέτισης (0,0) Οφθαλμολογικές Εικόνες Η επιφάνεια του συντελεστή συσχέτισης ως συνάρτηση των μετατοπίσεων γύρω από το σωστό σημείο για ένα ζευγάρι οφθαλμολογικών εικόνων 24
Συναρτήσεις Ταιριάσματος Συντελεστής Αμοιβαίας Πληροφορίας Ο συντελεστής αμοιβαία πληροφορίας - MI είναι ένα μέτρο της εντροπίας μεταξύ (0,0) δύο εικόνων Παίρνει την μέγιστη τιμή όταν οι εικόνες είναι ευθυγραμμισμένες Η επιφάνεια του ΜΙ μίας εικόνας ως προς τον εαυτό της βάσει μόνο 25 μετατοπίσεων
Συναρτήσεις Ταιριάσματος Αποστάσεις σημείων / επιφανειών Τομή MR Εξωτερικό Περίγραμμα Μετασχηματισμός Απόστασης Ο μετασχηματισμός απόστασης χρησιμοποιείται για τον υπολογισμό του χάρτη αποστάσεων από ένα περίγραμμα / επιφάνεια 26
Συναρτήσεις Ταιριάσματος Στοχαστική μεταβολή προσήμου f1 f2 (f1-f2) - + - + Many sign changes, due to noise Η SSC υπολογίζει τον αριθμό των μεταβολών προσήμου των διαφορών δύο εικόνων προς ευθυγράμμιση 27
Τεχνικές Βελτιστοποίησης (Optimization) Χρησιμοποιούνται για το βέλτιστο υπολογισμό των παραμέτρων ενός γεωμετρικού μετασχηματισμού Η εφαρμογή της τεχνικής της βελτιστοποίησης βελτιστοποιεί την τιμή της συνάρτησης ταιριάσματος στο χώρο των παραμέτρων του μετασχηματισμού Υπάρχουν δύο βασικές κατηγορίες τεχνικών βελτιστοποίησης: Τοπικές τεχνικές Ολικές τεχνικές 28
Τεχνικές Βελτιστοποίησης (Optimization) Τοπικές τεχνικές βελτιστοποίησης: Steepest descent Conjugate gradient Powell method Downhill simplex method Τοπικές τεχνικές βελτιστοποίησης: Genetic Algorithms (GA) Simulated Annealing (SA) 29
Τεχνικές Βελτιστοποίησης Τοπικές vs Ολικές Τεχνικές 1 3 2 Λανθασμένο μέγιστο (2) με τοπική τεχνική βελτιστοποίησης (steepest ascend) 30
Παραδείγματα Ευθυγράμμισης Σύντηξης 2D - Ευθυγράμμιση Εντοπιστικών Εικόνων (portal images) 3D Ευθυγράμμιση Δεδομένων CT / MRI (Κρανίο) 3D Ευθυγράμμιση Δεδομένων CT Πνεύμονα 31
2D - Ευθυγράμμιση Εντοπιστικών Εικόνων (portal images) Εντοπιστική Απεικόνιση (Portal imaging): καταγραφή της τοποθέτησης ασθενή στην ακτινοθεραπεία και υπολογισμός λαθών τοποθέτησης (setup errors) χρησιμοποιώντας εικόνες X- ray συλλεγμένες με πολύ υψηλή ενέργεια Πεδίο Ακτινοβόλησης 32
2D - Ευθυγράμμιση Εντοπιστικών Εικόνων (portal images) Λάθη τοποθέτησης (setup errors): Τυχαία (Random): μεταβολές κατά τις διαφορετικές συνεδρίες Συστηματικά (Systematic): μεταβολές μεταξύ των ιδανικών τοποθετήσεων και των μέσων τοποθετήσεων του ασθενή σε όλες τις συνεδρίες Εσωτερικών δομών (Intra-fraction errors): μεταβολές παρατηρούμενες σε μία συνεδρία 33
2D - Ευθυγράμμιση Εντοπιστικών Εικόνων (portal images) Χρησιμοποίηση portal εικόνων για ακριβή τοποθέτηση ασθενή σε κάθε συνεδρία: Η portal εικόνα της πρώτης συνεδρίας θεωρείται ως εικόνα αναφοράς Επιβεβαίωση του πεδίου ακτινοβόλησης μεταξύ της εικόνας αναφοράς και της portal εικόνας στην τρέχουσα συνεδρία (ευθυγράμμισης περιγράμματος ακτινοβόλησης) Ευθυγράμμισης κοινών ανατομικών δομών στις δύο portal εικόνες (με χρήση Self organizing maps) 34
2D - Ευθυγράμμιση Εντοπιστικών Εικόνων (portal images) Χρησιμοποίηση portal εικόνων για ακριβή τοποθέτηση ασθενή σε κάθε συνεδρία: Η portal εικόνα της πρώτης συνεδρίας θεωρείται ως εικόνα αναφοράς Επιβεβαίωση του πεδίου ακτινοβόλησης μεταξύ της εικόνας αναφοράς και της portal εικόνας στην τρέχουσα συνεδρία (ευθυγράμμισης περιγράμματος ακτινοβόλησης) Ευθυγράμμισης κοινών ανατομικών δομών στις δύο portal εικόνες (τοποθέτηση αρχικών σημείων στην αναφορά και εύρεση αντιστοίχων σημείων στην άλλη εικόνα με χρήση Self organizing maps) 35
2D - Ευθυγράμμιση Εντοπιστικών Εικόνων (portal images) Χαρακτηριστικά Αποτελέσματα (Κεφαλή Phantom) 36
2D - Ευθυγράμμιση Εντοπιστικών Εικόνων (portal images) Χαρακτηριστικά Αποτελέσματα (Ισχιακή περιοχή ασθενή) 37
3D Ευθυγράμμιση Δεδομένων CT / MRΙ (Κρανίο) Συλλογή δεδομένων του ίδιου ασθενή από τα ίδια συστήματα Εφαρμογή προ-επεξεργασίας δεδομένων (κοινή διάσταση voxels) Εφαρμογή Τεχνικής Ευθυγράμμισης Επιφανειών (εξωτερικών επιφανειών του κρανίου στα δύο σύνολα δεδομένων) 38
3D Ευθυγράμμιση Δεδομένων CT / MRΙ (Κρανίο) Παρουσίαση Μεθοδολογίας Ευθυγράμμισης Επιφανειών Modality 1 Modality 2 Segmentation Segmentation Measure of Match Geometric Transformation Optimization Process 39
3D Ευθυγράμμιση Δεδομένων CT / MRΙ (Κρανίο) Παρουσίαση Αποτελεσμάτων Ευθυγράμμισης Επιφανειών Πριν την Ευθυγράμμιση Μετά την Ευθυγράμμιση Υπέρθεση εξωτερικών επιφανειών του CT (κόκκινο) και MRI (μπλε) 40
3D Ευθυγράμμιση Δεδομένων CT / MRΙ (Κρανίο) Παρουσίαση Αποτελεσμάτων Ευθυγράμμισης Σύντηξης Υπέρθεση οστών από το CT στις αντίστοιχες τομές MRI μετά από ευθυγράμμιση 41
3D Ευθυγράμμιση Δεδομένων CT Πνεύμονα Συλλογή δεδομένων του ίδιου ασθενή από CT σε διαφορετικές στιγμές Εφαρμογή Τεχνικής Ευθυγράμμισης Επιφανειών με χρήση Ελαστικού Μετασχηματισμού 42
3D Ευθυγράμμιση Δεδομένων CT Πνεύμονα Παρουσίαση Μεθοδολογίας Ευθυγράμμισης Επιφανειών 43
3D Ευθυγράμμιση Δεδομένων CT Πνεύμονα Παρουσίαση Παρουσίαση Αποτελεσμάτων Ευθυγράμμισης Ελαστική ευθυγράμμιση συγκεκριμένων ανατομικών δομών 44
3D Ευθυγράμμιση Δεδομένων CT Πνεύμονα Παρουσίαση Παρουσίαση Αποτελεσμάτων Ευθυγράμμισης - Σύντηξη Υπέρθεση περιγράμματος πνευμόνων (από τομές του συνόλου αναφοράς) στις αντίστοιχες τομές του προς ευθυγράμμιση συνόλου πριν και μετά την ευθυγράμμιση 45