Ψηφιοποίηση Μονοδιάστατα σήματα Πολυκαναλικά σήματα Δισδιάστατα 2D σήματα Τρισδιάστατα 3D σήματα Υλικό Hardware για ψηφιοποίηση Μετρήσεις σε εικόνες Γεωμετρικά χαρακτηριστικά Μέγεθος αντικειμένων (πυρήνων) Μορφή αντικειμένων (πυρήνων) Πυκνομετρικά χαρακτηριστικά Συμπίεση εικόνων
Πλεονεκτήματα ψηφιακών σημάτων Ταχύτατη και εύκολη επεξεργασία Κρυπτογράφηση προστασία δεδομένων Εύκολη αναβάθμιση χρόνος ζωής συστημάτων Μικρός όγκος πληροφορίας χαμηλό κόστος Εύκολη μετάδοση και αποθήκευση
Ψηφιοποίηση πληροφορίας Ανάλογα με τον τύπο της πληροφορίας Μονοδιάστατη - 1D (πχ ECG): αφού γίνει η λήψη μέσω των αισθητήρων ακολουθεί η ψηφιοποίηση με τη χρήση A/D (Analog/Digital) μετατροπέων Πολυκαναλικά σήματα = πολλά 1D σήματα (πχ EEG) η ψηφιοποίηση πραγματοοπιείται με τη χρήση πολλών A/D μετατροπέων ή με τη χρήση ενός που περιοδικά ψηφιοποιεί κάθε κανάλι Διδιάστατα σήματα 2D (πχ εικόνες μικροσκοπίου, ακτινογραφίες) με τη χρήση scanner ή ψηφιακής κάμερας ή αισθητήρα Τρισδιάστατα σήματα 3D (πχ Αξονική τομογραφία, 3D Ultra Sound) παρέχεται από την συσκευή Xρήση κινούμενης πηγής και αισθητήρα και ση συνέχεια μεθόδων όπως ο Γρήγορος Μετασχηματισμός Φουριέ (Fast Fourier Transform FFT)
Μονοδιάστατα σήματα Αισθητήρας Δειγματοληψία & κβάντιση Αναλογικό σήμα Ψηφιακό σήμα Αισθητήρας: Μετατρέπει ένα φυσικό σήμα σε αναλογικό ηλεκτρικό Δειγματοληψία: επιλέγει ανά τακτά χρονικά διαστήματα την τιμή του αναλογικού σήματος Κβάντιση: μετατρέπει την επιλεγμένη τιμή του αναλογικού σήματος σε αριθμητική τιμή εντός ενός πεπερασμένου συνόλου τιμών Δειγματοληψία + κβάντιση = ψηφιοποίηση (Analog/Digital converters) Ένα ψηφιακό σήμα είναι δυνατόν να αναπαρασταθεί σαν μια σειρά αριθμών, κάθε αριθμός αντιστοιχεί σε μια προσέγγιση της τιμής του αναλογικού σήματος σε μια δεδομένη χρον στιγμή 12 18 138 97 255 39 123 67 89 62 127 111 78 111 98 113
Μονοδιάστατα πολυκαναλικά σήματα Σε αντιστοιχία με τα μονοδιάστατα αλλά ταυτόχρονη ψηφιοποίηση πολλών μονοδιάστατων σημάτων 12 18 138 97 255 39 123 67 89 62 127 111 78 111 98 113 12 18 138 97 255 39 123 67 89 62 127 111 78 111 98 113 12 18 138 97 255 39 123 67 89 62 127 111 78 111 98 113 12 18 138 97 255 39 123 67 89 62 127 111 78 111 98 113 12 18 138 97 255 39 123 67 89 62 127 111 78 111 98 113
Μονοδιάστατα και πολυκαναλικά σήματα, παραδείγματα Πίεση ρευστών (mmhg) - Πίεση αίματος - Πίεση ούρων στην ουροδόχο κύστη - Πίεση αερίων στο γαστρεντερικό - Πίεση αερίων στο αίμα και στον αέρα των πνευμόνων (O2, CO2,) Διαφορά δυναμικού (Volts) από ηλεκτρικές πηγές σώματος - της καρδιάς (ECG) - του εγκεφάλου (EEG) - των περιφερειακών νεύρων (ENG) - των μυών (EMG)
Μια ψηφιοποιημένη εικόνα (2D) είναι δυνατόν να θεωρηθεί ως πίνακας αριθμών 39 39 19 55 198 55 94 43 98 39 34 1 34 98 8 19 12 94 19 94 28 98 43 99 39 9 23 43 99 9 43 98 13 43 39 43 9 43 98 23 99 12 13 19 8 94 255 255 255 255 24 24 98 39 43 39 98 98 8 19 23539 198 184 19 235 55 55 24 24 198 184198 94 19 55 55 7 55 94 43 65 8 19 13 19 8 98 Ο πίνακας (εικόνα) αριστερά έχει διαστάσεις 1 1 Κάθε στοιχείο του πίνακα (pixel), έχει μια αριθμητική τιμή Αυτή η τιμή χρησιμοποιείται για την απεικόνιση και επεξεργασία της εικόνας
Pixels και βάθος εικόνας Διαβαθμίσεις αριθμό bits 8 bits = 2 8 =256 διαβαθμίσεις του γκρι από λευκό μαύρο Αλλά σε πολλές εφαρμογές χρειάζεται μεγαλύτερο βάθος (12 bits = 2 12 =496 διαβαθμίσεις του γκρι ) Ενημερωτικά το μάτι μας δεν μπορεί να ξεχωρίσει τόνους σε παραπάνω από 1 διαβαθμίσεις) αλλά το βάθος αυτό εξυπηρετεί επεξεργασία των εικόνων από Η/Υ
Έγχρωμη εικόνα 2D πολυκαναλικό 39 43 19 9 43 98 13 19 8 19 39 98 39 94 43 23 19 43 9 43 8 98 55 13 235 19 39 8 19 19 39 3934 981 13 19 94 198 184 19 39 94 43 23 19 43 9 43 8 98 55 13 235 19 39 8 19 55 34 28 43 39 255 255 55 235 55 19 39 39 34 981 94 13 23 1943 94 198 8184 5519 23539 198 98 99 55 24 24 198 184198 55 34 28 43 39 255 255 55 235 55 19 39 34 1 13 19 94 198 184 19 55 98 43 43 255 255 39 55 198 55 98 34 99 28 55 43 24 39 24 255 198 255 184 55 198 235 55 99 9 24 24 98 55 98 198 43 98 43 99 255 55 255 24 39 24 198 55 184198 94 39 98 39 43 98 7 94 55 99 98 9 43 24 43 24 255 98 255 39 55 8 19 9 43 98 43 65 8 19 94 39 98 39 43 98 7 94 99 9 24 24 98 12 94 23 99 12 94 13 19 8 98 8 19 9 43 98 43 65 8 19 94 39 98 39 43 98 7 94 12 94 8 23 19 99 9 12 43 94 98 13 19 43 8 65 98 8 19 Σε κάθε pixel, υπάρχουν τρεις τιμές (Red, Green, Blue - RGB) 12 94 23 99 12 94 13 19 8 98
Παράδειγμα
Υλικό για λήψη και ψηφιοποίηση εικόνων Κάμερα + Frame grabber (ψηφιοποιητής) Η/Υ Λογισμικό (ιδιαίτερα σημαντικό να συνεργάζεται (συμβατότητα) με το υλικό (hardware) που έχουμε διαθέσιμο Αλλά και USB/FireWire κάμερες υψηλών επιδόσεων
Χαρακτηριστικά ψηφιακής εικόνας pixel (εικονοστοιχείο) Είναι κάθε ενα από τα τετραγωνίδια που αποτελούν την εικόνα Ανάλυση μήκος και πλάτος της εικόνας σε pixels) Βαθος το πλήθος των διαδικών στοιχείων (bits) που έχει το κάθε pixel) Για κάθε pixel βάθους έχουμε 2 (#pixels) πιθανά χρώματα ή διαγορετικούς τόνους του ίδιου χρώματος (στο γκρί)
Ανάλυση και βάθος εικόνας στην πράξη Με τη χρήση κάμερας (λήψη από το μικροσκόπιο) αναλύσεις 124x768 είναι πλέον βιομηχανικό standard εδώ και πολλά χρόνια Αναλύσεις > 5x5 είναι δυνατές αλλά με πολύ μεγαλύτερο κόστος αλλά και με σημαντικές επιπτώσεις στο χρόνο απόκρισης και την απαιτούμενη επεξεργαστική ισχύ Σύνηθες βάθος είναι τα 8bits για τη μονόχρωμη εικόνα (256 τόνοι) Για την περίπτωση της έγχρωμης εικόνας τα 24 bits (8 bits για κάθε χρωματική συνιστώσα -κόκκινο, πράσινο, μπλέ )
Η 3D πληροφορία είναι δυνατόν να θεωρηθεί ως μια σειρά από εικόνες στο χώρο 39 39 19 55 43 98 39 34 1 34 19 94 28 9 23 43 43 98 13 43 8 13 19 94 39 255 255 19 8 19 55 23539 198 184 19 55 235 55 Κάθε στοιχείο λέγεται voxel (volume element) 198 98 99 55 24 24 198 184198 55 98 43 43 255 255 39 55 94 8 19 12 94 99 39 9 9 43 98 23 99 12 24 24 98 39 43 94 98 98 7 94 43 65 8 19 13 19 8 98 Προσθήκη χρόνου 4D σήματα
Ελεύθερο λογισμικό (ανοιχτού κώδικα) ImageJ http://imagejensoftoniccom/ CellProfiler http://wwwcellprofilerorg/ CellProfiler Analyst http://wwwcellprofilerorg/ ICY http://icybioimageanalysisorg/indexphp NIH Image (για MAC) http://rsbinfonihgov/nih-image/ OpenCV (βιβλιοθήκη) http://opencvorg/ Κατάλογοι με διαθέσιμο ελεύθερο λογισμικό http://wwwhsrit/research/organization/services-openlabs/alembic-advanced-light-and-electron-microscopybioimaging-center/9/#fs https://nicmedharvardedu/sites/nicmedharvardedu/files/user_ files/listoffreesoftwarepdf
Χαρακτηριστικά λογισμικού Υποστήριξη frame grabber που υπάρχει διαθέσιμος Δυνατότητες format εικόνων Δυνατότητες ανάλυσης Τι λειτουργικότητα διαθέτει και τι μετρήσεις μπορεί να εξάγει Scripting (δυνατότητα προγραμματισμού)
# Points: 65 935 124 96 124 961 125 962 125 965 128 966 128 97 132 971 132 981 142 981 145 982 146 982 161 981 162 981 163 979 165 979 166 978 167 978 17 977 171 977 173 959 191 958 191 957 192 956 192 955 193 953 193 952 194
Χωρική βαθμονόμηση spatial calibration Πλακίδιο βαθμονόμησης αντιστοιχούμε κάθε υποδιαίρεση (μm) σε εικονοστοιχεία (Pixels) Βαθμονόμηση έντασης intensity calibration Ρυθμίζουμε την τιμή των τριών χρωματικών συνιστωσών όταν έχουμε λευκό χρώμα Γίνεται με τη χρήση λευκού πεδίου και ρύθμιση του φωτισμού του μικροσκοπίου και του συστήματος camera frame grabber ώστε να έχουμε ίδια ένταση στις τρεις χρωματικές συνιστώσες κοντά στο μέγιστο (255)
Ομαδοποίηση μετρίσιμων χαρακτηριστικών (features) Γεωμετρικά χαρακτηριστικά: βασίζονται στο περίγραμμα των περιοχών ενδιαφέροντος (πυρήνες και κυτταρόπλασμα) Πυκνομετρικά: βασίζονται στις τιμές των εικονοστοιχείων (pixels) που είναι εντός της περιοχής ενδιαφέροντος Χαρακτηριστικά της ευρύτερης «γειτονιάς» (contextual features) όπως για παράδειγμα ο προσανατολισμός των πυρήνων σε μια περιοχή ή οι μεταξύ τους αποστάσεις
2 M AP 2 AP M j M n Curl RF D n j 1 CR CI FormAR FormPE = P A= 4 πm π AP j M 2 = A = 42 πaπ M n = Γεωμετρικά χαρακτηριστικά j Εμβαδόν Περίμετρος Μέγιστος άξονας Ελάχιστος άξονας Διάμετρος Κυκλικότητα (Circularity) Παράγων κυκλικότητας (Roundness factor) Λόγος περιμέτρου (Contour ratio) Δείκτης περιμέτρου (Contour index) Παράγων εμβαδού (Form area -FormAR) A P M M n j 2 D = A π Curl RF CR = = CI = = M M j M P 2 πa P 2 4πA P A 1 FormAR = 4 πm j M j n n Θεμελιώδη Παράγωγα 2 Παράγων περιμέτρου (Form perimeter -FormPE) FormPE = 4πAP βασίζονται στο περίγραμμα των περιοχών ενδιαφέροντος (πυρήνες και κυτταρόπλασμα)
MAX OD i k ( k)) =1 VAR M K K CContr STD I i j = 1 C i, j)) j 1 ( h = k ( k( k)) =1 Entr µ d = ( h d M 3 M i= i 1 j= j 1 i = 1 j = 1 K N M N 2 2 N 2 ( kh N 2 ( ( k K x( i, ( jh) ( ) µ ) ) ( K/ ), j N N R diff i, j) ( k ) k) h 2 ji ) L k = 1 1 d )) = K N k = l C k l l = C1 ( ) h ( k )) k = d k d ( k, l)ln( ( C, d ( kkn 1)) = l 1 N N K ( ( R ( R ( ( i i, i, j, j )) j)) N )( k, l) Πυκνομετρικά χαρακτηριστικά ή χαρακτηριστικά υφής Οπτική πυκνότητα = μέση τιμή του ιστογράμματος OD i = µ N kh( k ) = k =1 N x( i, j) (, j ) L N, Τυπική απόκλιση του ιστογράμματος STD ( h( k)) Διακύμανση του ιστογράμματος Μικρό τρέξιμο (Short run) του πίνακα run length Μεγάλο τρέξιμο (Long run) του πίνακα run length Στάθμη γκρι (Grey level) του πίνακα run length Κατανομή (Distribution) του πίνακα run length VAR( h( k)) M K i= 1 j= 1 M K ( R( i, j)) i= 1 j= 1 M K i= j= M N 2 ( h( k ) µ ) h( k ) k= 1 = N 2 ( R( i, j) / K ) 2 ( R( i, j) K ) 1 1 K ( R( i, j)) i= 1 j= 1 K 2 R( i, j) = j= 1 K ( R( i, j)) i= 1 j= 1 M i 1 M M 2 R( i, j) = = 1 K j 1 i M K ( R( i, j)) i= 1 j= 1 Μέγιστο του πίνακα co-occurrence MAX ( C( i, j)) Αδράνεια (Inertia) του πίνακα co-occurrence Εντροπία του πίνακα co-occurrence I d C d = = N N = = k k 1 l 1 N N k = 1 l = 1 l 2 C( k, l) C( k, l)ln( C( k, Αντίθεση(Contrast) του ιστογράμματος διαφορών Contr( hd ( k)) Μέση τιμή του ιστογράμματος διαφορών µ d N diff ( k ) k = k =1 N Τυπική απόκλιση του ιστογράμματος διαφορών STD( h d ( k)) Εντροπία του ιστογράμματος διαφορών Entr( h d ( k)) N h 1 ( ) ln( h ( k )) k = d k d = 3 N Πυκνομετρικά: βασίζονται στις τιμές των εικονοστοιχείων (pixels) που είναι εντός της περιοχής ενδιαφέροντος
Εμβαδόν A B T1 T2 C H T6 T3 D T5 T4 E G F
Μέγιστος και ελάχιστος άξονας Μέγιστος άξονας Πυρήνας Ελάχιστος άξονας
Διάμετρος Η διάμετρος προσεγγίζεται σαν τη διάμετρο ενός κύκλου που έχει το ίδιο εμβαδόν με τον πυρήνα, συνεπώς έχουμε μια εκτίμηση της μέσης διαμέτρου του πυρήνα
Χαρακτηριστικά σχετιζόμενα με το σχήμα των πυρήνων δίνουν ποσοτικοποιημένα πληροφορίες για τη μορφή του περιγράμματος του πυρήνα Παράγων εμβαδού (Form area -FormAR) FormAR= 1 4π(major axis)( minor axis) Παράγων περιμέτρου (Form perimeter -FormPE) FormPE = ( area) 4π (perimeter) 2 Δείκτης περιμέτρου (Contour index - CI) NCI = perimeter area Λόγος περιμέτρου (Contour ratio) Contour Ratio = (perimeter) 4π (area) 2 Παράγων κυκλικότητας (Roundness factor) Roundness Factor = perimeter 2 π (area) Κυκλικότητα (Circularity) Curl = M M j M j n
x( i, j) x( i, j) OD = ( i, j) L N x( i, j) Οπτική πυκνότητα (Optical Density - OD) Η οπτική πυκνότητα είναι η ποσοτικοποιημένη έκφραση της φωτεινότητας το πυρήνα, αναπαριστά με μετρήσιμο τρόπο την μέσο όρο φωτεινότητας του πυρήνα Υπολογίζεται σαν το άθροισμα των τιμών των εικονοστοιχείων του πυρήνα δια του πλήθους τους Χαρακτηρίζει τη μέση φωτεινότητα του πυρήνα, όχι όμως την κατανομή της
x( i, j) x( i, j) OD = ( i, j) L N x( i, j) Υφή Με την εκτίμηση της υφής γίνεται μια προσπάθεια για την εξαγωγή πληροφοριών δομής των πυρήνων Έχουν προταθεί πολλές τεχνικές για την εξαγωγή χαρακτηριστικών υφής στη βιβλιογραφία κατά τις περασμένες δεκαετίες Δεν υπάρχει μια γενικότερη αποδεκτή μεθοδολογία υπολογισμού της υφής Ο κύριος λόγος που μετρήσεις της υφής είναι σημαντικές είναι πως σχετίζεται με τη δομή του γενετικού υλικού του πυρήνα Η δομή της χρωματίνης είναι σημαντικός παράγων που δείχνει την εντροπία του πυρήνα ενώ η κατανομή της χρωματίνης σχετίζεται με την κατανομή του DNA μέσα στο πυρηνικό όριο
Κατανομή της χρωματίνης Δομή της χρωματίνης
Μέτρηση υφής Χαρακτηριστικά του ιστογράμματος Χαρακτηριστικά του ιστογράμματος διαφορών Χαρακτηριστικά του πίνακα Co-occurrence Χαρακτηριστικά του πίνακα Run Length
#Total Count: 5 Obj# Area, Aspect,Axis (major),axis (minor),perimeter,roundness, IOD 1 15591 1221118 1282924 15613 3733566 151352 1335228 2 989457 11948 1173637 16625 3564135 13513 1214442 3 811174 118328 1114423 9441643 3388651 1127965 9585484 4 9295497 128912 1236455 9591465 3517779 159387 1112815 5 7344981 1361264 113337 8325864 321511 111477 8566743
Όγκος πληροφορίας Modality Edge size Bits/pixel MB/image MB/patient radiograph >=248 16 8 >=16 CT/slice 512 16 5 22 Ultrasound 512 8 25 7 MRI/slice 256 16 125 13 Momography >=496 16 32 >=15 Fluoroscopy 124 8 1 4 προφανώς: υπάρχει ανάγκη για μεγάλες ταχύθτητες μετάδοσης και συμπίεση των δεδομένων
Συμπίεση Εξαρτάται από το περιεχόμενο της εικόνας Δύο μεγάλες κατηγορίες: με απώλειες και χωρίς απώλειες Χωρίς απώλειες: πετυχαίνουμε συμπιέσεις της τάξεως του 1 Συνήθης τεχνική: run length encoding Συνήθη formats: TIFF, GIF Με απώλειες: πετυχαίνουμε συμπιέσεις της τάξεως του 1, αλλά δεν είναι δυνατή η επαναφορά της εικόνας όπως πριν τη συμπίεση Τεχνικές: Διακριτός μετασχηματισμός συνιμιτόνου, Fractals, Wavelets Συνήθη Format JPEG, FIF
Διαγνωστικά προβλήματα από τη χρήση συμπίεσης με απώλειες Θόλωμα και blocking των εικόνων από την JPEG συμπίεση Εισαγωγή τεχνητής υφής από fractal συμπίεση Η Αλλοίωση δεν είναι ορατή όταν έχουμε μικρές συμπιέσεις αλλά είναι δυνατόν να είναι πρόβλημα σε μετρητικές διαδικασίες Εφόσον δεν υπάρχει μέτρο της επίδρασης της συμπίεσης στη διαγνωστική ακρίβεια, η συμπίεση με απώλειες δεν συνίσταται
Παραδείγματα αλλοίωσης λόγω JPEG συμπίεσης Αρχική 768KB 5% 43KB 9% 16KB 97% 8KB