Τεχνολογική έρευνα στο αντικείμενο των ελάχιστα επεμβατικών (ΕΕ) τεχνικών, στον ελληνικό χώρο Κωνσταντίνος Τζαφέστας, Επίκ. Καθηγητής Γεώργιος Μούστρης, Μεταδιδακτορικός Ερευνητής Σχολή Ηλεκτρ. Μηχ/κών & Μηχ/κών Υπολογιστών Τομέας Σημάτων, Ελέγχου και Ρομποτικής Στρογγυλή Τράπεζα με θέμα: «Έρευνα στην Ελάχιστα Επεμβατική Χειρουργική»
Σύγχρονη Χειρουργική και Τεχνολογία Η Σύγχρονη Χειρουργική απαιτεί: Πλούσια επιστημονική γνώση Ικανότητες λήψης κρίσιμων αποφάσεων Σύνθετες αντιληπτικο-κινητικές και τεχνικές δεξιότητες Η Λαπαροενδοσκοπική και ΕΕ χειρουργική είναι άρρηκτα συνδεδεμένη με την τεχνολογία: Αναπτύχθηκε ραγδαία βασιζόμενη στην εξέλιξη της σύγχρονης τεχνολογίας: οπτική/απεικονιστική & εργαλεία ΕΕ προσπέλασης, υπολογιστική προσομοίωση, ρομποτική Η έρευνα σε νέες τεχνολογικές προκλήσεις αναμένεται να ανοίξει «νέους δρόμους» στην ΕΕ χειρουργική 2
Τεχνολογική Έρευνα και ΕΕ τεχνικές Απεικονιστική Τεχνολογία («Παθητική» Υποβοήθηση) Ενδοσκοπική τεχνολογία ή καθοδήγηση μέσω άλλων απεικονιστικών μέσων (US, etc) «Επαυξημένη Πραγματικότητα» (Augmented Reality) Ρομποτική Τεχνολογία («Ενεργή» Υποβοήθηση) Τηλεχειριζόμενοι ρομποτικοί χειριστές (με απτική ανάδραση) Ημιαυτόνομοι αυτόνομοι ρομποτικοί χειριστές Τεχνολογίες Εικονικής Πραγματικότητας και Υπολογιστικής Προσομοίωσης στην Εκπαίδευση Απτικοί Προσομοιωτές στην Εκπαίδευση/Άσκηση ΕΕ Τεχνικών Μοντελοποίηση/Αξιολόγηση ΕΕ Τεχνικών Δεξιοτήτων 3
Επαυξημένη Πραγματικότητα και ΕΕ Χειρουργική Επαυξημένη Πραγματικότητα (augmented reality) τριδιάστατη ανακατασκευή (3D reconstruction), ταυτοποίηση (registration) και επιπροβολή (overlay projection) εικονικών ανατομικών μοντέλων στην πραγματική (ενδοσκοπική ή μη) εικόνα «Επισήμανση» & «Επαύξηση» του απεικονιζόμενου χειρουργικού πεδίου και καθοδήγηση/υποβοήθηση του χειρουργού Επαυξημένη Πραγματικότητα και νέες Τεχνικές Λαπαροενδοσκοπικής Χειρουργικής TUM CAMPAR Research Group (Computer Aided Medical Procedures & Augmented Reality) 4
Ρομποτική Τεχνολογία και ΕΕ Χειρουργική Νέα γενιά χειρουργικών ρομποτικών συστημάτων DLR MiroSurge Robot telemanipulation in minimally invasive surgery 5
(virtual haptic simulators in MIS skill training) Εκπαιδευτικοί Εικονικοί Απτικοί Προσομοιωτές (1/2) Immersion Laparoscopy simulator Arthroscopy simulator Απτικές διατάξεις Phantom Omni 6
Εκπαιδευτικοί Εικονικοί Απτικοί Προσομοιωτές (2/2) Medic Vision Bone Drilling simulator Απτική διάταξη Phantom Desktop 7
Τεχνολογική Έρευνα στον Ελλαδικό Χώρο Εκπαιδευτικοί Απτικοί Προσομοιωτές ΕΕ τεχνικών 1. Προσομοιωτής ουρολογικών επεμβάσεων (ΕΜΠ/ΜΜ) 2. Προσομοιωτής παρακέντησης «εν τω βάθει αγγείων» (ΕΜΠ/ΣΗΜΜΥ) Τηλερομποτική Απτικοί Τηλεχειριστές (ΕΜΠ/ΣΗΜΜΥ) 3. Απτική ανάδραση σε συστήματα ρομποτικού τηλεχειρισμού 4. Μοντελοποίηση ΕΕ χειρουργικών απτικών δεξιοτήτων Απεικονιστική & Οπτική Τεχνολογία και Επαυξημένη Πραγματικότητα στην Υποβοήθηση ΕΕ τεχνικών: έρευνα σε αρχικά στάδια Αντιστάθμιση κίνησης τηλερομποτικών χειριστών σε ταχέως μεταβαλλόμενα περιβάλλοντα: έρευνα σε αρχικά στάδια 8
1. Εκπαιδευτικός Απτικός Προσομοιωτής Ουρολογικών Επεμβάσεων Κώστας Βλάχος Ευάγγελος Παπαδόπουλος Σχολή Μηχανολόγων Μηχανικών, ΕΜΠ Διονύσιος Μητρόπουλος Λαϊκό Γ.Ν. Αθηνών, Πανεπιστήμιο Αθηνών 9
1.1 Απτικός Προσομοιωτής: Αρχή Λειτουργίας Απτικός μηχανισμός ανάδρασης δυνάμεων Ανταλλαγή απτικών πληροφοριών ανάμεσα στον χρήστη και το εικονικό περιβάλλον Εικονικό περιβάλλον Απεικόνιση εικονικών ιστών και των παραμορφώσεων τους Μοντέλο δυνάμεων Σύστημα ελέγχου ελέγχει και συντονίζει τα προηγούμενα 10
1.2 Περιγραφή Απτικού Προσομοιωτή Απτικός μηχανισμός Παράλληλος μηχανισμός 5 ράβδων Σφαιρική άρθρωση Κινητήρες στην βάση Μετάδοση με νήματα/τροχαλίες Ελάχιστη μάζα/αδράνεια, τριβές Εικονικό περιβάλλον Γραφική απεικόνιση Καμπύλες Bézier Visual C++ και OpenGL Μοντέλο δυνάμεων/ροπών Τριβή Coulomb & Ιξώδης τριβή Αντίσταση από τα τοιχώματα της ουρήθρας Σύστημα ελέγχου (PC104/QNX) 1 KHz βρόχος ελέγχου TCP/IP 11
1.3 Πρωτότυπο σε Λειτουργία Απτικός Προσομοιωτής Ουρολογικών Επεμβάσεων 12
2. Απτικός Προσομοιωτής Παρακέντησης Σχολή Ηλεκτρ. Μηχ/κών & Μηχ. Υπολογιστών, ΕΜΠ (Κ. Τζαφέστας, et al.) Τμήμα Νοσηλευτικής, Πανεπιστήμιο Αθηνών (Κ. Μπίρμπας, Γ. Μπονάτσος, et al.) Ερευνητικό Έργο VRES (Virtual reality environment for clinical skill training and Assessment) 13
2.1 Πρότυπη Πλατφόρμα Πρότυπη πλατφόρμα εικονικής προσομοίωσης για την άσκηση επαγγελματιών υγείας σε επεμβατικές πράξεις: Προσπέλαση / παρακέντηση «εν τω βάθει» αγγείων Προσαρμοζόμενη / επεκτάσιμη για διαφορετικά επεμβατικά πεδία Συνδυασμός ποσοτικών - ποιοτικών δεικτών επίδοσης για την αντικειμενική αξιολόγηση δεξιοτήτων 14
2.2 Πιλοτική Εφαρμογή: Πειραματική Διάταξη Stereo 3D glasses Haptic Device Απτικός Προσομοιωτής Παρακέντησης 15
2.2 Πιλοτική Εφαρμογή: Πειραματική Διάταξη Απτικός Προσομοιωτής Παρακέντησης 16
2.3 Πιλοτική Εφαρμογή: Αξιολόγηση (1) Αξιολόγηση Επίδοσης Πλατφόρμας, ως προς: Ρεαλιστική Προσομοίωση επεμβατικών πράξεων Επίδραση της Απτικής Ανάδρασης Απόκτηση και Ενίσχυση Δεξιοτήτων Εκπαιδευτική αξία του συστήματος Αντικειμενική Πιστοποίηση Τεχνικών Δεξιοτήτων χρήστη 17
2.4 Πιλοτική Εφαρμογή: Αξιολόγηση (2) ΜΕΤΡΑ / ΔΕΙΚΤΕΣ ΑΝΤΙΚΕΙΜΕΝΙΚΗΣ ΑΞΙΟΛΟΓΗΣΗΣ ΤΗΣ «ΔΕΞΙΟΤΗΤΑΣ» ΤΟΥ ΧΡΗΣΤΗ: (α) χρόνος επιτυχούς (ή μη) ολοκλήρωσης (β) απόκλιση από τη «βέλτιστη πορεία» της βελόνας (γ) «οικονομία κινήσεων» (ομαλότητα χειρισμών κλπ.) (δ) λάθη χειρισμού πιθανές επιπλοκές (π.χ. τραυματισμός ζωτικών ανατομικών περιοχών) 18
2.5 Πιλοτική Εφαρμογή: Αξιολόγηση (3) ΠΕΙΡΑΜΑΤΙΚΟ ΠΡΩΤΟΚΟΛΛΟ ΔΙΑΔΙΚΑΣΙΕΣ ΑΞΙΟΛΟΓΗΣΗΣ Ομάδες Χρηστών (User Groups) ΟΜΑΔΑ-I: Novices, Άπειροι Χρήστες (Απόφοιτοι Νοσηλευτικής) ΟΜΑΔΑ-II: Experienced Έμπειροι Χειρουργοί Πειραματικές Συνθήκες (experimental conditions) (A): NO, χωρίς απτική ανάδραση (without haptic display) (B): FF, με απτική ανάδραση (with active force feedback) 19
2.6 Ερευνητικές Υποθέσεις Υπόθεση 1: Κέρδος εκμάθησης για τους χρήστες της Ομάδας-Ι (άπειροι) Υπόθεση 2: Συσχέτιση δείκτη επίδοσης (αντικειμενικής αξιολόγησης, score) που εξάγει το σύστημα, με την εμπειρία του χρήστη (ομάδα-ι: άπειροι, ομάδα-ιι: έμπειροι) Επίδραση Απτικής Ανάδρασης στην επίδοση, ως προς: (α) την καμπύλη εκμάθησης (β) την αντικειμενική αξιολόγηση δεξιότητας 20
2.7 Αποτελέσματα (1) Σχετική επίδοση των χρηστών της ομάδας-ι, για τις δύο πειραματικές συνθήκες (a) NO (χωρίς), (b) FF (με απτική ανάδραση) 21
2.8 Αποτελέσματα (2) Συνολικά συγκριτικά αποτελέσματα επίδοσης των ομάδων -I και II, για τις δύο πειραματικές συνθήκες: (a) NO (χωρίς) (b) FF (με απτική ανάδραση) 22
3. Τηλερομποτική Απτικοί Τηλεχειριστές Μελέτη απτικής ανάδρασης (haptic display) σε συστήματα ρομποτικού τηλεχειρισμού Σχολή Ηλεκτρ. Μηχ/κών & Μηχ. Υπολογιστών, ΕΜΠ Κ. Τζαφέστας, Γ. Μούστρης, Σ. Βελάνας, et al. 23
3.1 Διάταξη Απτικού Τηλεχειρισμού TCP/IP K x ˆe ˆe x s (slave) Variable stiffness F e HAPTIC MASTER T delay x m (master) SLAVE ROBOT Απτική Διάταξη: Phantom Omni device Υπολογιστής Ελέγχου Μaster: (a) υπολογίζει δυνάμεις απτικής ανάδρασης (haptic display forces) στη βάση μοντέλων προσαρμοστικής μηχανικής εμπέδησης (adaptive impedance model), (b) εκτελεί λειτουργίες επικοινωνίας και ελέγχου του απομακρυσμένου (remote-slave) τηλερομπότ. Υπολογιστής Ελέγχου Slave Robot : δέχεται και εκτελέι εντολές από το master υπολογιστή, ελέγχει την επενέργηση του slave robot, και εκτελεί υπολογισμούς στη βάση μοντέλων εκτίμησης δυναμικών παραμέτρων του περιβάλλοντος εργασίας. Slave Robot: Phantom Desktop TM με προσαρμοσμένους αισθητήρες αφής (tactile sensors: PPS ConTacts C500) Περιβάλλον Εργασίας (Slave robot environment): variable stiffness (linear springs) 24
3.2 Πειράματα τηλε-απτικής αντίληψης Remote Kinaesthetic Exploration of Stiffness: Experimental Setup Μελέτη επίδρασης χρονοκαθυστέρησης και προσαρμοστικού ελέγχου μηχανικής εμπέδησης [Tzafestas & Velanas, 2010] 25
3.3 Πειραματικά αποτελέσματα JND (%) (mean Weber fractions) Delayed Trials 1. With Adaptive ~26% 2. Without ~41% Non-Delayed Trials 3. Without ~27% Psychometric curves fitted to subjects answers from all experimental cases (for JND computation) JNDs Delayed Trials (T=100 msec) With Adaptive 31 21 N/m Without 48 23 N/m Non-Delayed Without (Direct): 32 19 N/m 26
4. Αυτόματη κατάτμηση & παραγωγή χειρουργικών κινήσεων Μοντελοποίηση απτικών δεξιοτήτων (haptic skills) Σχολή Ηλεκτρ. Μηχ/κών & Μηχ. Υπολογιστών, ΕΜΠ Α. Πορίχης, Γ. Μούστρης, Κ. Τζαφέστας (εν εξελίξει) 27
4.1 Αυτόματη κατάτμηση & παραγωγή χειρουργικών κινήσεων Συλλογή χειρουργικών κινήσεων (VR, Robotic, EM Tracker) Δημιουργία βασικού λεξιλογίου: κάθε χειρουργική κίνηση αποτελείται από ορισμένες βασικές/ελάχιστες κινήσεις. Συνδέοντας τες, δημιουργώ μια χειρουργική «φράση» Language of Surgery Αυτόματη αναγνώριση : επεξεργασία των χειρουργικών κινήσεων για την αυτόματη εύρεση του βασικού λεξιλογίου (κατάτμηση των τροχιών) Παραγωγή κινήσεων: με βάση το λεξιλόγιο μπορώ να παραγάγω νέες χειρουργικές κινήσεις πάνω σε Robot αυτόνομα χειρουργικά robot Αξιολόγηση χειρουργών: με βάση το λεξιλόγιο μπορώ ν αναγνωρίσω τις κινήσεις ενός χειρουργού και να τις ταξινομήσω (novice, expert) 28
4.2 10ο Πανελλήνιο Συνέδριο Λαπαροενδοσκοπικής Χειρουργικής, 26-28 Μαΐου 2011 Αυτόματη κατάτμηση & παραγωγή χειρουργικών κινήσεων Αρχικά αποτελέσματα Κινήσεις Αναφοράς 29
4.3 10ο Πανελλήνιο Συνέδριο Λαπαροενδοσκοπικής Χειρουργικής, 26-28 Μαΐου 2011 Αυτόματη κατάτμηση & παραγωγή χειρουργικών κινήσεων Αρχικά αποτελέσματα Βασικό «λεξιλόγιο» Παραγωγή Νέας Κίνησης 30
Συμπεράσματα Η εξέλιξη της λαπαροενδοσκοπικής και γενικότερα της ελάχιστα επεμβατικής χειρουργικής (ΕΕΧ) είναι άρρηκτα συνδεδεμένη με την έρευνα σε σύγχρονες τεχνολογίες Τεχνολογίες όπως: όραση υπολογιστών, ευφυή ρομποτικά συστήματα, μικρο- και νανο-ρομποτικές διατάξεις, εικονική και επαυξημένη πραγματικότητα, κλπ., αναμένεται να ανοίξουν «νέους δρόμους» στη σύγχρονη χειρουργική άσκηση Δυσκολίες-Προκλήσεις: Σύνθετα επιστημονικά και τεχνολογικά προβλήματα αναζητούν αποδοτικές και αξιόπιστες λύσεις απαιτείται ισχυρή διεπιστημονική συνεργασία (π.χ. διατμηματικά εργαστήρια) Ηθικά, πρακτικά, και άλλα διλήμματα όταν νέα τεχνολογία συναντά την χειρουργική Η Διεπιστημονική Προσέγγιση στην Έρευνα διαφαίνεται ως προαπαιτούμενο για την πρόοδο στην ΕΕΧ 31
Thank you for your attention! 32