"The Project ARXIMIDIS ΙΙ is co-funded by the European Social Fund and National Resources EPEAEK ΙΙ "

Transcript

1 Αρχιµήδης ΙΙ Ενίσχυση Ερευνητικών Οµάδων του ΤΕΙ Κρήτης Τίτλος Υποέργου: Εφαρµογές Τεχνητής Νοηµοσύνης στην Τεχνολογία Λογισµικού και στην Ιατρική Επιστηµονικός Υπεύθυνος: ρ Εµµανουήλ Μαρακάκης ραστηριότητα 3: Πληροφοριακό Σύστηµα Υποστήριξης για την ιάγνωση Παιδικής Επιληψίας. Πακέτο Εργασίας 3.4 (ΠΕ 3.4): Έλεγχος Συστήµατος. Χρονική ιάρκεια : 1/8/06 µέχρι 30/6/07 Παραδοτέο: Π3.4 - Ερευνητική µελέτη µε τα αποτελέσµατα ελέγχου του συστήµατος Μέλη της ερευνητικής Οµάδας Ονοµατεπώνυµο Υπογραφή Α. ρ Κων/νος Βασιλάκης... Β. ρ Ιωσήφ Μιχελογιάννης.. Γ. Ιωάννα Φραγκάκη... Σπυρίδων Βουτουφιανάκης... Επιστηµονικός Υπεύθυνος Υποέργου "The Project ARXIMIDIS ΙΙ is co-funded by the European Social Fund and National Resources EPEAEK ΙΙ "

2 ΠΕΡΙΕΧΟΜΕΝΑ 1. ΕΙΣΑΓΩΓΗ ΈΛΕΓΧΟΣ ΜΕ ΠΕΡΙΠΤΩΣΕΙΣ ΑΣΘΕΝΩΝ Αποτελέσµατα ελέγχου Σύγκριση µε αντίστοιχα διαγνωστικά συστήµατα ΕΞΕΤΑΣΗ ΤΗΣ ΒΑΣΗΣ ΓΝΩΣΗΣ ΑΠΟ ΙΑΤΡΟΥΣ ΣΥΖΗΤΗΣΗ ΒΙΒΛΙΟΓΡΑΦΙΑ...6 2

3 1. ΕΙΣΑΓΩΓΗ Στην παρούσα φάση, το διαγνωστικό σύστηµα που έχει αναπτυχθεί υποβάλλεται σε έλεγχο για να επιβεβαιωθεί η ορθότητα των αποτελεσµάτων και η γενικότητα της γνώσης που ενσωµατώθηκε στο σύστηµα. Ο έλεγχος της αξιοπιστίας του λογισµικού πραγµατοποιήθηκε από την οµάδα ανάπτυξης του συστήµατος (προγραµµατιστές και τον ειδικό του τοµέα γνώσης) και τους εµπειρογνώµονες ιατρούς. Ο έλεγχος υλοποιήθηκε µε δύο τρόπους: 1. µε την εισαγωγή στο σύστηµα ικανού αριθµού περιπτώσεων ασθενών (συµπτώµατα, αποτελέσµατα κλινικών και εργαστηριακών εξετάσεων κλπ) για να διαπιστωθεί η απόδοση του διαγνωστικού συστήµατος, συγκρίνοντας τα διαγνωστικά του αποτελέσµατα µε αυτά των εµπειρογνωµόνων ιατρών (παιδονευρολόγων) και 2. µε την περαιτέρω εξέταση των κανόνων του διαγνωστικού συστήµατος, λαµβάνοντας υπόψη τα αποτελέσµατα του προαναφερθέντος ελέγχου. Το παραδοτέο τελειώνει µε κάποιο σχολιασµό για την µελλοντική πορεία του συστήµατος που αναπτύχθηκε από την οµάδα εργασίας στα πλαίσια του ερευνητικού προγράµµατος. 1

4 2. ΈΛΕΓΧΟΣ ΜΕ ΠΕΡΙΠΤΩΣΕΙΣ ΑΣΘΕΝΩΝ Το διαγνωστικό σύστηµα που υλοποιήθηκε, υποβλήθηκε σε έλεγχο µε την βοήθεια συνόλου περιπτώσεων ασθενών για να εκτιµηθεί η διαγνωστική αξία του συστήµατος και ενδεχόµενα να γίνουν περαιτέρω βελτιώσεις. Κάθε περίπτωση ασθενούς αξιολογήθηκε από το σύστηµα και οι απαντήσεις που προέκυψαν συγκρίθηκαν µε τα συµπεράσµατα ειδικού παιδονευρολόγου. Η συλλογή των στοιχείων κάθε ασθενούς έγινε από τους συνεργαζόµενους εµπειρογνώµονες ιατρούς, οι οποίοι και χρησιµοποιούν το σύστηµα. Κάθε περίπτωση ασθενούς αξιολογήθηκε από το σύστηµα και οι απαντήσεις που προκύπτουν, συγκρίνονται µε τα συµπεράσµατα ειδικού παιδονευρολόγου. Το αποτέλεσµα της διάγνωσης που προτείνεται από το σύστηµα είναι πάντα σύµφωνο µε τις κατηγορίες επιληψιών που περιγράφονται σε διεθνείς ταξινοµήσεις. Με τον έλεγχο του συστήµατος αναµένεται να εκτιµηθεί η διαγνωστική του αξία και ενδεχόµενα να γίνουν περαιτέρω βελτιώσεις. Σύµφωνα µε την λειτουργία του λογισµικού, ο αξιολογητής-ιατρός εισάγει κατ αρχάς στοιχεία όπως ορισµένα ιστορικά, κλινικά και εργαστηριακά δεδοµένα και τα χαρακτηριστικά που περιγράφουν το ηλεκτροεγκεφαλογράφηµα. Στην συνέχεια το σύστηµα µε κατάλληλες ερωτήσεις ζητά από τον χρήστη κατά περίπτωση και άλλα δεδοµένα για να αξιολογήσει περαιτέρω την κατάσταση (για παράδειγµα την διάχυση και την ένταση της κρίσης, στοιχεία για τις συνθήκες εµφάνισης των κρίσεων κλπ) και που θεωρεί ότι θα το οδηγήσουν σε διακριτή διάγνωση. Το αποτέλεσµα της διάγνωσης που προτείνεται είναι πάντα σύµφωνο µε τις κατηγορίες επιληψιών που περιγράφονται στην διεθνή ταξινόµηση Αποτελέσµατα ελέγχου Το υλικό που έχει συλλεχθεί αποτελείται από 42 διαφορετικές περιπτώσεις επιληψίας σε παιδιά έως 15 ετών. Οι περιπτώσεις αυτές χρησιµοποιήθηκαν για να αξιολογηθεί το διαγνωστικό µας σύστηµα. Η αξιολόγηση αυτή έδειξε τα εξής πρώτα αποτελέσµατα: Το σύστηµα διέγνωσε ορθά σε 35 περιπτώσεις ασθενών. ηλαδή είχε ποσοστό επιτυχίας 83,3%. Η σωστή διάγνωση, σε αυτές τις περιπτώσεις, είχε τον υψηλότερο παράγοντα βεβαιότητας στον προτεινόµενο κατάλογο των πιθανών διαγνώσεων. Επιπλέον το σύστηµα σε τρεις (3) ακόµα περιπτώσεις είχε στο κατάλογο των διαγνώσεων που πρότεινε τις σωστές διαγνώσεις µε χαµηλότερο παράγοντα βεβαιότητας (7,1%). Συνεπώς η διαγνωστική απόδοση του συστήµατος (στο 90,4%) αν συνυπολογισθούν και τα αποτελέσµατα στα οποία ο παράγοντας βεβαιότητας της σωστής διάγνωσης βρίσκεται µέσα στη λίστα των πιθανών επιληψιών αλλά δεν έχει τον µεγαλύτερο παράγοντα βεβαιότητας Σύγκριση µε αντίστοιχα διαγνωστικά συστήµατα Τα αρχικά αποτελέσµατα του διαγνωστικού συστήµατος που αναπτύχθηκε είναι αρκετά ενθαρρυντικά συγκρινόµενο µε τα αντίστοιχα συστήµατα των [Vassilakis, 2002] και [Korpinen, 1993]. Το διαγνωστικό σύστηµα στο [Vassilakis, 2002] χωρίζει την βάση γνώσεων του σε ανεξάρτητα µέρη. Το σύστηµα αρχικά δέχεται δεδοµένα που αφορούν την επιληπτική κρίση και προσπαθεί αρχικά να προσδιορίσει τον τύπο αυτής σύµφωνα µε διεθνείς ταξινοµήσεις. Στην συνέχεια ο χρήστης εισάγει σταδιακά τα υπόλοιπα κλινικά και εργαστηριακά δεδοµένα του ασθενούς. Το σύστηµα δηµιουργεί ένα δένδρο αποφάσεων το οποίο καταλήγει σε πιθανές διαγνώσεις, κάθε µία από τις οποίες έχει ανεξάρτητες βάσεις γνώσεων. Στόχος του εν λόγω συστήµατος είναι να προτείνει αν είναι δυνατόν µία µόνο διάγνωση στον χρήστη, αντί να το βάλει να διαλέξει από ένα σύνολο διαγνώσεων. Τα αποτελέσµατα της αξιολόγησης του διαγνωστικού συστήµατος στο [Vassilakis, 2002] δείχνουν απόλυτα σωστή διάγνωση σε ποσοστό 85,2%. Επίσης υπάρχει ένα ποσοστό 8,2% µερικά ορθής διάγνωσης, ενώ η απόλυτα λανθασµένη διάγνωση είναι 6,6%. ηλαδή 2

5 το εν λόγω διαγνωστικό σύστηµα έχει ένα ποσοστό 93,4% επιτυχούς διάγνωσης. Το διαγνωστικό σύστηµα στο [Vassilakis, 2002] φαίνεται να έχει καλύτερη διαγνωστική ικανότητα από το σύστηµα που αναπτύχθηκε. Όµως το διαγνωστικό σύστηµα στο [Vassilakis, 2002] δεν προτείνει εναλλακτικές διαγνώσεις δυσκολεύοντας την διαφορική διάγνωση, πράγµα που το σύστηµα που αναπτύξαµε το κάνει. Επιπρόσθετα το σύστηµα στο [Vassilakis, 2002] δεν επιτρέπει την αλλαγή της βάσης γνώσεων από τον χρήστη-ιατρό παρά µόνο από το κατασκευαστή του λογισµικού. Και σε αυτό το σηµείο το διαγνωστικό σύστηµα που αναπτύξαµε υπερέχει, καθώς διαθέτει µηχανισµούς µε τους οποίους ο χρήστης ιατρός µπορεί να αλλάξει τους κανόνες της βάσης γνώσεων. Αντίστοιχο διαγνωστικό σύστηµα για την Επιληψία έχει αναφερθεί στην διεθνή βιβλιογραφία το 1993 [Korpinen, 1993] µε την ονοµασία Epilepsy Expert. Το εν λόγω διαγνωστικό σύστηµα συνδύαζε τεχνικές δένδρου αποφάσεων, κανόνων και υπερκειµένου (hypertext) και περιελάµβανε τέσσερα (4) διαφορετικά υποσυστήµατα, που χρησιµοποιούσαν διαφορετική µεθοδολογία. Ο χρήστης, κατά την κρίση του, µπορούσε να επιλέξει ένα από αυτά τα 4 υποσυστήµατα του Epilepsy Expert για να εξερευνήσει την περίπτωση του ασθενούς που είχε υπόψη του. Το συγκεκριµένο διαγνωστικό εργαλείο κατέληγε σε εναλλακτικές προτεινόµενες διαγνώσεις και καθώς περιελάµβανε κυρίως πληροφορίες σε µορφή κειµένου, έπαιζε βασικά τον ρόλο ενός συµβουλευτικού συστήµατος. Στα αναφερόµενα αποτελέσµατα του συστήµατος τα ποσοστά επιτυχίας, συγκρινόµενα µε 3 ειδικούς ήταν 72% ορθά, 8% µερικώς ορθά και 20% λανθασµένα. Στο υποσύστηµα του Epilepsy Expert στο οποίο λαµβάνονται υπόψη τα ευρήµατα του ΗΕΓ τα αποτελέσµατα ήταν 48% ορθά, 28% µερικώς ορθά και 24% λανθασµένα. Καλύτερα αποτελέσµατα παρουσίασε το υποσύστηµα εκείνο που χρησιµοποιούσε την τεχνολογία του υπερκείµενου µε 80% επιτυχία. Η απόδοση του συστήµατος που αναπτύξαµε είναι καλύτερα από αυτά του Epilepsy Expert. Επιπρόσθετα, το σύστηµα στο [Korpinen, 1993] χαρακτηρίζεται µάλλον σαν συµβουλευτικό σύστηµα παρά σαν διαγνωστικό, όπως το σύστηµα που αναπτύξαµε. 3

6 3. ΕΞΕΤΑΣΗ ΤΗΣ ΒΑΣΗΣ ΓΝΩΣΗΣ ΑΠΟ ΙΑΤΡΟΥΣ Μετά την αξιολόγηση του συστήµατος µε περιπτώσεις ασθενών, ακολούθησε µία εκ νέου εξέταση της βάσης γνώσεων του συστήµατος. Πιο συγκεκριµένα εξετάστηκαν οι κανόνες της βάσης γνώσεων και τα βάρη των παραγόντων που συµµετέχουν σε κάθε κανόνα. Αυτή η εξέταση υλοποιήθηκε από τους εµπειρογνώµονες ιατρούς, οι οποίοι µετά από την εµπειρία ανάπτυξης και δοκιµής του διαγνωστικού συστήµατος ήταν σε θέση να κάνουν περισσότερο ενδελεχή έλεγχο των κανόνων της βάσης, µε στόχο να αυξηθεί περαιτέρω η διαγνωστική απόδοση του συστήµατος. Η µελέτη των κανόνων από τους εµπειρογνώµονες ιατρούς είχε σαν αποτέλεσµα αρκετά βάρη στον σχηµατισµό των κανόνων ν αλλάξουν. Συνολικά άλλαξαν σε 25 διαγνωστικές κατηγορίες οι κανόνες ή τα βάρη αυτών. 4

7 4. ΣΥΖΗΤΗΣΗ Τα κύρια τεχνικά χαρακτηριστικά του συστήµατος µας σε σύγκριση µε άλλα συστήµατα διάγνωσης επιληψίας είναι τα εξής: 1. Ο χειρισµός της αβέβαιης γνώσης για τον προσδιορισµό των πιθανών τύπων επιληψίας. 2. Η δυνατότητα γραφικής παρουσίασης των κανόνων µε τα ανάλογα πλεονεκτήµατα για κάθε χρήστη του συστήµατος. Τα πλεονεκτήµατα αυτά είναι η ευκολότερη κατανόηση των κανόνων. Η δυνατότητα ελέγχου των κανόνων για τυχόν απαραίτητες αλλαγές. Τέλος, η ευκολότερη κατανόηση του λόγου επιλογής κάποιου κανόνα κατά την διάγνωση. 3. Η δυνατότητα ενηµέρωσης της βάσης γνώσεων από τον εµπειρογνώµονα ή τον µηχανικό γνώσεων. Αυτή η δυνατότητα δίνει ευελιξία και προσαρµοστικότητα στο σύστηµα και γίνεται σε πολύ φιλικό περιβάλλον για τον χρήστη. 4. Η χρήση µετα-κανόνων (meta-rules) οι οποίοι καθοδηγούν την διαδικασία συλλογισµών του συστήµατος. Μελλοντικές επεκτάσεις και βελτιώσεις του συστήµατος µπορούν να γίνουν στα εξής σηµεία: 1. Έχει ήδη σχεδιαστεί και υλοποιείται µία τηλε-υπηρεσία δια µέσου της οποίας κάποιος χρήστης θα µπορεί να χρησιµοποιήσει το συγκεκριµένο έµπειρο σύστηµα από το διαδίκτυο (Web-based interface). Με αυτό τον τρόπο θα δίνεται η δυνατότητα στον χρήστη να έχει εύκολη και άµεση πρόσβαση στις υπηρεσίες του συστήµατος, από οποιοδήποτε σηµείο. 2. Επίσης, µπορεί να κατασκευασθεί µια κοινή βάση δεδοµένων που θα περιέχει περιπτώσεις ασθενών µε οριστικές διαγνώσεις, την οποία οι χρήστες - ιατροί θα µπορούν να συµβουλεύονται για αντίστοιχες µε την περίπτωση που εξετάζουν εγγραφές. Στόχος µας είναι η ανάπτυξη ενός υποσυστήµατος µηχανικής µάθησης το οποίο θα εκµεταλλεύεται τα στοιχεία της βάσης δεδοµένων. Με το υποσύστηµα αυτό είναι δυνατόν να δηµιουργούνται αυτόµατα κανόνες από πραγµατικά περιστατικά διάγνωσης εµπειρογνωµόνων ώστε να εµπλουτίζεται η βάση γνώσεων. 3. Ένα υποσύστηµα επεξήγησης των συλλογισµών είναι αναγκαίο. Αυτό το υποσύστηµα θα επιδεικνύει, εφόσον το ζητήσει ο χρήστης, τον κανόνα που χρησιµοποιήθηκε για τη διάγνωση. 4. Μπορούν να εξεταστούν άλλες µέθοδοι αναπαράστασης γνώσεων και συλλογισµού µε αβεβαιότητα µε στόχο την βελτίωση της απόδοσης του συστήµατος. Η απόδοση του συστήµατος αναµένουµε να αυξηθεί περαιτέρω µετά τις διορθώσεις που έκαναν οι εµπειρογνώµονες ιατροί στους κανόνες και τα βάρη τους. 5

8 5. ΒΙΒΛΙΟΓΡΑΦΙΑ [Korpinen, 1993] L. Korpinen, Computer-aided decision-making for epilepsy and sleep diagnostics, Acta Neurologica Scandinavian, [Vassilakis, 2002] K. Vassilakis, L. Vorgia, S. Micheloyannis, A Decision Support System for Classification of Epilepsies in Childhood, Journal of Child Neurology,