Προηγµένη ιασύνδεση µε το Περιβάλλον

Transcript

1 Προηγµένη ιασύνδεση µε το Περιβάλλον! Επεξεργασία Φυσικής Γλώσσας Τεχνητή Όραση Ροµποτική Επεξεργασία Φυσικής Γλώσσας " Κατανόηση φυσικής γλώσσας " Ορθογραφικός, γραµµατικός, συντακτικός έλεγχος κειµένου. " Μετατροπή µιας πρότασης-φράσης, προφορικής ή γραπτής, σε εσωτερικές δοµές αναπαράστασης γνώσης. " Παραγωγή φυσικής γλώσσας " Μετατροπή δοµών αναπαράστασης γνώσης σε προτάσεις της φυσικής γλώσσας. Γιάννης Ρεφανίδης 2 1

2 Κατανόηση Φυσικής Γλώσσας (1/2) " Περιλαµβάνει τέσσερα στάδια: " Αναγνώριση οµιλίας (Speech recognition) " Συντακτική ανάλυση (Syntactic analysis) " Σηµασιολογική ανάλυση (Semantic analysis) " Πραγµατολογική ανάλυση (Pragmatic analysis) Γιάννης Ρεφανίδης 3 Κατανόηση Φυσικής Γλώσσας (2/2) Φασµατογράφηµα Αναγνώριση οµιλίας Πρότυπα φθόγγων Λέξεις Συντακτική ανάλυση Γραµµατικοί κανόνες Προτάσεις Σηµασιολογική ανάλυση Έννοιες λέξεων Έννοιες Πραγµατολογική ανάλυση Γενικότερο πλαίσιο - συµφραζόµενα Ερµηνεία προτάσεων Γιάννης Ρεφανίδης 4 2

3 Αναγνώριση οµιλίας " Είναι η διαδικασία κατά την οποία τα ηχητικά-ηλεκτρικά σήµατα µετατρέπονται σε φθόγγους και στη συνέχεια από αυτά παράγονται λέξεις και προτάσεις. " Περιλαµβάνει τα ακόλουθα βήµατα: " Παραγωγή φασµατογραφήµατος " Αναγνώριση φθόγγων " ηµιουργία λέξεων Γιάννης Ρεφανίδης 5 Αναγνώριση φθόγγων (1/4) " Αφού καταγραφεί το φασµατογράφηµα ενός ηχητικού σήµατος (µέσω µικροφώνου), πρέπει να αναγνωρισθούν οι φθόγγοι που περιέχονται σε αυτό. " Βιβλιοθήκη µε πρότυπα (templates) φθόγγων " Πολλά προβλήµατα: " Ταχύτητα εκφοράς " Χροιά οµιλητή " Συνεχόµενη εκφορά " ιαφοροποίηση εκφοράς φθόγων βάσει των γειτονικών τους " Τεχνικές " Χρήση πιθανοτήτων " Τεχνικές ανάλυσης/επεξεργασίας σήµατος " Νευρωνικά δίκτυα Γιάννης Ρεφανίδης 6 3

4 Αναγνώριση φθόγγων (2/4) " Το ηχητικό σήµα δειγµατοληπτείται σε µια υψηλή συχνότητα, π.χ. 16KHz). " Πάνω στο ψηφιακό πλέον σήµα ορίζονται µερικώς επικαλυπτόµενες περιοχές (frames) µε µικρότερη συχνότητα, π.χ. 100Hz. " Η συµπεριφορά του σήµατος ανθρώπινης οµιλίας δεν αλλάζει δραστικά εντός µιας τέτοιας περιοχής. " Για κάθε frame µετρώνται κάποια µεγέθη, όπως η µέση ενέργεια του ηχητικού σήµατος για διάφορες συχνότητες, η συνολική ενέργεια, η διαφορά ενέργειας από το προηγούµενο frame κλπ. " Σε πραγµατικά συστήµατα υπάρχουν δεκάδες µε εκατοντάδες µετρήσεις ανά frame. Γιάννης Ρεφανίδης 7 Αναγνώριση φθόγγων (3/4) Αναλογικό σήµα: ειγµατοληφθέν, ψηφιακό σήµα: Πλαίσια χαρακτηριστικών: Γιάννης Ρεφανίδης 8 4

5 Αναγνώριση φθόγγων (4/4) " Ένας φθόγγος δεν έχει ενιαία εκφορά. " Μοντέλο τριών καταταστάσεων: Κάθε φθόγγος έχει τρεις καταστάσεις: Αρχική, Μεσσαία, Τελική " Κάθε κατάσταση έχει τα δικά της ιδιαίτερα χαρακτηριστικά. " Τα µοντέλα φθόγγων αποδίδουν πιθανότητες συγκεκριµένες ακολουθίες frames να αντιστοιχούν σε συγκεκριµένο φθόγγο. Γιάννης Ρεφανίδης 9 ηµιουργία λέξεων " Οι φθόγγοι που παρήχθησαν πρέπει να συνδυαστούν για να σχηµατισθούν λέξεις. " Η διαδικασία διευκολύνεται από τη χρήση στατιστικών στοιχείων για τη συχνότητα εµφάνισης: " Φθόγγων " Συνδυασµών φθόγγων " Λέξεων " Προβλήµατα από: " ιαφορετικές εκφορές της ίδιας λέξης " Συνεχόµενη οµιλία " Απλουστεύσεις: " Ένας οµιλητής " Παύση µεταξύ λέξεων Γιάννης Ρεφανίδης 10 5

6 Συντακτική ανάλυση " Ησυντακτική ανάλυση αφορά την ανάλυση προτάσεων που σχηµατίζονται από τις λέξεις. " Η συντακτική ανάλυση αποτελεί ουσιαστικά το πρώτο βήµα της διαδικασίας κατανόησης φυσικής γλώσσας από γραπτό κείµενο. " Βασίζεται στη χρήση ενός λεξικού και µιας γραµµατικής. Γιάννης Ρεφανίδης 11 Λεξικό " Είναι ένας "πίνακας" όπου κρατούνται όλες οι γνωστές λέξεις της γλώσσας, µαζί µε τις ιδιότητές τους (π.χ. ρήµα µεταβατικό, ουσιαστικό αρσενικό, κλπ). " Μορφολογικοί κανόνες επιτρέπουν: " Το σχηµατισµό των διαφόρων προσώπων, πτώσεων, αριθµών των λέξεων (µορφολογία κλίσεων, inflectional morphology). " Το σχηµατισµό νέων λέξεων, προσθέτοντας γνωστά προθέµατα (π.χ. στερητικό α-) ή καταλήξεις στις υπάρχουσες λέξεις (ετυµολογική µορφολογία, derivational morphology). " Το σχηµατισµό σύνθετων λέξεων (σύνθεση λέξεων, compounding). Γιάννης Ρεφανίδης 12 6

7 Αλγόριθµοι ιόρθωσης Ορθογραφικών Λαθών (1/3) " Ένα λεξικό, µαζί µε τους µορφολογικούς κανόνες, µπορεί να χρησιµοποιηθεί για τη διόρθωση ορθογραφικών λαθών. " Οι αλγόριθµοι βασίζονται στην εγγύτητα των λέξεων: " Για κάθε λανθασµένη λέξη ο αλγόριθµος προσπαθεί να βρει την πλησιέστερη έγκυρη λέξη ή µορφή λέξης από το λεξικό. " ύο µοντέλα: " Μοντέλο χαρακτήρων (letter-based model): " Μοντέλο βασισµένο σε ήχους (sound-based model) " Γράµµατα µε ίδια προφορά θεωρούνται ίδια " Και στα δύο µοντέλα, ως λάθη θεωρούνται: " η εισαγωγή / διαγραφή ενός µεµονωµένου χαρακτήρα/φθόγγου " η αντιµετάθεση δύο γειτονικών χαρακτήρων/φθόγγων " η αντικατάσταση ενός γράµµατος/φθόγγου από ένα άλλο. Γιάννης Ρεφανίδης 13 Αλγόριθµοι ιόρθωσης Ορθογραφικών Λαθών (2/3) " Θεωρώντας αλφάβητο 24 γραµµάτων και ότι έχει συµβεί µόνο ένα λάθος, µια λέξη µε 8 γράµµατα έχει: " 9x24 πιθανά λάθη εισαγωγής " 8 πιθανά λάθη διαγραφής " 8x23 πιθανά λάθη αντικατάστασης " 7 πιθανά λάθη αντιµετάθεσης " Σύνολο: 415 λάθη " Φυσικά, εάν ληφθούν υπόψη περισσότερα λάθη, τα ενδεχόµενα είναι πολύ περισσότερα. Γιάννης Ρεφανίδης 14 7

8 Αλγόριθµοι ιόρθωσης Ορθογραφικών Λαθών (3/3) " Μερικές γειτονικές λανθασµένες λέξεις της λέξης "αυτοκίνητο", µε απόσταση 1 λάθος, είναι οι: " "ατοκίνητο" " "υατοκίνητο" " "ααυτοκίνητο", κλπ " Λέξεις που απέχουν 2 "λάθη" είναι οι: " "ατκοίνητο" " "ατµοκίνητο", κλπ. " Σηµείωση: Η λέξη "ατµοκίνητο" που απέχει 2 "λάθη" από την "αυτοκίνητο" µπορεί να θεωρηθεί σωστή! Γιάννης Ρεφανίδης 15 Γραµµατική (1/4) " Μια γραµµατική είναι ένα σύνολο κανόνων που προσδιορίζουν πώς µια πρόταση αναλύεται στα συστατικά της µέρη. " Πρόταση ==> Υποκείµενο, Ρήµα, Αντικείµενο " Πρόταση ==> Υποκείµενο, Ρήµα, Κατηγορούµενο " Υποκείµενο ==> Άρθρο, Ουσιαστικό " Ρήµα ==> [είναι] " Ρήµα ==> [έχει] " Κατηγορούµενο ==> επίθετο " Κατηγορούµενο ==> Ουσιαστικό " Αντικείµενο ==> Ουσιαστικό " Επίθετο ==> [νέα] " Ουσιαστικό ==> [φοιτητής] " Άρθρο ==> [ο] " Άρθρο ==> [η] " Ουσιαστικό ==> [Γιάννης] " Ουσιαστικό ==> [Μαρία] Γιάννης Ρεφανίδης 16 8

9 Γραµµατική (2/4) πρόταση υποκείµενο ρήµα κατηγορούµενο άρθρο ουσιαστικό ουσιαστικό [ο] [Γιάννης] [είναι] [φοιτητής] Γιάννης Ρεφανίδης 17 Γραµµατική (3/4) " Ηανίχνευση της δοµής µιας πρότασης και η αντιστοίχηση συγκεκριµένων ρόλων στις λέξεις είναι σηµαντική για την κατανόηση µιας φράσης. " Η συντακτική ανάλυση µιας φράσης µπορεί να γίνει είτε µε κατεύθυνση πάνω-κάτω (top-down analysis) είτε µε κατεύθυνση κάτω-πάνω (bottom-up analysis). " Στην top-down ανάλυση, το σύµβολο πρόταση αναλύεται σε επιµέρους σύµβολα, µέχρις ότου να καταλήξουµε σε µια φράση µε τερµατικά µόνο σύµβολα (δηλαδή: λέξεις). " Στην bottom-up ανάλυση, οι λέξεις της φράσης οµαδοποιούνται σε συντακτικές δοµές, µέχρις ότου να παραχθεί το σύµβολο της πρότασης. Γιάννης Ρεφανίδης 18 9

10 Γραµµατική (4/4) " Προβλήµατα που εµφανίζουν οι γραµµατικές: " Παράγουν φράσεις οι οποίες δεν είναι σωστές (overgeneration): " "ο Μαρία έχει νέος" " εν παράγουν φράσεις που είναι σωστές " Πρέπει να προστεθούν νέοι κανόνες ή να ξαναγραφούν οι υπάρχοντες " Οι διαφορετικές σηµασίες της ίδιας λέξης αυξάνουν την πολυπλοκότητα της συντακτικής ανάλυσης µιας φράσης. " Το πρόβληµα αυτό είναι εντονότερο στην αγγλική γλώσσα. " Πολλές φορές το αποτέλεσµα της συντακτικής ανάλυσης είναι ένα σύνολο από αναλύσεις, από τις οποίες θα επιλεγεί µία στις επόµενες φάσεις της διαδικασίας κατανόησης λόγου. Γιάννης Ρεφανίδης 19 Γραµµατικές Οριστικών Προτάσεων " Για να υπάρχει καλύτερη αντιστοίχηση µεταξύ πτώσεων/αριθµών/γενών των διαφόρων λέξεων µιας πρότασης, υπάρχουν δύο δυνατότητες: " Να γραφούν πολλοί ξεχωριστοί κανόνες για κάθε περίπτωση, όπως π.χ. " Πρόταση ==> Υποκείµενο_αρσενικό_ενικός, Ρήµα_ενικός, Κατηγορούµενο_αρσενικό_ενικός " Να χρησιµοποιηθούν οι ίδιοι κανόνες, στους οποίους όµως θα µπουν παράµετροι: " Πρόταση ==> Υποκείµενο(γένος, αριθµός), Ρήµα(αριθµός), Κατηγορούµενο(γένος, αριθµός) # Αυτή η προσέγγιση θυµίζει τα σχήµατα ενεργειών, αντί για απλές ενέργειες, στο σχεδιασµό ενεργειών. " Οι γραµµατικές που επιτρέπουν παραµέτρους ονοµάζονται Γραµµατικές Οριστικών Προτάσεων (Definite Clause Grammars, DCGs). Γιάννης Ρεφανίδης 20 10

11 Σηµασιολογική Ανάλυση (1/2) " Αφορά τη µετατροπή των προτάσεων σε εσωτερικές δοµές αναπαράστασης γνώσης, χρησιµοποιώντας τη νοηµατική σηµασία των λέξεων. " Ως εσωτερική αναπαράσταση µπορεί να χρησιµοποιηθεί η λογική πρώτης τάξης. " Για παράδειγµα, η φράση: " Ο Κώστας αγαπά την Ελένη " πρέπει να αντιστοιχηθεί στην πρόταση: " Αγαπά(Κώστας, Ελένη) Γιάννης Ρεφανίδης 21 Σηµασιολογική Ανάλυση (2/2) " Τα προβλήµατα της σηµασιολογικής ανάλυσης προκύπτουν από: " Το πολυσήµαντο (ambiguity) των λέξεων " Τι καιρό κάνει σήµερα; " Είναι καιρός να αλλάξω επάγγελµα. " Το ενδεχόµενο πολλαπλών αναλύσεων µιας φράσης κατά το στάδιο της συντακτικής ανάλυσης. " Ο Νίκος ζήτησε από το Γιάννη να τον αντικαταστήσει στη δουλειά σήµερα " Χρησιµοποιούνται πιθανότητες για την επιλογή των πιο κατάλληλων ερµηνειών των λέξεων µέσα σε µία φράση. " Η σηµασιολογική ανάλυση µπορεί να λύσει ασάφειες που προέκυψαν στα προηγούµενα στάδια. Γιάννης Ρεφανίδης 22 11

12 Πραγµατολογική ανάλυση (1/3) " Στο στάδιο της πραγµατολογικής ανάλυσης (pragmatic analysis) επιχειρείται ένταξη της πρότασης µέσα στο γενικότερο νοηµατικό πλαίσιο των συµφραζόµενων (context). " Το συνηθέστερο πρόβληµα είναι η αντικατάσταση αντωνυµιών και αόριστων άρθρων µε συγκεκριµένα αντικείµενα. " Για παράδειγµα, στην φράση: " Τον είδε να µπαίνει στο εστιατόριο " δεν αναφέρεται ούτε ποιος µπήκε στο εστιατόριο, ούτε ποιος τον είδε να µπαίνει. Γιάννης Ρεφανίδης 23 Πραγµατολογική ανάλυση (2/3) " Σε κάθε σύστηµα κατανόησης φυσικής γλώσσας πρέπει να υπάρχει αναπαράσταση της τρέχουσας κατάστασης της συζήτησης, δηλαδή: " ποιο είναι το θέµα " ποιοι λαµβάνουν µέρος στη συζήτηση " ποιες ήταν οι τελευταίες προτάσεις, κλπ. " Η αναπαράσταση αυτή βοηθά πολύπλευρα στα τρία προηγούµενα στάδια, αφού µπορεί να αλλάξει τις πιθανότητες εµφάνισης των λέξεων και άρα και των φθόγγων, µε άµεσο αποτέλεσµα τη δηµιουργία πιο αξιόπιστων προτάσεων. Γιάννης Ρεφανίδης 24 12

13 Πραγµατολογική ανάλυση (3/3) " Σηµαντικό ρόλο στην πραγµατολογική ανάλυση παίζει επίσης η γνώση που κατέχει το σύστηµα για το πεδίο συζήτησης. " Έτσι, µε βάση αυτά που λέγονται, το σύστηµα µπορεί να κάνει πολλούς εύλογους συµπερασµούς (default reasoning), διευρύνοντας τη γνώση του για την τρέχουσα κατάσταση της συζήτησης. " Για παράδειγµα, από µια πρόταση της µορφής: " "Είδα το Γιάννη να µπαίνει στο εστιατόριο" " µπορεί κανείς να συµπεράνει ότι ο Γιάννης πήγε στο εστιατόριο για να φάει, ότι µάλλον είναι µεσηµέρι γιατί τότε συνηθίζει ο Γιάννης να πηγαίνει στο εστιατόριο, κλπ. Γιάννης Ρεφανίδης 25 Παραγωγή Φυσικής Γλώσσας " Αναφέρεται στη δυνατότητα ενός συστήµατος να απαντά στο χρήστη σε φυσική γλώσσα, γραπτή ή προφορική. " ύο στάδια: " Τι θα ειπωθεί: Το σύστηµα πρέπει να επιλέξει αυτά που θεωρεί απαραίτητα, αφήνοντας την υπόλοιπη πληροφορία για την περίπτωση που θα τη ζητήσει ο χρήστης (σχεδιασµός κειµένου, text planning). " Πώς θα ειπωθεί: Μετατροπή της εσωτερικής γνώσης από λογική πρώτης τάξης σε φυσικό λόγο. " Σε κάθε περίπτωση, η παραγωγή φυσικής γλώσσας είναι σηµαντικά ευκολότερη διαδικασία από την κατανόηση φυσικής γλώσσας. Γιάννης Ρεφανίδης 26 13

14 Εφαρµογές (1/4) " Αυτόµατη µετάφραση/διερµηνεία " " Κυκλοφορεί στην Ελλάδα από την εταιρεία MLS. " Ελληνικά-Αγγλικά " Ελληνικά-Γαλλικά " Στην επόµενη διαφάνεια φαίνεται η σελίδα του SYSTRAN, ενώ στη µεθεπόµενη φαίνεται η κεντρική σελίδα του CNN ( µεταφρασµένη στα γερµανικά, µέσω του site του systran. Γιάννης Ρεφανίδης 27 Γιάννης Ρεφανίδης 28 14

15 Γιάννης Ρεφανίδης 29 Εφαρµογές (2/4) " Αυτόµατη µετάφραση/διερµηνεία " " Verbmobil: Σύστηµα αυτόµατης µετάφρασης, εξαρτηµένης από τα συµφαζόµενα, σε πραγµατικό χρόνο. Γλώσσες: Γερµανικά-Αγγλικά-Ιαπωνικά " " Video: VerbMobile\2EN.mpeg [offline] Γιάννης Ρεφανίδης 30 15

16 Εφαρµογές (3/4) " Αυτόµατη µετάφραση/διερµηνεία " Ένα βασικό πρόβληµα µε τα συστήµατα αυτόµατης µετάφρασης είναι η µη µεταφερσιµότητά τους. " Εάν κάποιος υλοποιήσει ένα σύστηµα που µεταφράζει µεταξύ της Αγγλικής και της Γερµανικής γλώσσας, δεν είναι εύκολο να προσθέσει και µια ακόµη γλώσσα, π.χ. τα Ελληνικά. " Πρέπει να υλοποιηθούν από την αρχή σχεδόν τα πάντα! Γιάννης Ρεφανίδης 31 Εφαρµογές (4/4) " Αυτόµατη υπαγόρευση (π.χ. κειµένου, εντολών) " MS-Office 2002 (µόνο Αγγλικά) " Πρόγραµµα Ελληνικού Ινστιτούτου Επεξεργασίας Λόγου " " Ανάκτηση πληροφοριών (information retrieval) " Από web σελίδες " Κατηγοριοποίηση κειµένων (text categorization) " Ταξινόµηση ειδήσεων " Αναγνώριση εισερχόµενων s " ιαγραφή spam s " Αυτόµατη περίληψη (automated synopsis) Γιάννης Ρεφανίδης 32 16

17 Προηγµένη ιασύνδεση µε το Περιβάλλον Επεξεργασία Φυσικής Γλώσσας! Τεχνητή Όραση Ροµποτική Γενικά " Αφορά τη δυνατότητα ενός υπολογιστικού συστήµατος να µπορεί να "καταλάβει" το περιεχόµενο µιας ψηφιακής εικόνας και να το µετατρέψει στις εσωτερικές δοµές αναπαράστασης γνώσης. " Πολλές εφαρµογές: " Εντοπισµός αντικειµένων " Αναγνώριση προσώπων σε συστήµατα ασφαλείας " Ποιοτική αξιολόγηση προϊόντων µε οπτικό έλεγχο " Ιατρική διάγνωση από ακτινογραφίες Γιάννης Ρεφανίδης 34 17

18 Ψηφιακή Περιγραφή Εικόνας (1/3) " Μία ψηφιοποιηµένη εικόνα είναι ένας διδιάστατος πίνακας, κάθε στοιχείο του οποίου προσδιορίζει τη φωτεινότητα κάθε ενός εικονοστοιχείου (pixel) της εικόνας. " Για µη-έγχρωµες εικόνες χρησιµοποιείται µία κλίµακα τιµών από το 0 (µαύρο) µέχρι το 255 (λευκό) " Για έγχρωµες εικόνες χρησιµοποιούνται τρεις πίνακες φωτεινότητας, ένας για κάθε βασικό χρώµα (R-red, G-green, B-blue). Γιάννης Ρεφανίδης 35 Ψηφιακή Περιγραφή Εικόνας (2/3) Γιάννης Ρεφανίδης 36 18

19 Ψηφιακή Περιγραφή Εικόνας (3/3) Γιάννης Ρεφανίδης 37 Αφαίρεση θορύβου " Εάν η εικόνα περιέχει θόρυβο που εµφανίζει κάποια κανονικότητα/περιοδικότητα, αυτός µπορεί να αφαιρεθεί χρησιµοποιώντας απλά φίλτρα (π.χ. µετασχηµατισµοί Fourier) Γιάννης Ρεφανίδης 38 19

20 Εντοπισµός ακµών (1/2) " Βασίζεται στον εντοπισµό απότοµων µεταβολών φωτεινότητας. " Ουσιαστικά πρόκειται για µια νέα εικόνα που παράγεται από την παράγωγο της φωτεινότητας της αρχικής εικόνας. Γιάννης Ρεφανίδης 39 Εντοπισµός ακµών (2/2) " Οστόχος του εντοπισµού ακµών είναι η µετάβαση από την αρχική εικόνα µεγέθους αρκετών KBytes ή και Mbytes, σε µια νέα, συµπαγή διανυσµατική αναπαράσταση. Γιάννης Ρεφανίδης 40 20

21 Τεµαχισµός εικόνας " Τα pixels µιας εικόνας που αντιστοιχούν στο ίδιο αντικείµενο έχουν συνήθως κοινές ιδιότητες, όπως φωτεινότητα, χρώµα, υφή. " Χρησιµοποιώντας τέτοιες ιδιότητες µπορούµε να οµαδοποιήσουµε τα pixels, τεµαχίζοντας την εικόνα σε περιοχές που περιέχουν µεµονωµένα αντικείµενα. " Για να στεφθεί µε επιτυχία η προσπάθεια αναγνώρισης των αντικειµένων, πρέπει να συνδοδεύεται από γνώση σχετική µε το είδος των αντικειµένων που αναµένουµε να συναντήσουµε στην εικόνα. " Ο τεµαχισµός της εικόνας µπορεί να βοηθήσει στην οµαδοποίηση των ακµών. Γιάννης Ρεφανίδης 41 Ανίχνευση κίνησης " Για την ανίχνευση της κίνησης ενός αντικειµένου: " Εξετάζονται διαδοχικές φωτογραφίες ενός αντικειµένου " Αναζητούνται pixels των δύο φωτογραφιών που αντιστοιχούν στο ίδιο σηµείο του αντικειµένου " Υπολογίζεται η µεταβολή της θέσης τους Γιάννης Ρεφανίδης 42 21

22 Στερεοσκοπική όραση (1/3) " Η στερεοσκοπική όραση βασίζεται σε τεχνικές αντίστοιχες της ανίχνευσης κίνησης. " Το αντικείµενο φωτογραφίζεται από διάφορες οπτικές γωνίες (2 ή και περισσότερες). " Στις διάφορες φωτογραφίες επιχειρείται εντοπισµός εικονοστοιχείων που αντιστοιχούν στο ίδιο σηµείο του αντικειµένου. " Από τη µετατόπιση των διαφόρων εικονοστοιχείων προκύπτει τόσο η µεταξύ τους θέση, όσο και η πραγµατική τους θέση στο χώρο. Γιάννης Ρεφανίδης 43 Στερεοσκοπική όραση (2/3) " Η µεγάλη φωτογραφία δεξιά είναι ίδια µε την πρώτη αριστερά. " Από τις τέσσερις φωτογραφίες εντοπίστηκαν pixels που αντιστοιχούν στα ίδια σηµεία του σπιτιού. Γιάννης Ρεφανίδης 44 22

23 Στερεοσκοπική όραση (3/3) " Έχοντας εντοπίσει ένα σύνολο από σηµεία του αντικειµένου και τις σχετικές τους θέσεις, µπορούµε να "κατασκευάσουµε" οποιαδήποτε όψη του! Γιάννης Ρεφανίδης 45 Αναγνώριση αντικειµένων (1/2) " Ηαναγνώριση αντικειµένων από µία ψηφιακή φωτογραφία είναι ένα πάρα πολύ δύσκολο πρόβληµα. " Προϋπόθεση αποτελεί ο τεµαχισµός µιας εικόνας σε περιοχές που περιέχουν µοναδικά αντικείµενα. " ιάφορες τεχνικές βασίζονται: " Εντοπισµό συγκεκριµένων ιδιοτήτων στα pixels (π.χ. χρώµα, φωτεινότητα κλπ). " Εντοπισµό σχέσεων µεταξύ ακµών, οι οποίες αντιστοιχούν σε συγκεκριµένα σχήµατα. " Ωστόσο, για συγκεκριµένες εργασίες δεν είναι απαραίτητο να αναγνωρίζονται όλα τα αντικείµενα µιας εικόνας, παρά µόνο αυτά που ενδιαφέρουν. " Για παράδειγµα, στην επόµενη διαφάνεια που αφορά την αυτόµατη πλοήγηση ενός αυτοκινήτου, εντοπίζονται καταρχήν οι γραµµές του δρόµου. Γιάννης Ρεφανίδης 46 23

24 Αναγνώριση αντικειµένων (2/2) Γιάννης Ρεφανίδης 47 Προηγµένη ιασύνδεση µε το Περιβάλλον Επεξεργασία Φυσικής Γλώσσας Τεχνητή Όραση! Ροµποτική 24

25 Γενικά " Τα ροµπότ είναι φυσικές οντότητες που εκτελούν εργασίες χειριζόµενα επιδέξια τα αντικείµενα του φυσικού κόσµου. " Ένα ροµπότ αποτελείται από τρία βασικά µέρη: " Αισθητήρες (sensors) " Συσκευές sonar (SONAR - SOund NAvigation and Ranging) για τον εντοπισµό αντικειµένων στην περιοχή τους (αποφυγή συγκρούσεων) " Αισθητήρες µέτρησης δύναµης (force sensors) " Αισθητήρες αφής (touch sensors ή tactile sensors) " Εξαρτήµατα δράσης (effectors) " Ρόδες " Βραχίονες σε µορφή ποδιών (legs) " Βραχίονας µε λαβή (gripper) # Έξι αρθρώσεις (joints) " Μονάδα ελέγχου Γιάννης Ρεφανίδης 49 Κατηγορίες ροµπότ (1/4) " Μπορούµε να διακρίνουµε τρεις γενικές κατηγορίες ροµπότ: " Κατασκευαστικά ροµπότ: Πρόκειται για µηχανικούς βραχίονες µε σταθερή βάση, που χρησιµοποιούνται συνήθως από τις βιοµηχανίες για τη συναρµολόγηση προϊόντων. " Ματακινούµενα ροµπότ: Πρόκειται για ροµπότ που µετακινούνται στο περιβάλλον τους χρησιµοποιώντας τροχούς, βραχίονες κλπ. " Τακτοποίηση χώρων " Μεταφορά αντικειµένων " Εξερεύνηση άγνωστων περιοχών " Ανθρωποειδή ροµπότ: Πρόκειται για πειραµατικές προσπάθειες κατασκευής ροµπότ µε ανθρώπινη εξωτερική εµφάνιση. Γιάννης Ρεφανίδης 50 25

26 Κατηγορίες ροµπότ (2/4) " Μηχανικοί βραχίονες Γιάννης Ρεφανίδης 51 Κατηγορίες ροµπότ (3/4) " Μετακινούµενα ροµπότ Γιάννης Ρεφανίδης 52 26

27 Κατηγορίες ροµπότ (4/4) " Ανθρωποειδή ροµπότ Γιάννης Ρεφανίδης 53 Αισθητήρες (1/2) " Οι αισθητήρες (sensors) είναι τα εξαρτήµατα που πληροφορούν το ροµπότ για την κατάσταση του περιβάλλοντός του αλλά και για τη δική του κατάσταση. " Μηχανική όραση: Ο πιο "ακριβός" τρόπος αίσθησης " Έλλειψη ακρίβειας " Συσκευές sonar (SONAR - SOund NAvigation and Ranging): Μετρούν την απόσταση προς τα πλησιέστερα αντικείνενα. " Ιδιαίτερα χρήσιµες στην αποφυγή συγκρούσεων. " Αισθητήρες αφής, δύναµης, ροπής " GPS (Global Positioning System): Ενηµερώνουν για την ακριβή θέση του ροµπότ σε γεωγραφικές συντεταγµένες. " Αισθητήρες αυτοαίσθησης: Ελέγχουν την κατάσταση του ροµπότ. Γιάννης Ρεφανίδης 54 27

28 Αισθητήρες (2/2) " Αισθητήρας Sonar Γιάννης Ρεφανίδης 55 Κίνηση " Ρόδες " Πόδια " Απαιτούν εξελιγµένους χειρισµούς Γιάννης Ρεφανίδης 56 28

29 Χειρισµός αντικειµένων (1/2) " Χειρισµός αντικειµένων " Βραχίονες: Μέχρι 6 βαθµοί ελευθερίας P R R R R R Γιάννης Ρεφανίδης 57 Χειρισµός αντικειµένων (2/2) " Βραχίονας µε δάχτυλα Γιάννης Ρεφανίδης 58 29

30 Μονάδα ελέγχου " Είναι υπεύθυνη για: " Τη συλλογή και ανάλυση των πληροφοριών από τους αισθητήρες. " Την εκτέλεση ενεργειών " Χρησιµοποιούνται µοντέλα πιθανοτήτων για την τρέχουσα κατάσταση του περιβάλλοντος. " Βασικά προβλήµατα που πρέπει να λυθούν: " Εντοπισµός αντικειµένων " Κατασκευή "χάρτη" του εγγύς περιβάλλοντος " Κατασκευή πλάνου ενεργειών σε αβέβαιο περιβάλλον Γιάννης Ρεφανίδης 59 Εφαρµογές " Βιοµηχανία " Αγροτικός τοµέας " Μεταφορές " Επικίνδυνα περιβάλλοντα " Εξερεύνηση " Τοµέας υγείας " Προσωπικοί βοηθοί " ιασκέδαση Γιάννης Ρεφανίδης 60 30