Τεχνητή Νοημοσύνη 21η διάλεξη (2016-17) Ίων Ανδρουτσόπουλος http://www.aueb.gr/users/ion/ 1
Οι διαφάνειες αυτής της διάλεξης βασίζονται στα βιβλία: «Artificial Intelligence A Modern Approach» των. Russel και P. Norvig, 2η έκδοση, Prentice Hall, 2003 και «peech and Language Processing» των D. Jurafsky and J.H. Martin, 2 η έκδοση, Prentice Hall, 2008.
Τι θα ακούσετε σήμερα Γραμματικές φυσικής γλώσσας, ιεραρχία γραμματικών Chomsky και αντιστοιχία με μοντέλα υπολογισμού. Η συντακτική ανάλυση ως πρόβλημα αναζήτησης σε χώρο καταστάσεων. Συντακτική ανάλυση με απλούς αλγορίθμους αναζήτησης και προβλήματα που εμφανίζονται. 3
Γραμματικές Det Nominal Διάζευξη. Ουσιαστικά δύο κανόνες. Nominal N Adj Nominal Det ο η το «Λεξικό»: στην Adj πράσινο μεγάλο βαρύ πράξη, πληροφορίες N βιβλίο αυτοκίνητο από τη μορφολογική ανάλυση. Τερματικά σύμβολα, π.χ. «βιβλίο», «το».. Μη τερματικά σύμβολα, π.χ. «Nominal», «Adj». Κανόνες α β: ορίζουν τις δυνατές «παραγωγές». Π.χ. ένα Nominal μπορεί να είναι ένα N ή μπορεί να είναι ένα Adj ακολουθούμενο από ένα άλλο Nominal. Αρχικό σύμβολο: ένα από τα μη τερματικά (εδώ ). Γλώσσα της γραμματικής: οι ακολουθίες τερματικών συμβόλων που παράγονται από το αρχικό σύμβολο. 4
Ιεραρχία γραμματικών του Chomsky Τύπος 3 (κανονικές γραμματικές): Κανόνες μορφής Α x και Α x B (σε δεξιά γραμμικές). Κανόνες μορφής A x και A B x (σε αριστερά γραμμικές). x: (πιθανώς κενή) ακολουθία τερματικών συμβόλων. Α, B: μεμονωμένα μη τερματικά σύμβολα. Παράδειγμα δεξιά γραμμικής γραμματικής: ο Nominal το Nominal Nominal μεγάλος Nominal Nominal μεγάλο Nominal Nominal εύκολο στην οδήγηση Nominal Nominal N N άνθρωπος N αυτοκίνητο Τύπος 2 (γραμματικές χωρίς συμφραζόμενα): Κανόνες μορφής Α α. Α: μεμονωμένο μη τερματικό σύμβολο. α: (πιθανώς κενή) ακολουθία τερματικών και μη τερματικών. Π.χ. τώρα επιτρέπεται και: Det Nominal 5
Ιεραρχία γραμματικών συνέχεια Τύπος 1 (γραμματικές με συμφραζόμενα): Κανόνες μορφής ααβ αγβ. α, β: (πιθανώς κενές) ακολουθίες τερματικών και μη τερματικών. γ: μη κενή ακολουθία τερματικών και μη τερματικών. Π.χ. ( Date ) ( Day / Month / Year ) Επιτρέπεται και ο κανόνας ε, όπου το αρχικό σύμβολο και ε η κενή συμβολοσειρά, αν το δεν εμφανίζεται σε κανένα δεξί μέρος κανόνα. Άλλος ορισμός: κανόνες της μορφής α β, με 0 α β. Δηλαδή, το μήκος της ακολουθίας α πρέπει να είναι μικρότερο ή ίσο του μήκους της β. Μπορούν να οριστούν οι ίδιες γλώσσες, όπως και με τον προηγούμενο ορισμό, με την εξαίρεση γλωσσών που περιλαμβάνουν το ε. Τύπος 0 (αναδρομικά απαριθμήσιμες): Κανόνες της μορφής α β (με α μη κενή). α, β: ακολουθίες τερματικών και μη τερματικών. 6
Παραγωγική ισχύς γραμματικών Γλώσσα: Το σύνολο των εκφράσεων (ακολουθιών τερματικών συμβόλων) που επιτρέπει μια γραμματική. γλώσσες(τ): Το σύνολο των γλωσσών που μπορούν να οριστούν με γραμματικές τύπου Τ. γλώσσες(τύπος 3) γλώσσες(τύπος 2): Π.χ. οι κανονικές γραμματικές δεν μπορούν να ορίσουν γλώσσες της μορφής a n b n (π.χ. ab, aabb, aaabbb, κλπ.), ενώ οι ΓΧΣ μπορούν ( ab και ab). γλώσσες(τύπος 2) γλώσσες(τύπος 1): Π.χ. οι γραμματικές χωρίς συμφραζόμενα δεν μπορούν να ορίσουν γλώσσες της μορφής a n b n c n, ενώ οι γραμματικές με συμφραζόμενα μπορούν ( abc, abc, cb Bc, bb bb, τύπου 1 κατά το 2ο ορισμό). γλώσσες(τύπος 1) γλώσσες(τύπος 0). 7
Παραγωγική ισχύς γραμματικών τύπος 0 τύπος 1 (με συμφραζόμενα) τύπος 2 (χωρίς συμφραζόμενα) τύπος 3 (κανονικές) 8
Αυτόματα πεπερασμένων καταστάσεων Για τη γλώσσα a m b n, με m,n > 0. Αρχική κατάσταση a A ε a Κανονική γραμματική: a A A a A A B B b B B b b B b F Τελική κατάσταση 9
Αντιστοιχία με μοντέλα υπολογισμού Οι κανονικές γραμματικές αντιστοιχούν σε αυτόματα πεπερασμένων καταστάσεων (ΑΠΚ). Για κάθε κανονική γραμματική, μπορούμε να κατασκευάσουμε ΑΠΚ που να ορίζει την ίδια ακριβώς γλώσσα και αντίστροφα. Για να ελέγξουμε αν μια ακολουθία τερματικών συμβόλων ανήκει στη γλώσσα, δίνουμε την ακολουθία στο ΑΠΚ. Το ΑΠΚ «διαβάζει» (καταναλώνει) ένα-ένα τα σύμβολα της ακολουθίας, αλλάζοντας κατάσταση (ή μένοντας στην ίδια) μετά από κάθε σύμβολο όποτε υπάρχει αντίστοιχη μετάβαση. H ακολουθία τερματικών ανήκει στη γλώσσα ανν υπάρχει επιτρεπόμενη ακολουθία μεταβάσεων του ΑΠΚ που καταναλώνει ολόκληρη την ακολουθία τερματικών, ώστε στο τέλος το ΑΠΚ να βρίσκεται σε τελική κατάσταση. 10
Αντιστοιχία με μοντέλα υπολογισμού Οι γραμματικές χωρίς συμφραζόμενα αντιστοιχούν σε μη αιτιοκρατικά ΑΠΚ με στοίβα. Το αυτόματο διαθέτει και μια στοίβα, που στις τελικές καταστάσεις πρέπει να είναι κενή. Σε γλώσσες a n b n, η στοίβα μάς χρειάζεται για να ξέρουμε πόσα b πρέπει να συναντήσουμε μετά τα a. Κάθε φορά που συναντούμε a προσθέτουμε ένα σύμβολο στη στοίβα. Κάθε φορά που συναντούμε b αφαιρούμε. Μη αιτιοκρατικό: η τρέχουσα κατάσταση και το σύμβολο που διαβάζει (και τα περιεχόμενα της στοίβας) δεν καθορίζουν μονοσήμαντα την επόμενη κατάσταση. Κάθε μη αιτιοκρατικό ΑΠΚ (χωρίς στοίβα) μπορεί να μετατραπεί σε αιτιοκρατικό (με περισσότερες καταστάσεις), αλλά δεν ισχύει το ίδιο για τα αυτόματα με στοίβα. Οι γραμματικές τύπου 0 αντιστοιχούν σε μηχανές Turing. 11
Τι γραμματικές χρειάζεται η ΦΓ; Σχεδόν όλα τα συντακτικά φαινόμενα των φυσικών γλωσσών μπορούν να παρασταθούν με κανονικές γραμματικές. Άρα μπορούμε να κάνουμε συντακτική ανάλυση με αυτόματα πεπερασμένων καταστάσεων. Πολύ αποδοτικοί αλγόριθμοι. Συχνά, όμως, χρησιμοποιούμε ΓΧΣ επειδή είναι πιο σύντομες. Και επειδή τα συντακτικά δέντρα που παράγουν είναι πιο χρήσιμα στη σημασιολογική ανάλυση. Υπάρχουν φαινόμενα για τα οποία φαίνεται να απαιτούνται γραμματικές χωρίς συμφραζόμενα [Jurafsky & Martin 2009]: The cat likes tuna fish. The cat (that) the dog chased likes tuna fish. Αντιστοιχία με γλώσσες a n b n ( n V n tuna fish). Η τομή (κοινές προτάσεις) των Αγγλικών με την κανονική γλώσσα [ n V m tuna fish] είναι η [ n V n tuna fish], που είναι μη κανονική. Άρα τα Αγγλικά είναι μη κανονική γλώσσα, γιατί η τομή κανονικών γλωσσών είναι κανονική. Αλλά και οι άνθρωποι δυσκολεύονται για n > 2. Για πεπερασμένες τιμές του n αρκούν κανονικές γραμματικές. 12
Τι γραμματικές χρειάζεται η ΦΓ; Υπάρχουν φαινόμενα σε μερικές γλώσσες που φαίνεται να απαιτούν γραμματικές με συμφραζόμενα. Ελβετικά γερμανικά και γλώσσα Bambara (Μαλί και πέριξ). Στα ελβετικά γερμανικά υπάρχουν εκφράσεις τις μορφής wa n b m xc n d m y. Αλλά στις περισσότερες άλλες γλώσσες δεν έχουν βρεθεί τέτοια φαινόμενα. 13
Αλγόριθμοι συντακτικής ανάλυσης Είσοδοι: Μια γραμματική του τύπου που υποστηρίζει ο αλγόριθμος (π.χ. γραμματική χωρίς συμφραζόμενα). Μια ακολουθία σ από τερματικά σύμβολα της γραμματικής. Αποκρίσεις: Ανήκει η σ στη γλώσσα που ορίζει η γραμματική; Ποιο είναι το συντακτικό δέντρο της σ ; Το συντακτικό δέντρο αποτελεί μια απόδειξη ότι η σ είναι σύμφωνη με τη γραμματική. Παρέχει, επίσης, πληροφορίες για τη συντακτική δομή της σ. 14
Μεγαλύτερο παράδειγμα ΓΧΣ Det PN Pron Det Nominal Nominal N Adj Nominal Nominal PP PP Prep VP VP VP V V Pron εγώ Det ο η έναν μια τον την PN Θεσσαλονίκη Αθήνα N πτήση πελάτης πελάτη Adj πρωινή απογευματινή εγώ θέλω μια πρωινή πτήση,... V θέλω θέλει προτιμώ συμφωνώ Prep προς από την Αθήνα, εγώ, μια πτήση, μια πρωινή πτήση, μια πρωινή πτήση προς την Αθήνα,... Παίζουν το ρόλο λεξικού. 15
VP παράδειγμα συντακτικού δένδρου με την προηγούμενη γραμματική Nominal Nominal PP Nominal Pron V Det Adj N Prep Det PN εγώ προτιμώ μια πρωινή πτήση προς την Αθήνα
Αναζήτηση από πάνω προς τα κάτω VP VP... VP V VP VP Det PN......... Αδιέξοδο: η πρόταση δεν ξεκινά με «θέλω». VP V θέλω V 17......
Αναζήτηση από πάνω προς τα κάτω Καταστάσεις: Κάθε κατάσταση παριστάνει ένα (πιθανώς ημιτελές) δέντρο με ρίζα το αρχικό σύμβολο. Αρχική κατάσταση: (Ημιτελές) δέντρο με μοναδικό κόμβο το αρχικό σύμβολο. Τελική κατάσταση: Δέντρο με φύλλα ακριβώς την ακολουθία των τερματικών συμβόλων της εισόδου. Τελεστές μετάβασης: Επέκταση ημιτελούς δέντρου προς τα κάτω, σύμφωνα με κανόνα της γραμματικής. Υπέρ και κατά: Δεν χάνουμε χρόνο εξερευνώντας (ημιτελή) δέντρα που δεν έχουν ως ρίζα το αρχικό σύμβολο. Μπορεί όμως να εξερευνούμε (ημιτελή) δέντρα που αποκλείεται να έχουν ως φύλλα την ακολουθία εισόδου. 18
Αναζήτηση από κάτω προς τα πάνω VP VP Pron V Det PN Pron V... εγώ προτιμώ... την Αθήνα... εγώ προτιμώ... την Αθήνα... Pron V Det PN εγώ προτιμώ... την Αθήνα 19
Αναζήτηση από κάτω προς τα πάνω Καταστάσεις: Κάθε κατάσταση είναι μια λίστα δέντρων. Τα φύλλα των δέντρων της λίστας συνθέτουν την ακολουθία των τερματικών συμβόλων της εισόδου. Αρχική κατάσταση: Δέντρα ενός κόμβου. Ένα για κάθε τερματικό της εισόδου. Τελική κατάσταση: Ένα μόνο δέντρο, με ρίζα το αρχικό σύμβολο. Τελεστές μετάβασης: Επέκταση ενός από τα δέντρα προς τα πάνω ή σύνδεση δέντρων, σύμφωνα με κανόνα της γραμματικής. Υπέρ και κατά: Δεν χάνουμε χρόνο εξερευνώντας δέντρα που δεν μπορούν να έχουν ως φύλλα τη συμβολοσειρά εισόδου. Μπορεί όμως να εξερευνούμε δέντρα που αποκλείεται να έχουν τελικά ως ρίζα το αρχικό σύμβολο. 20
Από πάνω προς τα κάτω με DF και οπισθοδρόμηση VP VP Συνήθως επεκτείνουμε πρώτα το αριστερότερο μη τερματικό σύμβολο που μπορούμε, χρησιμοποιώντας τον πιο πάνω κανόνα της γραμματικής που μπορούμε. VP VP VP Det PN Pron Det Nominal............ 21
Το πρόβλημα της αριστερής αναδρομής Από πάνω προς τα κάτω με DF και οπισθοδρόμηση. Είσοδος που δεν συμφωνεί με τη γραμματική: «μια από την Αθήνα» Έχουμε φτάσει στο ακόλουθο: Det μια Nominal Nominal Nominal VP PP PP Οι πρώτοι δύο κανόνες για nominal αποτυγχάνουν. Nominal N Nominal Adj Nominal Δοκιμάζει τον 3ο κανόνα: Nominal Nominal PP Διαρκείς επαναλήψεις χωρίς κατανάλωση λέξεων εισόδου. Αν ο 3ος κανόνας είναι πάνω από τους άλλους δύο στη γραμματική, έχουμε διαρκείς επαναλήψεις ακόμα κι αν η είσοδος συμφωνεί με τη γραμματική. 22
Αριστερή αναδρομή Το πρόβλημα εμφανίζεται με κανόνες της μορφής: Α 1 Α 2 α 1 (A i μη τερματικά, α i ακολουθίες τερματικών Α 2 Α 3 α 2 και μη τερματικών)... A n A 1 α n Συχνά μπορεί να λυθεί τροποποιώντας τη γραμματική, ώστε να μην εμφανίζει αριστερή αναδρομή. Αντίστοιχα προβλήματα εμφανίζονται σε όλους τους απλούς αλγορίθμους συντακτικής ανάλυσης από πάνω προς τα κάτω. Π.χ. αν έχουμε αριστερή αναδρομή, ο BF βρίσκει το συντακτικό δένδρο αν υπάρχει, αλλά δεν τερματίζει ποτέ αν δεν υπάρχει (αν δεν συμφωνεί η είσοδος με τη γραμματική), γιατί ο χώρος αναζήτησης είναι άπειρος. 23
Επαναλαμβανόμενη ανάλυση υποδένδρων Nominal Nominal PP Aπό πάνω προς τα κάτω με DF + οπισθ/μηση. «Λάθος» επιλογή κανόνα. Περισσεύουν λέξεις. Αναγκαζόμαστε να οπισθοχωρήσουμε. Det N Prep Det PN??? μια πτήση από την Αθήνα προς τα Χανιά 24
Επαναλαμβανόμενη ανάλυση υποδένδρων Nominal Nominal PP Det μια πτήση από την Αθήνα προς τα Χανιά 25
Επαναλαμβανόμενη ανάλυση υποδένδρων Nominal Αυτά τα είχαμε ανακαλύψει και πριν. Σπατάλη χρόνου. Nominal Nominal PP PP Αντίστοιχα προβλήματα εμφανίζονται στην ανάλυση από κάτω προς τα πάνω. Det N Prep Det PN Prep Det PN μια πτήση από την Αθήνα προς τα Χανιά 26
Συντακτικά διφορούμενες προτάσεις «Είδαμε τον επιστήμονα με το τηλεσκόπιο.» Είδαμε [ τον [ Nominal επιστήμονα [ PP με το τηλεσκόπιο]]]. Όπως «την πτήση από τη Θεσσαλονίκη». «Είδαμε τον επιστήμονα με το τηλεσκόπιο.» Είδαμε [ τον επιστήμονα] [ PP με το τηλεσκόπιο]. Θα είχαμε και κανόνα: VP V PP. «Είδαμε τον επιστήμονα με το τηλεσκόπιο από το Παρίσι.» Είδαμε [τον επιστήμονα] [με το τηλεσκόπιο] [από το Παρίσι]. Είδαμε [τον επιστήμονα με το τηλεσκόπιο] [από το Παρίσι]. Είδαμε [τον επιστήμονα] [με το [τηλεσκόπιο από το Παρίσι]]. Είδαμε [τον [επιστήμονα με το [τηλεσκόπιο από το Παρίσι]]]. 27
Συντακτικά διφορούμενες προτάσεις «Είδαμε τον επιστήμονα με την άσπρη μπλούζα.» Χρειαζόμαστε σημασιολογικούς περιορισμούς που να αποκλείουν την περίπτωση η μπλούζα να είναι το μέσο της παρατήρησης. Από καθαρά συντακτική σκοπιά, οι περισσότερες προτάσεις είναι εξαιρετικά διφορούμενες. Πολύ μεγάλος αριθμός συντακτικών δένδρων (συχνά εκθετική αύξηση όσο αυξάνει ο αριθμός των φράσεων που συνδυάζονται). Χρονοβόρο να ανακαλύψουμε και να επιστρέψουμε όλα τα συντακτικά δέντρα ξεχωριστά. Πρόβλημα για όλους τους απλούς αλγορίθμους συντακτικής ανάλυσης που έχουμε εξετάσει ως τώρα. 28
Βιβλιογραφία Russel & Norvig: «παραγωγική ικανότητα» της ενότητας 22.1, ενότητες 22.2, 22.3 (χωρίς την «αποδοτική συντακτική ανάλυση»). Την «αποδοτική συντακτική ανάλυση» της 22.3 θα τη συζητήσουμε σε επόμενη διάλεξη. Βλαχάβας κ.ά: δεν υπάρχουν αντίστοιχες ενότητες. Για τις εξετάσεις χρειάζεται να ξέρετε ό,τι αναφέρουν οι διαφάνειες. Περισσότερες πληροφορίες για τα θέματα της σημερινής διάλεξης μπορείτε να βρείτε στο βιβλίο «peech and Language Processing» των D. Jurafsky and J.H. Martin, 2 η έκδοση, Prentice Hall, 2008. Υπάρχει στη βιβλιοθήκη του ΟΠΑ.