Συντακτική Ανάλυση. Ίων Ανδρουτσόπουλος.

Transcript

1 Συντακτική Ανάλυση Ίων Ανδρουτσόπουλος 1

2 Οι διαφάνειες αυτής της διάλεξης βασίζονται εν μέρει σε ύλη του βιβλίου «Speech and Language Processing» των D. Jurafsky and J.H. Martin, 2 η έκδοση, Prentice Hall, 2009.

3 Τι θα ακούσετε Γραμματικές φυσικής γλώσσας. Ιεραρχία Chomsky και αντιστοιχία με αυτόματα. Συντακτικά δέντρα, δέντρα εξαρτήσεων. Η συντακτική ανάλυση ως πρόβλημα αναζήτησης. Κανονική μορφή Chomsky και αλγόριθμος CKY. Αλγόριθμος Earley. Επαυξημένες γραμματικές χωρίς συμφραζόμενα και γραμματικές DCG της Prolog. Πιθανοτικές γραμματικές χωρίς συμφραζόμενα. Πιθανοτική μορφή αλγορίθμου CKY. Λεξικοποιημένες πιθανοτικές γραμματικές. Ανάλυση εξαρτήσεων με νευρωνικά δίκτυα.

4 Γραμματικές NP Det Nominal Διάζευξη. Ουσιαστικά δύο κανόνες. Nominal N Adj Nominal Det ο η το «Λεξικό»: στην Adj πράσινο μεγάλο βαρύ πράξη, πληροφορίες N βιβλίο αυτοκίνητο από τη μορφολογική ανάλυση. Τερματικά σύμβολα, π.χ. «βιβλίο», «το».. Μη τερματικά σύμβολα, π.χ. «Nominal», «Adj». Κανόνες α β: ορίζουν τις δυνατές «παραγωγές». Π.χ. ένα Nominal μπορεί να είναι ένα N ή μπορεί να είναι ένα Adj ακολουθούμενο από ένα άλλο Nominal. Αρχικό σύμβολο: ένα από τα μη τερματικά (εδώ «NP»). Γλώσσα της γραμματικής: οι ακολουθίες τερματικών συμβόλων που παράγονται από το αρχικό σύμβολο. 4

5 Ιεραρχία γραμματικών του Chomsky Τύπος 3 (κανονικές γραμματικές): Κανόνες μορφής Α x και Α x B (σε δεξιά γραμμικές). Κανόνες μορφής A x και A B x (σε αριστερά γραμμικές). x: (πιθανώς κενή) ακολουθία τερματικών συμβόλων. Α, B: μεμονωμένα μη τερματικά σύμβολα. Παράδειγμα δεξιά γραμμικής γραμματικής: NP ο Nominal NP το Nominal Nominal μεγάλος Nominal Nominal μεγάλο Nominal Nominal εύκολο στην οδήγηση Nominal Nominal N N άνθρωπος N αυτοκίνητο Τύπος 2 (γραμματικές χωρίς συμφραζόμενα): Κανόνες μορφής Α α. Α: μεμονωμένο μη τερματικό σύμβολο. α: (πιθανώς κενή) ακολουθία τερματικών και μη τερματικών. Π.χ. τώρα επιτρέπεται και: NP Det Nominal 5

6 Ιεραρχία γραμματικών συνέχεια Τύπος 1 (γραμματικές με συμφραζόμενα): Κανόνες μορφής ααβ αγβ. α, β, γ: ακολουθίες τερματικών και μη τερματικών (η γ μη κενή, ενώ οι α, β πιθανώς κενές). Π.χ. ( Date ) ( Day / Month / Year ) Επιτρέπεται και ο κανόνας S ε, όπου S το αρχικό σύμβολο και ε η κενή συμβολοσειρά, αν το S δεν εμφανίζεται σε κανένα δεξί μέρος κανόνα. Άλλος ορισμός: κανόνες της μορφής α β, με 0 α β. Δηλαδή, το μήκος της ακολουθίας α πρέπει να είναι μικρότερο ή ίσο του μήκους της β. Μπορούν να οριστούν οι ίδιες γλώσσες, όπως και με τον προηγούμενο ορισμό, με την εξαίρεση γλωσσών που περιλαμβάνουν το ε. Τύπος 0 (αναδρομικά απαριθμήσιμες): Κανόνες της μορφής α β (με α μη κενή). α, β: ακολουθίες τερματικών και μη τερματικών. 6

7 Παραγωγική ισχύς γραμματικών Γλώσσα: Το σύνολο των εκφράσεων (ακολουθιών τερματικών συμβόλων) που επιτρέπει μια γραμματική. γλώσσες(τ): Το σύνολο των γλωσσών που μπορούν να οριστούν με γραμματικές τύπου Τ. γλώσσες(τύπος 3) γλώσσες(τύπος 2): Π.χ. οι κανονικές γραμματικές δεν μπορούν να ορίσουν γλώσσες της μορφής a n b n (π.χ. ab, aabb, aaabbb, κλπ.), ενώ οι ΓΧΣ μπορούν (S ab και S asb). γλώσσες(τύπος 2) γλώσσες(τύπος 1): Π.χ. οι γραμματικές χωρίς συμφραζόμενα δεν μπορούν να ορίσουν γλώσσες της μορφής a n b n c n, ενώ οι γραμματικές με συμφραζόμενα μπορούν (S abc, S asbc, cb Bc, bb bb, τύπου 1 κατά το 2ο ορισμό). γλώσσες(τύπος 1) γλώσσες(τύπος 0). 7

8 Παραγωγική ισχύς γραμματικών τύπος 0 τύπος 1 (με συμφραζόμενα) τύπος 2 (χωρίς συμφραζόμενα) τύπος 3 (κανονικές) 8

9 Αυτόματα πεπερασμένων καταστάσεων S Για τη γλώσσα a m b n, με m, n > 0. Αρχική κατάσταση a A ε a Κανονική γραμματική: S a A A a A A B B b B B b TEA: Προαιρετική μελέτη. b B b F Τελική κατάσταση 9

10 Αντιστοιχία με μοντέλα υπολογισμού TEA: Προαιρετική μελέτη. Οι κανονικές γραμματικές αντιστοιχούν σε αυτόματα πεπερασμένων καταστάσεων (ΑΠΚ). Για κάθε κανονική γραμματική, μπορούμε να κατασκευάσουμε ΑΠΚ που να ορίζει την ίδια ακριβώς γλώσσα και αντίστροφα. Για να ελέγξουμε αν μια ακολουθία τερματικών συμβόλων ανήκει στη γλώσσα, δίνουμε την ακολουθία στο ΑΠΚ. Το ΑΠΚ «διαβάζει» (καταναλώνει) ένα-ένα τα σύμβολα της ακολουθίας, αλλάζοντας κατάσταση (ή μένοντας στην ίδια) μετά από κάθε σύμβολο όποτε υπάρχει αντίστοιχη μετάβαση. H ακολουθία τερματικών ανήκει στη γλώσσα ανν υπάρχει επιτρεπόμενη ακολουθία μεταβάσεων του ΑΠΚ που καταναλώνει ολόκληρη την ακολουθία τερματικών, ώστε στο τέλος το ΑΠΚ να βρίσκεται σε τελική κατάσταση. 10

11 Αντιστοιχία με μοντέλα υπολογισμού TEA: Προαιρετική μελέτη. Οι γραμματικές χωρίς συμφραζόμενα αντιστοιχούν σε μη αιτιοκρατικά ΑΠΚ με στοίβα. Το αυτόματο διαθέτει και μια στοίβα, που στις τελικές καταστάσεις πρέπει να είναι κενή. Σε γλώσσες a n b n, η στοίβα μάς χρειάζεται για να ξέρουμε πόσα b πρέπει να συναντήσουμε μετά τα a. Κάθε φορά που συναντούμε a προσθέτουμε ένα σύμβολο στη στοίβα. Κάθε φορά που συναντούμε b αφαιρούμε. Μη αιτιοκρατικό: η τρέχουσα κατάσταση και το σύμβολο που διαβάζει (και τα περιεχόμενα της στοίβας) δεν καθορίζουν μονοσήμαντα την επόμενη κατάσταση. Κάθε μη αιτιοκρατικό ΑΠΚ (χωρίς στοίβα) μπορεί να μετατραπεί σε αιτιοκρατικό (με περισσότερες καταστάσεις), αλλά δεν ισχύει το ίδιο για τα αυτόματα με στοίβα. Οι γραμματικές τύπου 0 αντιστοιχούν σε μηχανές Turing. 11

12 Τι γραμματικές χρειάζεται η ΦΓ; Σχεδόν όλα τα συντακτικά φαινόμενα των φυσικών γλωσσών μπορούν να παρασταθούν με κανονικές γραμματικές. Άρα μπορούμε να κάνουμε συντακτική ανάλυση με αυτόματα πεπερασμένων καταστάσεων. Πολύ αποδοτικοί αλγόριθμοι. Συχνά, όμως, χρησιμοποιούμε ΓΧΣ επειδή είναι πιο σύντομες. Και επειδή τα συντακτικά δέντρα που παράγουν είναι πιο χρήσιμα στη σημασιολογική ανάλυση. Υπάρχουν φαινόμενα για τα οποία φαίνεται να απαιτούνται γραμματικές χωρίς συμφραζόμενα [Jurafsky & Martin 2009]: The cat likes tuna fish. The cat (that) the dog chased likes tuna fish. Αντιστοιχία με γλώσσες a n b n (NP n V n tuna fish). Η τομή (κοινές προτάσεις) των Αγγλικών με την κανονική γλώσσα [NP n V m tuna fish] είναι η [NP n V n tuna fish], που είναι μη κανονική. Άρα τα Αγγλικά είναι μη κανονική γλώσσα, γιατί η τομή κανονικών γλωσσών είναι κανονική. Αλλά και οι άνθρωποι δυσκολεύονται για n > 2. Για πεπερασμένες τιμές του n αρκούν κανονικές γραμματικές. 12

13 Τι γραμματικές χρειάζεται η ΦΓ; Υπάρχουν φαινόμενα σε μερικές γλώσσες που φαίνεται να απαιτούν γραμματικές με συμφραζόμενα. Ελβετικά γερμανικά και γλώσσα Bambara (Μαλί και πέριξ). Στα ελβετικά γερμανικά υπάρχουν εκφράσεις τις μορφής wa n b m xc n d m y. Αλλά στις περισσότερες άλλες γλώσσες δεν έχουν βρεθεί τέτοια φαινόμενα. 13

14 Αλγόριθμοι συντακτικής ανάλυσης Είσοδοι: Μια γραμματική του τύπου που υποστηρίζει ο αλγόριθμος (π.χ. γραμματική χωρίς συμφραζόμενα). Μια ακολουθία σ από τερματικά σύμβολα της γραμματικής. Αποκρίσεις: Ανήκει η σ στη γλώσσα που ορίζει η γραμματική; Ποιο είναι το συντακτικό δέντρο της σ ; Το συντακτικό δέντρο αποτελεί μια απόδειξη ότι η σ είναι σύμφωνη με τη γραμματική. Παρέχει, επίσης, πληροφορίες για τη συντακτική δομή της σ. 14

15 Μεγαλύτερο παράδειγμα ΓΧΣ NP Det PN Pron Det Nominal Nominal N Adj Nominal Nominal PP PP Prep NP S NP VP VP VP V V NP Pron εγώ Det ο η έναν μια τον την PN Θεσσαλονίκη Αθήνα N πτήση πελάτης πελάτη Adj πρωινή απογευματινή εγώ θέλω μια πρωινή πτήση,... V θέλω θέλει προτιμώ συμφωνώ Prep προς από την Αθήνα, εγώ, μια πτήση, μια πρωινή πτήση, μια πρωινή πτήση προς την Αθήνα,... Παίζουν το ρόλο λεξικού. 15

16 NP S VP NP παράδειγμα συντακτικού δένδρου με την προηγούμενη γραμματική Nominal Nominal PP Nominal NP Pron V Det Adj N Prep Det PN εγώ προτιμώ μια πρωινή πτήση προς την Αθήνα

17 Κύρια παιδιά Σε κανόνες με ένα μόνο σύμβολο στο δεξί μέρος, το μοναδικό σύμβολο (παιδί) είναι το κύριο (head child). o Π.χ. Nominal N Σε κανόνες με πολλά σύμβολα στα δεξιά, μπορούμε να ορίσουμε ποιο σύμβολο είναι το κύριο παιδί. o Π.χ. S NP VP και VP V NP o Συνήθως το (κύριο) ρήμα θεωρείται κύριο παιδί σε μια ρηματική φράση, η ρηματική φράση θεωρείται κύριο παιδί μιας πρότασης, το (κύριο) ουσιαστικό θεωρείται πρωτεύον παιδί του ονοματικού συνόλου κλπ. o Ή έχουμε ξεχωριστούς κανόνες που διατρέχουν το συντακτικό δέντρο και αποφασίζουν ποιο είναι το κύριο παιδί κάθε κόμβου.

18 NP (εγώ) S (προτιμώ) VP (προτιμώ) NP (πτήση) παράδειγμα συντακτικού δένδρου με σημειωμένα τα κύρια παιδιά (heads) και τις αντίστοιχες λέξεις Nominal (πτήση) Nominal (πτήση) PP (προς) Nominal (πτήση) NP (Αθήνα) Pron (εγώ) V Det (μια) Adj (προτιμώ) (πρωινή) N (πτήση) Prep (προς) Det (την) PN (Αθήνα) εγώ προτιμώ μια πρωινή πτήση προς την Αθήνα

19 Δέντρα εξαρτήσεων (dependency trees) εγώ dsubj προτιμώ dobj det μια πτήση mod prep πρωινή προς pobj det Αθήνα την Σε αυτή την περίπτωση υπάρχει ένας κόμβος για κάθε λέξη. o Οι ακμές δείχνουν εξαρτήσεις (dependencies) μεταξύ λέξεων. o Ίδιο δέντρο π.χ. για «Προτιμώ μια Αθήνα εγώ» (word order). o Πιο κοντά σε σημασιολογικές παραστάσεις. o Παραγωγή δέντρων εξαρτήσεων από δέντρα της προηγούμενης μορφής (phrase structure trees): o Δημιούργησε έναν κόμβο για κάθε λέξη. o Για κάθε κόμβο του αρχικού δέντρου που έχει περισσότερα του ενός παιδιά, πρόσθεσε μια εξάρτηση μεταξύ της λέξης του κυρίως παιδιού και των λέξεων κάθε ενός από τα υπόλοιπα παιδιά. o Συνήθως ξεχωριστοί κανόνες παράγουν τις ετικέτες των ακμών. o Υπάρχουν αλγόριθμοι που παράγουν απευθείας δέντρα εξαρτήσεων.

20 S S S Αναζήτηση από πάνω προς τα κάτω Προαιρετική μελέτη NP VP S VP S... VP V S S VP NP VP Det PN Αδιέξοδο: η πρόταση δεν ξεκινά με «θέλω». VP V NP θέλω V NP

21 Αναζήτηση από πάνω προς τα κάτω Προαιρετική μελέτη Καταστάσεις: Κάθε κατάσταση παριστάνει ένα (πιθανώς ημιτελές) δέντρο με ρίζα το αρχικό σύμβολο. Αρχική κατάσταση: (Ημιτελές) δέντρο με μοναδικό κόμβο το αρχικό σύμβολο. Τελική κατάσταση: Δέντρο με φύλλα ακριβώς την ακολουθία των τερματικών συμβόλων της εισόδου. Τελεστές μετάβασης: Επέκταση ημιτελούς δέντρου προς τα κάτω, σύμφωνα με κανόνα της γραμματικής. Υπέρ και κατά: Δεν χάνουμε χρόνο εξερευνώντας (ημιτελή) δέντρα που δεν έχουν ως ρίζα το αρχικό σύμβολο. Μπορεί όμως να εξερευνούμε (ημιτελή) δέντρα που αποκλείεται να έχουν ως φύλλα την ακολουθία εισόδου. 21

22 Αναζήτηση από κάτω προς τα πάνω Προαιρετική μελέτη VP NP VP Pron V Det PN Pron V... εγώ προτιμώ... την Αθήνα... εγώ προτιμώ... την Αθήνα... Pron V Det PN εγώ προτιμώ... την Αθήνα 22

23 Αναζήτηση από κάτω προς τα πάνω Προαιρετική μελέτη Καταστάσεις: Κάθε κατάσταση είναι μια λίστα δέντρων. Τα φύλλα των δέντρων της λίστας συνθέτουν την ακολουθία των τερματικών συμβόλων της εισόδου. Αρχική κατάσταση: Δέντρα ενός κόμβου. Ένα για κάθε τερματικό της εισόδου. Τελική κατάσταση: Ένα μόνο δέντρο, με ρίζα το αρχικό σύμβολο. Τελεστές μετάβασης: Επέκταση ενός από τα δέντρα προς τα πάνω ή σύνδεση δέντρων, σύμφωνα με κανόνα της γραμματικής. Υπέρ και κατά: Δεν χάνουμε χρόνο εξερευνώντας δέντρα που δεν μπορούν να έχουν ως φύλλα τη συμβολοσειρά εισόδου. Μπορεί όμως να εξερευνούμε δέντρα που αποκλείεται να έχουν τελικά ως ρίζα το αρχικό σύμβολο. 23

24 Από πάνω προς τα κάτω με DFS και οπισθοδρόμηση NP S S VP S S VP S Προαιρετική μελέτη Συνήθως επεκτείνουμε πρώτα το αριστερότερο μη τερματικό σύμβολο που μπορούμε, χρησιμοποιώντας τον πιο πάνω κανόνα της γραμματικής που μπορούμε. S NP VP NP VP NP VP Det PN Pron Det Nominal

25 Το πρόβλημα της αριστερής αναδρομής Από πάνω προς τα κάτω με DFS και οπισθοδρόμηση. Είσοδος που δεν συμφωνεί με τη γραμματική: «μια από την Αθήνα» Έχουμε φτάσει στο ακόλουθο: S Det μια NP Nominal Nominal Nominal VP PP PP Προαιρετική μελέτη Οι πρώτοι δύο κανόνες για nominal αποτυγχάνουν. Nominal N Nominal Adj Nominal Δοκιμάζει τον 3ο κανόνα: Nominal Nominal PP Διαρκείς επαναλήψεις χωρίς κατανάλωση λέξεων εισόδου. Αν ο 3ος κανόνας είναι πάνω από τους άλλους δύο στη γραμματική, έχουμε διαρκείς επαναλήψεις ακόμα κι αν η είσοδος συμφωνεί με τη γραμματική. 25

26 Αριστερή αναδρομή Προαιρετική μελέτη Το πρόβλημα εμφανίζεται με κανόνες της μορφής: Α 1 Α 2 α 1 (A i μη τερματικά, α i ακολουθίες τερματικών Α 2 Α 3 α 2 και μη τερματικών)... A n A 1 α n Συχνά μπορεί να λυθεί τροποποιώντας τη γραμματική, ώστε να μην εμφανίζει αριστερή αναδρομή. Αντίστοιχα προβλήματα εμφανίζονται σε όλους τους απλούς αλγορίθμους συντακτικής ανάλυσης από πάνω προς τα κάτω. Π.χ. αν έχουμε αριστερή αναδρομή, ο BFS βρίσκει το συντακτικό δένδρο αν υπάρχει, αλλά δεν τερματίζει ποτέ αν δεν υπάρχει (αν δεν συμφωνεί η είσοδος με τη γραμματική), γιατί ο χώρος αναζήτησης είναι άπειρος. 26

27 Επαναλαμβανόμενη ανάλυση υποδένδρων NP Nominal Nominal PP Προαιρετική μελέτη Aπό πάνω προς τα κάτω με DFS + οπισθ/μηση. «Λάθος» επιλογή κανόνα. Περισσεύουν λέξεις. Αναγκαζόμαστε να οπισθοχωρήσουμε. NP Det N Prep Det PN??? μια πτήση από την Αθήνα προς τα Χανιά 27

28 Επαναλαμβανόμενη ανάλυση υποδένδρων NP Nominal Προαιρετική μελέτη Nominal PP Det μια πτήση από την Αθήνα προς τα Χανιά 28

29 Επαναλαμβανόμενη ανάλυση υποδένδρων NP Nominal Προαιρετική μελέτη Αυτά τα είχαμε ανακαλύψει και πριν. Σπατάλη χρόνου. Nominal Nominal PP PP Αντίστοιχα προβλήματα εμφανίζονται στην ανάλυση από κάτω προς τα πάνω. NP NP Det N Prep Det PN Prep Det PN μια πτήση από την Αθήνα προς τα Χανιά 29

30 Συντακτικά διφορούμενες προτάσεις «Είδαμε τον επιστήμονα με το τηλεσκόπιο.» Είδαμε [ NP τον [ Nominal επιστήμονα [ PP με το τηλεσκόπιο]]]. Όπως «την πτήση από τη Θεσσαλονίκη». «Είδαμε τον επιστήμονα με το τηλεσκόπιο.» Είδαμε [ NP τον επιστήμονα] [ PP με το τηλεσκόπιο]. Θα είχαμε και κανόνα: VP V NP PP. «Είδαμε τον επιστήμονα με το τηλεσκόπιο από το Παρίσι.» Είδαμε [τον επιστήμονα] [με το τηλεσκόπιο] [από το Παρίσι]. Είδαμε [τον επιστήμονα με το τηλεσκόπιο] [από το Παρίσι]. Είδαμε [τον επιστήμονα] [με το [τηλεσκόπιο από το Παρίσι]]. Είδαμε [τον [επιστήμονα με το [τηλεσκόπιο από το Παρίσι]]]. 30

31 Συντακτικά διφορούμενες προτάσεις «Είδαμε τον επιστήμονα με την άσπρη μπλούζα.» Χρειαζόμαστε σημασιολογικούς περιορισμούς που να αποκλείουν την περίπτωση η μπλούζα να είναι το μέσο της παρατήρησης. Από καθαρά συντακτική σκοπιά, οι περισσότερες προτάσεις είναι εξαιρετικά διφορούμενες. Πολύ μεγάλος αριθμός συντακτικών δένδρων (συχνά εκθετική αύξηση όσο αυξάνει ο αριθμός των φράσεων που συνδυάζονται). Χρονοβόρο να ανακαλύψουμε και να επιστρέψουμε όλα τα συντακτικά δέντρα ξεχωριστά. Πρόβλημα για όλους τους απλούς αλγορίθμους συντακτικής ανάλυσης που έχουμε εξετάσει ως τώρα. 31

32 Garden path sentences The horse raced past the barn fell. (The horse that was raced past the barn fell.) The old man the boat. (The old operate the boat.) While the man hunted the deer ran into the woods. (While the man hunted, the deer ran into the woods.) While Anna dressed the baby played in the crib. (While Anna dressed, the baby played in the crib.) I convinced her children are noisy. (I convinced her that children are noisy) The coach smiled at the player tossed the Frisbee. (The coach smiled at the player who was tossed the Frisbee.) The cotton clothes are made up of grows in Mississippi. (The cotton that clothes are made up of grows in Mississippi.) Examples from

33 Κανονική μορφή Chomsky Γραμματικές χωρίς συμφραζόμενα σε κανονική μορφή Chomsky (CNF). o Επιτρέπονται μόνο κανόνες της μορφής A B C και A w, όπου A, B, C μη τερματικά και w τερματικό. Π.χ: S V NP V θέλω V επιθυμώ NP Det Nominal Nominal Adj Nominal Nominal N Det μια N πτήση Nominal πτήση Adj πρωινή Adj απογευματινή Κάθε ΓΧΣ μπορεί να μετατραπεί σε CNF (βλ. J&M). o Η νέα γραμματική, όμως, μπορεί να μην οδηγεί πλέον στα συντακτικά δέντρα που θα θέλαμε. Ο αλγόριθμος CKY (ακολουθεί) είναι για ΓΧΣ σε CNF. o Άλλη μια περίπτωση δυναμικού προγραμματισμού.

34 Αλγόριθμος CKY θέλω μία πτήση πρωινή V (0,1) 1 Det (1,2) 2 Adj (2,3) 3 Nominal N (3,4)

35 Αλγόριθμος CKY θέλω μία πτήση πρωινή V (0,1) X (0,2) Δεν υπάρχει κανόνας που να συνδυάζει V με Det. 1 Det (1,2) 2 Adj (2,3) 3 Nominal N (3,4)

36 Αλγόριθμος CKY θέλω μία πτήση πρωινή V (0,1) 1 Det (1,2) Δεν υπάρχει κανόνας που να συνδυάζει Det με Adj. X (1,3) 2 Adj (2,3) 3 Nominal N (3,4)

37 Αλγόριθμος CKY θέλω μία πτήση πρωινή V (0,1) Χ (0,3) Το (1,3) είναι κενό. 1 Det (1,2) (1,3) 2 Adj (2,3) 3 Nominal N (3,4)

38 Αλγόριθμος CKY θέλω μία πτήση πρωινή V (0,1) (0,2) Χ (0,3) Το (0,2) είναι κενό. 1 Det (1,2) (1,3) 2 Adj (2,3) 3 Nominal N (3,4)

39 Αλγόριθμος CKY θέλω μία πτήση πρωινή V (0,1) (0,2) 1 Det (1,2) (1,3) 2 Adj (2,3) 3 (2,4) Nominal N (3,4) Nominal

40 Αλγόριθμος CKY θέλω μία πτήση πρωινή V (0,1) (0,2) 1 Det (1,2) (1,3) NP (1,4) X 2 Adj (2,3) 3 Nominal (2,4) Nominal N (3,4)

41 Αλγόριθμος CKY θέλω μία πτήση πρωινή V (0,1) (0,2) (0,3) S X X (0,4) 1 Det (1,2) (1,3) NP (1,4) 2 Adj (2,3) 3 Nominal (2,4) Nominal N (3,4) Δοκιμάστε και:

42 Αλγόριθμος CKY Μπορούμε να αποθηκεύουμε σε κάθε κελί και τους κανόνες που παρήγαγαν τα μη τερματικά. o Έτσι μπορούμε να εξαγάγουμε τελικά από τον πίνακα και το συντακτικό δέντρο. o Αν η πρόταση είναι συντακτικά διφορούμενη, θα εξαχθούν περισσότερα του ενός δέντρα. o Αλλά η εξαγωγή του συντακτικού δέντρου κάνει εκθετική την πολυπλοκότητα του αλγορίθμου. o Ενώ χωρίς εξαγωγή O(n 3 ) χρόνος, όπου n το πλήθος των λέξεων. o Η εξαγωγή μπορεί να επεκταθεί, ώστε να επιστρέφει δέντρο της αρχικής γραμματικής. o Της γραμματικής που είχαμε πριν τη μετατροπή σε CNF. o Εναλλακτικά μπορούμε να χρησιμοποιήσουμε τον αλγόριθμο Earley (επόμενες διαφάνειες) που δέχεται οποιαδήποτε ΓΧΣ.

43 Αλγόριθμος Earley Για γραμματικές χωρίς συμφραζόμενα. Άλλη μια περίπτωση δυναμικού προγραμματισμού. Λύνει και αυτός προβλήματα όπως: Αριστερή αναδρομή, επαναλαμβανόμενη ανάλυση υποδένδρων, μεγάλος αριθμός συντακτικών δένδρων. Συνδυάζει χαρακτηριστικά δύο κατευθύνσεων αναζήτησης: Κατασκευή δένδρων από κάτω προς τα πάνω. Προβλέψεις από πάνω προς τα κάτω: εξερευνούνται μόνο κατευθύνσεις που οδηγούν στην επιθυμητή ρίζα. Χρησιμοποιεί «χάρτη»: Πληροφορίες για τα υποδένδρα που έχουν ανακαλυφθεί στο παρελθόν, ώστε να μην επαναλαμβάνεται η ανάλυση. Αποδοτικός: O(n 3 ) χρόνος, όπου n ο αριθμός των λέξεων της εισόδου. O(n 2 ) χώρος για την αποθήκευση του χάρτη. Προαιρετική μελέτη 43

44 Χάρτης Προαιρετική μελέτη S VP NP Det Nominal V θέλω Det μία θέλω μία πτήση S NP VP NP Det PN Ένας κόμβος πριν και μετά κάθε λέξη. Οι τελείες δείχνουν μέχρι ποιο σημείο έχουν ικανοποιηθεί οι αντίστοιχοι κανόνες μεταξύ των κόμβων. Οι κανόνες που δεν έχουν ικανοποιηθεί πλήρως, δείχνουν τις προβλέψεις μας για το τι είναι δυνατόν να συναντήσουμε. 44

45 Διαδικασία «συμπλήρωσης» π.χ. S NP VP π.χ. VP V NP Α α Β β Β γ Προαιρετική μελέτη i j k Α α Β β π.χ. S NP VP Τα Α και Β είναι μη τερματικά σύμβολα. Τα α, β, γ είναι πιθανώς κενές σειρές τερματικών και μη τερματικών συμβόλων. Καλείται με όρισμα μια ακμή (j, k) της οποίας ο κανόνας μόλις ικανοποιήθηκε πλήρως (Β γ, άρα βρέθηκε ένα Β). Βρίσκουμε όλες τις ακμές (i, j) που τελειώνουν στον j και ψάχνουν ένα Β (δηλ. ακμές με ετικέτες της μορφής Α α Β β). Για κάθε μία από αυτές τις ακμές (i, j), προσθέτουμε μια νέα ακμή (i, k) που να δείχνει ότι το Β έχει βρεθεί (Α α Β β). Επεκτείνουμε την (i, j) και προχωράμε την τελεία της. 45

46 Διαδικασία «σάρωσης» π.χ. NP Det PN π.χ. PN αθήνα Α α Β β Β w Προαιρετική μελέτη i j w π.χ. «αθήνα» j+1 Καλείται με όρισμα μια ακμή (i, j) της οποίας ο κανόνας δεν έχει ικανοποιηθεί πλήρως και χρειάζεται ένα Β. Η ετικέτα της (i, j) θα έχει τη μορφή: Α α Β β Αν υπάρχει κανόνας Β w στο λεξικό, όπου w η λέξη μεταξύ των κόμβων j και j+1 (η επόμενη λέξη), προσθέτουμε μια νέα ακμή (j, j+1) που να δείχνει ότι το ζητούμενο Β έχει βρεθεί (ετικέτα Β w ). Οπότε μπορεί στη συνέχεια να κληθεί η συμπλήρωση με όρισμα την ακμή (j, j+1), ώστε να προστεθεί ακμή (i, j+1) με ετικέτα Α α B β. 46

47 Διαδικασία «πρόβλεψης» π.χ. S NP VP π.χ. VP V NP Α α Β β Β γ Προαιρετική μελέτη i Καλείται και αυτή με όρισμα μια ακμή (i, j) της οποίας ο κανόνας δεν έχει ικανοποιηθεί πλήρως και χρειάζεται ένα Β. Η ετικέτα της (i, j) θα έχει τη μορφή: Α α Β β Βρίσκουμε όλους τους κανόνες Β γ της γραμματικής, εξαιρώντας τους κανόνες του λεξικού (αντίθετα από τη σάρωση). Για κάθε τέτοιο κανόνα, προσθέτουμε μια ακμή (j, j) που να δείχνει ότι ένας τρόπος να βρεθεί το Β που μας χρειάζεται στον κόμβο j είναι να βρεθεί ένα γ (ετικέτα νέας ακμής: Β γ). Οι νέες ακμές μπορούν να επεκταθούν στη συνέχεια με συμπλήρωση. j 47

48 Γ S Αλγόριθμος Earley Προαιρετική μελέτη θέλω μία πτήση κόμβος που εξετάζω Αρχική μορφή χάρτη: μόνο μία ακμή (Γ S) που δείχνει ότι ψάχνουμε ένα S, όπου S το αρχικό σύμβολο της γραμματικής. Γ: νέο μη τερματικό, που δεν υπάρχει στη γραμματική. Ξεκινάμε από τον κόμβο 0. Εξετάζουμε όλες τις ακμές που καταλήγουν εκεί. Κατόπιν πηγαίνουμε στον κόμβο 1 και εξετάζουμε όλες τις ακμές που καταλήγουν εκεί κ.ο.κ. Κάθε φορά μετακινούμαστε έναν κόμβο δεξιότερα. Σε κάθε εξεταζόμενη ακμή: συμπλήρωση, πρόβλεψη ή σάρωση. Δεν αφαιρούμε ποτέ ακμές. 48

49 Αλγόριθμος Earley Προαιρετική μελέτη Αρχικοποίησε το χάρτη και πήγαινε στον κόμβο 0. Για κάθε ακμή που καταλήγει στον τρέχοντα κόμβο: Αν ο κανόνας της ακμής έχει ικανοποιηθεί πλήρως (Β γ ), κάλεσε τη συμπλήρωση με όρισμα την ακμή. Αν ο κανόνας της ακμής δεν έχει ικανοποιηθεί πλήρως (ετικέτα της μορφής Α α Β), τότε: κάλεσε τη σάρωση με όρισμα την ακμή, κάλεσε την πρόβλεψη με όρισμα την ακμή. Αν υπάρχει δεξιότερος κόμβος, μετατοπίσου έναν κόμβο δεξιότερα και πήγαινε στο βήμα 2. Εξέτασε το χάρτη. Αν υπάρχει ακμή με ετικέτα Γ S από τον πρώτο στον τελευταίο κόμβο (πλήρης κάλυψη της ακολουθίας λέξεων εισόδου), τότε η είσοδος συμφωνεί με τη γραμματική, διαφορετικά όχι. 49

50 Παράδειγμα γραμματικής NP Det PN Pron Det Nominal Nominal N Adj Nominal Nominal PP PP Prep NP S NP VP VP VP V V NP Pron εγώ Det ο η έναν μια τον την PN Θεσσαλονίκη Αθήνα N πτήση πελάτης πελάτη Adj πρωινή απογευματινή εγώ θέλω μια πρωινή πτήση,... V θέλω θέλει προτιμώ συμφωνώ Prep προς από την Αθήνα, εγώ, μια πτήση, μια πρωινή πτήση, μια πρωινή πτήση προς την Αθήνα,... Παίζουν το ρόλο λεξικού. 50

51 Παράδειγμα εκτέλεσης Earley Προαιρετική μελέτη Με τη γραμματική της προηγούμενης διαφάνειας. Είσοδος: «θέλω μία πτήση». Ακμές που καταλήγουν στον κόμβο 0: 1. (0, 0) Γ S (αρχικοποίηση) 2. (0, 0) S NP VP (πρόβλεψη στην 1) 3. (0, 0) S VP (πρόβλεψη στην 1) 4. (0, 0) NP Det PN (πρόβλεψη στη 2) 5. (0, 0) NP Pron (πρόβλεψη στη 2) 6. (0, 0) NP Det Nominal (πρόβλεψη στη 2) 7. (0, 0) VP V (πρόβλεψη στην 3) 8. (0, 0) VP V NP (πρόβλεψη στην 3) 51

52 Συνέχεια... Προαιρετική μελέτη Ακμές που καταλήγουν στον κόμβο 1: 9. (0, 1) V θέλω (σάρωση στην 7 και 8) 10. (0, 1) VP V (συμπλήρωση στην 9) μετακινήσεις με: (0, 1) VP V NP (συμπλήρωση στην 9) μετακινήσεις με: (0, 1) S VP (συμπλήρωση στη 10) μετακινήσεις : (1, 1) NP Det PN (πρόβλεψη στην 11) 14. (1, 1) NP Pron (πρόβλεψη στην 11) 15. (1, 1) NP Det Nominal (πρόβλεψη στην 11) 16. (0, 1) Γ S (συμπλήρωση στη 12) μετακινήσεις με: 12 52

53 Συνέχεια... Προαιρετική μελέτη Ακμές που καταλήγουν στον κόμβο 2: 17. (1, 2) Det μία (σάρωση στη 13 και 15) 18. (1, 2) NP Det PN (συμπλήρωση στη 17) μετακινήσεις με: (1, 2) NP Det Nominal (συμπλήρωση στη 17) μετακινήσεις με: (2, 2) Nominal N (πρόβλεψη στη 19) 21. (2, 2) Nominal Adj Nominal (πρόβλεψη στη 19) 22. (2, 2) Nominal Nominal PP (πρόβλεψη στη 19) 53

54 Συνέχεια... Ακμές που καταλήγουν στον κόμβο 3: 23. (2, 3) N πτήση (σάρωση στην 20) 24. (2, 3) Nominal N (συμπλήρωση στην 23) μετακινήσεις με: (1, 3) NP Det Nominal (συμπλήρωση στην 24) μετακινήσεις με: 17, (2, 3) Nominal Nominal PP (συμπλήρωση στην 24) μετακινήσεις με: (0, 3) VP V NP (συμπλήρωση στην 25) μετακινήσεις με: 9, (3, 3) PP Prep NP (πρόβλεψη στην 26) 29. (0, 3) S VP (συμπλήρωση στην 27) μετακινήσεις με: (0, 3) Γ S (συμπλήρωση στην 29) μετακινήσεις με: 29 Προαιρετική μελέτη 54

55 Δημιουργία συντακτικού δέντρου Ο αλγόριθμος Earley μπορεί και αυτός να επεκταθεί, ώστε να επιστρέφει και συντακτικό δένδρο. Η απαρίθμηση όλων των δένδρων, όμως, παίρνει γενικά εκθετικό χρόνο. Ενώ για κατασκευή του χάρτη και έλεγχο συμβατότητας με τη γραμματική χρειαζόμαστε χρόνο O(n 3 ). Τροποποιούμε τη συμπλήρωση, ώστε να σημειώνει και ποιες ακμές μας βοήθησαν να προχωρήσουμε την τελεία. Πράσινοι αριθμοί στο παράδειγμα. Στο δέντρο δεξιά, κάθε αριθμός δείχνει ποια ακμή (άρα και κανόνας) χρησιμοποιήθηκε για την επέκταση του αντίστοιχου μη τερματικού. 9 V θέλω S VP Προαιρετική μελέτη NP 25 Det Nominal μία N 23 πτήση 24 55

56 Συμφωνία γένους με ΓΧΣ S NP VP VP NP Pron DetFem PNFem DetFem NominalFem DetMasc PNMasc DetMasc NominalMasc NominalFem NFem AdjFem NominalFem NominalFem PP NominalMasc NMasc AdjMasc NominalMasc NominalMasc PP VP V V NP PP Prep NP Pron εγώ DetFem η μια την DetMasc ο έναν τον PNFem Θεσσαλονίκη Αθήνα NFem πτήση AdjFem πρωινή απογευματινή V θέλω θέλει προτιμώ προτιμά Prep προς από NMasc πελάτης πελάτη Διπλασιασμός των σχετικών κανόνων. Και για να πετύχουμε και συμφωνία αριθμού και πτώσης; 56

57 Συμφωνία γένους με επαυξημένη ΓΧΣ S NP VP VP NP Pron Det(G) PN(G) Det(G) Nominal(G) Nominal(G) N(G) Adj(G) Nominal(G) Nominal(G) PP VP V V NP PP Prep NP Pron εγώ Det(masc) ο έναν τον Det(fem) η μια την PN(fem) Θεσσαλονίκη Αθήνα N(fem) πτήση N(masc) πελάτης πελάτη Adj(fem) πρωινή απογευματινή V θέλω θέλει προτιμώ προτιμά Prep προς από Αντίστοιχες ιδιότητες για πτώση, αριθμό κλπ. π.χ. Det(fem, nom, sing) η Δεν είναι πια ΓΧΣ, αλλά μπορεί να μετατραπεί σε ισοδύναμη ΓΧΣ με περισσότερους κανόνες, αρκεί οι δυνατές τιμές των ιδιοτήτων να είναι πεπερασμένες. 57

58 Συντακτική ανάλυση με Prolog Η Prolog υποστηρίζει άμεσα γραμματικές DCG. ΓΧΣ επαυξημένες με ιδιότητες, όπως στο παράδειγμα συμφωνίας γένους. Τις μετατρέπει σε προτάσεις Horn ΠΚΛ και αντιμετωπίζει τη συντακτική ανάλυση ως πρόβλημα εξαγωγής συμπεράσματος (βλ. μάθημα «ΤΝ»). Ουσιαστικά εκτελεί συντακτική ανάλυση από πάνω προς τα κάτω με DFS. Μας επιτρέπει να πειραματιστούμε εύκολα με γραμματικές. Στην πράξη χρησιμοποιούνται συνήθως πιο σύνθετοι αλγόριθμοι συντακτικής ανάλυσης. Π.χ. CKY, Earley, ενδεχομένως τροποποιημένοι, ώστε να δέχονται επαυξημένες γραμματικές χωρίς συμφραζόμενα. Μπορούν να υλοποιηθούν και αυτοί σε Prolog. 58

59 Οι γραμματικές DCG της Prolog ΓΧΣ επαυξημένες με ιδιότητες. Π.χ. nominal(g) adj(g), nominal(g). Π.χ. det(masc) [έναν]. Τα τερματικά σύμβολα γράφονται μέσα σε αγκύλες. Αν το πρώτο γράμμα είναι κεφαλαίο, πρόκειται για μεταβλητή. Περιορισμός από τον ενσωματωμένο αλγόριθμο DFS: Πρέπει να αποφεύγουμε κανόνες με αριστερή αναδρομή. Π.χ. nominal nominal, pp. Γενικότερα πρέπει να αποφεύγουμε γραμματικές που επιτρέπουν παραγωγές της μορφής A... A... 59

60 Παράδειγμα γραμματικής DCG s --> np, vp. s --> vp. np --> pron. np --> det(g), pn(g). np --> det(g), nominal(g). nominal(g) --> n(g). nominal(g) --> adj(g), nominal(g). % Αριστερή αναδρομή: % nominal(g) --> nominal(g), pp. nominal(g) --> n(g), manypp. manypp --> pp. manypp --> pp, manypp. vp --> v. vp --> v, np. pp --> prep, np. pron --> [εγώ]. det(masc) --> [ο]. det(masc) --> [έναν]. (βλ. ιστοσελίδες) 60

61 Χρήση γραμματικών DCG Θα χρειαστείτε μεταγλωττιστή/διερμηνέα Prolog. Π.χ. SWI-Prolog (βλ. συνδέσμους μαθήματος). Φόρτωμα του αρχείου της γραμματικής: consult( ) στη γραμμή εντολών της Prolog. Σε Windows: διπλό κλικ στο αρχείο.pl της γραμματικής. Υπάρχουν παραδείγματα γραμματικών στις ιστοσελίδες. Συντακτική ανάλυση: phrase(s, [θέλω, μια, πτήση, από, την, αθήνα]). phrase(nominal(masc), [πελάτης, από, την, αθήνα]). Η απόκριση yes/no της Prolog σημαίνει ότι υπάρχει ή όχι συντακτικό δέντρο με αυτή τη ρίζα. 61

62 Χρήση γραμματικών DCG συνέχεια Ερωτήσεις προς το συντακτικό αναλυτή: phrase(nominal(g), [πελάτης, από, την, αθήνα]). Απάντηση: G = masc. Με «;» ζητάμε άλλη απάντηση (εδώ δεν υπάρχει). Επιστροφή συντακτικού δένδρου: Μπορούμε να επεκτείνουμε τη γραμματική (βλ. παρακάτω), ώστε να επιστρέφεται και συντακτικό δέντρο: phrase(nominal(g, T), [πελάτης, από, την, αθήνα]). Απάντηση: G = masc και: T = nominal(n(πελάτης), manypp(pp(prep(από), np(det(την), pn(αθήνα))))) 62

63 Κόμβοι με παραστάσεις υποδένδρων Προαιρετική μελέτη nominal ( fem, nominal(adj(πρωινή), nominal(n(πτήση))) ) Σε κάθε κόμβο του συντακτικού δέντρου έχουμε ένα επιπλέον όρισμα που παριστάνει το υποδέντρο που έχει ρίζα αυτόν τον κόμβο. nominal( fem, nominal(n(πτήση)) ) adj( fem, adj(πρωινή) ) n( fem, n(πτήση) ) πρωινή πτήση 63

64 Νέα μορφή των κανόνων Προαιρετική μελέτη adj(fem, adj(πρωινή) ) --> [πρωινή]. n(fem, n(πτήση) ) --> [πτήση]. n(masc, n(πελάτης) ) --> [πελάτης]. nominal(g, nominal(t) ) --> n(g, T). nominal(g, nominal(t1, T2) ) --> adj(g, T1), nominal(g, T2). Αν βρεις ένα επίθετο (adj) γένους G με συντακτικό δέντρο T1, ακολουθούμενο από ένα nominal γένους G με συντακτικό δέντρο Τ2, τότε έχεις βρει ένα (μεγαλύτερο) nominal γένους G με συντακτικό δέντρο nominal(t1, T2). Δείτε το αρχείο tree_structure.pl στις ιστοσελίδες του μαθήματος. 64

65 Ρηχή συντακτική ανάλυση Τεμαχισμός (chunking) σε μη επικαλυπτόμενα τμήματα. o Συνήθως (βασικά) ονοματικά σύνολα, ρηματικοί τύποι κλπ. [ NP Η πρωινή πτήση] [ Prep από] [ NP την Αθήνα] [ VP έχει προσγειωθεί]. Συχνά με μηχανική μάθηση (π.χ. με HMMs, MEMMs, RNNs). o Κατάταξη κάθε λεκτικής μονάδας σε μία κατηγορία (π.χ. BIO). B-NP: αρχική λέξη NP. I-NP: μη αρχική λέξη NP. B-VP: αρχική λέξη VP.... Ο: άλλη Ένα διάνυσμα ιδιοτήτων ανά λεκτική μονάδα. o Ιδιότητες π.χ. για τις προηγούμενες δύο λέξεις, τα μέρη του λόγου τους, τις καταλήξεις τους, τα embeddings τους κλπ. o Βλ. και ιδέες ιδιοτήτων για επισημείωση μερών του λόγου. 65

66 Πιθανοτικές γραμματικές χωρίς συμφραζόμενα (PCFGs) Προαιρετική μελέτη Όπως οι απλές ΓΧΣ, αλλά τώρα κάθε κανόνας έχει και μια πιθανότητα. S NP VP [0.7] Το άθροισμα όλων των κανόνων για S πρέπει να είναι 1. S VP [0.3] NP Det Nominal [0.6] Το άθροισμα όλων των κανόνων για NP πρέπει να είναι 1. NP Det PN [0.4] V θέλω [0.03] Το άθροισμα όλων των κανόνων V επιθυμώ [0.02] για V πρέπει να είναι Η πιθανότητα κάθε κανόνα δείχνει πόσο πιθανό είναι το αριστερό μη τερματικό να έχει τη μορφή του δεξιού μέρους. o Πρόκειται για δεμευμένες πιθανότητες, π.χ. P(NP VP S).

67 Πιθανότητα συντακτικού δέντρου Θεωρούμε ότι η πιθανότητα ενός συντακτικού δέντρου είναι το γινόμενο των πιθανοτήτων των κανόνων που το δημιούργησαν. o Δηλαδή ότι οι εφαρμογές των κανόνων είναι μεταξύ τους ανεξάρτητες... S NP VP [0.7] S VP [0.3] VP V NP [0.65] NP Det Nominal [0.6] V θέλω [0.03] Αν έχουμε πολλά συντακτικά δέντρα για μια πρόταση, προτιμούμε το πιθανότερο. V θέλω P(T) = S VP 0.3 NP Det Nominal Προαιρετική μελέτη 0.65 μία 0.6 N πτήση

68 Πιθανοτική μορφή CKY Προαιρετική μελέτη Για πιθανοτικές γραμματικές χωρίς συμφραζόμενα σε κανονική μορφή Chomsky (CNF). Επιτρέπονται μόνο κανόνες της μορφής A B C [p] και A w [p], με A, B, C μη τερματικά, w τερματικό, p πιθανότητα. S V NP [0.7] NP Det Nominal [0.8] V επιθυμώ [0.01] Nominal Adj N [0.4] V θέλω [0.03] Nominal πτήση [0.01] Det μια [0.2] N πτήση [0.02] Adj πρωινή [0.01] Adj απογευματινή [...]

69 Πιθανοτική μορφή CKY Προαιρετική μελέτη θέλω μία πτήση πρωινή V [0.03] (0,1) 1 Det [0.2] (1,2) 2 Adj [0.01] (2,3) 3 N [0.02] Nominal [0.01] (3,4)

70 Πιθανοτική μορφή CKY Προαιρετική μελέτη θέλω μία πτήση πρωινή V [0.03] (0,1) (0,2) 1 Det [0.2] (1,2) (1,3) 2 Adj [0.01] (2,3) 3 Η πιθανότητα του κανόνα (0.4). Nominal [ ] (2,4) N [0.02] Nominal [0.01] (3,4)

71 Πώς μαθαίνουμε τους κανόνες; Ο πιο συνηθισμένος τρόπος είναι να χρησιμοποιήσουμε μια βάση δέντρων (treebank). o Σώμα κειμένων, όπου κάθε πρόταση έχει επισημειωθεί (συνήθως χειρωνακτικά) με το συντακτικό δέντρο της. o Οι κανόνες προκύπτουν από τα συντακτικά δέντρα. o Συνήθως εξαιρούμε εντελώς πολύ σπάνιους κανόνες. o Πιθανότητες των υπολοίπων: P( ) count( ) count( ) Προαιρετική μελέτη Πόσες φορές είδαμε το μη τερματικό α να γίνεται β. Πόσες φορές συναντήσαμε το μη τερματικό α. Αν έχουμε μόνο κείμενα, χωρίς τα δέντρα τους, μπορούμε να χρησιμοποιήσουμε μια μορφή EM. o Αλγόριθμος «inside-outside». Βλ. J&M.

72 Προβλήματα πιθανοτικών ΓΧΣ Θεωρούν ότι οι εφαρμογές των κανόνων είναι μεταξύ τους ανεξάρτητες. o Π.χ. ότι η εφαρμογή του NP Det Nominal είναι εξίσου πιθανή είτε το NP έχει ως πατέρα S είτε VP. o Με πατέρα S, όμως, η πιθανότητα του NP Det Nominal ίσως είναι μικρότερη, επειδή ίσως είναι μεγαλύτερη η πιθανότητα NP Pron. o Πιθανότερο να εμφανιστεί αντωνυμία σε υποκείμενο από ό,τι σε αντικείμενο. NP Det Nominal ο 0.6 N πελάτης 0.3 V θέλει S VP NP Det Nominal Προαιρετική μελέτη μία 0.6 N πτήση

73 Διαίρεση μη τερματικών Μπορούμε να ξεχωρίσουμε NP^S (NP με πατέρα S) και NP^VP (NP με πατέρα VP). S NP^S VP [0.3] NP^S Det Nominal [0.4] VP V NP^VP [0.65] NP^VP Det Nominal [0.6] Τώρα έχουμε δύο παραλλαγές του NP Det Nominal, με διαφορετική πιθανότητα η κάθε μία. o Η μία για υποκείμενο, η άλλη για αντικείμενο. o Μπορούμε να διαιρέσουμε και άλλα μη τερματικά. NP^S Det Nominal ο 0.4 N πελάτης 0.3 V θέλει S VP NP^VP Det Nominal Προαιρετική μελέτη μία 0.6 N πτήση

74 Προβλήματα πιθανοτικών ΓΧΣ Προαιρετική μελέτη V S VP NP είδαμε Det Nominal το Nominal PP N σπίτι Έστω p α η πιθανότητα του υπόλοιπου δέντρου. Prep με NP Det το V S VP NP είδαμε Det Nominal Nominal Ν το τζάκι [p τζ ] / μεσίτη [p μεσ ] Έστω p δ η πιθανότητα του υπόλοιπου δέντρου. N σπίτι PP Prep με NP Det Nominal το Ν τζάκι [p τζ ] / μεσίτη [p μεσ ]

75 Προβλήματα πιθανοτικών ΓΧΣ Είδαμε το [σπίτι με το τζάκι]. Είδαμε [το σπίτι] [με το τζάκι]. p p α δ Προαιρετική μελέτη p p τζ τζ Είδαμε το [σπίτι με το μεσίτη]. Είδαμε [το σπίτι] [με το μεσίτη]. p p α δ p p μεσ μεσ Αν p α > p δ, διαλέγει και στις δύο προτάσεις την αριστερή συντακτική ανάλυση. Αν p α < p δ, διαλέγει και στις δύο προτάσεις τη δεξιά συντακτική ανάλυση. Ενώ θέλουμε να διαλέγει στην πρώτη πρόταση (με το τζάκι) την αριστερή ανάλυση και στη δεύτερη (με το μεσίτη) τη δεξιά.

76 Λεξικοποιημένες πιθανοτικές ΓΧΣ S(είδαμε) Προαιρετική μελέτη VP(είδαμε) V(είδαμε) NP(σπίτι) είδαμε Det(το) Nominal(σπίτι) το Nominal(σπίτι) PP(τζάκι/μεσίτη) Σημειώνουμε τα κύρια παιδιά και τις αντίστοιχες λέξεις. (Χάριν παραδείγματος θεωρούμε εδώ ότι το κύριο παιδί ενός PP είναι το NP.) N(σπίτι) σπίτι Prep(με) NP(τζάκι/μεσίτη) με Det(το) Nominal(τζάκι/μεσίτη) H p το Ν(τζάκι/μεσίτη) α είναι τώρα διαφορετική ανά πρόταση. Εμπλέκονται τζάκι [p τζ ] / μεσίτη [p μεσ ] διαφορετικοί κανόνες με p 1 > p 2. Nominal(σπίτι) Nominal(σπίτι) PP(τζάκι) [p 1 ] Nominal(σπίτι) Nominal(σπίτι) PP(μεσίτη) [p 2 ]

77 Λεξικοποιημένες πιθανοτικές ΓΧΣ S(είδαμε) Προαιρετική μελέτη V(είδαμε) VP(είδαμε) NP(σπίτι) PP(τζάκι/μεσίτη) είδαμε Det(το) Nominal(σπίτι) το N(σπίτι) σπίτι Prep(με) NP(τζάκι/μεσίτη) με Det(το) Nominal(τζάκι/μεσίτη) το Ν(τζάκι/μεσίτη) τζάκι [p τζ ] / μεσίτη [p μεσ ] H p δ είναι τώρα επίσης διαφορετική ανά πρόταση. Εμπλέκονται διαφορετικοί κανόνες με p 3 < p 4. VP(είδαμε) V(είδαμε) NP(σπίτι) PP(τζάκι) [p 3 ] VP(είδαμε) V(είδαμε) NP(σπίτι) PP(μεσίτη) [p 4 ]

78 Λεξικοποιημένες πιθανοτικές ΓΧΣ Προαιρετική μελέτη Χρησιμοποιούνται σε πολλούς διαδεδομένους συντακτικούς αναλυτές των αγγλικών. o Π.χ. συντακτικός αναλυτής Collins (βλ. J&M). Μεγαλώνει, όμως, πολύ ο αριθμός των κανόνων. Δυσκολότερη η εκτίμηση των πιθανοτήτων των κανόνων. o Πολλούς κανόνες θα τους έχουμε δει να χρησιμοποιούνται ελάχιστες φορές στη βάση δέντρων. o Χρησιμοποιούνται ιδιαίτερες τεχνικές εξομάλυνσης κατά την εκτίμηση των πιθανοτήτων των κανόνων. o Π.χ. αντικατάσταση των λέξεων εντός παρενθέσεων με τα μέρη του λόγου τους (ιδιαίτερα αν αυτά δείχνουν και αριθμό, πτώση, γένος κ.λπ.) ή με σημασιολογικές κατηγορίες. o Βλ. J&M για τις τεχνικές εξομάλυνσης που χρησιμοποιεί ο αναλυτής του Collins.

79 Back to dependency trees Projective dependency tree: all its arcs are projective. o Projective arc: There is a path from the head to every word between the head and the dependent. Non-projective dependency tree: o Contains at least one non-projective arc. Less common in English, more common in more free-word order languages. o Some parsing algorithms can produce only projective trees. Images from Speech and Language Processing by D. Jurafsky and D.H. Martin, 3 rd Edition (draft Jan. 2017), 79

80 Transition-based dependency parsing From the paper of D. Chen and C. Manning A Fast and Accurate Dependency Parser using Neural Networks, EMNLP

81 Transition-based dependency parsing Initially all words in the buffer, stack contains only ROOT. Possible actions at each step ( arc-standard model): o Shift the first word of the buffer to the stack. o Connect the top two words of the stack with a left arc and particular label (e.g., NSUBJ), leaving only the right word in the stack. o Connect the top two words of the stack with a right arc and a particular label, leaving only the left word in the stack. Final state: only ROOT in the stack, no words in the buffer. An oracle selects the action take at each point. o The oracle may be a classifier. It may select the wrong action. o Greedy search, no going back once an action is selected. Linear complexity in sentence length. 81

82 MLP oracle of Chen & Manning Probabilities of the possible actions: SHIFT, LEFT-ARC(amod), RIGHT-ARC(dobj), etc. Cube activation function. Word embeddings, POS tag embeddings, label embeddings (e.g., of top 3 words of the stack, top 3 words of the buffer, their leftmost and rightmost children of the top 2 words of the stack, ). From the paper of D. Chen and C. Manning A Fast and Accurate Dependency Parser using Neural Networks, EMNLP

83 Training the oracle For each training sentence, we are given the correct dependency tree. o We use it to figure out the correct action that the oracle should take at each point, in order to train the oracle. At each point, the correct decision is: o LEFT-ARC if the resulting dependency is in the correct tree. o RIGHT-ARC if (1) the resulting dependency is in the correct tree and (2) all the dependents (in the correct tree) of the top token of the stack have already been linked (as dependents) to the top token of the stack. (Otherwise if we do a RIGHT-ARC, we won t be able to link the other dependents of the top token.) o Otherwise, the correct decision is SHIFT. Example image from Speech and Language Processing by D. Jurafsky and D.H. Martin, 3 rd Edition (draft Jan. 2017), 83

84 Evaluating dependency parsers Unlabeled Attachment Score (UAS): How many words were assigned (linked to) their correct head. o Ignoring the labels of the dependencies. Labeled Attachment Score (LAS): How many words were assigned (linked to) their correct head with the correct dependency label. o We can also measure how well we do per dependency label. 84

85 Βιβλιογραφία J&M (2 η έκδοση): κεφάλαια 12, 13, 14, 16. o Όσοι ενδιαφέρονται μπορούν να διαβάσουν προαιρετικά (εκτός εξεταστέας ύλης) και τα κεφάλαια 2, 3 (τις ενότητες που δεν έχουμε καλύψει) και 15. J&M (3 η έκδοση): κεφάλαια Προαιρετικά μπορείτε να συμβουλευτείτε και τα κεφάλαια 11 και 12 των Manning & Schütze. o Καλύπτουν θέματα πιθανοτικής συντακτικής ανάλυσης. To Universal Dependencies Project παρέχει treebanks για πολλές γλώσσες (και Ελληνικά). o 85