Λεκτικός Αναλυτής. Διαλέξεις στο μάθημα: Μεταφραστές Γιώργος Μανής

Transcript

1 Λεκτικός Αναλυτής Διαλέξεις στο μάθημα: Μεταφραστές Γιώργος Μανής

2 Οι Φάσεις της Μεταγλώττισης λεκτική ανάλυση συντακτική ανάλυση Πίνακας Συμβόλων σημασιολογική ανάλυση παραγωγή ενδιάμεσου κώδικα Διαχείριση λαθών βελτιστοποίηση ενδιάμεσου κώδικα παραγωγή τελικού κώδικα βελτιστοποίηση τελικού κώδικα

3 Λεκτική Ανάλυση Αρχικό πρόγραμμα Χαρακτήρας-χαρακτήρας Λεκτική Ανάλυση Λεκτικές μονάδες Διαγνωστικά μηνύματα

4 Διαπροσωπεία Λεκτικού Αναλυτή Καλείται ως συνάρτηση από το συντακτικό αναλυτή Διαβάζει γράμμα-γράμμα το πηγαίο πρόγραμμα Κάθε φορά που καλείται επιστρέφει την επόμενη λεκτική μονάδα Επιστρέφει στο συντακτικό αναλυτή έναν ακέραιο που χαρακτηρίζει τη λεκτική μονάδα τη λεκτική μονάδα

5 Εσωτερική Λειτουργία Ο λεκτικός αναλυτής εσωτερικά λειτουργεί σαν ένα αυτόματο καταστάσεων το οποίο ξεκινά από μία αρχική κατάσταση, με την είσοδο κάθε χαρακτήρα αλλάζει κατάσταση έως ότου συναντήσει μία τελική κατάσταση Το αυτόματο καταστάσεων αναγνωρίζει δεσμευμένες λέξεις πχ. if, for, while σύμβολα της γλώσσας π.χ. «+», «;», «=» αναγνωριστικά και σταθερές π.χ. counter, a12, λάθη π.χ. μη επιτρεπτός χαρακτήρας, κλείσιμο σχολίων χωρίς να έχουν ανοίξει προηγουμένως

6 Παράδειγμα Αυτόματου Το αυτόματο του επόμενου παραδείγματος αναγνωρίζει: αναγνωριστικά που ξεκινούν από γράμμα και αποτελούνται από γράμματα ή ψηφία φυσικούς αριθμούς ως αριθμητικές σταθερές τα αριθμητικά σύμβολα + - * / τους σχεσιακούς τελεστές < > = >= <= <> τα σύμβολα := ( ), ; σχόλια που περικλείονται σε άγκιστρα { } και αγνοούνται

7 λευκός χαρακτήρας αρχική κατάσταση 0 γράμμα / γράμμα 1 αναγνωριστικό 2 αριθμ. σταθερά

8 λευκός χαρακτήρας 0 όταν στην αρχική κατάσταση έρθει λευκός χαρακτήρας, ουσιαστικά αγνοείται και μένουμε στην ίδια κατάσταση γράμμα / γράμμα 1 αναγνωριστικό 2 αριθμ. σταθερά

9 λευκός χαρακτήρας 0 όταν στην αρχική κατάσταση έρθει γράμμα, τότε μεταβαίνουμε στην κατάσταση 1 που θα μας οδηγήσει σε αναγνωριστικό γράμμα 1 γράμμα / αναγνωριστικό 2 αριθμ. σταθερά

10 λευκός χαρακτήρας 0 γράμμα στη συνέχεια όσο λαμβάνουμε γράμμα ή μένουμε στην ίδια κατάσταση, προσθέτοντας το γράμμα ή το στο αναγνωριστικό που θα καταλήξουμε γράμμα / 1 αναγνωριστικό 2 αριθμ. σταθερά

11 λευκός χαρακτήρας 0 γράμμα 1 γράμμα / αν έρθει κάτι που δεν είναι γράμμα ή τότε θεωρούμε ότι το αναγνωριστικό ολοκληρώθηκε και πηγαίνουμε σε τελική κατάσταση αναγνωριστικό 2 αριθμ. σταθερά

12 λευκός χαρακτήρας 0 γράμμα / γράμμα 1 αναγνωριστικό 2 έτσι αναγνωρίσαμε λεκτική μονάδα και ο λεκτικός αναλυτής τερματίζει αφού την επιστρέψει στον συντακτικό αναλυτή αριθμ. σταθερά

13 όταν ξανακληθεί ο λεκτικός αναλυτής θα ξεκινήσει πάλι από την αρχική κατάσταση, αλλά θα διαβάζει τους χαρακτήρες από εκεί που σταμάτησε 0 λευκός χαρακτήρας γράμμα / γράμμα 1 αναγνωριστικό 2 αριθμ. σταθερά

14 λευκός χαρακτήρας 0 γράμμα / γράμμα 1 αναγνωριστικό όταν στην αρχική κατάσταση έρθει, τότε μεταβαίνουμε στην κατάσταση 2 που θα μας οδηγήσει σε αριθμητική σταθερά 2 αριθμ. σταθερά

15 λευκός χαρακτήρας 0 γράμμα / γράμμα 1 αναγνωριστικό 2 στη συνέχεια όσο λαμβάνουμε μένουμε στην ίδια κατάσταση, προσθέτοντας το στην αριθμητική σταθερά που θα καταλήξουμε αριθμ. σταθερά

16 λευκός χαρακτήρας 0 γράμμα / γράμμα 1 αναγνωριστικό 2 αν έρθει κάτι που δεν είναι τότε θεωρούμε ότι η αριθμητική σταθερά ολοκληρώθηκε και πηγαίνουμε σε τελική κατάσταση αριθμ. σταθερά

17 λευκός χαρακτήρας 0 γράμμα / γράμμα 1 αναγνωριστικό 2 έτσι αναγνωρίσαμε αριθμητική σταθερά και ο λεκτικός αναλυτής τερματίζει αφού την επιστρέψει στον συντακτικό αναλυτή αριθμ. σταθερά

18 + - * / = + - * / = όταν από την αρχική κατάσταση έρθει το σύμβολο «+» το αναγνωρίζουμε όταν από την αρχική κατάσταση έρθει το σύμβολο «-» το αναγνωρίζουμε όταν από την αρχική κατάσταση έρθει το σύμβολο «*» το αναγνωρίζουμε όταν από την αρχική κατάσταση έρθει το σύμβολο «/» το αναγνωρίζουμε όταν από την αρχική κατάσταση έρθει το σύμβολο «=» το αναγνωρίζουμε

19 όταν από την αρχική κατάσταση έρθει το σύμβολο «<» τότε υπάρχουν τρεις περιπτώσεις < 3 = > <= <> < > 4 = >= >

20 < 3 = <= να ακολουθεί «=» οπότε αναγνωρίζουμε «<=» > <> να ακολουθεί «>» οπότε αναγνωρίζουμε «<>» < > 4 = >= >

21 < 3 = <= > <> < οτιδήποτε άλλο και να ακολουθεί αναγνωρίζουμε «<» > 4 = >= >

22 < 3 = <= > <> < > 4 = >= όμοια και εδώ, αν το «>» το ακολουθεί «=» αναγνωρίζουμε «<=» >

23 < 3 = <= > <> < > 4 = >= > οτιδήποτε άλλο και να ακολουθεί αναγνωρίζουμε «>»

24 : 5 = := λάθος αν από την αρχική κατάσταση συναντήσουμε μια «:», τότε υπάρχει μόνο μία επιλογή να καταλήξουμε σε «:=» έτσι αν μετά την «:» έρθει «=» αναγνωρίζουμε «:=», ενώ σε κάθε άλλη περίπτωση αναγνωρίζουμε λάθος εδώ δεν μπορούμε να αναγνωρίσουμε την «:» ως λεκτική μονάδα όπως κάναμε για το «<» και το «>» αφού το «:» δεν αποτελεί σύμβολο της γλώσσας

25 αν από την αρχική κατάσταση συναντήσουμε άνοιγμα σχολίων τότε ό,τι ακολουθήσει αγνοείται έως ότου βρεθεί κλείσιμο σχολίων οπότε μεταβαίνουμε στην κατάσταση 0, που είναι η αρχική κατάσταση { 6 } 0 eof λάθος

26 { 6 } 0 eof λάθος αν πριν βρεθεί κλείσιμο σχολίων βρεθεί τέλος αρχείου σημαίνει ότι άνοιξαν σχόλια χωρίς να κλείσουν. Προφανώς έχουμε εδώ λάθος θα μπορούσε να τροποποιηθεί το αυτόματο αν επιθυμούμε να θεωρούνται διαφορετικά πράγματα λάθος, για παράδειγμα αν θέλουμε το {{ } να μην είναι επιτρεπτό

27 , ; ) ( eof, ; ) ( eof όταν από την αρχική κατάσταση έρθει το σύμβολο «,» το αναγνωρίζουμε όταν από την αρχική κατάσταση έρθει το σύμβολο «;» το αναγνωρίζουμε όταν από την αρχική κατάσταση έρθει το σύμβολο «)» το αναγνωρίζουμε όταν από την αρχική κατάσταση έρθει το σύμβολο «(» το αναγνωρίζουμε όταν από την αρχική κατάσταση έρθει το τέλος αρχείου το αναγνωρίζουμε λάθος

28 , ;, ; ) ( ) ( eof eof λάθος όταν από την αρχική κατάσταση έρθει οτιδήποτε άλλο, τότε προφανώς αυτό δε μπορεί να μας οδηγήσει σε τελική κατάσταση, οπότε αναγνωρίζουμε την ύπαρξη λάθους

29 λευκός χαρακτήρας 0 γράμμα 1 γράμμα / από τα αναγνωριστικά ξεχωρίζουμε τις δεσμευμένες λέξεις αναγνωριστικό for id while do else

30 Οπισθοδρόμηση Για να αναγνωρίσουμε μία λεκτική μονάδα μερικές φορές καταναλώνουμε ένα χαρακτήρα από την επόμενη λεκτική μονάδα Ο χαρακτήρας αυτός πρέπει να ενσωματωθεί στην επόμενη λεκτική μονάδα Αυτό συμβαίνει στο παράδειγμά μας στα αναγνωριστικά και στις αριθμητικές σταθερές στα δεσμευμένα σύμβολα < και >

31 Παράδειγμα Υλοποίησης Αυτόματου με Πίνακα Έστω το αυτόματο το οποίο αναγνωρίζει λεκτικές μονάδες που αποτελούνται από μία σειρά από 1 ή περισσότερα x ακολουθούμενη από ένα y ακριβώς και μετά από μία σειρά από 0 ή περισσότερα x, δηλαδή x + yx* x x x y OK y error

32 Υλοποίηση με Πίνακα #define x 0 #define y 1 #define other 2 #define state0 0 #define state1 1 #define state2 2 #define error -1 #define OK -2 x y other state0 state1 state2 state1 error error state1 state2 error state2 error OK

33 Υλοποίηση με Πίνακα state = state0; while (state!=ok && state!=error) { newsymbol(&inp); state = Trans_Diagram [state][inp]; }

34 Εναλλακτική Υλοποίηση με Σειρά Εντολών Απόφασης state = state0; while (state!=ok && state!=error) { if (state==state0 && input==x) state=state1; else if (state==state0) state=error; else if (state==state1 && input==x) state=state1; else if (state==state1 && input==y) state=state2; else if (state==state1) state=error; else if (state==state2 && input==x) state=state2 else if (state==state2 && input==y) state=error else if (state==state2) state=ok }

35 Το Εργαλείο Lex (flex) Lex Μεταπρόγραμμα yylex() Διαγνωστικά μηνύματα

36 Μετάφραση με τα Eργαλεία Lex-Yacc

37 Αναγνώριση με Κανονικές Εκφράσεις

38 Παράδειγμα Αναγνώρισης με το Lex letter [a-za-z] digit [0-9] delim [" "\t\n] id {letter}({letter} {digit})* number {digit}+