Ellogon: Μία Πλατφόρμα Επεξεργασίας Φυσικής Γλώσσας. Γεώργιος Πετάσης

Transcript

1 Ellogon: Μία Πλατφόρμα Επεξεργασίας Φυσικής Γλώσσας Γεώργιος Πετάσης

2 Δομή Παρουσίασης Η Αναγκαιότητα Χρήσης Πλατφορμών Τι είναι το Έλλογον; Η Αρχιτεκτονική του Έλλογον Μονάδες επεξεργασίας και εργαλεία Κατηγορίες Χρηστών και Έλλογον Εισαγωγή στην Πλατφόρμα Επεξεργασίας Φυσικής Γλώσσας Έλλογον 2

3 Το Πρόβλημα: Εισαγωγή στην Πλατφόρμα Επεξεργασίας Φυσικής Γλώσσας Έλλογον 3

4 Το Πρόβλημα: Εισαγωγή στην Πλατφόρμα Επεξεργασίας Φυσικής Γλώσσας Έλλογον 3

5 Το Πρόβλημα: Εισαγωγή στην Πλατφόρμα Επεξεργασίας Φυσικής Γλώσσας Έλλογον 3

6 Το Πρόβλημα: Tokeniser Εισαγωγή στην Πλατφόρμα Επεξεργασίας Φυσικής Γλώσσας Έλλογον 3

7 Το Πρόβλημα: Tokeniser Εισαγωγή στην Πλατφόρμα Επεξεργασίας Φυσικής Γλώσσας Έλλογον 3

8 Το Πρόβλημα: Tokeniser Εισαγωγή στην Πλατφόρμα Επεξεργασίας Φυσικής Γλώσσας Έλλογον 3

9 Το Πρόβλημα: Tokeniser Part of Speech Recogniser Εισαγωγή στην Πλατφόρμα Επεξεργασίας Φυσικής Γλώσσας Έλλογον 3

10 Το Πρόβλημα: Tokeniser Part of Speech Recogniser Εισαγωγή στην Πλατφόρμα Επεξεργασίας Φυσικής Γλώσσας Έλλογον 3

11 Το Πρόβλημα: Tokeniser Part of Speech Recogniser Εισαγωγή στην Πλατφόρμα Επεξεργασίας Φυσικής Γλώσσας Έλλογον 3

12 Το Πρόβλημα: Tokeniser Part of Speech Recogniser Εισαγωγή στην Πλατφόρμα Επεξεργασίας Φυσικής Γλώσσας Έλλογον 3

13 Το Πρόβλημα: Tokeniser Part of Speech Recogniser Εισαγωγή στην Πλατφόρμα Επεξεργασίας Φυσικής Γλώσσας Έλλογον 3

14 Η Λύση: Πλατφόρμες Μια πλατφόρμα προσφέρει: Προτυποποίηση της λειτουργίας των μονάδων επεξεργασίας φυσικής γλώσσας Προτυποποίηση της πρόσβασης σε κειμενικά δεδομένα Προτυποποίηση πρόσβασης / διαχείρισης γλωσσικής πληροφορίας συνδεδεμένης με τα κείμενα και πολλά άλλα... Εισαγωγή στην Πλατφόρμα Επεξεργασίας Φυσικής Γλώσσας Έλλογον 4

15 Η Λύση: Πλατφόρμες Άμεσα πλεονεκτήματα: Ευκολία χρήσης μονάδων επεξεργασίας Επαναχρησιμοποίηση μονάδων Ευκολία ανάπτυξης μονάδων επεξεργασίας Εισαγωγή στην Πλατφόρμα Επεξεργασίας Φυσικής Γλώσσας Έλλογον 5

16 Τι είναι το Έλλογον; Μια γενικής χρήσης πλατφόρμα επεξεργασίας φυσικής γλώσσας Εισαγωγή στην Πλατφόρμα Επεξεργασίας Φυσικής Γλώσσας Έλλογον 6

17 Τι είναι το Έλλογον; Μια γενικής χρήσης πλατφόρμα επεξεργασίας φυσικής γλώσσας Το Έλλογον δεν εκτελεί καμία μορφή επεξεργασίας φυσικής γλώσσας Η επεξεργασία πραγματοποιείται με την χρήση εξωτερικών, προσαρτώμενων μονάδων Εισαγωγή στην Πλατφόρμα Επεξεργασίας Φυσικής Γλώσσας Έλλογον 6

18 Τι είναι το Έλλογον; Το Έλλογον προσφέρει υποδομή για: Τη διαχείριση, αποθήκευση και ανταλλαγή κειμένων και δεδομένων Την ενσωμάτωση μονάδων επεξεργασίας φυσικής γλώσσας Τη διευκόλυνση επικοινωνίας μεταξύ των μονάδων άλλων υποσυστημάτων Την απεικόνιση κειμένων και της περιεχόμενης γλωσσικής πληροφορίας Εισαγωγή στην Πλατφόρμα Επεξεργασίας Φυσικής Γλώσσας Έλλογον 7

19 Η Αρχιτεκτονική Εισαγωγή στην Πλατφόρμα Επεξεργασίας Φυσικής Γλώσσας Έλλογον 8

20 Η Αρχιτεκτονική Γραφικό Περιβάλλον Εισαγωγή στην Πλατφόρμα Επεξεργασίας Φυσικής Γλώσσας Έλλογον 8

21 Η Αρχιτεκτονική Γραφικό Περιβάλλον Διαχειριστής Συλλογών - Κειμένων Εισαγωγή στην Πλατφόρμα Επεξεργασίας Φυσικής Γλώσσας Έλλογον 8

22 Η Αρχιτεκτονική Μονάδες Γλωσσικής Επεξεργασίας Γραφικό Περιβάλλον Διαχειριστής Συλλογών - Κειμένων Εισαγωγή στην Πλατφόρμα Επεξεργασίας Φυσικής Γλώσσας Έλλογον 8

23 Η Αρχιτεκτονική Μονάδες Γλωσσικής Επεξεργασίας Γραφικό Περιβάλλον Internet (HTTP, FTP, SOAP) Operating System Services (ActiveX, COM, DDE) Διαχειριστής Συλλογών - Κειμένων Υπηρεσίες Database Connectivity (ODBC) Εισαγωγή στην Πλατφόρμα Επεξεργασίας Φυσικής Γλώσσας Έλλογον 8

24 Η Αρχιτεκτονική Μονάδες Γλωσσικής Επεξεργασίας Γραφικό Περιβάλλον Διαχειριστής Συλλογών - Κειμένων Λειτουργικό Σύστημα Εισαγωγή στην Πλατφόρμα Επεξεργασίας Φυσικής Γλώσσας Έλλογον 8

25 Η Αρχιτεκτονική Μονάδες Γλωσσικής Επεξεργασίας Γραφικό Περιβάλλον Διαχειριστής Συλλογών - Κειμένων Επίπεδο Απόκρυψης Μορφής Αποθήκευσης Λειτουργικό Σύστημα Εισαγωγή στην Πλατφόρμα Επεξεργασίας Φυσικής Γλώσσας Έλλογον 8

26 Η Αρχιτεκτονική Μονάδες Γλωσσικής Επεξεργασίας Γραφικό Περιβάλλον Διαχειριστής Συλλογών - Κειμένων Επίπεδο Απόκρυψης Μορφής Αποθήκευσης Λειτουργικό Σύστημα XML Έλλογον Εισαγωγή στην Πλατφόρμα Επεξεργασίας Φυσικής Γλώσσας Έλλογον Βάση Δεδομένων??? 8

27 Μοντέλο Δεδομένων Συλλογή Εισαγωγή στην Πλατφόρμα Επεξεργασίας Φυσικής Γλώσσας Έλλογον 9

28 Μοντέλο Δεδομένων Συλλογή Έγγραφο Έγγραφο Έγγραφο Εισαγωγή στην Πλατφόρμα Επεξεργασίας Φυσικής Γλώσσας Έλλογον 9

29 Μοντέλο Δεδομένων Έγγραφο Έγγραφο Εισαγωγή στην Πλατφόρμα Επεξεργασίας Φυσικής Γλώσσας Έλλογον 9

30 Μοντέλο Δεδομένων Έγγραφο Έγγραφο Κείμενο Εισαγωγή στην Πλατφόρμα Επεξεργασίας Φυσικής Γλώσσας Έλλογον 9

31 Μοντέλο Δεδομένων Έγγραφο Έγγραφο Κείμενο Πληροφορία σχετική με το κείμενο Εισαγωγή στην Πλατφόρμα Επεξεργασίας Φυσικής Γλώσσας Έλλογον 9

32 Μοντέλο Δεδομένων Έγγραφο Πληροφορία σχετική με το κείμενο Χαρακτηριστικά language = Hellenic (string) bgimage = <binary data> (image) Εισαγωγή στην Πλατφόρμα Επεξεργασίας Φυσικής Γλώσσας Έλλογον 9

33 Μοντέλο Δεδομένων Έγγραφο Χαρακτηριστικά language = Hellenic (string) bgimage = <binary data> (image) Επισημειώσεις Πληροφορία σχετική με το κείμενο token pos = noun lemma = abc co-reference type = person entity = 132 Εισαγωγή στην Πλατφόρμα Επεξεργασίας Φυσικής Γλώσσας Έλλογον 9

34 Επισημειώσεις This is a simple sentence Annotations Εισαγωγή στην Πλατφόρμα Επεξεργασίας Φυσικής Γλώσσας Έλλογον 10

35 Επισημειώσεις ID 0 Επισημείωση Type token Span Set [0 4] Attribute Set type = EFW This is a simple sentence Annotations pos = PN Εισαγωγή στην Πλατφόρμα Επεξεργασίας Φυσικής Γλώσσας Έλλογον 10

36 Επισημειώσεις Επισημείωση ID 0 Type token Span Set [0 4] Attribute Set type = EFW pos = PN Annotation ID Μοναδικός προσδιοριστής εντός ενός εγγράφου. This is a simple sentence Annotations Εισαγωγή στην Πλατφόρμα Επεξεργασίας Φυσικής Γλώσσας Έλλογον 10

37 Επισημειώσεις Επισημείωση ID 0 Type token Span Set [0 4] Attribute Set type = EFW pos = PN Annotation This is a Type simple sentence Κατηγοριοποιεί επισημειώσεις σε κατηγορίες. Annotations Εισαγωγή στην Πλατφόρμα Επεξεργασίας Φυσικής Γλώσσας Έλλογον 10

38 Επισημειώσεις ID 0 Επισημείωση Type token Span Set [0 4] Attribute Set type = EFW pos = PN This is a simple sentence Annotations Annotation Span Set Δηλώνει περιοχές κειμένου χαρακτηριζόμενες από την επισημείωση. Εισαγωγή στην Πλατφόρμα Επεξεργασίας Φυσικής Γλώσσας Έλλογον 10

39 Επισημειώσεις ID 0 Επισημείωση Type token Span Set [0 4] Attribute Set type = EFW pos = PN This is a simple sentence Annotations Annotation Attribute Set Περιέχει ένα σύνολο από χαρακτηριστικά με διαφόρους τύπους τιμών. Εισαγωγή στην Πλατφόρμα Επεξεργασίας Φυσικής Γλώσσας Έλλογον 10

40 Μονάδες Επεξεργασίας Ενσωματωμένες μονάδες: Απλός αναγνωριστής λέξεων/προτάσεων Αναγνωριστής μερών λόγου Αναγνωριστής ονομάτων βασισμένος σε κατάλογο (gazetteer). Εισαγωγή στην Πλατφόρμα Επεξεργασίας Φυσικής Γλώσσας Έλλογον 11

41 Εργαλεία: Annotation Explorer Εισαγωγή στην Πλατφόρμα Επεξεργασίας Φυσικής Γλώσσας Έλλογον 12

42 Εργαλεία: Parse Viewer Εισαγωγή στην Πλατφόρμα Επεξεργασίας Φυσικής Γλώσσας Έλλογον 13

43 Εργαλεία: Attribute Viewer Εισαγωγή στην Πλατφόρμα Επεξεργασίας Φυσικής Γλώσσας Έλλογον 14

44 Λεκτικοί Πόροι Εισαγωγή στην Πλατφόρμα Επεξεργασίας Φυσικής Γλώσσας Έλλογον 16

45 Επισημείωση Κειμένων Εισαγωγή στην Πλατφόρμα Επεξεργασίας Φυσικής Γλώσσας Έλλογον 17

46 Επισημείωση HTML Εισαγωγή στην Πλατφόρμα Επεξεργασίας Φυσικής Γλώσσας Έλλογον 18

47 Προβολή Επισημειώσεων Εισαγωγή στην Πλατφόρμα Επεξεργασίας Φυσικής Γλώσσας Έλλογον 19

48 Προβολή XML Εισαγωγή στην Πλατφόρμα Επεξεργασίας Φυσικής Γλώσσας Έλλογον 20

49 Σύγκριση Επισημειώσεων Εισαγωγή στην Πλατφόρμα Επεξεργασίας Φυσικής Γλώσσας Έλλογον 21

50 Σύγκριση Επισημειώσεων Εισαγωγή στην Πλατφόρμα Επεξεργασίας Φυσικής Γλώσσας Έλλογον 22

51 Σύγκριση Επισημειώσεων Εισαγωγή στην Πλατφόρμα Επεξεργασίας Φυσικής Γλώσσας Έλλογον 22

52 Παραγωγή Διανυσμάτων Εισαγωγή στην Πλατφόρμα Επεξεργασίας Φυσικής Γλώσσας Έλλογον 23

53 Κατηγορίες Χρηστών Οι χρήστες του Έλλογον μπορούν να ταξινομηθούν σε τρεις κατηγορίες: Εισαγωγή στην Πλατφόρμα Επεξεργασίας Φυσικής Γλώσσας Έλλογον 24

54 Κατηγορίες Χρηστών Οι χρήστες του Έλλογον μπορούν να ταξινομηθούν σε τρεις κατηγορίες: Computational Linguists; Εισαγωγή στην Πλατφόρμα Επεξεργασίας Φυσικής Γλώσσας Έλλογον 24

55 Κατηγορίες Χρηστών Οι χρήστες του Έλλογον μπορούν να ταξινομηθούν σε τρεις κατηγορίες: Computational Linguists; Language Engineers; Εισαγωγή στην Πλατφόρμα Επεξεργασίας Φυσικής Γλώσσας Έλλογον 24

56 Κατηγορίες Χρηστών Οι χρήστες του Έλλογον μπορούν να ταξινομηθούν σε τρεις κατηγορίες: Computational Linguists; Language Engineers; Τελικοί χρήστες. Εισαγωγή στην Πλατφόρμα Επεξεργασίας Φυσικής Γλώσσας Έλλογον 24

57 Γλωσσολόγοι Εισαγωγή στην Πλατφόρμα Επεξεργασίας Φυσικής Γλώσσας Έλλογον 25

58 Γλωσσολόγοι Εισαγωγή στην Πλατφόρμα Επεξεργασίας Φυσικής Γλώσσας Έλλογον 26

59 Γλωσσολόγοι Εισαγωγή στην Πλατφόρμα Επεξεργασίας Φυσικής Γλώσσας Έλλογον 27

60 Γλωσσολόγοι Εισαγωγή στην Πλατφόρμα Επεξεργασίας Φυσικής Γλώσσας Έλλογον 28

61 Γλωσσολόγοι Εισαγωγή στην Πλατφόρμα Επεξεργασίας Φυσικής Γλώσσας Έλλογον 28

62 Μηχανικοί Εύκολη ανάπτυξη αρθρωμάτων: C, C++, Java, Tcl, Perl, Python, ; Όλες οι λειτουργίες ορίζονται μέσω αρθρωμάτων. Εύκολη κατασκευή εφαρμογών. Υποβοηθούμενη από ειδικευμένους βοηθητικούς οδηγούς (wizards); Εισαγωγή στην Πλατφόρμα Επεξεργασίας Φυσικής Γλώσσας Έλλογον 29

63 Τελικοί Χρήστες Δύο κατηγορίες χρηστών: Χρήση εφαρμογών και υπηρεσιών βασισμένων στο Έλλογον Χρήση του γραφικού περιβάλλοντος του Έλλογον Εργαλειοθήκη μαύρων κουτιών Απλό, εύχρηστο GUI Εργαλεία απεικόνισης πληροφορίας Μακροεντολές για αυτοματοποίηση εργασιών Εισαγωγή στην Πλατφόρμα Επεξεργασίας Φυσικής Γλώσσας Έλλογον 30