ΔΙΑΧΕΙΡΙΣΗ ΠΕΡΙΕΧΟΜΕΝΟΥ ΣΤΟΝ ΠΑΓΚΟΣΜΙΟ ΙΣΤΟ & ΓΛΩΣΣΙΚΑ ΕΡΓΑΛΕΙΑ

Transcript

1 ΔΙΑΧΕΙΡΙΣΗ ΠΕΡΙΕΧΟΜΕΝΟΥ ΣΤΟΝ ΠΑΓΚΟΣΜΙΟ ΙΣΤΟ & ΓΛΩΣΣΙΚΑ ΕΡΓΑΛΕΙΑ 19/2/213 1 ο ΕΙΣΑΓΩΓΙΚΕΣ ΕΝΝΟΙΕΣ

2 Αντικείμενο του Μαθήματος 2 Εφαρμογές και εργαλεία ΓλωσσικήςΤεχνολογίας με στόχο τη βελτίωση της πρωτογενούς λειτουργίας των συστημάτων διαχείρισης δυναμικών δεδομένων κειμένου την παροχή προηγμένων υπηρεσιών προς τους χρήστες που αλληλεπιδρούν με τα δεδομένα αυτά.

3 θεματικές ενότητες 3 Γλώσσα και Αναζήτηση Πληροφορίας Text Mining Ν-grams Data Mining Opinion Mining Δυναμική Εξαγωγή Πληροφορίας από τα Δεδομένα Διαδικτύου Οντολογίες Question Answering Ο πολυγλωσσικός Παγκόσμιος Ιστός

4 Εξέταση του Μαθήματος 4 εκπόνηση ενός project(8%) Υποχρεωτική παράδοση στην ημερομηνία που θα ανακοινωνθεί Ο βαθμός του project δεν διατηρείται για την επόμενη χρονιά συμμετοχή σε προφορική εξέταση (2%) Μπορεί να επαναληφθεί στην εξεταστική Σεπτεμβρίου

5 Που, Πότε, Ποιος, Τι... 5 Που: Αίθουσα Β3 Πότε Δευτέρα 11: -13: Ώρες γραφείου: Δευτέρα 13: -14: kozanid@ceid.upatras.gr simaki@ceid.upatras.gr Προτεινόμενη βιβλιογραφία Υπολογιστική Γλωσσολογία Αλεξανδρή Χριστίνα, εκδόσεις παπασωτηρίου Speech and Language Processing (2nd Edition) by Daniel Jurafsky and James H. Martin (ISBN-13: ) Dive Into Python Natural Language Processing with Python Επιπλέον εκπαιδευτικό υλικό στο site του μαθήματος Διαφάνειες Επιλεγμένες δημοσίεύσεις

6 Επεξεργασία Φυσικής Γλώσσας 6 Κλάδος της επιστήμης των υπολογιστών, Aξιοποιεί τεχνικές, τεχνητής νοημοσύνης και γλωσσολογίας, Σκοπός : η διευκόλυνση της αλληλεπίδρασης των υπολογιστών και των ανθρώπων με την χρήση φυσικών γλωσσών

7 Ιστορική Αναδρομή Turing test 1954 Georgetown experiment ELIZA bot During the 7's 'conceptual ontologies', real-world information into computer-understandable data 198, εισαγωγή machine learning αλγορίθμων για NLP statistical models, Recent research unsupervised / semi-supervised learning algorithms

8 Ο παγκόσμιος ιστό σήμερα 8

9 Ο παγκόσμιος ιστός σήμερα 9 To μέγεθος του Παγκόσμιου Ιστού μεταβάλλεται συνεχώς. Surface Web 11.5 billion web pages (25) 48 billion web pages (213) Deep Web Τουλάχιστον billion deep web pages (25) Γλώσσες στον Παγκόσμιο Ιστό (22) Αγγλικά 56.4% Γερμανικά 7.7% Γαλλικά 5.6% Γιαπωνέζικα 4.9%

10 1 Χρήση διαφορετικών γλωσσών

11 Γλωσσική Ανάλυση στο Web 11 Ο Παγκόσμιος Ιστός παρέχει πληροφορία Η πληροφορία περιέχεται κυρίως σε κείμενα Πρόσβαση στην πληροφορία μέσω ερωτημάτων προς μηχανές αναζήτησης query Web Search engine Retrieved docs

12 Τι είναι η Γλωσσική Ανάλυση; 12 Επεξεργασία κειμένου Λεξική: tokenization, PoS tagging Συντακτική Σημασιολογική Λόγου (επίλυση αναφοράς) Επεξεργασία φωνής Φωνητική μεταγραφή Προσωδία Εκφορά

13 Πού χρειάζεται η Γλωσσική Ανάλυση; 13 Επεξεργασία ερωτημάτων Δεικτοδότηση και αναζήτηση ιστοσελίδων Μηχανική μετάφραση ιστοσελίδων Web Question - Answering Ανάλυση Weblogs Εξαγωγή πληροφορίας από δεδομένα Εξόρυξη γνώσης

14 Επεξεργασία Ερωτημάτων 14 Computer table Περιέχει λέξεις (δομικά στοιχεία των γλωσσών) Οι λέξεις απαρτίζουν μεγαλύτερες μονάδες φράσεις. Μερικές φορές αποτελούν από μόνες τους ολόκληρες προτάσεις.

15 Δεικτοδότηση Ιστοσελίδων 15 Αρχείο Ευρετηρίου Αρχείο κειμένων

16 Αναζήτηση πληροφορίας 16 Ερώτημα: not c:\docs\einstein.txt: Σύγκριση συμβολοσειρών αργή! The important thing is not to stop questioning. Λύση: Inverted index c:\docs\shakespeare.txt: To be or not to be.

17 Inverted index Query: not be important is not 1 1 c:\docs\einstein.txt: The important thing is not to stop questioning. or 1 questioning stop c:\docs\shakespeare.txt: 1 to 1 the thing To be or not to be. Document IDs 17

18 Inverted index Query: not to be important is not 1 1 c:\docs\einstein.txt: The important thing is not to stop questioning. 6 7 or 1 questioning stop c:\docs\shakespeare.txt: 1 to the thing To be or not to be. Document IDs 18

19 Inverted index Query: not to be important is not c:\docs\einstein.txt: The important thing is not to stop questioning. 6 7 or 1 2 questioning stop 7 6 c:\docs\shakespeare.txt: 1 to the thing To be or not to be. Document IDs Positions 19

20 2 Μηχανική Μετάφραση

21 21 Web Question - Answering

22 Ανάλυση Weblogs 22 Εξόρυξη γνώσης από Weblogs, forums, blogs, και άλλα μέσα online πληροφορίας που δημιουργούν οι χρήστες Πληροφορία για marketing προϊόντων Αποτύπωση πολιτικών απόψεων Ανάλυση κοινωνικών δικτύων Buzz analysis (επικαιρότητα, τι συζητούν τώρα οι χρήστες του web).

23 23 Facebook s Gross National Happiness Index

24 Επίλυση αναφοράς 24 But the little prince could not restrain admiration: "Oh! How beautiful you are!" "Am I not?" the flower responded, sweetly. "And I was born at the same moment as the sun..." The little prince could guess easily enough that she was not any too modest--but how moving--and exciting--she was! "I think it is time for breakfast," she added an instant later. "If you would have the kindness to think of my needs--" And the little prince, completely abashed, went to look for a sprinkling-can of fresh water. So, he tended the flower.

25 25 Αναγκαιότητα Χρήσης Γλωσσικών Εργαλείων Οι φυσικές γλώσσες χαρακηρίζονται από ασάφεια ΜτΛ ΑΠΑΝΤΗΣΕΙΣ (ουσιαστικό ή ρήμα;) Σημασιολογική ΠΟΝΤΙΚΙ (τρωκτικό, μυς ή εξάρτημα υπολογιστή;) Πραγματολογική Φέρε τη γάτα με το γάντι Web and NLP 19/2/213

26 Ασάφεια 26 Βρείτε 3 διαφορετικά νοήματα για την πρόταση: Είδα τον άντρα στο πάρκο με το τηλεσκόπιο

27 Σχετικά με το Project 27 Εργασία 2 ατόμων Γλώσσα υλοποίησης Python Πακέτο επεξεργασίας φυσικής γλώσσας nltk 2. Περισσότερα στο Φροντιστήριο

28 Ερωτήσεις 28 Ευχαριστώ!!!