Ανάπτυξη Συστήματος Συλλογής Δεδομένων από Πολλαπλά Διαδικτυακά Κοινωνικά Μέσα

Transcript

1 ΑΡΙΣΤΟΤΕΛΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΟΝΙΚΗΣ ΠΟΛΥΤΕΧΝΙΚH ΣΧΟΛΗ ΤΜΗΜΑ ΗΛΕΚΤΡΟΛΟΓΩΝ ΜΗΧΑΝΙΚΩΝ ΚΑΙ ΜΗΧΑΝΙΚΩΝ ΥΠΟΛΟΓΙΣΤΩΝ Τομές Ηλεκτρονικής κι Υπολογιστών Εργστήριο Επεξεργσίς Πληροφορίς κι Υπολογισμών (ΕΠΥ) Ανάπτυξη Συστήμτος Συλλογής Δεδομένων πό Πολλπλά Διδικτυκά Κοινωνικά Μέσ Διπλωμτική εργσί του Εμμνουήλ Σχοινά Α.Ε.Μ υπό την επίβλεψη του Κθηγητή κ. Περικλή Α. Μήτκ Θεσσλονίκη, 2011

2 2 Ευχριστίες Η προύσ διπλωμτική εργσί εκπονήθηκε στην ομάδ Ευφυών Συστημάτων κι Τεχνολογίς Λογισμικού (Intelligent Systems and Software Engineering Laboratory - ISSEL), η οποί νήκει στο εργστήριο Επεξεργσίς Πληροφορίς κι Υπολογισμών (ΕΠΥ) του Τμήμτος Ηλεκτρολόγων Μηχνικών κι Μηχνικών Υπολογιστών του Αριστοτελείου Πνεπιστημίου Θεσσλονίκης. Στο σημείο υτό ισθάνομι την υποχρέωση ν ευχριστήσω τους νθρώπους που συνέβλν στην ολοκλήρωσή της. Αρχικά θ ήθελ ν ευχριστήσω θερμά τον κθηγητή κ. Περικλή Α. Μήτκ γι την εμπιστοσύνη που μου έδειξε νθέτοντάς μου υτή την διπλωμτική εργσί κι κυρίως γι την κδημϊκή του στάση κτά τη διάρκει των σπουδών μου. Ιδιίτερ θ ήθελ ν ευχριστήσω τον υποψήφιο διδάκτορ κ. Κωνστντίνο Ββλιάκη γι την άριστη συνεργσί μς κθ όλη την διάρκει της ενσχόλησης μου με την διπλωμτική εργσί κι τη σημντική βοήθει που μου προσέφερε στ προβλήμτ που προυσιζότν. Έν μεγάλο ευχριστώ οφείλω στους κυρίους Μίλτο Τριντφύλλου, Αστέριο Νιδήμο, Αστέριο Κτσιφοδήμο, Μίλτο Κλύβ γι όλες τις κλές στιγμές της πολυετούς φιλίς μς. Τέλος θ ήθελ ν ευχριστήσω τους γονείς μου Χρήστο κι Κτερίν, κθώς κι την δερφή μου Νόνικ, που πάντ είνι εκεί γι ν με κούνε κι ν με στηρίζουν στις επιλογές μου. Στοιχεί Συγγρφέ: Ο Σχοινάς Εμμνουήλ είνι προπτυχικός φοιτητής του Τμήμτος Ηλεκτρολόγων Μηχνικών κι Μηχνικών Υπολογιστών του Αριστοτελείου Πνεπιστημίου Θεσσλονίκης. Διεύθυνση: Βέλιου 7, 54642, Θεσσλονίκη Ηλ. Διεύθυνση: manosetro@hotmail.gr

3 3 Σύνοψη Τ ιστολόγι, οι ιστοσελίδες κοινωνικής δικτύωσης, τ κοινωνικά μέσ διμοιρσμού πολυμέσων λεγόμενου ποτελούν τις πιο χρκτηριστικές εφρμογές του λεγόμενου Web2.0. Επίσης η διάδοση τους έχει δημιουργήσει νέες εφρμογές κι ιστότοπους που βσίζοντι στ υπάρχοντ διδεδομέν κοινωνικά μέσ, συλλέγουν πληροφορίες πό υτά, τις συνδυάζουν (aggregators, mushups) κι πρέχουν νέες μορφές πληροφορίς. Ωστόσο η συνεχής ντγωνισμός μετξύ τους έχει ως ποτέλεσμ τον επνσχεδισμό πολλών ιστοτόπων κι τη διρκή λλγή της εμφάνισης κι της δομής τους. Αυτό δυσχερίνει την συλλογή κι εξγωγή δεδομένων ιδιίτερ πό μικρότερους ιστότοπους που δεν πρέχουν κάποιο API γι την πρόσβση στ δεδομέν του. Οπότε κρίνετι νγκί η νάπτυξη μεθόδων που ν πρέχουν υτόμτη πρόσβση στ κοινωνικά δεδομέν νεξάρτητ της προέλευσής τους. Η προύσ διπλωμτική σν πρώτο στόχο έχει την διερεύνηση τέτοιων μεθόδων τόσο ως την συλλογή δεδομένων πό τον πγκόσμιο ιστό όσο κι γι την εξγωγή πληροφορίς κοινωνικών μέσων πό υτά τ δεδομέν. Επίσης στ πλίσι της διπλωμτικής υλοποιήθηκε έν σύστημ που εξερευνά τον πγκόσμιο ιστό κι επιχειρεί ν εντοπίσει ιστοσελίδες κοινωνικών μέσων. Από τις σελίδες υτές εξάγει πληροφορίες γι τους χρήστες του μέσου τις οποίες ποθηκεύει γι μελλοντική επεξεργσί κι νάλυση. Η επεξεργσί γίνετι νάλογ με τον τύπο του εγγράφου. Αν είνι ρχείο του σημσιολογικού ιστού τότε χρησιμοποιούντι οι ντίστοιχες τεχνολογίες επεξεργσίς σημσιολογικού περιεχόμενου. Στην περίπτωση HTML εγγράφων που ποτελούν κι την πλειονότητ η εξγωγή πργμτοποιείτι σε δύο στάδι. Στο πρώτο ελέγχετι ν η σελίδ περιέχει πληροφορί με τη μορφή των microformats. Αν νι τ δεδομέν εξάγοντι κι ποθηκεύοντι. Αν όχι η διδικσί περνά στο δεύτερο στάδιο που είνι η χρήση της μεθόδου DEPTA. Η μέθοδος υτή έχει στόχο την μεττροπή δεδομένων πό HTML σε πίνκες. Βσίζετι στην πόστση μεττροπής μετξύ δένδρων κι χρησιμοποιεί την νπράστση DOM μις σελίδς γι τον εντοπισμό εγγρφών. Οι εγγρφές που εντοπίζοντι μετσχημτίζοντι σε πίνκες με την διδικσί Μερικής Πράτξης Δένδρων (Partial Tree Alignment). Πίνκες που εντοπίζοντι επεξεργάζοντι επιπλέον με την εφρμογή μις σειράς ευριστικών κνόνων που στόχο έχουν διτήρηση μόνο υτών που περιέχουν δεδομέν κοινωνικών μέσων. Λέξεις-Κλειδιά: Κοινωνικά Μέσ, Εξγωγή δεδομένων, Crawling, Wrapper Induction, Hadoop, Nutch, Partial Tree Alignment.

4 4 Diploma Thesis A System for the Automatic Data Extraction from Multiple Social Media Abstract Weblogs, social networking websites, and social media are some of the most typical paradigms of the so-called Web2.0. Their proliferation has created new applications and websites, which use and integrate data from multiple sources to create new services. The competition between social networking websites for increasing the number of their users, leads to constant changes in their appearance and structure. Consequently, the process of automatic collection and extraction of data from these websites, especially from the ones that do not provide an appropriate API, is a challenging task. Thus, it is necessary to develop automatic data extraction methods that are independent from the various website structures. The main goal of this thesis was to investigate methods related both to the process of collecting data from the web and then extracting useful information from these data. A system that crawls the web and identifies social media sites was developed. The system extracts information about users and their social relations, which is stored for future processing and analysis. The process depends on the type of the web document. In case of semantically annotated web documents (FOAF files), extraction is based on semantic technologies and tools. In case of HTML pages, which are the most common type of documents, the extraction process occurs in two steps: First the HTML code is checked if it contains embedded semantic information in the form of microformats. If this is the case, data can be automatically extracted and stored. If not, our system analyzes the HTML structure with the DEPTA (Data Extraction based On Partial Tree Alignment) method. DEPTA is designed to convert HTML pages into tables. It is based on tree edit distance and uses the DOM representation of an HTML page to locate data records. Data records identified by DEPTA are transformed into tables using a Partial Tree Alignment procedure. Then tables are further processed by applying a set of heuristic rules that keep only information relevant to user s profile. Keywords: Social Media, Crawling, Wrapper Induction, Hadoop, Nutch, Partial Tree Alignment.

5 5 Συντομογρφίες - Abbreviations OSN DB (ΒΔ) FOAF HTML XML RDF API HDFS MR DOM STM MDR DEPTA WI Online Social Network Database (Βάση Δεδομένων) Friend Of A Friend Hypertext Markup Language Extensible Markup Language Resource Description Framework Application Program Interface Hadoop Distributed File System Map/Reduce Document Object Model Simple Tree Matching Mining Data Records Data Extraction based on Partial Tree Alignment Wrapper Induction Λεξικό Όρων Term Dictionary Data Extraction Tree Matching Tree Edit Distance Precision Recall Partial Tree Alignment Heuristics Εξγωγή Δεδομένων Αντιστοίχηση Δένδρων Απόστση Μεττροπής Δένδρων Ακρίβει Ανάκληση Μερική Πράτξη Δένδρων Ευριστικοί Κνόνες

6 6 Περιεχόμεν 1 Εισγωγή Ορισμός του Προβλήμτος Στόχος της Διπλωμτικής Συνοπτική Προυσίση του Συστήμτος Οργάνωση Κεφλίων Μεθοδολογί κι Έρευν Εισγωγή Web Crawling Γενικά Αρχιτεκτονική των Web Crawlers Υλοποίηση των Web Crawlers Τεχνικές Συλλογής Δεδομένων πό Κοινωνικά Μέσ Αυτόμτη εξγωγή δεδομένων πό το διδίκτυο Εργλεί κι τεχνικές γι την εξγωγή δεδομένων Συστήμτ εξόρυξης κοινωνικών δικτύων Σημσιολογικός Ιστός κι Κοινωνικά Δίκτυ Σημσιολογικός Ιστός Η οντολογί FOAF (Friend Of A Friend ή Φίλος ενός φίλου) Microformats Εργλεί κι Τεχνολογίες που χρησιμοποιήθηκν στην νάπτυξη του συστήμτος Java Eclipse JDBC MySQL JTidy Parser Any OpenRDF.org Sesame Απιτήσεις Συστήμτος... 46

7 7 3.1 Λειτουργικές Απιτήσεις Μη Λειτουργικές Απιτήσεις Ανλυτική Περιγρφή του Συστήμτος Αρχιτεκτονική του συστήμτος Το υποσύστημ crawling Apache Hadoop O Crawler του Apache Nutch Το υποσύστημ εξγωγής των δεδομένων Εξγωγή πό ρχεί FOAF Εξγωγή των microformats πό HTML Εξγωγή με την μέθοδο DEPTA Αποθήκευση δεδομένων Διεπφή χρήστη του συστήμτος Πειράμτ κι Αποτελέσμτ Αξιολόγηση του Crawler Αξιολόγηση της μεθόδου DEPTA Αξιολόγηση του συστήμτος Συμπεράσμτ κι Μελλοντική Εργσί Ανφορές κι Βιβλιογρφί Πράρτημ

8 8 Λίστ Σχημάτων Σχήμ 1: Διάγρμμ ροής ενός βσικού κολουθικού crawler. Στ ριστερά με δικεκομμέν βέλη φίνετι η ροή των δεδομένων Σχήμ 2: Αρχιτεκτονικό μοντέλο ενός βσικού crawler Σχήμ 3:Αρχιτεκτονικό μοντέλο της μηχνής νζήτησης Google [3] Σχήμ 4:Αρχιτεκτονική του συστήμτος των Shkapenyuk et al. [6] Σχήμ 5:Τ πέντε στάδι της διδικσίς crawling στον MultiCrawler [8] Σχήμ 6: Πράλληλο σύστημ crawling γι online κοινωνικά δίκτυ [12] Σχήμ 7: Περιγρφή σε XML της εξγωγής συνδέσμων με το Web-Harvest Σχήμ 8: Οι κτηγορίες των wrappers σύμφων με το [18] Σχήμ 9: Η γενική μορφή των συστημάτων wrapper induction [24] Σχήμ 10: Πράδειγμ πργωγής προτύπων στο σύστημ RoadRunner [21] Σχήμ 11: Δεδομέν σε μι ιστοσελίδ κι το ντίστοιχο EC tree [22] Σχήμ 12: Ο HTML κώδικς του πρδείγμτος του Σχήμ Σχήμ 13: Αντιστοίχηση του δένδρου T1 με το T2 [23] Σχήμ 14: Τ τέσσερ στάδι λειτουργίς στο σύστημ του [23] Σχήμ 15: Η διδικσί πργωγής των προτύπων εξγωγής του [22] Σχήμ 17: Η ρχιτεκτονική του συστήμτος Flink Σχήμ 18: Πράδειγμ της οντολογίς FOAF σε RDF/XML Σχήμ 19: Τ δεδομέν πό το Σχήμ 18 με τη μορφή γράφου Σχήμ 21: Πράδειγμ του microformat XFN Σχήμ 24: Λεπτομερής προυσίση του συστήμτος Σχήμ 26: Η ρχιτεκτονική του συστήμτος ρχείων κι κτλόγων HDFS Σχήμ 27: Η λειτουργί της διτήρησης ντιγράφων σφλείς στους κόμβους ενός HDFS cluster Σχήμ 28: Η διδικσί νάγνωσης δεδομένων στο σύστημ ρχείων HDFS [33] Σχήμ 30: Το προγρμμτιστικό μοντέλο Map/Reduce [33] Σχήμ 31: Πράδειγμ εφρμογής του μοντέλου map/reduce Σχήμ 32: Τ υποσυστήμτ του Nutch Σχήμ 33: Η λειτουργί των τμημάτων του Nutch που φορούν στο crawling Σχήμ 34: Η διδικσί δημιουργίς λιστών προσκόμισης Σχήμ 35: Η ρχιτεκτονική του υποσυστήμτος εξγωγής των δεδομένων Σχήμ 36: () Σύντξη ερωτήμτος γι την εξγωγή κάποιων προσωπικών δεδομένων. (β) Χρήση της βιβλιοθήκης Elmo γι την εξγωγή τόμων πό FOAF Σχήμ 37: Η διδικσί εξγωγής με τον FoafExtractor Σχήμ 38: Η διδικσί εξγωγής κι επεξεργσίς των microformats με τον MicroformatExtractor

9 9 Σχήμ 39: Πράδειγμ εξγωγής πληροφορίς με χρήση των microformats. () HTML με microformats (β) Αποτέλεσμ της Any23 (γ) Σύντξη Ερωτήμτος γι νζήτηση χρηστών (δ) Σύντξη Ερωτήμτος γι νζήτηση σχέσεων Σχήμ 40: Πράδειγμ ενός δένδρου DOM μις περιοχής δεδομένων [26] Σχήμ 41: Η συνολική λειτουργί του συστήμτος DEPTA [26] Σχήμ 42: Βέλτιστη ντιστοίχηση δένδρων Σχήμ 44: Έν πράδειγμ περιοχών δεδομένων κι γενικευμένων κόμβων [26] Σχήμ 45: Εντοπισμένες περιοχές δεδομένων στο YouTube Σχήμ 46: () Ο λγόριθμος MDR (β) Η διδικσί CombComb Σχήμ 47: Πράδειγμ συνδυσμών των κόμβων ενός δένδρου [26] Σχήμ 48: () Ο λγόριθμος FindDRs (β) Η διδικσί εντοπισμού περιοχών IdentDRs (γ) Η διδικσί UnCoveredDRs Σχήμ 49: () Γενικευμένοι κόμβοι με περισσότερες πό μί εγγρφές κι (β) γενικευμένοι κόμβοι με μη-συνεχόμενες εγγρφές [26] Σχήμ 50: Η διδικσί εντοπισμού εγγρφών σε γενικευμένους κόμβους Σχήμ 51: Επέκτση δένδρου με την εισγωγή κόμβων. () κι (β) Μονδικά κθορισμένη θέση εισγωγής. (γ) Αμφισημί στην θέση εισγωγής [26] Σχήμ 52: Μερική Πράτξη Δένδρων γι δύο εγγρφές. () Αντιστοίχηση του Ts με το Τ1. (β) Αντιστοίχηση του Ts με το Τ2. (γ) Πργόμενος πίνκς Σχήμ 53: Ολγόριθμος Partial Tree Alignment Σχήμ 54: Πράδειγμ εξγωγής της μεθόδου DEPTA γι το προφίλ ενός χρήστη. () Δεδομέν προφίλ ενός χρήστη πό τον ιστότοπο Netlog. (β) Τμήμ του δένδρου DOM με εντοπισμέν τ δεδομέν. (γ) Αποτελέσμτ της μεθόδου DEPTA Σχήμ 55: Πράδειγμ εξγωγής της μεθόδου DEPTA γι τις επφές ενός χρήστη. () Δεδομέν επφών πό τον ιστότοπο Flixster. (β) Ο Πίνκς 2x12 που πράγετι γι τις δυο εγγρφές του Σχήμ 56: Δομή πίνκ χρηστών Σχήμ 57: Δομή πίνκ επφών Σχήμ 59: () Αρχική σελίδς της διεπφής. (β) Ανζήτηση χρηστών με το όνομ Helen κι ποτελέσμτ. (γ) Πληροφορίες γι τον πρώτο χρήστη των ποτελεσμάτων του (β) Σχήμ 60: () Χρήστες κι σελίδες γι 135 ώρες λειτουργίς του συστήμτος (β) Κνονικοποιημένο διάγρμμ των χρηστών κι των σελίδων γι 135 ώρες λειτουργίς

10 10 Λίστ Πινάκων Πίνκς 1: Κτηγορίες Κοινωνικών Μέσων κι Πρδείγμτ Πίνκς 2: Αξιολόγηση των τριών τρόπων λειτουργίς ενός κτνεμημένου συστήμτος crawling [5] Πίνκς 3: Γνωστοί λγόριθμοι επιλογής κόμβων Πίνκς 5: Οι τέσσερις κόμβοι μπλντέρ ενός πρότυπου δένδρου Πίνκς 6: Τ σημντικότερ microformats Πίνκς 7: Οι ιδιότητες της οντολογίς vcard Πίνκς 8: Πρδείγμτ ετικετών του πίνκ χρηστών Πίνκς 9: Πρδείγμτ που κρτά ο πρώτος ευριστικός κνόνς εξγωγής πρόμοιων συνδέσμων Πίνκς 10: Απόστση μεττροπής μετξύ διφορετικών URL Πίνκς 11: Χρκτηριστικά του συστήμτος δοκιμής Πίνκς 12: Αποτελέσμτ precision/recall της μεθόδου DEPTA Πίνκς 13: Μετρήσεις της ορθότητς της μεθόδου DEPTA σε συθήκες crawling Πίνκς 14: Μέτρηση του ποσοστού των επφών που εντοπίζοντι σε 20 τυχίες σελίδες

11 11 Εισγωγή 1.1 Ορισμός του Προβλήμτος Τ ιστολόγι, οι ιστοσελίδες κοινωνικής δικτύωσης, τ κοινωνικά μέσ διμοιρσμού πολυμέσων ποτελούν τις πιο χρκτηριστικές εφρμογές του λεγόμενουweb2.0. Οι ιστότοποι υτοί έχουν πάψει ν θεωρούντι πλές σελίδες λλά πλτφόρμες προχής υπηρεσιών. Επίσης η διάδοση τους έχει δημιουργήσει νέες εφρμογές κι ιστότοπους που βσίζοντι στ υπάρχοντ διδεδομέν κοινωνικά μέσ, συλλέγουν πληροφορίες πό υτά, τις συνδυάζουν κι πρέχουν νέες υπηρεσίες κι δεδομέν. Ωστόσο η συνεχής ντγωνισμός μετξύ τους έχει ως ποτέλεσμ τον επνσχεδισμό πολλών ιστοτόπων κι τη διρκή λλγή της εμφάνισης κι της δομής τους. Αυτό δυσχερίνει την συλλογή κι εξγωγή δεδομένων ιδιίτερ πό μικρότερους ιστότοπους που δεν πρέχουν κάποιο APIγι την πρόσβση στ δεδομέν του. Οπότε κρίνετι νγκί η διερεύνηση τρόπων κι μεθόδων που ν πρέχουν υτόμτη πρόσβση στ κοινωνικά δεδομέν νεξάρτητ της προέλευσής τους. 1.2 Στόχος της Διπλωμτικής Σκοπός της προύσς διπλωμτικής είνι η νάπτυξη ενός συστήμτος συλλογής κοινωνικών δεδομένων πό πολλπλές διδικτυκές πηγές. Με τον όρο κοινωνικά δεδομέν θεωρούμε τ προσωπικά δεδομέν του προφίλ των χρηστών κι κυρίως τις κοινωνικές σχέσεις μετξύ χρηστών. Το σύστημ πρέπει ν είνι ρκετά γενικό, δηλδή ν μπορεί ν εντοπίζει κι ν εξάγει πληροφορίες πό διφορετικές πηγές χωρίς ν βσίζετι στ ιδιίτερ χρκτηριστικά κάθε πηγής.

12 12 Επίσης επιχειρείτι μι προυσίση μεθόδων κι συστημάτων που σχετίζοντι με το πρόβλημ υτό. Οι έρευνες που μελετήθηκν κι προυσιάζοντι κττάσσοντι σε δύο κτηγορίες. Η πρώτη φορά σε συστήμτ που στόχο έχουν την δειγμτοληψί ενός κοινωνικού μέσου με τρόπο ώστε το υποσύνολο του δικτύου ν είνι όσο τι δυντόν πιο ντιπροσωπευτικό. Η δεύτερη κτηγορί είνι συστήμτ εξγωγής δεδομένων πό ιστοσελίδες κι δεν σχετίζοντι ποκλειστικά με δεδομέν κοινωνικής δικτύωσης λλά με οποιδήποτε δεδομένου γενικότερου ενδιφέροντος. 1.3 Συνοπτική Προυσίση του Συστήμτος Τ σύστημ που νπτύχθηκε ποτελείτι πό δύο κυρίως τμήμτ. Το τμήμ συλλογής των σελίδων κι το τμήμ που επεξεργάζετι κι εξάγει δεδομέν πό τις σελίδες που συλλέχθηκν. Οι σελίδες υτές μπορεί ν είνι είτε HTMLσελίδες του πρδοσικού ιστού είτε RDFδεδομέν του σημσιολογικού ιστού. Το σύστημ συλλογής βσίζετι στον Apache Nutch Crawler. ΤοNutch είνι λογισμικό νοικτού κώδικ γι τη δημιουργί μηχνών νζήτησης. Διθέτει μηχνισμούς γι την διάσχιση του πγκόσμιου ιστού κι τη συλλογή ιστοσελίδων κθώς κι μηχνισμού γι την νζήτηση στ ποθηκευμέν δεδομέν. Γι την επεξεργσί των σελίδων που συλλέγοντι νπτύχθηκν διφορετικά τμήμτ λογισμικού. Συγκεκριμέν υπάρχουν τρείς εξγωγείς δεδομένων (Extractors): O FoafExtractor γι την επεξεργσί σελίδων του σημσιολογικού ιστού, ο MicroformatExtractor γι την εξγωγή σημσιολογικών δεδομένων με τη μορφή των microformats πό HTML σελίδες, κι τέλος ο HtmlExtractor γι την εξγωγή πό πλή HTML με χρήση μεθόδων που θ προυσιστούν νλυτικά στο κεφάλιο 0. Ν σημειωθεί επίσης ότι τ δεδομέν που εξάγοντι ποθηκεύοντι σε μι σχεσική βάση δεδομένων που νπτύχθηκε γι το σκοπό υτό. Γι την πρόσβση στ δεδομέν υτά νπτύχθηκε μι πλή web-based διεπφή χρήστη. 1.4 Οργάνωση Κεφλίων Η δομή που κολουθείτι στο πρόν κείμενο έχει ως εξής: Κεφάλιο 2 Μεθοδολογί κι Έρευν. Στο κεφάλιο υτό γίνετι μι προυσίση των μεθόδων κι των συστημάτων που σχετίζοντι με το πρόβλημ της συλλογής δεδομένων πό κοινωνικά δίκτυ. Προυσιάζοντι μέθοδοι συλλογής δεδομένων πό τον ιστό, νλύσεις των κοινωνικών δικτύων, κι συστήμτ εξγωγής μη δομημένης πληροφορίς πό ιστοσελίδες. Κεφάλιο 3 Απιτήσεις Συστήμτος. Στο κεφάλιο υτό προυσιάζοντι οι πιτήσεις λογισμικού σύμφων με τις οποίες έγινε η σχεδίση κι υλοποίηση του συστήμτος.

13 13 Κεφάλιο 4 Ανλυτική Περιγρφή του Συστήμτος. Στο κεφάλιο υτό προυσιάζετι με λεπτομέρειες το σύστημ που νπτύχθηκε στ πλίσι της διπλωμτικής. Προυσιάζετι η ρχιτεκτονική του κι περιγράφοντι τ υποσυστήμτ πό τ οποί ποτελείτι. Επίσης νφέροντι οι βιβλιοθήκες κι το έτοιμο λογισμικό που χρησιμοποιείτι πό το σύστημ. Κεφάλιο 5 Πειράμτ κι Αποτελέσμτ. Στο κεφάλιο υτό προυσιάζοντι τ πειράμτ που έγινν με σκοπό την ξιολόγηση κι την επίδειξη κλής λειτουργίς του συστήμτος. Επίσης δίνοντι τ ποτελέσμτ που προέκυψν κι μετρήσεις της ποτελεσμτικότητς του συστήμτος. Κεφάλιο 6 Συμπεράσμτ κι Μελλοντική Εργσί. Στο τελευτίο κεφάλιο ξιολογούντι τ ποτελέσμτ κι προτείνοντι βελτιώσεις κι μελλοντικές επεκτάσεις.

14 14 Μεθοδολογί κι Έρευν 2.1 Εισγωγή Τ κοινωνικά μέσ (Social Media) σύμφων με τον ορισμό της Wikipedia είνι μέσ κοινωνικής λληλεπίδρσης, με τη χρήση εργλείων δημοσίευσης κι διμοιρσμού της πληροφορίς βσισμέν στις τεχνολογίες του πγκόσμιου ιστού. Ο Πίνκς 1 προυσιάζει τις διάφορες κτηγορίες κοινωνικών μέσων κι χρκτηριστικά πρδείγμτ. Οι ιστότοποι κοινωνικής δικτύωσης ποτελούν μι κτηγορί κοινωνικών μέσων με στόχο την δημιουργί κοινωνικών σχέσεων μετξύ νθρώπων. Η διάκριση ωστόσο κι η κτηγοριοποίηση των κοινωνικών μέσων είνι δύσκολη κθώς όλο κι περισσότεροι ιστότοποι διθέτουν μι πληθώρ χρκτηριστικών κι προσφέρουν έν σύνολο υπηρεσιών. Γι πράδειγμ το facebook ποτελεί πράδειγμ ιστότοπου κοινωνικής δικτύωσης, με τη δυντότητ γι διμοιρσμό κι σχολισμό πολυμεσικού υλικού. Επίσης κοινωνικά μέσ διμοιρσμού υλικού όπως το YouTube κι το Flickr, ή κριτικών όπως το Epinions κι το Flixster, έχουν χρκτηριστικά κοινωνικών δικτύων. Γι' υτό κι στην προύσ εργσί τ διδικτυκά κοινωνικά μέσ ντιμετωπίζοντι ενιί. Αυτό σημίνει ότι νεξάρτητ πό τον τύπο του κοινωνικού μέσου, θεωρούμε ότι υπάρχουν κάποι κοινά χρκτηριστικά τ οποί μς ενδιφέρουν. Αυτά τ κοινά χρκτηριστικά είνι ότι φενός κάθε ιστότοπος διθέτει κάποι προσωπικά δεδομέν γι τους χρήστες του, όπως όνομ, ηλικί, τοποθεσί, ή έστω έν nickname. Αφετέρου όλ τ κοινωνικά μέσ διτηρούν δεδομέν της μορφής [χρήστης 1, χρήστης 2, σχέση]. Δηλδή κάποιος χρήστης σχετίζετι με κάποιον άλλο

15 15 μέσω κάποις κθορισμένης σχέσης. Αυτή η σχέση μπορεί ν υπονοεί φυσική γνωριμί, μι σχέση εμπιστοσύνη, πλό ενδιφέρον γι κάποιο χρήστη κτλ. Επίσης η σχέση μπορεί ν είνι μφίδρομη ή όχι. Το ενδιφέρον μς στρέφετι γι τον εντοπισμό υτών των σχέσεων κι στο βθμό που υτό είνι δυντό του είδους της σχέσης. Πίνκς 1: Κτηγορίες Κοινωνικών Μέσων κι Πρδείγμτ Κτηγορίες Κοινωνικών Μέσων Blogs Microblogging Social Networking Wikis Multimedia sharing Reviews Πρδείγμτ Blogger, LiveJournal, WordPress Twitter, Google Buzz, Tumblr Facebook, MySpace, Hi5,Orkut, LinkedIn, Google+ Wikia, Wikimedia Flickr, YouTube, Picasa, deviant Art, Openfilm, Scribd Epinions, Yelp, GoodReads, Flixster 2.2 Web Crawling Γενικά Οι web crawlers, γνωστοί κι ως ants, worms, web robots ή web spiders, είνι προγράμμτ υπολογιστή, τ οποί διτρέχουν τον πγκόσμιο ιστό μέσω των συνδέσμων που υπάρχουν στις ιστοσελίδες κι συλλέγουν πόρους με μεθοδικό κι υτομτοποιημένο τρόπο. Υπάρχουν πολλές εφρμογές στις οποίες χρησιμοποιούντι οι crawlers. Μι πό υτές είνι η συλλογή συγκεκριμένων δεδομένων πό διδικτυκούς τόπους, κθώς κι η συστημτική πρκολούθηση ιστοσελίδων (monitoring) κι η ειδοποίηση των χρηστών κι των διφόρων διδικτυκών κοινοτήτων ότν εμφνίζοντι νέες πληροφορίες. Επίσης χρησιμοποιούντι γι την επικύρωση HTML εγγράφων (HTML validation) κι τον έλεγχο εγκυρότητς των συνδέσμων (link validation). Υπάρχουν επίσης κκόβουλες εφρμογές των web crawlers, όπως γι πράδειγμ η συγκέντρωση ηλεκτρονικών διευθύνσεων πό σελίδες γι χρήση σε spam κι η εξγωγή προσωπικών δεδομένων γι χρήση σε phishing κι άλλου είδους πράνομες επιθέσεις. Ωστόσο η ποιο ευρεί χρήση του crawling γίνετι πό τις μηχνές νζήτησης. Είνι γεγονός ότι οι crawlers που χρησιμοποιούντι πό τις διάφορες μηχνές νζήτησης γι την δημιουργί ευρετηρίων (indexes) είνι οι σημντικότεροι κτνλωτές εύρους ζώνης (bandwidth) στο διδικτύου. Ο βσικός λγόριθμος που εκτελείτι πό έν crawler χρησιμοποιεί σν είσοδο μι λίστ πό ρχικά URLs, που ονομάζοντι seeds, κι στη συνέχει εκτελεί επνλμβνόμεν την εξής διδικσί. 1. Αφιρεί έν URL πό τη λίστ των URLs. 2. Κθορίζει την IP διεύθυνση του δικομιστή (DNS resolving).

16 16 3. Αποκτά το έγγρφο που φορά το URL, μέσω ιτήμτος στον δικομιστή. 4. Εξγωγή των URL πό κάθε σύνδεσμο που υπάρχει στο έγγρφο. 5. Προσθήκη κάθε νέου URL στη λίστ των URLs, εκτός κι ν υτό υπάρχει ήδη στη λίστ ή ο crawler έχει επισκεφθεί την ντίστοιχη τοποθεσί στο πρελθόν. Σχήμ 1: Διάγρμμ ροής ενός βσικού κολουθικού crawler. Στ ριστερά με δικεκομμέν βέλη φίνετι η ροή των δεδομένων. Αν το περιεχόμενο κι η δομή του διδικτύου ήτν σττικά τότε η διδικσί του crawling θ ήτν ρκετά πλή. Ωστόσο τ χρκτηριστικά του Πγκόσμιου Ιστού, όπως ο μεγάλος του όγκος, ο τχύς ρυθμός λλγής του κι η δυνμική πργωγή ιστοσελίδων κθιστούν το έργων των web crawlers δύσκολο κι επιβάλλουν μι σειρά πολιτικών που ρυθμίζουν την συμπεριφορά κι την λειτουργί τους. Συνοπτικά οι πολιτικές υτές είνι οι εξής:

17 17 Πολιτική επιλογής (selection policy). Κθορίζει τον τρόπο με τον οποίο επισκέπτετι τις σελίδες ο crawler. Γνωστές πολιτικές επιλογής είνι η πολιτική PageRank που υπολογίζει τη σπουδιότητ μις σελίδς νλύοντς τους εισερχόμενους συνδέσμους πό άλλες ιστοσελίδες προς υτήν, η πολιτική Breadth First στην οποί ο crawler επισκέπτετι τις σελίδες με τη σειρά που τις νκλύπτει, κθώς κι οι πολιτικές εστισμένου crawling (focused ή topical) όπου οι web crawlers επιλέγουν ιστοσελίδες με συγκεκριμένου τύπου δεδομέν. Πολιτική επνεπίσκεψης (revisit policy). Κθορίζει τον τρόπο με τον οποίο ο crawler θ επισκέπτετι ξνά σελίδες που έχει κιρό ν επισκεφθεί κι πιθνόν ν έχουν λλάξει. Οι πολιτικές επνεπίσκεψης συνήθως είνι i) η ενιί πολιτική (Uniform Policy) στην οποί το σύστημ επνεπισκέπτετι όλες τις σελίδες με τον ίδιο ρυθμό κι ii) η νλογική πολιτική (Proportional Policy) στην οποί το σύστημ επισκέπτετι πιο συχνά τις σελίδες που λλάζουν συχνότερ. Πολιτική ευγένεις (politeness policy). Αφορά στον έλεγχο της συμπεριφοράς των crawler ώστε ν μην υπερφορτώνουν τους δικομιστές κι κτνλώνουν μεγάλο εύρος ζώνης. Μι μερική λύση είνι το πρωτόκολλο robots.txt μέσω του οποίου οι διχειριστές συστημάτων μπορούν ν κθορίσουν ποι μέρη του δικομιστή δεν θ είνι προσβάσιμ πό προγράμμτ crawling κθώς επίσης κι οδηγίες γι το διάστημ που θ πρέπει ν μεσολβεί νάμεσ στις επισκέψεις των σελίδων πό τους crawlers γι τον ίδιο δικομιστή. Το πρωτόκολλο υτό εφρμόζετι με την ύπρξη ενός ρχείου που ονομάζετι robots.txt κι το οποίο νζητούν οι crawlers μόλις επισκέπτοντι ένν ιστότοπο. Πολιτική πρλληλοποίησης (parallelization policy). Αφορά στην πρλληλοποίηση της διδικσίς ώστε ν μεγιστοποιείτι η πόδοση του crawler. Η πρλληλοποίηση μπορεί ν φορά σε πολυνημτικές ή πολυδιεργσικές υλοποιήσεις των crawlers, μέχρι την υλοποίηση πλήρως κτνεμημένων συστημάτων web crawling Αρχιτεκτονική των Web Crawlers Η υλοποίηση ποδοτικών συστημάτων web crawling ικνών ν λειτουργούν γι μεγάλο χρονικό διάστημ κι ν διχειρίζοντι μεγάλο όγκο δεδομένων με τχείς ρυθμούς επιβάλλει την σχεδίση του συστήμτος με χρήση τμημάτων λογισμικού, όπως φίνετι κι στο Σχήμ 2. Τ τμήμτ υτά γι την βσική λειτουργί ενός crawler είνι: 1. Το τμήμ που ονομάζετι URL frontier κι κρτά μι λίστ με τ URLs που πρέπει ν επιστρεφθεί ο crawler. 2. Το τμήμ που είνι υπεύθυνο γι την μεττροπή των host names σε IP διευθύνσεις (DNS resolver).

18 18 3. Το τμήμ που είνι υπεύθυνο γι την προσκόμιση των εγγράφων χρησιμοποιώντς το πρωτόκολλο HTTP (Retrieving Module). 4. Το τμήμ που επεξεργάζετι τ ποκτηθέντ έγγρφ, π.χ. η εξγωγή των νέων URLs (Processing Module). Σχήμ 2: Αρχιτεκτονικό μοντέλο ενός βσικού crawler Υλοποίηση των Web Crawlers Ο τρόπος με τον οποίο υλοποιούντι τ επιμέρους τμήμτ ενός crawler κθορίζει τις πολιτικές που νφέρθηκν στην ενότητ Γι πράδειγμ το τμήμ προσκόμισης (retrieving module) με τον τρόπο που κάνει τ HTTP ιτήμτ στους web servers κθορίζει την πολιτική ευγένεις που κολουθεί ο crawler. Η υλοποίηση του frontier κθορίζει σε μεγάλο βθμό την πολιτική επιλογής που κολουθείτι. Η πολιτική Breadth-First π.χ. υλοποιείτι πολύ εύκολ με μι πλή FIFO ουρά. Αντιθέτως μι πολιτική θεμτικής επιλογής (topical) πιτεί μι ουρά προτεριότητς στην οποί τ URLs ποθηκεύοντι με βάση το περιεχόμενο τους. Το τμήμ επεξεργσίς των ποκτηθέντων εγγράφων (processing module) ορίζει το πεδίο εφρμογής του crawler. Σε μι μηχνή νζήτησης το τμήμ υτό, εκτός πό την εξγωγή νέων URLs είνι υπεύθυνο γι την δημιουργί ευρετηρίων (indexing). Στην σχετική βιβλιογρφί έχουν προτθεί ρκετοί web crawlers κι διφορετικές πράλληλες ρχιτεκτονικές κι πρκάτω γίνετι μι νφορά στις σημντικότερες πό υτές. Στο [3] οι Page κι Brin προτείνουν μι πράλληλη ρχιτεκτονική που ποτέλεσε

19 19 τη βάση γι την μηχνή νζήτησης της Google (Σχήμ 3). Το σύστημ ποτελείτι πό πολλούς κτνεμημένους crawlers, γρμμένους σε C ή C++. Η διχείριση γίνετι κεντρικά πό μι διεργσί, που ονομάζετι URLserver, η οποί ποστέλλει λίστες με URLs στους crawlers. Αντίστοιχ, μετά την προσκόμιση των εγγράφων, η διεργσί StoreServer είνι υπεύθυνη γι την ποθήκευση τους. Τ ποθηκευμέν έγγρφ επεξεργάζοντι στη συνέχει πό ντίστοιχες διεργσίες (URLresolver, Indexer, κτλ). Σχήμ 3:Αρχιτεκτονικό μοντέλο της μηχνής νζήτησης Google [3]. Ο Mercator [1] των Heydon κι Najork ποτελεί κλσσικό πράδειγμ ενός επεκτάσιμου κι πράλληλου crawler, ικνού ν επισκέπτετι έν μεγάλο ριθμό σελίδων γι μεγάλ χρονικά διστήμτ. Είνι γρμμένος σε Java με τη χρήση πολυνημτικού προγρμμτισμού. Στο URL frontier ποθηκεύοντι κεντρικά όλ τ URLs που πρέπει ν προσκομιστούν. Η προσκόμιση των εγγράφων γίνετι πράλληλ πό διφορετικά νήμτ, ενώ η επεξεργσί τους επίσης γίνετι πό πράλληλ νήμτ. Ν σημειωθεί ότι υποστηρίζει τ πρωτόκολλ HTTP, FTP κι Gopher γι την προσκόμιση των εγγράφων, ενώ η επέκτση της λειτουργίς του γίνετι πλά με την υλοποίηση νέων νημάτων επεξεργσίς. Όλη η εφρμογή ποτελεί μι διεργσί που τρέχει σε έν μηχάνημ. Οι ίδιοι συγγρφείς στο [2] επεκτείνουν τον Mercator δημιουργώντς μι κτνεμημένη υλοποίηση του. Σε κάθε κόμβο τρέχει μι έκδοση της πολυνημτικής διεργσίς που περιγράφηκε πρπάνω. Με τη διφορά ότι κάθε μι πό υτές τις κτνεμημένες διεργσίες είνι υπεύθυνες γι μι υποομάδ πό URLs. Κάθε URL που εξάγετι πό έν έγγρφο κτά το στάδιο της επεξεργσίς ελέγχετι ν νήκει στην

20 20 υποομάδ των URLs γι τ οποί είνι υπεύθυνη η διεργσί. Αν νι τότε ποθηκεύετι στο τοπικό frontier. Αν όχι ποστέλλετι στην ντίστοιχη διεργσί. Στο [6] περιγράφετι η ρχιτεκτονική που φίνετι στο Σχήμ 4. Ο crawler ποτελείτι πό δυο κυρίως υποσυστήμτ, που νφέροντι ως Crawling Application κι Crawling System. Το πρώτο είνι υπεύθυνο γι την επεξεργσί των εγγράφων που έχουν προσκομιστεί (parsing, indexing, ποθήκευση κτλ) κθώς κι γι την επιλογή του επόμενου URL προς προσκόμιση. Με άλλ λόγι υτό το υποσυστήμτ κθορίζει τις πολιτικές επιλογής κι επνεπίσκεψης του crawler. Το δεύτερο υποσύστημ (Crawling System) είνι υπεύθυνο γι την προσκόμιση εγγράφων σύμφων με το πρωτόκολλο robots.txt. Κεντρικό κομμάτι του είνι ο Crawl Manager ο οποίος δέχετι σν είσοδο λίστες με URLs, κι στη συνέχει ελέγχει ν γνωρίζει τις ντίστοιχες IP διευθύνσεις κι ν όχι τις ποκτά μέσω του DNS resolver. Επίσης ποκτά κι διτηρεί τ ρχεί robots.txt γι κάθε server που πρόκειτι ν επισκεφθεί, κι σύμφων με τις οδηγίες τους φιρει τ URLs που δεν επιτρέπετι η πρόσβση. Στη συνέχει προωθεί τ υπόλοιπ URLs στους downloaders οι οποίοι με πολλπλά σύγχρον ιτήμτ HTTP κι σύμφων πάντ με τους ρυθμούς που ορίζει το πρωτόκολλο robots.txt, ποκτούν τ ντίστοιχ έγγρφ. Σχήμ 4:Αρχιτεκτονική του συστήμτος των Shkapenyuk et al. [6]. Οι Cho κι Molina στο [5] προτείνουν κι εξετάζουν διφορετικές πράλληλες ρχιτεκτονικές κι μέτρ ξιολόγησης της πόδοσής τους. Τ μέτρ φορούν κυρίως στην κάλυψη (coverage) που μπορεί ν επιτευχθεί πό την συγκεκριμένη ρχιτεκτονική, στην επικάλυψη (overlap) που υπάρχει ότν διφορετικές διεργσίς προσκομίζουν το ίδιο έγγρφο, κθώς κι στην επιβάρυνση του δικτύου εξιτίς της επικοινωνίς των διεργσιών (communication overhead). Η βσική ρχιτεκτονική του συστήμτος ποτελείτι πό διεργσίες κτνεμημένες στους κόμβους ενός δικτύου. Η κτνομή των διευθύνσεων στους κόμβους μπορεί ν γίνετι δυνμικά ή σττικά. Οι συγγρφείς

21 21 εξετάζουν μόνο την σττική κτνομή κι δικρίνουν τρείς τρόπους λειτουργίς. Στον πρώτο κάθε κόμβος προσκομίζει μόνο τις διευθύνσεις του χώρου που του έχει ντεθεί κι πλά πορρίπτει κάθε άλλο URL (Firewall mode). Στον δεύτερο ένς κόμβος επισκέπτετι ρχικά διευθύνσεις του χώρου που του έχει ντεθεί λλά κολουθεί κι συνδέσμους που νήκουν σε άλλους κόμβους (Cross-over mode). Τέλος στον τρίτο τρόπο λειτουργίς οι κόμβοι επικοινωνούν μετξύ τους κι ντλλάσουν τις διευθύνσεις γι τις οποίες δεν είνι υπεύθυνοι (Exchange mode). O Πίνκς 2 συγκρίνει τρεις τρόπους λειτουργίς με βάση τ μέτρ ξιολόγησης που νφέρθηκν. Ο UbiCrawler στο [7] ποτελεί πράδειγμ ενός πλήρους κτνεμημένου συστήμτος γι web crawling. Το σύστημ ποτελείτι πό πολλούς πράκτορες που δρουν υτόνομ κι κθένς τους είνι υπεύθυνος γι έν τμήμ του διδικτύου. Κάθε πράκτορς ποτελείτι πό πολλπλά νήμτ, έν γι κάθε κόμβο που επισκέπτετι ο πράκτορς. Κάθε νήμ προσκομίζει όλ τ έγγρφ του κόμβου που του έχει ντεθεί με τη σειρά που τ νκλύπτει. Δηλδή κολουθείτι μι per host breadth-first στρτηγική. Οι διευθύνσεις γι τις οποίες δεν είνι υπεύθυνος ο πράκτορς ποστέλλοντι στον ντίστοιχο πράκτορ ο οποίος ομοίως τις νθέτει στο ντίστοιχο νήμ. Η κτνεμημένη ρχιτεκτονική έχει πλεονεκτήμτ ως προς την ξιοπιστί του συστήμτος λλά πιτείτι η κτά διστήμτ ποθήκευση της κτάστσης του συστήμτος κθώς κι η υλοποίηση ενός μηχνισμού νίχνευσης των πρκτόρων που δεν λειτουργούν κι διόρθωσης σφλμάτων. Επίσης ξίζει ν σημειωθεί ότι οι συγγρφείς προτείνουν μι συνάρτηση δυνμικής νάθεσης διευθύνσεων σε πράκτορες, η οποί έχει την ιδιότητ ν διτηρεί στθερό το ποσοστό των διευθύνσεων νά πράκτορ κόμη κι ότν ο ριθμός τους υξομειώνετι π.χ. λόγω βλβών. Ο UbiCrawler είνι γρμμένος σε Java κι χρησιμοποιεί την τεχνολογί RMI γι την επικοινωνί μετξύ των κτνεμημένων πρκτόρων. Πίνκς 2: Αξιολόγηση των τριών τρόπων λειτουργίς ενός κτνεμημένου συστήμτος crawling [5]. Λειτουργί Κάλυψη Επικάλυψη Επικοινωνί Firewall Κκή Κλή Κλή Cross-over Κλή Κκή Κλή Exchange Κλή Κλή Κκή Έν σύστημ που ξίζει ν νφερθεί είνι ο Multicrawler των Harth et al. στο [8]. Η ιδιιτερότητ του συστήμτος είνι η δυντότητ γι εξγωγή δεδομένων τόσο πό τον πρδοσικό όσο κι πό τον σημσιολογικό ιστό. Η λειτουργί του συστήμτος γίνετι σε πέντε στάδι. Αρχικά προσκομίζετι το έγγρφο κι προσδιορίζετι ο τύπος του. Στη συνέχει το έγγρφο μεττρέπετι σε RDF με τη χρήση XSLT κι δημιουργείτι έν ευρετήριο με βάση υτό. Τέλος τ νέ URLs εξάγοντι κι προστίθεντι στη ουρά με μι breadth-first τρόπο. Στο Σχήμ 5 φίνετι υτή η διδικσί.

22 22 Σχήμ 5:Τ πέντε στάδι της διδικσίς crawling στον MultiCrawler [8] Τεχνικές Συλλογής Δεδομένων πό Κοινωνικά Μέσ Οι Crawlers που προυσιάσθηκν στην προηγούμενη ενότητ είνι προσντολισμένοι στην συλλογή δεδομένων π' τον πγκόσμιο ιστό, ο οποίος είνι οργνωμένος με βάση το περιεχόμενο των σελίδων του. Αντιθέτως τ online κοινωνικά δίκτυ είνι οργνωμέν με βάση τους χρήστες κι τις συνδέσεις μετξύ τους. Μπορούμε ν πούμε ότι ένς σύστημ crawling γι κοινωνικά δίκτυ διθέτει περισσότερο τ χρκτηριστικά ενός θεμτικού ή εστισμένου crawler πρά ενός κλσσικού συστήμτος crawling του πγκόσμιου ιστού. Επιπλέον κάποι χρκτηριστικά των ιστοτόπων κοινωνικής δικτύωσης κθιστούν δυσκολότερη την διδικσί του crawling. Πρώτον πολλοί ιστότοποι προσττεύουν τ δεδομέν τους κι πιτούν υθεντικοποίηση πό μέρους των χρηστών τους. Δεύτερον τ περισσότερ κοινωνικά δίκτυ ποτρέπουν το crawling περιορίζοντς τον ριθμό ιτημάτων που μπορούν ν δεχθούν. Τρίτον η μεγάλη διάδοση των κοινωνικών δικτύων έχει ως ποτέλεσμ την ύπρξη εκτομμυρίων χρηστών. Επομένως η συλλογή δεδομένων με ποδοτικό τρόπο ποτελεί πρόκληση γι τ συστήμτ crawling. Επίσης όλο κι περισσότεροι ιστότοποι κοινωνικής δικτύωσης χρησιμοποιούν τεχνολογίες δυνμικών σελίδων (AJAX, DHTML) ενώ η νάπτυξη συστημάτων parsing δεν είνι νάλογη υτής της πολυπλοκότητς. Μολονότι υπάρχει εκτενής βιβλιογρφί στην νάλυση κοινωνικών δικτύων, λίγη δουλειά έχει γίνει όσον φορά τον τρόπο συλλογής των δεδομένων. Αν κι υπάρχουν έρευνες γι την δειγμτοληψί κοινωνικών γράφων οι περισσότερες προϋποθέτουν εκ των προτέρων γνώση του γράφου, πράγμ που δεν συμβίνει σε πργμτικές συνθήκες crawling. Οι Mislove et al. στο [10] συλλέγουν δεδομέν πό τέσσερ κοινωνικά δίκτυ (Flickr, YouTube, LiveLournal, Orkut) κι επιβεβιώνουν κάποιες γνωστές ιδιότητες των κοινωνικών γράφων (small world, power-law, correlated in-degree and out-degree). Χρησιμοποιούν υτομτοποιημέν scripts που τρέχουν σε έν cluster με 58 υπολογιστές κι επιλέγουν τον επόμενο χρήστη με μι Breadth-First στρτηγική(bfs) άλλ δεν νλύουν περισσότερο την ρχιτεκτονική του συστήμτος. Στο [15] οι Gjoka et al. προτείνουν μι μέθοδο δειγμτοληψίς των κοινωνικών δικτύων, γι την ομοιόμορφη επιλογή κόμβων χωρίς τη γνώση όλου του δικτύου. Συγκρίνουν επίσης τη μέθοδο τους με γνωστές στρτηγικές επιλογής όπως BFS κι τυχί διάσχιση (random walks). Δείχνουν έτσι ότι η μέθοδος τους πράγει ποιο ικνοποιητικά ποτελέσμτ όσον φορά το πόσο ντιπροσωπευτικά είνι τ δείγμτ, κθώς λγόριθμοι όπως ο BFS τείνουν ν επισκέπτοντι κόμβους με υψηλό βθμό.

23 23 Στ [13] κι [14] οι Korolova et al. κι Bonneau et al. ντίστοιχ σχολούντι με το πρόβλημ της μυστικότητς κι της πράνομης πρόσβσης σε δεδομέν κοινωνικών δικτύων. Χρησιμοποιούν διάφορες τκτικές γι την συλλογή δεδομένων κι το συμπέρσμ τους είνι ότι έν μικρό ποσοστό γνωστών κόμβων ρκεί γι ν έχουμε γνώση της δομής σχεδόν όλου του δικτύου. Κάποιες τεχνικές που χρησιμοποιούντι είνι ο λγόριθμος BFS, κθώς κι άπληστες επιλογές, όπως η επιλογή κόμβων με μεγάλο βθμό εισερχόμενων κι εξερχόμενων συνδέσεων. Χρησιμοποιούντι επίσης κι διάφορες μφιλεγόμενες έως πράνομες τεχνικές όπως phising γι την πευθείς πρόσβση στ δεδομέν των χρηστών κι η δημιουργί ψεύτικων λογρισμών κι ιτημάτων φιλίς σε «εύκολους» χρήστες. Αυτές οι τεχνικές δεν θ μς πσχολήσουν περιτέρω. Σχήμ 6: Πράλληλο σύστημ crawling γι online κοινωνικά δίκτυ [12]. Στο [12] οι Chau et al. προυσιάζουν έν σύστημ γι την συλλογή προσωπικών δεδομένων πό τ προφίλ των χρηστών του ιστότοπου ebay. Το σύστημ τους φίνετι στο Σχήμ 6 κι είνι έν πράλληλο σύστημ crawling. Η πρλληλοποίηση γίνετι σε δυο στάδι. Απ' τη μι υπάρχουν διφορετικοί κτνεμημένοι πράκτορες, ενώ κάθε πράκτορς τρέχει πολλπλά νήμτ. Η διχείριση γίνετι κεντρικά κθώς υπάρχει μι

24 24 κεντρική βάση δεδομένων όπου ποθηκεύοντι τ δεδομέν που συλλέγοντι κι μι λίστ με τους χρήστες προς επίσκεψη. Η νάθεση των χρηστών στους πράκτορες γίνετι δυνμικά με την πλή breadth-first στρτηγική. Στο [16] οι Lang et al. συνοψίζουν πολλές πό τις τεχνικές των πρπάνω ερευνών κι ξιολογούν πόσο επηρεάζουν τ ποτελέσμτ του crawling πράγοντες όπως η επιλογή των ρχικών κόμβων (seeds), ο ριθμός των προσττευμένων χρηστών κι ο λγόριθμος επιλογής του επόμενου κόμβου. Ο Πίνκς 3 προυσιάζει τους διάφορους λγόριθμους επιλογής που προυσιάζοντι στην έρευν τόσο των Lang et al. όσο κι σε όλες τις έρευνες που νφέρθηκν πρπάνω. Πίνκς 3: Γνωστοί λγόριθμοι επιλογής κόμβων. Αλγόριθμος Επιλογής Breadth First Search (BFS) Greedy Lottery Hypothetical Greedy Heuristicaly Greedy Degree-Greedy Random PageRank Περιγρφή Επιλογή του πρώτου κόμβου στη ουρά. Είνι ο ποιο πλός στην υλοποίηση του λγόριθμος. Ο crawler επιλέγει τον κόμβο με τον μεγλύτερο βθμό συνδέσεων με τους ήδη γνωστούς κόμβους. Ο crawler επιλέγει τυχί έν κόμβο πό την ουρά με πιθνότητ νάλογη του βθμού του στον ήδη γνωστό υπογράφο. Ο crawler επιλέγει τον κόμβο με τον μεγλύτερο βθμό συνδέσεων σε όλο τον γράφο. Αποτελεί μέτρο σύγκρισης κθώς πιτείτι η γνώση όλου του γράφου γι την υλοποίηση του. Ο crawler επιλέγει τον κόμβο με το μεγλύτερο ποσό άγνωστης πληροφορίς, σύμφων με έν ευριστικό μέτρο. Ο crawler επιλέγει τον κόμβο με τον μεγλύτερο ριθμό συνδέσεων με κόμβους που είνι μεν γνωστοί λλά δεν τους έχει επισκεφθεί κόμη. Αποτελεί πράδειγμ ευριστικού λγορίθμου. Ο crawler επιλέγει τυχί έν κόμβο πό την ουρά με πιθνότητ που κολουθεί ομοιόμορφη κτνομή. Ο Crawler επιλέγει τον σημντικότερο κόμβο με βάση τον λγόριθμο PageRank. 2.3 Αυτόμτη εξγωγή δεδομένων πό το διδίκτυο Στην προηγούμενη ενότητ έγινε μι προσπάθει γι την προυσίση των σημντικότερων ερευνών στο θέμ του crawling. Έγινε μι νφορά σε πολλές ρχιτεκτονικές κι στις πολιτικές που κολουθούντι, λλά νλύσμε ελάχιστ το κομμάτι της επεξεργσίς των εγγράφων που προσκομίζοντι. Το στάδιο της

25 25 επεξεργσίς εξρτάτι σε μεγάλο βθμό πό το πεδίο εφρμογής του crawler. Σε μι μηχνή νζήτησης το χρκτηριστικό της επεξεργσίς είνι η ποθήκευση των εγγρφών, η δημιουργί ευρετηρίων κι η εξγωγή των URLs πό τ έγγρφ. Σε άλλες εφρμογές, όπως οι εστισμένοι crawlers, στ ποκτηθέντ έγγρφ εφρμόζοντι τεχνικές επεξεργσίς φυσικής γλώσσς (NLP), μηχνικής μάθησης, εξόρυξης δεδομένων (data mining), κτλ, γι την πόκτηση των ζητούμενων πληροφοριών. Σε έν crawler προσντολισμένο σε ιστότοπους κοινωνικής δικτύωσης κι διδικτυκά κοινωνικά μέσ, το στάδιο της επεξεργσίς πιτεί επίσης εξελιγμένες τεχνικές επεξεργσίς. Τ δεδομέν του προφίλ των χρηστών στ κοινωνικά δίκτυ, οι δεσμοί μετξύ τους, κθώς κι ο τύπος υτών των δεσμών δομούντι με πολύ διφορετικό τρόπο μετξύ των ιστοτόπων. Η διφορετικότητ των δεδομένων σε συνδυσμό με τη πληθώρ των ιστότοπων κθιστά πολύπλοκη την διδικσί εξγωγής τους. Πρέπει ν τονιστεί ότι στις έρευνες που προυσιάστηκν στην ενότητ κάθε σύστημ σχολείτι με κάποι συγκεκριμέν κοινωνικά δίκτυ, στις περισσότερες περιπτώσεις μόνο με έν, τ οποί ντιμετωπίζει ξεχωριστά. Δηλδή υπάρχει μι υλοποίηση του crawler γι κάθε ιστότοπο, κι η επεξεργσί του γίνετι είτε με τη χρήση πλών τεχνικών συντκτικής νάλυσης (parsing) κι κνονικών εκφράσεων είτε με τη χρήση ενός API εάν υτό προσφέρετι. Σε γενικές γρμμές υπάρχουν τρείς τρόποι γι την εξγωγή δεδομένων, πό τον πγκόσμιο ιστό: 1. Εξγωγή δεδομένων χειροκίνητ πό το χρήστη. 2. Χρήση ενός API ή τεχνικών web scraping. 3. Αυτόμτη ή ημιυτόμτη εξγωγή με τη χρήση ενός ειδικών προγρμμάτων που ονομάζοντι wrappers ή extractors. Ο πρώτος τρόπος είνι κριβής, κθώς ο χρήστης μπορεί ν επιλέξει τ δεδομέν που χρειάζετι, λλά πρκτικά δε μπορεί ν εφρμοστεί εξιτίς του τεράστιου όγκου των δεδομένων στον πγκόσμιο ιστό. Με τη χρήση ενός API μπορούμε ν εξάγουμε κριβώς τ δεδομέν που θέλουμε. Τ προβλήμτ είνι ότι φενός ο ιστότοπος που εξετάζουμε πρέπει ν προσφέρει έν API, κι φετέρου το API υτό είνι κτάλληλο μόνο γι το συγκεκριμένο ιστότοπο. Με τον όρο Web scraping εννοούμε την διδικσί της υτόμτης συλλογής δεδομένων πό τον πγκόσμιο ιστό. Στην διδικσί υτή μπορεί ν υπάρχουν πολλά επίπεδ υτομτισμού κι πολλές διφορετικές τεχνικές. Μι τεχνική είνι η χρήση κνονικών εκφράσεων (Regular Expressions) που είνι μι ρκετά πλή λλά κι πολύ ισχυρή μέθοδος. Μι άλλη τεχνική είνι η συντκτική νάλυση της HTML (parsing) σε συνδυσμό με τεχνολογίες ερωτημάτων όπως ΧQuery κι HTQL. Επίσης υπάρχουν έτοιμ εργλεί κι προγράμμτ που υλοποιούν τέτοιες τεχνικές, με δυντότητες πρμετροποίησης.

26 26 Το Web-Harvest είνι έν χρκτηριστικό web scraping εργλείο γι την εξγωγή δεδομένων πό τον πγκόσμιο ιστό. Είνι νοικτού κώδικ κι είνι γρμμένο σε Java. Μπορεί ν χρησιμοποιηθεί με τρείς τρόπους: ως υτόνομη εφρμογή με γρφικό περιβάλλον, ως εργλείο της γρμμής εντολών κι ως βιβλιοθήκη σε κώδικ Java. Προσφέρει τη δυντότητ προσκόμισης ιστοσελίδων κι εξγωγής δεδομένων πό υτές. Γι το σκοπό υτό χρησιμοποιεί τις τεχνολογίες XML, XPATH, XSLT, XQuery κθώς κι κνονικές εκφράσεις. Στοχεύει κυρίως σε σελίδες βσισμένες σε HTML/XML που ποτελούν κι τη πλειονότητ του πγκόσμιου ιστού. Η διδικσί εξγωγής δεδομένων με το Web-Harvest κθορίζετι πό τον χρήστη με τη χρήση ενός ρχείου περιγρφής σε XML. Κάθε τέτοιο ρχείο περιγράφει μι λληλουχί επεξεργστών, που ο κθένς εκτελεί κάποι ενέργει. Η έξοδος του ενός επεξεργστή είνι είσοδος στον επόμενο. Στο Σχήμ 7 φίνετι έν πράδειγμ μις έκφρσης XML που χρησιμοποιείτι γι την εξγωγή υπερσυνδέσμων κι λειτουργεί ως εξής: 1. Ο επεξεργστής http προσκομίζει το περιεχόμενο του έγγρφου με το συγκεκριμένο url. 2. Ο επεξεργστής html-to-xml κθρίζει το HTML έγγρφο μεττρέποντάς το σε XHTML. 3. Ο επεξεργστής xpath επιλέγει τους κόμβους του εγγράφου σύμφων με μι κνονική έκφρση. Στην συγκεκριμένη περίπτωση ψάχνει συνδέσμους κι επιστρέφει τ ντίστοιχ URL χρησιμοποιώντς τη σχέση //a/@href. <xpath expression= //a/@href > <html-to-xml> <http url= > </html-to-xml> </xpath> Σχήμ 7: Περιγρφή σε XML της εξγωγής συνδέσμων με το Web-Harvest. Η ποτελεσμτικότητ των τεχνικών κι εργλείων Web scraping περιορίζετι σε έν υποσύνολο ιστοσελίδων. Επίσης ο ορισμός κνόνων πό το χρήστη όπως κνονικών εκφράσεων, εκφράσεων σε XPATH κι ερωτημάτων XQuery είνι ρκετά δύσκολη διδικσί. Άρ γι έν γενικό σύστημ νζήτησης κι εξγωγής δεδομένων πό πολλπλές διδικτυκές πηγές πιτείτι η χρήση υτόμτων τεχνικών κι εργλείων, των λεγόμενων wrappers Εργλεί κι τεχνικές γι την εξγωγή δεδομένων Οι Wrappers όπως ήδη νφέρθηκε είνι προγράμμτ που στοχεύουν στην υτόμτη ή ημιυτόμτη εξγωγή δεδομένων πό τον πγκόσμιο ιστό. Γενικά είνι προγράμμτ που μεττρέπουν δεδομέν πό μι λιγότερο δομημένη νπράστση σε μι δομημένη μορφή. Ανάλογ με τις τεχνικές που χρησιμοποιούντι υπάρχουν κι οι

27 27 ντίστοιχες κτηγορίες πό wrappers. Ο Πίνκς 4 προυσιάζει τις κυριότερες κτηγορίες, σύμφων με μι προσπάθει τξινόμησης που νφέρετι στο [18]. Στο Σχήμ 8 προυσιάζοντι οι ίδιες κτηγορίες σε σχέση με τον βθμό υτομτισμού της διδικσίς εξγωγής κι των διφορετικών ειδών πληροφορίς που υπάρχουν στον πγκόσμιο ιστό. Στο προυσιάζετι η γενικότερη μορφή των συστημάτων wrapper induction σύμφων με το [24]. Πρέπει ν τονιστεί ότι κτηγορί wrapper induction του [24] είνι πιο γενική πό υτή του [18] κι περιλμβάνει τ συστήμτ τ οποί χρησιμοποιούν τεχνικές μηχνικής μάθησης επιβλεπόμενης κι μη γι την εκμάθηση οποισδήποτε μορφής κνόνων κι προτύπων. Σχήμ 8: Οι κτηγορίες των wrappers σύμφων με το [18]. Σχήμ 9: Η γενική μορφή των συστημάτων wrapper induction [24].

28 28 Πίνκς 4: Κτηγορίες των wrappers κι χρκτηριστικά εργλεί. Wrappers NLP-based Wrapper Induction HTML-aware Modeling based Ontology based Languages for Wrapper Development Περιγρφή Σε υτή την κτηγορί χρησιμοποιούντι τεχνικές επεξεργσίς φυσικής γλώσσς γι την εκμάθηση κνόνων εξγωγής. Οι κνόνες υτοί βσίζοντι στο συντκτικό κι στην σημσιολογί των δεδομένων. Χρκτηριστικά εργλεί υτής της προσέγγισης είνι τ RAPIER, SRV κι WHISK. Με τη χρήση πρδειγμάτων εκμάθησης πράγουν έν σύνολο κνόνων βσισμένων σε χρκτήρες οριοθέτησης. Η διφορά με την προηγούμενη κτηγορί είνι ότι δεν βσίζοντι σε γλωσσικούς κνόνες λλά σε στοιχεί μορφοποίησης των δεδομένων (π.χ. HTML ετικέτες). Μερικά γνωστά εργλεί είνι τ WIEN, SoftMealy κι STALKER. Αυτή η κτηγορί εργλείων βσίζετι στ δομικά στοιχεί των HTML εγγράφων γι την επίτευξη της εξγωγής των δεδομένων. Κτά κνόν χρησιμοποιούν τ δένδρ (DOM) που προκύπτουν π' τη συντκτική νάλυση (parsing) των HTML εγγράφων. Οι κνόνες που πράγοντι εφρμόζοντι σ' υτά. Χρκτηριστικά εργλεί είνι τ RoadRunner, XWRAP κι Robomaker. Βσίζοντι στο γεγονός ότι δεδομένης μι συγκεκριμένης δομής των δεδομένων, προσπθούν ν εντοπίσουν σελίδες του πγκόσμιου ιστού που ντποκρίνοντι σε υτή τη δομή. Εργλεί που υιοθετούν υτή την προσέγγιση είνι τ NoDoSE κι DEByE. Τ εργλεί υτά βσίζοντι άμεσ στ δεδομέν γι την εξγωγή τους. Δεδομένου ενός πεδίου εφρμογής, χρησιμοποιείτι μι οντολογί γι τον εντοπισμό στθερών σε μι σελίδ κι την δημιουργί ντικειμένων με υτές. Το ποιο χρκτηριστικό εργλείο υτής της κτηγορίς είνι το BYU. Είνι μι πό τις ποιο πλιές προσεγγίσεις γι την δημιουργί ενός wrapper. Τέτοιες γλώσσες προτάθηκν σν ενλλκτικές στις γλώσσες γενικού σκοπού, όπως η Java κι η Perl, που χρησιμοποιούντν ως τότε.

29 29 Εργλεί όπως το Web-Harvest που προυσιάστηκε πρπάνω έχουν το μειονέκτημ ότι πιτούν πό τον χρήστη την περιγρφή των κνόνων της διδικσίς εξγωγής. Αυτή είνι μι ρκετά πολύπλοκη διδικσί γι' υτό κι έχουν νπτυχθεί εργλεί γι την υτόμτη εξγωγή κνόνων με τεχνικές μηχνικής μάθησης. Ο χρήστης συνήθως επιλέγει τ δεδομέν που θέλει πό έν σύνολο σελίδων κι το σύστημ πράγει μόνο του τους κνόνες με βάση σύντξη του εγγράφου HTML. Οι κνόνες υτοί μπορούν μετά ν χρησιμοποιηθούν σε άλλες σελίδες. Χρκτηριστικά εργλεί υτής της κτηγορίς είνι τ XWRAP [20] κι RoadRunner [21]. Το σύστημ RoadRunner χρησιμοποιεί τεχνικές μηχνικής μάθησης κι ζευγάρι ιστοσελίδων γι ν πράγει τμήμτ HTML κώδικ, τ οποί χρησιμοποιεί σν κνονικές εκφράσεις γι την εξγωγή δεδομένων. Αποτελεί πράδειγμ μη επιβλεπόμενης μάθησης, κθώς δεν χρειάζετι η σήμνση των δεδομένων πριν την διδικσί. Όπως φίνετι κι στο Σχήμ 10 το RoadRunner βρίσκει μετξύ δύο ιστοσελίδων ετικέτες κι συμβολοσειρές που διφέρουν. Οι διφορετικές συμβολοσειρές ντιστοιχούν στ προς εξγωγή δεδομέν. Οι διφορές στις ετικέτες ντιστοιχούν είτε σε προιρετικά στοιχεί είτε σε επνλμβνόμεν δεδομέν. Στο πράδειγμ που υπάρχει στο Σχήμ 10 συγκρίνοντι δυο σελίδες που προυσιάζουν έν συγγρφέ κι μι λίστ των βιβλίων του. Η πρώτη νντιστοιχί ετικετών μετξύ των ιστοσελίδων οδηγεί στον κνόν ότι η ετικέτ <img> είνι προιρετική, ενώ η δεύτερη στον κνόν ότι τ στοιχεί <li>...</li> επνλμβάνοντι μί ή περισσότερες φορές. Η νντιστοιχί μετξύ των συμβολοσειρών ντιστοιχεί στις διφορετικές εγγρφές. Έτσι πράγετι έν γενικό πρότυπο HTML κώδικ που ντιστοιχεί στην νπράστση των συγκεκριμένων δεδομένων κι χρησιμοποιείτι σν κνονική έκφρση γι την εξγωγή πό άλλες σελίδες. Πρέπει ν τονιστεί όμως ότι οι σελίδες που χρησιμοποιούντι στη διδικσί υτή πρέπει ν είνι πνομοιότυπες, δηλδή ν διφέρουν μόνο τ δεδομέν που περιέχουν κι όχι η δομή τους. Γι πράδειγμ σε έν ιστότοπο κοινωνικής δικτύωσης που οι σελίδες με τ προφίλ των χρηστών, έχουν ίδι δομή πλά λλάζουν τ δεδομέν η μέθοδος μπορεί ν χρησιμοποιηθεί. Μετξύ διφορετικών όμως ιστοτόπων η διδικσί ποτυγχάνει γιτί οι διφορές μετξύ δυο σελίδων δεν νήκουν στις κτηγορίες που νφέρθηκν πρπάνω. Μι άλλη προσέγγιση είνι η χρήση συμβολοσειρών σν πρόθεμ κι σν κτάληξη στ επιθυμητά δεδομέν. Από έν σύνολο ιστοσελίδων επιλέγετι ρχικά μί με τυχίο τρόπο. Σε υτή σημειώνοντι τ επιθυμητά δεδομέν κι στη συνέχει γι κάθε έν πό υτά εξάγετι έν πρότυπο της μορφής: Patj(prefix, data, suffix) π.χ. Pat4 = (<tr><td><i><b>, 25$, </b></i></td><td>).έτσι δημιουργείτι έν σύνολο προτύπων Τ= [Pat1, Pat2,... ] που χρησιμοποιείτι σε κάθε μί πό τις υπόλοιπες σελίδες γι την εξγωγή δεδομένων με τη χρήση της συνάρτησης extract(t, page). Αν σε μι ιστοσελίδ ποτύχουν όλ τ πρότυπ του συνόλου Τ, υτή η σελίδ χρησιμοποιείτι γι την εξγωγή νέων προτύπων που προστίθεντι στο Τ. Αυτό επνλμβάνετι έως ότου γίνει επιτυχής εξγωγή πό όλες τις σελίδες. Το τελικό σύνολο T μζί με τη συνάρτηση extract

30 30 ποτελεί τον wrapper. Με υτή την προσέγγιση η επίπονη διδικσί της σημείωσης των δεδομένων γίνετι λίγες φορές, κι μόνο στ πρδείγμτ που ποτυγχάνει το τρέχων σύνολο προτύπων. Σχήμ 10: Πράδειγμ πργωγής προτύπων στο σύστημ RoadRunner [21]. Τ συστήμτ της κτηγορίς wrapper induction βσίζοντι συνήθως στην πργωγή κνόνων εξγωγής με τη χρήση επιβλεπόμενης μηχνικής μάθησης. Έν χρκτηριστικό πράδειγμ τέτοιου συστήμτος προυσιάζετι στο [22]. Το σύστημ μθίνει τους κνόνες πό έν σύνολο πρδειγμάτων στ οποί επισημίνοντι πό το χρήστη τ επιθυμητά δεδομέν. Οι πργόμενοι κνόνες στη συνέχει μπορούν ν εφρμοστούν γι την εξγωγή δεδομένων πό έγγρφ με πρόμοι δομή. Μι σελίδ πό την μεριά του wrapper μπορεί ν θεωρηθεί ως μι κολουθί πό ντικείμεν (π.χ. λέξεις, ριθμούς, ετικέτες, σημεί στίξης κτλ). Η εξγωγή γίνετι με τη χρήση μις δενδρικής δομής που ονομάζετι EC tree (Embedded Catalog tree) κι νπριστά τη μορφή των δεδομένων μις σελίδς. Έν πράδειγμ δεδομένων κι του ντίστοιχου δένδρου φίνετι στο Σχήμ 11. Γι την εξγωγή του επιθυμητού κόμβου ο wrapper χρησιμοποιεί το δένδρο κι έν σύνολο πό ζεύγη κνόνων. Το ζεύγος κνόνων ποτελείτι πό τον ρχικό κνόν που εντοπίζει την ρχή του κόμβου κι ένν τελικό κνόν που εντοπίζει

31 31 το τέλος του κόμβου. Οι κνόνες βσίζοντι στην έννοι των ορόσημων κι μπορούν ν θεωρηθούν σν πεπερσμέν υτόμτ. Κάθε ορόσημο είνι μι κολουθί πό διδοχικά στοιχεί κι χρησιμοποιείτι γι τον εντοπισμό της ρχής κι του τέλους του επιθυμητού ντικειμένου. Σχήμ 11: Δεδομέν σε μι ιστοσελίδ κι το ντίστοιχο EC tree [22]. Σχήμ 12: Ο HTML κώδικς του πρδείγμτος του Σχήμ 11. Σύμφων με το πράδειγμ στο Σχήμ 11 ν θέλουμε ν εξάγουμε το όνομ των εστιτορίων χρησιμοποιούμε το ζεύγος κνόνων: R1: skipto(<b>) R2: skipto(</b>) Ο πρώτος κνόνς σημίνει ότι γνοούμε όλ τ στοιχεί του εγγράφου που εμφνίζετι στο Σχήμ 12 έως ν βρούμε την ετικέτ <b>. Αντίστοιχ ο δεύτερος γνοεί όλ τ στοιχεί μέχρι την ετικέτ </b>. Τ <b> κι </b> είνι τ ορόσημ που προσδιορίζουν την ρχή κι το τέλος του κόμβου Name. Έν ποιο πολύπλοκο πράδειγμ είνι η εξγωγή τον κωδικών περιοχής πό τ τηλέφων που εμφνίζοντι στο Σχήμ 12. Σε υτήν την περίπτωση χρησιμοποιούμε διδοχικά ζεύγη κνόνων ως εξής: 1. Χρησιμοποιούμε το ζεύγος SkipTo(<br><br>) κι SkipTo(</p>) γι ν εντοπίσουμε τον κόμβο LIST, δηλδή τη λίστ με τις διευθύνσεις του εστιτορίου. 2. Διτρέχουμε τ στοιχεί της λίστς κι εφρμόζουμε τους κνόνες R3: either SkipTo( ( ) or SkipTo(-<i>) R4: either SkipTo( ) ) or SkipTo(</i>)

32 32 γι τον προσδιορισμό της ρχής κι του τέλους του κόμβου Area-Code. Το προηγούμενο πράδειγμ είνι πολύ πλό κι οι ντίστοιχοι κνόνες μπορούν ν οριστούν με πλή πρτήρηση της δομής των δεδομένων. Σε πρκτικά προβλήμτ η εκμάθηση των κνόνων γίνετι όπως έχει ήδη νφερθεί με τεχνικές επιβλεπόμενης μηχνικής μάθησης. Ένς τέτοιος λγόριθμος είνι υτός που προυσιάζετι στο [22] κι ονομάζετι STALKER. Η λειτουργί του βσίζετι στον λγόριθμο διδοχικής κάλυψης (sequential covering). Η βσική ιδέ υτής της προσέγγισης είνι η εκμάθηση των κνόνων διδοχικά, ένν κάθε φορά, έως ότου ν κλυφθούν όλ τ πρδείγμτ του συνόλου εκμάθησης. Μετά την εκμάθηση ενός κνόν τ πρδείγμτ που κλύπτοντι πό υτόν φιρούντι κι η διδικσί συνεχίζετι με τ ενπομείνντ πρδείγμτ. Στο [23] προυσιάζετι μι διφορετική προσέγγιση στην εξγωγή δεδομένων πό ιστοσελίδες. Δεδομένου ότι η δομή μις ιστοσελίδς μπορεί ν περιγρφεί πό έν δένδρο (DOM tree), οι συγγρφείς χρησιμοποιούν την έννοι της πόστσης μετξύ δύο δένδρων γι τον υπολογισμό ομοιότητς νάμεσ σε ιστοσελίδες. Γενικά η πόστση μετξύ δύο δένδρων T 1 κι T 2 θεωρείτι το κόστος γι την μεττροπή του T 1 στο T 2, μέσω μις σειράς στοιχειωδών πράξεων (Tree Edit Distance). Οι στοιχειώδεις πράξεις είνι η λλγή της ετικέτς ενός κόμβου κθώς κι η διγρφή ή η εισγωγή ενός κόμβου. Το κόστος γι κάθε στοιχειώδη πράξη ορίζετι συνήθως 1 γι την διγρφή κι εισγωγή κόμβων κι 0 γι την λλγή ετικέτς. Στο Σχήμ 13 φίνετι η μεττροπή ενός δέντρου T 1 στο T 2. Μι δικεκομμένη γρμμή μετξύ των κόμβων σημίνει ότι ο κόμβος πρέπει είτε ν πρμείνει ίδιος είτε ν λλάξει ν οι ετικέτες διφέρουν. Οι κόμβοι στο T 1 που δεν γγίζοντι πό δικεκομμένες γρμμές πρέπει ν προστεθούν, ενώ οι κόμβοι του T 2 που δεν γγίζοντι πρέπει ν διγρφούν. Ο λγόριθμος RTDM (Restricted Top Down Mapping) που προτείνετι πό τους συγγρφείς, προσδιορίζει μι τέτοι σύνδεση μετξύ δυο δένδρων (mapping ή matching) κι είνι βσικό κομμάτι του συστήμτος εξγωγής ειδήσεων πό ιστοσελίδες που προυσιάζετι στο άρθρο. Σχήμ 13: Αντιστοίχηση του δένδρου T1 με το T2 [23].

33 33 Σχήμ 14: Τ τέσσερ στάδι λειτουργίς στο σύστημ του [23]. Η διδικσί εξγωγής, όπως φίνετι κι στο Σχήμ 14, γίνετι σε τέσσερ στάδι: Ομδοποίηση (Clustering) Αρχικά οι ιστοσελίδες ενός συνόλου εκμάθησης ομδοποιούντι νάλογ με την ομοιότητ της δενδρικής δομής τους. Γι την ομδοποίηση χρησιμοποιούντι κλσσικές τεχνικές ομδοποίησης (clustering), κι ο λγόριθμος RTDM γι τον υπολογισμό των ποστάσεων μετξύ των ιστοσελίδων. Δεν υπάρχει προκθορισμένος ριθμός ομάδων, λλά ορίζετι έν κτώφλι πόστσης γι την κτάτξη δυο ιστοσελίδων στην ίδι ομάδ. Πργωγή Προτύπων Εξγωγής (Extractor Generation) Γι κάθε ομάδ που έχει δημιουργηθεί πράγετι έν πρότυπο δένδρο (pattern) με τη χρήση των κόμβων μπλντέρ SINGLE (.), PLUS(+), OPTION (?) κι KLEENE (*). Ο Πίνκς 5 εξηγεί τη λειτουργί του κθενός μπλντέρ. Επίσης στο Σχήμ 15 προυσιάζετι η διδικσί πργωγής των προτύπων. Συνοπτικά έχει ως εξής: Από τις δυο πρώτες σελίδες μις ομάδς δημιουργείτι έν πρότυπο που τις νπριστά. Στη συνέχει εξετάζετι το η επόμενη ιστοσελίδ της ομάδς κι γίνοντι οι πρίτητες λλγές στο πρότυπο ώστε ν κλύπτει πλέον κι τις τρείς σελίδες. Αυτό συνεχίζετι με όλες τις σελίδες της ομάδς. Αντιστοίχηση Δεδομένων (Data Matching) Σε υτό το βήμ οι νέες σελίδες ντιστοιχίζοντι στ πρότυπ που πράχθηκν. Με βάση τον λγόριθμο RTDM, υπολογίζετι η πόστση του δένδρου DOM μις ιστοσελίδς πό όλ τ πρότυπ κι η σελίδ υτή ντιστοιχίζετι στο πρότυπο με την μικρότερη πόστση. Οι πλοί κόμβοι του προτύπου συνδέοντι με πλούς κόμβους του στόχου, ενώ οι κόμβοι μπλντέρ συνδέοντι με κόμβους σύμφων με την λειτουργί του κθενός.

34 34 Επισήμνση Δεδομένων (Data Labeling) Η έξοδος της ντιστοίχησης μις σελίδς με έν πρότυπο είνι έν σύνολο διτετγμένων κειμένων. Πιο τυπικά μπορούμε ν ορίσουμε την έξοδο ως το σύνολο T= (t1, p1), (t2, p2),... (tn, pn), όπου ti είνι το κείμενο της σελίδς που νκτάτε πό έν κόμβο μπλντέρ, κι ti η θέση του κόμβου υτού κτά την προθεμτική διάσχιση του προτύπου. Ο στόχος του βήμτος υτού είνι η επιλογή ζευγριών ti κι tj πό το Τ που ντιστοιχούν στον τίτλο κι στο σώμ των ειδήσεων της σελίδς. Γι το σκοπό υτό χρησιμοποιούντι πλές ευριστικές τεχνικές που δεν θεωρείτι σκόπιμο ν νφερθούν εδώ. Πίνκς 5: Οι τέσσερις κόμβοι μπλντέρ ενός πρότυπου δένδρου. Μπλντέρ Σύμβολο Λειτουργί SINGLE. Αντιστοιχεί σε έν υποδένδρο PLUS + Αντιστοιχεί σε έν ή περισσότερ διδοχικά υποδένδρ με κοινό πτέρ. OPTION? Αντιστοιχεί σε έν υποδένδρο, το οποίο μπορεί ν πρληφθεί. KLEENE * Αντιστοιχεί σε διδοχικά υποδένδρ με κοινό πτέρ, τ οποί μπορούν ν πρληφθούν. Αφότου δημιουργηθεί ένς wrapper με τις τεχνικές που προυσιάστηκν στις προηγούμενες ενότητες μπορεί ν εφρμοστεί γι την εξγωγή δεδομένων πό ιστοσελίδες πρόμοιες με υτές που χρησιμοποιήθηκν στην διδικσί της εκμάθησης των κνόνων. Έν σημντικό πρόβλημ είνι οι λλγές που συμβίνουν στον τρόπο μορφοποίησης των δεδομένων, π.χ. εξιτίς επνσχεδίσης του ιστότοπου. Ιδιίτερ σήμερ που οι ιστοσελίδες λλάζουν με γρήγορους ρυθμούς την εμφάνιση κι τη δομή τους οι wrappers πρέπει ν πρμένουν ενήμεροι ώστε ν επιτυγχάνουν το σκοπό γι τον οποίο δημιουργήθηκν. Δηλδή πιτείτι επνάληψη της επίπονης διδικσίς εκμάθησης, με βάση το νέο σύνολο δεδομένων. Οι μέθοδοι που προυσιάστηκν προηγουμένως χωρίζοντι κτά κνόν σε δύο κτηγορίες. Η πρώτη κτηγορί χρησιμοποιεί τεχνικές επιβλεπόμενης μηχνικής μάθησης σε σελίδες με επισημσμέν τ επιθυμητά δεδομέν γι την δημιουργί των wrappers. Η δεύτερη κτηγορί βσίζετι στην ιδέ της υτόμτης δημιουργίς patterns πό πολλπλές σελίδες με κοινή δομή. Η μέθοδος DEPTA (Data Extraction based on Partial Tree Alignment) που προυσιάστηκε στ [26] κι [27] μπορεί ν εξάγει δεδομέν πό διφορετικές σελίδες κι βσίζετι στην ιδέ ότι τ δεδομέν μις σελίδς προυσιάζουν πρόμοι δομή μετξύ τους. Η συγκεκριμένη μέθοδος δε χρειάζετι διδικσί εκμάθησης ούτε κι πολλπλές σελίδες σν είσοδο. Αν μι σελίδ περιέχει μι λίστ με δεδομέν τότε είνι ρκετή γι την εξγωγή τους με τη μορφή

35 35 ενός πίνκ δεδομένων. Χρησιμοποιεί την έννοι της πόστσης μετξύ δύο δένδρων όπως κι η μέθοδος στο [23] λλά όχι μετξύ σελίδων, λλά μετξύ υποδένδρων της ίδις σελίδς, ώστε ν εντοπίσει τμήμτ της σελίδς που περιέχουν δεδομέν. Η μέθοδος υτή σε συνδυσμό με έν σύνολο ευριστικών κνόνων χρησιμοποιήθηκε γι την εξγωγή δεδομένων πό ιστοσελίδες κοινωνικής δικτύωσης κι η νλυτικότερη προυσίση της γίνετι στην ενότητ όπου προυσιάζετι το σύστημ που νπτύχθηκε. Σχήμ 15: Η διδικσί πργωγής των προτύπων εξγωγής του Συστήμτ εξόρυξης κοινωνικών δικτύων Στην ενότητ προυσιάζοντι κάποι συστήμτ εξόρυξης κοινωνικών δικτύων που βσίζοντι σε μεθόδους της νάκτησης πληροφορίς (information retrieval). Σκοπός τους είνι η δημιουργί κοινωνικών δικτύων των οποίων είνι γνωστοί οι χρήστες. Βσίζοντι κυρίως στη χρήση μηχνών νζήτησης, οι οποίες έχουν ήδη επισκεφθεί σελίδες σχετικές με τους χρήστες του δικτύου. Στη συνέχει με βάση τ ποτελέσμτ που επιστρέφουν οι μηχνές νζήτησης γι συγκεκριμέν ερωτήμτ επιχειρείτι η κτσκευή του δικτύου. Δυο χρκτηριστικά συστήμτ είνι το Polyphonet κι το Flink. Το Polyphonet [28] είνι έν σύστημ εξγωγής κοινωνικών δικτύων πό τον πγκόσμιο ιστό, το οποίο χρησιμοποιεί διάφορες τεχνικές γι την εξγωγή σχέσεων μετξύ τόμων

36 36 που βσίζοντι στη χρήση μηχνών νζήτησης. Έν κοινωνικό δίκτυο εξάγετι σε δύο βήμτ. Στο πρώτο βήμ έν ορίζετι έν σύνολο κόμβων, κι στο δεύτερο προστίθεντι οι κμές του δικτύου. Στο Polyphonet, όπως κι στο Flink που θ προυσιστεί στη συνέχει, οι κόμβοι είνι προκθορισμένοι. Οι κμές προστίθεντι με τη χρήση της μηχνής νζήτησης της Google. Σχήμ 16: Οι βσικοί λγόριθμοι του συστήμτος POLYPHONET [28]. Η δημιουργί του δικτύου γίνετι με βάση των λγόριθμο GETSOCIALNET(L) (Σχήμ 16). Δεδομένης μις λίστς τόμων L δημιουργείτι ένς κόμβος γι κάθε άτομο της λίστς. Στη συνέχει γι κάθε ζεύγος τόμων Χ κι Υ της λίστς υπολογίζετι ένς βθμός συσχέτισης μετξύ τους. Αν η συσχέτιση είνι μεγλύτερη πό έν προκθορισμένο κτώφλι τότε μι κμή μετξύ των Χ κι Υ προστίθετι στο δίκτυο. Η συσχέτιση μετξύ δυο τόμων υπολογίζετι πό τον λγόριθμο COOGLECOOC(X, Y) ο οποίος χρησιμοποιεί την μηχνή νζήτησης της Google. Γι κάθε έν πό τ άτομ Χ κι Υ μετράτι ο ριθμός των ποτελεσμάτων n x κι n y που επιστρέφει η μηχνή νζήτησης. Επίσης μετράτι ο ριθμός των ποτελεσμάτων n x^y γι το ερώτημ Χ ANDY. Δηλδή τ ποτελέσμτ που φορούν κι τ άτομο Χ κι το άτομο Υ. Με βάση τ n x, n y κι n x^y υπολογίζετι η συσχέτιση r x,y πό τη σχέση n x^y / min(n x, n y ). Το Flink [29] είνι έν σύστημ γι την εξγωγή κι προυσίση διδικτυκών κοινωνικών δικτύων με τη χρήση τεχνολογιών σημσιολογικού ιστού. Η ποκτημένη γνώση χρησιμοποιείτι γι την νάλυση του κοινωνικού δικτύου κι την προυσίση

37 37 της διδικτυκής κοινότητς. Το Flink επικεντρώνετι στην κοινότητ των ερευνητών που σχολούντι με τον σημσιολογικό ιστό. Πιο συγκεκριμέν η κοινότητ ποτελείτι πό τους ερευνητές που συμμετείχν στο Πγκόσμιο Συνέδριο Σημσιολογικού Ιστού τ έτη 2002, 2003, 2004 (ISWC02, ISWC03, ISWC04) κι στο Συμπόσιο Σημσιολογικού Ιστού το 2001 (SWWS01). Αυτό σημίνει μι κοινότητ 608 ερευνητών. Με βάση τους 608 προκθορισμένους κόμβους το σύστημ προσπθεί ν βρει πληροφορίες γι την ύπρξη σχέσεων μετξύ τους κι δημιουργήσει το ντίστοιχο κοινωνικό δίκτυο Όπως σε πολλές εφρμογές κι συστήμτ σημσιολογικού ιστού, η ρχιτεκτονική του Flink μπορεί ν διχωριστεί σε τρί επίπεδ, την πόκτηση των δεδομένων, την ποθήκευση τους κι την προυσίση τους. Στο Σχήμ 17 φίνετι η ρχιτεκτονική με τ τρί επίπεδ διτετγμέν πό πάνω προς τ κάτω ντίστοιχ. Απόκτηση των δεδομένων Σχήμ 17: Η ρχιτεκτονική του συστήμτος Flink. Το Flink χρησιμοποιεί τέσσερις διφορετικές πηγές γι την πόκτηση των δεδομένων. Σελίδες HTML πό τον ιστό, προφίλ με την μορφή FOAF ρχείων πό την σημσιολογικό ιστό, συλλογές ηλεκτρονικού τχυδρομείου κι βιβλιογρφικά δεδομέν. Οι πληροφορίες πό κάθε πηγή συλλέγοντι με διφορετικό τρόπο λλά όλες οι πληροφορίες που ποκτώντι νπριστώντι με χρήση της ίδι οντολογίς. Η οντολογί υτή περιλμβάνει την οντολογί FOAF κι κάποιες επεκτάσεις που πιτούντι γι την νπράστση της επιπρόσθετης πληροφορίς.

38 38 Γι την εξόρυξη πό τον πγκόσμιο ιστό το Flink χρησιμοποιεί μι μέθοδο πρόμοι με το POLYPHONET, που βσίζετι στην μηχνή νζήτησης της Google, γι την εύρεση συσχετίσεων μετξύ των ερευνητών. Επίσης το ίδιο τμήμ πργμτοποιεί την νζήτηση θεμάτων ενδιφέροντος γι κάθε ερευνητή. Τ προφίλ με τη μορφή της οντολογίς FOAF συλλέγοντι πό τον σημσιολογικό ιστό σε δυο στάδι. Στο πρώτο στάδιο ένς RDF crawler (που ονομάζετι κι scutter) συλλέγει ρχεί FOAF. O scutter λειτουργεί πρόμοι με έν HTML crawler κολουθώντς συνδέσμους του τύπου rdfs:seealso πό το έν έγγρφο στο άλλο. Στο δεύτερο στάδιο τ προφίλ που έχουν βρεθεί φιλτράροντι ώστε ν κρτηθούν μόνο τ προφίλ που φορούν τ μέλη της κοινότητς των ερευνητών. Τέλος, τ βιβλιογρφικά δεδομέν συλλέγοντι με τη χρήση ερωτημάτων στην υπηρεσί Google scholar γι κάθε ερευνητή της κοινότητς. Αποθήκευση των δεδομένων Αυτό είνι το ενδιάμεσο επίπεδο του συστήμτος με κύριο σκοπό την ποθήκευση των δεδομένων. Τ ποκτηθέντ δεδομέν ποθηκεύοντι με τη χρήση του Sesame σε μι RDF βάση δεδομένων. Το Flink επίσης σε υτό το επίπεδο κάνει χρήση κνόνων γι την σύνδεση των ίδιων τόμων μετξύ των διφορετικών πηγών. Αυτό ονομάζετι identity reasoning ή smushing. Η σύνδεση γίνετι με τη χρήση των ιδιοτήτων inverse - functional της οντολογίς FOAF. Αν μι ιδιότητ ορίζετι ως inverse - functional, τότε η ιδιότητ υτή κθορίζει μονδικά το υποκείμενο που έχει υτή την ιδιότητ. Γι την κλάση foaf:person της οντολογίς FOAF πρδείγμτ inverse-functional ιδιοτήτων είνι τ mailbox, mailboxchecksum κι homepage. Γι πράδειγμ ν βρεθεί ότι το στιγμιότυπο Α κι το στιγμιότυπο B της κλάσης foaf:person έχουν την ίδι τιμή γι την ιδιότητ foaf:mbox τότε συμπερίνετι ότι το άτομο Α είνι το ίδιο με το Β ή πιο τυπικά Aowl:sameAsB. Περιήγηση κι οπτικοποίηση των δεδομένων Η διεπφή χρήστη του Flink είνι μι πλή web εφρμογή σε Java που κολουθεί την ρχιτεκτονική Model- View-Controller (MVC). Η βσική ιδέ πίσω πό την ρχιτεκτονική MVC είνι ο διχωρισμός μετξύ των τμημάτων που είνι υπεύθυν γι τ δεδομέν (model), την λογική της εφρμογής (controller) κι της διεπφής (view). Τ δεδομέν μοντελοποιούντι με τη χρήση της Java βιβλιοθήκης JUNG που πρέχει μι ντικειμενοστρφή νπράστση των δικτύων κθώς κι λγορίθμους νάλυσης των δικτύων. Επίσης χρησιμοποιούντι οι τεχνολογίες Java Servlets, Java Server Pages κι Java Standard Tag Library.

39 Σημσιολογικός Ιστός κι Κοινωνικά Δίκτυ Σημσιολογικός Ιστός Ο Σημσιολογικός Ιστός (Semantic Web), ο οποίος ποτελεί επέκτση του σημερινού διδικτύου κι προτάθηκε γι πρώτη φορά το 1998 πό τον Tim Burners-Lee, κλείτι ν δώσει την λύση στο ζήτημ της νγνωσιμότητς των πληροφοριών πό τους υπολογιστές. Βσικός στόχος του Σημσιολογικού Ιστού είνι η νάπτυξη προτύπων κι τεχνολογιών που θ βοηθήσουν τις μηχνές ν κτλβίνουν περισσότερες πληροφορίες πό το διδίκτυο με σκοπό την πλουσιότερη υποστήριξη της νζήτησης κι ενσωμάτωσης των πληροφοριών, την ευκολότερη πλοήγηση κι την υτομτοποίηση των εργσιών. Στην σημερινή του μορφή ο πγκόσμιος ιστός ποτελείτι πό δεδομέν κι συνδέσεις, ενώ ο σημσιολογικός ιστός πρότι διτηρεί τ ίδι δομικά στοιχεί προσδιορίζει, σε γλώσσ κτνοητή πό τις μηχνές, τόσο τ δεδομέν όσο κι τις συνδέσεις τους. Η Κεντρική ιδέ είνι η ύπρξη μετδεδομένων τ οποί θ συνοδεύουν τ δεδομέν λλά δεν θ είνι άμεσ ορτά στον χρήστη. Τ μετδεδομέν θ ορίζουν με σφήνει τις έννοιες που ντιπροσωπεύουν τ δεδομέν κθώς κι τις συσχετίσεις μετξύ τους. Με υτό τον τρόπο οι υπολογιστές, γνωρίζοντς την σημσιολογί της πληροφορίς, θ είνι σε θέση ν συνδυάζουν τις πηγές τους κι ν ξιοποιούν κλύτερ τ δεδομέν νεξάρτητ πό την εκάστοτε εφρμογή Η οντολογί FOAF (Friend Of A Friend ή Φίλος ενός φίλου) Οι ιστότοποι κοινωνικής δικτύωσης όλο κι περισσότερο υιοθετούν τεχνολογίες κι πρότυπ του σημσιολογικού ιστού γι την περιγρφή των δεδομένων των χρηστών κι των μετξύ τους σχέσεων. Έν τέτοιο πρότυπο είνι η οντολογί FOAF, που χρησιμοποιείτι πό ρκετούς ιστότοπους γι την νπράστση κι την ποθήκευση του κοινωνικού τους δικτύου. Η οντολογί FOAF (Friend Of A Friend) περιγράφει άτομ, τις δρστηριότητες τους κι τις σχέσεις τους με άλλ άτομ. Στο Σχήμ 18 φίνετι έν πράδειγμ ενός ρχείου foaf, ενώ στο Σχήμ 19 φίνοντι οι πληροφορίες του ίδιου ρχείου με τη μορφή γράφου. Έν ρχείο FOAF συντάσσετι σε XML όπως στο Σχήμ 18 ή σε οποιδήποτε άλλη μορφή σύντξης του προτύπου RDF ( π.χ. N3 κι Turtle). Το πρότυπο FOAF ορίζει κτηγορίες (κλάσεις) όπως foaf:person, foaf:document, foaf:image κι ιδιότητες γι υτές τις κλάσεις όπως foaf:name, foaf:mbox, foaf:homepage κτλ. Επιπρόσθετ έν ρχείο FOAF μπορεί ν περιέχει νφορές προς άλλ ρχεί FOAF χρησιμοποιώντς το rdfs:seealso. Αυτή η δισύνδεση πρέχει τη δυντότητ σε εργλεί όπως οι crawlers ν δισχίζουν υτά τ

40 40 δισυνδεδεμέν ρχεί κι ν εξάγουν πληροφορίες γι άτομ, έγγρφ, υπηρεσίες κτλ. Σχήμ 18: Πράδειγμ της οντολογίς FOAF σε RDF/XML. Σχήμ 19: Τ δεδομέν πό το Σχήμ 18 με τη μορφή γράφου.

41 Microformats Τ microformats είνι ένς τρόπος σημσιολογικής σήμνσης της πληροφορίς σε HTML/XHTML σελίδες με τη χρήση ήδη υπάρχουσς τεχνολογίς. Πιο συγκεκριμέν τ microformats χρησιμοποιούν τ τυπικά κτηγορήμτ (attributes) class κι rel της HTML γι την εισγωγή σημσιολογικής πληροφορίς π.χ. οντολογιών. Έως τώρ τ microformats επιτρέπουν την κωδικοποίηση πληροφορίς που φορά γεγονότ, πρόσωπ, κοινωνικές σχέσεις, τοποθεσίες κ.τ.λ. Ο Πίνκς 6 προυσιάζει κάποι πό τ σημντικότερ microformats. Σχήμ20: Microformats Stack. Πίνκς 6: Τ σημντικότερ microformats. Microformat hcard XFN hcalendar Adr geo hreview hnews hproduct hlisting Περιγρφή To hcard είνι έν πρότυπο γι την νπράστση τόμων, ετιριών κι οργνισμών. To XFN είνι ένς πλός τρόπος νπράστσης νθρωπίνων σχέσεων με τη χρήση των συνδέσμων μις σελίδς. Το hcalendar είνι Microformat γι την σήμνση γεγονότων. Χρησιμοποιείτι γι την σήμνση πληροφορίς που φορά σε διευθύνσεις. Χρησιμοποιείτι γι την σήμνση γεωγρφικών συντετγμένων (latitude, longitude). To hreview είνι έν microformat κτάλληλο γι την σήμνση κριτικών (προϊόντων, υπηρεσιών, γεγονότων κτλ). Microformat γι την σήμνση βιογρφικών σημειωμάτων. To hproduct είνι κτάλληλο γι την σήμνση δεδομένων προϊόντων. Microformat γι τη σήμνση κτλόγων.

42 42 Το hcard είνι έν microformat γι την σήμνση πληροφορίς σε έγγρφ (X)HTML, Atom, RSS κι XML που φορούν σε άτομ, επιχειρήσεις, οργνισμούς κι χώρους. Το hcard εισάγει τις ιδιότητες της οντολογίς vcard(rfc2426) χρησιμοποιώντς το τυπικό κτηγόρημ class. Ο Πίνκς 7 περιέχει τις σημντικότερες πό τις ιδιότητες της οντολογίς vcard. Στο προυσιάζετι έν πράδειγμ εισγωγής σε έν τμήμ κώδικ HTML. Γι την εισγωγή γίνετι μι 1 προς 1 ντιστοίχηση των ιδιοτήτων του vcard, με ετικέτες της HTML. Πίνκς 7: Οι ιδιότητες της οντολογίς vcard. Ιδιότητ N NICKNAME BDAY ADR PHOTO ORG URL UID Περιγρφή Δομημένη νπράστση του ονόμτος της οντότητς που σχετίζετι με το ντικείμενο vcard. Το nickname της οντότητς. Ημερομηνί γέννησης του τόμου. Δομημένη νπράστση της φυσικής διεύθυνσης της οντότητς που περιγράφει το vcard. Η ηλεκτρονική διεύθυνση του τόμου. Εικόν ή φωτογρφί του τόμου. Το όνομ του οργνισμού που σχετίζετι με το συγκεκριμένο vcard. Η διεύθυνση URL στην οποί πιθνώς υπάρχουν πληροφορίες γι το ντίστοιχο vcard. Μονδικό νγνωριστικό της οντότητς που περιγράφει το ντίστοιχο vcard. Το Microformat XFN (XHTML Friends Network) είνι ένς πλός τρόπος νπράστσης νθρωπίνων σχέσεων με τη χρήση των συνδέσμων μις σελίδς που νπτύχθηκε πό την ομάδ Global Multimedia Protocols. Το XFN εισάγει μι η περισσότερες προκθορισμένες λέξεις-κλειδιά (όπως friend, contact, acquaintance ) στο τυπικό κτηγόρημ rel της ετικέτς <a>. Γι πράδειγμ ένς φίλος του Jimmy θ μπορούσε ν υποδηλώσει υτή τη σχέση στη σελίδ του χρησιμοποιώντς έν σύνδεσμο προς τη σελίδ του Jimmy όπως στο Σχήμ 21. <a href=" rel="friend">jimmy</a> Σχήμ 21: Πράδειγμ του microformat XFN.

43 43 Όπως είνι φνερό τ microformats hcard κι XFN μπορούν ν ορίσουν σε μεγάλο βθμό πολλά δεδομέν ενός κοινωνικού δικτύου. Γι υτό κι έχουν υιοθετηθεί πό πολλούς ιστότοπους κοινωνικής δικτύωσης. Χρκτηριστικά πρδείγμτ μεγάλων ιστοτόπων είνι το twitter, το YouTube κι το Flixster. Επίσης πό τον Φεβρουάριο του 2011 το Facebook χρησιμοποιεί το microformat hcard γι την σήμνση χώρων εκδηλώσεων. BEGIN:VCARD VERSION:3.0 N:Gump;Forrest FN:Forrest Gump ORG:Bubba Gump Shrimp Co. TITLE:Shrimp Man TEL;TYPE=WORK:(111) TEL;TYPE=HOME:(404) ADR;TYPE=WORK:;;169 Univ. Avenue;Palo Alto;CA;94301;USA END:VCARD <div class="vcard"> <span class="fn">forrest Gump</span> <a class=" " </a> <div class="org">bubba Gump Shrimp Co.</div> <div class="title">shrimp Man</div> <div class="tel"> <span class="type">work</span> (111) </div> <div class="tel"> <span class="type">home</span> (404) </div> <div class="adr"> <span class="type">work</span>: <div class="street-address">169 Univ. Avenue</div> <span class="locality">palo Alto</span>, <abbr class="region" title="california">ca</abbr> <span class="postal-code">94301</span> <div class="country-name">usa</div> </div> </div> Σχήμ 22: Εισγωγή της οντολογίς VCARD σε HTML.

44 Εργλεί κι Τεχνολογίες που χρησιμοποιήθηκν στην νάπτυξη του συστήμτος Java Ως γλώσσ νάπτυξης επιλέχθηκε η ντικειμενοστρφής γλώσσ προγρμμτισμού Java. Η Java ποτελεί δημιούργημ της ετιρίς Sun Microsystems κι δικρίνετι γι την νεξρτησί της πό το λειτουργικό σύστημ κι την πλτφόρμ εκτέλεσης κθιστώντς την μετφορά της ιδιίτερ εύκολη Eclipse Γι την νάπτυξη του κώδικ επιλέχθηκε το περιβάλλον νάπτυξης Eclipse. Το Eclipse είνι μι ολοκληρωμένη πλτφόρμ συγγρφής, επεξεργσίς κι ολοκλήρωσης κώδικ γι διάφορες γλώσσες προγρμμτισμού συμπεριλμβνομένης κι της Java. Πρέχει πληθώρ εργλείων κθώς κι πρόσθετων επεκτάσεων (plugins). Αποτελεί λογισμικό νοιχτού κώδικ κι συντονίζετι πό το Eclipse Foundation JDBC Το Java DataBase Connectivity (JDBC) έχει νπτυχθεί πό την Sun Microsystems κι ποτελεί το βιομηχνικό πρότυπο γι την δισύνδεση της γλώσσς προγρμμτισμού Java με οποιδήποτε βάση δεδομένων. Πρέχει έν API γι την πρόσβση σε δεδομέν ενός μεγάλου εύρους σχεσικών βάσεων δεδομένων MySQL 5.1 Η MySQL είνι έν σύστημ διχείρισης σχεσικών βάσεων δεδομένων (RDBMS) που μετρά περισσότερες πό 11 εκτομμύρι εγκτστάσεις. Το πρόγρμμ τρέχει ένν εξυπηρετητή (server) πρέχοντς πρόσβση πολλών χρηστών σε έν σύνολο βάσεων δεδομένων. Ο κωδικός του εγχειρήμτος είνι διθέσιμος μέσω της GNU General Public License, κθώς κι μέσω ορισμένων ιδιόκτητων συμφωνιών. Ανήκει κι χρημτοδοτείτι πό μί κι μονδική κερδοσκοπική ετιρί, τη MySQLAB, η οποί σήμερ νήκει στην Oracle JTidy Parser Το JTidy είνι μι μετφορά του HTML Tidy γι την γλώσσ Java. Το JTidy είνι έν εργλείο γι τη συντκτική νάλυση (parsing) HTML σελίδων. Κθρίζει κι διορθώνει κκοσχημτισμένο κι λνθσμένο κώδικ HTML κι έχει τη δυντότητ ν πράγει το DOMδένδρο της σελίδς (DOM Parser).

45 Any23 Η Anything To Triples (any23) είνι μι βιβλιοθήκη, μι υπηρεσί ιστού κι έν εργλείο γι την εξγωγή δεδομένων σε μορφή RDF πό μι πληθώρ εγγράφων. Υποστηρίζει τ κόλουθ δεδομέν: RDF/XML, Turtle, Notation 3 RDFa Microformats: Adr, Geo, hcalendar, hcard, hlisting, hresume, hreview, License, XFN and Species HTML5 Microdata CSV: Comma Separated Values OpenRDF.org Sesame Το Sesame είνι έν framework γι την επεξεργσί RDF δεδομένων. Αυτό περιλμβάνει τη συντκτική νάλυση, την ποθήκευση κι την εκτέλεση ερωτημάτων. Μπορεί ν λειτουργήσει πάνω πό σχεσικές ΒΔ, συστήμτ ρχείων, in memory κτλ. Υποστηρίζει ερωτήμτ σε SPARQL κι SERQL, κθώς κι όλες τις μορφές σύντξης RDF δεδομένων όπως RDF/XML, Turtle, N-Triples, TriG κι TriX. επίσης χρησιμοποιήθηκε η βιβλιοθήκη Elmo η οποί βσίζετι στο Sesame κι διχειρίζετι τ δεδομέν στο επίπεδο των οντολογιών κι όχι στο επίπεδο του RDF.

46 46 Απιτήσεις Συστήμτος 3.1 Λειτουργικές Απιτήσεις ΛΑΠ-1: Το σύστημ πρέπει ν λειτουργεί γι πολύ μεγάλο χρονικό διάστημ χωρίς προβλήμτ. Αιτιολόγηση: Ο όγκος των δεδομένων είνι τέτοιος που η συλλογή τους πιτεί πολύ χρόνο. ΛΑΠ-2: Ο crawler πρέπει ν διτηρεί πληροφορίες γι τις σελίδες που επισκέφθηκε στο πρελθόν. Αιτιολόγηση: Απιτείτι γι την βσική λειτουργί του crawler ώστε ν μην επισκέπτετι ίδιες σελίδες ή σελίδες με προβλήμτ. ΛΑΠ-3: Ο crawler του συστήμτος πρέπει ν σέβετι το πρωτόκολλο robots.txt. Αιτιολόγηση: Είνι σημντικό ο crawler ν μην προκλεί προβλήμτ υπερφόρτωσης στους δικομιστές που επισκέπτετι κθώς ενδέχετι άρνηση εξυπηρέτησης πό μέρους του δικομιστή. ΛΑΠ-4: Στην περίπτωση που ένς ιστότοπος δεν ορίζει το πρωτόκολλο robots.txt ο crawler πρέπει ν χρησιμοποιεί κάποιο προκθορισμένο επίπεδο ευγένεις. Αιτιολόγηση: Ίδι με την ΛΑΠ-3

47 47 ΛΑΠ-5: Το σύστημ πρέπει ν μπορεί ν διτηρεί την κτάστση του κόμη κι σε περίπτωση δικοπής της λειτουργίς του. Επίσης πρέπει το σύστημ πρέπει ν ξεκινά τη λειτουργί πό το σημείο στο οποίο στμάτησε. Αιτιολόγηση: Έτσι υξάνετι η ξιοπιστί του συστήμτος σε περίπτωση προβλήμτος. ΛΑΠ-6: Το σύστημ πρέπει ν εξάγει όλ τ νέ URLsπό κάθε σελίδ που επισκέπτετι. Αιτιολόγηση: Έτσι ο crawler μπορεί ν συνεχίσει ν λειτουργεί κι ν επισκέπτετι νέες σελίδες. ΛΑΠ-7: Το σύστημ πρέπει ν νγνωρίζει τον τύπο των ρχείων που προσκομίζοντι. Αιτιολόγηση: Κάθε ρχείο πρέπει ν επεξεργάζετι πό το ντίστοιχο τμήμ του συστήμτος νάλογ με τον τύπο του. ΛΑΠ-8: Τ ρχεί που πρέπει ν επεξεργάζοντι πό το σύστημ είνι ρχεί html κι xml. Αιτιολόγηση: Τ ρχεί υτά χρησιμοποιούντι πό τους ιστότοπους κοινωνικής δικτύωσης. ΛΑΠ-9: Το σύστημ πρέπει ν εξάγει προσωπικές πληροφορίες γι το όνομ, την ηλικί, την διεύθυνση, το φύλο κι το , των χρηστών πό τις σελίδες που επισκέπτετι. Αιτιολόγηση: Οι χρήστες ποτελούν τους κόμβους των κοινωνικών δικτύων κι οι πληροφορίες υτές ποτελούν τ επιθυμητά δεδομέν. ΛΑΠ-10: Το σύστημ πρέπει ν εξάγει πληροφορίες γι την ύπρξη κοινωνικής σχέσης μετξύ χρηστών πό τις σελίδες που επισκέπτετι. Αιτιολόγηση: Αποτελούν τις κμές των κοινωνικών δικτύων κι ποτελούν τ επιθυμητά δεδομέν. ΛΑΠ-11: χρήστη. Το σύστημ πρέπει ν εντοπίζει σελίδες που νφέροντι στον ίδιο Αιτιολόγηση: Κτά κνόν οι πληροφορίες εκτείνοντι σε πολλές σελίδες κι γι λόγους ορθότητς πρέπει το σύστημ ν γνωρίζει ποι URLs ντιστοιχούν στον ίδιο χρήστη. ΛΑΠ-12: Το σύστημ πρέπει ν ελέγχει ν οι html σελίδες περιέχουν microformats κι ν νι, ν τ χρησιμοποιεί. Αιτιολόγηση: Τ microformats ποτελούν διδεδομένο τρόπο σήμνσης της πληροφορίς, ιδιίτερ σε κοινωνικά δίκτυ. ΛΑΠ-13: Τ δεδομέν που εξάγοντι πρέπει ν ποθηκεύοντι σε μι ΒΔ.

48 48 Αιτιολόγηση: Είνι πρίτητη η διτήρηση των δεδομένων γι περιτέρω νάλυση. 3.2 Μη Λειτουργικές Απιτήσεις ΜΛΑΠ-1: Το σύστημ πρέπει ν είνι κτνεμημένο. Αιτιολόγηση: Ο όγκος των δεδομένων είνι τόσο μεγάλος που είνι πρίτητη η λειτουργί του συστήμτος σε περισσότερ πό έν μηχνήμτ. ΜΛΑΠ-2: συστήμτος. Δεν πρέπει ν υπάρχει επικάλυψη στην λειτουργί των κόμβων του Αιτιολόγηση: Γι λόγους πόδοσης δε πρέπει διφορετικοί κόμβοι ν επεξεργάζοντι τ ίδι δεδομέν. ΜΛΑΠ-3: Η κτνομή της εργσίς πρέπει ν είνι νάλογη με τις υπολογιστικές δυντότητες του κάθε κόμβου. Αιτιολόγηση: Έτσι υξάνετι η πόδοση του συστήμτος φού οι κόμβοι με περισσότερη υπολογιστική ισχύ δεν περιμένουν την περάτωση της λειτουργίς των κόμβων με μικρότερη υπολογιστική ισχύ. ΜΛΑΠ-4: Το σύστημ πρέπει ν κτγράφει πληροφορίες γι την κτάστσή του κτά την εκτέλεση του κι γι οποιοδήποτε σφάλμ συμβίνει κτά την εκτέλεση του με τη χρήση διδεδομένων συστημάτων Logging. Αιτιολόγηση: Ο χρήστης πρέπει ν μπορεί ν ελέγχει την κτάστση του συστήμτος νά πάσ στιγμή κι ν ενημερώνετι στις περιπτώσεις ποτυχίς.

49 49 Ανλυτική Περιγρφή του Συστήμτος 4.1 Αρχιτεκτονική του συστήμτος Γι την υτόμτη συλλογή κοινωνικών δεδομένων πό το διδίκτυο νπτύχθηκε έν σύστημ του οποίου η ρχιτεκτονική προυσιάζετι στο Σχήμ 23. Το σύστημ ποτελείτι πό τρί τμήμτ. Το πρώτο είνι υπεύθυνο γι την διδικσί του crawling. Το δεύτερο τμήμ γι την εξγωγή των επιθυμητών δεδομένων κι το τρίτο πρέχει έν μηχνισμό ποθήκευσης των δεδομένων. Σχήμ 23: Η ρχιτεκτονική του συστήμτος που νπτύχθηκε. Στο Σχήμ 24 φίνετι μι πιο λεπτομερής πεικόνιση του συστήμτος. Όπως φίνετι κι στο σχήμ το ριστερό τμήμ του συστήμτος περιλμβάνει τον χρκτηριστικό βρόχο που έχει κάθε σύστημ crawling κι προυσιάστηκε στο ντίστοιχο διάγρμμ ροής (Σχήμ 1). Το crawling βσίζετι στο λογισμικό νοιχτού κώδικ Nutch κι θ προυσιστεί στην πράγρφο 4.2. Το περιεχόμενο που προσκομίζει ο crawlerσε κάθε επνάληψη του βρόχου νλύετι πό το υποσύστημ εξγωγής στ δεξιά (Σχήμ 24). Τ ποτελέσμτ που προκύπτουν δηλδή οι χρήστες κι οι επφές μετξύ τους, που βρέθηκν στις σελίδες που προσκομίστηκν ποθηκεύοντι στη βάση δεδομένων του

50 50 συστήμτος. Εν συντομί τ βήμτ που κολουθούντι κτά την λειτουργί του συστήμτος είνι τ εξής: 1. Πργωγή λιστών με URLsπρος προσκόμιση. 2. Προσκόμιση των σελίδων. 3. Εξγωγή δεδομένων a. Εξγωγή όλων των νέων URLs που περιέχοντι σε κάθε σελίδ. b. Εξγωγή χρηστών κι επφών πό κάθε σελίδ. c. Αποθήκευση χρηστών κι επφών στη ΒΔ. 4. Ενημέρωση του συστήμτος με τ νέ URLs που βρέθηκν κι επνάληψη της διδικσίς. Σχήμ 24: Λεπτομερής προυσίση του συστήμτος. 4.2 Το υποσύστημ crawling Γι τις νάγκες της προύσς διπλωμτικής επιλέχθηκε η χρήση του Apache Nutch. Το Nutch είνι λογισμικό γι την νζήτηση πληροφορίς στο διδίκτυο. Υλοποιείτι με την χρήση του Apache Lucene κι του Apache Hadoop. Αποτελείτι πό τμήμτ λογισμικού που εκτελούν τις βσικές λειτουργίες μις μηχνής νζήτησης, όπως το crawling, το indexing μις σελίδς, η εκτέλεση ερωτημάτων πό χρήστες, κ.. Το Nutch μπορεί ν εκτελείτι σε έν μηχάνημ ή κτνεμημέν σε έν Hadoop cluster. Ο τρόπος λειτουργίς του Nutch προυσιάζετι στο Σχήμ 25. Τ τμήμτ στ ριστερά του σχήμτος είνι υπεύθυν γι την διδικσί του crawling κι είνι υτά που χρησιμοποιήθηκν στη προύσ διπλωμτική. Τ τμήμτ στ δεξιά φορούν στην υπόλοιπες λειτουργίες μις μηχνής νζήτησης όπως το indexing κι η διδικσί της νζήτησης. Η διδικσί του crawling ποτελείτι πό έν επνλμβνόμενο βρόχο, κτά τον οποίο πράγετι μι λίστ με urls τ οποί προσκομίζοντι κι πό το περιεχόμενο των οποίων εξάγοντι νέ urls. Η διδικσί υτή μπορεί ν γίνει

51 π σ δ 4 T ε ο H σ τ μ Σ c τ Τ σ Η υ ο χ γ δ π στ ν δη 4. To εφ οι Ha σε τρ μο Σύ π clu τη Το ν σφ Η υπ ον χρ γι δι ρ το ντ ημ.2 o φ ι ad ε ρό ον ύμ πό u ην ο ν φ πά νο ρη ι Α ρ ο τί μ 2 d έ όπ ντ μφ ό ust ν φά ά ομ ησ χ Α ρά κ ίσ μιο 2.1 A ρ σ do έν π τέ φ ό te H π άλ ρ άρ μ σ κ χε Αν άλ κ στ ο 1 Ap ρμ σ oo ν πο έλ φω τ e π H πτ λμ ρχ ρχ μά στ κά ει νά λλ κ το ου 1 p μο στ op ο. λ ω τ er. πο HD τύ μ χι χε άτ τώ ά ιρ άπ λη τ οι υρ A pa ο το p λο ων. ο DF ύσ ιτ ει τω ών άθ ρί πτ η τ ιχ ργ A ac ογ οχ p σ κ Γ ο ν ο Ε οθ FS σ τ τε ι ω ν θε ίζ τυ ηλ ν χ γο Ap ch γώ χί σ κ Γι π οπ Επ θή S σσ τ εκ έ ων σ ε ζο υξ λ νε ο p he ώ ίε συ πο μ π πι ήκ S σε κτ έν ν στ φ ον ξη, ε ού pa e ών ες υν τ ου με πο ιπ κε ετ κ το ν ( τ φ ντ η, εμ υ ύν ac ν σ ς νί τ τ υ ε οί πλ ε τ κ ον (n φυ τ Σ β μη υπ ντ c H σ τ ίσ ν τη υ ε τ ί λ ευ π ι ι νι ς na υσ ι Συ β ημ π τ ch H σε το στ νε ην ο το λέ υσ π ι ι ικ ς a σ ι υσ σ μ πο ι he Ha ε μ ο τ εμ ν ον ο ε έο ση πο σ ε κή κ am ρ σικ τ στ σ μέ οσ ι e ad μ υ τ μ ν νο ο εκ ον η οτ στ είν ή κύ m ρχ κό το τή Δ σιζ έν συ ε e H do με υ τ μη ε ομ μ κτ ν η δ τε τ ν ύρ me χε ό ον ήμ Δι ζό νο υ ευ H oo εγ υ ημ επ μ μο τε τ δε ελ τ ρ es εί ό ν μ ιπ ό ο υσ υρ H o γά υ ι μέ πε μά ον ελ το ε λε π ι το ριο sp ί κ μ πλ όμ σ στ ρε Ha op άλ υλ έν εξ άζ ντ λε ο εδ εί π ι σ ου ο pa. κό π τ λω με σ τή ε ad p λ λικ ν ξε ζε τέ ε H δο ί πλ σχ υ ος ac. ό π το ω εν σύ ήμ ετή d λ κ π νο ερ ετ έλ είτ Ha ομ λ χε H ς ce Ε όμ πο ος ωμ νη ύσ μ ή do ε κο πό ο ρ τ λ τ a μ έ ί χε H κ e Επ μβ οθ ς Σ μ η στ μ ήρ oo εί c ού ό σ ργ ι λο ad μέ έν ίσ εδ HD κό e) πι βο θη Συ τ η σ τη τ ρι o ίν clu ύ δ σύ γ ι ο ι do έν ν σι δι D όμ ιπ ο η υ τι σ η τ ι op ν u δυ ύ σ M σ oo νω ι ι DF μ τ πρ ηκ υλ ικ στ ημ Σ p ι us υ ύσ σ M υ σε op ων σ FS μβ το ρ τ κε λλ κή το μ τ Σχ p ι ste ν υο στ σί Ma υτ ε p ν τ σμ S βο ου ρό το ευ λο ή ο τ τ χή e ντ ο τη ap τό ε p π ν σ κ το μ ος υ όσ ου υτ ογ Ε H το ή λ er τι β ημ p ό δ π στ κ ο μέ κ ς σθ υ τι γή Ερ Ha ου ο ήμ λο rs ιμ β μ τ p/r ό δύ π το τ ου έν κο π σ θ ικ ής ργ a ρ υ οπ μ ογ s υ με σ μ τω R μ ύο ρ ο τ υ νο ο π συ θε c κό ς γ ad ρχ πο γι υ ετ σ ω Re μι ο cluster. Επιπλέον το Hadoop πρέχει έν κτνεμημένο σύστημ ρχείων, το HDFS, γι εδομένων στους κόμβους του cluster. HDFS ποτελεί έν κτνεμημένο σύστημ ρχείων κι κτλόγων που στ πλίσι του έργου Apache Hadoop. Έχει μεγάλο βθμό νοχής στ σφάλμτ κι είνι σχεδισμένο γι την λειτουργί σε υλικό χμηλού κόστου Η ρχιτεκτονική του HDFS κολουθεί το μοντέλο master/slave. Σε έν HDFS cluster υπάρχει ένς κύριος κόμβος που ονομάζετι NameNode, κι διχειρίζετι το χώρο ονομάτων (namespace) του συστήμτος ρχείων κι ρυθμίζει την πρόσβση των πιπρόσθετ, υπάρχει μι σειρά εικονικών κόμβων, συνήθως ένς γι κάθε φυσικό κόμβο του cluster, που ονομάζοντι DataNodes. Αυτοί οι κόμβοι διχειρίζοντι τον ποθηκευτικό χώρο του φυσικού κόμβου στον οποίο εκτελούντι. Το Διπλωμτική Εργσί λληλ, βσιζόμενη στο Hadoop. Το στο κτνεμημένο σύστημ ρχείων του Hadoop ( ντίστοιχ υποσυστήμτ του Nutch. Συγκεκριμέν με χρήση τ οποί χρησιμοποιούντι γι την νζήτηση πληροφορίς. Σχήμ 25 Apache Hadoop είνι λογισμικό γι την ξιόπιστη εκτέλεση κτνεμημέν εφρμογών σε μεγάλ clusters υπολογιστών. Η σχεδίση του Hadoop είνι τέτοι ώστε οι στοχίες του υλικού ντιμετωπίζοντι υτόμτ δυο βσικές υπηρεσίες: την ξιόπιστη ποθήκευση δεδομένων εμημένο σύστημ κι την πράλληλη επεξεργσί τους με ποδοτικό τρόπο. Γι την επεξεργσί των δεδομένων το Hadoop υλοποιεί έν υπολογιστικό μοντέλο που ονομάζετι Map/Reduce, το οποίο προ με το μοντέλο υτό μι εργσί χωρίζετι σε πολλά μικρά τμήμτ, κθέν βήμτ(map κι Reduce) σε οποιοδήποτε κόμβο του cluster. Επιπλέον το Hadoop πρέχει έν κτνεμημένο σύστημ ρχείων, το HDFS, γι εδομένων στους κόμβους του cluster. HDFS ποτελεί έν κτνεμημένο σύστημ ρχείων κι κτλόγων που στ πλίσι του έργου Apache Hadoop. Έχει μεγάλο βθμό νοχής στ σφάλμτ κι είνι σχεδισμένο γι την λειτουργί σε υλικό χμηλού κόστου Η ρχιτεκτονική του HDFS κολουθεί το μοντέλο master/slave. Σε έν HDFS cluster υπάρχει ένς κύριος κόμβος που ονομάζετι NameNode, κι διχειρίζετι το χώρο ονομάτων (namespace) του συστήμτος ρχείων κι ρυθμίζει την πρόσβση των πιπρόσθετ, υπάρχει μι σειρά εικονικών κόμβων, συνήθως ένς γι κάθε φυσικό κόμβο του cluster, που ονομάζοντι DataNodes. Αυτοί οι κόμβοι διχειρίζοντι τον ποθηκευτικό χώρο του φυσικού κόμβου στον οποίο εκτελούντι. Το Διπλωμτική Εργσί λληλ, βσιζόμενη στο Hadoop. Το στο κτνεμημένο σύστημ ρχείων του Hadoop ( ντίστοιχ υποσυστήμτ του Nutch. Συγκεκριμέν με χρήση τ οποί χρησιμοποιούντι γι την νζήτηση πληροφορίς. 25 Apache Hadoop είνι λογισμικό γι την ξιόπιστη εκτέλεση κτνεμημέν εφρμογών σε μεγάλ clusters υπολογιστών. Η σχεδίση του Hadoop είνι τέτοι ώστε οι στοχίες του υλικού ντιμετωπίζοντι υτόμτ δυο βσικές υπηρεσίες: την ξιόπιστη ποθήκευση δεδομένων εμημένο σύστημ κι την πράλληλη επεξεργσί τους με ποδοτικό τρόπο. Γι την επεξεργσί των δεδομένων το Hadoop υλοποιεί έν υπολογιστικό μοντέλο που ονομάζετι Map/Reduce, το οποίο προ με το μοντέλο υτό μι εργσί χωρίζετι σε πολλά μικρά τμήμτ, κθέν βήμτ(map κι Reduce) σε οποιοδήποτε κόμβο του cluster. Επιπλέον το Hadoop πρέχει έν κτνεμημένο σύστημ ρχείων, το HDFS, γι εδομένων στους κόμβους του cluster. HDFS ποτελεί έν κτνεμημένο σύστημ ρχείων κι κτλόγων που στ πλίσι του έργου Apache Hadoop. Έχει μεγάλο βθμό νοχής στ σφάλμτ κι είνι σχεδισμένο γι την λειτουργί σε υλικό χμηλού κόστου Η ρχιτεκτονική του HDFS κολουθεί το μοντέλο master/slave. Σε έν HDFS cluster υπάρχει ένς κύριος κόμβος που ονομάζετι NameNode, κι διχειρίζετι το χώρο ονομάτων (namespace) του συστήμτος ρχείων κι ρυθμίζει την πρόσβση των πιπρόσθετ, υπάρχει μι σειρά εικονικών κόμβων, συνήθως ένς γι κάθε φυσικό κόμβο του cluster, που ονομάζοντι DataNodes. Αυτοί οι κόμβοι διχειρίζοντι τον ποθηκευτικό χώρο του φυσικού κόμβου στον οποίο εκτελούντι. Το Διπλωμτική Εργσί λληλ, βσιζόμενη στο Hadoop. Το στο κτνεμημένο σύστημ ρχείων του Hadoop ( ντίστοιχ υποσυστήμτ του Nutch. Συγκεκριμέν με χρήση τ οποί χρησιμοποιούντι γι την νζήτηση πληροφορίς. 25: Apache Hadoop είνι λογισμικό γι την ξιόπιστη εκτέλεση κτνεμημέν εφρμογών σε μεγάλ clusters υπολογιστών. Η σχεδίση του Hadoop είνι τέτοι ώστε οι στοχίες του υλικού ντιμετωπίζοντι υτόμτ δυο βσικές υπηρεσίες: την ξιόπιστη ποθήκευση δεδομένων εμημένο σύστημ κι την πράλληλη επεξεργσί τους με ποδοτικό τρόπο. Γι την επεξεργσί των δεδομένων το Hadoop υλοποιεί έν υπολογιστικό μοντέλο που ονομάζετι Map/Reduce, το οποίο προ με το μοντέλο υτό μι εργσί χωρίζετι σε πολλά μικρά τμήμτ, κθέν βήμτ(map κι Reduce) σε οποιοδήποτε κόμβο του cluster. Επιπλέον το Hadoop πρέχει έν κτνεμημένο σύστημ ρχείων, το HDFS, γι εδομένων στους κόμβους του cluster. HDFS ποτελεί έν κτνεμημένο σύστημ ρχείων κι κτλόγων που στ πλίσι του έργου Apache Hadoop. Έχει μεγάλο βθμό νοχής στ σφάλμτ κι είνι σχεδισμένο γι την λειτουργί σε υλικό χμηλού κόστου Η ρχιτεκτονική του HDFS κολουθεί το μοντέλο master/slave. Σε έν HDFS cluster υπάρχει ένς κύριος κόμβος που ονομάζετι NameNode, κι διχειρίζετι το χώρο ονομάτων (namespace) του συστήμτος ρχείων κι ρυθμίζει την πρόσβση των πιπρόσθετ, υπάρχει μι σειρά εικονικών κόμβων, συνήθως ένς γι κάθε φυσικό κόμβο του cluster, που ονομάζοντι DataNodes. Αυτοί οι κόμβοι διχειρίζοντι τον ποθηκευτικό χώρο του φυσικού κόμβου στον οποίο εκτελούντι. Το Διπλωμτική Εργσί λληλ, βσιζόμενη στο Hadoop. Το στο κτνεμημένο σύστημ ρχείων του Hadoop ( ντίστοιχ υποσυστήμτ του Nutch. Συγκεκριμέν με χρήση τ οποί χρησιμοποιούντι γι την νζήτηση πληροφορίς. : Η ρχιτεκτονική του Nutch. Apache Hadoop είνι λογισμικό γι την ξιόπιστη εκτέλεση κτνεμημέν εφρμογών σε μεγάλ clusters υπολογιστών. Η σχεδίση του Hadoop είνι τέτοι ώστε οι στοχίες του υλικού ντιμετωπίζοντι υτόμτ δυο βσικές υπηρεσίες: την ξιόπιστη ποθήκευση δεδομένων εμημένο σύστημ κι την πράλληλη επεξεργσί τους με ποδοτικό τρόπο. Γι την επεξεργσί των δεδομένων το Hadoop υλοποιεί έν υπολογιστικό μοντέλο που ονομάζετι Map/Reduce, το οποίο προ με το μοντέλο υτό μι εργσί χωρίζετι σε πολλά μικρά τμήμτ, κθέν βήμτ(map κι Reduce) σε οποιοδήποτε κόμβο του cluster. Επιπλέον το Hadoop πρέχει έν κτνεμημένο σύστημ ρχείων, το HDFS, γι εδομένων στους κόμβους του cluster. HDFS ποτελεί έν κτνεμημένο σύστημ ρχείων κι κτλόγων που στ πλίσι του έργου Apache Hadoop. Έχει μεγάλο βθμό νοχής στ σφάλμτ κι είνι σχεδισμένο γι την λειτουργί σε υλικό χμηλού κόστου Η ρχιτεκτονική του HDFS κολουθεί το μοντέλο master/slave. Σε έν HDFS cluster υπάρχει ένς κύριος κόμβος που ονομάζετι NameNode, κι διχειρίζετι το χώρο ονομάτων (namespace) του συστήμτος ρχείων κι ρυθμίζει την πρόσβση των πιπρόσθετ, υπάρχει μι σειρά εικονικών κόμβων, συνήθως ένς γι κάθε φυσικό κόμβο του cluster, που ονομάζοντι DataNodes. Αυτοί οι κόμβοι διχειρίζοντι τον ποθηκευτικό χώρο του φυσικού κόμβου στον οποίο εκτελούντι. Το Διπλωμτική Εργσί λληλ, βσιζόμενη στο Hadoop. Το στο κτνεμημένο σύστημ ρχείων του Hadoop ( ντίστοιχ υποσυστήμτ του Nutch. Συγκεκριμέν με χρήση τ οποί χρησιμοποιούντι γι την νζήτηση πληροφορίς. Η ρχιτεκτονική του Nutch. Apache Hadoop είνι λογισμικό γι την ξιόπιστη εκτέλεση κτνεμημέν εφρμογών σε μεγάλ clusters υπολογιστών. Η σχεδίση του Hadoop είνι τέτοι ώστε οι στοχίες του υλικού ντιμετωπίζοντι υτόμτ δυο βσικές υπηρεσίες: την ξιόπιστη ποθήκευση δεδομένων εμημένο σύστημ κι την πράλληλη επεξεργσί τους με ποδοτικό τρόπο. Γι την επεξεργσί των δεδομένων το Hadoop υλοποιεί έν υπολογιστικό μοντέλο που ονομάζετι Map/Reduce, το οποίο προ με το μοντέλο υτό μι εργσί χωρίζετι σε πολλά μικρά τμήμτ, κθέν βήμτ(map κι Reduce) σε οποιοδήποτε κόμβο του cluster. Επιπλέον το Hadoop πρέχει έν κτνεμημένο σύστημ ρχείων, το HDFS, γι εδομένων στους κόμβους του cluster. HDFS ποτελεί έν κτνεμημένο σύστημ ρχείων κι κτλόγων που στ πλίσι του έργου Apache Hadoop. Έχει μεγάλο βθμό νοχής στ σφάλμτ κι είνι σχεδισμένο γι την λειτουργί σε υλικό χμηλού κόστου Η ρχιτεκτονική του HDFS κολουθεί το μοντέλο master/slave. Σε έν HDFS cluster υπάρχει ένς κύριος κόμβος που ονομάζετι NameNode, κι διχειρίζετι το χώρο ονομάτων (namespace) του συστήμτος ρχείων κι ρυθμίζει την πρόσβση των πιπρόσθετ, υπάρχει μι σειρά εικονικών κόμβων, συνήθως ένς γι κάθε φυσικό κόμβο του cluster, που ονομάζοντι DataNodes. Αυτοί οι κόμβοι διχειρίζοντι τον ποθηκευτικό χώρο του φυσικού κόμβου στον οποίο εκτελούντι. Το Σχοινάς Εμμνουήλ λληλ, βσιζόμενη στο Hadoop. Το στο κτνεμημένο σύστημ ρχείων του Hadoop ( ντίστοιχ υποσυστήμτ του Nutch. Συγκεκριμέν με χρήση τ οποί χρησιμοποιούντι γι την νζήτηση πληροφορίς. Η ρχιτεκτονική του Nutch. Apache Hadoop είνι λογισμικό γι την ξιόπιστη εκτέλεση κτνεμημέν εφρμογών σε μεγάλ clusters υπολογιστών. Η σχεδίση του Hadoop είνι τέτοι ώστε οι στοχίες του υλικού ντιμετωπίζοντι υτόμτ δυο βσικές υπηρεσίες: την ξιόπιστη ποθήκευση δεδομένων εμημένο σύστημ κι την πράλληλη επεξεργσί τους με ποδοτικό τρόπο. Γι την επεξεργσί των δεδομένων το Hadoop υλοποιεί έν υπολογιστικό μοντέλο που ονομάζετι Map/Reduce, το οποίο προ με το μοντέλο υτό μι εργσί χωρίζετι σε πολλά μικρά τμήμτ, κθέν βήμτ(map κι Reduce) σε οποιοδήποτε κόμβο του cluster. Επιπλέον το Hadoop πρέχει έν κτνεμημένο σύστημ ρχείων, το HDFS, γι εδομένων στους κόμβους του cluster. HDFS ποτελεί έν κτνεμημένο σύστημ ρχείων κι κτλόγων που στ πλίσι του έργου Apache Hadoop. Έχει μεγάλο βθμό νοχής στ σφάλμτ κι είνι σχεδισμένο γι την λειτουργί σε υλικό χμηλού κόστου Η ρχιτεκτονική του HDFS κολουθεί το μοντέλο master/slave. Σε έν HDFS cluster υπάρχει ένς κύριος κόμβος που ονομάζετι NameNode, κι διχειρίζετι το χώρο ονομάτων (namespace) του συστήμτος ρχείων κι ρυθμίζει την πρόσβση των πιπρόσθετ, υπάρχει μι σειρά εικονικών κόμβων, συνήθως ένς γι κάθε φυσικό κόμβο του cluster, που ονομάζοντι DataNodes. Αυτοί οι κόμβοι διχειρίζοντι τον ποθηκευτικό χώρο του φυσικού κόμβου στον οποίο εκτελούντι. Το Σχοινάς Εμμνουήλ λληλ, βσιζόμενη στο Hadoop. Το στο κτνεμημένο σύστημ ρχείων του Hadoop ( ντίστοιχ υποσυστήμτ του Nutch. Συγκεκριμέν με χρήση τ οποί χρησιμοποιούντι γι την νζήτηση πληροφορίς. Η ρχιτεκτονική του Nutch. Apache Hadoop είνι λογισμικό γι την ξιόπιστη εκτέλεση κτνεμημέν εφρμογών σε μεγάλ clusters υπολογιστών. Η σχεδίση του Hadoop είνι τέτοι ώστε οι στοχίες του υλικού ντιμετωπίζοντι υτόμτ δυο βσικές υπηρεσίες: την ξιόπιστη ποθήκευση δεδομένων εμημένο σύστημ κι την πράλληλη επεξεργσί τους με ποδοτικό τρόπο. Γι την επεξεργσί των δεδομένων το Hadoop υλοποιεί έν υπολογιστικό μοντέλο που ονομάζετι Map/Reduce, το οποίο προ με το μοντέλο υτό μι εργσί χωρίζετι σε πολλά μικρά τμήμτ, κθέν βήμτ(map κι Reduce) σε οποιοδήποτε κόμβο του cluster. Επιπλέον το Hadoop πρέχει έν κτνεμημένο σύστημ ρχείων, το HDFS, γι εδομένων στους κόμβους του cluster. HDFS ποτελεί έν κτνεμημένο σύστημ ρχείων κι κτλόγων που στ πλίσι του έργου Apache Hadoop. Έχει μεγάλο βθμό νοχής στ σφάλμτ κι είνι σχεδισμένο γι την λειτουργί σε υλικό χμηλού κόστου Η ρχιτεκτονική του HDFS κολουθεί το μοντέλο master/slave. Σε έν HDFS cluster υπάρχει ένς κύριος κόμβος που ονομάζετι NameNode, κι διχειρίζετι το χώρο ονομάτων (namespace) του συστήμτος ρχείων κι ρυθμίζει την πρόσβση των πιπρόσθετ, υπάρχει μι σειρά εικονικών κόμβων, συνήθως ένς γι κάθε φυσικό κόμβο του cluster, που ονομάζοντι DataNodes. Αυτοί οι κόμβοι διχειρίζοντι τον ποθηκευτικό χώρο του φυσικού κόμβου στον οποίο εκτελούντι. Το Σχοινάς Εμμνουήλ λληλ, βσιζόμενη στο Hadoop. Το στο κτνεμημένο σύστημ ρχείων του Hadoop ( ντίστοιχ υποσυστήμτ του Nutch. Συγκεκριμέν με χρήση τ οποί χρησιμοποιούντι γι την νζήτηση πληροφορίς. Η ρχιτεκτονική του Nutch. Apache Hadoop είνι λογισμικό γι την ξιόπιστη εκτέλεση κτνεμημέν εφρμογών σε μεγάλ clusters υπολογιστών. Η σχεδίση του Hadoop είνι τέτοι ώστε οι στοχίες του υλικού ντιμετωπίζοντι υτόμτ δυο βσικές υπηρεσίες: την ξιόπιστη ποθήκευση δεδομένων εμημένο σύστημ κι την πράλληλη επεξεργσί τους με ποδοτικό τρόπο. Γι την επεξεργσί των δεδομένων το Hadoop υλοποιεί έν υπολογιστικό μοντέλο που ονομάζετι Map/Reduce, το οποίο προ με το μοντέλο υτό μι εργσί χωρίζετι σε πολλά μικρά τμήμτ, κθέν βήμτ(map κι Reduce) σε οποιοδήποτε κόμβο του cluster. Επιπλέον το Hadoop πρέχει έν κτνεμημένο σύστημ ρχείων, το HDFS, γι εδομένων στους κόμβους του cluster. HDFS ποτελεί έν κτνεμημένο σύστημ ρχείων κι κτλόγων που στ πλίσι του έργου Apache Hadoop. Έχει μεγάλο βθμό νοχής στ σφάλμτ κι είνι σχεδισμένο γι την λειτουργί σε υλικό χμηλού κόστου Η ρχιτεκτονική του HDFS κολουθεί το μοντέλο master/slave. Σε έν HDFS cluster υπάρχει ένς κύριος κόμβος που ονομάζετι NameNode, κι διχειρίζετι το χώρο ονομάτων (namespace) του συστήμτος ρχείων κι ρυθμίζει την πρόσβση των πιπρόσθετ, υπάρχει μι σειρά εικονικών κόμβων, συνήθως ένς γι κάθε φυσικό κόμβο του cluster, που ονομάζοντι DataNodes. Αυτοί οι κόμβοι διχειρίζοντι τον ποθηκευτικό χώρο του φυσικού κόμβου στον οποίο εκτελούντι. Το Σχοινάς Εμμνουήλ λληλ, βσιζόμενη στο Hadoop. Το στο κτνεμημένο σύστημ ρχείων του Hadoop ( ντίστοιχ υποσυστήμτ του Nutch. Συγκεκριμέν με χρήση τ οποί χρησιμοποιούντι γι την νζήτηση πληροφορίς. Η ρχιτεκτονική του Nutch. Apache Hadoop είνι λογισμικό γι την ξιόπιστη εκτέλεση κτνεμημέν εφρμογών σε μεγάλ clusters υπολογιστών. Η σχεδίση του Hadoop είνι τέτοι ώστε οι στοχίες του υλικού ντιμετωπίζοντι υτόμτ δυο βσικές υπηρεσίες: την ξιόπιστη ποθήκευση δεδομένων εμημένο σύστημ κι την πράλληλη επεξεργσί τους με ποδοτικό τρόπο. Γι την επεξεργσί των δεδομένων το Hadoop υλοποιεί έν υπολογιστικό μοντέλο που ονομάζετι Map/Reduce, το οποίο προ με το μοντέλο υτό μι εργσί χωρίζετι σε πολλά μικρά τμήμτ, κθέν βήμτ(map κι Reduce) σε οποιοδήποτε κόμβο του cluster. Επιπλέον το Hadoop πρέχει έν κτνεμημένο σύστημ ρχείων, το HDFS, γι εδομένων στους κόμβους του cluster. HDFS ποτελεί έν κτνεμημένο σύστημ ρχείων κι κτλόγων που στ πλίσι του έργου Apache Hadoop. Έχει μεγάλο βθμό νοχής στ σφάλμτ κι είνι σχεδισμένο γι την λειτουργί σε υλικό χμηλού κόστου Η ρχιτεκτονική του HDFS κολουθεί το μοντέλο master/slave. Σε έν HDFS cluster υπάρχει ένς κύριος κόμβος που ονομάζετι NameNode, κι διχειρίζετι το χώρο ονομάτων (namespace) του συστήμτος ρχείων κι ρυθμίζει την πρόσβση των πιπρόσθετ, υπάρχει μι σειρά εικονικών κόμβων, συνήθως ένς γι κάθε φυσικό κόμβο του cluster, που ονομάζοντι DataNodes. Αυτοί οι κόμβοι διχειρίζοντι τον ποθηκευτικό χώρο του φυσικού κόμβου στον οποίο εκτελούντι. Το Σχοινάς Εμμνουήλ περιεχόμενο των urls (content) στο κτνεμημένο σύστημ ρχείων του Hadoop ( ντίστοιχ υποσυστήμτ του Nutch. Συγκεκριμέν με χρήση τ οποί χρησιμοποιούντι γι την νζήτηση πληροφορίς. Η ρχιτεκτονική του Nutch. Apache Hadoop είνι λογισμικό γι την ξιόπιστη εκτέλεση κτνεμημέν εφρμογών σε μεγάλ clusters υπολογιστών. Η σχεδίση του Hadoop είνι τέτοι ώστε οι στοχίες του υλικού ντιμετωπίζοντι υτόμτ δυο βσικές υπηρεσίες: την ξιόπιστη ποθήκευση δεδομένων εμημένο σύστημ κι την πράλληλη επεξεργσί τους με ποδοτικό τρόπο. Γι την επεξεργσί των δεδομένων το Hadoop υλοποιεί έν υπολογιστικό μοντέλο που ονομάζετι Map/Reduce, το οποίο προ με το μοντέλο υτό μι εργσί χωρίζετι σε πολλά μικρά τμήμτ, κθέν βήμτ(map κι Reduce) σε οποιοδήποτε κόμβο του cluster. Επιπλέον το Hadoop πρέχει έν κτνεμημένο σύστημ ρχείων, το HDFS, γι εδομένων στους κόμβους του cluster. HDFS ποτελεί έν κτνεμημένο σύστημ ρχείων κι κτλόγων που στ πλίσι του έργου Apache Hadoop. Έχει μεγάλο βθμό νοχής στ σφάλμτ κι είνι σχεδισμένο γι την λειτουργί σε υλικό χμηλού κόστου Η ρχιτεκτονική του HDFS κολουθεί το μοντέλο master/slave. Σε έν HDFS cluster υπάρχει ένς κύριος κόμβος που ονομάζετι NameNode, κι διχειρίζετι το χώρο ονομάτων (namespace) του συστήμτος ρχείων κι ρυθμίζει την πρόσβση των πιπρόσθετ, υπάρχει μι σειρά εικονικών κόμβων, συνήθως ένς γι κάθε φυσικό κόμβο του cluster, που ονομάζοντι DataNodes. Αυτοί οι κόμβοι διχειρίζοντι τον ποθηκευτικό χώρο του φυσικού κόμβου στον οποίο εκτελούντι. Το Σχοινάς Εμμνουήλ περιεχόμενο των urls (content) στο κτνεμημένο σύστημ ρχείων του Hadoop ( ντίστοιχ υποσυστήμτ του Nutch. Συγκεκριμέν με χρήση τ οποί χρησιμοποιούντι γι την νζήτηση πληροφορίς. Η ρχιτεκτονική του Nutch. Apache Hadoop είνι λογισμικό γι την ξιόπιστη εκτέλεση κτνεμημέν εφρμογών σε μεγάλ clusters υπολογιστών. Η σχεδίση του Hadoop είνι τέτοι ώστε οι στοχίες του υλικού ντιμετωπίζοντι υτόμτ δυο βσικές υπηρεσίες: την ξιόπιστη ποθήκευση δεδομένων εμημένο σύστημ κι την πράλληλη επεξεργσί τους με ποδοτικό τρόπο. Γι την επεξεργσί των δεδομένων το Hadoop υλοποιεί έν υπολογιστικό μοντέλο που ονομάζετι Map/Reduce, το οποίο προ με το μοντέλο υτό μι εργσί χωρίζετι σε πολλά μικρά τμήμτ, κθέν βήμτ(map κι Reduce) σε οποιοδήποτε κόμβο του cluster. Επιπλέον το Hadoop πρέχει έν κτνεμημένο σύστημ ρχείων, το HDFS, γι εδομένων στους κόμβους του cluster. HDFS ποτελεί έν κτνεμημένο σύστημ ρχείων κι κτλόγων που στ πλίσι του έργου Apache Hadoop. Έχει μεγάλο βθμό νοχής στ σφάλμτ κι είνι σχεδισμένο γι την λειτουργί σε υλικό χμηλού κόστου Η ρχιτεκτονική του HDFS κολουθεί το μοντέλο master/slave. Σε έν HDFS cluster υπάρχει ένς κύριος κόμβος που ονομάζετι NameNode, κι διχειρίζετι το χώρο ονομάτων (namespace) του συστήμτος ρχείων κι ρυθμίζει την πρόσβση των πιπρόσθετ, υπάρχει μι σειρά εικονικών κόμβων, συνήθως ένς γι κάθε φυσικό κόμβο του cluster, που ονομάζοντι DataNodes. Αυτοί οι κόμβοι διχειρίζοντι τον ποθηκευτικό χώρο του φυσικού κόμβου στον οποίο εκτελούντι. Το Σχοινάς Εμμνουήλ περιεχόμενο των urls (content) στο κτνεμημένο σύστημ ρχείων του Hadoop ( ντίστοιχ υποσυστήμτ του Nutch. Συγκεκριμέν με χρήση τ οποί χρησιμοποιούντι γι την νζήτηση πληροφορίς. Η ρχιτεκτονική του Nutch. Apache Hadoop είνι λογισμικό γι την ξιόπιστη εκτέλεση κτνεμημέν εφρμογών σε μεγάλ clusters υπολογιστών. Η σχεδίση του Hadoop είνι τέτοι ώστε οι στοχίες του υλικού ντιμετωπίζοντι υτόμτ δυο βσικές υπηρεσίες: την ξιόπιστη ποθήκευση δεδομένων εμημένο σύστημ κι την πράλληλη επεξεργσί τους με ποδοτικό τρόπο. Γι την επεξεργσί των δεδομένων το Hadoop υλοποιεί έν υπολογιστικό μοντέλο που ονομάζετι Map/Reduce, το οποίο προ με το μοντέλο υτό μι εργσί χωρίζετι σε πολλά μικρά τμήμτ, κθέν βήμτ(map κι Reduce) σε οποιοδήποτε κόμβο του cluster. Επιπλέον το Hadoop πρέχει έν κτνεμημένο σύστημ ρχείων, το HDFS, γι εδομένων στους κόμβους του cluster. HDFS ποτελεί έν κτνεμημένο σύστημ ρχείων κι κτλόγων που στ πλίσι του έργου Apache Hadoop. Έχει μεγάλο βθμό νοχής στ σφάλμτ κι είνι σχεδισμένο γι την λειτουργί σε υλικό χμηλού κόστου Η ρχιτεκτονική του HDFS κολουθεί το μοντέλο master/slave. Σε έν HDFS cluster υπάρχει ένς κύριος κόμβος που ονομάζετι NameNode, κι διχειρίζετι το χώρο ονομάτων (namespace) του συστήμτος ρχείων κι ρυθμίζει την πρόσβση των πιπρόσθετ, υπάρχει μι σειρά εικονικών κόμβων, συνήθως ένς γι κάθε φυσικό κόμβο του cluster, που ονομάζοντι DataNodes. Αυτοί οι κόμβοι διχειρίζοντι τον ποθηκευτικό χώρο του φυσικού κόμβου στον οποίο εκτελούντι. Το Σχοινάς Εμμνουήλ περιεχόμενο των urls (content) στο κτνεμημένο σύστημ ρχείων του Hadoop ( ντίστοιχ υποσυστήμτ του Nutch. Συγκεκριμέν με χρήση τ οποί χρησιμοποιούντι γι την νζήτηση πληροφορίς. Η ρχιτεκτονική του Nutch. Apache Hadoop είνι λογισμικό γι την ξιόπιστη εκτέλεση κτνεμημέν εφρμογών σε μεγάλ clusters υπολογιστών. Η σχεδίση του Hadoop είνι τέτοι ώστε οι στοχίες του υλικού ντιμετωπίζοντι υτόμτ δυο βσικές υπηρεσίες: την ξιόπιστη ποθήκευση δεδομένων εμημένο σύστημ κι την πράλληλη επεξεργσί τους με ποδοτικό τρόπο. Γι την επεξεργσί των δεδομένων το Hadoop υλοποιεί έν υπολογιστικό μοντέλο που ονομάζετι Map/Reduce, το οποίο προ με το μοντέλο υτό μι εργσί χωρίζετι σε πολλά μικρά τμήμτ, κθέν βήμτ(map κι Reduce) σε οποιοδήποτε κόμβο του cluster. Επιπλέον το Hadoop πρέχει έν κτνεμημένο σύστημ ρχείων, το HDFS, γι εδομένων στους κόμβους του cluster. HDFS ποτελεί έν κτνεμημένο σύστημ ρχείων κι κτλόγων που στ πλίσι του έργου Apache Hadoop. Έχει μεγάλο βθμό νοχής στ σφάλμτ κι είνι σχεδισμένο γι την λειτουργί σε υλικό χμηλού κόστου Η ρχιτεκτονική του HDFS κολουθεί το μοντέλο master/slave. Σε έν HDFS cluster υπάρχει ένς κύριος κόμβος που ονομάζετι NameNode, κι διχειρίζετι το χώρο ονομάτων (namespace) του συστήμτος ρχείων κι ρυθμίζει την πρόσβση των πιπρόσθετ, υπάρχει μι σειρά εικονικών κόμβων, συνήθως ένς γι κάθε φυσικό κόμβο του cluster, που ονομάζοντι DataNodes. Αυτοί οι κόμβοι διχειρίζοντι τον ποθηκευτικό χώρο του φυσικού κόμβου στον οποίο εκτελούντι. Το Σχοινάς Εμμνουήλ περιεχόμενο των urls (content) στο κτνεμημένο σύστημ ρχείων του Hadoop ( ντίστοιχ υποσυστήμτ του Nutch. Συγκεκριμέν με χρήση τ οποί χρησιμοποιούντι γι την νζήτηση πληροφορίς. Η ρχιτεκτονική του Nutch. Apache Hadoop είνι λογισμικό γι την ξιόπιστη εκτέλεση κτνεμημέν εφρμογών σε μεγάλ clusters υπολογιστών. Η σχεδίση του Hadoop είνι τέτοι ώστε οι στοχίες του υλικού ντιμετωπίζοντι υτόμτ δυο βσικές υπηρεσίες: την ξιόπιστη ποθήκευση δεδομένων εμημένο σύστημ κι την πράλληλη επεξεργσί τους με ποδοτικό τρόπο. Γι την επεξεργσί των δεδομένων το Hadoop υλοποιεί έν υπολογιστικό μοντέλο που ονομάζετι Map/Reduce, το οποίο προ με το μοντέλο υτό μι εργσί χωρίζετι σε πολλά μικρά τμήμτ, κθέν βήμτ(map κι Reduce) σε οποιοδήποτε κόμβο του cluster. Επιπλέον το Hadoop πρέχει έν κτνεμημένο σύστημ ρχείων, το HDFS, γι εδομένων στους κόμβους του cluster. HDFS ποτελεί έν κτνεμημένο σύστημ ρχείων κι κτλόγων που στ πλίσι του έργου Apache Hadoop. Έχει μεγάλο βθμό νοχής στ σφάλμτ κι είνι σχεδισμένο γι την λειτουργί σε υλικό χμηλού κόστου Η ρχιτεκτονική του HDFS κολουθεί το μοντέλο master/slave. Σε έν HDFS cluster υπάρχει ένς κύριος κόμβος που ονομάζετι NameNode, κι διχειρίζετι το χώρο ονομάτων (namespace) του συστήμτος ρχείων κι ρυθμίζει την πρόσβση των πιπρόσθετ, υπάρχει μι σειρά εικονικών κόμβων, συνήθως ένς γι κάθε φυσικό κόμβο του cluster, που ονομάζοντι DataNodes. Αυτοί οι κόμβοι διχειρίζοντι τον ποθηκευτικό χώρο του φυσικού κόμβου στον οποίο εκτελούντι. Το Σχοινάς Εμμνουήλ περιεχόμενο των urls (content) στο κτνεμημένο σύστημ ρχείων του Hadoop ( ντίστοιχ υποσυστήμτ του Nutch. Συγκεκριμέν με χρήση τ οποί χρησιμοποιούντι γι την νζήτηση πληροφορίς. Η ρχιτεκτονική του Nutch. Apache Hadoop είνι λογισμικό γι την ξιόπιστη εκτέλεση κτνεμημέν εφρμογών σε μεγάλ clusters υπολογιστών. Η σχεδίση του Hadoop είνι τέτοι ώστε οι στοχίες του υλικού ντιμετωπίζοντι υτόμτ δυο βσικές υπηρεσίες: την ξιόπιστη ποθήκευση δεδομένων εμημένο σύστημ κι την πράλληλη επεξεργσί τους με ποδοτικό τρόπο. Γι την επεξεργσί των δεδομένων το Hadoop υλοποιεί έν υπολογιστικό μοντέλο που ονομάζετι Map/Reduce, το οποίο προ με το μοντέλο υτό μι εργσί χωρίζετι σε πολλά μικρά τμήμτ, κθέν βήμτ(map κι Reduce) σε οποιοδήποτε κόμβο του cluster. Επιπλέον το Hadoop πρέχει έν κτνεμημένο σύστημ ρχείων, το HDFS, γι εδομένων στους κόμβους του cluster. HDFS ποτελεί έν κτνεμημένο σύστημ ρχείων κι κτλόγων που στ πλίσι του έργου Apache Hadoop. Έχει μεγάλο βθμό νοχής στ σφάλμτ κι είνι σχεδισμένο γι την λειτουργί σε υλικό χμηλού κόστου Η ρχιτεκτονική του HDFS κολουθεί το μοντέλο master/slave. Σε έν HDFS cluster υπάρχει ένς κύριος κόμβος που ονομάζετι NameNode, κι διχειρίζετι το χώρο ονομάτων (namespace) του συστήμτος ρχείων κι ρυθμίζει την πρόσβση των πιπρόσθετ, υπάρχει μι σειρά εικονικών κόμβων, συνήθως ένς γι κάθε φυσικό κόμβο του cluster, που ονομάζοντι DataNodes. Αυτοί οι κόμβοι διχειρίζοντι τον ποθηκευτικό χώρο του φυσικού κόμβου στον οποίο εκτελούντι. Το Σχοινάς Εμμνουήλ περιεχόμενο των urls (content) στο κτνεμημένο σύστημ ρχείων του Hadoop ( ντίστοιχ υποσυστήμτ του Nutch. Συγκεκριμέν με χρήση τ οποί χρησιμοποιούντι γι την νζήτηση πληροφορίς. Η ρχιτεκτονική του Nutch. Apache Hadoop είνι λογισμικό γι την ξιόπιστη εκτέλεση κτνεμημέν εφρμογών σε μεγάλ clusters υπολογιστών. Η σχεδίση του Hadoop είνι τέτοι ώστε οι στοχίες του υλικού ντιμετωπίζοντι υτόμτ δυο βσικές υπηρεσίες: την ξιόπιστη ποθήκευση δεδομένων εμημένο σύστημ κι την πράλληλη επεξεργσί τους με ποδοτικό τρόπο. Γι την επεξεργσί των δεδομένων το Hadoop υλοποιεί έν υπολογιστικό μοντέλο που ονομάζετι Map/Reduce, το οποίο προ με το μοντέλο υτό μι εργσί χωρίζετι σε πολλά μικρά τμήμτ, κθέν βήμτ(map κι Reduce) σε οποιοδήποτε κόμβο του cluster. Επιπλέον το Hadoop πρέχει έν κτνεμημένο σύστημ ρχείων, το HDFS, γι εδομένων στους κόμβους του cluster. HDFS ποτελεί έν κτνεμημένο σύστημ ρχείων κι κτλόγων που στ πλίσι του έργου Apache Hadoop. Έχει μεγάλο βθμό νοχής στ σφάλμτ κι είνι σχεδισμένο γι την λειτουργί σε υλικό χμηλού κόστου Η ρχιτεκτονική του HDFS κολουθεί το μοντέλο master/slave. Σε έν HDFS cluster υπάρχει ένς κύριος κόμβος που ονομάζετι NameNode, κι διχειρίζετι το χώρο ονομάτων (namespace) του συστήμτος ρχείων κι ρυθμίζει την πρόσβση των πιπρόσθετ, υπάρχει μι σειρά εικονικών κόμβων, συνήθως ένς γι κάθε φυσικό κόμβο του cluster, που ονομάζοντι DataNodes. Αυτοί οι κόμβοι διχειρίζοντι τον ποθηκευτικό χώρο του φυσικού κόμβου στον οποίο εκτελούντι. Το Σχοινάς Εμμνουήλ περιεχόμενο των urls (content) στο κτνεμημένο σύστημ ρχείων του Hadoop ( ντίστοιχ υποσυστήμτ του Nutch. Συγκεκριμέν με χρήση τ οποί χρησιμοποιούντι γι την νζήτηση πληροφορίς. Η ρχιτεκτονική του Nutch. Apache Hadoop είνι λογισμικό γι την ξιόπιστη εκτέλεση κτνεμημέν εφρμογών σε μεγάλ clusters υπολογιστών. Η σχεδίση του Hadoop είνι τέτοι ώστε οι στοχίες του υλικού ντιμετωπίζοντι υτόμτ δυο βσικές υπηρεσίες: την ξιόπιστη ποθήκευση δεδομένων εμημένο σύστημ κι την πράλληλη επεξεργσί τους με ποδοτικό τρόπο. Γι την επεξεργσί των δεδομένων το Hadoop υλοποιεί έν υπολογιστικό μοντέλο που ονομάζετι Map/Reduce, το οποίο προ με το μοντέλο υτό μι εργσί χωρίζετι σε πολλά μικρά τμήμτ, κθέν βήμτ(map κι Reduce) σε οποιοδήποτε κόμβο του cluster. Επιπλέον το Hadoop πρέχει έν κτνεμημένο σύστημ ρχείων, το HDFS, γι εδομένων στους κόμβους του cluster. HDFS ποτελεί έν κτνεμημένο σύστημ ρχείων κι κτλόγων που στ πλίσι του έργου Apache Hadoop. Έχει μεγάλο βθμό νοχής στ σφάλμτ κι είνι σχεδισμένο γι την λειτουργί σε υλικό χμηλού κόστου Η ρχιτεκτονική του HDFS κολουθεί το μοντέλο master/slave. Σε έν HDFS cluster υπάρχει ένς κύριος κόμβος που ονομάζετι NameNode, κι διχειρίζετι το χώρο ονομάτων (namespace) του συστήμτος ρχείων κι ρυθμίζει την πρόσβση των πιπρόσθετ, υπάρχει μι σειρά εικονικών κόμβων, συνήθως ένς γι κάθε φυσικό κόμβο του cluster, που ονομάζοντι DataNodes. Αυτοί οι κόμβοι διχειρίζοντι τον ποθηκευτικό χώρο του φυσικού κόμβου στον οποίο εκτελούντι. Το Σχοινάς Εμμνουήλ περιεχόμενο των urls (content) στο κτνεμημένο σύστημ ρχείων του Hadoop ( ντίστοιχ υποσυστήμτ του Nutch. Συγκεκριμέν με χρήση τ οποί χρησιμοποιούντι γι την νζήτηση πληροφορίς. Η ρχιτεκτονική του Nutch. Apache Hadoop είνι λογισμικό γι την ξιόπιστη εκτέλεση κτνεμημέν εφρμογών σε μεγάλ clusters υπολογιστών. Η σχεδίση του Hadoop είνι τέτοι ώστε οι στοχίες του υλικού ντιμετωπίζοντι υτόμτ δυο βσικές υπηρεσίες: την ξιόπιστη ποθήκευση δεδομένων εμημένο σύστημ κι την πράλληλη επεξεργσί τους με ποδοτικό τρόπο. Γι την επεξεργσί των δεδομένων το Hadoop υλοποιεί έν υπολογιστικό μοντέλο που ονομάζετι Map/Reduce, το οποίο προ με το μοντέλο υτό μι εργσί χωρίζετι σε πολλά μικρά τμήμτ, κθέν βήμτ(map κι Reduce) σε οποιοδήποτε κόμβο του cluster. Επιπλέον το Hadoop πρέχει έν κτνεμημένο σύστημ ρχείων, το HDFS, γι εδομένων στους κόμβους του cluster. HDFS ποτελεί έν κτνεμημένο σύστημ ρχείων κι κτλόγων που στ πλίσι του έργου Apache Hadoop. Έχει μεγάλο βθμό νοχής στ σφάλμτ κι είνι σχεδισμένο γι την λειτουργί σε υλικό χμηλού κόστου Η ρχιτεκτονική του HDFS κολουθεί το μοντέλο master/slave. Σε έν HDFS cluster υπάρχει ένς κύριος κόμβος που ονομάζετι NameNode, κι διχειρίζετι το χώρο ονομάτων (namespace) του συστήμτος ρχείων κι ρυθμίζει την πρόσβση των πιπρόσθετ, υπάρχει μι σειρά εικονικών κόμβων, συνήθως ένς γι κάθε φυσικό κόμβο του cluster, που ονομάζοντι DataNodes. Αυτοί οι κόμβοι διχειρίζοντι τον ποθηκευτικό χώρο του φυσικού κόμβου στον οποίο εκτελούντι. Το Σχοινάς Εμμνουήλ περιεχόμενο των urls (content) στο κτνεμημένο σύστημ ρχείων του Hadoop ( ντίστοιχ υποσυστήμτ του Nutch. Συγκεκριμέν με χρήση τ οποί χρησιμοποιούντι γι την νζήτηση πληροφορίς. Η ρχιτεκτονική του Nutch. Apache Hadoop είνι λογισμικό γι την ξιόπιστη εκτέλεση κτνεμημέν εφρμογών σε μεγάλ clusters υπολογιστών. Η σχεδίση του Hadoop είνι τέτοι ώστε οι στοχίες του υλικού ντιμετωπίζοντι υτόμτ δυο βσικές υπηρεσίες: την ξιόπιστη ποθήκευση δεδομένων εμημένο σύστημ κι την πράλληλη επεξεργσί τους με ποδοτικό τρόπο. Γι την επεξεργσί των δεδομένων το Hadoop υλοποιεί έν υπολογιστικό μοντέλο που ονομάζετι Map/Reduce, το οποίο προ με το μοντέλο υτό μι εργσί χωρίζετι σε πολλά μικρά τμήμτ, κθέν βήμτ(map κι Reduce) σε οποιοδήποτε κόμβο του cluster. Επιπλέον το Hadoop πρέχει έν κτνεμημένο σύστημ ρχείων, το HDFS, γι εδομένων στους κόμβους του cluster. HDFS ποτελεί έν κτνεμημένο σύστημ ρχείων κι κτλόγων που στ πλίσι του έργου Apache Hadoop. Έχει μεγάλο βθμό νοχής στ σφάλμτ κι είνι σχεδισμένο γι την λειτουργί σε υλικό χμηλού κόστου Η ρχιτεκτονική του HDFS κολουθεί το μοντέλο master/slave. Σε έν HDFS cluster υπάρχει ένς κύριος κόμβος που ονομάζετι NameNode, κι διχειρίζετι το χώρο ονομάτων (namespace) του συστήμτος ρχείων κι ρυθμίζει την πρόσβση των πιπρόσθετ, υπάρχει μι σειρά εικονικών κόμβων, συνήθως ένς γι κάθε φυσικό κόμβο του cluster, που ονομάζοντι DataNodes. Αυτοί οι κόμβοι διχειρίζοντι τον ποθηκευτικό χώρο του φυσικού κόμβου στον οποίο εκτελούντι. Το Σχοινάς Εμμνουήλ περιεχόμενο των urls (content) στο κτνεμημένο σύστημ ρχείων του Hadoop ( ντίστοιχ υποσυστήμτ του Nutch. Συγκεκριμέν με χρήση τ οποί χρησιμοποιούντι γι την νζήτηση πληροφορίς. Η ρχιτεκτονική του Nutch. Apache Hadoop είνι λογισμικό γι την ξιόπιστη εκτέλεση κτνεμημέν εφρμογών σε μεγάλ clusters υπολογιστών. Η σχεδίση του Hadoop είνι τέτοι ώστε οι στοχίες του υλικού ντιμετωπίζοντι υτόμτ δυο βσικές υπηρεσίες: την ξιόπιστη ποθήκευση δεδομένων εμημένο σύστημ κι την πράλληλη επεξεργσί τους με ποδοτικό τρόπο. Γι την επεξεργσί των δεδομένων το Hadoop υλοποιεί έν υπολογιστικό μοντέλο που ονομάζετι Map/Reduce, το οποίο προ με το μοντέλο υτό μι εργσί χωρίζετι σε πολλά μικρά τμήμτ, κθέν βήμτ(map κι Reduce) σε οποιοδήποτε κόμβο του cluster. Επιπλέον το Hadoop πρέχει έν κτνεμημένο σύστημ ρχείων, το HDFS, γι εδομένων στους κόμβους του cluster. HDFS ποτελεί έν κτνεμημένο σύστημ ρχείων κι κτλόγων που στ πλίσι του έργου Apache Hadoop. Έχει μεγάλο βθμό νοχής στ σφάλμτ κι είνι σχεδισμένο γι την λειτουργί σε υλικό χμηλού κόστου Η ρχιτεκτονική του HDFS κολουθεί το μοντέλο master/slave. Σε έν HDFS cluster υπάρχει ένς κύριος κόμβος που ονομάζετι NameNode, κι διχειρίζετι το χώρο ονομάτων (namespace) του συστήμτος ρχείων κι ρυθμίζει την πρόσβση των πιπρόσθετ, υπάρχει μι σειρά εικονικών κόμβων, συνήθως ένς γι κάθε φυσικό κόμβο του cluster, που ονομάζοντι DataNodes. Αυτοί οι κόμβοι διχειρίζοντι τον ποθηκευτικό χώρο του φυσικού κόμβου στον οποίο εκτελούντι. Το Σχοινάς Εμμνουήλ περιεχόμενο των urls (content) στο κτνεμημένο σύστημ ρχείων του Hadoop ( ντίστοιχ υποσυστήμτ του Nutch. Συγκεκριμέν με χρήση τ οποί χρησιμοποιούντι γι την νζήτηση πληροφορίς. Η ρχιτεκτονική του Nutch. Apache Hadoop είνι λογισμικό γι την ξιόπιστη εκτέλεση κτνεμημέν εφρμογών σε μεγάλ clusters υπολογιστών. Η σχεδίση του Hadoop είνι τέτοι ώστε οι στοχίες του υλικού ντιμετωπίζοντι υτόμτ δυο βσικές υπηρεσίες: την ξιόπιστη ποθήκευση δεδομένων εμημένο σύστημ κι την πράλληλη επεξεργσί τους με ποδοτικό τρόπο. Γι την επεξεργσί των δεδομένων το Hadoop υλοποιεί έν υπολογιστικό μοντέλο που ονομάζετι Map/Reduce, το οποίο προ με το μοντέλο υτό μι εργσί χωρίζετι σε πολλά μικρά τμήμτ, κθέν βήμτ(map κι Reduce) σε οποιοδήποτε κόμβο του cluster. Επιπλέον το Hadoop πρέχει έν κτνεμημένο σύστημ ρχείων, το HDFS, γι εδομένων στους κόμβους του cluster. HDFS ποτελεί έν κτνεμημένο σύστημ ρχείων κι κτλόγων που στ πλίσι του έργου Apache Hadoop. Έχει μεγάλο βθμό νοχής στ σφάλμτ κι είνι σχεδισμένο γι την λειτουργί σε υλικό χμηλού κόστου Η ρχιτεκτονική του HDFS κολουθεί το μοντέλο master/slave. Σε έν HDFS cluster υπάρχει ένς κύριος κόμβος που ονομάζετι NameNode, κι διχειρίζετι το χώρο ονομάτων (namespace) του συστήμτος ρχείων κι ρυθμίζει την πρόσβση των πιπρόσθετ, υπάρχει μι σειρά εικονικών κόμβων, συνήθως ένς γι κάθε φυσικό κόμβο του cluster, που ονομάζοντι DataNodes. Αυτοί οι κόμβοι διχειρίζοντι τον ποθηκευτικό χώρο του φυσικού κόμβου στον οποίο εκτελούντι. Το Σχοινάς Εμμνουήλ περιεχόμενο των urls (content) στο κτνεμημένο σύστημ ρχείων του Hadoop (dfs ντίστοιχ υποσυστήμτ του Nutch. Συγκεκριμέν με χρήση τ οποί χρησιμοποιούντι γι την νζήτηση πληροφορίς. Η ρχιτεκτονική του Nutch. Apache Hadoop είνι λογισμικό γι την ξιόπιστη εκτέλεση κτνεμημέν εφρμογών σε μεγάλ clusters υπολογιστών. Η σχεδίση του Hadoop είνι τέτοι ώστε οι στοχίες του υλικού ντιμετωπίζοντι υτόμτ δυο βσικές υπηρεσίες: την ξιόπιστη ποθήκευση δεδομένων εμημένο σύστημ κι την πράλληλη επεξεργσί τους με ποδοτικό τρόπο. Γι την επεξεργσί των δεδομένων το Hadoop υλοποιεί έν υπολογιστικό μοντέλο που ονομάζετι Map/Reduce, το οποίο προ με το μοντέλο υτό μι εργσί χωρίζετι σε πολλά μικρά τμήμτ, κθέν βήμτ(map κι Reduce) σε οποιοδήποτε κόμβο του cluster. Επιπλέον το Hadoop πρέχει έν κτνεμημένο σύστημ ρχείων, το HDFS, γι εδομένων στους κόμβους του cluster. HDFS ποτελεί έν κτνεμημένο σύστημ ρχείων κι κτλόγων που στ πλίσι του έργου Apache Hadoop. Έχει μεγάλο βθμό νοχής στ σφάλμτ κι είνι σχεδισμένο γι την λειτουργί σε υλικό χμηλού κόστου Η ρχιτεκτονική του HDFS κολουθεί το μοντέλο master/slave. Σε έν HDFS cluster υπάρχει ένς κύριος κόμβος που ονομάζετι NameNode, κι διχειρίζετι το χώρο ονομάτων (namespace) του συστήμτος ρχείων κι ρυθμίζει την πρόσβση των πιπρόσθετ, υπάρχει μι σειρά εικονικών κόμβων, συνήθως ένς γι κάθε φυσικό κόμβο του cluster, που ονομάζοντι DataNodes. Αυτοί οι κόμβοι διχειρίζοντι τον ποθηκευτικό χώρο του φυσικού κόμβου στον οποίο εκτελούντι. Το Σχοινάς Εμμνουήλ περιεχόμενο των urls (content) dfs ντίστοιχ υποσυστήμτ του Nutch. Συγκεκριμέν με χρήση τ οποί χρησιμοποιούντι γι την νζήτηση πληροφορίς. Η ρχιτεκτονική του Nutch. Apache Hadoop είνι λογισμικό γι την ξιόπιστη εκτέλεση κτνεμημέν εφρμογών σε μεγάλ clusters υπολογιστών. Η σχεδίση του Hadoop είνι τέτοι ώστε οι στοχίες του υλικού ντιμετωπίζοντι υτόμτ δυο βσικές υπηρεσίες: την ξιόπιστη ποθήκευση δεδομένων εμημένο σύστημ κι την πράλληλη επεξεργσί τους με ποδοτικό τρόπο. Γι την επεξεργσί των δεδομένων το Hadoop υλοποιεί έν υπολογιστικό μοντέλο που ονομάζετι Map/Reduce, το οποίο προυσιάστηκε με το μοντέλο υτό μι εργσί χωρίζετι σε πολλά μικρά τμήμτ, κθέν βήμτ(map κι Reduce) σε οποιοδήποτε κόμβο του cluster. Επιπλέον το Hadoop πρέχει έν κτνεμημένο σύστημ ρχείων, το HDFS, γι εδομένων στους κόμβους του cluster. HDFS ποτελεί έν κτνεμημένο σύστημ ρχείων κι κτλόγων που στ πλίσι του έργου Apache Hadoop. Έχει μεγάλο βθμό νοχής στ σφάλμτ κι είνι σχεδισμένο γι την λειτουργί σε υλικό χμηλού κόστου Η ρχιτεκτονική του HDFS κολουθεί το μοντέλο master/slave. Σε έν HDFS cluster υπάρχει ένς κύριος κόμβος που ονομάζετι NameNode, κι διχειρίζετι το χώρο ονομάτων (namespace) του συστήμτος ρχείων κι ρυθμίζει την πρόσβση των πιπρόσθετ, υπάρχει μι σειρά εικονικών κόμβων, συνήθως ένς γι κάθε φυσικό κόμβο του cluster, που ονομάζοντι DataNodes. Αυτοί οι κόμβοι διχειρίζοντι τον ποθηκευτικό χώρο του φυσικού κόμβου στον οποίο εκτελούντι. Το Σχοινάς Εμμνουήλ περιεχόμενο των urls (content) dfs ντίστοιχ υποσυστήμτ του Nutch. Συγκεκριμέν με χρήση τ οποί χρησιμοποιούντι γι την νζήτηση πληροφορίς. Η ρχιτεκτονική του Nutch. Apache Hadoop είνι λογισμικό γι την ξιόπιστη εκτέλεση κτνεμημέν εφρμογών σε μεγάλ clusters υπολογιστών. Η σχεδίση του Hadoop είνι τέτοι ώστε οι στοχίες του υλικού ντιμετωπίζοντι υτόμτ πό δυο βσικές υπηρεσίες: την ξιόπιστη ποθήκευση δεδομένων εμημένο σύστημ κι την πράλληλη επεξεργσί τους με ποδοτικό τρόπο. Γι την επεξεργσί των δεδομένων το Hadoop υλοποιεί έν υπολογιστικό υσιάστηκε με το μοντέλο υτό μι εργσί χωρίζετι σε πολλά μικρά τμήμτ, κθέν βήμτ(map κι Reduce) σε οποιοδήποτε κόμβο του cluster. Επιπλέον το Hadoop πρέχει έν κτνεμημένο σύστημ ρχείων, το HDFS, γι εδομένων στους κόμβους του cluster. HDFS ποτελεί έν κτνεμημένο σύστημ ρχείων κι κτλόγων που στ πλίσι του έργου Apache Hadoop. Έχει μεγάλο βθμό νοχής στ σφάλμτ κι είνι σχεδισμένο γι την λειτουργί σε υλικό χμηλού κόστου Η ρχιτεκτονική του HDFS κολουθεί το μοντέλο master/slave. Σε έν HDFS cluster υπάρχει ένς κύριος κόμβος που ονομάζετι NameNode, κι διχειρίζετι το χώρο ονομάτων (namespace) του συστήμτος ρχείων κι ρυθμίζει την πρόσβση των πιπρόσθετ, υπάρχει μι σειρά εικονικών κόμβων, συνήθως ένς γι κάθε φυσικό κόμβο του cluster, που ονομάζοντι DataNodes. Αυτοί οι κόμβοι διχειρίζοντι τον ποθηκευτικό χώρο του φυσικού κόμβου στον οποίο εκτελούντι. Το Σχοινάς Εμμνουήλ περιεχόμενο των urls (content) dfs) γι ν επεξεργστεί ντίστοιχ υποσυστήμτ του Nutch. Συγκεκριμέν με χρήση τ οποί χρησιμοποιούντι γι την νζήτηση πληροφορίς. Η ρχιτεκτονική του Nutch. Apache Hadoop είνι λογισμικό γι την ξιόπιστη εκτέλεση κτνεμημέν εφρμογών σε μεγάλ clusters υπολογιστών. Η σχεδίση του Hadoop είνι τέτοι ώστε πό δυο βσικές υπηρεσίες: την ξιόπιστη ποθήκευση δεδομένων εμημένο σύστημ κι την πράλληλη επεξεργσί τους με ποδοτικό τρόπο. Γι την επεξεργσί των δεδομένων το Hadoop υλοποιεί έν υπολογιστικό υσιάστηκε με το μοντέλο υτό μι εργσί χωρίζετι σε πολλά μικρά τμήμτ, κθέν βήμτ(map κι Reduce) σε οποιοδήποτε κόμβο του cluster. Επιπλέον το Hadoop πρέχει έν κτνεμημένο σύστημ ρχείων, το HDFS, γι HDFS ποτελεί έν κτνεμημένο σύστημ ρχείων κι κτλόγων που στ πλίσι του έργου Apache Hadoop. Έχει μεγάλο βθμό νοχής στ σφάλμτ κι είνι σχεδισμένο γι την λειτουργί σε υλικό χμηλού κόστου Η ρχιτεκτονική του HDFS κολουθεί το μοντέλο master/slave. Σε έν HDFS cluster υπάρχει ένς κύριος κόμβος που ονομάζετι NameNode, κι διχειρίζετι το χώρο ονομάτων (namespace) του συστήμτος ρχείων κι ρυθμίζει την πρόσβση των πιπρόσθετ, υπάρχει μι σειρά εικονικών κόμβων, συνήθως ένς γι κάθε φυσικό κόμβο του cluster, που ονομάζοντι DataNodes. Αυτοί οι κόμβοι διχειρίζοντι τον ποθηκευτικό χώρο του φυσικού κόμβου στον οποίο εκτελούντι. Το περιεχόμενο των urls (content) ) γι ν επεξεργστεί ντίστοιχ υποσυστήμτ του Nutch. Συγκεκριμέν με χρήση τ οποί χρησιμοποιούντι γι την νζήτηση πληροφορίς. Η ρχιτεκτονική του Nutch. Apache Hadoop είνι λογισμικό γι την ξιόπιστη εκτέλεση κτνεμημέν εφρμογών σε μεγάλ clusters υπολογιστών. Η σχεδίση του Hadoop είνι τέτοι ώστε πό δυο βσικές υπηρεσίες: την ξιόπιστη ποθήκευση δεδομένων εμημένο σύστημ κι την πράλληλη επεξεργσί τους με ποδοτικό τρόπο. Γι την επεξεργσί των δεδομένων το Hadoop υλοποιεί έν υπολογιστικό υσιάστηκε με το μοντέλο υτό μι εργσί χωρίζετι σε πολλά μικρά τμήμτ, κθέν βήμτ(map κι Reduce) σε οποιοδήποτε κόμβο του cluster. Επιπλέον το Hadoop πρέχει έν κτνεμημένο σύστημ ρχείων, το HDFS, γι HDFS ποτελεί έν κτνεμημένο σύστημ ρχείων κι κτλόγων που στ πλίσι του έργου Apache Hadoop. Έχει μεγάλο βθμό νοχής στ σφάλμτ κι είνι σχεδισμένο γι την λειτουργί σε υλικό χμηλού κόστου Η ρχιτεκτονική του HDFS κολουθεί το μοντέλο master/slave. Σε έν HDFS cluster υπάρχει ένς κύριος κόμβος που ονομάζετι NameNode, κι διχειρίζετι το χώρο ονομάτων (namespace) του συστήμτος ρχείων κι ρυθμίζει την πρόσβση των πιπρόσθετ, υπάρχει μι σειρά εικονικών κόμβων, συνήθως ένς γι κάθε φυσικό κόμβο του cluster, που ονομάζοντι DataNodes. Αυτοί οι κόμβοι διχειρίζοντι τον ποθηκευτικό χώρο του φυσικού κόμβου στον οποίο εκτελούντι. Το ΤΗΜΜΥ περιεχόμενο των urls (content) ) γι ν επεξεργστεί ντίστοιχ υποσυστήμτ του Nutch. Συγκεκριμέν με χρήση τ οποί χρησιμοποιούντι γι την νζήτηση πληροφορίς. Η ρχιτεκτονική του Nutch. Apache Hadoop είνι λογισμικό γι την ξιόπιστη εκτέλεση κτνεμημέν εφρμογών σε μεγάλ clusters υπολογιστών. Η σχεδίση του Hadoop είνι τέτοι ώστε πό δυο βσικές υπηρεσίες: την ξιόπιστη ποθήκευση δεδομένων εμημένο σύστημ κι την πράλληλη επεξεργσί τους με ποδοτικό τρόπο. Γι την επεξεργσί των δεδομένων το Hadoop υλοποιεί έν υπολογιστικό υσιάστηκε με το μοντέλο υτό μι εργσί χωρίζετι σε πολλά μικρά τμήμτ, κθέν βήμτ(map κι Reduce) σε οποιοδήποτε κόμβο του cluster. Επιπλέον το Hadoop πρέχει έν κτνεμημένο σύστημ ρχείων, το HDFS, γι HDFS ποτελεί έν κτνεμημένο σύστημ ρχείων κι κτλόγων που στ πλίσι του έργου Apache Hadoop. Έχει μεγάλο βθμό νοχής στ σφάλμτ κι είνι σχεδισμένο γι την λειτουργί σε υλικό χμηλού κόστου Η ρχιτεκτονική του HDFS κολουθεί το μοντέλο master/slave. Σε έν HDFS cluster υπάρχει ένς κύριος κόμβος που ονομάζετι NameNode, κι διχειρίζετι το χώρο ονομάτων (namespace) του συστήμτος ρχείων κι ρυθμίζει την πρόσβση των πιπρόσθετ, υπάρχει μι σειρά εικονικών κόμβων, συνήθως ένς γι κάθε φυσικό κόμβο του cluster, που ονομάζοντι DataNodes. Αυτοί οι κόμβοι διχειρίζοντι τον ποθηκευτικό χώρο του φυσικού κόμβου στον οποίο εκτελούντι. Το ΤΗΜΜΥ περιεχόμενο των urls (content) ) γι ν επεξεργστεί ντίστοιχ υποσυστήμτ του Nutch. Συγκεκριμέν με χρήση τ οποί χρησιμοποιούντι γι την νζήτηση πληροφορίς. Η ρχιτεκτονική του Nutch. Apache Hadoop είνι λογισμικό γι την ξιόπιστη εκτέλεση κτνεμημέν εφρμογών σε μεγάλ clusters υπολογιστών. Η σχεδίση του Hadoop είνι τέτοι ώστε πό δυο βσικές υπηρεσίες: την ξιόπιστη ποθήκευση δεδομένων εμημένο σύστημ κι την πράλληλη επεξεργσί τους με ποδοτικό τρόπο. Γι την επεξεργσί των δεδομένων το Hadoop υλοποιεί έν υπολογιστικό υσιάστηκε με το μοντέλο υτό μι εργσί χωρίζετι σε πολλά μικρά τμήμτ, κθέν βήμτ(map κι Reduce) σε οποιοδήποτε κόμβο του cluster. Επιπλέον το Hadoop πρέχει έν κτνεμημένο σύστημ ρχείων, το HDFS, γι HDFS ποτελεί έν κτνεμημένο σύστημ ρχείων κι κτλόγων που στ πλίσι του έργου Apache Hadoop. Έχει μεγάλο βθμό νοχής στ σφάλμτ κι είνι σχεδισμένο γι την λειτουργί σε υλικό χμηλού κόστου Η ρχιτεκτονική του HDFS κολουθεί το μοντέλο master/slave. Σε έν HDFS cluster υπάρχει ένς κύριος κόμβος που ονομάζετι NameNode, κι διχειρίζετι το χώρο ονομάτων (namespace) του συστήμτος ρχείων κι ρυθμίζει την πρόσβση των πιπρόσθετ, υπάρχει μι σειρά εικονικών κόμβων, συνήθως ένς γι κάθε φυσικό κόμβο του cluster, που ονομάζοντι DataNodes. Αυτοί οι κόμβοι διχειρίζοντι τον ποθηκευτικό χώρο του φυσικού κόμβου στον οποίο εκτελούντι. Το ΤΗΜΜΥ περιεχόμενο των urls (content) ) γι ν επεξεργστεί ντίστοιχ υποσυστήμτ του Nutch. Συγκεκριμέν με χρήση τ οποί χρησιμοποιούντι γι την νζήτηση πληροφορίς. Η ρχιτεκτονική του Nutch. Apache Hadoop είνι λογισμικό γι την ξιόπιστη εκτέλεση κτνεμημέν εφρμογών σε μεγάλ clusters υπολογιστών. Η σχεδίση του Hadoop είνι τέτοι ώστε δυο βσικές υπηρεσίες: την ξιόπιστη ποθήκευση δεδομένων εμημένο σύστημ κι την πράλληλη επεξεργσί τους με ποδοτικό τρόπο. Γι την επεξεργσί των δεδομένων το Hadoop υλοποιεί έν υπολογιστικό υσιάστηκε με το μοντέλο υτό μι εργσί χωρίζετι σε πολλά μικρά τμήμτ, κθέν βήμτ(map κι Reduce) σε οποιοδήποτε κόμβο του cluster. Επιπλέον το Hadoop πρέχει έν κτνεμημένο σύστημ ρχείων, το HDFS, γι HDFS ποτελεί έν κτνεμημένο σύστημ ρχείων κι κτλόγων που στ πλίσι του έργου Apache Hadoop. Έχει μεγάλο βθμό νοχής στ σφάλμτ κι είνι σχεδισμένο γι την λειτουργί σε υλικό χμηλού κόστου Η ρχιτεκτονική του HDFS κολουθεί το μοντέλο master/slave. Σε έν HDFS cluster υπάρχει ένς κύριος κόμβος που ονομάζετι NameNode, κι διχειρίζετι το χώρο ονομάτων (namespace) του συστήμτος ρχείων κι ρυθμίζει την πρόσβση των πιπρόσθετ, υπάρχει μι σειρά εικονικών κόμβων, συνήθως ένς γι κάθε φυσικό κόμβο του cluster, που ονομάζοντι DataNodes. Αυτοί οι κόμβοι διχειρίζοντι τον ποθηκευτικό χώρο του φυσικού κόμβου στον οποίο εκτελούντι. Το ΤΗΜΜΥ περιεχόμενο των urls (content) ) γι ν επεξεργστεί ντίστοιχ υποσυστήμτ του Nutch. Συγκεκριμέν με χρήση τ οποί χρησιμοποιούντι γι την νζήτηση πληροφορίς. Η ρχιτεκτονική του Nutch. Apache Hadoop είνι λογισμικό γι την ξιόπιστη εκτέλεση κτνεμημέν εφρμογών σε μεγάλ clusters υπολογιστών. Η σχεδίση του Hadoop είνι τέτοι ώστε το λογισμικό. Τεχνικά, το δυο βσικές υπηρεσίες: την ξιόπιστη ποθήκευση δεδομένων εμημένο σύστημ κι την πράλληλη επεξεργσί τους με ποδοτικό τρόπο. Γι την επεξεργσί των δεδομένων το Hadoop υλοποιεί έν υπολογιστικό υσιάστηκε με το μοντέλο υτό μι εργσί χωρίζετι σε πολλά μικρά τμήμτ, κθέν βήμτ(map κι Reduce) σε οποιοδήποτε κόμβο του cluster. Επιπλέον το Hadoop πρέχει έν κτνεμημένο σύστημ ρχείων, το HDFS, γι HDFS ποτελεί έν κτνεμημένο σύστημ ρχείων κι κτλόγων που στ πλίσι του έργου Apache Hadoop. Έχει μεγάλο βθμό νοχής στ σφάλμτ κι είνι σχεδισμένο γι την λειτουργί σε υλικό χμηλού κόστου Η ρχιτεκτονική του HDFS κολουθεί το μοντέλο master/slave. Σε έν HDFS cluster υπάρχει ένς κύριος κόμβος που ονομάζετι NameNode, κι διχειρίζετι το χώρο ονομάτων (namespace) του συστήμτος ρχείων κι ρυθμίζει την πρόσβση των πιπρόσθετ, υπάρχει μι σειρά εικονικών κόμβων, συνήθως ένς γι κάθε φυσικό κόμβο του cluster, που ονομάζοντι DataNodes. Αυτοί οι κόμβοι διχειρίζοντι τον ποθηκευτικό χώρο του φυσικού κόμβου στον οποίο εκτελούντι. Το ΤΗΜΜΥ περιεχόμενο των urls (content) ) γι ν επεξεργστεί ντίστοιχ υποσυστήμτ του Nutch. Συγκεκριμέν με χρήση τ οποί χρησιμοποιούντι γι την νζήτηση πληροφορίς. Apache Hadoop είνι λογισμικό γι την ξιόπιστη εκτέλεση κτνεμημέν εφρμογών σε μεγάλ clusters υπολογιστών. Η σχεδίση του Hadoop είνι τέτοι ώστε το λογισμικό. Τεχνικά, το δυο βσικές υπηρεσίες: την ξιόπιστη ποθήκευση δεδομένων εμημένο σύστημ κι την πράλληλη επεξεργσί τους με ποδοτικό τρόπο. Γι την επεξεργσί των δεδομένων το Hadoop υλοποιεί έν υπολογιστικό υσιάστηκε με το μοντέλο υτό μι εργσί χωρίζετι σε πολλά μικρά τμήμτ, κθέν βήμτ(map κι Reduce) σε οποιοδήποτε κόμβο του cluster. Επιπλέον το Hadoop πρέχει έν κτνεμημένο σύστημ ρχείων, το HDFS, γι HDFS ποτελεί έν κτνεμημένο σύστημ ρχείων κι κτλόγων που στ πλίσι του έργου Apache Hadoop. Έχει μεγάλο βθμό νοχής στ σφάλμτ κι είνι σχεδισμένο γι την λειτουργί σε υλικό χμηλού κόστου Η ρχιτεκτονική του HDFS κολουθεί το μοντέλο master/slave. Σε έν HDFS cluster υπάρχει ένς κύριος κόμβος που ονομάζετι NameNode, κι διχειρίζετι το χώρο ονομάτων (namespace) του συστήμτος ρχείων κι ρυθμίζει την πρόσβση των πιπρόσθετ, υπάρχει μι σειρά εικονικών κόμβων, συνήθως ένς γι κάθε φυσικό κόμβο του cluster, που ονομάζοντι DataNodes. Αυτοί οι κόμβοι διχειρίζοντι τον ποθηκευτικό χώρο του φυσικού κόμβου στον οποίο εκτελούντι. Το ΤΗΜΜΥ περιεχόμενο των urls (content) ) γι ν επεξεργστεί ντίστοιχ υποσυστήμτ του Nutch. Συγκεκριμέν με χρήση τ οποί χρησιμοποιούντι γι την νζήτηση πληροφορίς. Apache Hadoop είνι λογισμικό γι την ξιόπιστη εκτέλεση κτνεμημέν εφρμογών σε μεγάλ clusters υπολογιστών. Η σχεδίση του Hadoop είνι τέτοι ώστε το λογισμικό. Τεχνικά, το δυο βσικές υπηρεσίες: την ξιόπιστη ποθήκευση δεδομένων εμημένο σύστημ κι την πράλληλη επεξεργσί τους με ποδοτικό τρόπο. Γι την επεξεργσί των δεδομένων το Hadoop υλοποιεί έν υπολογιστικό υσιάστηκε με το μοντέλο υτό μι εργσί χωρίζετι σε πολλά μικρά τμήμτ, κθέν βήμτ(map κι Reduce) σε οποιοδήποτε κόμβο του cluster. Επιπλέον το Hadoop πρέχει έν κτνεμημένο σύστημ ρχείων, το HDFS, γι HDFS ποτελεί έν κτνεμημένο σύστημ ρχείων κι κτλόγων που στ πλίσι του έργου Apache Hadoop. Έχει μεγάλο βθμό νοχής στ σφάλμτ κι είνι σχεδισμένο γι την λειτουργί σε υλικό χμηλού κόστου Η ρχιτεκτονική του HDFS κολουθεί το μοντέλο master/slave. Σε έν HDFS cluster υπάρχει ένς κύριος κόμβος που ονομάζετι NameNode, κι διχειρίζετι το χώρο ονομάτων (namespace) του συστήμτος ρχείων κι ρυθμίζει την πρόσβση των πιπρόσθετ, υπάρχει μι σειρά εικονικών κόμβων, συνήθως ένς γι κάθε φυσικό κόμβο του cluster, που ονομάζοντι DataNodes. Αυτοί οι κόμβοι διχειρίζοντι τον ποθηκευτικό χώρο του φυσικού κόμβου στον οποίο εκτελούντι. Το ΤΗΜΜΥ περιεχόμενο των urls (content) ) γι ν επεξεργστεί ντίστοιχ υποσυστήμτ του Nutch. Συγκεκριμέν με χρήση τ οποί χρησιμοποιούντι γι την νζήτηση πληροφορίς. Apache Hadoop είνι λογισμικό γι την ξιόπιστη εκτέλεση κτνεμημέν εφρμογών σε μεγάλ clusters υπολογιστών. Η σχεδίση του Hadoop είνι τέτοι ώστε το λογισμικό. Τεχνικά, το δυο βσικές υπηρεσίες: την ξιόπιστη ποθήκευση δεδομένων εμημένο σύστημ κι την πράλληλη επεξεργσί τους με ποδοτικό τρόπο. Γι την επεξεργσί των δεδομένων το Hadoop υλοποιεί έν υπολογιστικό υσιάστηκε με το μοντέλο υτό μι εργσί χωρίζετι σε πολλά μικρά τμήμτ, κθέν βήμτ(map κι Reduce) σε οποιοδήποτε κόμβο του cluster. Επιπλέον το Hadoop πρέχει έν κτνεμημένο σύστημ ρχείων, το HDFS, γι HDFS ποτελεί έν κτνεμημένο σύστημ ρχείων κι κτλόγων που στ πλίσι του έργου Apache Hadoop. Έχει μεγάλο βθμό νοχής στ σφάλμτ κι είνι σχεδισμένο γι την λειτουργί σε υλικό χμηλού κόστου Η ρχιτεκτονική του HDFS κολουθεί το μοντέλο master/slave. Σε έν HDFS cluster υπάρχει ένς κύριος κόμβος που ονομάζετι NameNode, κι διχειρίζετι το χώρο ονομάτων (namespace) του συστήμτος ρχείων κι ρυθμίζει την πρόσβση των πιπρόσθετ, υπάρχει μι σειρά εικονικών κόμβων, συνήθως ένς γι κάθε φυσικό κόμβο του cluster, που ονομάζοντι DataNodes. Αυτοί οι κόμβοι διχειρίζοντι τον ποθηκευτικό χώρο του φυσικού κόμβου στον οποίο εκτελούντι. Το ΤΗΜΜΥ περιεχόμενο των urls (content) ) γι ν επεξεργστεί ντίστοιχ υποσυστήμτ του Nutch. Συγκεκριμέν με χρήση τ οποί χρησιμοποιούντι γι την νζήτηση πληροφορίς. Apache Hadoop είνι λογισμικό γι την ξιόπιστη εκτέλεση κτνεμημέν εφρμογών σε μεγάλ clusters υπολογιστών. Η σχεδίση του Hadoop είνι τέτοι ώστε το λογισμικό. Τεχνικά, το δυο βσικές υπηρεσίες: την ξιόπιστη ποθήκευση δεδομένων εμημένο σύστημ κι την πράλληλη επεξεργσί τους με ποδοτικό τρόπο. Γι την επεξεργσί των δεδομένων το Hadoop υλοποιεί έν υπολογιστικό υσιάστηκε πό με το μοντέλο υτό μι εργσί χωρίζετι σε πολλά μικρά τμήμτ, κθέν βήμτ(map κι Reduce) σε οποιοδήποτε κόμβο του cluster. Επιπλέον το Hadoop πρέχει έν κτνεμημένο σύστημ ρχείων, το HDFS, γι HDFS ποτελεί έν κτνεμημένο σύστημ ρχείων κι κτλόγων που στ πλίσι του έργου Apache Hadoop. Έχει μεγάλο βθμό νοχής στ σφάλμτ κι είνι σχεδισμένο γι την λειτουργί σε υλικό χμηλού κόστου Η ρχιτεκτονική του HDFS κολουθεί το μοντέλο master/slave. Σε έν HDFS cluster υπάρχει ένς κύριος κόμβος που ονομάζετι NameNode, κι διχειρίζετι το χώρο ονομάτων (namespace) του συστήμτος ρχείων κι ρυθμίζει την πρόσβση των πιπρόσθετ, υπάρχει μι σειρά εικονικών κόμβων, συνήθως ένς γι κάθε φυσικό κόμβο του cluster, που ονομάζοντι DataNodes. Αυτοί οι κόμβοι διχειρίζοντι τον ποθηκευτικό χώρο του φυσικού κόμβου στον οποίο εκτελούντι. Το ΤΗΜΜΥ - περιεχόμενο των urls (content) ) γι ν επεξεργστεί τ οποί χρησιμοποιούντι γι την νζήτηση πληροφορίς. Apache Hadoop είνι λογισμικό γι την ξιόπιστη εκτέλεση κτνεμημέν εφρμογών σε μεγάλ clusters υπολογιστών. Η σχεδίση του Hadoop είνι τέτοι ώστε το λογισμικό. Τεχνικά, το δυο βσικές υπηρεσίες: την ξιόπιστη ποθήκευση δεδομένων εμημένο σύστημ κι την πράλληλη επεξεργσί τους με ποδοτικό τρόπο. Γι την επεξεργσί των δεδομένων το Hadoop υλοποιεί έν υπολογιστικό πό με το μοντέλο υτό μι εργσί χωρίζετι σε πολλά μικρά τμήμτ, κθέν βήμτ(map κι Reduce) σε οποιοδήποτε κόμβο του cluster. Επιπλέον το Hadoop πρέχει έν κτνεμημένο σύστημ ρχείων, το HDFS, γι HDFS ποτελεί έν κτνεμημένο σύστημ ρχείων κι κτλόγων που στ πλίσι του έργου Apache Hadoop. Έχει μεγάλο βθμό νοχής στ σφάλμτ κι είνι σχεδισμένο γι την λειτουργί σε υλικό χμηλού κόστου Η ρχιτεκτονική του HDFS κολουθεί το μοντέλο master/slave. Σε έν HDFS cluster υπάρχει ένς κύριος κόμβος που ονομάζετι NameNode, κι διχειρίζετι το χώρο ονομάτων (namespace) του συστήμτος ρχείων κι ρυθμίζει την πρόσβση των πιπρόσθετ, υπάρχει μι σειρά εικονικών κόμβων, συνήθως ένς γι κάθε φυσικό κόμβο του cluster, που ονομάζοντι DataNodes. Αυτοί οι κόμβοι διχειρίζοντι τον ποθηκευτικό χώρο του φυσικού κόμβου στον οποίο εκτελούντι. Το ΑΠΘ περιεχόμενο των urls (content) ) γι ν επεξεργστεί του Apache Lucene, τ οποί χρησιμοποιούντι γι την νζήτηση πληροφορίς. Apache Hadoop είνι λογισμικό γι την ξιόπιστη εκτέλεση κτνεμημέν εφρμογών σε μεγάλ clusters υπολογιστών. Η σχεδίση του Hadoop είνι τέτοι ώστε το λογισμικό. Τεχνικά, το δυο βσικές υπηρεσίες: την ξιόπιστη ποθήκευση δεδομένων εμημένο σύστημ κι την πράλληλη επεξεργσί τους με ποδοτικό τρόπο. Γι την επεξεργσί των δεδομένων το Hadoop υλοποιεί έν υπολογιστικό πό με το μοντέλο υτό μι εργσί χωρίζετι σε πολλά μικρά τμήμτ, κθέν βήμτ(map κι Reduce) σε οποιοδήποτε κόμβο του cluster. Επιπλέον το Hadoop πρέχει έν κτνεμημένο σύστημ ρχείων, το HDFS, γι HDFS ποτελεί έν κτνεμημένο σύστημ ρχείων κι κτλόγων που στ πλίσι του έργου Apache Hadoop. Έχει μεγάλο βθμό νοχής στ σφάλμτ κι είνι σχεδισμένο γι την λειτουργί σε υλικό χμηλού κόστου Η ρχιτεκτονική του HDFS κολουθεί το μοντέλο master/slave. Σε έν HDFS cluster υπάρχει ένς κύριος κόμβος που ονομάζετι NameNode, κι διχειρίζετι το χώρο ονομάτων (namespace) του συστήμτος ρχείων κι ρυθμίζει την πρόσβση των πιπρόσθετ, υπάρχει μι σειρά εικονικών κόμβων, συνήθως ένς γι κάθε φυσικό κόμβο του cluster, που ονομάζοντι DataNodes. Αυτοί οι κόμβοι διχειρίζοντι τον ποθηκευτικό χώρο του φυσικού κόμβου στον οποίο εκτελούντι. Το ΑΠΘ περιεχόμενο των urls (content) ) γι ν επεξεργστεί του Apache Lucene, τ οποί χρησιμοποιούντι γι την νζήτηση πληροφορίς. Apache Hadoop είνι λογισμικό γι την ξιόπιστη εκτέλεση κτνεμημέν εφρμογών σε μεγάλ clusters υπολογιστών. Η σχεδίση του Hadoop είνι τέτοι ώστε το λογισμικό. Τεχνικά, το δυο βσικές υπηρεσίες: την ξιόπιστη ποθήκευση δεδομένων εμημένο σύστημ κι την πράλληλη επεξεργσί τους με ποδοτικό τρόπο. Γι την επεξεργσί των δεδομένων το Hadoop υλοποιεί έν υπολογιστικό πό με το μοντέλο υτό μι εργσί χωρίζετι σε πολλά μικρά τμήμτ, κθέν βήμτ(map κι Reduce) σε οποιοδήποτε κόμβο του cluster. Επιπλέον το Hadoop πρέχει έν κτνεμημένο σύστημ ρχείων, το HDFS, γι HDFS ποτελεί έν κτνεμημένο σύστημ ρχείων κι κτλόγων που στ πλίσι του έργου Apache Hadoop. Έχει μεγάλο βθμό νοχής στ σφάλμτ κι είνι σχεδισμένο γι την λειτουργί σε υλικό χμηλού κόστου Η ρχιτεκτονική του HDFS κολουθεί το μοντέλο master/slave. Σε έν HDFS cluster υπάρχει ένς κύριος κόμβος που ονομάζετι NameNode, κι διχειρίζετι το χώρο ονομάτων (namespace) του συστήμτος ρχείων κι ρυθμίζει την πρόσβση των πιπρόσθετ, υπάρχει μι σειρά εικονικών κόμβων, συνήθως ένς γι κάθε φυσικό κόμβο του cluster, που ονομάζοντι DataNodes. Αυτοί οι κόμβοι διχειρίζοντι τον ποθηκευτικό χώρο του φυσικού κόμβου στον οποίο εκτελούντι. Το ΑΠΘ περιεχόμενο των urls (content) ) γι ν επεξεργστεί του Apache Lucene, τ οποί χρησιμοποιούντι γι την νζήτηση πληροφορίς. Apache Hadoop είνι λογισμικό γι την ξιόπιστη εκτέλεση κτνεμημέν εφρμογών σε μεγάλ clusters υπολογιστών. Η σχεδίση του Hadoop είνι τέτοι ώστε το λογισμικό. Τεχνικά, το δυο βσικές υπηρεσίες: την ξιόπιστη ποθήκευση δεδομένων εμημένο σύστημ κι την πράλληλη επεξεργσί τους με ποδοτικό τρόπο. Γι την επεξεργσί των δεδομένων το Hadoop υλοποιεί έν υπολογιστικό πό με το μοντέλο υτό μι εργσί χωρίζετι σε πολλά μικρά τμήμτ, κθέν βήμτ(map κι Reduce) σε οποιοδήποτε κόμβο του cluster. Επιπλέον το Hadoop πρέχει έν κτνεμημένο σύστημ ρχείων, το HDFS, γι HDFS ποτελεί έν κτνεμημένο σύστημ ρχείων κι κτλόγων που στ πλίσι του έργου Apache Hadoop. Έχει μεγάλο βθμό νοχής στ σφάλμτ κι είνι σχεδισμένο γι την λειτουργί σε υλικό χμηλού κόστου Η ρχιτεκτονική του HDFS κολουθεί το μοντέλο master/slave. Σε έν HDFS cluster υπάρχει ένς κύριος κόμβος που ονομάζετι NameNode, κι διχειρίζετι το χώρο ονομάτων (namespace) του συστήμτος ρχείων κι ρυθμίζει την πρόσβση των πιπρόσθετ, υπάρχει μι σειρά εικονικών κόμβων, συνήθως ένς γι κάθε φυσικό κόμβο του cluster, που ονομάζοντι DataNodes. Αυτοί οι κόμβοι διχειρίζοντι τον ποθηκευτικό χώρο του φυσικού κόμβου στον οποίο εκτελούντι. Το ΑΠΘ περιεχόμενο των urls (content) ) γι ν επεξεργστεί του Apache Lucene, τ οποί χρησιμοποιούντι γι την νζήτηση πληροφορίς. Apache Hadoop είνι λογισμικό γι την ξιόπιστη εκτέλεση κτνεμημέν εφρμογών σε μεγάλ clusters υπολογιστών. Η σχεδίση του Hadoop είνι τέτοι ώστε το λογισμικό. Τεχνικά, το δυο βσικές υπηρεσίες: την ξιόπιστη ποθήκευση δεδομένων εμημένο σύστημ κι την πράλληλη επεξεργσί τους με ποδοτικό τρόπο. Γι την επεξεργσί των δεδομένων το Hadoop υλοποιεί έν υπολογιστικό την Google στο με το μοντέλο υτό μι εργσί χωρίζετι σε πολλά μικρά τμήμτ, κθέν βήμτ(map κι Reduce) σε οποιοδήποτε κόμβο του cluster. Επιπλέον το Hadoop πρέχει έν κτνεμημένο σύστημ ρχείων, το HDFS, γι HDFS ποτελεί έν κτνεμημένο σύστημ ρχείων κι κτλόγων που στ πλίσι του έργου Apache Hadoop. Έχει μεγάλο βθμό νοχής στ σφάλμτ κι είνι σχεδισμένο γι την λειτουργί σε υλικό χμηλού κόστου Η ρχιτεκτονική του HDFS κολουθεί το μοντέλο master/slave. Σε έν HDFS cluster υπάρχει ένς κύριος κόμβος που ονομάζετι NameNode, κι διχειρίζετι το χώρο ονομάτων (namespace) του συστήμτος ρχείων κι ρυθμίζει την πρόσβση των πιπρόσθετ, υπάρχει μι σειρά εικονικών κόμβων, συνήθως ένς γι κάθε φυσικό κόμβο του cluster, που ονομάζοντι DataNodes. Αυτοί οι κόμβοι διχειρίζοντι τον ποθηκευτικό χώρο του φυσικού κόμβου στον οποίο εκτελούντι. Το ΑΠΘ περιεχόμενο των urls (content) ) γι ν επεξεργστεί του Apache Lucene, τ οποί χρησιμοποιούντι γι την νζήτηση πληροφορίς. Apache Hadoop είνι λογισμικό γι την ξιόπιστη εκτέλεση κτνεμημέν εφρμογών σε μεγάλ clusters υπολογιστών. Η σχεδίση του Hadoop είνι τέτοι ώστε το λογισμικό. Τεχνικά, το δυο βσικές υπηρεσίες: την ξιόπιστη ποθήκευση δεδομένων εμημένο σύστημ κι την πράλληλη επεξεργσί τους με ποδοτικό τρόπο. Γι την επεξεργσί των δεδομένων το Hadoop υλοποιεί έν υπολογιστικό την Google στο με το μοντέλο υτό μι εργσί χωρίζετι σε πολλά μικρά τμήμτ, κθέν βήμτ(map κι Reduce) σε οποιοδήποτε κόμβο του cluster. Επιπλέον το Hadoop πρέχει έν κτνεμημένο σύστημ ρχείων, το HDFS, γι HDFS ποτελεί έν κτνεμημένο σύστημ ρχείων κι κτλόγων που στ πλίσι του έργου Apache Hadoop. Έχει μεγάλο βθμό νοχής στ σφάλμτ κι είνι σχεδισμένο γι την λειτουργί σε υλικό χμηλού κόστου Η ρχιτεκτονική του HDFS κολουθεί το μοντέλο master/slave. Σε έν HDFS cluster υπάρχει ένς κύριος κόμβος που ονομάζετι NameNode, κι διχειρίζετι το χώρο ονομάτων (namespace) του συστήμτος ρχείων κι ρυθμίζει την πρόσβση των πιπρόσθετ, υπάρχει μι σειρά εικονικών κόμβων, συνήθως ένς γι κάθε φυσικό κόμβο του cluster, που ονομάζοντι DataNodes. Αυτοί οι κόμβοι διχειρίζοντι τον ποθηκευτικό χώρο του φυσικού κόμβου στον οποίο εκτελούντι. Το περιεχόμενο των urls (content) ) γι ν επεξεργστεί του Apache Lucene, τ οποί χρησιμοποιούντι γι την νζήτηση πληροφορίς. Apache Hadoop είνι λογισμικό γι την ξιόπιστη εκτέλεση κτνεμημέν εφρμογών σε μεγάλ clusters υπολογιστών. Η σχεδίση του Hadoop είνι τέτοι ώστε το λογισμικό. Τεχνικά, το δυο βσικές υπηρεσίες: την ξιόπιστη ποθήκευση δεδομένων εμημένο σύστημ κι την πράλληλη επεξεργσί τους με ποδοτικό τρόπο. Γι την επεξεργσί των δεδομένων το Hadoop υλοποιεί έν υπολογιστικό την Google στο με το μοντέλο υτό μι εργσί χωρίζετι σε πολλά μικρά τμήμτ, κθέν βήμτ(map κι Reduce) σε οποιοδήποτε κόμβο του cluster. Επιπλέον το Hadoop πρέχει έν κτνεμημένο σύστημ ρχείων, το HDFS, γι HDFS ποτελεί έν κτνεμημένο σύστημ ρχείων κι κτλόγων που στ πλίσι του έργου Apache Hadoop. Έχει μεγάλο βθμό νοχής στ σφάλμτ κι είνι σχεδισμένο γι την λειτουργί σε υλικό χμηλού κόστου Η ρχιτεκτονική του HDFS κολουθεί το μοντέλο master/slave. Σε έν HDFS cluster υπάρχει ένς κύριος κόμβος που ονομάζετι NameNode, κι διχειρίζετι το χώρο ονομάτων (namespace) του συστήμτος ρχείων κι ρυθμίζει την πρόσβση των πιπρόσθετ, υπάρχει μι σειρά εικονικών κόμβων, συνήθως ένς γι κάθε φυσικό κόμβο του cluster, που ονομάζοντι DataNodes. Αυτοί οι κόμβοι διχειρίζοντι τον ποθηκευτικό χώρο του φυσικού κόμβου στον οποίο εκτελούντι. Το περιεχόμενο των urls (content) ) γι ν επεξεργστεί του Apache Lucene, τ οποί χρησιμοποιούντι γι την νζήτηση πληροφορίς. Apache Hadoop είνι λογισμικό γι την ξιόπιστη εκτέλεση κτνεμημέν εφρμογών σε μεγάλ clusters υπολογιστών. Η σχεδίση του Hadoop είνι τέτοι ώστε το λογισμικό. Τεχνικά, το δυο βσικές υπηρεσίες: την ξιόπιστη ποθήκευση δεδομένων εμημένο σύστημ κι την πράλληλη επεξεργσί τους με ποδοτικό τρόπο. Γι την επεξεργσί των δεδομένων το Hadoop υλοποιεί έν υπολογιστικό την Google στο με το μοντέλο υτό μι εργσί χωρίζετι σε πολλά μικρά τμήμτ, κθέν βήμτ(map κι Reduce) σε οποιοδήποτε κόμβο του cluster. Επιπλέον το Hadoop πρέχει έν κτνεμημένο σύστημ ρχείων, το HDFS, γι HDFS ποτελεί έν κτνεμημένο σύστημ ρχείων κι κτλόγων που στ πλίσι του έργου Apache Hadoop. Έχει μεγάλο βθμό νοχής στ σφάλμτ κι είνι σχεδισμένο γι την λειτουργί σε υλικό χμηλού κόστου Η ρχιτεκτονική του HDFS κολουθεί το μοντέλο master/slave. Σε έν HDFS cluster υπάρχει ένς κύριος κόμβος που ονομάζετι NameNode, κι διχειρίζετι το χώρο ονομάτων (namespace) του συστήμτος ρχείων κι ρυθμίζει την πρόσβση των πιπρόσθετ, υπάρχει μι σειρά εικονικών κόμβων, συνήθως ένς γι κάθε φυσικό κόμβο του cluster, που ονομάζοντι DataNodes. Αυτοί οι κόμβοι διχειρίζοντι τον ποθηκευτικό χώρο του φυσικού κόμβου στον οποίο εκτελούντι. Το περιεχόμενο των urls (content) ποθηκεύετι ) γι ν επεξεργστεί του Apache Lucene, τ οποί χρησιμοποιούντι γι την νζήτηση πληροφορίς. Apache Hadoop είνι λογισμικό γι την ξιόπιστη εκτέλεση κτνεμημέν εφρμογών σε μεγάλ clusters υπολογιστών. Η σχεδίση του Hadoop είνι τέτοι ώστε το λογισμικό. Τεχνικά, το δυο βσικές υπηρεσίες: την ξιόπιστη ποθήκευση δεδομένων εμημένο σύστημ κι την πράλληλη επεξεργσί τους με ποδοτικό τρόπο. Γι την επεξεργσί των δεδομένων το Hadoop υλοποιεί έν υπολογιστικό την Google στο με το μοντέλο υτό μι εργσί χωρίζετι σε πολλά μικρά τμήμτ, κθέν βήμτ(map κι Reduce) σε οποιοδήποτε κόμβο του cluster. Επιπλέον το Hadoop πρέχει έν κτνεμημένο σύστημ ρχείων, το HDFS, γι HDFS ποτελεί έν κτνεμημένο σύστημ ρχείων κι κτλόγων που στ πλίσι του έργου Apache Hadoop. Έχει μεγάλο βθμό νοχής στ σφάλμτ κι είνι σχεδισμένο γι την λειτουργί σε υλικό χμηλού κόστου Η ρχιτεκτονική του HDFS κολουθεί το μοντέλο master/slave. Σε έν HDFS cluster υπάρχει ένς κύριος κόμβος που ονομάζετι NameNode, κι διχειρίζετι το χώρο ονομάτων (namespace) του συστήμτος ρχείων κι ρυθμίζει την πρόσβση των πιπρόσθετ, υπάρχει μι σειρά εικονικών κόμβων, συνήθως ένς γι κάθε φυσικό κόμβο του cluster, που ονομάζοντι DataNodes. Αυτοί οι κόμβοι διχειρίζοντι τον ποθηκευτικό χώρο του φυσικού κόμβου στον οποίο εκτελούντι. Το ποθηκεύετι ) γι ν επεξεργστεί του Apache Lucene, τ οποί χρησιμοποιούντι γι την νζήτηση πληροφορίς. Apache Hadoop είνι λογισμικό γι την ξιόπιστη εκτέλεση κτνεμημέν εφρμογών σε μεγάλ clusters υπολογιστών. Η σχεδίση του Hadoop είνι τέτοι ώστε το λογισμικό. Τεχνικά, το δυο βσικές υπηρεσίες: την ξιόπιστη ποθήκευση δεδομένων εμημένο σύστημ κι την πράλληλη επεξεργσί τους με ποδοτικό τρόπο. Γι την επεξεργσί των δεδομένων το Hadoop υλοποιεί έν υπολογιστικό την Google στο με το μοντέλο υτό μι εργσί χωρίζετι σε πολλά μικρά τμήμτ, κθέν βήμτ(map κι Reduce) σε οποιοδήποτε κόμβο του cluster. Επιπλέον το Hadoop πρέχει έν κτνεμημένο σύστημ ρχείων, το HDFS, γι HDFS ποτελεί έν κτνεμημένο σύστημ ρχείων κι κτλόγων που στ πλίσι του έργου Apache Hadoop. Έχει μεγάλο βθμό νοχής στ σφάλμτ κι είνι σχεδισμένο γι την λειτουργί σε υλικό χμηλού κόστου Η ρχιτεκτονική του HDFS κολουθεί το μοντέλο master/slave. Σε έν HDFS cluster υπάρχει ένς κύριος κόμβος που ονομάζετι NameNode, κι διχειρίζετι το χώρο ονομάτων (namespace) του συστήμτος ρχείων κι ρυθμίζει την πρόσβση των πιπρόσθετ, υπάρχει μι σειρά εικονικών κόμβων, συνήθως ένς γι κάθε φυσικό κόμβο του cluster, που ονομάζοντι DataNodes. Αυτοί οι κόμβοι διχειρίζοντι τον ποθηκευτικό χώρο του φυσικού κόμβου στον οποίο εκτελούντι. Το ποθηκεύετι ) γι ν επεξεργστεί του Apache Lucene, τ οποί χρησιμοποιούντι γι την νζήτηση πληροφορίς. Apache Hadoop είνι λογισμικό γι την ξιόπιστη εκτέλεση κτνεμημέν εφρμογών σε μεγάλ clusters υπολογιστών. Η σχεδίση του Hadoop είνι τέτοι ώστε το λογισμικό. Τεχνικά, το δυο βσικές υπηρεσίες: την ξιόπιστη ποθήκευση δεδομένων εμημένο σύστημ κι την πράλληλη επεξεργσί τους με ποδοτικό τρόπο. Γι την επεξεργσί των δεδομένων το Hadoop υλοποιεί έν υπολογιστικό την Google στο με το μοντέλο υτό μι εργσί χωρίζετι σε πολλά μικρά τμήμτ, κθέν βήμτ(map κι Reduce) σε οποιοδήποτε κόμβο του cluster. Επιπλέον το Hadoop πρέχει έν κτνεμημένο σύστημ ρχείων, το HDFS, γι HDFS ποτελεί έν κτνεμημένο σύστημ ρχείων κι κτλόγων που στ πλίσι του έργου Apache Hadoop. Έχει μεγάλο βθμό νοχής στ σφάλμτ κι είνι σχεδισμένο γι την λειτουργί σε υλικό χμηλού κόστου Η ρχιτεκτονική του HDFS κολουθεί το μοντέλο master/slave. Σε έν HDFS cluster υπάρχει ένς κύριος κόμβος που ονομάζετι NameNode, κι διχειρίζετι το χώρο ονομάτων (namespace) του συστήμτος ρχείων κι ρυθμίζει την πρόσβση των πιπρόσθετ, υπάρχει μι σειρά εικονικών κόμβων, συνήθως ένς γι κάθε φυσικό κόμβο του cluster, που ονομάζοντι DataNodes. Αυτοί οι κόμβοι διχειρίζοντι τον ποθηκευτικό χώρο του φυσικού κόμβου στον οποίο εκτελούντι. Το ποθηκεύετι ) γι ν επεξεργστεί του Apache Lucene, τ οποί χρησιμοποιούντι γι την νζήτηση πληροφορίς. Apache Hadoop είνι λογισμικό γι την ξιόπιστη εκτέλεση κτνεμημέν εφρμογών σε μεγάλ clusters υπολογιστών. Η σχεδίση του Hadoop είνι τέτοι ώστε το λογισμικό. Τεχνικά, το δυο βσικές υπηρεσίες: την ξιόπιστη ποθήκευση δεδομένων εμημένο σύστημ κι την πράλληλη επεξεργσί τους με ποδοτικό τρόπο. Γι την επεξεργσί των δεδομένων το Hadoop υλοποιεί έν υπολογιστικό την Google στο με το μοντέλο υτό μι εργσί χωρίζετι σε πολλά μικρά τμήμτ, κθέν βήμτ(map κι Reduce) σε οποιοδήποτε κόμβο του cluster. Επιπλέον το Hadoop πρέχει έν κτνεμημένο σύστημ ρχείων, το HDFS, γι HDFS ποτελεί έν κτνεμημένο σύστημ ρχείων κι κτλόγων που στ πλίσι του έργου Apache Hadoop. Έχει μεγάλο βθμό νοχής στ σφάλμτ κι είνι σχεδισμένο γι την λειτουργί σε υλικό χμηλού κόστους. Η ρχιτεκτονική του HDFS κολουθεί το μοντέλο master/slave. Σε έν HDFS cluster υπάρχει ένς κύριος κόμβος που ονομάζετι NameNode, κι διχειρίζετι το χώρο ονομάτων (namespace) του συστήμτος ρχείων κι ρυθμίζει την πρόσβση των πιπρόσθετ, υπάρχει μι σειρά εικονικών κόμβων, συνήθως ένς γι κάθε φυσικό κόμβο του cluster, που ονομάζοντι DataNodes. Αυτοί οι κόμβοι διχειρίζοντι τον ποθηκευτικό χώρο του φυσικού κόμβου στον οποίο εκτελούντι. Το ποθηκεύετι ) γι ν επεξεργστεί του Apache Lucene, τ οποί χρησιμοποιούντι γι την νζήτηση πληροφορίς. Apache Hadoop είνι λογισμικό γι την ξιόπιστη εκτέλεση κτνεμημέν εφρμογών σε μεγάλ clusters υπολογιστών. Η σχεδίση του Hadoop είνι τέτοι ώστε το λογισμικό. Τεχνικά, το δυο βσικές υπηρεσίες: την ξιόπιστη ποθήκευση δεδομένων εμημένο σύστημ κι την πράλληλη επεξεργσί τους με ποδοτικό τρόπο. Γι την επεξεργσί των δεδομένων το Hadoop υλοποιεί έν υπολογιστικό την Google στο με το μοντέλο υτό μι εργσί χωρίζετι σε πολλά μικρά τμήμτ, κθέν βήμτ(map κι Reduce) σε οποιοδήποτε κόμβο του cluster. Επιπλέον το Hadoop πρέχει έν κτνεμημένο σύστημ ρχείων, το HDFS, γι HDFS ποτελεί έν κτνεμημένο σύστημ ρχείων κι κτλόγων που στ πλίσι του έργου Apache Hadoop. Έχει μεγάλο βθμό νοχής στ ς. Η ρχιτεκτονική του HDFS κολουθεί το μοντέλο master/slave. Σε έν HDFS cluster υπάρχει ένς κύριος κόμβος που ονομάζετι NameNode, κι διχειρίζετι το χώρο ονομάτων (namespace) του συστήμτος ρχείων κι ρυθμίζει την πρόσβση των πιπρόσθετ, υπάρχει μι σειρά εικονικών κόμβων, συνήθως ένς γι κάθε φυσικό κόμβο του cluster, που ονομάζοντι DataNodes. Αυτοί οι κόμβοι διχειρίζοντι τον ποθηκευτικό χώρο του φυσικού κόμβου στον οποίο εκτελούντι. Το ποθηκεύετι ) γι ν επεξεργστεί του Apache Lucene, τ οποί χρησιμοποιούντι γι την νζήτηση πληροφορίς. Apache Hadoop είνι λογισμικό γι την ξιόπιστη εκτέλεση κτνεμημέν εφρμογών σε μεγάλ clusters υπολογιστών. Η σχεδίση του Hadoop είνι τέτοι ώστε το λογισμικό. Τεχνικά, το δυο βσικές υπηρεσίες: την ξιόπιστη ποθήκευση δεδομένων εμημένο σύστημ κι την πράλληλη επεξεργσί τους με ποδοτικό τρόπο. Γι την επεξεργσί των δεδομένων το Hadoop υλοποιεί έν υπολογιστικό την Google στο με το μοντέλο υτό μι εργσί χωρίζετι σε πολλά μικρά τμήμτ, κθέν βήμτ(map κι Reduce) σε οποιοδήποτε κόμβο του cluster. Επιπλέον το Hadoop πρέχει έν κτνεμημένο σύστημ ρχείων, το HDFS, γι HDFS ποτελεί έν κτνεμημένο σύστημ ρχείων κι κτλόγων που στ πλίσι του έργου Apache Hadoop. Έχει μεγάλο βθμό νοχής στ ς. Η ρχιτεκτονική του HDFS κολουθεί το μοντέλο master/slave. Σε έν HDFS cluster υπάρχει ένς κύριος κόμβος που ονομάζετι NameNode, κι διχειρίζετι το χώρο ονομάτων (namespace) του συστήμτος ρχείων κι ρυθμίζει την πρόσβση των πιπρόσθετ, υπάρχει μι σειρά εικονικών κόμβων, συνήθως ένς γι κάθε φυσικό κόμβο του cluster, που ονομάζοντι DataNodes. Αυτοί οι κόμβοι διχειρίζοντι τον ποθηκευτικό χώρο του φυσικού κόμβου στον οποίο εκτελούντι. Το ποθηκεύετι ) γι ν επεξεργστεί του Apache Lucene, τ οποί χρησιμοποιούντι γι την νζήτηση πληροφορίς. Apache Hadoop είνι λογισμικό γι την ξιόπιστη εκτέλεση κτνεμημέν εφρμογών σε μεγάλ clusters υπολογιστών. Η σχεδίση του Hadoop είνι τέτοι ώστε το λογισμικό. Τεχνικά, το δυο βσικές υπηρεσίες: την ξιόπιστη ποθήκευση δεδομένων εμημένο σύστημ κι την πράλληλη επεξεργσί τους με ποδοτικό τρόπο. Γι την επεξεργσί των δεδομένων το Hadoop υλοποιεί έν υπολογιστικό την Google στο με το μοντέλο υτό μι εργσί χωρίζετι σε πολλά μικρά τμήμτ, κθέν βήμτ(map κι Reduce) σε οποιοδήποτε κόμβο του cluster. Επιπλέον το Hadoop πρέχει έν κτνεμημένο σύστημ ρχείων, το HDFS, γι HDFS ποτελεί έν κτνεμημένο σύστημ ρχείων κι κτλόγων που στ πλίσι του έργου Apache Hadoop. Έχει μεγάλο βθμό νοχής στ Η ρχιτεκτονική του HDFS κολουθεί το μοντέλο master/slave. Σε έν HDFS cluster υπάρχει ένς κύριος κόμβος που ονομάζετι NameNode, κι διχειρίζετι το χώρο ονομάτων (namespace) του συστήμτος ρχείων κι ρυθμίζει την πρόσβση των πιπρόσθετ, υπάρχει μι σειρά εικονικών κόμβων, συνήθως ένς γι κάθε φυσικό κόμβο του cluster, που ονομάζοντι DataNodes. Αυτοί οι κόμβοι διχειρίζοντι τον ποθηκευτικό χώρο του φυσικού κόμβου στον οποίο εκτελούντι. Το ποθηκεύετι ) γι ν επεξεργστεί πό του Apache Lucene, τ οποί χρησιμοποιούντι γι την νζήτηση πληροφορίς. Apache Hadoop είνι λογισμικό γι την ξιόπιστη εκτέλεση κτνεμημέν εφρμογών σε μεγάλ clusters υπολογιστών. Η σχεδίση του Hadoop είνι τέτοι ώστε το λογισμικό. Τεχνικά, το δυο βσικές υπηρεσίες: την ξιόπιστη ποθήκευση δεδομένων εμημένο σύστημ κι την πράλληλη επεξεργσί τους με ποδοτικό τρόπο. Γι την επεξεργσί των δεδομένων το Hadoop υλοποιεί έν υπολογιστικό την Google στο με το μοντέλο υτό μι εργσί χωρίζετι σε πολλά μικρά τμήμτ, κθέν βήμτ(map κι Reduce) σε οποιοδήποτε κόμβο του cluster. Επιπλέον το Hadoop πρέχει έν κτνεμημένο σύστημ ρχείων, το HDFS, γι HDFS ποτελεί έν κτνεμημένο σύστημ ρχείων κι κτλόγων που στ πλίσι του έργου Apache Hadoop. Έχει μεγάλο βθμό νοχής στ Η ρχιτεκτονική του HDFS κολουθεί το μοντέλο master/slave. Σε έν HDFS cluster υπάρχει ένς κύριος κόμβος που ονομάζετι NameNode, κι διχειρίζετι το χώρο ονομάτων (namespace) του συστήμτος ρχείων κι ρυθμίζει την πρόσβση των πιπρόσθετ, υπάρχει μι σειρά εικονικών κόμβων, συνήθως ένς γι κάθε φυσικό κόμβο του cluster, που ονομάζοντι DataNodes. Αυτοί οι κόμβοι διχειρίζοντι τον ποθηκευτικό χώρο του φυσικού κόμβου στον οποίο εκτελούντι. Το ποθηκεύετι πό του Apache Lucene, τ οποί χρησιμοποιούντι γι την νζήτηση πληροφορίς. Apache Hadoop είνι λογισμικό γι την ξιόπιστη εκτέλεση κτνεμημέν εφρμογών σε μεγάλ clusters υπολογιστών. Η σχεδίση του Hadoop είνι τέτοι ώστε το λογισμικό. Τεχνικά, το δυο βσικές υπηρεσίες: την ξιόπιστη ποθήκευση δεδομένων εμημένο σύστημ κι την πράλληλη επεξεργσί τους με ποδοτικό τρόπο. Γι την επεξεργσί των δεδομένων το Hadoop υλοποιεί έν υπολογιστικό την Google στο με το μοντέλο υτό μι εργσί χωρίζετι σε πολλά μικρά τμήμτ, κθέν βήμτ(map κι Reduce) σε οποιοδήποτε κόμβο του cluster. Επιπλέον το Hadoop πρέχει έν κτνεμημένο σύστημ ρχείων, το HDFS, γι HDFS ποτελεί έν κτνεμημένο σύστημ ρχείων κι κτλόγων που στ πλίσι του έργου Apache Hadoop. Έχει μεγάλο βθμό νοχής στ Η ρχιτεκτονική του HDFS κολουθεί το μοντέλο master/slave. Σε έν HDFS cluster υπάρχει ένς κύριος κόμβος που ονομάζετι NameNode, κι διχειρίζετι το χώρο ονομάτων (namespace) του συστήμτος ρχείων κι ρυθμίζει την πρόσβση των πιπρόσθετ, υπάρχει μι σειρά εικονικών κόμβων, συνήθως ένς γι κάθε φυσικό κόμβο του cluster, που ονομάζοντι DataNodes. Αυτοί οι κόμβοι διχειρίζοντι τον ποθηκευτικό χώρο του φυσικού κόμβου στον οποίο εκτελούντι. Το ποθηκεύετι πό του Apache Lucene, τ οποί χρησιμοποιούντι γι την νζήτηση πληροφορίς. Apache Hadoop είνι λογισμικό γι την ξιόπιστη εκτέλεση κτνεμημέν εφρμογών σε μεγάλ clusters υπολογιστών. Η σχεδίση του Hadoop είνι τέτοι ώστε το λογισμικό. Τεχνικά, το δυο βσικές υπηρεσίες: την ξιόπιστη ποθήκευση δεδομένων εμημένο σύστημ κι την πράλληλη επεξεργσί τους με ποδοτικό τρόπο. Γι την επεξεργσί των δεδομένων το Hadoop υλοποιεί έν υπολογιστικό την Google στο με το μοντέλο υτό μι εργσί χωρίζετι σε πολλά μικρά τμήμτ, κθέν βήμτ(map κι Reduce) σε οποιοδήποτε κόμβο του cluster. Επιπλέον το Hadoop πρέχει έν κτνεμημένο σύστημ ρχείων, το HDFS, γι HDFS ποτελεί έν κτνεμημένο σύστημ ρχείων κι κτλόγων που στ πλίσι του έργου Apache Hadoop. Έχει μεγάλο βθμό νοχής στ Η ρχιτεκτονική του HDFS κολουθεί το μοντέλο master/slave. Σε έν HDFS cluster υπάρχει ένς κύριος κόμβος που ονομάζετι NameNode, κι διχειρίζετι το χώρο ονομάτων (namespace) του συστήμτος ρχείων κι ρυθμίζει την πρόσβση των πιπρόσθετ, υπάρχει μι σειρά εικονικών κόμβων, συνήθως ένς γι κάθε φυσικό κόμβο του cluster, που ονομάζοντι DataNodes. Αυτοί οι κόμβοι διχειρίζοντι τον ποθηκευτικό χώρο του φυσικού κόμβου στον οποίο εκτελούντι. Το ποθηκεύετι πό του Apache Lucene, τ οποί χρησιμοποιούντι γι την νζήτηση πληροφορίς. Apache Hadoop είνι λογισμικό γι την ξιόπιστη εκτέλεση κτνεμημέν εφρμογών σε μεγάλ clusters υπολογιστών. Η σχεδίση του Hadoop είνι τέτοι ώστε το λογισμικό. Τεχνικά, το δυο βσικές υπηρεσίες: την ξιόπιστη ποθήκευση δεδομένων εμημένο σύστημ κι την πράλληλη επεξεργσί τους με ποδοτικό τρόπο. Γι την επεξεργσί των δεδομένων το Hadoop υλοποιεί έν υπολογιστικό την Google στο με το μοντέλο υτό μι εργσί χωρίζετι σε πολλά μικρά τμήμτ, κθέν βήμτ(map κι Reduce) σε οποιοδήποτε κόμβο του cluster. Επιπλέον το Hadoop πρέχει έν κτνεμημένο σύστημ ρχείων, το HDFS, γι HDFS ποτελεί έν κτνεμημένο σύστημ ρχείων κι κτλόγων που στ πλίσι του έργου Apache Hadoop. Έχει μεγάλο βθμό νοχής στ Η ρχιτεκτονική του HDFS κολουθεί το μοντέλο master/slave. Σε έν HDFS cluster υπάρχει ένς κύριος κόμβος που ονομάζετι NameNode, κι διχειρίζετι το χώρο ονομάτων (namespace) του συστήμτος ρχείων κι ρυθμίζει την πρόσβση των πιπρόσθετ, υπάρχει μι σειρά εικονικών κόμβων, συνήθως ένς γι κάθε φυσικό κόμβο του cluster, που ονομάζοντι DataNodes. Αυτοί οι κόμβοι διχειρίζοντι τον ποθηκευτικό χώρο του φυσικού κόμβου στον οποίο εκτελούντι. Το ποθηκεύετι πό του Apache Lucene, τ οποί χρησιμοποιούντι γι την νζήτηση πληροφορίς. Apache Hadoop είνι λογισμικό γι την ξιόπιστη εκτέλεση κτνεμημέν εφρμογών σε μεγάλ clusters υπολογιστών. Η σχεδίση του Hadoop είνι τέτοι ώστε το λογισμικό. Τεχνικά, το δυο βσικές υπηρεσίες: την ξιόπιστη ποθήκευση δεδομένων εμημένο σύστημ κι την πράλληλη επεξεργσί τους με ποδοτικό τρόπο. Γι την επεξεργσί των δεδομένων το Hadoop υλοποιεί έν υπολογιστικό την Google στο με το μοντέλο υτό μι εργσί χωρίζετι σε πολλά μικρά τμήμτ, κθέν βήμτ(map κι Reduce) σε οποιοδήποτε κόμβο του cluster. Επιπλέον το Hadoop πρέχει έν κτνεμημένο σύστημ ρχείων, το HDFS, γι HDFS ποτελεί έν κτνεμημένο σύστημ ρχείων κι κτλόγων που στ πλίσι του έργου Apache Hadoop. Έχει μεγάλο βθμό νοχής στ Η ρχιτεκτονική του HDFS κολουθεί το μοντέλο master/slave. Σε έν HDFS cluster υπάρχει ένς κύριος κόμβος που ονομάζετι NameNode, κι διχειρίζετι το χώρο ονομάτων (namespace) του συστήμτος ρχείων κι ρυθμίζει την πρόσβση των πιπρόσθετ, υπάρχει μι σειρά εικονικών κόμβων, συνήθως ένς γι κάθε φυσικό κόμβο του cluster, που ονομάζοντι DataNodes. Αυτοί οι κόμβοι διχειρίζοντι τον ποθηκευτικό χώρο του φυσικού κόμβου στον οποίο εκτελούντι. Το ποθηκεύετι τ του Apache Lucene, τ οποί χρησιμοποιούντι γι την νζήτηση πληροφορίς. Apache Hadoop είνι λογισμικό γι την ξιόπιστη εκτέλεση κτνεμημένων εφρμογών σε μεγάλ clusters υπολογιστών. Η σχεδίση του Hadoop είνι τέτοι ώστε το λογισμικό. Τεχνικά, το δυο βσικές υπηρεσίες: την ξιόπιστη ποθήκευση δεδομένων εμημένο σύστημ κι την πράλληλη επεξεργσί τους με ποδοτικό τρόπο. Γι την επεξεργσί των δεδομένων το Hadoop υλοποιεί έν υπολογιστικό την Google στο 0 με το μοντέλο υτό μι εργσί χωρίζετι σε πολλά μικρά τμήμτ, κθέν βήμτ(map κι Reduce) σε οποιοδήποτε κόμβο του cluster. Επιπλέον το Hadoop πρέχει έν κτνεμημένο σύστημ ρχείων, το HDFS, γι HDFS ποτελεί έν κτνεμημένο σύστημ ρχείων κι κτλόγων που στ πλίσι του έργου Apache Hadoop. Έχει μεγάλο βθμό νοχής στ Η ρχιτεκτονική του HDFS κολουθεί το μοντέλο master/slave. Σε έν HDFS cluster υπάρχει ένς κύριος κόμβος που ονομάζετι NameNode, κι διχειρίζετι το χώρο ονομάτων (namespace) του συστήμτος ρχείων κι ρυθμίζει την πρόσβση των πιπρόσθετ, υπάρχει μι σειρά εικονικών κόμβων, συνήθως ένς γι κάθε φυσικό κόμβο του cluster, που ονομάζοντι DataNodes. Αυτοί οι κόμβοι διχειρίζοντι τον ποθηκευτικό χώρο του φυσικού κόμβου στον οποίο εκτελούντι. Το ποθηκεύετι τ του Apache Lucene, τ οποί χρησιμοποιούντι γι την νζήτηση πληροφορίς. ων εφρμογών σε μεγάλ clusters υπολογιστών. Η σχεδίση του Hadoop είνι τέτοι ώστε το λογισμικό. Τεχνικά, το δυο βσικές υπηρεσίες: την ξιόπιστη ποθήκευση δεδομένων εμημένο σύστημ κι την πράλληλη επεξεργσί τους με ποδοτικό τρόπο. Γι την επεξεργσί των δεδομένων το Hadoop υλοποιεί έν υπολογιστικό 0 με το μοντέλο υτό μι εργσί χωρίζετι σε πολλά μικρά τμήμτ, κθέν βήμτ(map κι Reduce) σε οποιοδήποτε κόμβο του cluster. Επιπλέον το Hadoop πρέχει έν κτνεμημένο σύστημ ρχείων, το HDFS, γι HDFS ποτελεί έν κτνεμημένο σύστημ ρχείων κι κτλόγων που στ πλίσι του έργου Apache Hadoop. Έχει μεγάλο βθμό νοχής στ Η ρχιτεκτονική του HDFS κολουθεί το μοντέλο master/slave. Σε έν HDFS cluster υπάρχει ένς κύριος κόμβος που ονομάζετι NameNode, κι διχειρίζετι το χώρο ονομάτων (namespace) του συστήμτος ρχείων κι ρυθμίζει την πρόσβση των πιπρόσθετ, υπάρχει μι σειρά εικονικών κόμβων, συνήθως ένς γι κάθε φυσικό κόμβο του cluster, που ονομάζοντι DataNodes. Αυτοί οι κόμβοι διχειρίζοντι τον ποθηκευτικό χώρο του φυσικού κόμβου στον οποίο εκτελούντι. Το ποθηκεύετι τ του Apache Lucene, τ οποί χρησιμοποιούντι γι την νζήτηση πληροφορίς. ων εφρμογών σε μεγάλ clusters υπολογιστών. Η σχεδίση του Hadoop είνι τέτοι ώστε το λογισμικό. Τεχνικά, το δυο βσικές υπηρεσίες: την ξιόπιστη ποθήκευση δεδομένων εμημένο σύστημ κι την πράλληλη επεξεργσί τους με ποδοτικό τρόπο. Γι την επεξεργσί των δεδομένων το Hadoop υλοποιεί έν υπολογιστικό 0. με το μοντέλο υτό μι εργσί χωρίζετι σε πολλά μικρά τμήμτ, κθέν βήμτ(map κι Reduce) σε οποιοδήποτε κόμβο του cluster. Επιπλέον το Hadoop πρέχει έν κτνεμημένο σύστημ ρχείων, το HDFS, γι HDFS ποτελεί έν κτνεμημένο σύστημ ρχείων κι κτλόγων που στ πλίσι του έργου Apache Hadoop. Έχει μεγάλο βθμό νοχής στ Η ρχιτεκτονική του HDFS κολουθεί το μοντέλο master/slave. Σε έν HDFS cluster υπάρχει ένς κύριος κόμβος που ονομάζετι NameNode, κι διχειρίζετι το χώρο ονομάτων (namespace) του συστήμτος ρχείων κι ρυθμίζει την πρόσβση των πιπρόσθετ, υπάρχει μι σειρά εικονικών κόμβων, συνήθως ένς γι κάθε φυσικό κόμβο του cluster, που ονομάζοντι DataNodes. Αυτοί οι κόμβοι διχειρίζοντι τον ποθηκευτικό χώρο του φυσικού κόμβου στον οποίο εκτελούντι. Το τ του Apache Lucene, ων εφρμογών σε μεγάλ clusters υπολογιστών. Η σχεδίση του Hadoop είνι τέτοι ώστε το λογισμικό. Τεχνικά, το δυο βσικές υπηρεσίες: την ξιόπιστη ποθήκευση δεδομένων εμημένο σύστημ κι την πράλληλη επεξεργσί τους με ποδοτικό τρόπο. Γι την επεξεργσί των δεδομένων το Hadoop υλοποιεί έν υπολογιστικό. με το μοντέλο υτό μι εργσί χωρίζετι σε πολλά μικρά τμήμτ, κθέν βήμτ(map κι Reduce) σε οποιοδήποτε κόμβο του cluster. Επιπλέον το Hadoop πρέχει έν κτνεμημένο σύστημ ρχείων, το HDFS, γι HDFS ποτελεί έν κτνεμημένο σύστημ ρχείων κι κτλόγων που στ πλίσι του έργου Apache Hadoop. Έχει μεγάλο βθμό νοχής στ Η ρχιτεκτονική του HDFS κολουθεί το μοντέλο master/slave. Σε έν HDFS cluster υπάρχει ένς κύριος κόμβος που ονομάζετι NameNode, κι διχειρίζετι το χώρο ονομάτων (namespace) του συστήμτος ρχείων κι ρυθμίζει την πρόσβση των πιπρόσθετ, υπάρχει μι σειρά εικονικών κόμβων, συνήθως ένς γι κάθε φυσικό κόμβο του cluster, που ονομάζοντι DataNodes. Αυτοί οι κόμβοι διχειρίζοντι τον ποθηκευτικό χώρο του φυσικού κόμβου στον οποίο εκτελούντι. Το

52 52 HDFS επιτρέπει τ δεδομέν των χρηστών ν ποθηκεύοντι σε ρχεί. Εσωτερικά, έν ρχείο διιρείτι σε έν ή περισσότερ τμήμτ (blocks) τ οποί ποθηκεύοντι σε έν σύνολο πό DataNodes. Ο κύριος κόμβος εκτελεί τις λειτουργίες ενός συστήμτος ρχείων, όπως άνοιγμ, κλείσιμο κι μετονομσί ρχείων κι κτλόγων. Επίσης κθορίζει την νάθεση των blocks στους κόμβους δεδομένων. Οι κόμβοι δεδομένων με τη σειρά τους είνι υπεύθυνοι γι την εξυπηρέτηση των ιτημάτων νάγνωσης/εγγρφής κθώς κι την δημιουργί, διγρφή κι ντιγρφή των δεδομένων κτόπιν εντολής του NameNode. Ο NameNode κι οι DataNodes είνι λογισμικό σχεδισμένο ν εκτελείτι σε υπολογιστές γενικής χρήσης, συνήθως σε λειτουργικό σύστημ GNU/Linux. Το HDFS είνι γρμμένο στη γλώσσ Java, συνεπώς οποιοδήποτε μηχάνημ υποστηρίζει την εκτέλεση Java εφρμογών μπορεί ν εκτελέσει το λογισμικό ενός NameNode ή ενός DataNode. Σε μι τυπική εγκτάστση του HDFS, υπάρχει ένς υπολογιστής ποκλειστικά γι την εκτέλεση του NameNode. Σε κάθε ένν πό του υπόλοιπους υπολογιστές του cluster εκτελείτι πό έν στιγμιότυπο του DataNode. Γενικά δεν ποκλείετι η εκτέλεση πολλπλών DataNodes στον ίδιο φυσικό κόμβο, λλά σε πργμτικές εφρμογές σπάνι κολουθείτι υτή η προσέγγιση. Η ύπρξη ενός μόνο NameNode σε έν cluster πλοποιεί την ρχιτεκτονική του συστήμτος, κθώς μόνο ο κόμβος NameNode διχειρίζετι κι ποθηκεύει τ μετδεδομέν του συστήμτος ρχείων κι τ πργμτικά δεδομέν ποτέ δεν προσπελάζοντι μέσου υτού. Στο Σχήμ 26 προυσιάζοντι η ρχιτεκτονική κι οι λειτουργίες του HDFS. Σχήμ 26: Η ρχιτεκτονική του συστήμτος ρχείων κι κτλόγων HDFS.

53 53 Όπως έχει ήδη ειπωθεί το HDFS, που είνι σχεδισμένο γι την ξιόπιστη ποθήκευση πολύ μεγάλων ρχείων στους κόμβους ενός μεγάλου cluster, ποθηκεύει κάθε ρχείο σν μι κολουθί τμήμτ δεδομένων (blocks) κτνεμημέν στους κόμβους του cluster. Όλ τ blocks ενός ρχείου έχουν το ίδιο μέγεθος εκτός του τελευτίου. Γι την επίτευξη νοχής στις στοχίες του υλικού κάθε block ενός ρχείου ντιγράφετι σε διφορετικούς κόμβους. Το μέγεθος του block κι ο συντελεστής ντιγρφής είνι πρμετροποιήσιμ μεγέθη. Μι εφρμογή μπορεί ν ορίσει τον ριθμό των ντιγράφων σφλείς ενός ρχείου είτε κτά την δημιουργί του είτε ργότερ. Η προεπιλεγμένη τιμή του συντελεστή ντιγρφής είνι 3. Ο κύριος κόμβος (NameNode) λμβάνει όλες τις ποφάσεις που φορούν τ ντίγρφ σφλείς. Περιοδικά, λμβάνει έν σήμ πό κάθε DataNode, που υποδεικνύει ότι ο κόμβος υτός λειτουργεί κνονικά κι μι νφορά που περιέχει μι λίστ με όλ τ block που διτηρεί ο κόμβος. Η τοποθέτηση των ντιγράφων σφλείς είνι μι κρίσιμη λειτουργί γι την ξιοπιστί κι την πόδοση του HDFS. Η πολιτική τοποθέτησης των ντιγράφων στους κόμβους ενός cluster στοχεύει στην ύξηση της ξιοπιστίς κι της διθεσιμότητς των δεδομένων κι στην ελχιστοποίηση της χρήσης του δικτύου. Σε έν τυπικό cluster οι κόμβοι είνι κτνεμημένοι σε διφορετικά racks που επικοινωνούν μετξύ τους μέσω μετγωγέων (switches). Γενικά το bandwidth που υπάρχει μετξύ των κόμβων του ίδιου cluster είνι μεγλύτερο πό οτι μετξύ υπολογιστών σε διφορετικά racks. Οπότε η ντιγρφή ενός ρχείου συμφέρει ν γίνετι σε κόμβους διφορετικών rack ώστε ν ελχιστοποιείτι η χρήση του δικτύου κτά την νάγνωση των δεδομένων. Σχήμ 27: Η λειτουργί της διτήρησης ντιγράφων σφλείς στους κόμβους ενός HDFS cluster.

54 54 Ο χώρος ονομάτων του συστήμτος ρχείων ποθηκεύετι στον NameNode. O NameNode διτηρεί έν ρχείο που ονομάζετι EditLog, στο οποίο κτγράφετι κάθε λλγή που συμβίνει στο σύστημ ρχείων. Όλος ο χώρος ονομάτων, η ντιστοίχηση ρχείων σε blocks κι οι ιδιότητες του συστήμτος ρχείων ποθηκεύοντι σε έν ρχείο που ονομάζετι FsImage. Κι τ δυο ρχεί ποθηκεύοντι στο τοπικό σύστημ ρχείων του κόμβου NameNode. Ένς DataNode ποθηκεύει τ δεδομέν σε ρχεί του τοπικού συστήμτος ρχείων κι δεν έχει κμιά γνώση του κτνεμημένου συστήμτος ρχείων. Κάθε block δεδομένων του HDFS ποθηκεύετι σε έν ξεχωριστό τοπικό ρχείο. Ότν ένς DataNode ξεκινά τη λειτουργί του, εξετάζει το τοπικό σύστημ ρχείων του κι πράγει μι λίστ με όλ τ blocks που ντιστοιχούν στ τοπικά ρχεί κι ενημερώνει τον NameNode. Στον Σχήμ 28 φίνετι η διδικσί νάγνωσης δεδομένων στο HDFS. Μι εφρμογή που επιθυμεί ν διβάσει τ δεδομέν ενός ρχείου του HDFS, χρησιμοποιεί έν στιγμιότυπο της κλάσης DistributedFileSystem κι μέσω κλήσεων RPC λμβάνει πό τον NameNode τις διευθύνσεις των DataNodes που διθέτουν ντίγρφ των blocks του ρχείου. Το ντικείμενο DistributedFileSystem επιστρέφει έν ντικείμενο του τύπου FSDataInputStream κι μέσω της μεθόδου read() η εφρμογή ρχίζει ν διβάζει τ δεδομέν του ρχείου πό το πρώτο block νοίγοντς μι σύνδεση με τον ντίστοιχο DataNode. Ότν φτάσει στο τέλος του block, το ντικείμενο FSDataInputStream κλείνει τη σύνδεση με τον DataNode κι νοίγει μι νέ σύνδεση με τον DataNode που έχει το επόμενο block του ρχείου. Ν σημειωθεί ότι διδικσί υτή, που συνεχίζετι μέχρι ν διβστούν όλ τ επιθυμητά δεδομέν, είνι διφνής στον χρήστη, ο οποίος πλά διβάζει δεδομέν έν συνεχόμενο stream. Επίσης κθώς ένς χρήστης διβάζει πευθείς πό έν DataNode, η σχεδίση υτή επιτρέπει πολλπλούς χρήστες ν μπορούν ν διβάζουν τυτόχρον δεδομέν πό διφορετικούς κόμβους του cluster. Αντίστοιχ με την διδικσί νάγνωσης, στο Σχήμ 29προυσιάζετι η διδικσί εγγρφής δεδομένων σε έν ρχείο του HDFS. Η εφρμογή δημιουργεί το ρχείο κλώντς τη μέθοδο create() του ντικειμένου DistributedFileSystem, το οποίο με τη σειρά του μέσω κλήσης RPC στον NameNode δημιουργεί έν νέο ρχείο στον χώρο ονομάτων του HDFS με κνέν σχετιζόμενο block. Το ντικείμενο DistributedFileSystem επιστρέφει έν ντικείμενο του τύπου FSDataOutputStream που χρησιμοποιείτι πό την εφρμογή γι την εγγρφή δεδομένων στο νέο ρχείο. Όπως στην περίπτωση της νάγνωσης το ντικείμενο FSDataOutputStream χειρίζετι την επικοινωνί με τους DataNodes ποκρύπτοντς τις λεπτομέρειες πό τον τελικό χρήστη.

55 55 Σχήμ 28: Η διδικσί νάγνωσης δεδομένων στο σύστημ ρχείων HDFS [33]. Σχήμ 29: Η διδικσί εγγρφής δεδομένων στο σύστημ ρχείων HDFS [33]. Το προγρμμτιστικό μοντέλο Map/Reduce λειτουργεί χωρίζοντς την διδικσί επεξεργσίς των δεδομένων σε δυο βήμτ: το πρώτο βήμ που ονομάζετι map κολουθούμενο πό το βήμ reduce. Η δουλεί του προγρμμτιστή είνι ο ορισμός των συνρτήσεων map κι reduce, κθώς κι των τύπων των δεδομένων εισόδου κι εξόδου. Το framework φροντίζει γι την δρομολόγηση των εργσιών την πρκολούθηση της εκτέλεσης τους κι την επνεκτέλεση των ποτυχημένων εργσιών. Τ δεδομέν προς επεξεργσί έχουν την μορφή κλειδιού τιμής. Η εργσί Map/Reduce χωρίζει τ δεδομέν εισόδου σε νεξάρτητ κομμάτι κι κάθε κομμάτι ντίθετι σε κάποιο πό τους κόμβους γι επεξεργσί. Κτά το βήμ map ο κόμβος επεξεργάζετι το τμήμ που του ντέθηκε εκτελώντς διδοχικά την συνάρτηση

56 m β μ ε λ ε σ σ Δ Ό σ li σ σ Σ M υ κ τ ν μ m βή π με π εγ λίσ εγ σύ συ Δη Όπ στ υ is σε συ Σχ M υλ κ το ν με ma ήμ πο εσ πο γγ σ γγ ύσ υν ηλ π το υτ st ε υν χή Ma λο τ ου ετ Α ap μ ο σο ο γρ στ γρ σ νή λ πω ο τό t1 νά ήμ ap οπ τ υ τ Α pγ μ οθ ο οτ ρ τ ρ στ ή ως ί ό 1) ά μ p/ π H μ φ Αν γι τ θη ολ τε τη ήθ δ ς ίδ ό κ )κ ( άρ /R πο ν Ha μη φ νά ι το ηκ λ ελ φ T φ ημ θω δή γ δι κ κ (k ρτ 3 R οί νο a η φέ άπ ος κε β λε φέ Tι φή μ ω ή γί ιο κ ι ke τη 3 Re ίη ομ ad ην έρ πτ ς ε β εσ ές ιμ ή ως ή η ίν ο ι ι ( ey ησ 30 ed ησ μή do ν ρε τυ κ m εύ βε σμ ς μώ ή, ς η νε μ ι (k y1 σ 0 du ση ή oo ε υξ κά m ύο εί μ μ ώ κ χ ε ετ μη τ ke 1 ση π uc η ή τ o μ ετ ξη άθ ma ον μά μ ών π κά χρ εγ τ η τ ey 1, ηr π ce η τω op με τ η θε ap ντ η άτ με ν) π ά ρη γγ ηχ y re e ε ω p ετ ι Σ ε p τ η τω ε ) πο άθ η γρ ι χά δ y2 ed ρ e κ επ ων ε τ ι κ Συ ε pσ φ ω ί Σ οσ θε ησ ρ κ άν δε 2, m du ρο κ πι ν είν φ κο υσ ζ σε ι φ ων ίδ Στ στ ε σι ρ κ νη εδ l m u ου ιτ δ ν φ ο στ ζε ε σ φά ν δι τη τέ ε ιμ φ η δ lis me uc υ ι τρ δε φέ ον τή Δ εύ κ σ άσ τ ι η έλ εν μο φ τ ημ δο st e ce υσ τ ρέ ε ι έρ ντ Σ ήμ Δι ύγ κά στ ση τ ην λ νδ οπ φή μ ομ t2 erg eγ σι το έ εδ ι τ ρο τά Σχ μ ιπ γο άθ το η ξ τ ν λλ δι π ή ( ν, μέ 2) g γι ιά ο έπ δο τέ ο ά χή μ πλ ο θ ο η ξι τι σ λε ιά πο (k νο, έν ), ge ι άζ σ πε ομ έτ ον σ ή τ λω ος θε τ τ ιν ιμ συ ετ άμ οι ke οη ω ν, e( ζε σύ ει μέ το ντ στ ήμ το ω ς ε κ το τη νο μή υ τ μ ιώ e η ω (li κ ετ ύσ ι έ ο τ τ μ ος ωμ κ κ οπ ης ομ ή υν ι με ών ey ητ ωσ ν is κά τ σ τ έν οι ι ς Σ μ κλ κό πι ς μο κ νέ ι εσ ντ y, τό στ σ ν τ st ά ι στ το νω ι δ 3 Συ τ λε όμ ικ ο κ έχ σ σο τ v ό τό συ τ t1 άθ ι τη ο ων ώ δε 30 υ τι ει μβ κό ού κλ χε σ ο va ε όσ υγ 1,l θε η ημ σ ν ώ τ εδ 0: υλ ικ ιδ β ό ν ύν λε ει σε ζ ς al εγ σ γχ k li ε η μ σ ν ώσ τ δ : Τ λλ κή δι βο ό σ ν ντ ει ι ε ζε ς lu γγ σο γχ k ist ζ η σύ στ δο Το λο ή ιο ο σ δ τ ιδ κ εύ μ ue γρ ο χω ke t2 ζε λ ύσ υ τε ομ ο ογ Ε ού ε σύ δ ι δι κά ύγ μι e) ρ μ ων ey 2 εύ λε στ υξ ε δ μέ π γή Ερ ύ είν ύσ δι ι ιο ά γ ι ) μπ νε y1 2)) ύ ει ρ τη ξά ε τ δε έν πρ ής ργ ύ ν στ μ ού κ άπ γο ν φ πο ε 1 ). ύγ ιτ ρχ υλοποίηση επιτρέπει το σύστημ ν προγρμμτίζει τις εργσίες σύμφων με την κτνομή των δεδομένων υξάνοντς την πόδο τ δεδομέν εισόδου ν χωρίζοντι με ν μην μετφέροντι τ δεδομέν προς επεξεργσί λλά η επεξεργσί ν μετφέρετι κοντά στ δεδομέν. Το προγρμμτιστικό μοντέλο Map/Reduce Διπλωμτική Εργσί κλειδιού σε κάθε κόμβο είνι κι πάλι έν σύνολο ζευγριών κλειδιού τι στο τοπικό σύστημ ρχείων. Πριν την εκτέλεση του βήμτος νδινομής ( ποτελεσμάτων τξινομούντι με βάση το κλειδί κάθε εγγρφής κι ομδοποιούντι οι διού. Δηλδή ιμών) Στην συνέχει κολουθεί η ντιγρφή των ποτελεσμάτων όπου κάθε εγγρφή ποστέλλετι σε κάποιο σύστημ, κάθε ενδιάμεσο ζεύγος κλειδιού συνήθως χρησιμοποιώντς μι συνάρτηση )ντιστοιχίζετι στον κόμβο Όπως γίνετι κτνοητό εγγρφές με ίδιο κλε μπορεί ν προέρχοντι υτό κι τ δεδομέν συγχωνεύοντι 1 κι. ζεύγος λειτουργί του μοντέλου Map/ Reduce κι το σύστημ ρχείων HDFS λειτουργούν στο ίδιο σύνολο κόμβων. Αυτή η υλοποίηση επιτρέπει το σύστημ ν προγρμμτίζει τις εργσίες σύμφων με την κτνομή των δεδομένων υξάνοντς την πόδο τ δεδομέν εισόδου ν χωρίζοντι με ν μην μετφέροντι τ δεδομέν προς επεξεργσί λλά η επεξεργσί ν μετφέρετι κοντά στ δεδομέν. Το προγρμμτιστικό μοντέλο Map/Reduce Διπλωμτική Εργσί σε κάθε κόμβο είνι κι πάλι έν σύνολο ζευγριών κλειδιού τι στο τοπικό σύστημ ρχείων. Πριν την εκτέλεση του βήμτος νδινομής ( ποτελεσμάτων τξινομούντι με βάση το κλειδί κάθε εγγρφής κι ομδοποιούντι οι διού. Δηλδή ιμών) Στην συνέχει κολουθεί η ντιγρφή των ποτελεσμάτων όπου κάθε εγγρφή ποστέλλετι σε κάποιο σύστημ, κάθε ενδιάμεσο ζεύγος κλειδιού συνάρτηση )ντιστοιχίζετι στον κόμβο Όπως γίνετι κτνοητό εγγρφές με ίδιο κλε μπορεί ν προέρχοντι υτό κι τ δεδομέν συγχωνεύοντι κι ζεύγος ουργί του μοντέλου Map/ Reduce κι το σύστημ ρχείων HDFS λειτουργούν στο ίδιο σύνολο κόμβων. Αυτή η υλοποίηση επιτρέπει το σύστημ ν προγρμμτίζει τις εργσίες σύμφων με την κτνομή των δεδομένων υξάνοντς την πόδο τ δεδομέν εισόδου ν χωρίζοντι με ν μην μετφέροντι τ δεδομέν προς επεξεργσί λλά η επεξεργσί ν μετφέρετι κοντά στ δεδομέν. Το προγρμμτιστικό μοντέλο Map/Reduce Διπλωμτική Εργσί τιμής σε κάθε κόμβο είνι κι πάλι έν σύνολο ζευγριών κλειδιού τι στο τοπικό σύστημ ρχείων. Πριν την εκτέλεση του βήμτος νδινομής ( ποτελεσμάτων τξινομούντι με βάση το κλειδί κάθε εγγρφής κι ομδοποιούντι οι διού. Δηλδή ιμών) Στην συνέχει κολουθεί η ντιγρφή των ποτελεσμάτων όπου κάθε εγγρφή ποστέλλετι σε κάποιο σύστημ, κάθε ενδιάμεσο ζεύγος κλειδιού συνάρτηση )ντιστοιχίζετι στον κόμβο Όπως γίνετι κτνοητό εγγρφές με ίδιο κλε μπορεί ν προέρχοντι υτό κι τ δεδομέν συγχωνεύοντι κι ζεύγος ουργί του μοντέλου Map/ Reduce κι το σύστημ ρχείων HDFS λειτουργούν στο ίδιο σύνολο κόμβων. Αυτή η υλοποίηση επιτρέπει το σύστημ ν προγρμμτίζει τις εργσίες σύμφων με την κτνομή των δεδομένων υξάνοντς την πόδο τ δεδομέν εισόδου ν χωρίζοντι με ν μην μετφέροντι τ δεδομέν προς επεξεργσί λλά η επεξεργσί ν μετφέρετι κοντά στ δεδομέν. Το προγρμμτιστικό μοντέλο Map/Reduce Διπλωμτική Εργσί τιμής σε κάθε κόμβο είνι κι πάλι έν σύνολο ζευγριών κλειδιού τι στο τοπικό σύστημ ρχείων. Πριν την εκτέλεση του βήμτος νδινομής ( ποτελεσμάτων τξινομούντι με βάση το κλειδί κάθε εγγρφής κι ομδοποιούντι οι διού. Δηλδή ιμών) Στην συνέχει κολουθεί η ντιγρφή των ποτελεσμάτων όπου κάθε εγγρφή ποστέλλετι σε κάποιο σύστημ, κάθε ενδιάμεσο ζεύγος κλειδιού συνάρτηση )ντιστοιχίζετι στον κόμβο Όπως γίνετι κτνοητό εγγρφές με ίδιο κλε μπορεί ν προέρχοντι υτό κι τ δεδομέν συγχωνεύοντι κι Στο βήμ κλειδί ουργί του μοντέλου Map/ Reduce κι το σύστημ ρχείων HDFS λειτουργούν στο ίδιο σύνολο κόμβων. Αυτή η υλοποίηση επιτρέπει το σύστημ ν προγρμμτίζει τις εργσίες σύμφων με την κτνομή των δεδομένων υξάνοντς την πόδο τ δεδομέν εισόδου ν χωρίζοντι με ν μην μετφέροντι τ δεδομέν προς επεξεργσί λλά η επεξεργσί ν Το προγρμμτιστικό μοντέλο Map/Reduce Διπλωμτική Εργσί τιμής σε κάθε κόμβο είνι κι πάλι έν σύνολο ζευγριών κλειδιού τι στο τοπικό σύστημ ρχείων. Πριν την εκτέλεση του βήμτος νδινομής ( ποτελεσμάτων τξινομούντι με βάση το κλειδί κάθε εγγρφής κι ομδοποιούντι οι διού. Δηλδή ιμών) Στην συνέχει κολουθεί η ντιγρφή των ποτελεσμάτων όπου κάθε εγγρφή ποστέλλετι σε κάποιο σύστημ, κάθε ενδιάμεσο ζεύγος κλειδιού συνάρτηση )ντιστοιχίζετι στον κόμβο Όπως γίνετι κτνοητό εγγρφές με ίδιο κλε μπορεί ν προέρχοντι υτό κι τ δεδομέν συγχωνεύοντι κι key Στο βήμ κλειδί ουργί του μοντέλου Map/ Reduce κι το σύστημ ρχείων HDFS λειτουργούν στο ίδιο σύνολο κόμβων. Αυτή η υλοποίηση επιτρέπει το σύστημ ν προγρμμτίζει τις εργσίες σύμφων με την κτνομή των δεδομένων υξάνοντς την πόδο τ δεδομέν εισόδου ν χωρίζοντι με ν μην μετφέροντι τ δεδομέν προς επεξεργσί λλά η επεξεργσί ν Το προγρμμτιστικό μοντέλο Map/Reduce Διπλωμτική Εργσί τιμής σε κάθε κόμβο είνι κι πάλι έν σύνολο ζευγριών κλειδιού τι στο τοπικό σύστημ ρχείων. Πριν την εκτέλεση του βήμτος νδινομής ( ποτελεσμάτων τξινομούντι με βάση το κλειδί κάθε εγγρφής κι ομδοποιούντι οι διού. Δηλδή ιμών) Στην συνέχει κολουθεί η ντιγρφή των ποτελεσμάτων όπου κάθε εγγρφή ποστέλλετι σε κάποιο πό σύστημ, κάθε ενδιάμεσο ζεύγος κλειδιού συνάρτηση )ντιστοιχίζετι στον κόμβο Όπως γίνετι κτνοητό εγγρφές με ίδιο κλε μπορεί ν προέρχοντι υτό κι τ δεδομέν συγχωνεύοντι key Στο βήμ κλειδί ουργί του μοντέλου Map/ Reduce κι το σύστημ ρχείων HDFS λειτουργούν στο ίδιο σύνολο κόμβων. Αυτή η υλοποίηση επιτρέπει το σύστημ ν προγρμμτίζει τις εργσίες σύμφων με την κτνομή των δεδομένων υξάνοντς την πόδο τ δεδομέν εισόδου ν χωρίζοντι με ν μην μετφέροντι τ δεδομέν προς επεξεργσί λλά η επεξεργσί ν Το προγρμμτιστικό μοντέλο Map/Reduce Σχοινάς Εμμνουήλ τιμής σε κάθε κόμβο είνι κι πάλι έν σύνολο ζευγριών κλειδιού τι στο τοπικό σύστημ ρχείων. Πριν την εκτέλεση του βήμτος νδινομής ( ποτελεσμάτων τξινομούντι με βάση το κλειδί κάθε εγγρφής κι ομδοποιούντι οι διού. Δηλδή ιμών) Στην συνέχει κολουθεί η ντιγρφή των ποτελεσμάτων όπου κάθε πό σύστημ, κάθε ενδιάμεσο ζεύγος κλειδιού συνάρτηση )ντιστοιχίζετι στον κόμβο Όπως γίνετι κτνοητό εγγρφές με ίδιο κλε μπορεί ν προέρχοντι υτό κι τ δεδομέν συγχωνεύοντι key Στο βήμ κλειδί ουργί του μοντέλου Map/ Reduce κι το σύστημ ρχείων HDFS λειτουργούν στο ίδιο σύνολο κόμβων. Αυτή η υλοποίηση επιτρέπει το σύστημ ν προγρμμτίζει τις εργσίες σύμφων με την κτνομή των δεδομένων υξάνοντς την πόδο τ δεδομέν εισόδου ν χωρίζοντι με ν μην μετφέροντι τ δεδομέν προς επεξεργσί λλά η επεξεργσί ν Το προγρμμτιστικό μοντέλο Map/Reduce Σχοινάς Εμμνουήλ τιμής σε κάθε κόμβο είνι κι πάλι έν σύνολο ζευγριών κλειδιού τι στο τοπικό σύστημ ρχείων. Πριν την εκτέλεση του βήμτος νδινομής ( ποτελεσμάτων τξινομούντι με βάση το κλειδί κάθε εγγρφής κι ομδοποιούντι οι διού. Δηλδή ιμών) Στην συνέχει κολουθεί η ντιγρφή των ποτελεσμάτων όπου κάθε πό σύστημ, κάθε ενδιάμεσο ζεύγος κλειδιού συνάρτηση )ντιστοιχίζετι στον κόμβο Όπως γίνετι κτνοητό εγγρφές με ίδιο κλε μπορεί ν προέρχοντι υτό κι τ δεδομέν συγχωνεύοντι ( key2 Στο βήμ κλειδί ουργί του μοντέλου Map/ Reduce κι το σύστημ ρχείων HDFS λειτουργούν στο ίδιο σύνολο κόμβων. Αυτή η υλοποίηση επιτρέπει το σύστημ ν προγρμμτίζει τις εργσίες σύμφων με την κτνομή των δεδομένων υξάνοντς την πόδο τ δεδομέν εισόδου ν χωρίζοντι με ν μην μετφέροντι τ δεδομέν προς επεξεργσί λλά η επεξεργσί ν Το προγρμμτιστικό μοντέλο Map/Reduce Σχοινάς Εμμνουήλ τιμής σε κάθε κόμβο είνι κι πάλι έν σύνολο ζευγριών κλειδιού τι στο τοπικό σύστημ ρχείων. Πριν την εκτέλεση του βήμτος νδινομής (shuffle ποτελεσμάτων τξινομούντι με βάση το κλειδί κάθε εγγρφής κι ομδοποιούντι οι διού. Δηλδή ιμών) Στην συνέχει κολουθεί η ντιγρφή των ποτελεσμάτων όπου κάθε πό σύστημ, κάθε ενδιάμεσο ζεύγος κλειδιού συνάρτηση )ντιστοιχίζετι στον κόμβο Όπως γίνετι κτνοητό εγγρφές με ίδιο κλε μπορεί ν προέρχοντι (merge 2 Στο βήμ κλειδί ουργί του μοντέλου Map/ Reduce κι το σύστημ ρχείων HDFS λειτουργούν στο ίδιο σύνολο κόμβων. Αυτή η υλοποίηση επιτρέπει το σύστημ ν προγρμμτίζει τις εργσίες σύμφων με την κτνομή των δεδομένων υξάνοντς την πόδο τ δεδομέν εισόδου ν χωρίζοντι με ν μην μετφέροντι τ δεδομέν προς επεξεργσί λλά η επεξεργσί ν Το προγρμμτιστικό μοντέλο Map/Reduce Σχοινάς Εμμνουήλ της εισόδου. Το ενδιάμεσο ποτέλεσμ του σε κάθε κόμβο είνι κι πάλι έν σύνολο ζευγριών κλειδιού τι στο τοπικό σύστημ ρχείων. Πριν την εκτέλεση του βήμτος shuffle ποτελεσμάτων τξινομούντι με βάση το κλειδί κάθε εγγρφής κι ομδοποιούντι οι διού. Δηλδή ιμών) Στην συνέχει κολουθεί η ντιγρφή των ποτελεσμάτων όπου κάθε πό σύστημ, κάθε ενδιάμεσο ζεύγος κλειδιού συνάρτηση )ντιστοιχίζετι στον κόμβο Όπως γίνετι κτνοητό εγγρφές με ίδιο κλε μπορεί ν προέρχοντι merge 2 είνι ίδι Στο βήμ κλειδί ουργί του μοντέλου Map/ Reduce κι το σύστημ ρχείων HDFS λειτουργούν στο ίδιο σύνολο κόμβων. Αυτή η υλοποίηση επιτρέπει το σύστημ ν προγρμμτίζει τις εργσίες σύμφων με την κτνομή των δεδομένων υξάνοντς την πόδο τ δεδομέν εισόδου ν χωρίζοντι με ν μην μετφέροντι τ δεδομέν προς επεξεργσί λλά η επεξεργσί ν Το προγρμμτιστικό μοντέλο Map/Reduce Σχοινάς Εμμνουήλ της εισόδου. Το ενδιάμεσο ποτέλεσμ του σε κάθε κόμβο είνι κι πάλι έν σύνολο ζευγριών κλειδιού τι στο τοπικό σύστημ ρχείων. Πριν την εκτέλεση του βήμτος shuffle ποτελεσμάτων τξινομούντι με βάση το κλειδί κάθε εγγρφής κι ομδοποιούντι οι διού. Δηλδή ιμών) Στην συνέχει κολουθεί η ντιγρφή των ποτελεσμάτων όπου κάθε τους κόμβους. σύστημ, κάθε ενδιάμεσο ζεύγος κλειδιούσυνάρτηση )ντιστοιχίζετι στον κόμβο Όπως γίνετι κτνοητό εγγρφές με ίδιο κλε μπορεί ν προέρχοντι merge είνι ίδι Στο βήμ κλειδί - ουργί του μοντέλου Map/ Reduce κι το σύστημ ρχείων HDFS λειτουργούν στο ίδιο σύνολο κόμβων. Αυτή η υλοποίηση επιτρέπει το σύστημ ν προγρμμτίζει τις εργσίες σύμφων με την κτνομή των δεδομένων υξάνοντς την πόδο τ δεδομέν εισόδου ν χωρίζοντι με ν μην μετφέροντι τ δεδομέν προς επεξεργσί λλά η επεξεργσί ν Το προγρμμτιστικό μοντέλο Map/Reduce Σχοινάς Εμμνουήλ της εισόδου. Το ενδιάμεσο ποτέλεσμ του σε κάθε κόμβο είνι κι πάλι έν σύνολο ζευγριών κλειδιού τι στο τοπικό σύστημ ρχείων. Πριν την εκτέλεση του βήμτος shuffle ποτελεσμάτων τξινομούντι με βάση το κλειδί κάθε εγγρφής κι ομδοποιούντι οι διού. Δηλδή τ δεδομέν ιμών) Στην συνέχει κολουθεί η ντιγρφή των ποτελεσμάτων όπου κάθε τους κόμβους. -τιμής ντιστ συνάρτηση )ντιστοιχίζετι στον κόμβο Όπως γίνετι κτνοητό εγγρφές με ίδιο κλε μπορεί ν προέρχοντι merge είνι ίδι Στο βήμ - ουργί του μοντέλου Map/ Reduce κι το σύστημ ρχείων HDFS λειτουργούν στο ίδιο σύνολο κόμβων. Αυτή η υλοποίηση επιτρέπει το σύστημ ν προγρμμτίζει τις εργσίες σύμφων με την κτνομή των δεδομένων υξάνοντς την πόδο τ δεδομέν εισόδου ν χωρίζοντι με ν μην μετφέροντι τ δεδομέν προς επεξεργσί λλά η επεξεργσί ν Το προγρμμτιστικό μοντέλο Map/Reduce Σχοινάς Εμμνουήλ της εισόδου. Το ενδιάμεσο ποτέλεσμ του σε κάθε κόμβο είνι κι πάλι έν σύνολο ζευγριών κλειδιού τι στο τοπικό σύστημ ρχείων. Πριν την εκτέλεση του βήμτος shuffle ποτελεσμάτων τξινομούντι με βάση το κλειδί κάθε εγγρφής κι ομδοποιούντι οι τ δεδομέν ιμών) Στην συνέχει κολουθεί η ντιγρφή των ποτελεσμάτων όπου κάθε τους κόμβους. τιμής ντιστ συνάρτηση )ντιστοιχίζετι στον κόμβο Όπως γίνετι κτνοητό εγγρφές με ίδιο κλε μπορεί ν προέρχοντι merge είνι ίδι Στο βήμ λίστ που έχει κτλήξει στον κόμβο. ουργί του μοντέλου Map/ Reduce κι το σύστημ ρχείων HDFS λειτουργούν στο ίδιο σύνολο κόμβων. Αυτή η υλοποίηση επιτρέπει το σύστημ ν προγρμμτίζει τις εργσίες σύμφων με την κτνομή των δεδομένων υξάνοντς την πόδο τ δεδομέν εισόδου ν χωρίζοντι με ν μην μετφέροντι τ δεδομέν προς επεξεργσί λλά η επεξεργσί ν Το προγρμμτιστικό μοντέλο Map/Reduce Σχοινάς Εμμνουήλ της εισόδου. Το ενδιάμεσο ποτέλεσμ του σε κάθε κόμβο είνι κι πάλι έν σύνολο ζευγριών κλειδιού τι στο τοπικό σύστημ ρχείων. Πριν την εκτέλεση του βήμτος shuffle ποτελεσμάτων τξινομούντι με βάση το κλειδί κάθε εγγρφής κι ομδοποιούντι οι τ δεδομέν ιμών) Στην συνέχει κολουθεί η ντιγρφή των ποτελεσμάτων όπου κάθε τους κόμβους. τιμής ντιστ κτκερμτισμού στο κλειδί του ζεύγους. )ντιστοιχίζετι στον κόμβο Όπως γίνετι κτνοητό εγγρφές με ίδιο κλε μπορεί ν προέρχοντι merge είνι ίδι Στο βήμ λίστ που έχει κτλήξει στον κόμβο. ουργί του μοντέλου Map/ Reduce κι το σύστημ ρχείων HDFS λειτουργούν στο ίδιο σύνολο κόμβων. Αυτή η υλοποίηση επιτρέπει το σύστημ ν προγρμμτίζει τις εργσίες σύμφων με την κτνομή των δεδομένων υξάνοντς την πόδο τ δεδομέν εισόδου ν χωρίζοντι με ν μην μετφέροντι τ δεδομέν προς επεξεργσί λλά η επεξεργσί ν Το προγρμμτιστικό μοντέλο Map/Reduce Σχοινάς Εμμνουήλ της εισόδου. Το ενδιάμεσο ποτέλεσμ του σε κάθε κόμβο είνι κι πάλι έν σύνολο ζευγριών κλειδιού τι στο τοπικό σύστημ ρχείων. Πριν την εκτέλεση του βήμτος shuffle ποτελεσμάτων τξινομούντι με βάση το κλειδί κάθε εγγρφής κι ομδοποιούντι οι τ δεδομέν ιμών) Στην συνέχει κολουθεί η ντιγρφή των ποτελεσμάτων όπου κάθε τους κόμβους. τιμής ντιστ κτκερμτισμού στο κλειδί του ζεύγους. )ντιστοιχίζετι στον κόμβο Όπως γίνετι κτνοητό εγγρφές με ίδιο κλε μπορεί ν προέρχοντι merge)πριν το βήμ είνι ίδι Στο βήμ λίστ που έχει κτλήξει στον κόμβο. ουργί του μοντέλου Map/ Reduce κι το σύστημ ρχείων HDFS λειτουργούν στο ίδιο σύνολο κόμβων. Αυτή η υλοποίηση επιτρέπει το σύστημ ν προγρμμτίζει τις εργσίες σύμφων με την κτνομή των δεδομένων υξάνοντς την πόδο τ δεδομέν εισόδου ν χωρίζοντι με ν μην μετφέροντι τ δεδομέν προς επεξεργσί λλά η επεξεργσί ν Το προγρμμτιστικό μοντέλο Map/Reduce Σχοινάς Εμμνουήλ της εισόδου. Το ενδιάμεσο ποτέλεσμ του σε κάθε κόμβο είνι κι πάλι έν σύνολο ζευγριών κλειδιού τι στο τοπικό σύστημ ρχείων. Πριν την εκτέλεση του βήμτος shuffle). ποτελεσμάτων τξινομούντι με βάση το κλειδί κάθε εγγρφής κι ομδοποιούντι οι τ δεδομέν ιμών) Στην συνέχει κολουθεί η ντιγρφή των ποτελεσμάτων όπου κάθε τους κόμβους. τιμής ντιστ κτκερμτισμού στο κλειδί του ζεύγους. )ντιστοιχίζετι στον κόμβο Όπως γίνετι κτνοητό εγγρφές με ίδιο κλειδί κτλήγουν στο ίδιο μπορεί ν προέρχοντι )πριν το βήμ είνι ίδι Στο βήμ λίστ που έχει κτλήξει στον κόμβο. ουργί του μοντέλου Map/ Reduce κι το σύστημ ρχείων HDFS λειτουργούν στο ίδιο σύνολο κόμβων. Αυτή η υλοποίηση επιτρέπει το σύστημ ν προγρμμτίζει τις εργσίες σύμφων με την κτνομή των δεδομένων υξάνοντς την πόδο τ δεδομέν εισόδου ν χωρίζοντι με ν μην μετφέροντι τ δεδομέν προς επεξεργσί λλά η επεξεργσί ν Το προγρμμτιστικό μοντέλο Map/Reduce Σχοινάς Εμμνουήλ της εισόδου. Το ενδιάμεσο ποτέλεσμ του σε κάθε κόμβο είνι κι πάλι έν σύνολο ζευγριών κλειδιού τι στο τοπικό σύστημ ρχείων. Πριν την εκτέλεση του βήμτος. ποτελεσμάτων τξινομούντι με βάση το κλειδί κάθε εγγρφής κι ομδοποιούντι οι τ δεδομέν ιμών) Στην συνέχει κολουθεί η ντιγρφή των ποτελεσμάτων όπου κάθε τους κόμβους. τιμής ντιστ κτκερμτισμού στο κλειδί του ζεύγους. )ντιστοιχίζετι στον κόμβο ιδί κτλήγουν στο ίδιο μπορεί ν προέρχοντι )πριν το βήμ είνι ίδι Στο βήμ λίστ που έχει κτλήξει στον κόμβο. ουργί του μοντέλου Map/ Reduce κι το σύστημ ρχείων HDFS λειτουργούν στο ίδιο σύνολο κόμβων. Αυτή η υλοποίηση επιτρέπει το σύστημ ν προγρμμτίζει τις εργσίες σύμφων με την κτνομή των δεδομένων υξάνοντς την πόδο τ δεδομέν εισόδου ν χωρίζοντι με ν μην μετφέροντι τ δεδομέν προς επεξεργσί λλά η επεξεργσί ν Το προγρμμτιστικό μοντέλο Map/Reduce Σχοινάς Εμμνουήλ της εισόδου. Το ενδιάμεσο ποτέλεσμ του σε κάθε κόμβο είνι κι πάλι έν σύνολο ζευγριών κλειδιού τι στο τοπικό σύστημ ρχείων. Πριν την εκτέλεση του βήμτος. Αρχικά κάθε σύνολο των ενδιάμεσων ποτελεσμάτων τξινομούντι με βάση το κλειδί κάθε εγγρφής κι ομδοποιούντι οι τ δεδομέν ιμών) Στην συνέχει κολουθεί η ντιγρφή των ποτελεσμάτων όπου κάθε τους κόμβους. τιμής ντιστ κτκερμτισμού στο κλειδί του ζεύγους. )ντιστοιχίζετι στον κόμβο ιδί κτλήγουν στο ίδιο μπορεί ν προέρχοντι )πριν το βήμ είνι ίδι τότε Στο βήμ λίστ που έχει κτλήξει στον κόμβο. ουργί του μοντέλου Map/ Reduce κι το σύστημ ρχείων HDFS λειτουργούν στο ίδιο σύνολο κόμβων. Αυτή η υλοποίηση επιτρέπει το σύστημ ν προγρμμτίζει τις εργσίες σύμφων με την κτνομή των δεδομένων υξάνοντς την πόδο τ δεδομέν εισόδου ν χωρίζοντι με ν μην μετφέροντι τ δεδομέν προς επεξεργσί λλά η επεξεργσί ν Το προγρμμτιστικό μοντέλο Map/Reduce Σχοινάς Εμμνουήλ της εισόδου. Το ενδιάμεσο ποτέλεσμ του σε κάθε κόμβο είνι κι πάλι έν σύνολο ζευγριών κλειδιού τι στο τοπικό σύστημ ρχείων. Πριν την εκτέλεση του βήμτος Αρχικά κάθε σύνολο των ενδιάμεσων ποτελεσμάτων τξινομούντι με βάση το κλειδί κάθε εγγρφής κι ομδοποιούντι οι τ δεδομέν ιμών) Στην συνέχει κολουθεί η ντιγρφή των ποτελεσμάτων όπου κάθε τους κόμβους. τιμής ντιστ κτκερμτισμού στο κλειδί του ζεύγους. )ντιστοιχίζετι στον κόμβο ιδί κτλήγουν στο ίδιο μπορεί ν προέρχοντι )πριν το βήμ τότε Στο βήμ reduce λίστ που έχει κτλήξει στον κόμβο. ουργί του μοντέλου Map/ Reduce κι το σύστημ ρχείων HDFS λειτουργούν στο ίδιο σύνολο κόμβων. Αυτή η υλοποίηση επιτρέπει το σύστημ ν προγρμμτίζει τις εργσίες σύμφων με την κτνομή των δεδομένων υξάνοντς την πόδοση του. Με άλλ λόγι η προσέγγιση τ δεδομέν εισόδου ν χωρίζοντι με ν μην μετφέροντι τ δεδομέν προς επεξεργσί λλά η επεξεργσί ν Το προγρμμτιστικό μοντέλο Map/Reduce Σχοινάς Εμμνουήλ της εισόδου. Το ενδιάμεσο ποτέλεσμ του σε κάθε κόμβο είνι κι πάλι έν σύνολο ζευγριών κλειδιού τι στο τοπικό σύστημ ρχείων. Πριν την εκτέλεση του βήμτος Αρχικά κάθε σύνολο των ενδιάμεσων ποτελεσμάτων τξινομούντι με βάση το κλειδί κάθε εγγρφής κι ομδοποιούντι οι τ δεδομέν ιμών) Στην συνέχει κολουθεί η ντιγρφή των ποτελεσμάτων όπου κάθε τους κόμβους. τιμής ντιστ κτκερμτισμού στο κλειδί του ζεύγους. )ντιστοιχίζετι στον κόμβο ιδί κτλήγουν στο ίδιο μπορεί ν προέρχοντι )πριν το βήμ τότε reduce λίστ που έχει κτλήξει στον κόμβο. ουργί του μοντέλου Map/ Reduce κι το σύστημ ρχείων HDFS λειτουργούν στο ίδιο σύνολο κόμβων. Αυτή η υλοποίηση επιτρέπει το σύστημ ν προγρμμτίζει τις εργσίες σύμφων με την ση του. Με άλλ λόγι η προσέγγιση τ δεδομέν εισόδου ν χωρίζοντι με ν μην μετφέροντι τ δεδομέν προς επεξεργσί λλά η επεξεργσί ν Το προγρμμτιστικό μοντέλο Map/Reduce Σχοινάς Εμμνουήλ της εισόδου. Το ενδιάμεσο ποτέλεσμ του σε κάθε κόμβο είνι κι πάλι έν σύνολο ζευγριών κλειδιού τι στο τοπικό σύστημ ρχείων. Πριν την εκτέλεση του βήμτος Αρχικά κάθε σύνολο των ενδιάμεσων ποτελεσμάτων τξινομούντι με βάση το κλειδί κάθε εγγρφής κι ομδοποιούντι οι τ δεδομέν ιμών) Στην συνέχει κολουθεί η ντιγρφή των ποτελεσμάτων όπου κάθε τους κόμβους. τιμής ντιστ κτκερμτισμού στο κλειδί του ζεύγους. )ντιστοιχίζετι στον κόμβο ιδί κτλήγουν στο ίδιο μπορεί ν προέρχοντι )πριν το βήμ τότε reduce λίστ που έχει κτλήξει στον κόμβο. ουργί του μοντέλου Map/ Reduce κι το σύστημ ρχείων HDFS λειτουργούν στο ίδιο σύνολο κόμβων. Αυτή η υλοποίηση επιτρέπει το σύστημ ν προγρμμτίζει τις εργσίες σύμφων με την ση του. Με άλλ λόγι η προσέγγιση τ δεδομέν εισόδου ν χωρίζοντι με ν μην μετφέροντι τ δεδομέν προς επεξεργσί λλά η επεξεργσί ν Το προγρμμτιστικό μοντέλο Map/Reduce Σχοινάς Εμμνουήλ της εισόδου. Το ενδιάμεσο ποτέλεσμ του σε κάθε κόμβο είνι κι πάλι έν σύνολο ζευγριών κλειδιού τι στο τοπικό σύστημ ρχείων. Πριν την εκτέλεση του βήμτος Αρχικά κάθε σύνολο των ενδιάμεσων ποτελεσμάτων τξινομούντι με βάση το κλειδί κάθε εγγρφής κι ομδοποιούντι οι τ δεδομέν ιμών) Στην συνέχει κολουθεί η ντιγρφή των ποτελεσμάτων όπου κάθε τους κόμβους. τιμής ντιστ κτκερμτισμού στο κλειδί του ζεύγους. )ντιστοιχίζετι στον κόμβο ιδί κτλήγουν στο ίδιο μπορεί ν προέρχοντι )πριν το βήμ τότε reduce λίστ που έχει κτλήξει στον κόμβο. ουργί του μοντέλου Map/ Reduce κι το σύστημ ρχείων HDFS λειτουργούν στο ίδιο σύνολο κόμβων. Αυτή η υλοποίηση επιτρέπει το σύστημ ν προγρμμτίζει τις εργσίες σύμφων με την ση του. Με άλλ λόγι η προσέγγιση τ δεδομέν εισόδου ν χωρίζοντι με ν μην μετφέροντι τ δεδομέν προς επεξεργσί λλά η επεξεργσί ν Το προγρμμτιστικό μοντέλο Map/Reduce Σχοινάς Εμμνουήλ της εισόδου. Το ενδιάμεσο ποτέλεσμ του σε κάθε κόμβο είνι κι πάλι έν σύνολο ζευγριών κλειδιού τι στο τοπικό σύστημ ρχείων. Πριν την εκτέλεση του βήμτος Αρχικά κάθε σύνολο των ενδιάμεσων ποτελεσμάτων τξινομούντι με βάση το κλειδί κάθε εγγρφής κι ομδοποιούντι οι τ δεδομέν ιμών) Στην συνέχει κολουθεί η ντιγρφή των ποτελεσμάτων όπου κάθε τους κόμβους. τιμής ντιστ κτκερμτισμού στο κλειδί του ζεύγους. )ντιστοιχίζετι στον κόμβο ιδί κτλήγουν στο ίδιο μπορεί ν προέρχοντι πό )πριν το βήμ τότε reduce λίστ που έχει κτλήξει στον κόμβο. ουργί του μοντέλου Map/ Reduce κι το σύστημ ρχείων HDFS λειτουργούν στο ίδιο σύνολο κόμβων. Αυτή η υλοποίηση επιτρέπει το σύστημ ν προγρμμτίζει τις εργσίες σύμφων με την ση του. Με άλλ λόγι η προσέγγιση τ δεδομέν εισόδου ν χωρίζοντι με ν μην μετφέροντι τ δεδομέν προς επεξεργσί λλά η επεξεργσί ν Το προγρμμτιστικό μοντέλο Map/Reduce Σχοινάς Εμμνουήλ της εισόδου. Το ενδιάμεσο ποτέλεσμ του σε κάθε κόμβο είνι κι πάλι έν σύνολο ζευγριών κλειδιού τι στο τοπικό σύστημ ρχείων. Πριν την εκτέλεση του βήμτος Αρχικά κάθε σύνολο των ενδιάμεσων ποτελεσμάτων τξινομούντι με βάση το κλειδί κάθε εγγρφής κι ομδοποιούντι οι τ δεδομέν ιμών) Στην συνέχει κολουθεί η ντιγρφή των ποτελεσμάτων όπου κάθε τους κόμβους. τιμής ντιστ κτκερμτισμού στο κλειδί του ζεύγους. )ντιστοιχίζετι στον κόμβο ιδί κτλήγουν στο ίδιο πό )πριν το βήμ τότε reduce λίστ που έχει κτλήξει στον κόμβο. ουργί του μοντέλου Map/ Reduce κι το σύστημ ρχείων HDFS λειτουργούν στο ίδιο σύνολο κόμβων. Αυτή η υλοποίηση επιτρέπει το σύστημ ν προγρμμτίζει τις εργσίες σύμφων με την ση του. Με άλλ λόγι η προσέγγιση τ δεδομέν εισόδου ν χωρίζοντι με ν μην μετφέροντι τ δεδομέν προς επεξεργσί λλά η επεξεργσί ν Το προγρμμτιστικό μοντέλο Map/Reduce Σχοινάς Εμμνουήλ της εισόδου. Το ενδιάμεσο ποτέλεσμ του σε κάθε κόμβο είνι κι πάλι έν σύνολο ζευγριών κλειδιού τι στο τοπικό σύστημ ρχείων. Πριν την εκτέλεση του βήμτος Αρχικά κάθε σύνολο των ενδιάμεσων ποτελεσμάτων τξινομούντι με βάση το κλειδί κάθε εγγρφής κι ομδοποιούντι οι τ δεδομέν ιμών) Στην συνέχει κολουθεί η ντιγρφή των ποτελεσμάτων όπου κάθε τους κόμβους. τιμής ντιστοιχίζετι σε κάποιον κτκερμτισμού στο κλειδί του ζεύγους. )ντιστοιχίζετι στον κόμβο ιδί κτλήγουν στο ίδιο πό )πριν το βήμ τότε οι δυο εγγρφές reduce λίστ που έχει κτλήξει στον κόμβο. ουργί του μοντέλου Map/ Reduce κι το σύστημ ρχείων HDFS λειτουργούν στο ίδιο σύνολο κόμβων. Αυτή η υλοποίηση επιτρέπει το σύστημ ν προγρμμτίζει τις εργσίες σύμφων με την ση του. Με άλλ λόγι η προσέγγιση τ δεδομέν εισόδου ν χωρίζοντι με ν μην μετφέροντι τ δεδομέν προς επεξεργσί λλά η επεξεργσί ν Το προγρμμτιστικό μοντέλο Map/Reduce Σχοινάς Εμμνουήλ της εισόδου. Το ενδιάμεσο ποτέλεσμ του σε κάθε κόμβο είνι κι πάλι έν σύνολο ζευγριών κλειδιού τι στο τοπικό σύστημ ρχείων. Πριν την εκτέλεση του βήμτος Αρχικά κάθε σύνολο των ενδιάμεσων ποτελεσμάτων τξινομούντι με βάση το κλειδί κάθε εγγρφής κι ομδοποιούντι οι τ δεδομέν πίρνουν ιμών) Στην συνέχει κολουθεί η ντιγρφή των ποτελεσμάτων όπου κάθε τους κόμβους. οιχίζετι σε κάποιον κτκερμτισμού στο κλειδί του ζεύγους. )ντιστοιχίζετι στον κόμβο ιδί κτλήγουν στο ίδιο πό )πριν το βήμ οι δυο εγγρφές reduceεκτελείτι η διδοχικά η λίστ που έχει κτλήξει στον κόμβο. ουργί του μοντέλου Map/ Reduce κι το σύστημ ρχείων HDFS λειτουργούν στο ίδιο σύνολο κόμβων. Αυτή η υλοποίηση επιτρέπει το σύστημ ν προγρμμτίζει τις εργσίες σύμφων με την ση του. Με άλλ λόγι η προσέγγιση τ δεδομέν εισόδου ν χωρίζοντι με ν μην μετφέροντι τ δεδομέν προς επεξεργσί λλά η επεξεργσί ν Το προγρμμτιστικό μοντέλο Map/Reduce της εισόδου. Το ενδιάμεσο ποτέλεσμ του σε κάθε κόμβο είνι κι πάλι έν σύνολο ζευγριών κλειδιού τι στο τοπικό σύστημ ρχείων. Πριν την εκτέλεση του βήμτος Αρχικά κάθε σύνολο των ενδιάμεσων ποτελεσμάτων τξινομούντι με βάση το κλειδί κάθε εγγρφής κι ομδοποιούντι οι πίρνουν ιμών) Στην συνέχει κολουθεί η ντιγρφή των ποτελεσμάτων όπου κάθε τους κόμβους. οιχίζετι σε κάποιον κτκερμτισμού στο κλειδί του ζεύγους. )ντιστοιχίζετι στον κόμβο k ιδί κτλήγουν στο ίδιο πό )πριν το βήμ οι δυο εγγρφές εκτελείτι η διδοχικά η λίστ που έχει κτλήξει στον κόμβο. ουργί του μοντέλου Map/ Reduce κι το σύστημ ρχείων HDFS λειτουργούν στο ίδιο σύνολο κόμβων. Αυτή η υλοποίηση επιτρέπει το σύστημ ν προγρμμτίζει τις εργσίες σύμφων με την ση του. Με άλλ λόγι η προσέγγιση τ δεδομέν εισόδου ν χωρίζοντι με ν μην μετφέροντι τ δεδομέν προς επεξεργσί λλά η επεξεργσί ν Το προγρμμτιστικό μοντέλο Map/Reduce ΤΗΜΜΥ της εισόδου. Το ενδιάμεσο ποτέλεσμ του σε κάθε κόμβο είνι κι πάλι έν σύνολο ζευγριών κλειδιού τι στο τοπικό σύστημ ρχείων. Πριν την εκτέλεση του βήμτος Αρχικά κάθε σύνολο των ενδιάμεσων ποτελεσμάτων τξινομούντι με βάση το κλειδί κάθε εγγρφής κι ομδοποιούντι οι πίρνουν ιμών) Στην συνέχει κολουθεί η ντιγρφή των ποτελεσμάτων όπου κάθε τους κόμβους. Θεωρώντς Ν κόμβους στο οιχίζετι σε κάποιον κτκερμτισμού στο κλειδί του ζεύγους. kπό ιδί κτλήγουν στο ίδιο διφορετικά μηχνήμτ. Γι )πριν το βήμ οι δυο εγγρφές εκτελείτι η διδοχικά η λίστ που έχει κτλήξει στον κόμβο. ουργί του μοντέλου Map/ Reduce κι το σύστημ ρχείων HDFS λειτουργούν στο ίδιο σύνολο κόμβων. Αυτή η υλοποίηση επιτρέπει το σύστημ ν προγρμμτίζει τις εργσίες σύμφων με την ση του. Με άλλ λόγι η προσέγγιση τ δεδομέν εισόδου ν χωρίζοντι με ν μην μετφέροντι τ δεδομέν προς επεξεργσί λλά η επεξεργσί ν Το προγρμμτιστικό μοντέλο Map/Reduce ΤΗΜΜΥ της εισόδου. Το ενδιάμεσο ποτέλεσμ του σε κάθε κόμβο είνι κι πάλι έν σύνολο ζευγριών κλειδιού τι στο τοπικό σύστημ ρχείων. Πριν την εκτέλεση του βήμτος Αρχικά κάθε σύνολο των ενδιάμεσων ποτελεσμάτων τξινομούντι με βάση το κλειδί κάθε εγγρφής κι ομδοποιούντι οι πίρνουν ιμών) Στην συνέχει κολουθεί η ντιγρφή των ποτελεσμάτων όπου κάθε Θεωρώντς Ν κόμβους στο οιχίζετι σε κάποιον κτκερμτισμού στο κλειδί του ζεύγους. πό ιδί κτλήγουν στο ίδιο διφορετικά μηχνήμτ. Γι )πριν το βήμ οι δυο εγγρφές εκτελείτι η διδοχικά η λίστ που έχει κτλήξει στον κόμβο. ουργί του μοντέλου Map/ Reduce κι το σύστημ ρχείων HDFS λειτουργούν στο ίδιο σύνολο κόμβων. Αυτή η υλοποίηση επιτρέπει το σύστημ ν προγρμμτίζει τις εργσίες σύμφων με την ση του. Με άλλ λόγι η προσέγγιση τ δεδομέν εισόδου ν χωρίζοντι με ν μην μετφέροντι τ δεδομέν προς επεξεργσί λλά η επεξεργσί ν Το προγρμμτιστικό μοντέλο Map/Reduce ΤΗΜΜΥ της εισόδου. Το ενδιάμεσο ποτέλεσμ του σε κάθε κόμβο είνι κι πάλι έν σύνολο ζευγριών κλειδιού τι στο τοπικό σύστημ ρχείων. Πριν την εκτέλεση του βήμτος Αρχικά κάθε σύνολο των ενδιάμεσων ποτελεσμάτων τξινομούντι με βάση το κλειδί κάθε εγγρφής κι ομδοποιούντι οι πίρνουν ιμών) Στην συνέχει κολουθεί η ντιγρφή των ποτελεσμάτων όπου κάθε Θεωρώντς Ν κόμβους στο οιχίζετι σε κάποιον κτκερμτισμού στο κλειδί του ζεύγους. πό ιδί κτλήγουν στο ίδιο διφορετικά μηχνήμτ. Γι )πριν το βήμ οι δυο εγγρφές εκτελείτι η διδοχικά η λίστ που έχει κτλήξει στον κόμβο. ουργί του μοντέλου Map/Reduce Reduce κι το σύστημ ρχείων HDFS λειτουργούν στο ίδιο σύνολο κόμβων. Αυτή η υλοποίηση επιτρέπει το σύστημ ν προγρμμτίζει τις εργσίες σύμφων με την ση του. Με άλλ λόγι η προσέγγιση τ δεδομέν εισόδου ν χωρίζοντι με ν μην μετφέροντι τ δεδομέν προς επεξεργσί λλά η επεξεργσί ν Το προγρμμτιστικό μοντέλο Map/Reduce ΤΗΜΜΥ της εισόδου. Το ενδιάμεσο ποτέλεσμ του σε κάθε κόμβο είνι κι πάλι έν σύνολο ζευγριών κλειδιού τι στο τοπικό σύστημ ρχείων. Πριν την εκτέλεση του βήμτος Αρχικά κάθε σύνολο των ενδιάμεσων ποτελεσμάτων τξινομούντι με βάση το κλειδί κάθε εγγρφής κι ομδοποιούντι οι πίρνουν ιμών) Στην συνέχει κολουθεί η ντιγρφή των ποτελεσμάτων όπου κάθε Θεωρώντς Ν κόμβους στο οιχίζετι σε κάποιον κτκερμτισμού στο κλειδί του ζεύγους. πό ιδί κτλήγουν στο ίδιο διφορετικά μηχνήμτ. Γι )πριν το βήμ reduce οι δυο εγγρφές εκτελείτι η διδοχικά η λίστ που έχει κτλήξει στον κόμβο. Reduce Reduce κι το σύστημ ρχείων HDFS λειτουργούν στο ίδιο σύνολο κόμβων. Αυτή η υλοποίηση επιτρέπει το σύστημ ν προγρμμτίζει τις εργσίες σύμφων με την ση του. Με άλλ λόγι η προσέγγιση τ δεδομέν εισόδου ν χωρίζοντι με ν μην μετφέροντι τ δεδομέν προς επεξεργσί λλά η επεξεργσί ν Το προγρμμτιστικό μοντέλο Map/Reduce ΤΗΜΜΥ της εισόδου. Το ενδιάμεσο ποτέλεσμ του σε κάθε κόμβο είνι κι πάλι έν σύνολο ζευγριών κλειδιού τι στο τοπικό σύστημ ρχείων. Πριν την εκτέλεση του βήμτος Αρχικά κάθε σύνολο των ενδιάμεσων ποτελεσμάτων τξινομούντι με βάση το κλειδί κάθε εγγρφής κι ομδοποιούντι οι πίρνουν ιμών) Στην συνέχει κολουθεί η ντιγρφή των ποτελεσμάτων όπου κάθε Θεωρώντς Ν κόμβους στο οιχίζετι σε κάποιον κτκερμτισμού στο κλειδί του ζεύγους. πό ιδί κτλήγουν στο ίδιο διφορετικά μηχνήμτ. Γι reduce οι δυο εγγρφές εκτελείτι η διδοχικά η λίστ που έχει κτλήξει στον κόμβο. Reduce Reduce κι το σύστημ ρχείων HDFS λειτουργούν στο ίδιο σύνολο κόμβων. Αυτή η υλοποίηση επιτρέπει το σύστημ ν προγρμμτίζει τις εργσίες σύμφων με την ση του. Με άλλ λόγι η προσέγγιση τ δεδομέν εισόδου ν χωρίζοντι με ν μην μετφέροντι τ δεδομέν προς επεξεργσί λλά η επεξεργσί ν Το προγρμμτιστικό μοντέλο Map/Reduce ΤΗΜΜΥ της εισόδου. Το ενδιάμεσο ποτέλεσμ του σε κάθε κόμβο είνι κι πάλι έν σύνολο ζευγριών κλειδιού τι στο τοπικό σύστημ ρχείων. Πριν την εκτέλεση του βήμτος Αρχικά κάθε σύνολο των ενδιάμεσων ποτελεσμάτων τξινομούντι με βάση το κλειδί κάθε εγγρφής κι ομδοποιούντι οι πίρνουν ιμών) Στην συνέχει κολουθεί η ντιγρφή των ποτελεσμάτων όπου κάθε Θεωρώντς Ν κόμβους στο οιχίζετι σε κάποιον κτκερμτισμού στο κλειδί του ζεύγους. τους ιδί κτλήγουν στο ίδιο διφορετικά μηχνήμτ. Γι reduce οι δυο εγγρφές εκτελείτι η διδοχικά η λίστ που έχει κτλήξει στον κόμβο. Reduce Reduce κι το σύστημ ρχείων HDFS λειτουργούν στο ίδιο σύνολο κόμβων. Αυτή η υλοποίηση επιτρέπει το σύστημ ν προγρμμτίζει τις εργσίες σύμφων με την ση του. Με άλλ λόγι η προσέγγιση τ δεδομέν εισόδου ν χωρίζοντι με ν μην μετφέροντι τ δεδομέν προς επεξεργσί λλά η επεξεργσί ν Το προγρμμτιστικό μοντέλο Map/Reduce ΤΗΜΜΥ της εισόδου. Το ενδιάμεσο ποτέλεσμ του σε κάθε κόμβο είνι κι πάλι έν σύνολο ζευγριών κλειδιού τι στο τοπικό σύστημ ρχείων. Πριν την εκτέλεση του βήμτος Αρχικά κάθε σύνολο των ενδιάμεσων ποτελεσμάτων τξινομούντι με βάση το κλειδί κάθε εγγρφής κι ομδοποιούντι οι πίρνουν ιμών) Στην συνέχει κολουθεί η ντιγρφή των ποτελεσμάτων όπου κάθε Θεωρώντς Ν κόμβους στο οιχίζετι σε κάποιον κτκερμτισμού στο κλειδί του ζεύγους. τους ιδί κτλήγουν στο ίδιο διφορετικά μηχνήμτ. Γι reduce οι δυο εγγρφές εκτελείτι η διδοχικά η λίστ που έχει κτλήξει στον κόμβο. Reduce Reduce κι το σύστημ ρχείων HDFS λειτουργούν στο ίδιο σύνολο κόμβων. Αυτή η υλοποίηση επιτρέπει το σύστημ ν προγρμμτίζει τις εργσίες σύμφων με την ση του. Με άλλ λόγι η προσέγγιση τ δεδομέν εισόδου ν χωρίζοντι με ν μην μετφέροντι τ δεδομέν προς επεξεργσί λλά η επεξεργσί ν Το προγρμμτιστικό μοντέλο Map/Reduce ΤΗΜΜΥ της εισόδου. Το ενδιάμεσο ποτέλεσμ του σε κάθε κόμβο είνι κι πάλι έν σύνολο ζευγριών κλειδιού τι στο τοπικό σύστημ ρχείων. Πριν την εκτέλεση του βήμτος Αρχικά κάθε σύνολο των ενδιάμεσων ποτελεσμάτων τξινομούντι με βάση το κλειδί κάθε εγγρφής κι ομδοποιούντι οι πίρνουν ιμών) Στην συνέχει κολουθεί η ντιγρφή των ποτελεσμάτων όπου κάθε Θεωρώντς Ν κόμβους στο οιχίζετι σε κάποιον κτκερμτισμού στο κλειδί του ζεύγους. τους ιδί κτλήγουν στο ίδιο διφορετικά μηχνήμτ. Γι reduce οι δυο εγγρφές εκτελείτι η διδοχικά η λίστ που έχει κτλήξει στον κόμβο. Reduce Reduce κι το σύστημ ρχείων HDFS λειτουργούν στο ίδιο σύνολο κόμβων. Αυτή η υλοποίηση επιτρέπει το σύστημ ν προγρμμτίζει τις εργσίες σύμφων με την ση του. Με άλλ λόγι η προσέγγιση τ δεδομέν εισόδου ν χωρίζοντι με ν μην μετφέροντι τ δεδομέν προς επεξεργσί λλά η επεξεργσί ν Το προγρμμτιστικό μοντέλο Map/Reduce ΤΗΜΜΥ - της εισόδου. Το ενδιάμεσο ποτέλεσμ του σε κάθε κόμβο είνι κι πάλι έν σύνολο ζευγριών κλειδιού τι στο τοπικό σύστημ ρχείων. Πριν την εκτέλεση του βήμτος Αρχικά κάθε σύνολο των ενδιάμεσων ποτελεσμάτων τξινομούντι με βάση το κλειδί κάθε εγγρφής κι ομδοποιούντι οι πίρνουν ιμών) Στην συνέχει κολουθεί η ντιγρφή των ποτελεσμάτων όπου κάθε Θεωρώντς Ν κόμβους στο οιχίζετι σε κάποιον κτκερμτισμού στο κλειδί του ζεύγους. τους ιδί κτλήγουν στο ίδιο διφορετικά μηχνήμτ. Γι reduce οι δυο εγγρφές εκτελείτι η διδοχικά η λίστ που έχει κτλήξει στον κόμβο. Reduce Reduce κι το σύστημ ρχείων HDFS λειτουργούν στο ίδιο σύνολο κόμβων. Αυτή η υλοποίηση επιτρέπει το σύστημ ν προγρμμτίζει τις εργσίες σύμφων με την ση του. Με άλλ λόγι η προσέγγιση τ δεδομέν εισόδου ν χωρίζοντι με ν μην μετφέροντι τ δεδομέν προς επεξεργσί λλά η επεξεργσί ν Το προγρμμτιστικό μοντέλο Map/Reduce [33] ΑΠΘ της εισόδου. Το ενδιάμεσο ποτέλεσμ του σε κάθε κόμβο είνι κι πάλι έν σύνολο ζευγριών κλειδιού τι στο τοπικό σύστημ ρχείων. Πριν την εκτέλεση του βήμτος Αρχικά κάθε σύνολο των ενδιάμεσων ποτελεσμάτων τξινομούντι με βάση το κλειδί κάθε εγγρφής κι ομδοποιούντι οι την μορφή (κλειδί ιμών) Στην συνέχει κολουθεί η ντιγρφή των ποτελεσμάτων όπου κάθε Θεωρώντς Ν κόμβους στο οιχίζετι σε κάποιον κτκερμτισμού στο κλειδί του ζεύγους. τους ιδί κτλήγουν στο ίδιο διφορετικά μηχνήμτ. Γι reduce οι δυο εγγρφές εκτελείτι η διδοχικά η λίστ που έχει κτλήξει στον κόμβο. Reduce. Reduce κι το σύστημ ρχείων HDFS λειτουργούν στο ίδιο σύνολο κόμβων. Αυτή η υλοποίηση επιτρέπει το σύστημ ν προγρμμτίζει τις εργσίες σύμφων με την ση του. Με άλλ λόγι η προσέγγιση τ δεδομέν εισόδου ν χωρίζοντι με ν μην μετφέροντι τ δεδομέν προς επεξεργσί λλά η επεξεργσί ν [33] ΑΠΘ της εισόδου. Το ενδιάμεσο ποτέλεσμ του σε κάθε κόμβο είνι κι πάλι έν σύνολο ζευγριών κλειδιού τι στο τοπικό σύστημ ρχείων. Πριν την εκτέλεση του βήμτος Αρχικά κάθε σύνολο των ενδιάμεσων ποτελεσμάτων τξινομούντι με βάση το κλειδί κάθε εγγρφής κι ομδοποιούντι οι την μορφή (κλειδί ιμών) Στην συνέχει κολουθεί η ντιγρφή των ποτελεσμάτων όπου κάθε Θεωρώντς Ν κόμβους στο οιχίζετι σε κάποιον κτκερμτισμού στο κλειδί του ζεύγους. τους N ιδί κτλήγουν στο ίδιο διφορετικά μηχνήμτ. Γι reduce. Δηλδή γι ( οι δυο εγγρφές εκτελείτι η διδοχικά η λίστ που έχει κτλήξει στον κόμβο.. Reduce κι το σύστημ ρχείων HDFS λειτουργούν στο ίδιο σύνολο κόμβων. Αυτή η υλοποίηση επιτρέπει το σύστημ ν προγρμμτίζει τις εργσίες σύμφων με την ση του. Με άλλ λόγι η προσέγγιση τ δεδομέν εισόδου ν χωρίζοντι με ν μην μετφέροντι τ δεδομέν προς επεξεργσί λλά η επεξεργσί ν [33] ΑΠΘ της εισόδου. Το ενδιάμεσο ποτέλεσμ του σε κάθε κόμβο είνι κι πάλι έν σύνολο ζευγριών κλειδιού τι στο τοπικό σύστημ ρχείων. Πριν την εκτέλεση του βήμτος Αρχικά κάθε σύνολο των ενδιάμεσων ποτελεσμάτων τξινομούντι με βάση το κλειδί κάθε εγγρφής κι ομδοποιούντι οι την μορφή (κλειδί ιμών) Στην συνέχει κολουθεί η ντιγρφή των ποτελεσμάτων όπου κάθε Θεωρώντς Ν κόμβους στο οιχίζετι σε κάποιον κτκερμτισμού στο κλειδί του ζεύγους. N ιδί κτλήγουν στο ίδιο διφορετικά μηχνήμτ. Γι. Δηλδή γι ( οι δυο εγγρφές εκτελείτι η διδοχικά η λίστ που έχει κτλήξει στον κόμβο.. Τυπικά το πλίσιο Reduce κι το σύστημ ρχείων HDFS λειτουργούν στο ίδιο σύνολο κόμβων. Αυτή η υλοποίηση επιτρέπει το σύστημ ν προγρμμτίζει τις εργσίες σύμφων με την ση του. Με άλλ λόγι η προσέγγιση τ δεδομέν εισόδου ν χωρίζοντι με ν μην μετφέροντι τ δεδομέν προς επεξεργσί λλά η επεξεργσί ν [33] ΑΠΘ της εισόδου. Το ενδιάμεσο ποτέλεσμ του σε κάθε κόμβο είνι κι πάλι έν σύνολο ζευγριών κλειδιού τι στο τοπικό σύστημ ρχείων. Πριν την εκτέλεση του βήμτος Αρχικά κάθε σύνολο των ενδιάμεσων ποτελεσμάτων τξινομούντι με βάση το κλειδί κάθε εγγρφής κι ομδοποιούντι οι την μορφή (κλειδί ιμών) Στην συνέχει κολουθεί η ντιγρφή των ποτελεσμάτων όπου κάθε Θεωρώντς Ν κόμβους στο οιχίζετι σε κάποιον κτκερμτισμού στο κλειδί του ζεύγους. Nμε τη σχέση ιδί κτλήγουν στο ίδιο διφορετικά μηχνήμτ. Γι. Δηλδή γι ( οι δυο εγγρφές εκτελείτι η διδοχικά η λίστ που έχει κτλήξει στον κόμβο. Τυπικά το πλίσιο Reduce κι το σύστημ ρχείων HDFS λειτουργούν στο ίδιο σύνολο κόμβων. Αυτή η υλοποίηση επιτρέπει το σύστημ ν προγρμμτίζει τις εργσίες σύμφων με την ση του. Με άλλ λόγι η προσέγγιση τ δεδομέν εισόδου ν χωρίζοντι με τέτοιο ν μην μετφέροντι τ δεδομέν προς επεξεργσί λλά η επεξεργσί ν [33]. ΑΠΘ της εισόδου. Το ενδιάμεσο ποτέλεσμ του σε κάθε κόμβο είνι κι πάλι έν σύνολο ζευγριών κλειδιού τι στο τοπικό σύστημ ρχείων. Πριν την εκτέλεση του βήμτος Αρχικά κάθε σύνολο των ενδιάμεσων ποτελεσμάτων τξινομούντι με βάση το κλειδί κάθε εγγρφής κι ομδοποιούντι οι την μορφή (κλειδί ιμών) Στην συνέχει κολουθεί η ντιγρφή των ποτελεσμάτων όπου κάθε Θεωρώντς Ν κόμβους στο οιχίζετι σε κάποιον κτκερμτισμού στο κλειδί του ζεύγους. με τη σχέση ιδί κτλήγουν στο ίδιο partition διφορετικά μηχνήμτ. Γι. Δηλδή γι ( οι δυο εγγρφές εκτελείτι η διδοχικά η λίστ που έχει κτλήξει στον κόμβο. Τυπικά το πλίσιο Reduce κι το σύστημ ρχείων HDFS λειτουργούν στο ίδιο σύνολο κόμβων. Αυτή η υλοποίηση επιτρέπει το σύστημ ν προγρμμτίζει τις εργσίες σύμφων με την ση του. Με άλλ λόγι η προσέγγιση τέτοιο ν μην μετφέροντι τ δεδομέν προς επεξεργσί λλά η επεξεργσί ν. της εισόδου. Το ενδιάμεσο ποτέλεσμ του σε κάθε κόμβο είνι κι πάλι έν σύνολο ζευγριών κλειδιού τι στο τοπικό σύστημ ρχείων. Πριν την εκτέλεση του βήμτος Αρχικά κάθε σύνολο των ενδιάμεσων ποτελεσμάτων τξινομούντι με βάση το κλειδί κάθε εγγρφής κι ομδοποιούντι οι την μορφή (κλειδί ιμών) Στην συνέχει κολουθεί η ντιγρφή των ποτελεσμάτων όπου κάθε Θεωρώντς Ν κόμβους στο οιχίζετι σε κάποιον κτκερμτισμού στο κλειδί του ζεύγους. με τη σχέση partition διφορετικά μηχνήμτ. Γι. Δηλδή γι ( οι δυο εγγρφές εκτελείτι η διδοχικά η λίστ που έχει κτλήξει στον κόμβο. Τυπικά το πλίσιο Reduce κι το σύστημ ρχείων HDFS λειτουργούν στο ίδιο σύνολο κόμβων. Αυτή η υλοποίηση επιτρέπει το σύστημ ν προγρμμτίζει τις εργσίες σύμφων με την ση του. Με άλλ λόγι η προσέγγιση τέτοιο ν μην μετφέροντι τ δεδομέν προς επεξεργσί λλά η επεξεργσί ν της εισόδου. Το ενδιάμεσο ποτέλεσμ του σε κάθε κόμβο είνι κι πάλι έν σύνολο ζευγριών κλειδιού τι στο τοπικό σύστημ ρχείων. Πριν την εκτέλεση του βήμτος Αρχικά κάθε σύνολο των ενδιάμεσων ποτελεσμάτων τξινομούντι με βάση το κλειδί κάθε εγγρφής κι ομδοποιούντι οι την μορφή (κλειδί ιμών) Στην συνέχει κολουθεί η ντιγρφή των ποτελεσμάτων όπου κάθε Θεωρώντς Ν κόμβους στο οιχίζετι σε κάποιον κτκερμτισμού στο κλειδί του ζεύγους. με τη σχέση partition διφορετικά μηχνήμτ. Γι. Δηλδή γι ( οι δυο εγγρφές συγχωνεύοντι εκτελείτι η διδοχικά η λίστ που έχει κτλήξει στον κόμβο. Τυπικά το πλίσιο Reduce κι το σύστημ ρχείων HDFS λειτουργούν στο ίδιο σύνολο κόμβων. Αυτή η υλοποίηση επιτρέπει το σύστημ ν προγρμμτίζει τις εργσίες σύμφων με την ση του. Με άλλ λόγι η προσέγγιση τέτοιο ν μην μετφέροντι τ δεδομέν προς επεξεργσί λλά η επεξεργσί ν της εισόδου. Το ενδιάμεσο ποτέλεσμ του σε κάθε κόμβο είνι κι πάλι έν σύνολο ζευγριών κλειδιού τι στο τοπικό σύστημ ρχείων. Πριν την εκτέλεση του βήμτος Αρχικά κάθε σύνολο των ενδιάμεσων ποτελεσμάτων τξινομούντι με βάση το κλειδί κάθε εγγρφής κι ομδοποιούντι οι την μορφή (κλειδί ιμών) Στην συνέχει κολουθεί η ντιγρφή των ποτελεσμάτων όπου κάθε Θεωρώντς Ν κόμβους στο οιχίζετι σε κάποιον κτκερμτισμού στο κλειδί του ζεύγους. με τη σχέση partition διφορετικά μηχνήμτ. Γι. Δηλδή γι ( συγχωνεύοντι εκτελείτι η διδοχικά η λίστ που έχει κτλήξει στον κόμβο. Τυπικά το πλίσιο Reduce κι το σύστημ ρχείων HDFS λειτουργούν στο ίδιο σύνολο κόμβων. Αυτή η υλοποίηση επιτρέπει το σύστημ ν προγρμμτίζει τις εργσίες σύμφων με την ση του. Με άλλ λόγι η προσέγγιση τέτοιο ν μην μετφέροντι τ δεδομέν προς επεξεργσί λλά η επεξεργσί ν της εισόδου. Το ενδιάμεσο ποτέλεσμ του σε κάθε κόμβο είνι κι πάλι έν σύνολο ζευγριών κλειδιού τι στο τοπικό σύστημ ρχείων. Πριν την εκτέλεση του βήμτος Αρχικά κάθε σύνολο των ενδιάμεσων ποτελεσμάτων τξινομούντι με βάση το κλειδί κάθε εγγρφής κι ομδοποιούντι οι την μορφή (κλειδί ιμών) Στην συνέχει κολουθεί η ντιγρφή των ποτελεσμάτων όπου κάθε Θεωρώντς Ν κόμβους στο οιχίζετι σε κάποιον κτκερμτισμού στο κλειδί του ζεύγους. με τη σχέση partition διφορετικά μηχνήμτ. Γι. Δηλδή γι ( συγχωνεύοντι εκτελείτι η διδοχικά η λίστ που έχει κτλήξει στον κόμβο. Τυπικά το πλίσιο Reduce κι το σύστημ ρχείων HDFS λειτουργούν στο ίδιο σύνολο κόμβων. Αυτή η υλοποίηση επιτρέπει το σύστημ ν προγρμμτίζει τις εργσίες σύμφων με την ση του. Με άλλ λόγι η προσέγγιση τέτοιο ν μην μετφέροντι τ δεδομέν προς επεξεργσί λλά η επεξεργσί ν της εισόδου. Το ενδιάμεσο ποτέλεσμ του σε κάθε κόμβο είνι κι πάλι έν σύνολο ζευγριών κλειδιού τι στο τοπικό σύστημ ρχείων. Πριν την εκτέλεση του βήμτος Αρχικά κάθε σύνολο των ενδιάμεσων ποτελεσμάτων τξινομούντι με βάση το κλειδί κάθε εγγρφής κι ομδοποιούντι οι την μορφή (κλειδί ιμών) Στην συνέχει κολουθεί η ντιγρφή των ποτελεσμάτων όπου κάθε Θεωρώντς Ν κόμβους στο οιχίζετι σε κάποιον πό κτκερμτισμού στο κλειδί του ζεύγους. με τη σχέση partition διφορετικά μηχνήμτ. Γι. Δηλδή γι ( συγχωνεύοντι εκτελείτι η διδοχικά η λίστ που έχει κτλήξει στον κόμβο. Τυπικά το πλίσιο Reduce κι το σύστημ ρχείων HDFS λειτουργούν στο ίδιο σύνολο κόμβων. Αυτή η υλοποίηση επιτρέπει το σύστημ ν προγρμμτίζει τις εργσίες σύμφων με την ση του. Με άλλ λόγι η προσέγγιση τέτοιο ν μην μετφέροντι τ δεδομέν προς επεξεργσί λλά η επεξεργσί ν της εισόδου. Το ενδιάμεσο ποτέλεσμ του τι στο τοπικό σύστημ ρχείων. Πριν την εκτέλεση του βήμτος Αρχικά κάθε σύνολο των ενδιάμεσων ποτελεσμάτων τξινομούντι με βάση το κλειδί κάθε εγγρφής κι ομδοποιούντι οι την μορφή (κλειδί ιμών) Στην συνέχει κολουθεί η ντιγρφή των ποτελεσμάτων όπου κάθε Θεωρώντς Ν κόμβους στο πό κτκερμτισμού στο κλειδί του ζεύγους. με τη σχέση partition διφορετικά μηχνήμτ. Γι. Δηλδή γι ( συγχωνεύοντι εκτελείτι η διδοχικά η λίστ που έχει κτλήξει στον κόμβο. Τυπικά το πλίσιο Reduce κι το σύστημ ρχείων HDFS λειτουργούν στο ίδιο σύνολο κόμβων. Αυτή η υλοποίηση επιτρέπει το σύστημ ν προγρμμτίζει τις εργσίες σύμφων με την ση του. Με άλλ λόγι η προσέγγιση τέτοιο τρόπο που ν μην μετφέροντι τ δεδομέν προς επεξεργσί λλά η επεξεργσί ν της εισόδου. Το ενδιάμεσο ποτέλεσμ του τιμής που τι στο τοπικό σύστημ ρχείων. Πριν την εκτέλεση του βήμτος Αρχικά κάθε σύνολο των ενδιάμεσων ποτελεσμάτων τξινομούντι με βάση το κλειδί κάθε εγγρφής κι ομδοποιούντι οι την μορφή (κλειδί ιμών) Στην συνέχει κολουθεί η ντιγρφή των ποτελεσμάτων όπου κάθε Θεωρώντς Ν κόμβους στο πό κτκερμτισμού στο κλειδί του ζεύγους. με τη σχέση partition διφορετικά μηχνήμτ. Γι. Δηλδή γι ( συγχωνεύοντι εκτελείτι η διδοχικά η λίστ που έχει κτλήξει στον κόμβο. Τυπικά το πλίσιο Reduce κι το σύστημ ρχείων HDFS λειτουργούν στο ίδιο σύνολο κόμβων. Αυτή η υλοποίηση επιτρέπει το σύστημ ν προγρμμτίζει τις εργσίες σύμφων με την ση του. Με άλλ λόγι η προσέγγιση τρόπο που ν μην μετφέροντι τ δεδομέν προς επεξεργσί λλά η επεξεργσί ν της εισόδου. Το ενδιάμεσο ποτέλεσμ του τιμής που τι στο τοπικό σύστημ ρχείων. Πριν την εκτέλεση του βήμτος Αρχικά κάθε σύνολο των ενδιάμεσων ποτελεσμάτων τξινομούντι με βάση το κλειδί κάθε εγγρφής κι ομδοποιούντι οι την μορφή (κλειδί ιμών) Στην συνέχει κολουθεί η ντιγρφή των ποτελεσμάτων όπου κάθε Θεωρώντς Ν κόμβους στο πό κτκερμτισμού στο κλειδί του ζεύγους. με τη σχέση partition διφορετικά μηχνήμτ. Γι. Δηλδή γι ( συγχωνεύοντι εκτελείτι η διδοχικά η λίστ που έχει κτλήξει στον κόμβο. Τυπικά το πλίσιο Reduce κι το σύστημ ρχείων HDFS λειτουργούν στο ίδιο σύνολο κόμβων. Αυτή η υλοποίηση επιτρέπει το σύστημ ν προγρμμτίζει τις εργσίες σύμφων με την ση του. Με άλλ λόγι η προσέγγιση τρόπο που ν μην μετφέροντι τ δεδομέν προς επεξεργσί λλά η επεξεργσί ν της εισόδου. Το ενδιάμεσο ποτέλεσμ του τιμής που τι στο τοπικό σύστημ ρχείων. Πριν την εκτέλεση του βήμτος Reduce Αρχικά κάθε σύνολο των ενδιάμεσων ποτελεσμάτων τξινομούντι με βάση το κλειδί κάθε εγγρφής κι ομδοποιούντι οι την μορφή (κλειδί ιμών) Στην συνέχει κολουθεί η ντιγρφή των ποτελεσμάτων όπου κάθε Θεωρώντς Ν κόμβους στο πό κτκερμτισμού στο κλειδί του ζεύγους. με τη σχέση partition,δηλδή διφορετικά μηχνήμτ. Γι. Δηλδή γι ( συγχωνεύοντι εκτελείτι η διδοχικά η λίστ που έχει κτλήξει στον κόμβο. Τυπικά το πλίσιο Reduce κι το σύστημ ρχείων HDFS λειτουργούν στο ίδιο σύνολο κόμβων. Αυτή η υλοποίηση επιτρέπει το σύστημ ν προγρμμτίζει τις εργσίες σύμφων με την ση του. Με άλλ λόγι η προσέγγιση τρόπο που ν μην μετφέροντι τ δεδομέν προς επεξεργσί λλά η επεξεργσί ν της εισόδου. Το ενδιάμεσο ποτέλεσμ του τιμής που Reduce Αρχικά κάθε σύνολο των ενδιάμεσων ποτελεσμάτων τξινομούντι με βάση το κλειδί κάθε εγγρφής κι ομδοποιούντι οι την μορφή (κλειδί ιμών) Στην συνέχει κολουθεί η ντιγρφή των ποτελεσμάτων όπου κάθε Θεωρώντς Ν κόμβους στο υτούς κτκερμτισμού στο κλειδί του ζεύγους. με τη σχέση,δηλδή διφορετικά μηχνήμτ. Γι. Δηλδή γι ( συγχωνεύοντι εκτελείτι η διδοχικά η λίστ που έχει κτλήξει στον κόμβο. Τυπικά το πλίσιο Reduce κι το σύστημ ρχείων HDFS λειτουργούν στο ίδιο σύνολο κόμβων. Αυτή η υλοποίηση επιτρέπει το σύστημ ν προγρμμτίζει τις εργσίες σύμφων με την ση του. Με άλλ λόγι η προσέγγιση τρόπο που ν μην μετφέροντι τ δεδομέν προς επεξεργσί λλά η επεξεργσί ν της εισόδου. Το ενδιάμεσο ποτέλεσμ του τιμής που Reduce Αρχικά κάθε σύνολο των ενδιάμεσων ποτελεσμάτων τξινομούντι με βάση το κλειδί κάθε εγγρφής κι ομδοποιούντι οι την μορφή (κλειδί ιμών) Στην συνέχει κολουθεί η ντιγρφή των ποτελεσμάτων όπου κάθε Θεωρώντς Ν κόμβους στο υτούς κτκερμτισμού στο κλειδί του ζεύγους. με τη σχέση,δηλδή διφορετικά μηχνήμτ. Γι. Δηλδή γι ( συγχωνεύοντι εκτελείτι η διδοχικά η λίστ που έχει κτλήξει στον κόμβο. Τυπικά το πλίσιο Reduce κι το σύστημ ρχείων HDFS λειτουργούν στο ίδιο σύνολο κόμβων. Αυτή η υλοποίηση επιτρέπει το σύστημ ν προγρμμτίζει τις εργσίες σύμφων με την ση του. Με άλλ λόγι η προσέγγιση τρόπο που ν μην μετφέροντι τ δεδομέν προς επεξεργσί λλά η επεξεργσί ν της εισόδου. Το ενδιάμεσο ποτέλεσμ του τιμής που Reduce Αρχικά κάθε σύνολο των ενδιάμεσων ποτελεσμάτων τξινομούντι με βάση το κλειδί κάθε εγγρφής κι ομδοποιούντι οι την μορφή (κλειδί ιμών) Στην συνέχει κολουθεί η ντιγρφή των ποτελεσμάτων όπου κάθε Θεωρώντς Ν κόμβους στο υτούς κτκερμτισμού στο κλειδί του ζεύγους.,δηλδή διφορετικά μηχνήμτ. Γι. Δηλδή γι (key συγχωνεύοντι εκτελείτι η διδοχικά η λίστ που έχει κτλήξει στον κόμβο. Τυπικά το πλίσιο Reduce κι το σύστημ ρχείων HDFS λειτουργούν στο ίδιο σύνολο κόμβων. Αυτή η υλοποίηση επιτρέπει το σύστημ ν προγρμμτίζει τις εργσίες σύμφων με την ση του. Με άλλ λόγι η προσέγγιση τρόπο που ν μην μετφέροντι τ δεδομέν προς επεξεργσί λλά η επεξεργσί ν της εισόδου. Το ενδιάμεσο ποτέλεσμ του τιμής που Reduce Αρχικά κάθε σύνολο των ενδιάμεσων ποτελεσμάτων τξινομούντι με βάση το κλειδί κάθε εγγρφής κι ομδοποιούντι οι την μορφή (κλειδί ιμών) Στην συνέχει κολουθεί η ντιγρφή των ποτελεσμάτων όπου κάθε Θεωρώντς Ν κόμβους στο υτούς κτκερμτισμού στο κλειδί του ζεύγους.,δηλδή διφορετικά μηχνήμτ. Γι key συγχωνεύοντι εκτελείτι η διδοχικά η λίστ που έχει κτλήξει στον κόμβο. Τυπικά το πλίσιο Reduce κι το σύστημ ρχείων HDFS λειτουργούν στο ίδιο σύνολο κόμβων. Αυτή η υλοποίηση επιτρέπει το σύστημ ν προγρμμτίζει τις εργσίες σύμφων με την ση του. Με άλλ λόγι η προσέγγιση τρόπο που ν μην μετφέροντι τ δεδομέν προς επεξεργσί λλά η επεξεργσί ν της εισόδου. Το ενδιάμεσο ποτέλεσμ του τιμής που Reduce Αρχικά κάθε σύνολο των ενδιάμεσων ποτελεσμάτων τξινομούντι με βάση το κλειδί κάθε εγγρφής κι ομδοποιούντι οι την μορφή (κλειδί ιμών) Στην συνέχει κολουθεί η ντιγρφή των ποτελεσμάτων όπου κάθε Θεωρώντς Ν κόμβους στο υτούς κτκερμτισμού στο κλειδί του ζεύγους.,δηλδή διφορετικά μηχνήμτ. Γι key συγχωνεύοντι εκτελείτι η διδοχικά η λίστ που έχει κτλήξει στον κόμβο. Στο Τυπικά το πλίσιο Reduce κι το σύστημ ρχείων HDFS λειτουργούν στο ίδιο σύνολο κόμβων. Αυτή η υλοποίηση επιτρέπει το σύστημ ν προγρμμτίζει τις εργσίες σύμφων με την ση του. Με άλλ λόγι η προσέγγιση τρόπο που ν μην μετφέροντι τ δεδομέν προς επεξεργσί λλά η επεξεργσί ν της εισόδου. Το ενδιάμεσο ποτέλεσμ του τιμής που Reduce Αρχικά κάθε σύνολο των ενδιάμεσων ποτελεσμάτων τξινομούντι με βάση το κλειδί κάθε εγγρφής κι ομδοποιούντι οι την μορφή (κλειδί ιμών) Στην συνέχει κολουθεί η ντιγρφή των ποτελεσμάτων όπου κάθε Θεωρώντς Ν κόμβους στο υτούς κτκερμτισμού στο κλειδί του ζεύγους.,δηλδή διφορετικά μηχνήμτ. Γι key1, συγχωνεύοντι εκτελείτι η διδοχικά η Στο Τυπικά το πλίσιο Reduce κι το σύστημ ρχείων HDFS λειτουργούν στο ίδιο σύνολο κόμβων. Αυτή η υλοποίηση επιτρέπει το σύστημ ν προγρμμτίζει τις εργσίες σύμφων με την ση του. Με άλλ λόγι η προσέγγιση τρόπο που ν μην μετφέροντι τ δεδομέν προς επεξεργσί λλά η επεξεργσί ν της εισόδου. Το ενδιάμεσο ποτέλεσμ του τιμής που Reduce Αρχικά κάθε σύνολο των ενδιάμεσων ποτελεσμάτων τξινομούντι με βάση το κλειδί κάθε εγγρφής κι ομδοποιούντι οι την μορφή (κλειδί ιμών) Στην συνέχει κολουθεί η ντιγρφή των ποτελεσμάτων όπου κάθε Θεωρώντς Ν κόμβους στο υτούς κτκερμτισμού στο κλειδί του ζεύγους.,δηλδή διφορετικά μηχνήμτ. Γι 1, συγχωνεύοντι εκτελείτι η διδοχικά η Στο Τυπικά το πλίσιο Reduce κι το σύστημ ρχείων HDFS λειτουργούν στο ίδιο σύνολο κόμβων. Αυτή η υλοποίηση επιτρέπει το σύστημ ν προγρμμτίζει τις εργσίες σύμφων με την ση του. Με άλλ λόγι η προσέγγιση τρόπο που ν μην μετφέροντι τ δεδομέν προς επεξεργσί λλά η επεξεργσί ν της εισόδου. Το ενδιάμεσο ποτέλεσμ του τιμής που Reduce, Αρχικά κάθε σύνολο των ενδιάμεσων ποτελεσμάτων τξινομούντι με βάση το κλειδί κάθε εγγρφής κι ομδοποιούντι οι ιμών) Στην συνέχει κολουθεί η ντιγρφή των ποτελεσμάτων όπου κάθε Θεωρώντς Ν κόμβους στο υτούς κτκερμτισμού στο κλειδί του ζεύγους.,δηλδή διφορετικά μηχνήμτ. Γι 1, συγχωνεύοντι εκτελείτι η διδοχικά η Στο Τυπικά το πλίσιο Reduce κι το σύστημ ρχείων HDFS λειτουργούν στο ίδιο σύνολο κόμβων. Αυτή η υλοποίηση επιτρέπει το σύστημ ν προγρμμτίζει τις εργσίες σύμφων με την ση του. Με άλλ λόγι η προσέγγιση τρόπο που ν μην μετφέροντι τ δεδομέν προς επεξεργσί λλά η επεξεργσί ν της εισόδου. Το ενδιάμεσο ποτέλεσμ του τιμής που, Αρχικά κάθε σύνολο των ενδιάμεσων ποτελεσμάτων τξινομούντι με βάση το κλειδί κάθε εγγρφής κι ομδοποιούντι οι ιμών) Στην συνέχει κολουθεί η ντιγρφή των ποτελεσμάτων όπου κάθε Θεωρώντς Ν κόμβους στο υτούς κτκερμτισμού στο κλειδί του ζεύγους.,δηλδή διφορετικά μηχνήμτ. Γι 1, εκτελείτι η διδοχικά η Στο Τυπικά το πλίσιο Reduce κι το σύστημ ρχείων HDFS λειτουργούν στο ίδιο σύνολο κόμβων. Αυτή η υλοποίηση επιτρέπει το σύστημ ν προγρμμτίζει τις εργσίες σύμφων με την ση του. Με άλλ λόγι η προσέγγιση τρόπο που ν μην μετφέροντι τ δεδομέν προς επεξεργσί λλά η επεξεργσί ν

57 57 Το framework ποτελείτι πό έν μόνο κύριο κόμβο (master) που ονομάζετι JobTracker, κι πολλούς slave, συνήθως ένν νά κόμβο, που ονομάζοντι TaskTrackers. O JobTracker είνι υπεύθυνος γι τον προγρμμτισμό των εργσιών στους slave κόμβους, στην πρκολούθηση της εκτέλεσης τους, κι στην επνεκτέλεση των ποτυχημένων εργσιών. Οι TaskTrackers εκτελούν τις εργσίες σύμφων με τις οδηγίες του master. Στο Σχήμ 31 προυσιάζετι έν τυπικό πράδειγμ του μοντέλου Map/Reduce. Το πρόβλημ είνι η κτμέτρηση των λέξεων σε έν ή περισσότερ έγγρφ. Το πρώτο βήμ είνι η διίρεση της εισόδου σε μικρότερ τμήμτ. Ο τρόπος που γίνετι η διίρεση υτή έχει μεγάλο βθμό ευελιξίς κι ορίζετι πό τον προγρμμτιστή. Έτσι γι πράδειγμ έν πολύ μεγάλο έγγρφο μπορεί ν χωρίζετι σε μικρότερ κομμάτι ή στην περίπτωση πολλών εγγράφων ν έχουμε έν έγγρφο νά τμήμ. Κάθε τμήμ που προκύπτει επεξεργάζετι πό μι map διεργσί. Στην συγκεκριμένη περίπτωση κτά το map βήμ η είσοδος χωρίζετι σε λέξεις (tokenization) κι στην έξοδο προκύπτουν ζευγάρι της μορφής (λέξη, 1). Κτά την διάρκει του shuffling, τ ζευγάρι με την ίδι λέξη συγκεντρώνοντι κι στέλνοντι σν είσοδος στην ίδι διεργσί reduce. Δηλδή η είσοδος κτά το βήμ reduce είνι της μορφής ( λέξη, [1, 1, 1, ] ). Στο βήμ reduce πλά θροίζοντι οι άσσοι της λίστς κι προκύπτει σν έξοδος η λέξη κι ο συνολικός ριθμός εμφάνισης της. Σχήμ 31: Πράδειγμ εφρμογής του μοντέλου map/reduce O Crawler του Apache Nutch Το Nutch συνολικά ποτελείτι πό τ υποσυστήμτ που εμφνίζοντι στο Σχήμ 32. Τ σημντικότερ τμήμτ της διδικσίς crawling είνι τ εξής τέσσερ: CrawlDb, LinkDb, Fetcher κι Parser. Το υποσύστημ CrawlDb ποτελεί τμήμ του crawler κι ποθηκεύει την τρέχουσ κτάστση πό κάθε URL. Η ποθήκευση γίνετι στο HDFS με τη μορφή <url, CrawlDatum> κι περιλμβάνει πληροφορίες γι τον ν το URL έχει προσκομιστεί, τον χρόνο, προσκόμισης, την επιτυχί της προσκόμισης κτλ. Αρχικά στο CrawlDb εισάγοντι τ seed URLs. Στη συνέχει κτά τη διάρκει του crawling τ

58 58 περιεχόμεν του ννεώνοντι σύμφων με τ ποτελέσμτ της προσκόμισης κι του parsing. Το υποσύστημ LinkDb κρτά πληροφορίες γι τους συνδέσμους που δείχνουν σε μι σελίδ με τη μορφή <url, Inlinks>. Αυτή η πληροφορί χρησιμοποιείτι γι τον υπολογισμό ενός scoreγι κάθε urlμε βάση κάποιο γνωστό όπως ο PageRank. Ο Fetcher προσκομίζει το περιεχόμενο γι κάθε URL, ενώ ο Parser νλύει το περιεχόμενο κι εξάγει τις πληροφορίες του. Ο Parser όπως κι άλλ υποσυστήμτ του Nutch χρησιμοποιούν την ρχιτεκτονική των επεκτάσεων (plugins). Γι πράδειγμ στην περίπτωση του Parser ορίζετι έν interface κι η λειτουργί του επεκτείνετι με τη μορφή κλάσεων που υλοποιούν υτό το interface γι διφορετικά είδη ρχείων. Κτά την λειτουργί του συστήμτος εντοπίζετι ο τύπος ρχείου κι χρησιμοποιείτι η ντίστοιχη υλοποίηση. Αυτό το χρκτηριστικό ήτν σημντικό γι την επιλογή του Nutch, στο σύστημ της διπλωμτικής, κθώς πλοποίησε την εισγωγή κώδικ στην πρωτότυπη έκδοση του Nutch. Όλ υτά τ υποσυστήμτ βσίζουν την λειτουργί τους στο μοντέλο map/reduce η οποί θ προυσιστεί στη συνέχει. Σχήμ 32: Τ υποσυστήμτ του Nutch. Το Σχήμ 33 δείχνει με λεπτομέρειες την λειτουργί του crawling. Το κεντρικό κομμάτι της διδικσίς είνι το τμήμ που ονομάζετι segments. Το τμήμ υτό δεν είνι τίποτ πρπάνω πό ένς κτάλογος στο σύστημ ρχείων HDFS. Τ βήμτ του crawling σε κάθε επνάληψη του βρόγχου είνι τ εξής:

59 59 1. Πργωγή λιστών προς προσκόμιση πό τ urlsπου περιέχοντι στο CrawlDbμέσω της map/reduceεργσίς που ονομάζετι Generator. Οι λίστες ποθηκεύοντι στον υποκτάλογο segments/crawl_generate. 2. Οι Fetchersπροσκομίζουν τ URLsτης λίστς. Το περιεχόμενο ποθηκεύετι στον υποκτάλογο segments/content, ενώ η κτάστση της προσκόμισης (π.χ.successή FAIL)γι κάθε URLστον κτάλογο segments/crawl_fetch. 3. Το περιεχόμενο στη συνέχει επεξεργάζετι πό το τμήμ ParseSegment το οποίο κλεί τον νάλογο Parserγι κάθε έγγρφο. Το βήμ υτό πράγει τους κτλόγους segments/crawl_parse, segments/parse_dataκι segments/parse_text. Ο πρώτος υποκτάλογος περιέχει πληροφορίες γι την επιτυχί του parsing, κθώς κι τ νέ URLsπου εξήχθησν. Ο υποκτάλογος segments/parse_data περιέχει μετδεδομέν γι τις σελίδες, ενώ ο segments/parse_textτο περιεχόμενο με τη μορφή πλού κείμενου ώστε ν χρησιμοποιηθεί γι το indexing. 4. Τ δεδομέν πό τους υποκτλόγους segments/crawl_parse κι segments/crawl_fetchχρησιμοποιούντι γι την ενημέρωση των δεδομένων του CrawlDb. Σχήμ 33: Η λειτουργί των τμημάτων του Nutch που φορούν στο crawling. Γι ν γίνει ντιληπτό πως εντάσσετι η διδικσί του crawling στο μοντέλο map/reduce θ γίνει μι σύντομη προυσίση της πργωγής των λιστών προσκόμισης (fetchlists) κι της προσκόμισης ιστοσελίδων πό τους Fetchers. Η διδικσί δημιουργίς των fetchlists πράγει λίστες με URLs κτνεμημένες στο HDFS κι γίνετι με βάση τ εξής κριτήρι: 1. Όλ τ URLs πό τον ίδιο host πρέπει ν κτλήγουν στο ίδιο partition ώστε ν πρλμβάνοντι πό έν μηχάνημ. Αυτό πιτείτι ώστε το Nutch ν υλοποιεί έλεγχο του ρυθμού ιτήσεων στο επίπεδο της διεργσίς ώστε ν μην υπερφορτώνει τους στόχους. 2. Τ URLs πό τον ίδιο host πρέπει ν είνι κλά νμεμιγμέν με URLs πό άλλους hosts ώστε ν μην γίνοντι πολλπλές συνεχόμενες ιτήσεις σε έν μόνο host.

60 60 3. Δεν πρέπει ν υπάρχουν περισσότερ πό x URLs πό οποιοδήποτε host ώστε τ μεγάλ ν μην κυριρχούν στ μικρότερ. 4. Τ URLsμε υψηλό scoreπροτιμώντι ένντι υτών με μικρότερο. 5. Πρέπει ν υπάρχουν το πολύ y URLsσε μι fetchlist. 6. O ριθμός των partitions εξόδου πρέπει ν τιριάζει με τον ριθμό των Fetchers που εκτελούντι. Γι την εκπλήρωση υτών των περιορισμών η διδικσί γίνετι σε δύο διδοχικά βήμτ (Σχήμ 34) όπου κάθε βήμ ποτελεί μι εργσί Map/Reduce. Σχήμ 34: Η διδικσί δημιουργίς λιστών προσκόμισης. Βήμ 1: Επιλογή, τξινόμηση με βάση το score, περιορισμός νά host. Η είσοδος προέρχετι πό το υποσύστημ CrawlDb, κι είνι της μορφής <url, CrawlDatum>. Η φάση map φιλτράρει τ δεδομέν εισόδου νάλογ με την κτάστση τους (π.χ. υτά που έχουν προσκομιστεί πρόσφτ), πράγει έν score γι τ υπόλοιπ κι τ τξινομεί σύμφων με υτό. Η φάση reduce κρτά το πολύ x πό κάθε host κι το πολύ y συνολικά. Έτσι ικνοποιούντι τ κριτήρι 3,4 κι5. Η έξοδος είνι της μορφής <score, <url, CrawlDatum>>. Step 2: Αντιστροφή, κτάτμηση, τυχί τξινόμηση. Η φάση map της δεύτερης εργσίς map/reduce πλά πίρνει τ δεδομέν εξόδου<score, <url, CrawlDatum>>πορρίπτει το score κι δημιουργεί τ ζεύγη <url, CrawlDatum>. Η κτάτμηση πργμτοποιείτι χρησιμοποιώντς μι συνάρτηση κτκερμτισμού όχι σε όλο το κλειδί που στην προκειμένη περίπτωση είνι το URLλλά στο host του URL. Έτσι ικνοποιούντι τ κριτήρι 1, κι 6. Γι το κριτήριο 2, πλά η φάση reduce, πλά τξινομεί τ δεδομέν χρησιμοποιώντς έν comparatorσυγκρίνει τ δεδομέν με βάση μι συνάρτηση κτκερμτισμού στο κλειδί. Η διδικσί προσκόμισης των ιστοσελίδων είνι κι υτή μι εργσί Map/Reduce ή οποί ωστόσο περιλμβάνει μόνο τη φάση map. Η είσοδος της είνι η fetchlist που έχει ήδη πρχθεί. Όπως έχει ήδη ειπωθεί η λίστ υτή είνι κτνεμημένη κι κάθε

61 61 μηχάνημ έχει έν τμήμ της. Αυτό το τμήμ νλμβάνει ν προσκομίσει κάθε διεργσί map. Η προσέγγιση που κολουθείτι είνι λίγο διφορετική λόγω της έντονης φύσης Ι/Οτης διδικσίς. Αντί η διεργσί map ν διτρέξει διδοχικά τ στοιχεί της εισόδου κι ν εκτελέσει τη συνάρτηση map κι κάθε έν πό υτά κολουθεί το μοντέλο πργωγού-κτνλωτή. Η διεργσί map δημιουργεί έν σύνολο πό ουρές με URL, έν thread που ονομάζετι QueueFeeder κι πολλπλά threads που ονομάζοντι FetcherThreads. Το QueueFeeder κτά διστήμτ τροφοδοτεί τις ουρές με URL της εισόδου κι τ FetcherThreads κτνλώνουν URL πό τις ουρές κι προσκομίζουν το περιεχόμενο τους. 4.3 Το υποσύστημ εξγωγής των δεδομένων Οι διάφορες υλοποιήσεις του Parser που υπάρχουν στο Nutch εκτελούν την πλή διδικσί της εξγωγής των συνδέσμων μις σελίδς. Γι της νάγκες ενός θεμτικού crawler ο οποίος εξάγει δεδομέν πό κοινωνικά μέσ νπτύχθηκν δύο πρόσθετες υλοποιήσεις του Nutch Parser. O HtmlParser, που ντικθιστά την υπάρχουσ υλοποίηση γι HTML ρχεί, κι ο FoafParser γι RDF ρχεί. Ανάλογ με την σελίδ που έχει προσκομιστεί ο crawler νγνωρίζει τον τύπο του εγγράφου κι χρησιμοποιεί τον ντίστοιχο Parser. Εσωτερικά κάθε Parser το νάλογο υποσύστημ εξγωγής. Τ υποσυστήμτ εξγωγής είνι τ εξής τρί: 1. Ο FoafExtractor ο οποίος εξάγει δεδομέν πό ρχεί FOAF. 2. Ο MicroformatExtractor, ο οποίος εξάγει τ microformats hcard κι XFN, ν υτά υπάρχουν, πό μι html σελίδ. 3. O Html Extractor, που νλύει τον κώδικ HTML κι με ευριστικούς κνόνες επιχειρεί την εξγωγή χρηστών κι επφών. Επίσης έγινε κι υλοποίηση ενός κόμ υποσυστήμτος εξγωγής. Πρόκειτι γι τον MeLinksExtractor, ο οποίος χρησιμοποιείτι σε συνδυσμό με τον HtmlExtractor ότν δεν υπάρχουν microformats κι επιχειρεί ν εντοπίσει ποιοι σύνδεσμοι μις σελίδς ενός χρήστη φορούν στον ίδιο χρήστη. Η υλοποίηση έγινε επίσης με ευριστικούς κνόνες κι λεξικογρφική σύγκριση μετξύ των URLs. Το Σχήμ 35 προυσιάζει τη συνολική ρχιτεκτονική του συστήμτος εξγωγής.

62 62 Σχήμ 35: Η ρχιτεκτονική του υποσυστήμτος εξγωγής των δεδομένων Εξγωγή πό ρχεί FOAF Στην περίπτωση ρχείων FOAF o FoafExtractor χρησιμοποιεί τις βιβλιοθήκες Sesame κι Elmo γι την επεξεργσί RDF δεδομένων. Με πλά ερωτήμτ μπορούμε πολύ εύκολ ν εξάγουμε χρήστες κι σχέσεις μετξύ χρηστών πό το ρχείο FOAF. Το Σχήμ 36. περιέχει έν πλό ερώτημ γι την εξγωγή του ονόμτος κι της ηλικίς γι κάθε πρόσωπο σε έν ρχείο FOAF. Ωστόσο ο FoafExtractor χρησιμοποιεί τη βιβλιοθήκη Elmo κι η επεξεργσί γίνετι στο επίπεδο της οντολογίς FOAF (Σχήμ 36.β). SELECT name, age FROM {person} rdf:type {vcard:vcard}, { person } foaf:name { name }, { person } foaf:age { age } USING NAMESPACE foaf = < ElmoModule module = new ElmoModule(); SesameManagerFactory factory = new SesameManagerFactory(module); SesameManager manager = factory.createelmomanager(); Irerable<Person> persons = manager.findall(person.class); () (β) Σχήμ 36: () Σύντξη ερωτήμτος γι την εξγωγή κάποιων προσωπικών δεδομένων. (β) Χρήση της βιβλιοθήκης Elmo γι την εξγωγή τόμων πό FOAF.

63 63 Σχήμ 37: Η διδικσί εξγωγής με τον FoafExtractor Εξγωγή των microformats πό HTML Στην περίπτωση που η HTML σελίδ περιέχει microformats είνι πρίτητη η εξγωγή τους σε κάποι δομημένη μορφή ώστε ν επεξεργστούν περιτέρω. Γι το σκοπό υτό υπάρχουν πολλές βιβλιοθήκες κι προγράμμτ. Μι τέτοι βιβλιοθήκη είνι η Any23 η οποί μεττρέπει δεδομέν με την μορφή των microformats σε δεδομέν RDF. Μετά την μεττροπή τ πργόμεν RDF δεδομέν επεξεργάζοντι με τη βοήθει του sesame κι πλών ερωτημάτων στη γλώσσ ερωτημάτων SERQL. Η διδικσί λειτουργίς του MicroformatExtractor προυσιάζετι στο Σχήμ 38. Σχήμ 38: Η διδικσί εξγωγής κι επεξεργσίς των microformats με τον MicroformatExtractor. Στο Σχήμ 39 προυσιάζετι έν πράδειγμ εξγωγής πό τον ιστότοπο twitter. Στη σελίδ του χρήστη «blejman» υπάρχει το τμήμ του HTMLκώδικ που προυσιάζετι στο Σχήμ 39.. Ο κώδικς περιέχει τ microformats hcard κι XFN που ορίζουν πληροφορίες γι τον χρήστη «juansbruera» κι την σχέση του με τον χρήστη «blejman». Το ποτέλεσμ της χρήσης της βιβλιοθήκης Any23 φίνετι στο Σχήμ 39.β όπου τ microformats έχουν μεττρπεί σε Turtle RDF. Αν εκτελεστεί το ερώτημ που προυσιάζετι στο Σχήμ 39.γ στ ντίστοιχ δεδομέν (Σχήμ 39.β), πίρνουμε ως ποτέλεσμ τις πληροφορίες γι τον χρήστη «juansbruera» με βάση το microformat hcard. Αντίστοιχ με το ερώτημ που προυσιάζετι στο Σχήμ 39.δ πίρνουμε τ

64 64 ζεύγη(link1, link2) που ντιπροσωπεύουν κάποιου τύπου κοινωνική σχέση σύμφων με το XFN κθώς κι τον τύπο υτής της σχέσης. Μι σημντική σχέση είνι η XFN:me η οποί συνδέει URLs που φορούν στον ίδιο χρήστη. Αυτή η πληροφορί είνι πολύ σημντική φού τ προφίλ των χρηστών εκτείνοντι σε περισσότερες πό μι σελίδες κι πολλοί χρήστες διτηρούν προφίλ σε περισσότερους πό ένν ιστότοπους. <span class="vcard"> <a href="/juansbruera" class="url" rel="contact" title="juan Sebas Bruera"> <img alt="juan Sebas Bruera" class="photo fn" src=" /> </a> </span> () _:node721c2e1db76f61f1f4ee2781beccd617 a vcard:vcard ; vcard:fn "Juan Sebas Bruera" ; vcard:url < ; vcard:photo < ; vcard:n _:node16dc00gsrx31. _:node16dc00gsrx31 a vcard:name ; vcard:given-name "Juan" ; vcard:family-name "Bruera". < xfn:contact-hyperlink < (β) SELECT name, given-name, family, nick, url, FROM {person} rdf:type {vcard:vcard}, {person} vcard:fn {name}, [{person} vcard:n {bnode}], [{bnode} vcard:family-name {family}], [{bnode} vcard:given-name {given-name}], [{bnode} vcard:nickname {nick}], [{person} vcard:url {url}], [{person} vcard: { }] USING NAMESPACE rdf=< vcard=< (γ) SELECT DISTINCT link1, link2, type FROM {link1} type {link2} WHERE namespace(type)=xfn: AND isuri(link1) AND isuri(link2) USING NAMESPACE xfn = < (δ) Σχήμ 39: Πράδειγμ εξγωγής πληροφορίς με χρήση των microformats. () HTML με microformats (β) Αποτέλεσμ της Any23 (γ) Σύντξη Ερωτήμτος γι νζήτηση χρηστών (δ) Σύντξη Ερωτήμτος γι νζήτηση σχέσεων

65 Εξγωγή με την μέθοδο DEPTA Στην περίπτωση πλής HTML, πρέπει ν εξάγουμε τ επιθυμητά δεδομέν με τη χρήση κάποιου wrapperόπως υτοί που προυσιάστηκν στην πράγρφο Στο σύστημ που νπτύχθηκε έγινε η επιλογή της μεθόδου DEPTA 0, 0. Ο στόχος της μεθόδου DEPTA είνι η εξγωγή δεδομένων πό HTML σελίδες με τη μορφή πινάκων. Οι πίνκες υτοί χρειάζοντι μι μορφή ερμηνείς οπότε στ πλίσι της προύσς διπλωμτικής η μέθοδος επεκτείνετι με έν σύνολο ευριστικών κνόνων που στόχο έχουν την εξγωγή μόνο των δεδομένων που φορούν σε κοινωνικά δίκτυ. Η διδικσί χρησιμοποιεί την νπράστση μις σελίδς ως δένδρο DOM κι βσίζετι στις εξής δύο πρδοχές: 1. Τ δεδομέν μις σελίδς κτλμβάνουν μι συνεχόμενη περιοχή της, που ονομάζετι περιοχή δεδομένων (data region) κι δομούντι με πρόμοιες HTML ετικέτες, συνεπώς με πρόμοι υποδένδρ. 2. Πρόμοι δεδομέν σχημτίζοντι πό κάποι υποδένδρ του δένδρου DOM, με κοινό πτέρ κόμβο. Στο Σχήμ 40 φίνετι έν τμήμ ενός δένδρου DOM με δύο εγγρφές δεδομένων. Τόσο η εγγρφή 1 όσο κι η εγγρφή 2 δομούντι με όμοι υποδένδρ κι έχουν κοινό πτέρ τον κόμβο TBODY. Σχήμ 40: Πράδειγμ ενός δένδρου DOM μις περιοχής δεδομένων [26]. Η συνολική λειτουργί του συστήμτος DEPTA προυσιάζετι στο Σχήμ 41. Αποτελείτι πό κόλουθ τέσσερ υποσυστήμτ. 1. DOM Tree Builder: Κτσκευάζει το ντίστοιχο DOM δένδρο πό την HTML. Στο συγκεκριμένο σύστημ χρησιμοποιείτι η βιβλιοθήκη MSHTML η οποί κάνει rendering την HTML κι στη συνέχει χρησιμοποιείτι η οπτική πληροφορί που προκύπτει γι την κτσκευή του δένδρου DOM. Ωστόσο μπορεί ν χρησιμοποιηθεί οποιοσδήποτε DOM Parser.

66 66 2. Data Region Identifier: Το υποσύστημ υτό χρησιμοποιεί το πργόμενο δένδρο DOM κι νγνωρίζει κάθε περιοχή της σελίδς που περιέχει πρόμοι δεδομέν. Αυτό γίνετι πργμτοποιώντς προθεμτική διάσχιση της σελίδς κι εντοπίζοντς κόμβους γι τους οποίους τ ντίστοιχ υποδένδρ πέχουν μετξύ τους λιγότερο πό έν προκθορισμένο κτώφλι. 3. Data Record Identifier: Σε κάθε περιοχή της σελίδς που εντοπίστηκε προηγουμένως, το υποσύστημ υτό εντοπίζει κάθε εγγρφή δεδομένων. Η έξοδος είνι μι λίστ εγγρφών γι κάθε εντοπισμένη περιοχή. 4. Data Items Extractor: Εξάγει τ δεδομέν κάθε περιοχής με χρήση της προτεινόμενης μεθόδου «Partial Tree Alignment». Το ποτέλεσμ είνι ένς πίνκς δεδομένων γι κάθε μι πό τις περιοχές της σελίδς. Σχήμ 41: Η συνολική λειτουργί του συστήμτος DEPTA [26]. Τ τρί πρώτ υποσυστήμτ ποτελούν το πρώτο βήμ της μεθόδου κι έχουν σκοπό τον εντοπισμό περιοχών δεδομένων σε μι σελίδ. Αποτελούν μι βελτιωμένη εκδοχή του λγορίθμου MDR (Mining Data Regions) που προυσιάστηκε πό τους ίδιους συγγρφείς στο 0. Η λειτουργί του λγορίθμου MDR βσίζετι στις πρδοχές που έγινν πρπάνω κθώς κι σε έν λγόριθμο υπολογισμού της πόστσης μετξύ δένδρων.

67 67 Η πόστση μετξύ δύο δένδρων T 1 κι T 2 (Σχήμ 13) θεωρείτι το κόστος γι την μεττροπή ή ντιστοίχηση του T 1 στο T 2, μέσω μις σειράς στοιχειωδών πράξεων. Οι στοιχειώδεις πράξεις είνι συνήθως η λλγή της ετικέτς ενός κόμβου (ντικτάστση) κθώς κι η διγρφή ή η εισγωγή ενός κόμβου. Έν προκθορισμένο κόστος ντίθετι σε κάθε στοιχειώδη πράξη κι η πόστση μετξύ των δένδρων θεωρείτι το συνολικό κόστος όλων των πράξεων. Πιο τυπικά η ντιστοίχηση δυο δένδρων ορίζετι ως εξής: Αν Τ είνι έν δένδρο με n κόμβους, με T[i] δηλώνουμε τον i κόμβο κτά την προθεμτική διάσχιση του T. H τριάδ (Μ, Τ 1, Τ 2 ) είνι μι ντιστοίχηση Μ του Τ 1 στο Τ 2, όπου Μ είνι έν σύνολο ζευγών κερίων (i,j)που ικνοποιούν τ κριτήρι: Ο υπολογισμός μις βέλτιστης ντιστοίχησης Μ (Σχήμ 42) έχει μεγάλη πολυπλοκότητ. Συνήθεις υλοποιήσεις έχουν πολυπλοκότητ Ο(n 1 n 2 h 1 h 2 ) με n τον ριθμό των κόμβων κι h το ύψος του δένδρου. Ν σημειωθεί ότι γι μη διτετγμέν δένδρ το πρόβλημ είνι NP-complete. Γι το λόγω υτό έχουν προτθεί στη βιβλιογρφί περιορισμένες εκδοχές της πόστσης μετξύ δένδρων. Δυο προσεγγίσεις είνι η πό πάνω προς τ κάτω πόστση (Top-Down Distance) κι η πό κάτω προς τ πάνω πόστση (Bottom- Up Distance). Στην περίπτωση της προσέγγισης πό πάνω προς τ κάτω υπάρχει ο εξής περιορισμός: Σε μι ντιστοίχηση Μ του T 1 στο Τ 2, γι κάθε (i, j ) γι τ οποί Τ 1 [i] κι Τ 2 [j] δεν είνι ρίζες, ν Μ τότε Μ. Σχήμ 42: Βέλτιστη ντιστοίχηση δένδρων. Το σύστημ χρησιμοποιεί την προσέγγιση πό πάνω προς τ κάτω κι επιπλέον δεν επιτρέπει την ντικτάστση κόμβων ή την πράλειψη επιπέδων. Ο υπολογισμός μις ντιστοίχησης μετξύ των δένδρων γίνετι πό τον λγόριθμο Simple Tree Matching (STM) που προυσιάζετι στο Σχήμ 43. Αν κι είνι τ δύο δένδρ με r 1, r 2 τις ρίζες κι τ πιδιά της κάθε

68 68 ρίζς τότε η μέγιστη ντιστοίχηση μετξύ των Τ 1 κι Τ 2 ν οι ρίζες r 1 κι r 2 είνι (Μ Τ Τ ) με Μ Τ Τ την μέγιστη ντιστοίχηση μετξύ των υποδένδρων κι. Πρόκειτι δηλδή γι ένν νδρομικό λγόριθμο δυνμικού προγρμμτισμού. Μετά τον υπολογισμό της ντιστοίχησης Μ η ομοιότητ κι η πόστση υπολογίζοντι πό τις σχέσεις: Σχήμ 43: Ο λγόριθμος υπολογισμού της πόστσης μετξύ των δένδρων Τ1 κι Τ2. Γι τον εντοπισμό περιοχών δεδομένων σε μι σελίδ η μέθοδος εισάγει την έννοι του γενικευμένου κόμβου (generalized node).ένς γενικευμένος κόμβος μήκους Κ είνι έν σύνολο Κ κόμβων που έχουν κοινό πτέρ κι είνι γειτονικοί. Ο λόγος που χρησιμοποιούντι οι γενικευμένοι κόμβοι είνι το γεγονός ότι μι εγγρφή μπορεί ν ποτελείτι πό περισσότερους πό ένν κόμβο όπως φίνετι κι στο Σχήμ 44. Ενώ η περιοχές 1 κι 2 ποτελούντι πό εγγρφές που ξεκινούν πό έν κόμβο η κάθε μί, η περιοχή 3 ποτελείτι πό τρείς εγγρφές όπου κάθε εγγρφή ποτελείτι πό δυο συνεχόμενους κόμβους. Με άλλ λόγι η περιοχή 3 ποτελείτι πό τρείς γενικευμένους κόμβους G 1 =(14,15), G 2 =(16,17) κι G 3 =(18,19) με μήκος 2. Στο Σχήμ 45

69 69 προυσιάζετι έν πράδειγμ εντοπισμένων περιοχών σε μι σελίδ του ιστότοπου YouTube. Σχήμ 44: Έν πράδειγμ περιοχών δεδομένων κι γενικευμένων κόμβων [26]. Σχήμ 45: Εντοπισμένες περιοχές δεδομένων στο YouTube.

70 70 () (β) Σχήμ 46: () Ο λγόριθμος MDR (β) Η διδικσί CombComb. Ο λγόριθμος MDR δισχίζει το δένδρο με προτεριότητ βάθους (depth-first) κι σε κάθε κόμβο κλεί την διδικσί CombComb η οποί υπολογίζει την πόστση μετξύ διφορετικών συνδυσμών των πιδιών του κόμβου. Κάθε συνδυσμός ποτελεί ουσιστικά έν γενικευμένο κόμβο. Γι πράδειγμ γι το δένδρο στο Σχήμ 47, η διδικσί CombComb(p.Children, K) γι Κ=3 θ δημιουργήσει κι θ υπολογίσει την πόστση των εξής συνδυσμών: (1,2), (2,3), (3,4), (4,5), (5,6), (6,7), (7,8), (8,9), (9,10) (<1,2>,<3,4>), (<2,3>,<4,5>), (<3,4>,<5,6>), (<4,5>,<6,7>), (<5,6>,<7,8>), (<6,7>,<8,9>), (<7,8>,<9,10>) (<1,2,3>,<4,5,6>), (<2,3,4>,<5,6,7>), (<3,4,5>,<6,7,8>), (<4,5,6>,<7,8,9>), (<5,6,7>,<8,9,10>) Μετά την εκτέλεση του λγορίθμου MDR κάθε κόμβος του δένδρου περιέχει πληροφορίες γι την πόστση μετξύ διφορετικών συνδυσμών των πιδιών του. Αυτή η πληροφορί χρησιμοποιείτι στον λγόριθμο FindDRs (Σχήμ 48.)ο οποίος βρίσκει όλες τις περιοχές μις σελίδς που περιέχουν δεδομέν. Ο λγόριθμος υτός δισχίζει το δένδρο με προτεριότητ βάθους όπως κι ο MDR. Σε κάθε κόμβο εκτελεί δύο ενέργειες. Ότν κτεβίνει κλεί την διδικσί IdentDRs (Σχήμ 48.β) η οποί

71 71 εντοπίζει όλες τις περιοχές που περιέχουν δεδομέν κάτω πό τον συγκεκριμένο κόμβο. Ότν επιστρέφει κλεί την διδικσί UnCoveredDRs (Σχήμ 48.γ) η οποί ελέγχει ν οι περιοχές στο επίπεδο του κόμβου κλύπτουν περιοχές στ επίπεδ κτώτερων κόμβων. Οι μικρότερες περιοχές που κλύπτοντι πό μεγλύτερες πορρίπτοντι. Σχήμ 47: Πράδειγμ συνδυσμών των κόμβων ενός δένδρου [26]. Η κύρι λειτουργί της διδικσίς IdentDRs είνι ο εντοπισμός πιθνών περιοχών με βάση τις ποστάσεις που έχουν προϋπολογιστεί πό τον λγόριθμο MDR κι έν κτώφλι πόστσης Τ κάτω πό το οποίο δυο δένδρ θεωρούντι όμοι. Ουσιστικά η IdentDRs ελέγχει κάθε συνδυσμό πό 1 έως Κ κι κάθε ρχικό σημείο στ πιδιά ενός κόμβου. Γι κάθε πιθνό συνδυσμό βρίσκει έν συνεχόμενο σύνολο γενικευμένων κόμβων με ποστάσεις μικρότερες πό το κτώφλι Τ. Επιλέγοντι οι συνδυσμοί με τους μικρότερους γενικευμένους κόμβους που κλύπτουν περισσότερους κόμβους. Γι πράδειγμ στο δένδρο του Σχήμ 47 κτά την επίσκεψη του κόμβου p, η πρώτη περιοχή που εντοπίζετι ξεκινάει πό τον κόμβο 2, κλύπτει 6 κόμβους συνολικά, δηλδή μέχρι τον κόμβο 7 κι ποτελείτι πό τρείς γενικευμένους κόμβους μήκους δύο (Κ=2). Η δεύτερη περιοχή ξεκινάει πό τον κόμβο 8 κλύπτει τρείς κόμβους κι ποτελείτι πό τρείς γενικευμένους κόμβους μήκους 1. ()

72 72 (β) (γ) Σχήμ 48: () Ο λγόριθμος FindDRs (β) Η διδικσί εντοπισμού περιοχών IdentDRs (γ) Η διδικσί UnCoveredDRs Μετά τον εντοπισμό των περιοχών κολουθεί ο εντοπισμός των εγγρφών μέσ σε κάθε περιοχή. Το βήμ υτό είνι πρίτητο κθώς οι γενικευμένοι κόμβοι μις περιοχής μπορεί ν περιέχουν περισσότερες πό μι εγγρφές ή οι εγγρφές ν μην είνι συνεχείς. Δυο τέτοι πράδειγμ φίνοντι στο Σχήμ 49. Στην περίπτωση () η μέθοδος FindDRs εντοπίζει την περιοχή που ποτελείτι πό τους γενικευμένους κόμβους G1 κι G2 όπου κάθε γενικευμένος κόμβος ποτελείτι πό δύο εγγρφές. Το (β) είνι μι περίπτωση μη-συνεχόμενων εγγρφών. Η διδικσί FindRecords βρίσκει τις εγγρφές που περιέχει ένς γενικευμένος κόμβος. Ο εντοπισμός υτών των περιπτώσεων γίνετι με την διδικσί που προυσιάζετι στο Σχήμ 50. Στις περιπτώσεις που προυσιάζοντι στο Σχήμ 49 οι εγγρφές εντοπίζοντι εκτελώντς τον λγόριθμο FindDRs, υτή τη φορά γι τον γενικευμένο κόμβο. Διφορετικά ο ίδιος ο γενικευμένος κόμβος ποτελεί μι εγγρφή. Στο τέλος υτού του βήμτος έχουμε γι κάθε περιοχή που νιχνεύσμε τ υποδένδρ που ποτελούν τις εγγρφές.

73 73 () (β) Σχήμ 49: () Γενικευμένοι κόμβοι με περισσότερες πό μί εγγρφές κι (β) γενικευμένοι κόμβοι με μη-συνεχόμενες εγγρφές [26]. Σχήμ 50: Η διδικσί εντοπισμού εγγρφών σε γενικευμένους κόμβους. Το τελευτίο μέρος της μεθόδου είνι η μερική πράτξη δένδρων (Partial Tree Alignment). Ο σκοπός της μερικής πράτξης είνι ν εξάγει δεδομέν κόμ κι στην περίπτωση που κάποιες εγγρφές είνι ελλιπείς. Η προσέγγιση είνι η στδική δημιουργί ενός δένδρου seed γι κάθε περιοχή το οποίο ν ντιστοιχίζετι με κάθε εγγρφή κι ν εξάγει τ δεδομέν της. Αρχικά σν δένδρο seed που συμβολίζετι με Ts επιλέγετι η εγγρφή με τους περισσότερους τερμτικούς κόμβους, δηλδή με τ περισσότερ δεδομέν. Κτόπιν γι κάθε υποδένδρο Ti των εγγρφών ο λγόριθμος μερικής πράτξης ντιστοιχίζει το Ts με το Ti χρησιμοποιώντς τον λγόριθμο STM. Αν υπάρχουν κόμβοι Ti[j] του Ti που δεν ντιστοιχίζοντι με κάποιους κόμβους του Ts o λγόριθμος προσπθεί ν επεκτείνει το Ts εισάγοντς τους Ti[j] στο Ts. Υπάρχουν δυο πιθνές κτστάσεις ότν επιχειρείτι η εισγωγή ενός κόμβου. Είτε μπορεί ν κθοριστεί μι μονδική

74 74 θέση στοts γι την εισγωγή, είτε υπάρχει μφιβολί. Στο Σχήμ 51. κι στο Σχήμ 51.β πρτηρούμε ότι μπορούμε ν ορίσουμε κριβώς μι θέση στο Ts γι την εισγωγή των κόμβων c κι d. Αντιθέτως στο Σχήμ 51.γ δε μπορούμε ν ορίσουμε ν η θέση εισγωγής του κόμβου xείνι δεξιά ή ριστερά του κόμβου b. Στην πρώτη περίπτωση οι κόμβοι εισάγοντι κνονικά. Στη δεύτερη το υποδένδρο Ti κρτείτι σε μι βοηθητική ουρά, ώστε ν γίνει προσπάθει εισγωγής ργότερ. Ο λγόριθμος της μεθόδου προυσιάζετι στο Σχήμ 53. Στδικά φιρούμε δένδρ πό την ουρά Sκι τ ντιστοιχίζουμε με το Ts. Στις γρμμές 6 κι 7 του λγορίθμου ντιστοιχίζουμε τ δύο δένδρ. Αν υπάρχουν κόμβοι του Ti χωρίς ντιστοιχί (γρμμή 8) επιχειρούμε στη γρμμή 9 ν κάνουμε εισγωγή του Ti στο Ts. Αν πρμένουν κόμβοι του Ti χωρίς ντιστοιχί οι οποίοι δεν μπόρεσν ν εισχθούν στο Ts, κρτάμε το Ti στην ουρά R. Ότν δειάσει η ουρά S, την θέση της πίρνει η R. Στις γρμμές ελέγχοντι οι συνθήκες τερμτισμού του λγορίθμου. () (β) (γ) Σχήμ 51: Επέκτση δένδρου με την εισγωγή κόμβων. () κι (β) Μονδικά κθορισμένη θέση εισγωγής. (γ) Αμφισημί στην θέση εισγωγής [26]. Στο τέλος του λγορίθμου έχουμε μι ντιστοίχηση του Ts με κάθε εγγρφή της περιοχής. Γι πράδειγμ στο Σχήμ 52 έχουμε ντιστοιχίσει το δένδρο Ts με τις δύο εγγρφές Τ1 κι Τ2. Οι κόμβοι με μπλε χρώμ ποτελούν κνονικούς κόμβους ενώ με κόκκινο σημειώνοντι οι τερμτικοί κόμβοι δηλδή τ δεδομέν.κάθε γρμμή ντιστοιχεί σε κάθε υποδένδρο. Οπότε στην περίπτωση του πρδείγμτος ο πίνκς θ έχει δύο γρμμές. Οι στήλες προστίθεντι πργμτοποιώντς προθεμτική διάσχιση του Ts. Η σειρά επίσκεψης στους κόμβους του Ts είνι η εξής: Α, B, D, G, E, H, C, F, I. Δηλδή επισκεπτόμστε τους κόμβους δεδομένων με τη σειρά G, H, I κι με υτή τη σειρά προσθέτουμε τις στήλες του πίνκ. (Σχήμ 52.γ). Γι κάθε κόμβο δεδομένων του Ts εξάγουμε τ δεδομέν πό τον ντίστοιχο κόμβο της εγγρφής κι τ προσθέτουμε στην στήλη του πίνκ.

75 75 () Εγγρφή 1 (T s T 1 ) G - I Εγγρφή 2 (T s T 2 ) H I (β) (γ) Σχήμ 52: Μερική Πράτξη Δένδρων γι δύο εγγρφές. () Αντιστοίχηση του Ts με το Τ1. (β) Αντιστοίχηση του Ts με το Τ2. (γ) Πργόμενος πίνκς.

76 76 Σχήμ 53: Ολγόριθμος Partial Tree Alignment. Το τελικό ποτέλεσμ της μεθόδου DEPTA σε μι σελίδ είνι έν σύνολο πινάκων που περιέχουν τ δεδομέν υτής της σελίδς. Γι τον εντοπισμό κοινωνικών δεδομένων, ν υτά υπάρχουν πιτείτι περιτέρω επεξεργσί κι νάλυση των πργόμενων πινάκων. Η επεξεργσί γίνετι με την εφρμογή ευριστικών κνόνων που δημιουργήθηκν εξετάζοντς τ κοινά χρκτηριστικά μετξύ διφορετικών ιστότοπων κοινωνικής δικτύωσης. Υπάρχουν δύο ειδών πίνκες που προυσιάζουν ενδιφέρον. Ο πρώτος περιέχει δεδομέν σχετικά με το προφίλ ενός χρήστη (όνομ, ηλικί, κ.τ.λ.) κι ο δεύτερος περιέχει τις επφές ενός χρήστη κι ίσως πληροφορίες γι κάθε επφή. Το Σχήμ 54 περιέχει έν πράδειγμ εξγωγής δεδομένων προφίλ ενός χρήστη. Το Σχήμ 54. δείχνει το τμήμ μις σελίδς που περιέχει τ δεδομέν προφίλ ενός χρήστη. Στο Σχήμ 54.β φίνετι το ντίστοιχο τμήμ του δένδρου DOM με εντοπισμέν τ δεδομέν. Το μπλε πλίσιο επισημίνει την περιοχή δεδομένων ενώ τ κόκκιν πλίσι τους γενικευμένους κόμβους που ντιστοιχούν στις εγγρφές. Στο Σχήμ 54.γ φίνετι ο πινάκς που εξάγετι. Πρόμοι πράδειγμ γι την δεύτερη περίπτωση πίνκ υπάρχει στο Σχήμ 55 όπου γι τ δεδομέν του Σχήμ 55 πράγετι ένς πίνκς 2x12 (Σχήμ 55.β) στον οποίο κάθε γρμμή ντιστοιχεί σε μι εγγρφή ενώ κάθε στήλη στις πληροφορίες που περιέχει κάθε εγγρφή.

77 77 () (β)

78 78 Name Bahman ebaygi Date of birth 01/06/1979 Location Tehran (Tehran) Iran,Islamic Republic of Native language English Company ebaygi Team! Profession WebMaster (manager) (γ) Σχήμ 54: Πράδειγμ εξγωγής της μεθόδου DEPTA γι το προφίλ ενός χρήστη. () Δεδομέν προφίλ ενός χρήστη πό τον ιστότοπο Netlog. (β) Τμήμ του δένδρου DOM με εντοπισμέν τ δεδομέν. (γ) Αποτελέσμτ της μεθόδου DEPTA. () [/user/alireza64ir] [alireza64ir][last login: Fri. Oct 28] [/user/alireza64ir/friends][54friends] [/user/alireza64ir/ratings] [2073 ratings] [/user/alireza64ir/ratings][98 reviews][send a message] [/friends/remove?user= ][remove Friend] [/user/allagu][allagu][last login: Thu. Oct 27] [/user/allagu/friends][4 friends][/user/allagu/ratings] [2580 ratings][/user/allagu/ratings][63 reviews][send a message][/friends/remove?user= ][remove Friend] (β) Σχήμ 55: Πράδειγμ εξγωγής της μεθόδου DEPTA γι τις επφές ενός χρήστη. () Δεδομέν επφών πό τον ιστότοπο Flixster. (β) Ο Πίνκς 2x12 που πράγετι γι τις δυο εγγρφές του. Τ δύο είδη πινάκων φορούν σε διφορετικές πληροφορίες κι γι υτό δομούντι διφορετικά. Στην πρώτη περίπτωση ολόκληρος ο πίνκς περιέχει πληροφορίες γι έν μόνο χρήστη κι κάθε γρμμή του πίνκ περιέχει πληροφορίες σχετικές με τον χρήστη τη μορφή [ Label ] [ Value ] όπως γι πράδειγμ [Name][Kostas]. Ωστόσο μπορεί κάθε γρμμή μπορεί ν περιέχει περισσότερ πό έν δεδομέν με τη μορφή πολλπλών γειτονικών ζευγών

79 79 ετικέτς-τιμής της μορφής [ Label 1 ][ Value 1 ] [ Label n ][ Value n ] (Σχήμ 56). Στην δεύτερη περίπτωση πίνκ (Σχήμ 57) κάθε γρμμή ντιστοιχεί σε κάποιον χρήστη με τον οποίο σχετίζετι ο χρήστης της τρέχουσς ιστοσελίδς. Οι στήλες περιέχουν πληροφορίες γι κάθε επφή με κάθε στήλη ν περιέχει τον ίδιο τύπο πληροφορίς γι κάθε χρήστη. Η μόνη που είνι πρίτητη είνι η στήλη που περιέχει τον σύνδεσμο προς τη σελίδ κάθε επφής όπως η πρώτη στήλη στο πράδειγμ του Σχήμ 55. Label 11 Value 11 Label 1m Value 1m Label 21 Value 21 Label 2m Value 2m Label n1 Value n1 Label nm Value nm Σχήμ 56: Δομή πίνκ χρηστών. User 1 Value url 1... Value 1m User 2 Value url 2... Value 2m... User n Value n1... url n... Value nm Σχήμ 57: Δομή πίνκ επφών. Γι κάθε πίνκ, πό υτούς που νφέρθηκν πρπάνω εφρμόζοντι δυο διφορετικά σύνολ ευριστικών κνόνων, κτάλληλ γι την δομή κι τις πληροφορίες του κάθε είδους. Πίνκς Χρηστών (User Heuristic Rules) UHR-1 Ο ριθμός εγγρφών της περιοχής είνι μικρότερος πό έν προκθορισμένο κτώφλι. UHR-2 Ο πίνκς περιέχει έν τουλάχιστον έν κελί με προκθορισμένες ετικέτες. Κάποι πρδείγμτ ετικετών φίνοντι στον Πίνκς 8.

80 80 UHR-3 Το μήκος των κελιών που ντιστοιχούν σε ετικέτες δεν πρέπει ν είνι πολύ μεγλύτερο πό το μήκος της ετικέτς. UHR-4 Το κελί δεξιά της ετικέτς δεν πρέπει ν είνι κελί ετικέτς. Πίνκς 8: Πρδείγμτ ετικετών του πίνκ χρηστών. Κτηγορί Όνομ Φύλο Τόπος Γέννησης Ημερομηνί Γέννησης Προσωπική Ιστοσελίδ Πρδείγμτ name, member, user, real name, gender, sex birthplace, hometown, from birthday, date of birth, birth date homepage, blog, website Πίνκς Επφών (Contact Heuristic Rules) CHR-1 Το τμήμ της σελίδς που ντιστοιχεί στον πίνκ επφών κτλμβάνει μέρος της σελίδς μεγλύτερο πό έν προκθορισμένο κτώφλι. Αυτός ο κνόνς πορρίπτει τις μικρές περιοχές δεδομένων που σπάνι περιέχουν επφές. Γι την υλοποίηση του κνόν χρησιμοποιείτι μι συνάρτηση βθμολογίς που υπολογίζει έν Score γι υτή την περιοχή κι βσίζετι στον ριθμό κόμβων της περιοχής, το βάθος του υποδένδρου κι σε διφορετικά βάρη γι κάθε τύπο κόμβου. Η συνάρτηση υπολογίζετι πό την πρκάτω εξίσωση: Α Τοβάθοςτουυποδένδρου Β Τοσυνολικόμήκοςτουκειμένουτηςπεριοχής Οριθμόςτωνεικόνωντηςπεριοχής Οριθμόςτωνυπολοιπωνκόμβων Ηπεριοχήδεδομένωνώςδένδρο CHR-2 Η συνάρτηση υτή δίνει μεγλύτερο βάρος σε κόμβους κειμένου κι εικόνων που περιέχουν δεδομέν πό ότι σε πλούς κόμβους. Αντίστοιχ υπολογίζετι το score γι ολόκληρη τη σελίδ. Ο κνόνς που εφρμόζετι ορίζετι τυπικά ως εξής: Από το σύνολο των πινάκων μις σελίδς επιλέγετι υτό που έχει το μεγλύτερο Score. CHR-3 Τ κελιά του πίνκ που περιέχουν κείμενο, έχουν μήκος μικρότερο πό έν προκθορισμένο κτώφλι. Αυτός ο κνόνς πορρίπτει πίνκες που

81 81 ντιστοιχούν σε δεδομέν όπως κριτικές προϊόντων, όπου κτά κνόν υπάρχουν μεγλύτερ κομμάτι κειμένου. CHR-4 Ο πίνκς περιέχει τουλάχιστον μί στήλη με συνδέσμους. CHR-5 Η στήλη που επιλέγετι είνι η πρώτη πό ριστερά στήλη με συνδέσμους. CHR-6 Το URL μις σελίδς που περιέχει επφές πρέπει ν περιέχει κάποιο keyword που υποδεικνύει κοινωνική σχέση. Οι πέντε πρώτοι κνόνες είνι ρκετά ισχυροί γι τον εντοπισμό επφών λλά σε μεγάλο βθμό ντιστοιχούν κι σε άλλου τύπου δεδομέν όπως σελίδες με προϊόντ κι φωτογρφίες. Γι υτό το λόγο προστίθετι κόμ ένς κνόνς, ο έκτος κτά σειρά, η ποτελεσμτικότητ του οποίου ελέγχετι περιτέρω. Γι τον εντοπισμό συνδέσμων σε μι σελίδ που ν ορίζουν μι σχέση πρόμοι με την σχέση XFN:me χρησιμοποιούμε επίσης δύο ευριστικούς κνόνες οι οποίοι υλοποιούντι πό το υποσύστημ MeLinksExtracor. Ο πρώτος κνόνς κρτά τους συνδέσμους οι οποίοι είτε στο URL τους είτε στο κείμενο τους περιέχουν κάποι λέξη πό έν σύνολο προκθορισμένων λέξεων. Η υλοποίηση γίνετι με πλή χρήση κνονικών εκφράσεων χρησιμοποιώντς σν πρότυπ λέξεις όπως friend, follower, contact κ.τ.λ. Ο Πίνκς 9 περιέχει πρδείγμτ συνδέσμων που εντοπίζοντι πό τον πρώτο ευριστικό κνόν. Πίνκς 9: Πρδείγμτ που κρτά ο πρώτος ευριστικός κνόνς εξγωγής πρόμοιων συνδέσμων. URLs Ο δεύτερος ευριστικός κνόνς χρησιμοποιεί την έννοι της πόστσης μεττροπής μετξύ δύο συμβολοσειρών (string edit distance). Αντίστοιχ με την πόστση δένδρων η πόστση μετξύ συμβολοσειρών S 1 κι S 2 ορίζετι ως το κόστος μεττροπής της S 1 στην S 2 ότν εφρμόζουμε μι σειρά στοιχειωδών πράξεων. Οι στοιχειώδης πράξεις μπορεί ν είνι η εισγωγή, η διγρφή, η ντικτάστση κι η μεττόπιση ενός χρκτήρ, κι ένς κόστος ντίθετι σε

82 82 κάθε μι πό υτές. Στην προκειμένη περίπτωση χρησιμοποιούντι μετβλητά βάρη γι κάθε πράξη. Η πράξη της εισγωγής ενός χρκτήρ έχει πολύ μικρό κόστος ενώ οι υπόλοιπες υψηλότερο. Αυτό προκύπτει πό την πρτήρηση ότι γι έν σύνδεσμοurl1, ένς δεύτερος σύνδεσμος που φορά στον ίδιο χρήστη είνι της μορφής URL1/some_keyword. Δηλδή προστίθετι στο τέλος έν keyword όπως νφέρθηκε πρπάνω, ενώ το ρχικό URL πρμένει νλλοίωτο. Όσ URLs έχουν πόστση μικρότερη πό έν κτώφλι θεωρούντι όμοι. Η μθημτική περιγρφή του κνόν είνι: Η υλοποίηση έγινε με τη χρήση της LingPipe, μις βιβλιοθήκης επεξεργσίς κειμένου που χρησιμοποιείτι σε προβλήμτ επεξεργσίς φυσικής γλώσσς (NLP). Ο Πίνκς 10 περιέχει πρδείγμτ πόστσης νάμεσ σε URLs γι έν συγκεκριμένο σετ βρών. Βλέπουμε ότι γι έν κτώφλι τ=0.1 τ δείγμτ διχωρίζοντι επιτυχώς. Πίνκς 10: Απόστση μεττροπής μετξύ διφορετικών URL. Πρώτο URL Δεύτερο URL2 Distance flutieman07/friends flutieman flutieman07 monsterofmud subscriptions following followers radhikadharurkar user-bryan_carey user-bryan_carey/show_~trust nnaraihl katevoegele Αποθήκευση δεδομένων Γι την ποθήκευση των ποτελεσμάτων εξγωγής χρησιμοποιήθηκε μι ΒΔ η οποί υλοποιήθηκε με τη χρήση της MySQL. Κάθε κόμβος του κτνεμημένου

83 83 συστήμτος, φού εξάγει τις επιθυμητές πληροφορίες, συνδέετι στη βάση κι ενημερώνει τους ντίστοιχους πίνκες. Ν σημειωθεί πως νεξάρτητ πό το σύνολο των κόμβων του συστήμτος, η ΒΔ τρέχει σε έν μόνο μηχάνημ. Δηλδή το υποσύστημ ποθήκευσης των ποτελεσμάτων δεν είνι κτνεμημένο σε ντίθεση με το υπόλοιπο σύστημ. Αυτή η σχεδίση ενδεχομένως ν προκλεί προβλήμτ στην περίπτωση συστημάτων με πολλούς κόμβους, κθώς πολλά μηχνήμτ του συστήμτος θ συνδέετι κι θ ποθηκεύει σε μι μόνο ΒΔ. Ωστόσο το γεγονός ότι έν μόνο μέρος των σελίδων που προσκομίζοντι περιέχει πληροφορίες περιορίζει ρκετά τον ρυθμό πρόσβσης κι ποθήκευσης στη βάση. Στο Σχήμ 58 προυσιάζετι το σχήμ της ΒΔ που νπτύχθηκε. Στον πίνκ Users ποθηκεύοντι οι χρήστες που έχουν βρεθεί. Το πρωτεύων κλειδί είνι το URL της σελίδς προφίλ του χρήστη. Επίσης κρτούντι πληροφορίες γι τον ιστότοπο που βρέθηκε ο χρήστης, ο χρόνος που βρέθηκε κθώς κι η μέθοδος που χρησιμοποιήθηκε. Οι πληροφορίες όπως το όνομ, το επίθετο το nickname, το κι η διεύθυνση του χρήστη δεν περιλμβάνοντι στον ίδιο πίνκ. Αυτή η σχεδίση έγινε επειδή το σύστημ μπορεί ν εντοπίσει πολλπλές τιμές γι κάθε μι πό υτές τις πληροφορίες. Ο πίνκς contacts περιέχει ζεύγη πόurlsγι τ οποί έχει βρεθεί κάποι κοινωνική σχέση. Επίσης υπάρχει κι η πληροφορί γι τον τύπο της σχέσεις σε περίπτωση που υτή έχει εντοπιστεί. Ο πίνκς sameuser ποθηκεύει επίσης ζεύγη πό URLs τ οποί θεωρούντι ότι φορούν τον ίδιο χρήστη. Όπως έχει ήδη νφερθεί ο ίδιος χρήστης μπορεί ν βρεθεί σε διφορετικούς ιστότοπους. Ακόμη κι στον ίδιο ιστότοπο πληροφορίες γι τον ίδιο χρήστη κτά κνόν εκτείνοντι σε πολλές σελίδες. Αυτή η πληροφορί διτηρείτι στον πίνκ sameuser. Ένς πίνκς που πρέπει ν νφερθεί είνι ο πίνκς additional. Όπως έχει νφερθεί κτά τον εντοπισμό χρηστών με την μέθοδο DEPTAπροκύπτει ένς πίνκς με περιεχόμεν διάφορ ζεύγη key value. Κάποι πό υτά τ ζεύγη περιέχουν ευρέως διδεδομέν κλειδιά, όπως «name», «age», κτλ, που βοηθούν στον εντοπισμό του χρήστη. Ωστόσο οι πίνκες υτοί περιέχουν κι άλλ ζεύγη που ενδεχομένως ποτελούν χρήσιμη πληροφορί λλά δεν είνι διδεδομέν κι συνήθως σχετίζοντι μόνο με έν συγκεκριμένο ιστότοπο. Γι υτό στον πίνκ additional διτηρούμε υτές τις πληροφορίες στη μορφή (url, key, value)με πρωτεύων κλειδί των συνδυσμό url-key. Η μέθοδος που η οποί χρησιμοποιήθηκε γι την εξγωγή των δεδομένων (FOAF, Microformatsή DEPTA) ποθηκεύετι σε κάθε περίπτωση κθώς γι την μέθοδο DEPTA υπάρχει κάποιο ποσοστό εσφλμένων ποτελεσμάτων. Οπότε ο χρήστης του συστήμτος πρέπει ν γνωρίζει το ενδεχόμενο τ δεδομέν που χρησιμοποιεί ν προυσιάζουν λάθη.

84 Διεπφή χρήστη του συστήμτος Γι τις νάγκες του ελέγχου κι της προυσίσης των δεδομένων νπτύχθηκε μι πλή διεπφή χρήστη με τη χρήση των τεχνολογιών Java Servlets κι Java Server Pages (JSP). Η διεπφή δίνει τη δυντότητ στο χρήστη του συστήμτος ν πργμτοποιεί νζήτηση του στους εντοπισμένους χρήστες κοινωνικών δικτύων σε πργμτικό χρόνο, δηλδή κτά τη διάρκει που το σύστημ λειτουργεί. Η νζήτηση γίνετι με βάση το όνομ, το επώνυμο ή το nicknameτου. Το σύστημ επιστρέφει όλες τις εγγρφές που πληρούν τ κριτήρι της νζήτησης, τξινομημένες νάλογ με τον ριθμό των επφών τους κτά φθίνουσ φορά. Γι κάθε ποτέλεσμ της νζήτησης ο χρήστης της διεπφής μπορεί ν δει επιπλέον πληροφορίς γι υτό το ποτέλεσμ. Οι επιπλέον πληροφορίες είνι όσ πό τ προσωπικά δεδομέν έχουν εξχθεί πό το σύστημ κθώς κι οι επφές κι τ URLsπου θεωρούντι πρόμοι. Επίσης υπάρχει σύνδεσμος με τον οποίο μπορούμε ν μετβούμε πευθείς στην κνονική σελίδ που βρέθηκν τ δεδομέν κι ν ελέγξουμε την εγκυρότητ του συστήμτος. Στο Σχήμ 59 φίνοντι κάποι screenshots της διεπφής κι έν ποτέλεσμ νζήτησης. Επίσης η διεπφή προυσιάζει κάποι σττιστικά στοιχεί που φορούν στο συνολικό ριθμό χρηστών κι επφών που έχουν βρεθεί, τον ριθμό χρηστών νά ιστότοπο, το συνολικό ριθμό ιστότοπων, κτλ.

85 85 Σχήμ 58: Το σχήμ της ΒΔ.

86 86 () (β)