«WEB MINING- Η Εξόρυξη στο ιαδίκτυο» Βασιλακάκη Ευγενία DBS Informatics Company mscevasilak@yahoo.gr Παπακωνσταντίνου Βίκυ Μπενάκειο Φυτοπαθολογικό Ινστιτούτο- Βιβλιοθήκη library1@bpi.gr Χαλεπλίογλου Άρτεµις Ίδρυµα Ιατροβιολογικών Ερευνών Ακαδηµίας Αθηνών- Βιβλιοθήκη artemischal@bioacademy.gr Αθήνα, 11/09/06 1

Περιεχόµενα Εισαγωγή στην Εξόρυξη του ιαδικτύου (Web Mining) Λειτουργίες Εξόρυξης ιαδικτύου (Web Mining) Ταξονοµία του Web Mining Το Web Mining στην Υπηρεσία Εξατοµίκευσης του ιαδικτύου To Web Mining στην Υπηρεσία Παραγωγής ηµοσίου Ή Ιδιωτικού Αγαθού Το Web Mining στην Υπηρεσία του Εµπορίου Λογισµικά & Εργαλεία του Web Usage Mining/ Web Analyst Το Web Mining ως εργαλείο Αξιολόγησης Η χρήση του Web Mining στην Αξιολόγηση ικτυακών Τόπων Ανάλυση και ερµηνεία της Εξορυγµένης (Mined) Γνώσης Web Mining Νοµικά Ζητήµατα Το Μέλλον του Web Mining είναι εδώ ή από το Web στο Semantic Web Συµπεράσµατα- Προβληµατισµοί 2

Εισαγωγή στην Εξόρυξη ιαδικτύου (Web Mining) Ορισµός: the automated discovery and analysis of useful information from web documents and services using data mining techniques (Chau, 1999) Data Mining Text Mining 2 η γενιά Τεχνητής Νοηµοσύνης (AI) Σκοπός: Επίλυση προβληµάτων από την υπερπληθώρα της αδόµητης πληροφορίας, δηµοσιευµένης στο ιαδίκτυο 3

Λειτουργίες Εξόρυξης ιαδικτύου (Web Mining) Resource finding/ discovery Information selection and preprocessing Generalization Analysis 4

Ταξονοµία του Web Mining Web Content Mining Web Structure Mining Web Usage Mining Semantic Web Mining 5

Το Web Mining για την Εξατοµίκευση στο ιαδίκτυο Ορισµός: «η παροχή στους χρήστες των πληροφοριών που αναζητούν ή έχουν ανάγκη, χωρίς τη ρητή δήλωση ενδιαφέροντος από την πλευρά τους» (Mulvenna et al., 2000) Κατηγορίες εδοµένων Περιεχοµένου (Content data) οµής (Structure data) Χρήσης (Usage data) Προφίλ Χρηστών (User profile data) 6

Το Web Mining για την Εξατοµίκευση στο ιαδίκτυο Βήµατα Εξατοµίκευσης Η δηµιουργία της εικόνας/ προφίλ του κάθε χρήστη (User Profiling) Ανάλυση των Web Logs και Web Usage Mining ιαχείριση Περιεχοµένου (Content Management) ηµοσίευση Ιστοσελίδων (Web Site Publishing) Πρόσκτηση & Αναζήτηση Πληροφοριών (Information acquisition and Searching) 7

Το Web Mining για την Εξατοµίκευση στο ιαδίκτυο Εξατοµίκευση στο Web Usage Mining Association Rule Mining Sequential Pattern discovery Clustering Classification 8

To Web Mining στην Υπηρεσία Παραγωγής ηµοσίου Ή Ιδιωτικού Αγαθού Η χρήση του Web Mining στις Βιβλιοθήκες. Σκοπός: Να προσδώσουν προστιθέµενη αξία στις υπηρεσίες και τα προϊόντα που παρέχουν Στόχος: Ανακάλυψη Πληροφοριακών Πηγών (Resource discovery). Εξαγωγή Πληροφοριών (Information extraction) Generalization. 9

Το Web Mining στην Υπηρεσία του E-Commerce Πλεονεκτήµατα: Προσδιορισµός κανόνων που περιγράφουν τις συνήθεις πλοηγήσεις και αγοραστικές συµπεριφορές των καταναλωτών. Το προφίλ των καταναλωτών ανά κατηγορίες. Βελτίωση του συστήµατος παροχής ηλεκτρονικών εµπορικών υπηρεσιών. Προσδιορισµός της ταυτότητας του κοινού που επισκέπτεται ένα συγκεκριµένο ιστότοπο, τα χαρακτηριστικά και τα λοιπά ενδιαφέροντά του. Βελτίωση της διεπαφής µε το χρήστη και µετατροπή του site σε φιλικότερο περιβάλλον αναζήτησης, αναψυχής και κατανάλωσης. Προσδιορισµός του καλύτερου τρόπου marketing ενός προϊόντος ανάλογα µε το αγοραστικό κοινό. Προτροπή/ προτάσεις για άλλα, οµοειδή ή µη, προϊόντα που, ενδεχοµένως, θα θέλει να αγοράσει ένας επισκέπτης. 10

Λογισµικά & Εργαλεία του Web Usage Mining 1. Pattern discovery tools WebMiner System Analog [ΑNA] WebLog [CAP] Follow2 [MNO] WUM 2. Pattern analysis tools NetGenesis Clementine WebTrends ANGOSS 11

Λογισµικά & Εργαλεία του Web Usage Mining Which web mining tools you used: [287 votes total] Analog (6) 2% ANGOSS (31) 11% Clementine (61) 21% EasyMiner (16) 6% HitList (5) 2% net.genesis (3) 1% WebTrends (15) 5% WUM (45) 16% SAS (50) 17% Other (31) 11% None (24) 8% Πηγή: www.kdnuggets.com/polls/index.html 12

Λογισµικά & Εργαλεία του Web Usage Mining/ Web Analyst Web Analyst Τη γνώση των ιδιαίτερων χαρακτηριστικών που διακρίνουν κάθε επισκέπτη του ιστοτόπου ξεχωριστά, µελετώντας τις δικτυακές κινήσεις και διαδροµές που ακολουθεί και παράλληλα, ενηµέρωση σε πραγµατικό χρόνο, στη περίπτωση που κάποιο δεδοµένο µεταβληθεί. Κρατώντας πάντοτε ενήµερη την Εταιρεία/ Φορέα για τα ενδιαφέροντα των επισκεπτών του ιστοτόπου τους, παρέχει τη δυνατότητα να προσφέρουν στους επισκέπτες τους συνδέσµους µε άλλους ιστοτόπους που τους ενδιαφέρουν άµεσα. Κατά συνέπεια, η ιστοσελίδα εκείνου που αρχικά επισκέφτηκε ο χρήστης, λειτουργεί σαν ένας καλός οδηγός ιαδικτύου που ο επισκέπτης, εφόσον µένει ικανοποιηµένος, θα χρησιµοποιήσει και πάλι. Το περιεχόµενο του κειµένου που κάθε φορά προτείνεται στον επισκέπτη είναι εξατοµικευµένο και έτσι αυτός δε χάνεται σε µια πληθώρα άχρηστων πληροφοριών, που πιθανότατα θα τον απέτρεπαν να επισκεφτεί ξανά τον αρχικό ιστότοπο. Παρέχει τη σηµαντικότατη πληροφορία για το αν ο επισκέπτης θα προβεί ή όχι σε συναλλαγή. Παρέχει την πληροφόρηση για το ποια είναι η πιθανότερη διαδροµή που θα ακολουθήσει ο χρήστης στην πορεία της αναζήτησής του Αντιλαµβάνεται πότε ένας επισκέπτης ετοιµάζεται να εγκαταλείψει τον ιστότοπο και στην κατάλληλη στιγµή του προβάλει ένα προϊόν που θα του τραβήξει την προσοχή, αποτρέποντάς τον να φύγει. Παρέχει γενικότερες πληροφορίες για το ποιες διαδροµές συνήθως ακολουθούν οι χρήστες ανά κατηγορία προφίλ, ανάλογα µε τα ενδιαφέροντά τους, ώστε να µπορούν να προβλέψουν την επόµενή τους κίνηση. Συµβάλλει στην επιτυχία του συγκεκριµένου ιστοτόπου και στην αυξηµένη επισκεψιµότητα αυτού. 13

Λογισµικά & Εργαλεία του Web Usage Mining/ Web Analyst Τεχνικά Χαρακτηριστικά Host HTTP server, Windows NT 4.0 + SP5, Windows 2000 ή Windows XP Professional, Μνήµη 256Mb, Processor PIII-500MHz, HD space 40 Mb Πρωτόκολλο TCP/IP. TX. Server Web Analyst User determination algorithm Cookies Content parsers input2 HTML, XML, plain text, user forms (POST, PUT) Content parsers output Semantic words classes, keywords, links set, properties sets 14

Λογισµικά & Εργαλεία του Web Usage Mining/ Web Analyst 15

Το Web Mining ως εργαλείο Αξιολόγησης Τι αξιολογούν; Το πρόσωπο των οργανισµών, στο νέο ψηφιακό/ υβριδικό περιβάλλον, τον ικτυακό τους τόπος. Γιατί; Οι χρήστες θα απογοητευτούν και δεν θα χρησιµοποιήσουν πλέον το site µας, Τα ίχνη τους θα καθιστούν δύσκολη την εξαγωγή στατιστικών για τα καλύτερα site και αντίστοιχες υπηρεσίες Παράγοντες: Το περιεχόµενο. Ο σχεδιασµός της κάθε ιστοσελίδας ξεχωριστά. Ο σχεδιασµός του ιστοτόπου στο σύνολό του. 16

Η χρήση του Web Mining στην Αξιολόγηση ικτυακών Τόπων Τρόποι Αξιολόγησης Από τις κινήσεις των χρηστών, ίχνη τους Μέσω δεδοµένων αυτόµατα καταγεγραµµένων από το σύστηµα. 17

Ανάλυση και ερµηνεία της Εξορυγµένης (Mined) Γνώσης Τα Usage Analysis Tools Ενσωµατώνουν στατιστικές µεθόδους, τρόπους απεικόνισης και οτιδήποτε άλλο µπορεί να καταστήσει καλύτερα κατανοητό το περιεχόµενο της εξορυγµένης γνώσης (mined knowledge). Interpretation of Mined Knowledge ηµιουργία έξυπνων εργαλείων που µπορούν να συνδράµουν καθοριστικά στην ερµηνεία αυτής της γνώσης που εξορύσσεται, π.χ. Intelligent Agents. 18

ΕΠΙΒΛΑΒΕΣ Ή ΠΑΡΑΝΟΜΟ ΠΕΡΙΕΧΟΜΕΝΟ (1/4) Επιβλαβές περιεχόµενο σύµφωνα µε τον ορισµό που έχει δώσει η Ευρωπαϊκή Ένωση είναι τόσο το περιεχόµενο που επιτρέπεται αλλά του οποίου η διανοµή είναι περιορισµένη (για παράδειγµα µόνο για ενήλικες) όσο και το περιεχόµενο που µπορεί να ενοχλήσει ορισµένους χρήστες αν και η δηµοσίευσή του δεν είναι περιορισµένη λόγω της αρχής της ελευθερίας της έκφρασης. Ότι θεωρείται παράνοµο περιεχόµενο εκτός Internet θεωρείται παράνοµο και µέσα στο Internet. Προφύλαξη : - φίλτρο - καταγγελία / ανοικτή γραµµή (http://www.safeline.gr) 19

ΕΠΙΒΛΑΒΕΣ Ή ΠΑΡΑΝΟΜΟ ΠΕΡΙΕΧΟΜΕΝΟ (2/4) 20

ΕΠΙΒΛΑΒΕΣ Ή ΠΑΡΑΝΟΜΟ ΠΕΡΙΕΧΟΜΕΝΟ (3/4) Η SafeLine συνεργάζεται µε τους Φορείς Παροχής Υπηρεσιών Internet, το Ακαδηµαϊκό ίκτυο Ε ΕΤ και το Σχολικό ίκτυο, Ερευνητικά και Πολιτιστικά Ιδρύµατα, Ενώσεις Καταναλωτών και την Ελληνική Αστυνοµία για τον περιορισµό της ροής του παράνοµου περιεχοµένου στο Internet. Υποστηρίζεται επίσης από το πρόγραµµα της Ευρωπαϊκής Ένωσης «Σχέδιο ράσης για τη Ασφαλέστερη Χρήση του Internet» και λειτουργεί από την SAFENET. 21

ΕΠΙΒΛΑΒΕΣ Ή ΠΑΡΑΝΟΜΟ ΠΕΡΙΕΧΟΜΕΝΟ (4/4) Άρθρο 36 Π.Κ : «στις περιπτώσεις που δεν απαιτείται έγκληση ή αίτηση, η ποινική δίωξη κινείται αυτεπάγγελτα, ύστερα από αναφορά, µήνυση ή άλλη είδηση ότι διαπράχθηκε αξιόποινη πράξη» Άρθρο 42 Π.Κ : «εκτός από αυτόν που αδικήθηκε και οποιοσδήποτε άλλος έχει το δικαίωµα να καταγγείλει στην αρχή τις αξιόποινες πράξεις που διώκονται αυτεπαγγέλτως, τις οποίες πληροφορήθηκε µε οποιοδήποτε τρόπο» Άρθρα 5&6 Π.Κ : «Οι Ελληνικοί ποινικοί νόµοι εφαρµόζονται σε όλες τις πράξεις που τελέστηκαν στο έδαφος της επικράτειας, ακόµη και από αλλοδαπούς καθώς και για πράξη που χαρακτηρίζεται από αυτούς ως κακούργηµα ή πληµµέληµα και που τελέστηκε στην αλλοδαπή από ηµεδαπό, αν η πράξη αυτή είναι αξιόποινη και κατά τους νόµους της χώρας στην οποία τελέστηκε. Στην περίπτωση των εγκληµάτων που τελούνται στο Internet, ως τόπος τέλεσης του εγκλήµατος µπορεί να θεωρηθεί είτε ο τόπος από όπου η ηλεκτρονική σελίδα µπορεί να αναγνωσθεί, που αυτό στην πράξη σηµαίνει κάθε χώρα στην οποία οι χρήστες µπορούν να έχουν πρόσβαση στο Internet, είτε ο τόπος όπου φιλοξενείται από τον παροχέα πρόσβασης στο Internet η συγκεκριµένη ηλεκτρονική σελίδα» 22

ΜΥΝΗΜΑΤΑ ΑΠΑΤΗΛΟΥ ΠΕΡΙΕΧΟΜΕΝΟΥ (HOAXES) Έχουµε τρεις κατηγορίες: - προειδοποιητικά - συµπαράστασης - εκφοβισµού Συνοδεύονται από την φράση «στείλτε αυτό το µήνυµα σε όσο περισσότερους χρήστες γνωρίζετε» (send this message to everyone you know) 23

ΜΗ ΖΗΤΗΘΕΙΣΑ ΑΜΕΣΗ ΙΑΦΗΜΙΣΗ(SPAM) Το spam αποτελεί το σύνολο των ανεπιθύµητων e-mails τα οποία στέλνουν οι εµπορικές εταιρείες ζητώντας µας να αγοράσουµε τα αγαθά και τις υπηρεσίες τους Άρθρα 9 παρ.10 και 4 παρ.6 του Ν. 2251/1994 : απαγορεύεται η µετάδοση διαφηµιστικού µηνύµατος απευθείας στον καταναλωτή µέσω τηλεφώνου, τηλεµοιοτυπίας και ηλεκτρονικού ταχυδροµείου χωρίς την προηγούµενη συναίνεσή του Άρθρο 13 παρ. 3 Ν.2472/1997 : Μητρώο Αρχής Προστασίας Προσωπικών εδοµένων 24

ΙΑ ΟΣΗ ΠΟΡΝΟΓΡΑΦΙΚΟΥ ΥΛΙΚΟΥ Άρθρο 184 παρ.1 γερµ. Π.Κ Άρθρο 528 ιταλικός Π.Κ Άρθρο 204 ελβετικός Π.Κ Άρθρο 383 βελγικός Π.Κ Άρθρο 227-24 γαλλικός Π.Κ (τιµωρεί κυκλοφορία άσεµνων δηµοσιευµάτων) (ειδική πρόβλεψη) Βρετανία : Νόµοι 1959, 1964, 1994 Ελλάδα : Σύνταγµα άρθρο 14 παρ.3 προβλέπει κατάσχεση εντύπων «ένεκα ασέµνων δηµοσιευµάτων προσβαλλόντων καταφανώς την δηµοσίαν αιδώ, κατά τας υπό του νόµου οριζοµένας περιπτώσεις» Ευρωπαϊκό κοινοβούλιο (1999) προχώρησε στην υλοποίηση µιας Ευρωπαϊκής εκστρατείας και ενός προγράµµατος δράσης πληροφόρησης και προστασίας των παιδιών 25

ΠΝΕΥΜΑΤΙΚΗ Ι ΙΟΚΤΗΣΙΑ ύο είναι τα σηµαντικότερα τεχνικά ζητήµατα: Η δυνατότητα χρήσης των links (συνδέσµων) Η χρήση του mp3 (πρόκειται για ένα συµπιεσµένο αρχείο ήχου µε µεγάλες δυνατότητες αποθήκευσης) Γνωστή είναι η περίπτωση του Ναπστερ (Napster) Άρθρο 12 παρ.1 Ν.2774/1999 αναφέρει ότι «φυσικό ή νοµικό πρόσωπο που κατά παράβαση του παρόντος νόµου προκαλεί περιουσιακή βλάβη, υποχρεούται σε πλήρη αποζηµίωση. Αν προκάλεσε ηθική βλάβη, υποχρεούται σε χρηµατική ικανοποίηση. Ο υπόχρεος απαλλάσσεται από την ευθύνη αν αποδείξει ότι δεν γνώριζε ούτε όφειλε να γνωρίζει την πιθανότητα να επέλθει βλάβη σε άλλον». 26

ΑΣΦΑΛΕΙΑ ΚΑΙ ΕΜΠΙΣΤΕΥΤΙΚΟΤΗΤΑ Ι ΙΩΤΙΚΟΤΗΤΑ ΤΩΝ ΠΛΗΡΟΦΟΡΙΩΝ (1/4) Ασφάλεια επικοινωνίας µεταξύ 2 µερών είναι κάθε µορφής επικοινωνία που γίνεται µε χρήση ψηφιακής τεχνολογίας και εξασφαλίζει την ακεραιότητα, εµπιστευτικότητα και διαθεσιµότητα των πληροφοριών που διακινούνται µέσω ενός τηλεπικοινωνιακού δικτύου. Εµπιστευτική πληροφορία = προφυλάσσεται το αντικείµενο της (περιεχόµενο) Ιδιωτική πληροφορία = προφυλάσσεται ο ιδιοκτήτης της 27

ΑΣΦΑΛΕΙΑ ΚΑΙ ΕΜΠΙΣΤΕΥΤΙΚΟΤΗΤΑ Ι ΙΩΤΙΚΟΤΗΤΑ ΤΩΝ ΠΛΗΡΟΦΟΡΙΩΝ (2/4) Μέτρα προφύλαξης : - κρυπτογραφία Κρυπτογραφία : Με τον όρο κρυπτογραφία εννοούµε µια τεχνική η οποία µε τη βοήθεια µαθηµατικών αλγορίθµων καθιστά δυνατή τη µετατροπή ενός προσιτού σε όλους κειµένου σε µια κωδικοποιηµένη µορφή, την οποία δεν µπορεί να αποκωδικοποιήσει κανείς, αν δεν διαθέτει το µυστικό ειδικό κλειδί. Ελλάδα Η.Π.Α : δεν υπάρχουν ρυθµίσεις : ελεύθερα Ευρωπαϊκά κράτη : ειδική άδεια από ιεθνή Οργανισµό (Συντονιστική Επιτροπή Ελέγχου των Εξαγωγών) COCOM 28

ΑΣΦΑΛΕΙΑ ΚΑΙ ΕΜΠΙΣΤΕΥΤΙΚΟΤΗΤΑ Ι ΙΩΤΙΚΟΤΗΤΑ ΤΩΝ ΠΛΗΡΟΦΟΡΙΩΝ(3/4) να είναι προσεκτικοί σε σχέση µε τις πληροφορίες που µεταβιβάζουν σε κάθε επίσκεψή τους στις ιστοσελίδες ενός δικτυακού τόπου κατά την πραγµατοποίηση µιας ηλεκτρονικής σύνδεσης και γενικότερα µιας επικοινωνίας µε χρήση του διαδικτύου να επιδιώκουν τη χρήση ψευδωνύµων σε περιπτώσεις που είναι νοµικά αδύνατη η παροχή παντελούς ανωνυµίας να αποκαλύπτει µόνο τα δεδοµένα εκείνα που είναι απαραίτητα για την επίτευξη των σκοπών που επιδιώκονται µέσω της συγκεκριµένης επικοινωνίας ή συναλλαγής να ζητούν από τους Παροχείς Υπηρεσιών ιαδικτύου (ΠΥ ) και τους Παροχείς Τελικών Υπηρεσιών (ΠΤΥ) το κείµενο της ενηµέρωσης του κοινού για την τήρηση αρχείου προσωπικών ή/και ευαίσθητων δεδοµένων έτσι όπως απορρέει από τις υποχρεώσεις των υπεύθυνων επεξεργασίας έναντι της Πολιτείας βάσει του Ν. 2472/1997 να ενηµερώνονται σχετικά µε τις εξελίξεις και αλλαγές στην Ελληνική νοµοθεσία που σχετίζεται µε θέµατα προστασίας της προσωπικής ζωής και των επικοινωνιών (Ν. 2472/1997, Ν. 2774/1999) 29

ΑΣΦΑΛΕΙΑ ΚΑΙ ΕΜΠΙΣΤΕΥΤΙΚΟΤΗΤΑ Ι ΙΩΤΙΚΟΤΗΤΑ ΤΩΝ ΠΛΗΡΟΦΟΡΙΩΝ(4/4) 1 3 Νοεµβρίου 2004, Αθήνα : 2 ο ιεθνές Συνέδριο Ασφάλειας Πληροφορικής (Information Security Matrix Forum) Κ. Kevin Mitnick - διάσηµος (πρώην) hacker -µίλησε για ευκολία παραπλάνησης των χρηστών µέσω τηλεφώνου συνήθως δίνοντας απόρρητες πληροφορίες όπως passwords κλπ. -τα κρούσµατα παραπλάνησης χρηστών είναι περισσότερα από 11%του συνολικού αριθµού περιπτώσεων ηλεκτρονικής δολιοφθοράς που δηµοσιεύουν διάφορες έρευνες. 30

Το Μέλλον του Web Mining είναι εδώ ή από το Web στο Semantic Web Semantic Web: Αναζήτηση ενός τεκµηρίου συνδυάζοντας λέξεις κλειδιά, ο αντικειµενικός στόχος είναι να συνδυάζονται οι ίδιες οι πληροφορίες για να απαντώνται τα ερωτήµατα. Standardized format Standardized vocabulary and knowledge Shared services. 31

Το Μέλλον του Web Mining είναι εδώ ή από το Web στο Semantic Web Η Εξόρυξη εδοµένων Για και Με τον Σηµασιολογικό Ιστό 1. Είναι διαθέσιµη περισσότερη δοµηµένη πληροφορία, γεγονός που δίνει ένα ευρύ πεδίο δράσης για το Web Mining 2. Η παροχή της γνώσης µε µια τυποποιηµένη µορφή συνδυάζεται µε δεδοµένα του ιαδικτύου και µε την εξόρυξη δεδοµένων. 32

Το Μέλλον του Web Mining είναι εδώ ή από το Web στο Semantic Web Ταξινόµηση Τεκµηρίων για και µε τον Σηµασιολογικό Ιστό (Document Classification for and with the Semantic Web). Οµαδοποίηση Τεκµηρίων για και µε τον Σηµασιολογικό Ιστό (Document Clustering for and with the Semantic Web). Εξόρυξη εδοµένων για την Εξαγωγή Πληροφοριών µε τον Σηµασιολογικό Ιστό (Data Mining for Information Extraction with the Semantic Web). Ανάπτυξη Οντολογιών (Ontology Mapping). Υπηρεσίες Εξατοµίκευσης, Αναφοράς και ηµιουργίας Προφίλ Χρηστών (User Modeling. Recommending, Personalization and the Semantic Web). 33

Προβληµατισµοί- Θέµατα προς Συζήτηση Πώς το Web Mining µπορεί να χρησιµοποιηθεί από την Κοινωνία της Πληροφόρησης; Web Mining σε εικόνες & βίντεο (Web mining for images, video and audio streams) Ζητήµατα προσωπικών δεδοµένων & ασφάλειας (Privacy and security) Εξαγωγή της Πληροφορίας (Information extraction with formalized knowledge) Ηλεκτρονική Επιστήµη (e-science) 34