Εξόρυξη γνώσης από βάση δεδομένων ηλεκτρονικών δημοπρασιών από τον δικτυακό τόπο ebay

Transcript

1 Εξόρυξη γνώσης από βάση δεδομένων ηλεκτρονικών δημοπρασιών από τον δικτυακό τόπο ebay Διπλωματική Εργασία του Τσαρακτσίδη Γεώργιου (ΑΕΜ: 4006) υπό την επίβλεψη του καθηγητή Περικλή Α. Μήτκα Θεσσαλονίκη 2008

2 2 Αφιερωμένη σε όσους κουράστηκαν ì α δε σταμάτησαν

3 3 Few men have virtue to withstand the highest bidder. George Washington

4 4 Ευχαριστίες Ο δρόμος για την δημιουργική ενασχόληση με την επιστήμη είναι δύσκολος και μερικές φορές φαντάζει ιδιαίτερα δύσβατος. Σε τέτοια μονοπάτια είναι σημαντικό να έχεις συμπαραστάτες καλούς ανθρώπους. Όπως οι γονείς μου και η αδερφή μου, που μου συμπαραστάθηκαν κάθε στιγμή της ημέρας για πάρα πολύ καιρό. Τους ευχαριστώ βαθύτατα γιατί υπήρξαν στήριγμα σε κάθε ακαδημαϊκή μου προσπάθεια και δίχως αυτούς δεν θα είχα προχωρήσει όσο προχώρησα. Ευχαριστώ και τους φίλους μου, που ήταν πάντα κοντά μου, πραγματικοί σύντροφοι και ιδιαίτερα τους ανθρώπους που έθεσαν στην υπηρεσία μου τους πόρους τους αλλά και τον χρόνο τους, είτε αφιερώνοντας την υπολογιστική δύναμη που είχαν στην διάθεση τους, είτε και στο ρόλο του alpha tester καθώς και όσους προσφέρθηκαν για να με βοηθήσουν αλλά τελικά δεν χρειάστηκε. Να αναφέρω τους: Ιωάννα Κυριακή Τουφεξή, Πολυξένη Μαλασιώτη, Ηλία Σεδίκο, Νεκτάριο Μπουργή, Αθηνά Μουρτίδου, Ορέστη Κώτσια, Πρόδρομο-Βασίλειο Μεκίκη, Ιωάννα Στρατογιάννη, Κωνσταντίνο Ανδρέου και Ευστάθιο Παπαδόπουλο. Τέλος να ευχαριστήσω τον Διονύση Κεχαγιά, και ιδιαίτερα τον καθηγητή μου Περικλή Μήτκα.

5 5 ΠΕΡΙΕΧΟΜΕΝΑ Ευχαριστίες... 4 ΠΕΡΙΕΧΟΜΕΝΑ... 5 ΚΑΤΑΛΟΓΟΣ ΠΙΝΑΚΩΝ & ΣΧΗΜΑΤΩΝ... 6 ΕΙΣΑΓΩΓΗ Γενικά Στόχος της διπλωματικής εργασίας Μεθοδολογία της διπλωματικής εργασίας Δομή της διπλωματικής εργασίας ΗΛΕΚΤΡΟΝΙΚΕΣ ΔΗΜΟΠΡΑΣΙΕΣ Ο κόσμος των δημοπρασιών Γενικά Κατηγορίες δημοπρασιών Παράμετροι δημοπρασιών Ηλεκτρονικές δημοπρασίες Ο δικτυακός τόπος του ebay Βασικά στοιχεία του ebay Η διαδικασία δημοπρασίας στο ebay Ο ρόλος του ebay στην εργασία Σχετικές εργασίες ΤΕΧΝΙΚΕΣ ΠΡΟΒΛΕΨΗΣ (REGRESSION) Data Mining Regression Regression Vs Classification Γραμμική παλινδρόμηση Support Vector Machines Άλλοι αλγόριθμοι Το πακέτο Weka ΠΕΡΙΓΡΑΦΗ ΕΦΑΡΜΟΓΗΣ Περίληψη της εφαρμογής Τεχνολογίες που χρησιμοποιήθηκαν Επιλογή της Java MySQL Connector/J Αρχιτεκτονική εφαρμογής ALUp (Auction Live Updater) Προετοιμασία Η Βάση Δεδομένων To User Interface Περιπτώσεις χρήσης ΠΕΙΡΑΜΑΤΙΚΗ ΔΙΑΔΙΚΑΣΙΑ ΚΑΙ ΑΠΟΤΕΛΕΣΜΑΤΑ Γενικά Τα δεδομένα... 68

6 6 5.3 Πειραματική διαδικασία Πρώτη πειραματική διαδικασία Δεύτερη πειραματική διαδικασία Μια τελευταία ματιά στην πρόβλεψη ΣΥΜΠΕΡΑΣΜΑΤΑ ΚΑΙ ΜΕΛΛΟΝΤΙΚΕΣ ΕΡΓΑΣΙΕΣ Γενικά Συμπεράσματα πειραμάτων Μελλοντικές εργασίες Βιβλιογραφία ΚΑΤΑΛΟΓΟΣ ΠΙΝΑΚΩΝ & ΣΧΗΜΑΤΩΝ ΣΧΉΜΑ 2.1 ΤΑ ΔΕΔΟΜΈΝΑ ΜΊΑΣ ΟΛΟΚΛΗΡΩΜΈΝΗΣ ΔΗΜΟΠΡΑΣΊΑΣ ΌΠΩΣ ΕΜΦΑΝΊΖΕΤΑΙ ΣΤΗΝ ΙΣΤΟΣΕΛΊΔΑ ΤΟΥ EBAY 27 ΣΧΉΜΑ 3.1 Η ΕΥΘΕΊΑ ΤΗΣ ΠΑΛΙΝΔΡΌΜΗΣΗΣ ΚΑΙ Η ΑΠΌΣΤΑΣΗ ΤΗΣ ΑΠΌ ΤΑ ΣΗΜΕΊΑ 34 ΣΧΉΜΑ 3.2 ΑΠΛΉ ΓΡΑΜΜΙΚΉ ΠΑΛΙΝΔΡΌΜΗΣΗ 35 ΣΧΉΜΑ 3.3 ΧΑΡΤΟΓΡΆΦΗΣΗ ΣΗΜΕΊΩΝ ΣΕ ΆΛΛΟ ΧΏΡΟ ΚΑΤΆ ΤΗΝ ΕΚΤΈΛΕΣΗ ΤΟΥ ΑΛΓΌΡΙΘΜΟΥ SVM 40 ΣΧΉΜΑ 4.1 ΣΧΗΜΑΤΙΚΉ ΑΠΕΙΚΌΝΙΣΗ ΤΗΣ ΑΡΧΙΤΕΚΤΟΝΙΚΉΣ ΤΗΣ ALUP 52 ΠΊΝΑΚΑΣ 4.1 ΠΊΝΑΚΑΣ CATEGORIES 53 ΠΊΝΑΚΑΣ 4.2 ΠΊΝΑΚΑΣ CATEGORYXX 54 ΠΊΝΑΚΑΣ 4.3 ΠΊΝΑΚΑΣ AUCTIONSXX 55 ΠΊΝΑΚΑΣ 4.4 ΣΤΙΓΜΙΌΤΥΠΟ ΤΟΥ ΠΊΝΑΚΑ AUCTIONS0 56 ΠΊΝΑΚΑΣ 4.1 ΠΊΝΑΚΑΣ ATTRIBUTESXX_0 57 ΠΊΝΑΚΑΣ 4.6 ΠΊΝΑΚΑΣ CATEGORYXX_?? 59 ΠΊΝΑΚΑΣ 4.1 ΠΊΝΑΚΑΣ PROAUCTIONSXX 60 ΠΊΝΑΚΑΣ 4.1 ΠΊΝΑΚΑΣ READYIDSXX 61 ΣΧΉΜΑ 4.2 ΤΟ ΑΡΧΙΚΌ ΠΑΡΆΘΥΡΟ ΤΗΣ ALUP 62 ΣΧΉΜΑ 4.3 ΟΙ ΔΙΑΘΈΣΙΜΕΣ ΕΠΙΛΟΓΈΣ ΤΟΥ ΜΕΝΟΎ 62 ΣΧΗΜΑ 4.4 ΤΟ ΠΑΡΆΘΥΡΟ ΤΗΣ ΣΎΝΔΕΣΗΣ ΜΕ ΤΗ ΒΆΣΗ 63 ΣΧΉΜΑ 4.5 ΤΟ ΠΑΡΆΘΥΡΟ ΚΑΤΑΧΏΡΙΣΗΣ ΤΗΣ ΚΑΤΗΓΟΡΊΑΣ ΣΤΗΝ ΒΔ 64 ΣΧΉΜΑ 4.6 ΣΧΗΜΑΤΙΚΉ ΑΝΑΠΑΡΆΣΤΑΣΗ ΤΗΣ ΔΙΑΔΙΚΑΣΊΑΣ ΛΉΨΗΣ ΑΠΌΦΑΣΗΣ ΜΕ ΕΚΜΆΘΗΣΗ ΜΗΧΑΝΉΣ 66 ΠΊΝΑΚΑΣ 4.1 ΠΊΝΑΚΑΣ ΚΑΤΗΓΟΡΙΏΝ 69 ΣΧΉΜΑ 5.1 ΚΑΤΑΝΟΜΉ ΤΩΝ ΤΕΛΙΚΏΝ ΤΙΜΏΝ ΤΗΣ GLOBAL ΚΑΤΗΓΟΡΊΑΣ 70 ΣΧΉΜΑ 5.2 ΚΑΤΑΝΟΜΉ ΤΗΣ ΤΕΛΙΚΉΣ ΤΙΜΉΣ ΣΤΙΣ 4 ΚΑΤΗΓΟΡΊΕΣ 71 ΣΧΉΜΑ 5.3 Η ΠΙΘΑΝΌΤΗΤΑ ΕΜΦΆΝΙΣΗΣ ΤΟ ΠΟΛΎ, 5%, 10% ΚΑΙ 20% ΔΙΑΦΟΡΆ ΑΝΆΜΕΣΑ ΣΕ ΤΡΈΧΟΥΣΑ ΚΑΙ ΤΕΛΙΚΉ ΤΙΜΉ 71 ΣΧΉΜΑ 5.4 ΠΟΣΟΣΤΆ ΕΠΙΤΥΧΊΑΣ ΤΟΥ ΑΛΓΟΡΊΘΜΟΥ SVMREG ΣΤΟΝ ΧΡΌΝΟ ΟΛΟΚΛΉΡΩΣΗΣ ΓΙΑ ΤΙΣ 3 ΑΝΟΧΈΣ ΣΤΗΝ ΚΑΤΗΓΟΡΊΑ 1 74 ΣΧΉΜΑ 5.5 ΠΟΣΟΣΤΆ ΕΠΙΤΥΧΊΑΣ ΤΟΥ ΑΛΓΟΡΊΘΜΟΥ SΜΟREG ΣΤΟΝ ΧΡΌΝΟ ΟΛΟΚΛΉΡΩΣΗΣ ΓΙΑ ΤΙΣ 3 ΑΝΟΧΈΣ ΣΤΗΝ ΚΑΤΗΓΟΡΊΑ 1 75 ΣΧΉΜΑ 5.6 ΠΟΣΟΣΤΆ ΕΠΙΤΥΧΊΑΣ ΤΟΥ ΑΛΓΟΡΊΘΜΟΥ LMS ΣΤΟΝ ΧΡΌΝΟ ΟΛΟΚΛΉΡΩΣΗΣ ΓΙΑ ΤΙΣ 3 ΑΝΟΧΈΣ ΣΤΗΝ ΚΑΤΗΓΟΡΊΑ 1 75

7 7 ΣΧΉΜΑ 5.7 ΠΟΣΟΣΤΆ ΕΠΙΤΥΧΊΑΣ ΤΟΥ ΑΛΓΟΡΊΘΜΟΥ SVMREG ΣΤΟΝ ΧΡΌΝΟ ΟΛΟΚΛΉΡΩΣΗΣ ΓΙΑ ΤΙΣ 3 ΑΝΟΧΈΣ ΣΤΗΝ ΚΑΤΗΓΟΡΊΑ 2 76 ΣΧΉΜΑ 5.8 ΠΟΣΟΣΤΆ ΕΠΙΤΥΧΊΑΣ ΤΟΥ ΑΛΓΟΡΊΘΜΟΥ SMOREG ΣΤΟΝ ΧΡΌΝΟ ΟΛΟΚΛΉΡΩΣΗΣ ΓΙΑ ΤΙΣ 3 ΑΝΟΧΈΣ ΣΤΗΝ ΚΑΤΗΓΟΡΊΑ 2 77 ΣΧΉΜΑ 5.9 ΠΟΣΟΣΤΆ ΕΠΙΤΥΧΊΑΣ ΤΟΥ ΑΛΓΟΡΊΘΜΟΥ LMS ΣΤΟΝ ΧΡΌΝΟ ΟΛΟΚΛΉΡΩΣΗΣ ΓΙΑ ΤΙΣ 3 ΑΝΟΧΈΣ ΣΤΗΝ ΚΑΤΗΓΟΡΊΑ 2 77 ΣΧΉΜΑ 5.10 ΣΎΓΚΡΙΣΗ ΤΗΣ ΕΠΙΤΥΧΊΑΣ ΤΩΝ ΑΛΓΟΡΊΘΜΩΝ ΣΤΗΝ ΚΑΤΗΓΟΡΊΑ 2 ΜΕ ΑΝΟΧΉ 5% 78 ΣΧΉΜΑ 5.11 ΣΎΓΚΡΙΣΗ ΤΗΣ ΕΠΙΤΥΧΊΑΣ ΤΩΝ ΑΛΓΟΡΊΘΜΩΝ ΣΤΗΝ ΚΑΤΗΓΟΡΊΑ 2 ΜΕ ΑΝΟΧΉ 10% 78 ΣΧΉΜΑ 5.12 ΣΎΓΚΡΙΣΗ ΤΗΣ ΕΠΙΤΥΧΊΑΣ ΤΩΝ ΑΛΓΟΡΊΘΜΩΝ ΣΤΗΝ ΚΑΤΗΓΟΡΊΑ 2 ΜΕ ΑΝΟΧΉ 20% 78 ΣΧΉΜΑ 5.13 ΣΎΓΚΡΙΣΗ ΤΗΣ ΕΠΙΤΥΧΊΑΣ ΤΩΝ 3 ΑΛΓΟΡΊΘΜΩΝ ΓΙΑ ΤΙΣ 3 ΑΝΟΧΈΣ ΣΤΗΝ ΚΑΤΗΓΟΡΊΑ 3 79 ΣΧΉΜΑ 5.14 ΣΎΓΚΡΙΣΗ ΤΗΣ ΕΠΙΤΥΧΊΑΣ ΤΩΝ 3 ΑΛΓΟΡΊΘΜΩΝ ΓΙΑ ΤΙΣ 3 ΑΝΟΧΈΣ ΣΤΗΝ ΚΑΤΗΓΟΡΊΑ 4 80 ΣΧΉΜΑ 5.15 Η ΕΠΙΤΥΧΊΑ ΤΟΥ SVMREG ΣΤΗΝ GLOBAL ΚΑΤΗΓΟΡΊΑ 81 ΣΧΉΜΑ 5.16 Η ΕΠΙΤΥΧΊΑ ΤΟΥ SΜΟREG ΣΤΗΝ GLOBAL ΚΑΤΗΓΟΡΊΑ 82 ΣΧΉΜΑ 5.17 Η ΕΠΙΤΥΧΊΑ ΤΟΥ LMS ΣΤΗΝ GLOBAL ΚΑΤΗΓΟΡΊΑ 82 ΣΧΉΜΑ 5.1 ΣΎΓΚΡΙΣΗ ΤΩΝ 3 ΑΛΓΟΡΊΘΜΩΝ ΣΤΗΝ GLOBAL ΚΑΤΗΡΊΑ 83 ΣΧΉΜΑ 5.19 ΣΎΓΚΡΙΣΗ ΤΗΣ ΕΠΙΤΥΧΊΑΣ ΤΟΥ SVMREG ΣΤΗΝ ΚΑΤΗΓΟΡΊΑ 4 ΚΑΙ ΣΤΗΝ GLOBAL ΚΑΤΗΓΟΡΊΑ 83 ΣΧΉΜΑ 5.2 Η ΕΠΙΤΥΧΊΑ ΤΗΣ ΣΎΓΚΡΙΣΗΣ ΤΩΝ ΠΡΟΒΛΈΨΕΩΝ ΚΑΤΆ ΤΗΝ ΔΙΆΡΚΕΙΑ ΤΗΣ ΔΗΜΟΠΡΑΣΊΑΣ 84

8 8 1 ΕΙΣΑΓΩΓΗ 1.1 Γενικά Οι εμπορικές συναλλαγές μεταξύ των ανθρώπων ήταν από τις πρώτες δραστηριότητες που αναπτύχθηκαν από την στιγμή που οργάνωσαν δομημένες κοινωνίες. Από την ανταλλαγή των προϊόντων μέχρι τη μίσθωση υπηρεσιών, ανακατανέμουν τα μέσα που διαθέτουν ανάλογα με τις επιθυμίες και τις ανάγκες τους, εδώ και χιλιετίες. Τα μέσα με τα οποία πραγματώνονταν οι διάφορες συναλλαγές ποικίλουν και φτάσαμε σήμερα στο γρηγορότερο και ευρύτερο πλαίσιο που υπήρξε ποτέ, το εμπόριο μέσω διαδικτύου, όπου ο καθένας μπορεί να εμπορευτεί οτιδήποτε, με οποιονδήποτε άλλο στον κόσμο, μέσα σε ελάχιστο χρονικό διάστημα. Η ταχεία ανάπτυξη των υπολογιστών και η είσοδος του Διαδικτύου υψηλής ταχύτητας στην καθημερινή ζωή των ανθρώπων συνετέλεσε στην ακόμα μεγαλύτερη ανάπτυξη του ηλεκτρονικού εμπορίου, το οποίο κερδίζει συνεχώς έδαφος σε σχέση με τους κλασικούς τρόπους συναλλαγής. Οι ηλεκτρονικές δημοπρασίες αποτελούν μια διαδεδομένη μορφή ηλεκτρονικού εμπορίου και ο λόγος εδραίωσής τους οφείλεται στο γεγονός ότι δεν υπόκεινται στους φυσικούς περιορισμούς (χρόνος, συγκεκριμένη τοποθεσία, παρουσία των εμπλεκομένων προσώπων κ.α.) όπως κάνουν οι κλασικές δημοπρασίες.

9 9 Αποτελούν δε, ένα μέσο για την ευρεία γνωστοποίηση πώλησης ενός προϊόντος καθώς εκατομμύρια αγοραστές έχουν πρόσβαση σε μια μεγάλη ποικιλία προϊόντων. Οι δικτυακοί τόποι ηλεκτρονικών δημοπρασιών συνεχώς αυξάνονται (ebay, Yahoo! Auctions, ubid, auctionfire) και εξελίσσονται δίνοντας την δυνατότητα σε πολλούς υποψήφιους αγοραστές να συμμετέχουν σε on-line δημοπρασίες και να διεκδικούν τα προϊόντα που προορίζονται προς πώληση. Έτσι παρακολουθούν ταυτόχρονα πολλά προϊόντα και αποφασίζουν, ανάλογα με την εξέλιξη της δημοπρασίας, αν θα πλειοδοτήσουν για αυτά. Τα κυριότερα ζητήματα λοιπόν που απασχολούν την πλειονότητα των αγοραστών είναι η κατεύθυνση στην οποία κινείται η δημοπρασία, η τάση των συνυποψήφιων αγοραστών και η τιμή στην οποία το προϊόν πρόκειται να κλείσει, προκειμένου να επιλέξουν την δημοπρασία που θα συμμετάσχουν. Είναι πολύ σημαντικό για έναν αγοραστή να ξέρει εκ των προτέρων την πορεία της δημοπρασίας και πού περίπου θα κυμανθεί η τελική τιμή του προϊόντος, προκειμένου να εφαρμόσει την στρατηγική του για την απόκτηση του αντικειμένου που επιθυμεί. Επίσης, η γνώση της περιοχής όπου θα κυμανθεί η τελική τιμή του προϊόντος είναι χρήσιμη για τις εταιρίες που διαλέγουν τις πιο προσοδοφόρες δημοπρασίες για τους πελάτες τους, για τους πράκτορες που τοποθετούν προσφορές τελευταίας στιγμής (για να υπάρχει ελάχιστη πιθανότητα αντίδρασης από τους άλλους αγοραστές) και τέλος για τους πωλητές των προϊόντων που έχουν την δυνατότητα να πουλήσουν το αντικείμενο πριν τελειώσει η δημοπρασία. Ταυτόχρονα, επειδή η ηλεκτρονική δημοπρασία είναι στην ουσία μια συναλλαγή μεταξύ των ανθρώπων (έστω και αν οι υποψήφιοι αγοραστές μπορεί να είναι σε διαφορετικές χώρες), η τιμή στην οποία θα κλείσει το προϊόν είναι τυχαία και η όποια πρόβλεψη της τελικής τιμής είναι επισφαλής. Εξάλλου τα προϊόντα στις δημοπρασίες κοστίζουν τόσα χρήματα, όσα είναι διατεθειμένοι οι αγοραστές να δώσουν για αυτά. Και ενώ η κλασική θεωρία των δημοπρασιών έχει μελετηθεί πάρα πολύ, η ηλεκτρονική υλοποίηση του μηχανισμού των δημοπρασιών θέτει καινούρια και γεμάτα πρόκληση ερευνητικά θέματα. Οι έως τώρα μελέτες στις κλασικές

10 10 δημοπρασίες έχουν περιοριστεί σε εμπειρικό επίπεδο καθώς αποφεύγονταν η εμπλοκή στατιστικών πειραμάτων, λόγω του περιορισμένου αριθμού σε δεδομένα. Αυτό που συμβαίνει είναι ότι, με την έκρηξη του ενδιαφέροντος για τις ηλεκτρονικές δημοπρασίες, υπάρχει όλο και μεγαλύτερη πρόσβαση σε δεδομένα τα οποία είναι διαθέσιμα προς τους χρήστες από τις διάφορες εταιρίες ηλεκτρονικών δημοπρασιών. Οι τελευταίες έρευνες καταδεικνύουν μάλιστα ότι υπάρχει μεγάλη ανάγκη για περαιτέρω έρευνα της ηλεκτρονικής υλοποίησης των δημοπρασιών, καθώς η κλασική θεωρία τους δείχνει να μην μπορεί να επεκταθεί με επιτυχία στις on-line δημοπρασίες. Η πρόβλεψη της τιμής κλεισίματος και ομαδοποίηση των δεδομένων με τα παραδοσιακά μοντέλα πρόβλεψης δείχνει να μην είναι επιτυχής για τους εξής λόγους: Τα διαστήματα των προσφορών δεν είναι ίδια. Οι δημοπρασίες έχουν συγκεκριμένο χρόνο κλεισίματος. Η δυναμική των προσφορών αλλάζει δραματικά με την πάροδο του χρόνου. Η ανωνυμία του διαδικτύου και η μεγαλύτερη διάρκεια των δημοπρασιών (μέχρι και δέκα μέρες) μπορούν να συμβάλουν στην απόκλιση από τα συμπεράσματα που καταλήγει η κλασική θεωρία αυτών. 1.2 Στόχος της διπλωματικής εργασίας Ο σκοπός της διπλωματικής εργασίας είναι να προσεγγίσει τις ηλεκτρονικές δημοπρασίες πέρα από την σκοπιά των παραδοσιακών μοντέλων και να προσπαθήσει να προβλέψει την πορεία τους, ώστε οι χρήστες να γνωρίζουν από πριν και κατά την διάρκεια μιας δημοπρασίας την τελική έκβασή της, δηλαδή, πού θα κυμανθεί η τιμή κλεισίματος. Αυτό θα πραγματωθεί με την

11 11 αξιολόγηση των ιδιαίτερων χαρακτηριστικών τους που μπορούν να εξαχθούν δυναμικά κατά την διάρκεια της δημοπρασίας. Με την βοήθεια της εφαρμογής που θα αναπτυχθεί, θα δημιουργηθεί μια βάση από δημοπρασίες που προέρχονται από το ebay, τον πιο διαδεδομένο από τους δικτυακούς τόπους ηλεκτρονικών δημοπρασιών, στην οποία θα επιχειρηθεί να βρεθούν οι δυναμικές παράμετροι που θα επιτρέψουν μια ασφαλή πρόβλεψη για την τελική τιμή του αντικειμένου της δημοπρασίας με την βοήθεια μιας σειράς αλγορίθμων τους οποίους και θα αξιολογήσει. Η πρόβλεψη της πορείας αυτής μπορεί να είναι χρήσιμη τόσο για τον πωλητή, όσο και για τον αγοραστή, ή ακόμα και για τον «δικτυακό οίκο» δημοπρασιών. Κεντρικός στόχος όμως παραμένει να δύναται ο χρήστης αγοραστής να προβλέπει το πεδίο τιμών στο οποίο θα οδηγηθεί η τελική τιμή μιας δημοπρασίας και να επιλέξει την πιο συμφέρουσα για αυτόν από τις εν εξελίξει δημοπρασίες. 1.3 Μεθοδολογία της διπλωματικής εργασίας Για την απόκτηση δεδομένων ηλεκτρονικών δημοπρασιών, αναπτύχθηκε μια εφαρμογή που εξάγει τα δεδομένα από τον δικτυακό τόπο του ebay, ο οποίος επιλέχθηκε γιατί έχει ευρεία αποδοχή από τους χρήστες και ο αριθμός των δεδομένων που προσφέρει είναι ικανοποιητικά μεγάλος. Η εφαρμογή Auction Live Updater αναπτύχθηκε σε Java, ενώ η επεξεργασία των δεδομένων για την πρόβλεψη της τελικής τιμής έγινε με την βοήθεια ειδικών βιβλιοθηκών που προσφέρονται από το πακέτο Weka. Σε ορισμένα διακριτά χρονικά σημεία κατά την εξέλιξη της δημοπρασίας γίνεται μια προσπάθεια να προβλεφθεί η τελική της τιμή, ώστε ο τελικός χρήστης να γνωρίζει εκ των προτέρων την εξέλιξή της καθώς και την πιθανότητα η τελική τιμή της να είναι μέσα σε κάποια όρια.

12 Δομή της διπλωματικής εργασίας Στο κεφαλαίο 2 παρουσιάζονται γενικότερα στοιχεία για τις δημοπρασίες, πληροφορίες για το πώς λειτουργεί ο δικτυακός τόπος του ebay και καταγράφονται οι σχετικές έρευνες που έχουν γίνει στον τομέα της πρόβλεψης των ηλεκτρονικών δημοπρασιών. Στο κεφάλαιο 3 γίνεται ειδική αναφορά στους αλγορίθμους πρόβλεψης, τα πλεονεκτήματά τους, τις κατηγορίες τους, καθώς και βασικά στοιχεία της λειτουργίας τους, ενώ δίνονται και λεπτομέρειες για τους αλγορίθμους που τελικά χρησιμοποιήθηκαν. Στο κεφάλαιο 4 αναλύεται η εφαρμογή που αναπτύχθηκε για τη συλλογή των δεδομένων ηλεκτρονικών δημοπρασιών. Στο κεφάλαιο 5 παρουσιάζονται τα πειράματα που διεξήχθησαν στο σύνολο των δεδομένων, γίνεται η αξιολόγηση των αλγορίθμων που χρησιμοποιήθηκαν, ενώ παρουσιάζονται και κάποια συμπεράσματα σχετικά με τα αντικείμενα δημοπρασιών στα οποία διεξήχθη η έρευνα. Τέλος, στο κεφάλαιο 6 συγκεντρώνονται τα συμπεράσματα της εργασίας, καθώς και τρόποι για την αξιοποίησή τους.

13 13 2 ΗΛΕΚΤΡΟΝΙΚΕΣ ΔΗΜΟΠΡΑΣΙΕΣ 2.1 Ο κόσμος των δημοπρασιών Γενικά Δημοπρασία είναι η διαδικασία διαπραγμάτευσης αγαθών, που διατίθενται από πωλητές προς υποψήφιους αγοραστές, οι οποίοι καταθέτουν προσφορές που προτίθενται να ικανοποιήσουν. Το προσφερόμενο αγαθό καταλήγει στους υποψήφιους αγοραστές που κατέθεσαν την καλύτερη προσφορά. Οι δημοπρασίες είναι στην ουσία μία μέθοδος διαπραγμάτευσης, παλιά όσο και το ίδιο το εμπόριο, αφού οι έμποροι πάντα προτιμούσαν τις αγορές όπου τα προϊόντα τους θα πωλούνταν σε υψηλότερες τιμές. Η παλαιότερη αναφορά για δημοπρασίες, όπως τις γνωρίζουμε σήμερα, αφορά το 500 π.χ. περίπου, στην Βαβυλώνα, όπου τα έθιμα επέτρεπαν στους άντρες την ανεύρεση συζύγου μόνο μέσω πλειοδοτικού διαγωνισμού. Για τις ομορφότερες τουλάχιστον, αφού για τις λιγότερες επιθυμητές η προσφορά θα μπορούσε να είναι και αρνητική. Οι λόγοι που οδήγησαν στην ανάπτυξη αυτής της μεθόδου είναι προφανείς. Ο πωλητής θέτει στους υποψήφιους αγοραστές το αγαθό που διαθέτει προς

14 14 πώληση και οι ενδιαφερόμενοι μπορούν να το διεκδικήσουν, ο καθένας για τον εαυτό του. Με αυτόν τον τρόπο, ευνοείται ασφαλώς ο αγοραστής, αφού μαθαίνει ότι υπάρχει ένα προϊόν που μπορεί να τον ενδιαφέρει και είναι σε θέση να το διεκδικήσει επί ίσοις όροις με τους άλλους υποψήφιους αγοραστές. Ευνοείται κυρίως όμως ο πωλητής, αφού μπορεί να γνωστοποιήσει σε ένα ευρύ φάσμα υποψήφιων αγοραστών το προς διάθεση προϊόν και μπορεί να πετύχει μια συμφέρουσα για αυτόν τιμή. Όταν μάλιστα τα προσφερόμενα αγαθά δε μπορούν να καλύψουν τη ζήτηση, τότε η δημοπρασία εξασφαλίζει στον πωλητή τη μέγιστη δυνατή τιμή. Ειδικά σε περιπτώσεις μοναδικών αντικειμένων, όπως συμβαίνει με τα έργα τέχνης, με συλλεκτικά αντικείμενα, ή και γενικότερα σε αντικείμενα των οποίων η τιμή είναι υποκειμενική, η δημοπρασία είναι ο πιο ενδεδειγμένος τρόπος να πωληθούν Κατηγορίες δημοπρασιών Το πιο συνηθισμένο μοντέλο δημοπρασιών είναι αυτό στο οποίο υπάρχει ο πωλητής που διαθέτει ένα αντικείμενο (ή ομάδα αντικειμένων) σε διάφορους αγοραστές, οι οποίοι με τη σειρά τους δηλώνουν τα χρήματα που προσφέρουν για αυτό και τελικά ο αγοραστής που θέτει τη μεγαλύτερη προσφορά κερδίζει την δημοπρασία και το αντικείμενο που διατίθεται. Αυτή είναι ο πιο γνωστός και διαδεδομένος τύπος δημοπρασίας, που ονομάζεται Αγγλικός. Υπάρχουν όμως και δημοπρασίες με τελείως διαφορετικούς ρόλους και διαδικασίες, όπως η δημοπράτηση δημοσίων έργων (όπου οι συμμετέχοντες στη δημοπρασία κάνουν προσφορά για τα χρήματα που θα λάβουν ως αμοιβή για να διεκπεραιώσουν το έργο) ή η δημοπρασία δεύτερης προσφοράς.

15 15 Παρακάτω βλέπουμε τις κυριότερες κατηγορίες δημοπρασιών. Απλές δημοπρασίες ενός αντικειμένου (Αγγλική δημοπρασία): Όπως είπαμε το πιο διαδεδομένο είδος δημοπρασίας. Στο είδος αυτό ο πωλητής ξεκινάει με την κατώτατη αποδεκτή τιμή πώλησης (starting price) και δέχεται φανερές προσφορές από τους υποψήφιους αγοραστές (εξ ου και ο όρος 'δημοπρασία κραυγής'), συνεχώς αυξανόμενες (εξ ου και ο όρος 'δημοπρασία αυξανόμενης τιμής'). Η δημοπρασία διεξάγεται για ορισμένο χρονικό διάστημα και νικητής ανακηρύσσεται ο τελευταίος που έκανε προσφορά (που προφανώς είναι και η μεγαλύτερη). Ο πωλητής μπορεί να καθορίσει την τιμή κάτω από την οποία δεν επιθυμεί να πουληθεί το αντικείμενο. Η καλύτερη στρατηγική για τους υποψήφιους αγοραστές είναι η κατάθεση προσφοράς λίγο πριν το κλείσιμο της δημοπρασίας προκειμένου οι υπόλοιποι αγοραστές να έχουν πολύ μικρή πιθανότητα αντίδρασης. Δημοπρασίες ξαφνικού θανάτου (Δημοπρασίες Ολλανδικού τύπου): Πρόκειται για δημοπρασίες στην οποία ο πωλητής καθορίζει μια αρχική τιμή εκκίνησης (υπέρ-εκτιμημένη), πιθανώς μια ελάχιστη τιμή πώλησης και τον ρυθμό που η τιμή της δημοπρασίας θα μειώνεται ανά ώρα. Η δημοπρασία είναι ενός ή και περισσότερων αντικειμένων και καθένας που προλαβαίνει να κάνει προσφορά πριν εξαντληθούν τα διαθέσιμα τεμάχια ή λήξει η δημοπρασία, αυτομάτως κερδίζει αυτό που ζήτησε. Εξαιτίας του γεγονότος της σταδιακής μείωσης της τιμής που έχει η δημοπρασία, συνεχώς υπάρχει δίλημμα για το χρόνο που πρέπει να χτυπήσει κανείς αφού όσο πιο αργά το κάνει τόσο πιο φτηνά θα αγοράσει, κάτι όμως που ενέχει τον κίνδυνο να πλειοδοτήσει κάποιος άλλος. Δημοπρασία ενός χτυπήματος ή δημοπρασία σφραγισμένων προσφορών υψηλότερης τιμής: Στην δημοπρασία αυτή, στην οποία δημοπρατείται ένα αντικείμενο, ο πωλητής καθορίζει μόνο την αρχική τιμή εκκίνησης. Οι υποψήφιοι αγοραστές

16 16 κάνουν προσφορές, υποχρεωτικά μεγαλύτερες της τιμής εκκίνησης αλλά κάθε υποψήφιος αγοραστής μπορεί να κάνει μία (και μόνο μία) προσφορά, κατά την διάρκεια της δημοπρασίας. Όλες οι προσφορές παραμένουν κρυφές, μέχρι η δημοπρασία να τελειώσει και μόνο ο ιδιοκτήτης έχει γνώση για τις προσφορές που έχουν γίνει. Το ενδιαφέρον στο είδος αυτής της δημοπρασίας έγκειται στο γεγονός ότι ο υποψήφιος αγοραστής πρέπει να κάνει πραγματικά την μεγαλύτερη προσφορά στην οποία είναι διατεθειμένος να αγοράσει το αντικείμενο και ταυτόχρονα να είναι και ευνοϊκή για αυτόν, αφού δεν θα έχει άλλη ευκαιρία να κάνει προσφορά. Σε αυτό το πρωτόκολλο δημοπρασίας δεν υπάρχει κυρίαρχη στρατηγική. Οι αγοραστές υποβάλλουν προσφορές για την απόκτηση του αντικειμένου με βάση την δική τους γνώμη για την αξία του, σε συνάρτηση πάντα με το ύψος των προσφορών που πιστεύουν ότι υπέβαλαν οι άλλοι υποψήφιοι αγοραστές. Μια καλή στρατηγική είναι η υποβολή μίας προσφοράς μικρότερης της αξίας που αποδίδει ο αγοραστής στο προϊόν, αλλά το πόσο μικρότερη εξαρτάται από το περιθώριο ρίσκου του. Δημοπρασία σφραγισμένων προσφορών δεύτερης τιμής (Vickrey): Αυτό το πρωτόκολλο δημοπρασίας ακολουθεί τη διαδικασία υποβολής των δημοπρασιών σφραγισμένων προσφορών υψηλότερης τιμής. Ο αγοραστής με τη μεγαλύτερη προσφορά κερδίζει το προϊόν, αλλά το ποσό που θα καταβάλει για την απόκτησή του είναι ίσο με την προσφορά του δεύτερου κατά σειρά υψηλότερου πλειοδότη. Η καλύτερη στρατηγική για τις δημοπρασίες Vickrey είναι η υποβολή προσφοράς ίσης με την αξία που αποδίδει ο αγοραστής στο προϊόν. Δημοπρασία χιονοστιβάδας: Στην δημοπρασία αυτή υλοποιείται ο μηχανισμός της χονδρικής πώλησης. Όπως όλοι ξέρουμε, αν αγοράσουμε μεγάλη ποσότητα αντικειμένων, μπορούμε να επιτύχουμε καλύτερη τιμή ανά μονάδα προϊόντος (χονδρική αντί λιανικής). Το πρόβλημα είναι ότι δύσκολα οι μεμονωμένοι χρήστες μπορούν

17 17 να αγοράσουν μεγάλες ποσότητες, αφού τις περισσότερες φορές δεν τις χρειάζονται. Με το είδος της δημοπρασίας αυτής, πολλοί μεμονωμένοι αγοραστές συγκροτούν μια ομάδα, η οποία προσπαθεί, αγοράζοντας πολλά όμοια αντικείμενα να πετύχει καλύτερη τελική τιμή πώλησης από τον πωλητή. Ο πωλητής των αντικειμένων καθορίζει την αρχική τιμή πώλησης καθώς και τα επίπεδα αγορών στα οποία η τιμή ανά μονάδα μειώνεται. Για παράδειγμα μπορεί να καθορίσει αρχική τιμή πώλησης τα 100, ενώ αν αγορασθούν πάνω από 10 αντικείμενα η τιμή αυτή γίνεται 95, αν αγορασθούν πάνω από 20 αντικείμενα γίνεται 90 κ.ο.κ. Τελικά κερδισμένοι βγαίνουν τόσο οι αγοραστές, αφού λειτουργώντας σαν ομάδα πετυχαίνουν καλύτερη τελική τιμή όσο και ο πωλητής, αφού διαθέτει μαζικά πολλά αντικείμενα. Στη δημοπρασία μπορούν να ορισθούν και άλλες παράμετροι, όπως η απόκρυψη χρηστών. Ανοιχτές δημοπρασίες: Μια κατηγορία δημοπρασιών που έχει αρχίσει να εφαρμόζεται τελευταία είναι οι δημοπρασίες ανοιχτού τύπου, κατά τις οποίες πωλείται ένα μόνο αντικείμενο. Ο πωλητής ορίζει την αρχική τιμή εκκίνησης και η διαδικασία ξεκινάει. Η δημοπρασία ακολουθεί ακριβώς τους ίδιους κανόνες με την δημοπρασία Αγγλικού τύπου. Το σημείο διαφοροποίησης του είδους αυτού είναι ότι ο πωλητής δεν υποχρεώνεται μετά το τέλος της δημοπρασίας να πουλήσει το αντικείμενο στον μεγαλύτερο πλειοδότη. Είναι στην διακριτική του ευχέρεια αν τελικά θα αποφασίσει κάτι τέτοιο ή όχι. Αν το αποφασίσει θα πρέπει να επισκεφθεί την σελίδα προσφορών της δημοπρασίας και να αποδεχθεί την προσφορά πατώντας κατάλληλο εικονίδιο που εμφανίζεται δίπλα από το αναγνωριστικό του μεγαλύτερου πλειοδότη. Πολλοί λόγοι συνηγορούν στην ύπαρξη μιας τέτοιου είδους δημοπρασίας.

18 18 Χαρακτηριστικά αναφέρουμε: 1. Πολλές φορές ο πωλητής δεν γνωρίζει επακριβώς πόσο θα ήταν διατεθειμένοι να πληρώσουν οι πιθανοί αγοραστές. Έτσι βάζοντας στα τυφλά μια συγκεκριμένη τιμή εκκίνησης πολλές φορές τους αποτρέπει ακόμα και να κάνουν προσφορά. Παρόλα αυτά, θα μπορούσε να είναι ικανοποιημένος τελικά και με μια χαμηλότερη τιμή αγοράς. Σε μια απλή δημοπρασία όμως δεν μπορεί να καταλάβει επακριβώς τις διαθέσεις των αγοραστών (ακόμα και αν κρύψει την ελάχιστη τιμή, η ψυχολογία που ισχύει στην απλή δημοπρασία με ύπαρξη ελάχιστης τιμής πώλησης είναι τελείως διαφορετική). 2. Δημιουργείται ένα κλίμα ελευθερίας προσφορών που είναι δυνατό να δείξει στον πωλητή ποια η πραγματική τιμή πώλησης του αντικειμένου και αν όντως υπάρχει ενδιαφέρον για τη δημοπρασία του. 3. Ευκολότερη αποτύπωση της πραγματικής αξίας των αντικειμένων στην ελεύθερη αγορά. 4. Δυνατότητα χρήσης αυτού του είδους δημοπρασίας από πωλητές που πωλούν τα ίδια αντικείμενα ταυτόχρονα σε διαφορετικά κανάλια πώλησης και επομένως αυξημένη πιθανότητα να έχουν βρει αγοραστές στο τέλος της δημοπρασίας Παράμετροι δημοπρασιών Τιμή Εκκίνησης (Opening Price): Είναι η τιμή που ορίζει ο διοργανωτής όταν ξεκινά η δημοπρασία. Αντιπροσωπεύει είτε τον προϋπολογισμό της προμήθειας, είτε μια σωστή εκτίμηση για τον μέσο όρο της αγοράς. Κάθε προσφορά πρέπει να είναι μεγαλύτερη από την τιμή ανοίγματος

19 19 Επιδιωκόμενη Τιμή (Reserved Price): Είναι η ελάχιστη (ή μέγιστη τιμή σε περίπτωση πλειοδοτικών δημοπρασιών) που πρέπει να επιτευχθεί για να αποδεχτεί ο διοργανωτής το αποτέλεσμα της δημοπρασίας. Ο διοργανωτής την χρησιμοποιεί προαιρετικά. Δεν εμφανίζεται στους συμμετέχοντες. Βήμα δημοπρασίας (bid increment): Είναι το ελάχιστο ποσό βελτίωσης μιας προσφοράς. Ορίζεται με γνώμονα την τιμή ανοίγματος και την επιδιωκόμενη τιμή ή και το μέγεθος της προσωρινής τιμής, για τις ανοιχτές δημοπρασίες. Διάρκεια δημοπρασίας-παράταση: Η διάρκεια της δημοπρασίας (χρόνος έναρξης και λήξης) καθορίζεται από τον διοργανωτή ή τον πωλητή. Υπάρχει η δυνατότητα αυτόματης παράτασης, η οποία καθορίζεται πριν την έναρξη της δημοπρασίας. Σκοπός της παράτασης είναι να δίνεται στους συμμετέχοντες η δυνατότητα να υποβάλουν βελτιωμένη προσφορά όταν παρουσιαστεί καλύτερη προσφορά από τη δική τους στα τελευταία δευτερόλεπτα της δημοπρασίας. Αυτό ευνοεί τόσο τους συμμετέχοντες γιατί έχουν επιπλέον χρόνο να αντιδράσουν, όσο και τους διοργανωτές γιατί πετυχαίνουν καλύτερες τιμές. Documents, multimedia: Ο διοργανωτής μπορεί να επισυνάψει αρχεία (κείμενο προκήρυξης, προδιαγραφές, όρους του διαγωνισμού, κλπ.) ή πολυμέσα (φωτογραφίες, video) για τη σαφέστερη παρουσίαση των υλικών ή υπηρεσιών που δημοπρατούνται. Τιμή κλεισίματος (Closing price): Είναι η τιμή στην οποία θα δοθεί το αντικείμενο σε εκείνον τον αγοραστή ο οποίος κατάθεσε την μεγαλύτερη προσφορά.

20 Ηλεκτρονικές δημοπρασίες Με την έξαρση του διαδικτύου, δεν άργησαν να αναπτυχθούν και οι ηλεκτρονικές δημοπρασίες, που αποτελούν ουσιαστικά την προέκταση των κλασικών δημοπρασιών σε αυτό. Είναι ένας άμεσος τρόπος σύνδεσης υποψηφίων αγοραστών και πωλητών, που λειτουργούν με τον ίδιο τρόπο και στα ίδια πλαίσια με τις φυσικές δημοπρασίες, με τη διαφορά ότι τα πρόσωπα που εμπλέκονται δεν χρειάζεται να βρίσκονται σε έναν φυσικό χώρο. Ούτε καν στην ίδια πόλη, χώρα ή και ήπειρο. Αυτές ακολουθούν τους ίδιους γενικά κανόνες που υπάρχουν και στις φυσικές δημοπρασίες. Οι πωλητές ενημερώνουν για τα προϊόντα που διαθέτουν προς πώληση και οι υποψήφιοι αγοραστές κάνουν τις προσφορές τους. Ο υποψήφιος αγοραστής με την καλύτερη προσφορά κερδίζει το αντικείμενο. Υπάρχουν όμως φυσικά και σημαντικές διαφορές, που κάποιες ευνοούν και κάποιες αποθαρρύνουν τόσο τους πωλητές όσο και τους αγοραστές να συμμετέχουν σε αυτές. Φυσικά η διαφορά (σε τάξεις μεγέθους) μεταξύ των ηλεκτρονικών και των φυσικών δημοπρασιών, που πραγματοποιούνται σήμερα, δείχνει ότι οι ηλεκτρονικές επιλέγονται πολύ περισσότερο ως προς τον αριθμό τόσο των δημοπρατηθέντων αντικειμένων, όσο και των ανθρώπων που συμμετέχουν. Πιο συγκεκριμένα, οι ηλεκτρονικές δημοπρασίες υπερέχουν στα εξής σημεία: Όπως έχει ήδη ειπωθεί, οι αγοραστές και οι πωλητές μπορούν να συμμετέχουν πολύ εύκολα από το σπίτι τους, κάτι που τους δίνει μεγαλύτερη άνεση να πραγματοποιήσουν την συναλλαγή σε λιγότερο χρόνο. Δεν απαιτούν τη συνεχή συμμετοχή των χρηστών και έτσι μπορούν να διαρκούν πολλές ώρες ή και μέρες, δίνοντας την ευκαιρία σε περισσότερους αγοραστές να συμμετέχουν στη δημοπρασία ενός αντικειμένου

21 21 Δεν υπάρχει ουσιαστικός περιορισμός στον αριθμό των δημοπρασιών που μπορούν να διαδραματίζονται ταυτόχρονα, οπότε ο πωλητής μπορεί, οποιαδήποτε στιγμή επιλέξει, να θέσει το αντικείμενο του, ενώ ο αγοραστής μπορεί να επιλέξει το αντικείμενο που επιθυμεί από μια μεγάλη ποικιλία, οποιαδήποτε στιγμή το αναζητήσει. Αυτό γίνεται με τους σύγχρονους τρόπους αναζήτησης που προσφέρουν οι ιστοσελίδες ηλεκτρονικών δημοπρασιών, πολύ γρήγορα και εύκολα. Ειδικά για συγκεκριμένο προϊόν, έχει την δυνατότητα να επιλέξει να συμμετάσχει, ανάμεσα σε δημοπρασίες που γίνονται παράλληλα, σε αυτή που θεωρεί ότι τον συμφέρει ή και σε περισσότερες από μία. Λόγω της ευκολίας με την οποία διεκπεραιώνονται οι δημοπρασίες, το κόστος είναι πολύ μικρότερο για τον πωλητή (και σχεδόν μηδαμινό για τον πάροχο της υπηρεσίας) και έτσι μπορούν να τεθούν σε δημοπρασία κάθε είδους προϊόντα, άσχετα από την αντικειμενική αξία τους σε επίπεδο λιανικής αγοράς. Το σύστημα αξιολόγησης των χρηστών δίνει μια εύκολη και σίγουρη αξιολόγηση της συμπεριφοράς τους, εξασφαλίζοντας ότι οι αξιόπιστοι χρήστες θα έχουν καλή φήμη Από την άλλη όμως: Οι αγοραστές δε μπορούν να έχουν ολοκληρωμένη εικόνα των αντικειμένων. Δε μπορούν να έρθουν σε φυσική επαφή με αυτά και δεν είναι σε θέση να ξέρουν την κατάσταση και την λειτουργικότητα τους. Τα έξοδα μεταφοράς, τα οποία επιβαρύνουν τον αγοραστή, είναι σημαντικά, ειδικά όταν ο αγοραστής απέχει πολύ από τον πωλητή και σε κάποια προϊόντα συγκρίσιμα με την τελική τιμή αγοράς. Ο τρόπος διεκπεραίωσης αφήνει περιθώρια για εκμετάλλευση από κακόβουλους χρήστες. Η περιγραφή των αντικειμένων μπορεί να είναι παραπλανητική, η αποστολή μπορεί να μη διεκπεραιωθεί ποτέ, ενώ πολλών ειδών απάτες έχουν επινοηθεί εις βάρος των υπολοίπων χρηστών. Η

22 22 αξιολόγηση των χρηστών είναι ένα χρήσιμο εργαλείο για την ελαχιστοποίηση του κινδύνου, αλλά πάντα δημιουργούνται προβλήματα. Οι χρήστες μπορούν να ανεβάσουν την αξιολόγησή τους γρήγορα πουλώντας αντικείμενα μικρής αξίας, ενώ οι νέοι χρήστες θεωρούνται εξ ορισμού αναξιόπιστοι, αφού ξεκινούν από το μηδέν. 2.2 Ο δικτυακός τόπος του ebay Βασικά στοιχεία του ebay Ο μεγαλύτερος, πιο γνωστός και πιο πετυχημένος ιστότοπος ηλεκτρονικών δημοπρασιών δεν είναι άλλος από το ebay ( Ιδρύθηκε το 1995 και ουσιαστικά είναι ένας τόπος όπου ο καθένας μπορεί να πουλήσει σχεδόν οτιδήποτε στον οποιονδήποτε. Έχει άμεση παρουσία στην αγορά 39 χωρών και 266 εκατομμύρια εγγεγραμμένα μέλη, αλλά, στην ουσία, τις υπηρεσίες του μπορεί να τις χρησιμοποιήσει οποιοσδήποτε έχει πρόσβαση στο διαδίκτυο. Το τελευταίο τετράμηνο του 2007 τέθηκαν προς πώληση μέσω του ebay περισσότερα από 637 εκατομμύρια αντικείμενα ενώ αυτά που πουλήθηκαν είχαν συνολική αξία άνω των 16,1 δισεκατομμυρίων δολαρίων (το 46% αυτών στις ΗΠΑ). Ουσιαστικά κάθε δευτερόλεπτο, πωλούνται προϊόντα αξίας $USD από τις κατηγορίες προϊόντων που φιλοξενεί. Μεγαλύτερη κίνηση (από οικονομική πλευρά) υπάρχει στην αγορά μοτοσικλετών, οικιακών συσκευών και υπολογιστών [1]. Στο ebay βέβαια, εκτός από τις δημοπρασίες, φιλοξενούνται πωλητές που θέλουν να διαθέσουν τα προϊόντα τους σε συγκεκριμένες τιμές αλλά και ολόκληρες επιχειρήσεις λειτουργούν αποκλειστικά μέσα από αυτό. Πως όμως πραγματοποιούνται συναλλαγές στο ebay; Αρχικά θα πρέπει να πραγματοποιήσει ο αγοραστής την εγγραφή του στο ebay. Η εγγραφή

23 23 περιλαμβάνει την εισαγωγή του ονόματος και της διεύθυνσής του, καθώς και την επιλογή του ebay ID με το οποίο θα είναι γνωστός στην κοινότητα των δημοπρασιών. Αφού κάνει log-in στο σύστημα με το ID του μπορεί να ανακαλύψει κάποιο αντικείμενο που θέλει να αποκτήσει. Η αναζήτηση μπορεί να γίνει εύκολα μέσω των κατηγοριών που υπάρχουν και καλύπτουν όλα τα πεδία. Αν αναζητεί κάτι πιο εξεζητημένο, μπορεί να πραγματοποιήσει έρευνα θέτοντας κάποια κριτήρια. Αυτά μπορούν να αφορούν φυσικά πεδίο τιμών και κάποια άλλα χαρακτηριστικά που θα περιορίσουν τον αριθμό των αντικειμένων, που θα εμφανιστούν στην ιστοσελίδα. Αν θέλει να γίνει πωλητής θα πρέπει να πραγματοποιήσει μια επιπλέον εγγραφή. Σε αυτή θα κληθεί να δώσει στοιχεία, όπως είναι για παράδειγμα η πιστωτική του κάρτα. Σπουδαίο ρόλο στην πορεία της πώλησής του διαδραματίζει και η παρουσίαση του αντικειμένου του. Αν είναι εφικτό, καλό είναι να υπάρχει φωτογραφία και επίσης μια λεπτομερής περιγραφή του με αναφορά σε τυχόν προβλήματα λειτουργίας Η διαδικασία δημοπρασίας στο ebay Ο κυριότερος τύπος δημοπρασιών που χρησιμοποιείται από το ebay είναι ένας συνδυασμός των δημοπρασιών σφραγισμένων προσφορών δεύτερης τιμής (Vickrey) και της δημοπρασίας Αγγλικού Τύπου, ενώ ενισχύεται και από την τεχνική του proxy bidding (αυτόματη υποβολή προσφορών). Αρχικά ο πωλητής θέτει τις αρχικές παραμέτρους της δημοπρασίας, όπως η αρχική τιμή και η διάρκειά της, και ενημερώνει ότι αυτή μπορεί να ξεκινήσει. Οι αγοραστές μπορούν οποιαδήποτε στιγμή θέλουν να κάνουν την προσφορά τους. Όπως και στις δημοπρασίες Vickrey, η τρέχουσα τιμή του προϊόντος δεν είναι η μεγαλύτερη προσφορά του πλειοδότη της συγκεκριμένης χρονικής στιγμής, αλλά η δεύτερη μεγαλύτερη, αυξημένη μάλιστα εδώ, κατά το ελάχιστο βήμα της δημοπρασίας. Την πραγματική προσφορά του πλειοδότη δεν την γνωρίζει κανείς.

24 24 Ένας άλλος υποψήφιος αγοραστής μπορεί να δώσει μια νέα προσφορά, μεγαλύτερη της τρέχουσας τιμής. Στην περίπτωση που η νέα αυτή προσφορά δεν είναι μεγαλύτερη της πραγματικής προσφοράς του πλειοδότη, τότε αυτόματα, προσαρμόζεται η προσφορά του (του πλειοδότη) κατά ένα βήμα μεγαλύτερο της νέας προσφοράς. Στην περίπτωση που είναι μεγαλύτερη, η τρέχουσα τιμή προσαρμόζεται κατά ένα βήμα μεγαλύτερη της πραγματικής προσφοράς του μέχρι εκείνη την στιγμή πλειοδότη. Για παράδειγμα. Ένα προϊόν έχει αρχική τιμή 10$. Στο επίπεδο τιμών αυτό, έστω ότι το ελάχιστο βήμα της δημοπρασίας είναι 1$. Ο αγοραστής Α κάνει μια προσφορά 20$. Η τρέχουσα τιμή ορίζεται αυτόματα από το ebay στα 11$ υπέρ του. Αν ο αγοραστής Β, κάνει μετά μια προσφορά 15$, τότε ο Α παραμένει πλειοδότης, και η τρέχουσα τιμή γίνεται 16$ υπέρ του. Αν ο αγοραστής Γ θέσει προσφορά 25$, τότε η τρέχουσα τιμή ορίζεται στα 21$ υπέρ του Γ που τώρα ποια είναι ο νέος πλειοδότης. Στην περίπτωση που ο Γ αντί για 25$ είχε θέσει προσφορά 20$, η τρέχουσα τιμή θα πήγαινε στα 20$ υπέρ του Α, επειδή την είχε καταθέσει νωρίτερα από τον Γ. Όταν η δημοπρασία κλείνει, ο πλειοδότης κερδίζει το αντικείμενο, όχι στην προσφορά που έκανε, αλλά στην τρέχουσα τιμή τη στιγμή του τέλους (αν και όπως φαίνεται δεν αποκλείεται η τρέχουσα τιμή να συμπίπτει με την προσφορά του). Στο Σχήμα 2.1 παρουσιάζεται το ιστορικό μιας δημοπρασίας όπως εμφανίζεται στο ebay. Σε αυτήν την σελίδα επίσης παρέχονται διάφορες πληροφορίες σχετικά με την δημοπρασία, όπως είναι: η περιγραφή του αντικειμένου, το ID του αντικειμένου, ο χρόνος εκκίνησης της δημοπρασίας, ο χρόνος κλεισίματος και το πόσες φορές έχουν συμμετάσχει οι αγοραστές σε δημοπρασίες. Πρέπει να τονιστεί ότι οι προσφορές είναι κατανεμημένες κατά ύψος ελάχιστης προσφοράς και όχι χρονολογικά. Η ύπαρξη των proxy bids

25 25 είναι αυτή που δημιουργεί χρονοσειρές οι οποίες δεν έχουν απαραίτητα μονοτονική αύξηση κατά την πάροδο του χρόνου. Όπως ήδη ειπώθηκε, η τρέχουσα τιμή της δημοπρασίας που φαίνεται στο ebay είναι η δεύτερη υψηλότερη προσφορά (προστιθέμενης και του βήματος της δημοπρασίας) και στην ουσία αυτή χρησιμοποιούν οι υποψήφιοι αγοραστές για να σχεδιάσουν την επόμενη κίνησή τους. Έτσι όμως, προστατεύονται οι χρήστες από μεθόδους snipping. Όπως συμβαίνει και στις φυσικές δημοπρασίες όπου υπάρχει χρονικό όριο, κάποιοι αγοραστές περιμένουν κυριολεκτικά την τελευταία στιγμή για να κάνουν προσφορά, ώστε να μην αφήσουν περιθώριο στους υπόλοιπους να κάνουν αντιπροσφορά. Με την διαδικασία όμως αυτή, ο επίδοξος snipper καλείται όχι μόνο να θέσει την προσφορά του στην τελευταία στιγμή (κάτι που δεν είναι δύσκολο με τα μέσα που μπορεί να διαθέτει κάποιος στον υπολογιστή του) αλλά να μαντέψει και ποια είναι η πραγματική προσφορά του πλειοδότη. Το τέλος της δημοπρασίας στο Σχήμα2-1 ήταν στις 07:38:26 PST. Όπως φαίνεται, η μέθοδος snipping δεν παύει να χρησιμοποιείται παρόλα αυτά Ο ρόλος του ebay στην εργασία Το ebay είναι ο δυναμικότερος τόπος ηλεκτρονικών δημοπρασιών στον κόσμο, έχει συνεχή και μεγάλη δραστηριότητα σε μεγάλη ποικιλία προϊόντων. Σαν πεδίο άντλησης δεδομένων πραγματοποιηθέντων δημοπρασιών φαντάζει αστείρευτος. Για αυτό έχει τραβήξει το ενδιαφέρον πολλών ερευνητών που δραστηριοποιούνται στο χώρο του data mining αναφορικά με δημοπρασίες, είτε για την ίδια την κατανόηση των κανόνων που τις διέπουν, είτε για την περαιτέρω ανάπτυξη πρακτόρων λογισμικού οι οποίοι θα είναι οι ίδιοι σε θέση να λειτουργούν επικουρικά ή ακόμα και να δράσουν πλήρως ανεξάρτητοι σε περιβάλλοντα ηλεκτρονικών δημοπρασιών.

26 26 Το ebay προσφέρει την δυνατότητα πρόσβασης στα δεδομένα ολοκληρωμένων δημοπρασιών, από όπου μπορούν να αντληθούν οι πληροφορίες που θα μας επιτρέψει όπως θα δούμε, την κατανόηση της συσχέτισης των ιδιαίτερων χαρακτηριστικών κάθε δημοπρασίας και τη μετέπειτα πρόβλεψη της πορείας της, αν και όχι με συστηματοποιημένο τρόπο. 2.3 Σχετικές εργασίες Οι μελέτες στις ηλεκτρονικές δημοπρασίες έχουν αρχίσει να εξαπλώνονται και να διευρύνονται τα τελευταία χρόνια. Οι έρευνες έχουν ως αντικείμενο πολλούς ηλεκτρονικούς οίκους δημοπρασιών, άλλα λόγω της δημοτικότητάς του και της εύκολης πρόσβασης σε δεδομένα το ebay έχει τραβήξει τα φώτα της προσοχής. Οι κύριες ερευνητικές δραστηριότητες του ebay παρουσιάζονται παρακάτω: Shanshan Wang, Wolfgang Jank, Galit Shmuel (2007) : Η έρευνα τους προσανατολίζεται. Δεν χαρακτηρίζουν μια δημοπρασία μόνο από την στατική παράμετρο της τιμής κλεισίματος ή του αριθμού των προσφορών, αλλά την προσδιορίζουν και από τον δυναμικό σχηματισμό των τιμών της κατά την εξέλιξή της. Δηλαδή προβλέπουν κατά την διάρκεια της εξέλιξης της δημοπρασίας, και η πρόβλεψη επαναλαμβάνεται καθώς νέα δεδομένα για αυτήν γίνονται γνωστά. Το ενδιαφέρον τους επικεντρώνεται στην εναλλαγή των ρυθμών προσφοροδοσίας καθώς και στον τρόπο που εναλλάσσονται κατά την εξέλιξή της, δηλαδή την ταχύτητα και την επιτάχυνση των προσφορών. Για τα πειράματα τους χρησιμοποιούν συγκεκριμένα αντικείμενα, και λαμβάνουν υπόψη τους την ανάλυσή τους και την αλληλεπίδραση των δημοπρασιών που διαδραματίζονται ταυτόχρονα.

27 27 Σχήμα 2.1 Τα δεδομένα μίας ολοκληρωμένης δημοπρασίας όπως εμφανίζεται στην ιστοσελίδα του ebay

28 28 Matthew Reindorp, Wolfgang Jank, Louiqa Rashid (2005): Η συγκεκριμένη έρευνα χρησιμοποιεί μια σχετικά μεγάλη βάση δεδομένων (5000 περίπου δημοπρασίες) ενός συγκεκριμένου τύπου αντικειμένου (laptop συγκεκριμένων προδιαγραφών) και δοκιμάζει να πετύχει την πρόβλεψη της τιμής της δημοπρασίας με τρεις τρόπους. Σε σχέση με τα χαρακτηριστικά του αντικειμένου της δημοπρασίας μόνο, με τη βοήθεια ενός regression μοντέλου και τέλος με μία πρόβλεψη της τελικής τιμής σε σχέση με την τρέχουσα τιμή, μια καθαρά στατιστική δηλαδή μάλλον μέθοδο. Οι δυο τελευταίες μέθοδοι πραγματοποιούν την πρόβλεψη 15 λεπτά πριν το τέλος της δημοπρασίας. Παρατηρήθηκε ότι στην αρχή της δημοπρασίας τα χαρακτηριστικά της δεν έχουν σχέση με τις προδιαγραφές του συγκεκριμένου αντικειμένου της δημοπρασίας, αλλά με την μελλοντική πορεία αυτής. Επίσης φάνηκε ότι η στατιστική μέθοδος έχει τα καλύτερα αποτελέσματα, ειδικά εάν χρησιμοποιείται αυτή για την πλειοδότηση, καθώς η τιμή που προτείνει κερδίζει τις δημοπρασίες με το ελάχιστο πλεονάζον κόστος. Craig A. Depken, II, Brandon Gregorius (2008): Η έρευνα αυτή επικεντρώνει το ενδιαφέρον της στην επίδραση της πολιτικής και των χαρακτηριστικών του πωλητή στην τελική τιμή της δημοπρασίας. Χρησιμοποιήθηκαν περίπου 200 δημοπρασίες, από τις οποίες εξήχθησαν κάποια ιδιαίτερα συμπεράσματα. Η χαμηλή αρχική τιμή, ή ελάχιστη αποδεκτή τιμή, που μπορεί να θέσει ο πωλητής, στην πράξη δεν επηρεάζει την τελική τιμή του αντικειμένου. Αντίθετα, εντύπωση προκαλεί, αν και όχι έκπληξη, ότι αρχικές τιμές του τύπου.99 έχουν την τάση να δίνουν μεγαλύτερες τελικές τιμές από τις αντίστοιχες που είναι 1 cent παραπάνω. Επίσης εντοπίστηκε μια διαφορά της τάξης του 25% στην τελική τιμή ανάμεσα σε πωλητές των οποίων η αξιολόγηση ήταν σαφώς υψηλή και σε αυτούς που είχαν μηδενική. Τέλος φάνηκε πώς αξιοποιώντας κάποιες ειδικές υπηρεσίες, όπως το να κλείνει μια δημοπρασία συγκεκριμένη μέρα, δίνει μεγαλύτερες τελικές τιμές. Rayid Ghani, Hillery Simmons 2004: Σε αυτήν την ερευνητική δραστηριότητα γίνεται προσπάθεια να προβλεφθεί η τελική τιμή των δημοπρασιών πριν την εκκίνησή τους. Κατά τους ερευνητές ο χρόνος

29 29 έναρξης και ο χρόνος κλεισίματος της δημοπρασίας, η παρουσίαση του αντικειμένου και η αξιοπιστία των πωλητών επηρεάζουν την τιμή κλεισίματος της δημοπρασίας. Αλλά και ο ανθρώπινος παράγοντας παίζει πολύ μεγάλο ρόλο. Το 15% των δημοπρασιών κλείνει στο τελευταίο λεπτό. Οι μεταβλητές που χρησιμοποιήθηκαν είναι τα χαρακτηριστικά του πωλητή, το αντικείμενο, τα χαρακτηριστικά των δημοπρασιών και οι προηγούμενες τιμές. Οι ερευνητές χρησιμοποίησαν ένα γινόμενο συνόλων με σύνολα: (μέση τιμή, τυπική απόκλιση των τιμών, μέγιστη και ελάχιστη τιμή), (την αρχική, τελική τιμή και την αύξηση της προσφοράς), και (τον αριθμό των ωρών που προηγούνται το ξεκίνημα της συγκεκριμένης δημοπρασίας). Η πρόβλεψη έγινε με διάφορες προσεγγίσεις με την βοήθεια machine learning αλγορίθμων.

30 30 3 ΤΕΧΝΙΚΕΣ ΠΡΟΒΛΕΨΗΣ (REGRESSION) 3.1 Data Mining Η ραγδαία ανάπτυξη στην συλλογή της πληροφορίας καθώς και στην τεχνολογία αποθήκευσης τους έχει επιτρέψει σε οργανισμούς και ερευνητές να συγκεντρώσουν τεράστιο όγκο δεδομένων. Συχνά, τα παραδοσιακά εργαλεία και οι τεχνικές επεξεργασίας αυτών των δεδομένων δε μπορούν να χρησιμοποιηθούν, ακριβώς γιατί ο όγκος της πληροφορίας είναι τεράστιος. Κάποιες φορές μάλιστα, η ίδια η ιδιαιτερότητα της φύσης των δεδομένων, δεν επιτρέπει την παραδοσιακή προσέγγιση, ακόμα και αν ο όγκος των δεδομένων είναι σχετικά μικρός. Σε κάποιες άλλες περιπτώσεις, τα ερωτήματα στα οποία καλούνται να δώσουν απαντήσεις οι ερευνητές δε μπορούν να απαντηθούν με την χρήση των γνωστών τεχνικών ανάλυσης δεδομένων, οπότε, νέες μέθοδοι χρειάζεται να αναπτυχθούν. Το Data Mining είναι μια τεχνολογία που ενσωματώνει τις παραδοσιακές μεθόδους ανάλυσης με πρότυπους αλγόριθμους για την επεξεργασία μεγάλου όγκου δεδομένων. Προσφέρει μάλιστα συναρπαστικές δυνατότητες για την κατανόηση και την ανάλυση νέων τύπων δεδομένων αλλά και για την

31 31 ανάλυση των παλιών τύπων δεδομένων με νέους τρόπους. Τι είναι όμως το Data Mining; Το Data Mining είναι η διαδικασίας της αυτόματης εξόρυξης γνώσης από μεγάλα αποθέματα δεδομένων. Οι τεχνικές Data Mining αναπτύχθηκαν για την συστηματοποίηση βάσεων δεδομένων με στόχο την εύρεση προτύπων που μπορεί να φανούν χρήσιμα, τα οποία ειδάλλως θα έμεναν άγνωστα. Σημαντική χρησιμότητα των τεχνικών του Data Mining είναι ότι προσφέρουν τη δυνατότητα να προβλεφθεί το αποτέλεσμα μιας μελλούμενης διεργασίας. Για παράδειγμα μπορεί να προβλεφθεί αν ένας νέος πελάτης σε ένα πολυκατάστημα θα ξοδέψει περισσότερο από ένα συγκεκριμένο ποσό, ή η τελική τιμή που θα καταλήξει μια δημοπρασία που βρίσκεται εν εξελίξει. Γενικότερα, οι διεργασίες του Data Mining διακρίνονται σε δύο κατηγορίες, τις διεργασίες παραστατικοποίησης και πρόβλεψης. Στην πρώτη κατηγορία, ο σκοπός είναι να εξαχθεί η γενική εικόνα των δεδομένων (πρότυπα, συσχέτιση, cluster, ανωμαλίες). Στην δεύτερη κατηγορία ο σκοπός είναι να προβλεφθεί η τιμή κάποιου μεγέθους (εξαρτημένη μεταβλητή), με τη βοήθεια των τιμών κάποιων άλλων μεγεθών (ανεξάρτητες μεταβλητές). Στην δεύτερη κατηγορία το πρόβλημα ανάγεται ουσιαστικά στην εύρεση ενός μοντέλου πρόβλεψης, από το οποίο θα προβλέπεται η εξαρτημένη μεταβλητή από τις ανεξάρτητες μέσω μιας συνάρτησης. Υπάρχουν δυο τύποι μοντελοποίησης : η ομαδοποίηση (classification) και η παλινδρόμηση (regression). Η ομαδοποίηση αφορά εξαρτημένες μεταβλητές οι οποίες είναι διακριτές, ενώ οι εξαρτημένες μεταβλητές στην παλινδρόμηση παίρνουν συνεχές τιμές. Για παράδειγμα, η πρόβλεψη για το αν ένας χρήστης διαδικτύου που επισκέπτεται ένα ηλεκτρονικό κατάστημα προβεί σε μία αγορά είναι ένα πρόβλημα ομαδοποίησης, αφού η εξαρτημένη μεταβλητή είναι δυαδική μεταβλητή (true or false). Από την άλλη, η πρόβλεψη της τιμής μιας μετοχής σε μια μελλοντική χρονική στιγμή είναι πρόβλημα παλινδρόμησης. Ο τελικός στόχος των μεθόδων αυτών είναι η δημιουργία του μοντέλου πρόβλεψης, το οποίο θα ελαχιστοποιεί το σφάλμα ανάμεσα στην προβλεπόμενη και την πραγματική τιμή της εξαρτημένης μεταβλητής.

32 Regression Regression Vs Classification Η παλινδρόμηση (regression) και η ομαδοποίηση (classification) αποτελούν τους δύο τρόπους με τους οποίος αντιμετωπίζεται ένα πρόβλημα εξόρυξης γνώσης. Γενικότερα ένα πρόβλημα που δείχνει ότι πρέπει να αντιμετωπιστεί με τον έναν τρόπο, μπορεί με τον κατάλληλο μετασχηματισμό να αντιμετωπιστεί ικανοποιητικά και με τον άλλον. Είναι δύσκολη η τελική επιλογή για την αντιμετώπιση ενός προβλήματος καθώς, κατά ένα μεγάλο βαθμό, γίνεται βασιζόμενη σε μη θεωρητική βάση αφού στην ουσία γίνεται σύγκριση ανάμεσα σε δύο αξιώματα / υποθέσεις. Στο συγκεκριμένο πρόβλημα, της πρόβλεψης τιμής της δημοπρασίας, έχουν δοκιμασθεί διάφορες μέθοδοι για διάφορα, πιο εξειδικευμένα προβλήματα. Το πρόβλημα, η πρόβλεψη μιας αριθμητικής τιμής στην ουσία, δείχνει ότι η παλινδρόμηση είναι πιο ταιριαστή με αυτό, μπορεί όμως κάλλιστα να αντιμετωπιστεί και με ομαδοποίηση. Ομαδοποιώντας τα δεδομένα σε σχέση με την τελική τους τιμή, αξιοποιώντας την αντίστοιχη συσχέτιση των υπολοίπων ιδιαίτερων χαρακτηριστικών της δημοπρασίας, μπορεί να οδηγήσει σε πολύ ικανοποιητικά αποτελέσματα. Στην συγκεκριμένη εργασία όμως, επιλέχθηκε η παλινδρόμηση, η οποία προσφέρει σαφέστερα αποτελέσματα, παρέχει τη δυνατότητα εξαγωγής περισσότερο συγκεκριμένων αποτελεσμάτων, καθώς και την πληρέστερη αξιολόγηση τους σε σχέση με το ποιος είναι ο απώτερος στόχος της πρόβλεψης που γίνεται. Μάλιστα η σύγκριση και η εύρεση του καλύτερου δυνατού, αλγόριθμου παλινδρόμησης αποτελεί και στόχο της διπλωματικής αυτής εργασίας.

33 Γραμμική παλινδρόμηση Η ανάλυση παλινδρόμησης είναι μια τεχνική που χρησιμοποιείται για την μοντελοποίηση και την ανάλυση αριθμητικών δεδομένων, μιας εξαρτημένης μεταβλητής και κάποιων ανεξάρτητων μεταβλητών. Το μοντέλο είναι μια συνάρτηση συσχέτισης της εξαρτημένης μεταβλητής από τις ανεξάρτητες. Η μοντελοποίηση μπορεί να γίνει δίχως την πρότερη γνώση για τον τρόπο με τον οποίο συνδέεται η εξαρτημένη μεταβλητή από τις ανεξάρτητες και τότε ονομάζεται εμπειρική μοντελοποίηση. Στην γραμμική παλινδρόμηση, η απαίτηση του μοντέλου που θα παραχθεί είναι: η εξαρτημένη μεταβλητή y i να είναι ένας γραμμικός συνδυασμός των ανεξαρτήτων μεταβλητών. Simple Linear Regression Στην απλή γραμμική παλινδρόμηση υπάρχει η ανεξάρτητη μεταβλητή x i, και δύο παράμετροι, β 0,β 1. Το μοντέλο έχει τη μορφή: y i = β 0 + β 1 x i + ε i, i= 1,m ε i είναι το σφάλμα της πρόβλεψης. Ο στόχος λοιπόν είναι να βρεθούν οι κατάλληλες παράμετροι που θα ελαχιστοποιήσουν την συνάρτηση του τετραγώνου του σφάλματος.

34 34 Η εύρεση των παραμέτρων σε αυτή τη περίπτωση, της απλής παλινδρόμησης, ώστε να επιτευχθεί η ελαχιστοποίηση αυτή, ανάγεται ουσιαστικά σε δυο απλές εξισώσεις: ( x X )( y Y ) i i 1 2 ( xi X ) SSE N 2 όπου X, ο μέσος όρος της ανεξάρτητης μεταβλητής και Y, ο μέσος όρος των τιμών y. Ουσιαστικά λοιπόν αναζητάται η ευθεία η οποία, όπως φαίνεται στο Σχήμα 3-1, θα ελαχιστοποιεί τα ε y Σχήμα 3.1 Η ευθεία της παλινδρόμησης και η απόσταση της από τα σημεία

35 35 Υπό την προϋπόθεση ότι το σφάλμα έχει μία σταθερή απόκλιση, η εκτίμηση αυτής της απόκλισης δίνεται από τον τύπο: SSE N 2 και ονομάζεται τυπικό σφάλμα της πρόβλεψης. Το τυπικό σφάλμα της εκτίμησης των παραμέτρων δίνεται από : 1 X σ =σ + β0 ε 2 Ν (xi-x) σ =σ β1 ε 2 i 2 1 (x -x) Στο Σχήμα 3.2 φαίνεται συνολικά ένα παράδειγμα απλής γραμμικής παλινδρόμησης. Σχήμα 3.2 Απλή γραμμική παλινδρόμηση

36 36 Linear Regression Σε ένα πιο γενικό πρόβλημα με p ανεξάρτητες μεταβλητές το μοντέλο θα έχει τη μορφή: Y i = β 0 + β 1 x i + + β pi x pi + ε i, i= 1,m το υπόλοιπο (σφάλμα του στιγμιότυπου): ε i = Y i β 0 - β 1 x i - - β pi x pi ενώ οι εξισώσεις των παραμέτρων θα είναι: ή σε μορφή πίνακα: N p N ij ik ij i i 1 k i i 1 X X X y, j 1, p T ( X X ) y Pace Regression Η συγκεκριμένη μοντελοποίηση ακολουθεί την λογική της Linear Regression, όμως είναι περισσότερο κατάλληλη για την περίπτωση που οι ανεξάρτητες μεταβλητές είναι πάρα πολλές και τείνουν στο άπειρο. Τις αξιολογεί γρηγορότερα και απορρίπτει τις ανεξάρτητες μεταβλητές που δεν μπορούν να αξιοποιηθούν στην τελική πρόβλεψη. Ο αλγόριθμος αυτός δε μπορεί να διαχειριστεί Ελλιπή στιγμιότυπα ως προς τις ανεξάρτητες μεταβλητές Μη αριθμητικές τιμές

37 37 Least Median Square Η μοντελοποίηση αυτού του αλγορίθμου ακολουθεί επίσης την λογική της Linear Regression, όμως στόχος της είναι η ελαχιστοποίηση του σφάλματος της διαμέσου Support Vector Machines Τις τελευταίες δεκαετίες οι Kernel Methods έχουν καθιερωθεί στη σύγχρονη στατιστική εκτίμηση και στην εκμάθηση μηχανών. Η προκαταρκτική εργασία για αυτόν τον τομέα έγινε στο δεύτερο μισό του 20 ου αιώνα από ανθρώπους όπως ο Vapnik, ο Chervonenkis, o Arsenin, o Tikhonov και ο Wahba. Εντούτοις μόλις στις αρχές της δεκαετίας του 90, οι Kernel Methods έγιναν αναγνωρισμένο και δημοφιλές μέσο εκτίμησης. Αυτό οφείλεται στην απουσία αρκετά ικανού hardware που θα υποστηρίξει αυτούς τους αλγορίθμους καθώς οι Kernel Methods απαιτούν τετραγωνική αποθήκευση των δεδομένων αλλά και γιατί οι πρώτες τεχνικές λειτουργούσαν ανεξάρτητα μεταξύ τους και μόνο πρόσφατα συνέθεσαν ένα πραγματικά πρακτικό εργαλείο εκτίμησης. Μέσα σε αυτό το πλαίσιο σύνθεσης αναπτύχθηκαν και οι αλγόριθμοι Support Vector Machines. Βασικό πρόβλημα στη θεωρία εκμάθησης είναι πώς έχοντας δύο κατηγορίες αντικειμένων θα μπορέσουμε να συνθέσουμε τη μία από την άλλη. Ας υποθέσουμε δηλαδή ότι έχουμε τα εξής πραγματικά δεδομένα (x,y ),...,(x,y ) X 1 1 m m

38 38 αναζητούμε να βρούμε την συνάρτηση απόφασης f που συνδέει τις τιμές x i με τις y i. Πρέπει να τονισθεί όμως ότι ο τρόπος που επηρεάζει η τιμή x την τιμή y δεν είναι αναγνωρίσιμος, ούτε καν ντετερμινιστικός. Για τα x μάλιστα δεν γνωρίζουμε τίποτα στην ουσία και δεχόμαστε ότι μια άγνωστη κατανομή Ρ παράγει τα δεδομένα προς εκπαίδευση και τα δεδομένα προς επαλήθευση. Προφανώς μια καλή συνάρτηση απόφασης θα πετυχαίνει το ελάχιστον δυνατό σφάλμα 1 R[f] = f(x) - y dp(x, y) 2 Η συνάρτηση του σφάλματος δε μας λέει ποια είναι η συνάρτηση απόφασης, ούτε πώς θα την βρούμε, ούτε καν μας προϊδεάζει ποια θα είναι η ίδια η τιμή του σφάλματος. Εν τέλει, το μόνο που προσπαθούμε να βρούμε είναι τα y για συγκεκριμένες εισόδους x ώστε τα ζεύγη (x,y) να μοιάζουν με τα υπάρχοντα δεδομένα που ήδη ξέρουμε. Ας ορίσουμε ένα συμμετρικό μέτρο ομοιότητας, μια συνάρτηση δηλαδή που δοθείσας δύο δεδομένων εισόδων (x, x ) επιστρέφει έναν πραγματικό αριθμό που χαρακτηρίζει την ομοιότητα τους. Έστω: k:xxx R όπου (x, x ) k(x,x ) Η συνάρτηση k ονομάζεται συνάρτηση Kernel. Οι συναρτήσεις Kernel προσεγγίζουν το πρόβλημα με χαρτογράφηση των στοιχείων σε ένα πολυδιάστατο χώρο χαρακτηριστικών γνωρισμάτων όπου η κάθε συντεταγμένη αντιστοιχεί σε ένα χαρακτηριστικό γνώρισμα των στοιχείων που αναζητούνται. Αυτό πετυχαίνεται μετασχηματίζοντας τα στοιχεία αυτά σε ένα σύνολο σημείων. Σε αυτόν τον χώρο, μπορούν να χρησιμοποιηθούν πολλές μέθοδοι για να βρεθούν γραμμικές σχέσεις μεταξύ των στοιχείων αυτών. Δεδομένου ότι η χαρτογράφηση αυτή θα είναι αρκετά γενική (όχι απαραιτήτως γραμμική) οι σχέσεις που βρίσκονται είναι επίσης γενικές.

39 39 Οι σχέσεις αυτές βρίσκονται με τις συναρτήσεις Kernel οι οποίες εφαρμόζονται στον χώρο αυτό, όχι υπολογίζοντας τις συντεταγμένες των δεδομένων, αλλά τον μεταξύ τους χωρικό συσχετισμό, κάνοντας έτσι την υπολογιστική επεξεργασία «φθηνότερη». Η εκμάθηση σύμφωνα με τους Support Vector Machines βασίζεται σε κάποιες πολύ απλές ιδέες και προσφέρει μια ξεκάθαρη άποψη του τι είναι εκμάθηση από παραδείγματα. Επίσης προσφέρει υψηλές αποδόσεις σε πρακτικές εφαρμογές. Σε απλούς αλγορίθμους η στατιστική θεωρία εκμάθησης αναγνωρίζει με σχετική ακρίβεια τους συντελεστές που πρέπει να ληφθούν υπόψη για την σωστή εκπαίδευση. Σε πραγματικές εφαρμογές όμως τα προβλήματα είναι εξαιρετικά σύνθετα και συχνά χρησιμοποιούνται πολύπλοκα μοντέλα και αλγόριθμοι όπως τα νευρωνικά δίκτυα που είναι εξαιρετικά δύσκολο να αναλυθούν θεωρητικά. Οι αλγόριθμοι Support Vector λειτουργούν ικανοποιητικά και στις δύο περιπτώσεις. Κατασκευάζουν αρκετά πολύπλοκα θεωρητικά μοντέλα, αλλά ταυτόχρονα με πολύ ικανοποιητικά απλή μαθηματική ανάλυση, καθώς μπορούν να αντιστοιχήσουν ένα πολυδιάστατο μη γραμμικό χώρο σε μια απλή γραμμική συνάρτηση. Στο Σχήμα 3.3 φαίνεται η κεντρική ιδέα των Support Vector αλγορίθμων που είναι η χαρτογράφηση των δεδομένων σε κάποιον άλλο χώρο σημείων (που ονομάζεται χαρακτηριστικός χώρος) F μέσω ενός μη γραμμικού χάρτη Φ:R N f και εκτελεί τον παραπάνω γραμμικό αλγόριθμο στην f. Αυτή απαιτεί μόνο την εκτίμηση από τα σημεία k(x,y):=(φ(x) Φ(y)) Η τελευταία όμως προφανώς είναι πολύπλοκη για να υπολογιστεί.