Η Διπλωματική Εργασία παρουσιάστηκε ενώπιον του Διδακτικού Προσωπικού του Πανεπιστημίου Αιγαίου

Transcript

1 Εξόρυξη γνώσης από δεδομένα με διατήρηση της ιδιωτικότητας χρησιμοποιώντας νευρωνικά δίκτυα RBF για οριζόντια κατατετμημένα δεδομένα σε περιβάλλον μη έμπιστων χρηστών. Η Διπλωματική Εργασία παρουσιάστηκε ενώπιον του Διδακτικού Προσωπικού του Πανεπιστημίου Αιγαίου Σε Μερική Εκπλήρωση των Απαιτήσεων για το Δίπλωμα του Μηχανικού Πληροφοριακών και Επικοινωνιακών Συστημάτων του Αλέξανδρου Παντελή ΕΑΡΙΝΟ ΕΞΑΜΗΝΟ

2 Η ΤΡΙΜΕΛΗΣ ΕΠΙΤΡΟΠΗ ΔΙΔΑΣΚΟΝΤΩΝ ΕΠΙΚΥΡΩΝΕΙ ΤΗ ΔΙΠΛΩΜΑΤΙΚΗ ΕΡΓΑΣΙΑ ΤΟΥ ΑΛΕΞΑΝΔΡΟΥ ΠΑΝΤΕΛΗ Μαραγκουδάκης Ε., Επιβλέπων Ημερομηνία: 28/6/2011 Τμήμα Μηχανικών Πληροφοριακών και Επικοινωνιακών Συστημάτων Κωνσταντίνου Ε., Μέλος Τμήμα Μηχανικών Πληροφοριακών και Επικοινωνιακών Συστημάτων Καμπουράκης Γ., Μέλος Τμήμα Μηχανικών Πληροφοριακών και Επικοινωνιακών Συστημάτων ΠΑΝΕΠΙΣΤΗΜΙΟ ΑΙΓΑΙΟΥ ΕΑΡΙΝΟ ΕΞΑΜΗΝΟ ii

3 ΠΕΡΙΛΗΨΗ Η εξόρυξη γνώσης από δεδομένα αποσκοπεί στην ανακάλυψη (ή αποκάλυψη καλύτερα) συσχετίσεων μεταξύ δεδομένων, που δίνονται συνήθως σε μορφή πινάκων. Η εξόρυξη γνώσης μπορεί να έχει κάθε φορά διαφορετικό σκοπό, όπως την πρόβλεψη κάποιας τιμής (classification), την ταξινόμηση των δεδομένων σε n το πλήθος κατηγοριών (clustering) και την ανακάλυψη συσχετίσεων μεταξύ δεδομένων σε μορφή κανόνων (association rule discovery). Οι μεθοδολογίες αυτές χρησιμοποιούνται σε πάρα πολλούς τομείς από τα οικονομικά μέχρι την ιατρική, και σε συνδυασμό με την ανάγκη μεγάλου όγκου δεδομένων για υψηλή ακρίβεια των αποτελεσμάτων οδηγεί στο κρίσιμο ζήτημα της προστασίας της ιδιωτικότητας των δεδομένων αυτών. Για παράδειγμα αν δύο νοσοκομεία θέλουν να δουν αν υπάρχει συσχέτιση μεταξύ κάποιων συμπτωμάτων/ασθενειών και περιβαλλοντικών αιτιών (π.χ. δίαιτα, τόπος διαμονής κ.α.), για να έχει μεγάλη ακρίβεια το μοντέλο θα πρέπει να υπολογιστεί πάνω στο σύνολο των δεδομένων ενώ προφανώς δεν θα πρέπει το ένα νοσοκομείο να μάθει πληροφορίες για τους ασθενείς του άλλου. Σε αυτή την εργασία παρουσιάζεται ένας αλγόριθμος πολυωνυμικής πολυπλοκότητας (O(1) σε σχέση με τον μη ιδιωτικό υπολογισμό) για τον υπολογισμό ενός μοντέλου RBF (για όλες τα kernel) για την εξόρυξη γνώσης από δεδομένα μεταξύ δύο χρηστών. Συγκεκριμένα το πρωτόκολλο αυτό χρησιμοποιείται για ταξινόμηση/παλινδρόμηση σε οριζόντια κατατετμημένα δεδομένα. Η ιδιωτικότητα των δεδομένων του κάθε χρήστη διατηρείται χωρίς υποθέσεις για την «τιμιότητα» των χρηστών, δηλαδή δεν γίνεται υπόθεση semi-trusted εμπλεκομένων αλλά πλήρως κακόβουλων. Στη συνέχεια παρουσιάζεται η επέκταση του πρωτοκόλλου για χρήση από Ν το πλήθος χρήστες, ανάλυση χρονικής πολυπλοκότητας και επικοινωνιακής επιβάρυνσης και μελέτη της ασφάλειας (ιδιωτικότητας) που προσφέρεται. Εν τέλει παρουσιάζονται πειραματικά αποτελέσματα απόδοσης του όσο αφορά την ακρίβεια/αναακληση και χρόνο εκτέλεσης χρησιμοποιώντας ένα πραγματικό σύνολο δεδομένων του Αλέξανδρου Παντελή Τμήμα Μηχανικών Πληροφοριακών και Επικοινωνιακών Συστημάτων ΠΑΝΕΠΙΣΤΗΜΙΟ ΑΙΓΑΙΟΥ iii

4 ABSTRACT The purpose of data mining is the discovery of relations between data usually given in the form of matrices. Data mining methods can have a variety of purposes, such as the prediction of a value that is known to be a function of the data (classification), the grouping of the available data points to a number of groups which represent similar data points (clustering) or the discovery of rules that link data points between them (association rule discovery). The aforementioned methods are used in a wide variety of fields from economics to medicine, and combined with the need for a substantially large volume of data in order to maximize the methods accuracy, protecting the privacy of said data is a critical matter that has to be resolved. For example if two hospitals want to examine the relation between a number of symptoms and environmental factors (diet or climate for example), the predictive/association model has to be computed on the union of their data while keeping the privacy of the records of each hospital. This dissertation presents a polynomial time complexity protocol (O(1) in relation to non private computing) for the computation of the RBF network data mining model (all kernels). Specifically this protocol is used for the regression/classification on horizontally partitioned data. The privacy of each user s data is preserved without any assumptions on the honesty of the rest of the users; this is to say that the malicious model is asserted. In the first chapter an introduction to RBF networks data mining is made and related privacy preserving data mining work is presented. The final part of the first chapter is a table of definitions and notation used throughout this dissertation. The second chapter offers an analysis of the problem that needs to be solved and the difficulties that need to be surpassed. Conclusion of this chapter is that the solution is not as straightforward as it originally seems and key observations are made on the nature of the problem. Using the results from the previous chapter a privacy preserving data mining protocol for two users is presented. The second part of chapter three expands this protocol for usage by N users and concludes with an example of usage. Chapter four focuses on the time complexity and communication overhead of the proposed protocol and compares it to a non-private computation. Continuing, the next chapter, chapter five offers an analysis of how secure is the proposed protocol, beyond some small notes on availability and other security demands the majority of the chapter discusses the issue of privacy. In this chapter various parameters and a sub-protocol used by the privacy preserving protocol (as presented in chapter three) are discussed. The sixth chapter presents the expected consequences the use of the proposed protocol has on the precision/recall percentages of the final classification/regression model. Beyond empirical iv

5 observations a number of similar studies are referenced that show that for a variety of problems the constraints imposed by the proposed protocol have no effect on the precision/recall percentages. Chapter seven presents the experimental design and methodology used as well as the software developed that uses the proposed protocol. The data that were used for the experiments and the results obtained are also part of this chapter. Finally, the last chapter concludes this dissertation with a recapitulation of the basic features, advantages and disadvantages of the proposed protocol. This list of disadvantages can be the basis of future work on this subject and are mentioned as such Alexandros Panteli Department of Information and Communication Systems Engineering UNIVERSITY OF THE AEGEAN v

6 ΕΥΧΑΡΙΣΤΙΕΣ - ΑΦΙΕΡΩΣΕΙΣ Πρωτίστως θα ήθελα να ευχαριστήσω τον επιβλέπων καθηγητή μου Δρ. Εμμανουήλ Μαραγκουδάκη για την υποστήριξη, την καθοδήγηση κα την βοήθεια του κατά το ερευνητικό και το πειραματικό μέρος αυτής της εργασίας. Λόγω της φύσης αυτής της εργασίας, η ολοκλήρωση της δεν θα ήταν δυνατή χωρίς την συμβολή του. Θέλω να ευχαριστήσω τον Δρ. Γκρίτζαλη Στέφανο που με ενέπνευσε να ασχοληθώ με το θέμα αυτό ως διπλωματική εργασία και για την γνώση που μου προσέφερε στα πλαίσια του μαθήματος Ασφάλειας Πληροφοριακών & Επικοινωνιακών Συστημάτων. Θα ήθελα επίσης να ευχαριστήσω γενικά το διδακτικό προσωπικό του Πανεπιστημίου που με εφοδίασαν με την απαραίτητη γνώση και κριτική σκέψη ώστε να φέρω εις πέρας αυτή την εργασία. Ευχαριστώ τους Πολυχρόνη Μάριο και Ευαγόρου Ανδρέα για την βοήθεια τους με την εκτέλεση των πειραμάτων και τους Καλογήρου Άννα, Κοκότση Αλέξανδρο και Ιωάννου Αλέξανδρο για την βοήθεια τους κατά την έρευνα. Τέλος, θα ήθελα να ευχαριστήσω την οικογένεια μου και τους φίλους μου για την υποστήριξη που μου έδειξαν κατά την εκπόνηση αυτής της εργασίας. -Παντελή Αλέξανδρος vi

7 ΠΙΝΑΚΑΣ ΠΕΡΙΕΧΟΜΕΝΩΝ ΠΕΡΙΛΗΨΗ iii ABSTRACT iv ΕΥΧΑΡΙΣΤΙΕΣ... vi ΠΙΝΑΚΑΣ ΠΕΡΙΕΧΟΜΕΝΩΝ. vii ΚΑΤΑΛΟΓΟΣ ΠΙΝΑΚΩΝ... ix ΚΑΤΑΛΟΓΟΣ ΣΧΗΜΑΤΩΝ x ΚΕΦΑΛΑΙΟ 1 - ΕΙΣΑΓΩΓΗ Δίκτυα συνάρτησης ακτινικής βάσης Σχετική έρευναv Ορισμοί - Συμβολισμός 6 ΚΕΦΑΛΑΙΟ 2 - ΑΝΑΛΥΣΗ ΠΡΟΒΛΗΜΑΤΟΣ Υπολογισμός των w i με από κοινού υπολογισμό του πίνακα Φ Υπολογισμός των w i χωρίς τον από κοινού υπολογισμό του πίνακα Φ Παρατηρήσεις ασφάλειας Διάταξη κέντρων 18 ΚΕΦΑΛΑΙΟ 3 - ΠΡΟΤΕΙΝΟΜΕΝΗ ΜΕΘΟΔΟΣ/ΠΡΩΤΟΚΟΛΛΟ Πρωτόκολλο για δύο χρήστες Επέκταση για Ν το πλήθος χρήστες Παράδειγμα: Πρόβλημα XOR μεταξύ δύο χρηστών 22 ΚΕΦΑΛΑΙΟ 4 - ΥΠΟΛΟΓΙΣΤΙΚΉ ΠΟΛΥΠΛΟΚΟΤΗΤΑ Χρονική πολυπλοκότητα Μη-ιδιωτικός υπολογισμός Με χρήση προτεινόμενου πρωτοκόλλου Επικοινωνιακή επιβάρυνση (communication overhead) Μη-ιδιωτικός υπολογισμός Με χρήση προτεινόμενου πρωτοκόλλου.. 29 vii

8 ΚΕΦΑΛΑΙΟ 5 - ΑΣΦΑΛΕΙΑ Διατήρηση ιδιωτικότητας σε περιβάλλον μη-έμπιστων χρηστών Επιλογή συνάρτησης ακτινικής βάσης Πρωτόκολλο επιλογής πλήθους κέντρων Ευρωστία έναντι στατιστικών επιθέσεων Προστασία πλήθους εγγραφών Προστασία εγγραφών Άλλες απαιτήσεις ασφάλειας Ανακεφαλαίωση 48 ΚΕΦΑΛΑΙΟ 6 - ΕΠΙΠΤΩΣΕΙΣ ΣΤΗΝ ΑΚΡΙΒΕΙΑ Πρόβλεψη μεταβλητής διακριτών τιμών (classification) Πρόβλεψη μεταβλητής συνεχούς τιμής (regression) Βελτιστοποίηση πρωτοκόλλου επιλογής πλήθους κέντρων. 51 ΚΕΦΑΛΑΙΟ 7 - ΠΕΙΡΑΜΑΤΙΚΗ ΔΙΑΔΙΚΑΣΙΑ Δεδομένα που χρησιμοποιηθήκαν Λογισμικό Τεχνικά χαρακτηριστικά Αρχιτεκτονική - Σχεδίαση Βοηθητικό λογισμικό Πειραματική μέθοδος Πειραματικά αποτελέσματα.. 72 ΚΕΦΑΛΑΙΟ 8 - ΣΥΜΠΕΡΑΣΜΑΤΑ - ΜΕΛΛΟΝΤΙΚΗ ΜΕΛΕΤΗ ΒΙΒΛΙΟΓΡΑΦΙΑ 75 ΠΑΡΑΡΤΗΜΑ Ι - ΚΩΔΙΚΑΣ 77 ΣΥΝΤΟΜΟ ΒΙΟΓΡΑΦΙΚΟ ΣΗΜΕΙΩΜΑ 101 viii

9 ΚΑΤΑΛΟΓΟΣ ΠΙΝΑΚΩΝ Αρ. Λεζάντα Σελ. 7-1 Περιγραφή κλάσεων Περιγραφή συναρτήσεων λογισμικού Περιγραφή μηνυμάτων που χρησιμοποιούνται από το πρωτόκολλο Περιγραφή βοηθητικών προγραμμάτων Πίνακας υλικού που χρησιμοποιήθηκε 71 ix

10 ΚΑΤΑΛΟΓΟΣ ΣΧΗΜΑΤΩΝ Αρ. Λεζάντα Σελ. 1-1 Χώρος και σημεία του προβλήματος της συνάρτησης XOR 1, Αρχιτεκτονική τεχνητού νευρωνικού δικτύου RBF Χωρισμός του Φ σε 4 μέρη 8, Μέσο ποσοστό μείωσης (100% = 1 ) σε σχέση με τον αριθμό των χρηστών. Μια 38 τάξη μεγέθους μέγιστη διαφορά στο πλήθος στον σημείων 5-2 Μέσο ποσοστό μείωσης (100% = 1 ) των χρηστών που έκαναν μείωση >0% σε 39 σχέση με τον αριθμό των χρηστών. Μια τάξη μεγέθους μέγιστη διαφορά στο πλήθος στον σημείων 5-3 Μέσο ποσοστό μείωσης (100% = 1 ) σε σχέση με τον αριθμό των χρηστών. Δύο 40 τάξεις μεγέθους μέγιστη διαφορά στο πλήθος στον σημείων 5-4 Μέσο ποσοστό μείωσης (100% = 1 ) των χρηστών που έκαναν μείωση >0% σε 41 σχέση με τον αριθμό των χρηστών. Δύο τάξεις μεγέθους μέγιστη διαφορά στο πλήθος στον σημείων 6-1 Σύγκριση του τελικού αριθμού κέντρων που υπολογίζεται από το πρωτόκολλο 51 επιλογής πλήθους κέντρων χωρίς υποχρεωτική μείωση του αριθμού τους ενάντια στη ασφαλής παραλλαγή. (μία τάξη μεγέθους απόκλιση στον αριθμό σημείων) 6-2 Εστίαση του σχήματος 6-1 μόνο στην περιοχή 0-20 χρηστών Σύγκριση του τελικού αριθμού κέντρων που υπολογίζεται από το πρωτόκολλο 53 επιλογής πλήθους κέντρων χωρίς υποχρεωτική μείωση του αριθμού τους ενάντια στη ασφαλής παραλλαγή. (δύο τάξεις μεγέθους απόκλιση στον αριθμό σημείων) 6-4 Εστίαση του σχήματος 6-3 μόνο στην περιοχή 0-20 χρηστών Σύγκριση του τελικού αριθμού κέντρων που υπολογίζεται από το πρωτόκολλο 55 επιλογής πλήθους κέντρων χωρίς υποχρεωτική μείωση του αριθμού τους ενάντια στη ασφαλής παραλλαγή. (300% απόκλιση στον αριθμό σημείων) 6-6 Σύγκριση του τελικού αριθμού κέντρων που υπολογίζεται από το πρωτόκολλο επιλογής πλήθους κέντρων χωρίς υποχρεωτική μείωση του αριθμού τους ενάντια στη παραλλαγή που χρησιμοποιεί πιθανότητα μείωσης ( 1 2 )ι 1. α)300% απόκλιση, β) Μια τάξη μεγέθους απόκλιση, γ)δυο τάξεις μεγέθους απόκλιση 7-1 Διάγραμμα κλάσεων του λογισμικού υπολογισμού μοντέλου ταξινόμησης RBF με διατήρηση της ιδιωτικότητας 7-2 Αποτελέσματα (χρόνος εκτέλεσης, ακρίβεια, ποσοστό ανάκλησης) για τα τέσσερα πειράματα που εκτελέστηκαν x

11 ΚΕΦΑΛΑΙΟ 1 - ΕΙΣΑΓΩΓΗ 1.1 Δίκτυα συνάρτησης ακτινικής βάσης Τα δίκτυα συναρτήσεων ακτινικής βάσης (RBF networks) αποτελούν μια ειδική περίπτωση τεχνητών νευρωνικών δικτύων. Το κύριο χαρακτηριστικό που ξεχωρίζει τα RBF δίκτυα από άλλα νευρωνικά δίκτυα είναι ότι η συνάρτηση κόστους (kernel) του δικτύου είναι μια συνάρτηση επί της ευκλείδειας απόστασης μεταξύ της εγγραφής εισόδου και κάθε νευρώνα του δικτύου. Η χρήση μιας μετρικής απόστασης ως συνάρτηση κόστους είναι που καθιστά τα τεχνητά νευρωνικά δίκτυα γενικά και τα δίκτυα RBF ειδικά πολύ καλά μοντέλα πρόβλεψης τιμών συναρτήσεων, κατηγοριοποίησης η αναγνώρισης προτύπων. Τα δίκτυα RBF είναι πολύ χρήσιμα σε περιπτώσεις όπου τα δεδομένα δεν είναι γραμμικά διαχωρίσιμα. Ένα παράδειγμα τέτοιων δεδομένων είναι ο πίνακας αληθείας της δυαδικής πράξης XOR που φαίνεται πιο κάτω: Σχήμα 1-1: Χώρος και σημεία του προβλήματος της συνάρτησης XOR Στο παραπάνω σχήμα βλέπουμε ότι δεν μπορεί να χωριστεί ο δυσδιάστατος χώρος των τεσσάρων σημείων με μόνο μια ευθεία έτσι ώστε σε κάθε ημιεπίπεδο να περιέχονται όλα τα σημεία μιας κλάσης (τιμή της συνάρτησης XOR που αντιπροσωπεύεται από το αν το σημείο είναι σκιασμένο). Έτσι καμιά μέθοδος συσταδοποίησης που διαχωρίζει γραμμικά τα δεδομένα δεν μπορεί να χρησιμοποιηθεί για την κατηγοριοποίηση τους. Προχωρώντας στην ανάλυση του δικτύου RBF και τον τρόπο που υπολογίζεται η πρόβλεψη της συνάρτησης που θέλουμε πρώτος σταθμός είναι η επισκόπηση της αρχιτεκτονικής του δικτύου. Η αρχιτεκτονική των RBF δικτύων φαίνεται στο παρακάτω σχήμα: 1

12 Σχήμα 1-2: Αρχιτεκτονική τεχνητού νευρωνικού δικτύου RBF Δηλαδή πρόκειται για ένα τεχνητό νευρωνικό δίκτυο με ένα κρυμμένο επίπεδο. Από την αρχιτεκτονική αυτή μπορούμε να εξάγουμε την αλγεβρική έκφραση για την πρόβλεψη της τιμής ενός νέου στοιχείου Έστω s ένα νέο στοιχείο/σημείο, η προβλεφθείσα τιμή (1.1) f(s) = w i ρ( s c i ) c i=1 Όπου c το πλήθος των κέντρων και c i το i-οστό κέντρο. Για την εκπαίδευση του μοντέλου χρειάζεται ο υπολογισμός των συνιστωσών w i που καλούνται βάρη. Έστω ότι έχουμε m το πλήθος σημεία εκπαίδευσης και ότι οι αντίστοιχες (γνωστές) τιμές της συνάρτησης αποτελούν το διάνυσμα t, θα έχουμε m το πλήθος εξισώσεις της μορφής (1.2) t j = w i ρ( s j c i ) c i=1, j = 1, 2,, m Όπου t j η τιμή της συνάρτησης που ψάχνουμε (κλάση) του j-οστού στοιχείου και s j το j-οστό στοιχείο (από τα σημεία εκπαίδευσης). Το πιο πάνω σύστημα m εξισώσεων (άγνωστοι τα w i ) μπορεί να γραφεί ως. Φw = t 2

13 Όπου w το διάνυσμα των w i, t το διάνυσμα των t j και ο πίνακας Φ έχει στοιχεία: φ ij = ρ( s i c j ) Τα βάρη υπολογίζονται από την έκφραση (1.3) w = (Φ Τ Φ) 1 Φ Τ t Ο πίνακας Φ Τ Φ φυσικά δεν είναι αντιστρέψιμος στην γενική περίπτωση. Αντί του αντίστροφου πίνακα μπορεί να χρησιμοποιηθεί ένας ψευδοαντίστροφος (ή γενικευμένος αντίστροφος) του διατηρώντας αποτελεσματικό το μοντέλο [1]. Η πιο γνωστή μορφή γενικευμένου αντίστροφου που χρησιμοποιείται είναι ο αντίστροφος Moore-Penrose [2]. Οι πιο συχνά χρησιμοποιούμενες συναρτήσεις ακτινικής βάσης είναι οι εξής: Έστω r = s i c j Gaussian ρ(r) = e (εr)2 Multiquadric: ρ(r) = 1 + (εr) 2 Inverse Quadratic: Inverse Multiquadric: Πολυωνυμική: ρ(r) = (εr) 2 1 ρ(r) = 1 + (εr) 2 ρ(r) = r k, k = 1,3,5 ρ(r) = r k ln (r), k = 2,4,6 Η εργασία αυτή παρουσιάζει ένα αλγόριθμο για τον υπολογισμό του πιο πάνω μοντέλου πρόβλεψης δικτύου RBF (οποιασδήποτε συνάρτησης) χρησιμοποιώντας οριζόντια κατατετμημένα δεδομένα (δηλαδή κάθε φορέας έχει ένα υποσύνολο εγγραφών με όλα τα χαρακτηριστικά) μεταξύ δύο φορέων/χρηστών, διατηρώντας την ιδιωτικότητα των δεδομένων του κάθε χρήστη. Ο αλγόριθμος είναι πολυωνυμικού χρόνου (σταθερού χρόνου σε σχέση με το RBF) και βασίζεται στην συσσώρευση μερικών αποτελεσμάτων σε ένα υπό-άθροισμα από το οποίο δεν μπορεί να εξαχθεί πληροφορία. Όπως ανέφερα ακολουθεί ο επεκταμένος αλγόριθμος για χρήση από Ν το πλήθος χρήστες. 3

14 1.2 Σχετική Έρευνα Ο ιδιωτικός υπολογισμός μιας συνάρτησης δύο (η και περισσότερων) μεταβλητών όπου κάθε χρήστης κατέχει την τιμή της μίας (η και περισσότερων) μεταβλητής είναι ένα σημαντικό κρυπτογραφικό πρόβλημα το οποίο βρίσκει εφαρμογή σε πολλούς τομείς των σύγχρονων επιστημών. Εκτός από την ανάπτυξη συστημάτων κατανεμημένων κλειδιών (όπου το αποτέλεσμα της συνάρτησης είναι το κλειδί και κάθε εμπλεκόμενος έχει «μέρος» του) μια τέτοια μέθοδος οδηγεί στον ιδιωτικό υπολογισμό μοντέλων εξόρυξης δεδομένων, ανάκτησης πληροφορίας και αναγνώρισης προτύπων. Αν και υπάρχει μια γενικής χρήσης μέθοδος [3] για τον ιδιωτικό υπολογισμό μιας οποιαδήποτε συνάρτησης μεταξύ δύο χρηστών, καθώς και η επέκταση της για Ν το πλήθος χρηστών [4] και οι δύο βασίζονται στην αναπαράσταση της συνάρτησης ως ένα λογικό κύκλωμα, των εισόδων ως λογικών εισόδων και η επεξεργασία γίνεται ανά πύλη αυτού του κυκλώματος. Το μέγεθος του πρωτοκόλλου εξαρτάται όχι μόνο από το μέγεθος της εισόδου (σε bits) αλλά και από την πολυπλοκότητα της συνάρτησης. Για παράδειγμα ο υπολογισμός ενός εσωτερικού γινομένου απαιτεί Ο(n 4 ) βήματα όπου n είναι ο αριθμός των bits που χρειάζεται για να αναπαρασταθεί ένα χαρακτηριστικό ενός διανύσματος. Η υψηλή αυτή πολυπλοκότητα οδήγησε στην δημιουργία εξειδικευμένων μεθόδων (για κάθε μοντέλο/αλγόριθμο) για τον ιδιωτικό υπολογισμό μοντέλων εξόρυξης δεδομένων. Για παράδειγμα οι Lindell,Pinkas [5] παρουσιάζουν ένα αλγόριθμο ιδιωτικού υπολογισμού του δέντρου απόφασης του ID3, οι Clifton, Vaidya [6] για τον Naïve Bayes,για τον k-means [7] και για SVM από τους Vaidya, Yu και Jiang [8]. Εκτός από τα πιο πάνω έχει προταθεί μια μέθοδος που μεταλλάσει τα δεδομένα διατηρώντας όμως τις στατιστικές τους ιδιότητες έτσι ώστε να μπορεί να παραχθεί ένα δέντρο απόφασης με παραπλήσια ακρίβεια [9]. Η παρούσα εργασία μελετά το εξειδικευμένο πρόβλημα του ιδιωτικού υπολογισμού του μοντέλου RBF δικτύου. Όπως αναφέρεται κύριος άξονας των RBF δικτύων είναι η ευκλείδεια απόσταση μεταξύ στοιχείων του χώρου, πιο πρόσφατες εργασίες ασχολούνται ακριβώς με τον ιδιωτικό υπολογισμό πρόσθεσης διανυσμάτων [10] και εσωτερικού γινομένου [11]. Οι παραπάνω βασίζονται σε ομοιομορφικές (προσθετικά) κρυπτογραφικές μεθόδους, δηλαδή που έχουν την ιδιότητα ότι Ε(x 1 ) Ε(x 2 ) Ε(x n ) = E(x 1 + x x n ) 4

15 Οι μέθοδοι αυτοί στην πρωταρχική τους μορφή είναι πολύ εύκολα παραβιάσιμες αν δεν υιοθετείτε semi-trusted μοντέλο για τους εμπλεκομένους. Ο υπολογισμός της f(x,y) γίνεται από τον ένα χρήστη ο οποίος αποστέλλει το αποτέλεσμα στον δεύτερο, τα δεδομένα που έδωσε ο δεύτερος για τον υπολογισμό της τιμής της συνάρτησης μπορούν να λάβουν τέτοια μορφή έτσι ώστε ο χρήστης που θα υπολογίσει το τελικό αποτέλεσμα να διαρρεύσει πληροφορία για το σημείο του όταν στείλει το αποτέλεσμα. Εκτός των παραπάνω πιο πρόσφατη δουλειά [12] από τους Kantarcioglu και Kardes παρουσιάζει μεθόδους για τον υπολογισμό εσωτερικού γινομένου, ισότητας και πράξεων μεταξύ συνόλων μέσα σε περιβάλλον μη-έμπιστων χρηστών. 5

16 1.3 Ορισμοί - Συμβολισμός Εγγραφή(ες)/σημείο(α)/δεδομένο(α)/διάνυσμα(τα): Οι εγγραφές της βάσης δεδομένων του χρήστη. n: Διάσταση των εγγραφών (σημείων) c: Αριθμός επιλεχθέντων κέντρων για χρήση από το RBF δίκτυο m: Συνολικός αριθμός εγγραφών (και των δύο χρηστών) λ: Αριθμός εγγραφών χρήστη Χ β: Αριθμός εγγραφών χρήστη Υ λ i : Στην περίπτωση Ν χρηστών με λ i συμβολίζεται ο αριθμός των στοιχείων του i-οστού χρήστη. u i : Ο i-οστός χρήστης u ζij : H τιμή ρ( u ζi c j ) όπου u ζi το i-οστό στοιχείο του ζ-οστού χρήστη. x ij : Η τιμή ρ( x i c j ), παρόμοια για τον Υ. Όπου i το i-οστό στοιχείο (από το 1) w: Διάνυσμα βαρών RBF ρ: Συνάρτηση ακτινικής βάσης c i : Το i-οστό κέντρο Φ: Πίνακας με τιμές RBF για τους συνδυασμούς κέντρων-σημείων των δύο χρηστών. φ ij : Το i,j στοιχείο του πίνακα Φ, δηλαδή το ρ( s i c j ) όπου s i to i-οστό στοιχείο (βάση όλων των σημείων) Απόσταση: Ευκλείδεια απόσταση μεταξύ δύο σημείων. Ο όρος αυτός χρησιμοποιείται και στην θέση της έκφρασης ρ( x i c j ) καθώς η ρ είναι γνωστή και η πληροφορία που χρειάζεται είναι η απόσταση μεταξύ των σημείων. Παρατηρούμε ότι για κάθε kernel η ποσότητα x i c j μπορεί να υπολογιστεί από την ρ( x i c j ), (είναι two-way συναρτήσεις). 6

17 ΚΕΦΑΛΑΙΟ 2 - ΑΝΑΛΥΣΗ ΠΡΟΒΛΗΜΑΤΟΣ Ας προσπαθήσουμε να βρούμε βασιζόμενοι στη υπάρχουσα βιβλιογραφία ένα τρόπο ιδιωτικού υπολογισμού της τιμής της RBF έτσι ώστε ολόκληρο το μοντέλο να υπολογίζεται ιδιωτικά. Δηλαδή ψάχνουμε μέθοδο έτσι ώστε να μπορούμε να υπολογίσουμε τα στοιχεία του πίνακα Φ χωρίς να παραβιαστεί η ιδιωτικότητα των σημείων (και κέντρων) των χρηστών. Έχουμε για παράδειγμα την Gaussian RBF: ( x y ) 2 (2.1) e 2σ 2 Με e,σ σταθερές. Άρα το πρόβλημα ανάγεται στον υπολογισμό του ( x y ) 2 ή του x y = r Δηλαδή της γενικής RBF. Άρα οποιαδήποτε RBF μπορεί να υπολογιστεί ιδιωτικά αν μπορεί να υπολογιστεί ιδιωτικά η ποσότητα x y. Αυτό ισχύει καθώς οι RBF είναι two-way συναρτήσεις, άρα η ποσότητα x y μπορεί πάντα να υπολογιστεί από το αποτέλεσμα της RBF. Η συνάρτηση RB, ρ(r) = c είναι Rn -> R έχει άπειρες λύσεις αν n = dim(x) = dim(y) >=2 αφού θα έχουμε: n i=1 (x i y i ) 2 = z, όπου z ανήκει στο R. Με γνωστό το x και το z θα έχουμε ένα σύστημα 1 εξίσωσης με n αγνώστους, δηλαδή θα έχει άπειρες λύσεις. Σκοπός είναι δηλαδή, (εκ πρώτης όψεως) η εύρεση ενός αποδοτικού τρόπου υπολογισμού του z χωρίς την αποκάλυψη του δεύτερου διανύσματος στον χρήστη που δεν το κατέχει. Με αυτό τον τρόπο μπορεί να υπολογιστεί ο πίνακας Φ και από τους δύο χρήστες. Γνωρίζουμε ότι: (2.2) x y 2 = x 2 + y 2 2x T y Οι ποσότητες x 2, y 2, δεν προσδίδουν σημαντική πληροφορία (μείωση κατά 1 διάσταση) για τα σημεία x,y ενώ το εσωτερικό γινόμενο x T y μπορεί να υπολογιστεί χρησιμοποιώντας τον αλγόριθμο που προτείνεται από τους Amirbekyan, Castro [11]. Όπως θα αποδειχθεί σε αυτό το κεφάλαιο η προσέγγιση αυτή δεν παρέχει την απαιτούμενη ασφάλεια και μπορεί να χρησιμοποιηθεί μόνο σε ειδικές περιπτώσεις. Για τις επόμενες παραγράφους ας υποθέσουμε ότι έχουμε στη διάθεση μας ένα αλγόριθμο για τον ιδιωτικό υπολογισμό της ρ( x i c j ). Παρακάτω γίνεται μια ανάλυση που δείχνει ότι εν τέλει η εύρεση ενός τέτοιου αλγόριθμου δεν οδηγεί στον ιδιωτικό υπολογισμό του μοντέλου. 7

18 2.1 Υπολογισμός των w i με από κοινού υπολογισμό του πίνακα Φ Για τον υπολογισμό των w i έστω υπολογίζεται ο mxc πίνακας (Φ) όπου m είναι ο αριθμός των (συνολικών) σημείων, c ο αριθμός των επιλεχθέντων κέντρων και κάθε κελί i,j περιέχει την τιμή ρ( s i c j ) όπου s i ένα σημείο, c j ένα κέντρο και ρ μια RBF (κάποιο kernel), τα t j τα κατέχει ο ανάλογος χρήστης (που έχει το σημείο που αντιστοιχεί στην γραμμή j). Προφανώς ο κάθε χρήστης μπορεί να υπολογίσει τις αποστάσεις (τιμές της RBF) μεταξύ των σημείων και των κέντρων του (υποθέτουμε ότι ο κάθε χρήστης έχει τα δικά του κέντρα και δεν είναι γνωστά στον άλλον). Δηλαδή έχουμε την εξής κατάσταση Σχήμα 2-1: Χωρισμός του Φ σε 4 μέρη Στο παραπάνω σχήμα χωρίζεται ο Δυσδιάστατος Φ πίνακας σε 4 μέρη: Χ: Εγγραφές αποστάσεων των σημείων του χρήστη Χ από τα κέντρα του Χ (τα δικά του σημεία από τα δικά του κέντρα) Υ: Εγγραφές αποστάσεων των σημείων του χρήστη Υ από τα κέντρα του Υ 1: Εγγραφές αποστάσεων των σημείων του Χ από τα κέντρα του Υ 2: Εγγραφές αποστάσεων των σημείων του Υ από τα κέντρα του Χ 8

19 Αν ο χρήστης Χ στείλει το μέρος Χ του πίνακα στον Υ δεν υπάρχει παραβίαση της ιδιωτικότητας καθώς υπάρχουν άπειρα σημεία που να δίνουν τις ίδιες αποστάσεις (εξ υποθέσεως ο κάθε χρήστης δεν γνωρίζει τα κέντρα του άλλου), ομοίως για το μέρος Υ. Τα άλλα δύο μέρη υπολογίζονται χρησιμοποιώντας κάποιο αλγόριθμό υπολογισμού απόστασης με διατήρηση της ιδιωτικότητας. Έστω ότι και οι δύο χρήστες έχουν υπολογίσει αυτόν τον πίνακα Φ (χρησιμοποιώντας ένα αλγόριθμο με διατήρηση της ιδιωτικότητας για υπολογισμό του κάθε κελίου). Εγείρονται τα εξής ζητήματα: (έστω n ο αριθμός των features και c o αριθμός των κέντρων (μοιρασμένος άνισα ή ίσα- στους δύο χρήστες)) Πρόταση 1: Προφανώς ο χρήστης Χ έχει στην κατοχή του αποστάσεις γνωστών σημείων (των κέντρων του) από άγνωστα σημεία (τα σημεία του Y). Αν ο αριθμός των κέντρων που κατέχει ο Χ είναι περισσότερα από το n τότε θα μπορεί να υπολογίσει ΚΑΘΕ σημείο του Υ καθώς θα έχει την απόσταση αυτού του σημείου (του Υ) από >n σημεία (τα κέντρα). Πρόταση 2: Στην γενική περίπτωση #εγγραφών του Χ ( = λ) >> c και >> n. Άρα αφού γνωρίζει την απόσταση κάθε σημείου του από κάθε κέντρο του Y θα μπορεί να υπολογίσει τα κέντρα του Υ (αφού θα έχει λ εξισώσεις με n αγνώστους(η απόσταση κάθε σημείου του από ένα κέντρο -> στήλη του Φ)). Άρα τα κέντρα θα πρέπει να είναι γνωστά. Τα παραπάνω ισχύουν αφού: Πρόταση 3: Αν για ένα σημείο x με διάσταση n γνωρίζω >n εξισώσεις της μορφής x y i = c i, i = 1,2.., τ, τ > n Με y i y j, i j,τότε μπορώ να υπολογίσω το σημείο x Απόδειξη: Έστω ότι ο χώρος έχει διάσταση n, κάθε εξίσωση της μορφής x y i = c i ορίζει μια υπερσφαίρα σε n διαστάσεις (S n 1 ) με κέντρο το y i και ακτίνα c i πάνω στην επιφάνεια της οποίας πρέπει να βρίσκεται το x (άρα το x βρίσκεται πλέον σε ένα χώρο n-1 διαστάσεων). Η τομή δύο επιφανειών σφαιρών n διαστάσεων ορίζει ένα χώρο το πολύ n-2 διαστάσεων (π.χ. δύο τρισδιάστατων σφαιρών θα είναι ένας κύκλος), ενώ η τομή κ το πλήθος επιφανειών σφαιρών ορίζει ένα χώρο το πολύ max(n-κ,0) διαστάσεων. Αν έχω τ>n τέτοιες εξισώσεις τότε ορίζεται ένα μοναδικό σημείο τομής, αλλά καθώς κάθε επιφάνεια σφαίρας πρέπει να περιλαμβάνει το x, το σημείο τομής αυτό θα είναι το x. 9

20 Άρα αν υπολογιστεί ο Φ και από τους δύο χρήστες όλα τα κέντρα θα είναι γνωστά και θα πρέπει η διαστατικότητα των σημείων να είναι μεγαλύτερη από τον αριθμό των κέντρων, αυτό χωρίς να λάβουμε υπόψη τον αλγόριθμο υπολογισμού της απόστασης με διατήρηση της ιδιωτικότητας, ο οποίος μπορεί να δίνει ακόμα περισσότερη πληροφορία. Πρόταση 4: Αν ο αριθμός των κέντρων είναι μικρότερος από την διάσταση των διανυσμάτων και χρειάζεται υπολογισμός του Φ και από τους δύο χρήστες, ένας απλός αλγόριθμος με διατήρηση της ιδιωτικότητας για τον υπολογισμό του RBF μοντέλου είναι ο κάθε χρήστης να στείλει τις αποστάσεις (τιμές RBF) των σημείων του από όλα τα κέντρα, ο παραλήπτης θα έχει <n εξισώσεις με n αγνώστους (για κάθε σημείο) και άρα δεν θα μπορεί να υπολογίσει το σημείο που χρησιμοποιήθηκε. Συμπέρασμα: Ακόμα και αν υπάρχει αλγόριθμος με διατήρηση της ιδιωτικότητας για τον υπολογισμό της ρ( x i c j ), αν υπολογιστεί ο Φ και από τους δύο χρήστες, ο ίδιος ο Φ παρέχει αρκετή πληροφορία (όταν ο αριθμός των κέντρων είναι μεγαλύτερος ή ίσος από την διάσταση των εγγραφών) για να παραβιαστεί η ιδιωτικότητα των σημείων κάθε χρήστη. 10

21 2.2 Υπολογισμός των w i χωρίς τον από κοινού υπολογισμό του πίνακα Φ Η προηγούμενη προσέγγιση είχε το μοιραίο ελάττωμα ότι μάθαιναν ολόκληρο τον Φ και οι δύο χρήστες. Υποθέτοντας της ίδια κατάσταση με πριν (κάποια κέντρα ανά χρήστη, t j του ανάλογου χρήστη) έχουμε πάλι το εξής σχήμα Σχήμα 2.1: Χωρισμός του Φ σε 4 μέρη Γνωρίζουμε ότι [13] w = (Φ Τ Φ) 1 Φ Τ t Όπου Φ mxc πίνακας και Φ Τ t cx1 πίνακας. Έχουμε ότι (2.3) (Φ Τ t) i = φ ji t j m j=1 Παρατηρούμε ότι οι άγνωστες αποστάσεις θα πολλαπλασιάζονται πάντα μόνο με ένα t j,το οποίο υποθέσαμε κατέχει ο ανάλογος χρήστης. Άρα ο υποπίνακας Y δεν χρειάζεται να αποκαλυφθεί στον Χ ούτε αντίστροφα. 11

22 Για τον πίνακα Φ Τ Φ, διαστάσεων cxc (2.4) (Φ Τ Φ) i,j = φ ki φ kj Άρα πάντα πολλαπλασιάζονται στοιχεία της ίδιας γραμμής του αρχικού πίνακα Φ. Συνεπώς οι δύο χρήστες μπορούν να υπολογίσουν μερικά αθροίσματα και να τα ανταλλάξουν έτσι ώστε να μην αποκαλυφθεί ο αντίστοιχος αρχικά γνωστός υπό-πίνακας του καθένα. Όμως παρατηρούμε ότι για τον υπολογισμό του Φ Τ t (και του Φ Τ Φ) αρκεί ο X να γνωρίζει τον υπό-πίνακα 1 (και να μην τον γνωρίζει ο Υ) και παρόμοια για το 2 να τον γνωρίζει μόνο ο Υ, με λίγα λόγια ο καθένας να γνωρίζει μόνο τις αποστάσεις των σημείων του από όλα τα κέντρα. Αυτό ισχύει καθώς κάθε γραμμή του Φ πολλαπλασιάζει ένα στοιχείο του t, άρα μπορούν να βρεθούν μερικά αθροίσματα για το κάθε στοιχείο του τελικού πίνακα από όπου δεν θα μπορεί ο άλλος χρήστης να εξάγει πληροφορία. Δηλαδή, Έστω ότι ο χρήστης Χ γνωρίζει τις πρώτες λ γραμμές του πίνακα (οι αποστάσεις των λ σημείων του από όλα τα κέντρα) και ο χρήστης Υ m-λ=β γραμμές. Παρατηρούμε ότι οι σχέσεις 2.3 και 2.4 γράφονται m k=1 (2.5) λ m (Φ Τ t) i = φ ji t j + φ ji t j j=1 j=λ+1 λ m (2.6) (Φ Τ Φ) i,j = φ ki φ kj + φ ki φ kj k=1 k=λ+1 Προφανώς ο χωρισμός των εγγραφών δεν παίζει ρόλο καθώς κάθε γραμμή ανήκει σε ένα χρήστη και ο πολλαπλασιασμός γίνεται μεταξύ στοιχείων της ίδιας γραμμής. Επίσης δεν υπάρχει κοινή αντίληψη του Φ από τους δύο χρήστες και έτσι θα ήταν ισοδύναμο να υπάρχει οτιδήποτε κατανομή των γραμμών. 12

23 Η σχηματικά (με διαφορετική χρώμα περικλείονται περιοχές που είναι γνωστές μόνο σε ένα χρήστη, οριζόντια διαγράμμιση => Χ, διαγώνια διαγράμμιση => Υ): φ 11 Φ Τ t = ( φ 1c φ m1 t 1 ) ( ) φ t m mc φ 11 Φ Τ Φ = ( φ 1c φ m1 ) ( φ mc φ 11 φ m1 φ 1m ) φ mc Από τα πιο πάνω μπορούσαμε να συμπεράνουμε ότι: λ m λ β (2.7) (Φ Τ t) i = φ ji t j + φ ji t j = x ji t j + y ji t j j=1 j=λ+1 j=1 j=1 λ m λ β (2.8) (Φ Τ Φ) i,j = φ ki φ kj + φ ki φ kj = x ki x kj + y ki y kj k=1 k=λ+1 k=1 k=1 Όπου x ki η τιμή ρ( x k c i ), όμοια για τον y. Όπως ανέφερα οι παραπάνω ισότητες ισχύουν καθώς κάθε στοιχείο του κάθε αθροίσματος υπολογίζεται από στοιχεία που είναι γνωστά μόνο σε έναν χρήστη (με την υπόθεση ότι όλα τα κέντρα είναι γνωστά). Άρα οι παραπάνω σχέσεις απλά μετατοπίζουν τον υπολογισμό από ένα ενιαίο πίνακα σε αθροίσματα ως προς τα στοιχεία του κάθε χρήστη. Η πληροφορία που χρειάζονται οι δύο χρήστες για να υπολογίσουν το δικό τους μέρος του αθροίσματος είναι τα κέντρα, άρα πρέπει να υπάρχει μια συμφωνία στην διάταξη των κέντρων έτσι ώστε η δυάδα i,j (ποια κέντρα να χρησιμοποιηθούν) να αντιστοιχεί στα ίδια κέντρα και στους δύο. Ένας απλός τρόπος για την κοινή διάταξη παρουσιάζεται σε επόμενη παράγραφο. 13

24 Άρα ο χρήστης Χ μπορεί να υπολογίσει τα μερικά αθροίσματα partial((φ Τ Φ) i,j ) X = x ki x kj λ (2.9) k=1 λ partial((φ Τ t) i ) Χ = x ji t j j=1 Και ομοίως ο Υ τα partial((φ Τ Φ) i,j ) Υ = y ki y kj β (2.10) k=1 β partial((φ Τ t) i ) Y = y ji t j Και να αθροίσουν τα αθροίσματα τους. Ακολούθως μπορεί ο καθένας να υπολογίσει τον (Φ Τ Φ) 1 και εν τέλει τα w i. j=1 Πρόταση 5: Τα κέντρα πρέπει να είναι γνωστά Απόδειξη: Έστω ότι ο κάθε χρήστης έχει τα δικά του κέντρα. Για τον υπολογισμό των βαρών χρειάζεται ο υπολογισμός των (Φ Τ t) και (Φ Τ Φ). Ο υπολογισμός αυτών των πινάκων (ιδιωτικά) απαιτεί ότι ο κάθε χρήστης γνωρίζει τις αποστάσεις (τιμές της RBF) των σημείων του από όλα τα κέντρα. Αν υπολογιστούν με κάποιο τρόπο ιδιωτικά οι αποστάσεις από τα κέντρα που δεν κατέχει, ο κάθε χρήστης μπορεί να υπολογίσει τα κέντρα του άλλου χρήστη καθώς ο αριθμός των σημείων του είναι πολύ μεγαλύτερος από τον αριθμό των κέντρων και της διάστασης (βλ. πρόταση 2). Αν δεν υπολογιστούν αυτές οι αποστάσεις ο υπολογισμός των αναγκαίων πινάκων δεν μπορεί να γίνει ιδιωτικά. Γενικά: Έστω μιλάμε για τις αποστάσεις των σημείων του Χ από τα κέντρα του Υ Αν τις αποστάσεις (τιμές RBF) τις γνωρίζει μόνο ο κατέχον τα κέντρα (ο Υ δηλαδή), μπορεί να υπολογίσει τα σημεία του Χ (βλ. πρόταση 1) Αν τις αποστάσεις τις γνωρίζει μόνο ο Χ τότε ο Χ μπορεί να υπολογίσει τα κέντρα του Υ (βλ. πρόταση 2) Αν τις αποστάσεις δεν τις γνωρίζει κανένας δεν μπορούν να υπολογιστούν τα βάρη. 14