SPAM. CS682 Advanced Security Topics. Ιάκωβος Ανδρέου

Transcript

1 SPAM CS682 Advanced Security Topics Ιάκωβος Ανδρέου

2 Τι είναι Μαζική αποστολή ηλεκτρονικών μηνυμάτων, εξωτερικών συνδέσμων ή άλλων, σε μια προσπάθεια προώθησης προϊόντων ή ιδεών. Λόγω του χαμηλού κόστους αποστολής, η αποστολή γίνεται σε μεγάλο αριθμό αποδεκτών. Πρόκειται για παγκόσμιο φαινόμενο και υπάρχουν εκτιμήσεις για επτά τρισεκατομμύρια ανεπιθύμητα μηνύματα spam (2011) Σε αρκετές χώρες η αποστολή spam θεωρείται ποινικό αδίκημα. 2

3 Τρόπος διάδοσης Αυτόματα μέσω των botnets, δικτύων από μολυσμένους υπολογιστές αθώων χρηστών που ελέγχονται από τους spammer. Botnets είναι ένας αριθμός μολυσμένων υπολογιστών συνδεδεμένων στο διαδίκτυο, εκ των οποίων ο κάθε ένας εκτελεί ένα ή περισσότερα tasks χωρίς την άδεια ή την γνώση του χρήστη. Χρησιμοποιούνται για την εκτέλεση DDOS attacks, κλοπή δεδομένων, αποστολή spam, και επιτρέπουν στον εισβολέα να έχει πρόσβαση στην μολυσμένη συσκευή και στην σύνδεση της. 3

4 Επιπτώσεις Είναι φαινόμενο δυσάρεστο, ενοχλητικό και απαράδεκτο από τους παραλήπτες. Οδηγεί σε κατάχρηση πόρων του Διαδικτύου. Θέτει σε κίνδυνο την ασφάλεια και την αξιοπιστία του διαδικτύου. 4

5 Paper 1 Spamalytics: An Empirical Analysis of Spam Marketing Conversion (2008) Chris Kanich, Christian Kreibich, Kirill Levchenko, Brandon Enright, Geoffrey M. Voelker, Vern Paxson, Stefan Savage 5

6 Πρόβλημα Η αποστολή spam είναι κερδοφόρα. Αλλά: πόσα, πόσο συχνά, πόσο στοιχίζει; Οι 3 βασικές παράμετροι: Κόστος αποστολής ενός spam conversion rate (πιθανότητα ένα που στάλθηκε να οδηγήσει σε αγορά) Κέρδος ανά πώληση Λόγω των παράνομων δραστηριοτήτων των spammers, δεν υπάρχουν στοιχεία όσο αφορά τις οικονομικές δραστηριότητες τους. Δεν είχαν καμία καλά τεκμηριωμένη μέτρηση του spam conversion rate. Ο καλύτερος τρόπος για να μετρήσεις το spam είναι να γίνεις spammer. 6

7 Related work Πιο κοντά με το παρών paper είναι αυτά που αναφέρονται ως Stock Spam [7, 8, 10]. R. Boehme and T. Ho. The Effect of Stock Spam on Financial Markets. In Proceedings of the Fifth Workshop on the Economics of Information Security (WEIS), June [7] L. Frieder and J. Zittrain. Spam Works: Evidence from Stock Touts and Corresponding Market Activity. Berkman Center Research Publication, [8] M. Hanke and F. Hauser. On the Effects of Stock Spam. [10] Δεν χρειάζεται να μετρήσει κάποιος το conversion rate για να καταλάβει το κέρδος. Το κέρδος μπορεί να εξαχθεί από τη συσχέτιση του όγκου spam μηνυμάτων με αλλαγές στον όγκο συναλλαγών και την τιμή των σχετικών stocks. Y. Wang, M. Ma, Y. Niu, and H. Chen. Spam Double-Funnel: Connecting Web Spammers with Advertisers. [20] Επικεντρώνεται στις redirection chains, που χρησιμοποιούν οι spammers ως στρατηγική βελτιστοποίησης μηχανών αναζήτησης. [20]. 7

8 Γενική διαδικασία Για να δουν αν οι ενέργειες των spammers είναι κερδοφόρες ή όχι: δημιούργησαν δικές τους e-commerce ιστοσελίδες, τις διαφήμισαν μέσω spam με την χρήση ενός υφιστάμενου spamming botnet (Storm), καταγράψαν τις πωλήσεις. 3 spam campaigns οι οποίες περιλαμβάναν 469 εκατομμύρια s: Πόσα spam s στάλθηκαν με επιτυχία, Πόσα φιλτραρίστηκαν από δημοφιλής anti-spam solutions, Πόσοι χρήστες μπήκαν στο διαφημιζόμενο site (response rate) και πόσοι από αυτούς 8 προχώρησαν σε αγορά ή infection (sale or infection ) (conversion rate).

9 Storm Botnet Χρησιμοποίησαν το Storm Botnet για να διαδίδουν spam. Το storm botnet είναι ένα peer-to-peer botnet, και αποτελείται από ένα σύνολο μολυσμένων υπολογιστών οι οποίοι έχουν μολυνθεί από ένα trojan horse που διαδόθηκε μέσω spam. Ήταν δυνατό να εκτελέσει περισσότερες εντολές το δευτερόλεπτο από top supercomputers. Διαδίδεται μέσω spam, καθοδηγώντας τους παραλήπτες να κάνουν download ένα executable/malware από μία ιστοσελίδα. Η επικοινωνία γίνεται με τη χρήση δύο ξεχωριστών πρωτοκόλλων: UDP-based Overnet protocol (encrypted, and is used primarily as a directory service to find other nodes. A custom TCP-based protocol ( managing command and control the directions informing each bot what actions it should take) 9

10 Ιεραρχία Storm 10

11 Ιεραρχία Storm Worker Bots: Μολυσμένοι Hosts που αιτούνται spam tasks μέσω των proxies για εκτέλεση. 11

12 Ιεραρχία Storm 12 Proxy Bots: Λειτουργούν ως μεσολαβητές μεταξύ των Worker Bots και των Master bots. Δηλαδή μεταβιβάζουν τα tasks που αναθέτουν οι Master Servers στους Workers.

13 Ιεραρχία Storm Master Servers: Στέλνουν εντολές στους worker bots για να εκτελέσουν και συνήθως ελέγχονται από τους bot masters. 13

14 Ιεραρχία Storm Όταν το Storm μολύνει έναν host, ελέγχει αν μπορεί να συνδεθούν άλλοι host σε αυτόν. Αν ναι τότε ο host γίνεται proxy, αν όχι γίνεται worker. 14

15 Διαδικασία Διάδοσης spam μέσω Storm Βήμα 1: Ο worker βρίσκει ένα proxy και στέλνει ένα request για tasks στον αντίστοιχο master server. 15

16 Διαδικασία Διάδοσης spam μέσω Storm Βήμα 2: Ο master server θα απαντήσει με ένα φόρτο εργασίας για τον worker. Αυτός ο φόρτος εργασίας περιλαμβάνει ένα spam template, μια λίστα από addresses που πρέπει να αποσταλθεί το spam, και ένα set από spam URLs. 16

17 Διαδικασία Διάδοσης spam μέσω Storm Βήμα 3: Μόλις λάβει το φόρτο εργασίας που πρέπει να ακολουθήσει ο worker, αποστέλλει τα spam e- mails στα addresses που του έχουν ανατεθεί. 17

18 Διαδικασία Διάδοσης spam μέσω Storm Βήμα 4: Με την ολοκλήρωση του φόρτου εργασίας ο worker στέλνει ένα report αν έγινε επιτυχής ή όχι η αποστολή στον proxy, ο οποίος τις μεταβιβάζει στον master server. 18

19 Μεθοδολογία 8 μη τροποποιημένοι Storm proxy bots σε ένα controlled virtual machine environment. Μια κεντρική gateway, παρέχοντας ένα σημείο παρεμβολής για τo parsing των C & C messages και το rewriting" τους. 19

20 Μεθοδολογία Πολλαπλά accounts στους 3 δημοφιλής δωρεάν providers (Gmail, Yahoo!, and Hotmail). Πολλαπλά SMTP sinks σε ξεχωριστούς οργανισμούς που αποδέχονται κάθε μήνυμα που τους αποστέλλεται (αυτοί χρησίμευσαν ως "έλεγχοι" για να διασφαλίσουν ότι τα spam s αποστέλλονται επιτυχώς, χωρίς να υπάρχει receiver-side spam filtering). 20

21 Μεθοδολογία Η μεθοδολογία που χρησιμοποιήθηκε ονομάζεται botnet infiltration. Botnet infiltration είναι ένας τρόπος να μπεις στο command and control (C&C) channel του botnet και να παρακολουθήσεις τις εντολές που δίνουν οι bot masters στους proxy hosts, και να τις τροποποιήσεις. Εφόσον το Storm μολύνει hosts τυχαία οι συγγραφείς κατάφεραν να μολύνουν υπολογιστές τους κατά παραγγελία και να δημιουργήσουν proxy bots υπό τον έλεγχο τους. Στην συνέχεια κατάφεραν να αποτρέψουν άλλες ανεπιθύμητες λειτουργίες των bots όπως DDOS attacks και με την χρήση ενός rewriter να αλλοιώνουν τα spam templates που αποστέλλονται από τους master servers, κάνοντας τους worker bots να αντικαταστήσουν τα spam links με URLs ιστοσελίδων δημιουργημένες από τους 21 συγγραφείς.

22 Measuring click-through and conversion Advertising a pharmacy site: Δημιουργήσαν web sites που αντικατοπτρίζουν τη Storm original sites s user interface, αλλά όταν ένας χρήστης κάνει κλικ στο "Checkout" επιστρέφουν ένα μήνυμα σφάλματος (404 error message). Προσθέτουν ένα αναγνωριστικό στο τέλος κάθε διεύθυνσης URL, το οποίο επιτρέπει να συνδέουν ξεκάθαρα μεμονωμένα μηνύματα spam με επακόλουθες προσβάσεις στο site. Υποθέτουν ότι μια προσπάθεια αγοράς είναι ένα conversion. 22

23 Measuring click-through and conversion A self-propagation campaign: Η καμπάνια προσελκύει τους χρήστες να κατεβάσουν το Storm malware μέσω εξαπάτησης. Αντικαταστήσαν το link στο Storm malware με ένα benign εκτελέσιμο αρχείο. Αν εκτελεστεί, το εκτελέσιμο είναι σχεδιασμένο να εκτελεί ένα απλό HTTP POST με ένα harmless payload ("data = 1") σε ένα server υπό τον έλεγχό τους και στη συνέχεια γίνεται exit. Όλες οι προσβάσεις στο site καταγράφονται και έτσι προσδιορίζουν πότε έχει γίνει λήψη του binary. 23

24 24

25 Separating users from crawlers Δεν χρησιμοποιούν κάθε URL που περιέχει το μοναδικό αναγνωριστικό. Κάνουν blacklist hosts that access robots.txt και hosts που κάνουν malformed requests. Κάνουν blacklist όλους τους hosts που κάνουν disable javascript και δεν φορτώνουν embedded images. Κάνουν blacklist a IP address που έχουν πρόσβαση στην pharmacy site χρησιμοποιώντας αρκετά διαφορετικά unique identifiers. Κάνουν blacklist οποιοδήποτε host που κάνει request το downloaded executable 10 και πάνω φορές. 25

26 Campaign Datasets 26 Campaign Dates Workers s Pharmacy Mar 21 Apr 15 31, ,590,389 Postcard Mar 9 Mar 15 17,639 83,665,479 April Fool Mar 31 Apr 2 3,678 38,651,124 The Pharmacy campaign is a 26-day sample (19 active days) of an on-going Storm campaign advertising an online pharmacy. The Postcard and April Fool campaigns are two distinct and serial instances of self-propagation campaigns. 26

27 Campaign Datasets 27 Οι δέκα πιο επικεντρωμένοι address domains και η συχνότητα τους στις combined lists με στοχευμένες διευθύνσεις και στις τρεις καμπάνιες. 27

28 Campaign Datasets 28 Number of Messages Assigned Per Hour For Each Campaign 28

29 Campaign Datasets 29 Timeline of Proxy Bot Workload 29

30 Campaign Datasets 30 7 από 8 proxy bots επέζησαν μέχρι το τέλος. Ο συνολικός αριθμός των worker bots που συνδέονται με τους proxies ήταν Για το pharmacy site, μόνο το 10.2% IP addresses έγιναν blacklist ως crawlers, αλλά 55.3% of all unique identifiers used in requests originated from these crawlers. Για όλα τα non-image requests που έγιναν στο site, 87.43% were made by blacklisted IP addresses. Τα αποτελέσματα για το Storm spam campaigns δείχνουν ότι το spam conversion rate είναι αρκετά χαμηλό. 30

31 Spam Conversion Pipeline 31 pipeline and shows the type of filtering at each stage. «Έσπασαν» το spam conversion σε ένα pipeline με 5 filtering στάδια. 31

32 Spam Conversion Pipeline The effects of filtering at each stage of the conversion pipeline for both the self-propagation and pharmaceutical campaigns. 32

33 Spam Conversion Pipeline The number of messages delivered a user s inbox for the free providers, which together accounted for about 16.5% of addresses targeted by Storm, as well as our department s commercial spam filtering appliance. 33

34 Spam Conversion Pipeline 34 The Time-To-Click to The Pharmacy Site 34

35 Effects Of Blacklisting 35 Composite Blocking List (CBL): 4 6 million IP addresses που έχουν στείλει σε διάφορα spam-traps σε οποιαδήποτε δεδομένη στιγμή. 81% από 40,864 workers που έστειλαν delivery reports εμφανίζονται στην CBL. 77% εμφανίζονται πρώτα στην blocking list μετά από 4.4 days (median). Περισσότεροι από 75% των hosts οι οποίοι ποτέ δεν έκαναν report successful delivery of spam, ποτέ δεν εμφανίζονται στην λίστα. 35

36 Conversion Analysis 36 light grey: the 541 hosts that execute the emulated self-propagation program. black: the 28 hosts that visit the purchase page of the pharmacy site. 36

37 Αποτελέσματα - Συμπεράσματα 37 Μετά από 26 μέρες πειράματος, από τα 350 εκατομμύρια spam που στάλθηκαν μόνο 28 οδήγησαν σε μια πώληση, λόγω των τεχνικών spam filtering που χρησιμοποιούν οι παροχείς υπηρεσιών Internet και ηλεκτρονικού ταχυδρομείου. Ένα conversion rate που υπολογίζεται να είναι πολύ μικρότερο από %. 37

38 Αποτελέσματα - Συμπεράσματα 38 Ωστόσο ένα πολύ χαμηλό conversion rate δεν σημαίνει πως δεν είναι κερδοφόρο προς τους spammers. Η κάθε πώληση ήταν για προϊόντα περίπου 100 ευρώ το κάθε ένα. Έτσι, υπήρξε περίπου κέρδος 2,731 δολάρια όσο το πείραμα έτρεχε. Ωστόσο, το πείραμα αντικατόπτριζε μόνο ένα μικρό κλάσμα ολόκληρου του Storm network, που υπολογίζεται να είναι γύρω στο 1.5%. Έτσι, υπολογίζεται πως για την φαρμακευτική ιστοσελίδα υπάρχει περίπου κέρδος 9000 δολαρίων καθημερινώς, άρα περίπου 3.5 εκατομμύρια κέρδος ετησίως. 38

39 Paper The Underground on 140 Characters or Less (2010) Chris Griery, Kurt Thomas, Vern Paxsony, Michael Zhangy 39

40 Πρόβλημα Αυτό το paper ασχολείται με το spam στο twitter. Το twitter έχει πάνω από 106 εκατομμύρια χρήστες οι οποίοι κάνουν post πάνω από ένα δισεκατομμύριο φορές τον μήνα. Παρά την αύξηση του όγκου ανεπιθύμητων μηνυμάτων, το Twitter δεν διαθέτει σήμερα μηχανισμό φιλτραρίσματος για την αποτροπή του αποκλεισμού του spam, εξαιρουμένου των malware που μπλοκάρονται χρησιμοποιώντας το Google s Safebrowsing API. Το Twitter έχει αναπτύξει ένα χαλαρό σύνολο ευρετικών για να ποσοτικοποιήσει τη δραστηριότητα του spam, όπως η υπερβολική δημιουργία λογαριασμών ή τα friend requests. 40

41 Πρόβλημα Συγκεκριμένα: Παρουσιάζουν την πρώτη εμπεριστατωμένη ματιά στο spam στο Twitter, με βάση μια λεπτομερή ανάλυση των tweets που περιέχουν πάνω από 2 εκατομμύρια ξεχωριστές διευθύνσεις URL που δείχνουν σε blacklisted scams, phishing και malware. Αναλύουν το clickthrough rate for spam στο Twitter. Αναγνωρίζουν μια ποικιλία spam campaigns που εκμεταλλεύονται μια σειρά από λειτουργίες του Twitter για να προσελκύσουν ακροατήρια, συμπεριλαμβανομένων των large-scale phishing attacks και targeted scams. 41

42 Πρόβλημα Συγκεκριμένα: Μετράνε την απόδοση των blacklists ως φίλτρο για τις διευθύνσεις URL που δημοσιεύονται στο Twitter. Αναπτύσσουν τεχνικές για τον εντοπισμό και την ανάλυση δύο τύπων λογαριασμών spam στο Twitter. Αυτά που δημιουργούνται κυρίως για spamming και λογαριασμούς που γίνονται compromised από spammers. 42

43 Related work Z. Qian, Z. Mao, Y. Xie, and F. Yu. On network-level clusters for spam detection, Κοινές τεχνικές για filter spam που περιλαμβάνουν IP blacklisting G. Voelker, V. Paxson, and S. Savage. Spamalytics: An Empirical Analysis of Spam Marketing Conversion, 2008 Χρησιμοποιούν τον the Storm botnet and αλλάζουν τα s που στέλνονται being sent, directly measuring the conversion and clickthrough rate of campaigns executed by the Storm botnet. H πιο σχετική δουλειά : H. Kwak, C. Lee, H. Park, and S. Moon. What is Twitter, a social network or a news media?, 2010 Εξετάζει την δομή των social connections στο Twitter αλλά δεν εξετάζει but does not examine το thriving spam ecosystem on Twitter. 43

44 Anatomy of a Twitter spammer Ένα profile στο Twitter αποτελείται από 3 συστατικά: Tweets: πρόταση από τον χρήστη που εκφράζει μια άποψη. 140 χαρακτήρες ή λιγότερο, (περιορισμός στις πληροφορίες που μπορεί να ενσωματώσει ένας spammer σε ένα tweet) Followers: σύνολο των χρηστών που θα λάβουν το tweet όταν δημοσιευτεί από τον spammer. Η πρόκληση για τον spammer είναι να αποκτήσει ένα τεράστιο αριθμό ακολούθων, δίνοντας του την δυνατότητα να διαδίδει ένα spam tweet σε χιλιάδες χρήστες. Friends: Οι φιλίες στο Twitter δεν είναι αμφίδρομες. Ένας χρήστης θα λαμβάνει tweets από έναν φίλο χωρίς να δείχνει τα δικά του tweets. Ένας spammer θα αιτηθεί φιλία από πολλούς χρήστες ελπίζοντας πως κάποιοι θα ανταποδώσουν το αίτημα, και να ανοίξει ένα κανάλι επικοινωνίας. 44

45 Twitter features Mentions: Αναφορά σε ένα συγκεκριμένο χρήστη, χρησιμοποιώντας σύμβολο μαζί με το όνομα του χρήστη. Επιτρέπει στους χρήστες να βρίσκουν tweets που αναφέρονται απευθείας σε αυτούς. PLEASE FOLLOOWW MEEE!!! <3333 Retweets: όταν ένας χρήστης κάνει repost ή προώθηση ενός tweet κάποιου άλλου χρήστη. Βοηθά στην αύξηση του αριθμού των χρηστών που θα δουν ένα tweet. π.χ. Example: RT this if u <3 justin bieber Hashtags: Χρήση του συμβόλου # για κατηγοριοποίηση των tweets βάση ενός θέματος. π.χ. Example: Get free followers #FF #Follow Justin Bieber 45

46 Data collection Συλλογή δεδομένων από δύο ξεχωριστές κατηγορίες: τυχαία συλλογή tweets συλλογή tweets που περιλάμβαναν URLs. Για την αναγνώριση spam URLs στο Twitter χρησιμοποίησαν γνωστά URL blacklists Google Safebrowser, URIBL, και Joewein. Τα spam URL χωρίστηκαν σε 3 κατηγορίες βάση των περιεχομένων τους: Malware: Αν το URL οδηγεί σε ιστοσελίδα που περιέχει κακόβουλο software. Phishing: Αν η ιστοσελίδα προσπαθεί να κλέψει τα στοιχεία του χρήστη. Scam: Αν η ιστοσελίδα διαφημίζει προϊόντα. Για την μέτρηση του Spam έγινε συλλογή 7 εκατομμυρίων tweets καθημερινά για ένα μήνα. 46

47 Data collection Μετά από 1 μήνα, έγινε συλλογή 200 εκατομμυρίων tweets και 25 εκατομμυρίων URLs. Από τα 200 εκατομμύρια tweets, πέραν των 3 εκατομμυρίων αναγνωριστήκαν ως spam βάση του περιεχομένου τους. Από τα 25 εκατομμύρια URLs, τα 2 εκατομμύρια αναγνωριστήκαν ως spam από τα blacklists. Από αυτά τα blacklisted URLs, 5% ήταν malware και phishing, ενώ το υπόλοιπο 95% οδηγούσε τους χρήστες σε scam. 47

48 Spam on tweeter - Spam Breakdown Με μόνο 140 χαρακτήρες στην διάθεση τους, οι spammers πρέπει να βρουν έξυπνους τρόπους για να διαδώσουν το spam. Οι spammers εκμεταλλευόμενοι τα features που προσφέρει το twitter όπως τα hashtags, retweets, και τα mentions ανέπτυξαν τις πιο κάτω τεχνικές για να διαδίδουν spam. Callouts Τα mentions χρησιμοποιούνται για την προσωποποίηση ενός μηνύματος, σε μια προσπάθεια αύξησης της πιθανότητας ένας χρήστης να επισκεφτεί ένα spam link. π.χ Win an itouch AND a $150 Apple gift 48

49 Spam on tweeter - Spam Breakdown Retweets Με την χρήση retweet των spam URL αυξάνεται ο αριθμός των χρηστών που θα δουν το URL. Υπάρχουν 4 κατηγορίες spam retweet: 1) retweets που αγοράζονται από spammers (μία υπηρεσία, το retweet.it, κάνει retweet ένα μήνυμα 50 φορές σε 2,500 twitter followers για $5), 2) spam account που κάνουν retweet άλλα spam, 3) hijacked retweets, 4) χρήστες κάνουν retweet spam άθελα τους. π.χ. check out the Ipads there having a giveaway 49

50 Spam on tweeter - Spam Breakdown Tweet hijacking: Οι spammers μπορούν να παίρνουν tweets από γνωστά μέλη, και να τα αλλοιώνουν ενσωματώνοντας spam URLs σε αυτά και να τα κάνουν retweet. π.χ. Example: A great battle is ahead of us Trend hijacking: Οι spammers με την χρήση hashtag, προσαρτούν δημοφιλή θέματα στα spam tweet τους. Όποιος χρήστης αναζητήσει το θέμα αυτό θα του εμφανίζονται επίσης τα spam URLs. π.χ. Example: Help donate to #haiti relief: 50

51 Spam on Twitter Breakdown of spam categories for spam on Twitter, based on tweet text Περίπου το 50% του spam ήταν uncategorized λόγω της χρήσης random terms. Αυτός ο πίνακας είναι το άλλο 50%. 51

52 Spam on Twitter Feature frequency by blacklist for mentions retweets (RT), and hashtags (#), compared to a random sample of tweets and a random sample of tweets containing URLs. 52

53 Spam Clickthrough Από 245,000 blacklisted URL links υπολογίστηκε πως: 97% δεν έλαβαν κανένα κλικ 3% έλαβαν πάνω από 1.6 εκατομμύρια επισκέπτες. Για τον υπολογισμό του spam clickthrough, έγινε υπολογισμός του linear correlation (γραμμική συσχέτιση) μεταξύ των clicks, του αριθμού account που κάνουν tweet ένα link, και τον αριθμό των follower που μπορούν να δουν ένα spam link. Υπολογίστηκε πως 0.13% των spam tweet που δημοσιεύονται οδηγούν σε μια επίσκεψη στην ιστοσελίδα ποσοστό πολύ ψηλότερο από αυτό του spam . Για την μέτρηση του clickthrough χρησιμοποιήθηκε το bit.ly, το οποίο σου επιτρέπει να αναλύσεις διάφορες ιστοσελίδες στο web. 53

54 Spam Clickthrough Clickthrough for spam URLs posted to Twitter. Of links that generate any traffic, 50% of the URLs receive fewer than 10 clicks, while the upper 10% of URLs account for 85% of the 1.6 million clicks we observe. Μόνο το 2.3% of URLs που παρήγαγαν οποιαδήποτε κίνηση φαίνονται. 54

55 Spam Accounts Χωρίς τους λογαριασμούς στο Twitter οι spammers δεν θα μπορούσαν να προωθήσουν τις spam ιστοσελίδες τους. Οι κατηγορίες λογαριασμών που προωθούν spam είναι δύο: Career spamming accounts: Λογαριασμοί που δημιουργούνται εξολοκλήρου για την προώθηση spam (automated bots). Compromised accounts: Λογαριασμοί χρηστών που έχουν κλαπεί μέσω phishing attacks ή από απλή κλοπή κωδικών. Η κατηγοριοποίηση των λογαριασμών αυτών έγινε μετά από μια σειρά τεστ που πέρασαν οι λογαριασμοί αυτοί: ανάλογα με τον αριθμό followers που έχει ένας λογαριασμός, αν έχει φωτογραφία, ή αν ακολουθεί ένα συγκεκριμένο pattern δημοσίευσης σε συγκεκριμένες χρονικές στιγμές. 55

56 Spam Accounts Μετά από πολλά τεστ και ένα δείγμα 43,000 spam account υπολογίστηκε πως 16% των spam account ήταν career spamming, 84% ήταν compromised accounts Οι spammers προτιμούν την μέθοδο κλοπής ενός υφιστάμενου λογαριασμού για προώθηση του spam, εκμεταλλευόμενοι την εμπιστευτικότητα που έχουν οι followers του κλεμμένου λογαριασμού σε αυτό. 56

57 Spam tools Για να κατανοήσουν τον τρόπο επικοινωνίας των spammers με το Twitter, αναλύουν τις πιο δημοφιλείς εφαρμογές μεταξύ των spam λογαριασμών που χρησιμοποιούνται για τη δημοσίευση tweets. Χρησιμοποιώντας πληροφορίες που είναι ενσωματωμένες σε κάθε tweet, συγκεντρώνουν στατιστικά στοιχεία για τις πιο δημοφιλείς εφαρμογές που χρησιμοποιούν οι spammers, συγκρίνοντας αυτά τα αποτελέσματα με ένα τυχαίο δείγμα. 57

58 Spam tools H χρήση του career spammer application περιλαμβάνει εργαλεία αυτοματοποίησης όπως το HootSuite3 και το twitterfeed4 που επιτρέπουν στους χρήστες να προπρογραμματίζουν tweets σε συγκεκριμένα χρονικά διαστήματα. Αυτά τα εργαλεία δεν είναι αποκλειστικά για τους spammers, αν και οι συνηθισμένοι χρήστες είναι πολύ πιο πιθανό να αλληλοεπιδρούν με το Twitter απευθείας μέσω του ιστού. 58

59 Spam tools Most frequently used applications per-account for compromised, spamming and a random sample of accounts. Career spammers use different applications than compromised users, which are closer to the random set. 59

60 Spam Campaigns Campaign: το σύνολο των λογαριασμών που κάνουν spam τουλάχιστον μια blacklisted landing page από κοινού. Για να κάνουν cluster accounts σε campaigns: Ορίζουν μια campaign σαν binary feature vector c = {0,1} n (n= total number of landing pages in our data set.) c i c j 0 : δείχνει ότι τουλάχιστον ένα link μοιράζεται και από τους δυο λογαριασμούς. Αν ένας λογαριασμός συμμετέχει σε πολλαπλά campaigns, ο αλγόριθμος αυτόματα θα ομαδοποιήσει τα campaigns σε ένα superset. 60

61 Spam Campaigns Campaign statistics after clustering 61

62 Spam Campaigns Number of accounts colluding in campaigns Number of landing pages targeted by campaigns Campaign statistics after clustering at least 10% of campaigns consist of more than one account. 62 Η ποικιλομορφία των landing pages μεταξύ campaigns είναι ελαφρώς πιο συχνή.

63 Blacklist Παρατηρώντας την μεγάλη διάδοση του spam στο Twitter, εξετάστηκε κατά πόσο τα blacklists μπορούν να περιορίσουν το πρόβλημα αυτό. Blacklist ή block list είναι ένας μηχανισμός ελέγχου πρόσβασης που επιτρέπει όλα τα στοιχεία ( address, users, passwords, URLs, IP address, etc.) εκτός αυτών που βρίσκονται στην λίστα. Σε ένα web browser, τέτοιες λίστες χρησιμοποιούνται με σκοπό να αποτρέψουν χρήστες από το να επισκέπτονται malicious ιστοσελίδες. Αν ένας proxy server λάβει ένα μήνυμα από τον αποστολέα με ένα blacklist URL, το μήνυμα αυτό μπλοκάρεται. 63

64 Blacklist Το Twitter βασίζεται στο Google Safebrowsing API για να μπλοκάρει malicious ιστοσελίδες, αλλά αυτό το είδος filtering μπλοκάρει ιστοσελίδες που είναι ήδη blacklisted την ώρα δημοσίευσης τους. Αν ένα malicious link δεν είναι blacklisted την ώρα που δημοσιεύεται τότε το Twitter θα επιτρέψει την δημοσίευση του κανονικά. 64

65 Blacklist Blacklist performance, measured by the number of tweets posted that lead or lag detection. Positive numbers indicate lead, negative numbers indicate lag. Στον πίνακα βλέπουμε τους lead και lag χρόνους για τα tweets. Η πλειοψηφία των spam tweets εμφανίζονται πολλές μέρες πριν γίνουν blacklisted, και στην περίπτωση του URIBL και Google πολλές εβδομάδες. 65

66 Blacklist Blacklist performance, measured by lead and lag times for unique domains posted. Χρησιμοποιώντας click-through δεδομένα από ένα τυχαίο δείγμα 20,000 spam link, βρέθηκε πως το 80% των clicks γίνονται την πρώτη μέρα που δημοσιεύονται τα spam URLs. Για αυτό η καθυστέρηση των blacklist πρέπει να είναι μηδαμινή έτσι 66 ώστε να είναι αποδοτική η χρήση τους.

67 Blacklist Frequency of redirects and nested redirects amongst distinct spam URLs Frequency of cross-domain redirects amongst distinct spam URLs containing at least one hop Ακολουθώντας shortened URL, διαπίστωσαν ότι πάνω από το 80% των ξεχωριστών links περιείχε τουλάχιστον ένα redirect. 67 Περίπου το 55% των blacklisted URLs διασχίζουν ένα domain boundary.

68 Συμπεράσματα Το άρθρο παρουσιάζει την πρώτη έρευνα που αφορά τo spam στο Twitter, όπως το spam behavior, το clickthrough, spam accounts, και την αποδοτικότητα των blacklist για παρεμπόδιση των spam. Χρησιμοποιώντας πάνω από 400 εκατομμύρια μηνύματα και 25 εκατομμύρια URLs από δεδομένα του Twitter, υπολογίστηκε πως 8% των Twitter link οδηγούν σε spam. Αναλύοντας την συμπεριφορά των spam account, υπολογίστηκε πως 16% των spam accounts είναι automated bots, και το υπόλοιπο 84% είναι compromised accounts. 68

69 Συμπεράσματα Το clickthrough του spam υπολογίστηκε να φτάνει στο 0.13%, ένα ποσοστό πολύ ψηλότερο από αυτό του spam. Η καθυστέρηση των blacklist να παρεμποδίζουν spam URLs από το να δημοσιεύονται, δείχνει πως η χρήση τους στο Twitter δεν θα ήταν χρήσιμη για την μείωση του spam. Τέλος, το Twitter αποτελεί ένα ελκυστικό στόχο για τους spammers, εφόσον μπορούν να προωθούν spam μηνύματα σε χιλιάδες χρήστες χωρίς μεγάλη προσπάθεια. 69

70 Ευχαριστώ για την προσοχή σας!! 70