Γνωριμία με το λογισμικό στατιστικών αναλύσεων R. Επιστήμη των δεδομένων

Transcript

1 Μεταπτυχιακό Πρόγραμμα ΓΕΩΠΛΗΡΟΦΟΡΙΚΗ Ακαδ. Έτος Γνωριμία με το λογισμικό στατιστικών αναλύσεων R ημήτρης εληκαράογλου ddeli@mail.ntua.gr Σημερινή ενότητα του μαθήματος Ο ρόλος του λογισμικού και της γλώσσας προγραμματισμού R στις σημερινές ανάγκες της Επιστήμης εδομένων (Data Science) Εφαρμογή τεχνικών ανάλυσης... σε σύνολα δεδομένων που ποικίλουν ως προς τον όγκο, ταχύτητα διάθεσης, ποικιλία, αξία, πιστότητα... Προκειμένου να οδηγηθούμε στην... ανακάλυψη νέων γνώσεων... βελτίωση των αποτελεσμάτων επιχειρησιακών δράσεων... παροχή καλύτερων υπηρεσιών προσαρμοσμένων στις εκάστοτε ανάγκες Σημερινή ενότητα του μαθήματος Ο ρόλος του λογισμικού και της γλώσσας προγραμματισμού R στις σημερινές ανάγκες της Επιστήμης εδομένων (Data Science) R: βασικές αρχές χρήσης και λειτουργίας Χαρακτηριστικά, χρηστικότητα και δυνατότητες, ιδιαίτερα για στατιστικές αναλύσεις και γραφικές απεικονίσεις Πλεονεκτήματα και μειονεκτήματα Επικοινωνία με το R Το περιβάλλον λειτουργίας Σύνταξη εντολών Η καμπύλη εκμάθησης (learning vs. mastering) Επιστήμη των δεδομένων Data Science: είναι ένα συναρπαστικό (και συγχρόνως τεράστιο) γνωστικό πεδίο που μας επιτρέπει να ενεργοποιήσουμε ανεπεξέργαστα (ή μερικώς επεξεργασμένα) δεδομένα με στόχο την κατανόηση, τη διορατικότητα και τη γνώση που παρέχουν οι πληροφορίες που περιέχονται σε αυτά. Επιστήμη των δεδομένων Σήμερα, ενώ το νέο πληροφοριακό περιεχόμενο διπλασιάζεται σε ετήσια βάση, οχρόνοςπου δαπανάται για την αξιοποίησή του παραμένει σταθερός (μόνο 5-10% των διαθέσιμων δεδομένων τυγχάνει κάποιας ανάλυσης) Επιστήμη των δεδομένων ως διεπιστημονική περιοχή, εκτός της πληροφορικής και των μαθηματικών, έχει ως βασικό πυλώνα και τη γνώση του εκάστοτε πεδίου εφαρμογής της Επιστήμη των δεδομένων Συχνά ο όρος παραπέμπει στην εξόρυξη δεδομένων (Data Mining), Big Data, Μηχανική Μάθηση (Machine Learning), Common purpose... A data driven analysis to uncover otherwise unknown but useful patterns in large datasets, to discover new knowledge and to develop predictive models, turning data and information into knowledge and (one day perhaps) wisdom, in a timely manner.

2 Ποια είναι η διαφορά μεταξύ μηχανικής μάθησης, ανάλυσης δεδομένων, εξόρυξης δεδομένων, επιστήμης των δεδομένων και AI; Η Επιστήμη των εδομένων αναφέρεται στην ομπρέλα σειράς τεχνικών (π.χ., αλγοριθμικής, αριθμητικής, στατιστικής θεώρησης των προβλημάτων), μέσω των οποίων προσπαθούμε να εξάγουμε πληροφορίες (άγνωστά αλλά χρήσιμα μοτίβα) από στοιχεία που προέκυψαν από σύνολα μεγάλων, ετερογενών, συνεχών μεταβαλλόμενων όγκων δεδομένων. Ποια είναι η διαφορά μεταξύ μηχανικής μάθησης, ανάλυσης δεδομένων, εξόρυξης δεδομένων, επιστήμης των δεδομένων και AI; Η Εξόρυξη εδομένων αναφέρεται στην συγκέντρωση όλων των διαθέσιμων δεδομένων, ώστε στη συνέχεια να αναζητηθούν μοτίβα σε αυτά, με σκοπό να δημιουργηθούν μοντέλα πρόβλεψης και λήψης αποφάσεων. η λέξη κλειδί είναι η ανακάλυψη, που ορίζεται ως η ανίχνευση κάτι καινούριου Ποια είναι η διαφορά μεταξύ μηχανικής μάθησης, ανάλυσης δεδομένων, εξόρυξης δεδομένων, επιστήμης των δεδομένων και AI; Η Ανάλυση εδομένων είναι ένας χαλαρός όρος που αναφέρεται σε τεχνικές που εμπλέκουν, συνδυάζουν και χρησιμοποιούν δεδομένα, όπως και σε κάθε προσπάθεια κατανόησης των διαθέσιμων δεδομένων, με στόχο τη δημιουργία μοντέλων με δυνατότητες πρόγνωσης. Ποια είναι η διαφορά μεταξύ μηχανικής μάθησης, ανάλυσης δεδομένων, εξόρυξης δεδομένων, επιστήμης των δεδομένων και AI; Η Μηχανική Μάθηση αναφέρεται στη δημιουργία αλγορίθμων και υπολογιστικών διαδικασιών που είναι αρκετά ευφυείς ώστε να μαθαίνουν από τα δεδομένα. Το τελευταίο στάδιο της εξόρυξης δεδομένων Τι ακριβώς είναι το R; Τι μπορούμε να κάνουμε για την Επιστήμη εδομένων με το R; Το R παρέχει σημαντικά και εύχρηστα τα εργαλεία για να αντιμετωπίσει κανείς ένα ευρύ φάσμα των προκλήσεων της επιστήμης δεδομένων, κυρίως για στατιστικούς (και όχι μόνο) υπολογισμούς και τη δημιουργία γραφικών παρόλο που η γλώσσα R για πολλούς- δεν είναι η ωραιότερη από τις γλώσσες προγραμματισμού! Σύμφωνα με το εξαιρετικό βιβλίο του John Chambers Software for Data Analysis - Programming with R, ο ρόλος και αποστολή του R περιγράφεται ως to enable the best and most thorough exploration of data possible all modern statistical approaches... many/most machine learning algorithms... opportunity to readily add new algorithms. Επιστήμη των δεδομένων και Επιστήμη των δεδομένων και

3 Εισαγωγή δεδομένων... από ένα αρχείο, μια βάση δεδομένων, ή έναν ιστότοπο, και αποθηκεύονται με κατάλληλο τρόπο στο R για περαιτέρω επεξεργασία το R έχει την πιο εκτεταμένη σειρά εργαλείων για την εισαγωγή πολυμορφίας δεδομένων, π.χ. SPSS, SAS, Strata, Minitab, Excel, Dbase, Τακτοποίηση/μορφοποίηση των στοιχείων των δεδομένων... αποθήκευση σε συνεκτικές μορφές/δομές που ταιριάζουν με τη σημασιολογία του συνόλου των δεδομένων π.χ., κάθε στήλη να είναι μια μεταβλητή, και κάθε σειρά να είναι μια παρατήρηση Μετατροπή των δεδομένων... π.χ., εξαγωγή ενός υποσυνόλου στοιχείων ενδιαφέροντος, εισαγωγή νέων μεταβλητών που είναι συναρτήσεις πρότερων μεταβλητών, συνοπτικά στατιστικά μέτρα,... με το R Effective analyses can be scripted Scripting also required for repeatability Transparency, Sharing, Insight ύο κύριοι μηχανισμοί παραγωγής γνώσης... Οπτικοποίηση και μοντελοποίηση συμπληρωματικά πλεονεκτήματα και μειονεκτήματα οποιαδήποτε ανάλυση πραγματικών δεδομένων επιβάλλει το συνδυασμό και εναλλαγή μεταξύ τους Οπτικοποίηση των δεδομένων... Μια καλή απεικόνιση μπορεί να αναδείξει μη αναμενόμενα χαρακτηριστικά, να προκαλέσει νέα ερωτήματα σχετικά με τα δεδομένα ή να επιβάλει τη συλλογή νέων στοιχείων. Μοντελοποίηση των δεδομένων... συμπληρωματική διαδικασία της οπτικοποίησης Ένα καλό μοντέλο μπορεί να περιγράψει με ακρίβεια μια φυσική διαδικασία ή φαινόμενο ή ένα τυχαίο πείραμα κάθε μοντέλο στηρίζεται στις δικές του υποθέσεις, και εκ της φύσεως του δεν μπορεί να αμφισβητεί τις υποθέσεις του Επικοινωνία των συμπερασμάτων από τα δεδομένα... το πλέον κρίσιμο μέρος κάθε ανάλυσης δεδομένων. εν έχει σημασία πόσο καλά τα μοντέλα και η οπτικοποίηση των δεδομένων έχουν οδηγήσει στο να κατανοήσουμε τα δεδομένα, εκτός εάν μπορούμε επίσης να επικοινωνήσουμε τα αποτελέσματα των αναλύσεων μας σε άλλους R είναι ο καλύτερος τρόπος για να δημιουργήσει και να αναπαραγάγει κανείς υψηλής ποιότητας αναλύσεις, με όλη την ευελιξία και υπολογιστική ισχύ που συνήθως απαιτείται από τις εκάστοτε εφαρμογές Η χρήση του λογισμικού και της γλώσσας προγραμματισμού R καλύπτει εγκάρσια, με πληθώρα εργαλείων, όλα τα προηγούμενα βασικά στάδια της ανάλυσης δεδομένων (από Small to Big Data) αν υπάρχει μια παλαιότερη ή νέα στατιστική τεχνική ή μεθοδολογία ανάλυσης δεδομένων, οι πιθανότητες είναι ότι υπάρχει ήδη ένα διαθέσιμο πακέτο R για αυτό Τι ακριβώς είναι Μια συλλογή τελεστών και συναρτήσεων ιδιαίτερα κατάλληλων για υπολογισμούς με διατεταγμένα ή πινακοποιημένα δεδομένα (arrays & matrices) Μια εκτεταμένη, συνεκτική, ολοκληρωμένη συλλογή εργαλείων για την ανάλυση δεδομένων Εφαρμογές επεξεργασίας γραφικών με δυνατότητες για την ανάλυση και την απεικόνιση δεδομένων είτε στην οθόνη Η/Υ, είτε σε έντυπη μορφή

4 Τι ακριβώς είναι Μιακαλάανεπτυγμένη, απλή και αποτελεσματική γλώσσα προγραμματισμού με πολύ ισχυρές δυνατότητες scripting. Πραγματικά ΩΡΕΑΝ, ευρέως υποστηριζόμενο, ανοικτού κώδικα λογισμικό (με ένα τεράστιο αριθμό διαθέσιμων εξειδικευμένων πακέτων) Η αφετηρία ανάπτυξης του R Η ανάπτυξη του έχει βάση στη δημιουργία της γλώσσας προγραμματισμού S που αναπτύχθηκε, περί το 1976, στα εργαστήρια της εταιρίας τηλεπικοινωνιών Bell (πρώην ΑΤ&Τ) για την ανάλυση δεδομένων Το εμπορικό προϊόν, εμφανίστηκε, το 1988, με την ονομασία: S-plus. Murray Hill, New Jersey Η προέλευση του R Το διαδραστικό περιβάλλον S, και η αλγοριθμική γλώσσα Scheme, που αναπτύχθηκε στο MIT, και είναι μια από τις δύο βασικές διαλέκτους της Lisp κοινοποιήθηκε μέσα από τα περιώνυμα Lambda Papers Λογισμός λ (λ-calculus) Ένας φορμαλισμός σχεδιασμένος, τη δεκαετία του 70, για τη διερεύνηση ορισμών, εφαρμογών συναρτήσεων και αναδρομής συναρτήσεων Αναπτύχθηκε αρχικά από τον Alonzo Church στις αρχές της δεκαετίας του 1930, πολύ πριν αρχίσουν να χρησιμοποιούνται οι Η/Υ Η προέλευση του R Αρχικά δημιουργήθηκε και διανεμήθηκε ως ελεύθερο λογισμικό από τους Robert Gentleman και Ross Ihaka στο Πανεπιστήμιο του Auckland, Νέα Ζηλανδία, στη δεκαετία του 90. Στόχος τους ήταν η δημιουργία ενός φιλικού προγραμματιστικού περιβάλλοντος για τη διδασκαλία της Στατιστικής Η ονομασία R ένα απλό λογοπαίγνιο We have named our language R in part to acknowledge the influence of S and in part to celebrate our own efforts. R. Gentleman και R. Ihaka Η διαδρομή του R Το άρθρο από όπου ξεκίνησε η διαδρομή του R Ihaka R. & Gentleman R R: a language for data analysis and graphics. Journal of Computational and Graphical Statistics 5: Το 1995, εμφανίζεται η πρώτη έκδοση της R, ως ανοικτό πακέτο εργαλείων για τη διδασκαλία ενός εισαγωγικού μαθήματος Στατιστικής 1996, στη Βιέννη, δημιουργείται το πρώτο αποθετήριο προγραμμάτων σε R από τους ίδιους τους χρήστες και η εξέλιξη του R Από το 1997: αναπτύσσεται από μια διεθνή επιστημονική ομάδα (R-Core Team) & χιλιάδες προγραμματιστές, στατιστικολόγους, χρήστες κ.ά. που μοιράζονται τις βιβλιοθήκες και τα εργαλεία τους!! Contributed functionality Παρέχουν πλήρη πρόσβαση σε αλγόριθμους, ανοιχτά και προσβάσιμα εργαλεία και τις εφαρμογές τους που εν πολλοίς δεν είναι ακόμη διαθέσιμα σε άλλα εμπορικά λογισμικά. και η εξέλιξη του R Η σχέση με τη γλώσσα S: παραμένει εξ ίσου ισχυρή μέχρι σήμερα!! Η R μπορεί να θεωρηθεί εν πολλοίς ως μια διαφορετική υλοποίηση (εφαρμογή) της S Αν και υπάρχουν ορισμένες σημαντικές διαφορές μεταξύ της S και της R, κυρίως ως προς τον τρόπο που διαχειρίζονται την μνήμη του Η/Υ Ένα μεγάλο μέρος του κώδικα της S έχει προστεθεί αυτούσιο στην R, ενώ κώδικας που γράφεται για το R τρέχει σχεδόν αμετάβλητος και στις σημερινές εκδόσεις της S-Plus

5 Τι ακριβώς είναι το R; Είναι ελεύθερα προσβάσιμο από ένα ευρύ δίκτυο διανομής στο ιαδίκτυο (Comprehensive R Archive Network) cran.r-project.org ~90+ sites cran.cc.uoc.gr Mια απαράμιλλη πλατφόρμα για τον προγραμματισμό νέων στατιστικών μεθόδων με έναν εύκολο και απλό τρόπο. State-of-the-art δυνατότητες γραφικών που συναγωνίζεται μόνο η Matlab Το R ή r (το λογισμικό) Open Source δωρεάν και όχι μόνο: Παρέχει πλήρη πρόσβαση σε απλούς ή σύνθετους αλγόριθμους (σε μορφή αρχείων εκτέλεσης και πηγαίου κώδικα) και την εφαρμογή τους Ως προϊόν συνεισφοράς κορυφαίων ειδικών και χρηστών στους τομείς που γνωρίζουν καλύτερα Είναι CUTTING EDGE. Καλύπτει ευρύ φάσμα μεθόδων στατιστικής ανάλυσης, όπως γραμμικά και μη γραμμικά μοντέλα, στατιστικούς ελέγχους υποθέσεων και ποιότητας, ανάλυσης χρονοσειρών, ταξινόμησης, ομαδοποίησης,... καθώς και δημιουργίας γραφικών και απεικονίσεων Το R ή r (το λογισμικό) Open Source δωρεάν και όχι μόνο: ίνει τη δυνατότητα βελτίωσης ή/και επέκτασης των πακέτων (βιβλιοθήκες συναρτήσεων και σύνολα δεδομένων) και εργαλείων που παρέχονται ελεύθερα, και βελτιώνονται συνεχώς Επεκτάσιμες βιβλιοθήκες, υπό τον πλήρη έλεγχο του εκάστοτε χρήστη Ενσωμάτωσή τους σε καινούργιες βιβλιοθήκες εύκολα και αποτελεσματικά ραγδαία αύξηση και ανάπτυξη Ευκολία παραγωγής τεκμηριωμένων δημοσιεύσεων, συμπεριλαμβανομένων των μαθηματικών συμβόλων και τύπων, όπου χρειάζεται. Το R ή r (το λογισμικό) Open Source δωρεάν και όχι μόνο: Πλείστα User forums και mailing lists προάγουν τη συνεργασία ερευνητών και χρηστών με στόχο τη διερεύνηση και επέκταση των πλέον προηγμένων κλασσικών και σύγχρονων μεθόδων και των πρακτικών εφαρμογών τους που χρησιμοποιούνται για την ανάλυση δεδομένων Σε ένα πλήρως σχεδιασμένο, συνεκτικό περιβάλλον ώστε οι χρήστες να μπορούν να περνάνε εύκολα και γρήγορα από τα πρωτογενή δεδομένα και την ανάμιξη δεδομένων από διαφορετικές πηγές προέλευσης τους, σε αξιοποιήσιμες πληροφορίες και την ανακάλυψη μοτίβων μέσα από την εύχρηστη οπτικοποίηση τους Το R ή r (το λογισμικό) Αποτελεί σημαντική νέα επιλογή στην υποδομή του χώρου των Μεγάλων εδομένων: στην 2016 κατάταξη της IEEE υπάρχει μια εντυπωσιακή αύξηση δημοτικότητας της R (ανέβηκε από την θέση # 9 το 2014) μεταξύ των κυρίαρχων γλωσσών προγραμματισμού. Tracking R's popularity: Το R ή r (το λογισμικό) όπως συνηγορεί και το πλήθος των επιστημονικών δημοσιεύσεων που αναφέρονται στη χρήση του R Το R ή r (το λογισμικό) Αποτελεί σημαντική νέα επιλογή στην υποδομή του χώρου των Μεγάλων εδομένων: Στις μέρες μας, που ο όγκος και οι καινούργιες δομές των διαθέσιμων δεδομένων για στατιστική ανάλυση και επεξεργασία αυξάνονται με ταχύτατους ρυθμούς (π.χ. νέφη σημείων από μετρήσεις Lidarκαι Laser Scanners, χωροχρονικά δεδομένα από κοινωνικά δίκτυα, ) Το R παρέχει πλήθος πακέτων με δυνατότητες παράλληλης επεξεργασίας δεδομένων ενώ η ανοικτή διάθεση και εύκολη τροποποίηση πηγαίου κώδικα αλγοριθμικών εφαρμογών καθιστά εξαιρετικά ευκολότερη τη διαχείριση μεγάλου όγκου δεδομένων Η R ή r (η γλώσσα) Είναι μια διερμηνευόμενη γλώσσα προγραμματισμού (interpreted computer language) γλώσσα εντολών Με debugger, code profiling (Rprof) Υποστηρίζει παράλληλους υπολογισμούς Η R ή r (η γλώσσα) Είναι μια συναρτησιακή, αντικειμενοστρεφής γλώσσα προγραμματισμού (Functional, object oriented language) Οι περισσότερες (στατιστικές και άλλες) συναρτήσεις που βλέπουν οι χρήστες είναι γραμμένες στην ίδια τη γλώσσα του R, καλώντας ένα μικρότερο σύνολο εσωτερικών αρχέτυπων (internal primitives) + Αυτό καθιστά πολύ εύκολο στο χρήστη να κατανοήσει πως πραγματικά λειτουργούν, ενώεπιπλέον + δίνεται η δυνατότητα δημιουργίας νέων πακέτων στην R

6 Η R ή r (η γλώσσα) Για κάποιες υπολογιστικά εντατικές εφαρμογές, η R μπορεί να είναι αργή. Ωστόσο, σε τέτοιες περιπτώσεις, είναιδυνατήτη διασύνδεση εντολών στην R με διαδικασίες γραμμένες σε C, C++, FORTRAN, Java, Python κ.ά. για μεγαλύτερη αποτελεσματικότητα, και δημιουργία επιπλέον υψηλού επιπέδου αρχέτυπων System commands can be called from within R Μπορεί να χρησιμοποιηθούν είτε µε κατευθείαν εντολές, είτε µε προγράμματα τα οποία μπορούν να αναπτυχθούν και να καλούνται για απευθείας εκτέλεση Η γλώσσα & το λογισμικό Σήμερα η R θεωρείται ως η ταχύτερα αναπτυσσόμενη γλώσσα στατιστικών υπολογισμών και η de facto γλώσσα έρευνας στα πανεπιστήμια γύρω από εφαρμογές της Στατιστικής, όπως Οικονομετρία Χρονοσειρές Χρηματιστηριακά δεδομένα Χωρικά δεδομένα, geoinformatics, Εξόρυξη δεδομένων Big Data... Η γλώσσα & το λογισμικό Το λογισμικό R αυξάνει συνεχώς τις GIS δυνατότητες του, και είναι πλέον αξιόπιστο για τις περισσότερες (αν όχι όλες) τις χωρικές αναλύσεις που συνήθως κάνουμε με τα παραδοσιακά λογισμικά GIS εξαγωγή και εισαγωγή raster και vector δεδομένων, σχεδίαση, ανάλυση και κατασκευή χαρτών,... ΗδύναμητουR Πέρα από τις ευκολίες που παρέχονται από τη δική του καλά ανεπτυγμένη, αλλά απλή γλώσσα προγραμματισμού, πηγάζει επιπλέον από... Πλούσιες πηγές υλικού για την αυτό-εκμάθηση του: Ανοικτά μαθήματα, με παραδείγματα, ασκήσεις Εξαιρετικά βιβλία, οδηγούς χρήσης, άρθρα κ.ά. προσβάσιμα στο ιαδίκτυο και από την ψηφιακή βιβλιοθήκη του μαθήματος ΗδύναμητουR Χαρακτηρίζεται από εύκολη επεκτασιμότητα καθώς ο κάθε ένας χρήστης μπορεί να δημιουργήσει τις δικές του συναρτήσεις και να τις μορφοποιήσει σε μια βιβλιοθήκη, η οποία με τη σειρά της μπορεί να δημοσιοποιηθεί και να χρησιμοποιηθεί αργότερα από κάποιον άλλο χρήστη με παρόμοιες ανάγκες Η κεντρική πλατφόρμα R-Forge προσφέρεται για τη συνεργατική ανάπτυξη των πακέτων R, όπου και φιλοξενούνται επίσης πολλά αδημοσίευτα πακέτα στην Beta έκδοσή τους ΗδύναμητουR Επιτρέπει την ταχεία ανάπτυξη νέων εργαλείων και προγραμμάτων σύμφωνα με τις εκάστοτε ανάγκες των χρηστών Εξαιρετικό για την προσομοίωση, προγραμματισμό, και αναλύσεις δεδομένων που απαιτούν υψηλό υπολογιστικό φόρτο Το R λειτουργεί ως αυτόνομη εργαλειοθήκη διαχείρισης πινακοποιημένων δεδομένων, με απόδοσησυγκρίσιμημεεκείνητηςmatlab Εξαναγκάζει το χρήστη του να σκεφθεί για τη ροή της ανάλυση που πρόκειται να εφαρμόσει. ιασυνδέσεις με λογισμικά αποθήκευσης δεδομένων (SQL) ΗδύναμητουR Το υβριδικό περιβάλλον του (προγραμματισμός + ανάλυση + γραφικά) προσφέρει απεριόριστες δυνατότητες διαχείρισης και στατιστικής ανάλυσης δεδομένων καθώς και δυνατότητες κατασκευής γραφημάτων εξαιρετικές δυνατότητες στον ερευνητή Η χρησιμοποίησή του για την ανάλυση βελτιώνει γρήγορα την ουσιαστική ικανότητα του ερευνητή αλλά και την βαθύτερη αντίληψη της αλγοριθμικής θεώρησης καθώς ο χρήστης αντιλαμβάνεται τον ακριβή τρόπο με τον οποίο επεξεργάζεται τα δεδομένα Τι ΕΝ είναι το R (αδυναμίες αδυναμίες ή πλεονεκτήματα?) ΕΝ ΕΙΝΑΙ ένα από τα πολλά άλλα διαθέσιμα λογισμικά Στατιστικής Ανάλυσης εν αποτελεί απλά ένα σύνολο πολύ συγκεκριμένων και άκαμπτων εργαλείων, όπως συμβαίνει συχνά σε άλλα συναφή (εμπορικά και μη) λογισμικά ανάλυσης δεδομένων ΕΝ ΕΙΝΑΙ εύκολο για το χρήστη (τουλάχιστον αρχικά) να εξοικειωθεί και να αξιοποιήσει πλήρως και γρήγορα όλες τις δυνατότητες του Εύκολο στην εκμάθηση, αλλά απαιτεί σημαντική ενασχόληση με τη σύνταξη και τη χρήση εντολών, πακέτων κλπ. για να γίνει πραγματικά οικείο σε κάποιον Τι ΕΝ είναι το R (αδυναμίες αδυναμίες ή πλεονεκτήματα?) ΕΝ ΕΙΝΑΙ Menu-driven Υπολείπεται ενός φιλικού παραθυρικού περιβάλλοντος χρήσης, αλλά συνδέεται εύκολα με περιβάλλοντα διεπαφής GUI Η επικοινωνία του χρήστη με το R μέσω εντολών, αρχικά φαίνεται τουλάχιστον επίπονη ΕΝ ΠΑΡΕΧΕΙ πλούσια γραφική διεπαφή αλλά συνδέεται με Java, και διαθέτει ποικιλία συναρτήσεων που παρέχουν ένα ευέλικτο γραφικό περιβάλλον για την οπτικοποίηση δεδομένων ΕΝ ΛΕΙΤΟΥΡΓΕΙ ως βάση δεδομένων αλλά συνδέεται με συστήματα διαχείρισης βάσεων δεδομένων (DBMS)

7 Πως είναι διαθέσιμο; ιατίθεται ελεύθερα Η βασική σουίτα του R και τα περισσότερα εξειδικευμένα πακέτα του είναι διαθέσιμα από το δίκτυο διανομής CRAN - cran.r-project.org Mirror sites are available for many countries Νέες κυκλοφορίες του βασικού λογισμικού R παρέχονται σε συχνά διαστήματα (τυπικά περίπου κάθε 3 μήνες!!!), ανάλογα και με το λειτουργικό σύστημα (Windows, MacOS, Linux) Πλείστα user blogs, tutorials, user guides Η κοινότητα των χρηστών του R είναι πολύ ενεργή R Project for Statistical Computing κυρίως για εργαλεία, εγχειρίδια χρήσης κ.ά. Comprehensive R Archive Network Κέντρο διανομής του λογισμικού και ειδικών πακέτων cran.r-project.org Downloading R Downloading R Ιστότοπος διανομής του R και πακέτων του cran.r-project.org ή cran.cc.uoc.gr Downloading R download from CRAN select a download site download the base package at a minimum download contributed packages as needed Επιλέξτε το ελληνικό site:

8 Downloading R Άμεσα βοηθήματα για τη R Άμεσα βοηθήματα για τη R Execute, e.g. the (August 2016) current version R win.exe with administrator privileges (70 MB, 32/64 bit) Once the program is installed, run the R program by clicking on its icon Άμεσα βοηθήματα για τη R Το R (όπως και το RStudio) είναι επίσης δυνατόν να εκτελεστούν από ένα USB αντί να τα εγκαταστήσετε. χρήσιμο π.χ. όταν δεν έχετε δικαιώματα διαχειριστή σε κάποιον υπολογιστή How to use portable versions of R and RStudio R/blob/master/documents/Portable%20versions%20of%20R%20a nd%20rstudio.pdf Άμεσα βοηθήματα για τη R Για περισσότερα βοηθήματα συμβουλευτείτε την ψηφιακή βιβλιοθήκη του μαθήματος... Σας συνιστάται κατ ελάχιστον να διερευνήσετε... Από τον ιστοχώρο του R στην ενότητα Documentation Manual, the listing of official R documentation An Introduction to R R Language Definition Writing R Extensions R Data Import/Export R Installation and Administration The R Reference Index To καλύτερο χαρακτηριστικό του R!!! To καλύτερο χαρακτηριστικό του R!!! Από τον ιστοχώρο του R στην ενότητα Contributed Documentation Tutorials and manuals created by R users Simple R R for Beginners Practical Regression and ANOVA Using R R FAQ Mailing Lists (listserv) r-help και μεταξύ τους πολλά γεωεπιστημονικού ενδιαφέροντος: Ecological and Environmental Data install.packages(" ") < 8900, 08/2016 (4000 to 2014, 7300 to 2015) δυνατότητες!!! project.org/web/views/ install.packages(" ") Κάθε πακέτο είναι μια συλλογή από αντικείμενα που αναγνωρίζει και μπορεί να χρησιμοποιήσει το R Μπορεί να αποτελείται από συναρτήσεις, πλαίσια δεδομένων, ή άλλου τύπου αντικείμενα, όπως δυναμικά προσβάσιμες βιβλιοθήκες έτοιμου προς εκτέλεση κώδικα εντολών

9 Σήμερα διαθέσιμα ~8900 πακέτα!!! Η βασική διανομή του R περιλαμβάνει τον πυρήνα (core) και πλήθος πακέτων (packages) και βιβλιοθηκών (libraries) Ο κεντρικός πυρήνας του R περιέχει ότι απαιτείται για ένα μεγάλο αριθμό στατιστικών διαδικασιών. linear and generalized linear models nonlinear regression models time series analysis classical parametric and nonparametric tests clustering, smoothing, Τα πακέτα και οι βιβλιοθήκες περιέχουν επιπλέον συναρτήσεις που δεν είναι διαθέσιμες στον πυρήνα του R Η πληθώρα διαθέσιμων πακέτων Είναι ένα τεράστιο πλεονέκτημα διαθέσιμες νέες τεχνικές, χωρίς καθυστέρηση, οι οποίες μπορούν να υλοποιηθούν με τη χρήση της γλώσσας R Επιτρέπεται στους χρήστες να οικοδομήσουν στατιστικά προγράμματα κατάλληλα για τις δικές τους ανάγκες. Σχετικό μειονέκτημα = καθώς ο αριθμός των πακέτων μεγαλώνει ταχύτατα, γίνεται δύσκολο να επιλεγεί το καλύτερο πακέτο για τις εκάστοτε ανάγκες, και ο ποιοτικός έλεγχος των διαθέσιμων πακέτων επαφίεται στο χρήστη. Για να γίνει χρήση μιας συνάρτησης ή δεδομένων από ένα πακέτο, αυτό πρέπει να φορτωθεί στο R. Οι σχετικές εντολές είναι... Ηεντολήinstalled.packages() παρέχει ένα πίνακα πληροφοριών με το όνομα των πακέτων ως 'ονόματα σειρών' και τα πεδία περιγραφής τους ως 'ονόματα στηλών Οι πληροφορίες περιέχονται σε ένα DESCRIPTION file Η εντολή installed.packages() παρέχει ένα πίνακα πληροφοριών με το όνομα των πακέτων ως 'ονόματα σειρών' και τα πεδία περιγραφής τους ως 'ονόματα στηλών'

10 Τι υποδηλώνουν οι διαφορετικές διαβαθμίσεις της παραμέτρου priority? Στα διάφορά πακέτα του R περιλαμβάνονται επίσης και μια μεγάλη σειρά από αρθρώματα (modules) και συναρτήσεις που επεκτείνουν το υπάρχον περιβάλλον R με τις γραφικές δυνατότητες που παρέχουν ένα ευέλικτο γραφικό περιβάλλον για τη δημιουργία διαφόρων ειδών παρουσιάσεις εκτεταμένων και πολύμορφων δεδομένων και καθοδηγούν στην διαδικασία της μοντελοποίησης και αξιολόγησης της ανάλυσης τους Μερικά ενδιαφέροντα πακέτα του R foreign: Read Data Stored by Minitab, S, SAS, SPSS, Stata, Systat, dbase,.. ggplot2: An implementation of the Grammar of Graphics GGally: Extension to ggplot2, templates for different plots gdistance: distances and routes on geographical grids marqlevalg: An algorithm for least-squares curve fitting gplots: Various R programming tools for plotting data Το πακέτο ggplot2 The fundamental building block of a plot is based on aesthetics and facets Aesthetics are graphical attributes that effect how the data are displayed. Color, Size, Shape Facets are subdivisions of graphical data. The graph is realized by adding layers, geoms ( point, smooth, ), and statistics. Το πακέτο ctest για στατιστικές αναλύσεις Έλεγχος διωνυμικής κατανομής

11 Για Windows και Mac, υπάρχουν binary αρχεία για εύκολη εγκατάσταση στο R. Οι προκαθορισμένες (default) τιμές είναι οι συνηθέστερες και αν δεν έχετε κάποιο άλλο λόγο, είναι γενικά μια καλή ιδέα να τις αποδεχθείτε. Για εγκατάσταση σε Linux ψάξτε το Για τα Windows, Mac και Linux, αν έχετε τα κατάλληλα εργαλεία, μπορείτε να δημιουργήσετε το R από τον πηγαίο κώδικα. Οι σχετικές οδηγίες install.packages("packagename") Μπορείτε να προσδιορίσετε mirror CRAN sites install.packages("packagename", repos = " update.packages("packagename") Code to load or install then load Για να χρησιμοποιήσετε επιμέρους πακέτα του R, πρέπει πρώτα να τα εγκαταστήσετε χρησιμοποιώντας τη συνάρτηση install.packages, ηοποία κατεβάζει το ζητούμενο πακέτο από τον ιστότοπο CRAN και το εγκαθιστά για χρήση στον Η/Υ σας Αν θα χρειαστείτε ένα συγκεκριμένο πακέτο για την τρέχουσα χρήση του R, πρέπει να το φορτώσετε χρησιμοποιώντας τη συνάρτηση require > require(foreign) ## Loading required package: foreign Σε μερικές περιπτώσεις, η καλή λειτουργία μιας βιβλιοθήκης εξαρτάται από τα ήδη εγκατεστημένα πακέτα. Για το λόγο αυτό, καλύτερα να χρησιμοποιείτε την επιλογή dep=true, έτσι ώστε να γίνεται πλήρη εγκατάσταση όλων των πιθανών εξαρτήσεων. > install.packages( foreign", dep=true) Αν απαιτούνται επιπλέον πακέτα για τη χρήση ενός πακέτου, αυτά φορτώνονται ή προσαρτώνται αυτόματα Χρήσιμο R script για την εγκατάσταση πακέτων μετά από κάποιο στοιχειώδη έλεγχο μη προηγούμενης εγκατάστασής τους (πηγή: > install.packages("maps") > library("maps") > map("world") > map("world2") Τι χρησιμοποιεί στην τρέχουσα εργασία (session) το R οκιμάστε τις ενδεικτικές εντολές ως εξάσκηση

12 Τυπικές εντολές διαχείρισης πακέτων Τυπικές εντολές διαχείρισης πακέτων Στη συνέχεια... Θα αναφερθούμε στο αυτόνομο περιβάλλον χρήσης του R, την κονσόλα του, και Στα εναλλακτικά περιβάλλοντα εργασίας (GUI), RGui, RCommander, RStudio, Στοιχεία σύνταξης εντολών στο R... Στη συνέχεια... Θα αναφερθούμε στο αυτόνομο περιβάλλον χρήσης του R, την κονσόλα του, και Στα εναλλακτικά περιβάλλοντα εργασίας (GUI), RGui, RCommander, RStudio, Στοιχεία σύνταξης εντολών στο R...