ΜΕΘΟ ΟΙ ΚΑΙ ΕΡΓΑΛΕΙΑ ΑΞΙΟΛΟΓΗΣΗΣ ΣΥΝΕΡΓΑΤΙΚΗΣ ΜΑΘΗΣΗΣ ΜΕ ΧΡΗΣΗ ΧΡΟΝΟΣΕΙΡΩΝ

Transcript

1 ΜΕΘΟ ΟΙ ΚΑΙ ΕΡΓΑΛΕΙΑ ΑΞΙΟΛΟΓΗΣΗΣ ΣΥΝΕΡΓΑΤΙΚΗΣ ΜΑΘΗΣΗΣ ΜΕ ΧΡΗΣΗ ΧΡΟΝΟΣΕΙΡΩΝ Ι ΑΚΤΟΡΙΚΗ ΙΑΤΡΙΒΗ ΑΓΓΕΛΙΚΗ-ΕΙΡΗΝΗ Κ. ΧΟΥΝΤΑ ΙΠΛΩΜΑΤΟΥΧΟΣ ΗΛΕΚΤΡΟΛΟΓΟΣ ΜΗΧΑΝΙΚΟΣ ΚΑΙ ΤΕΧΝΟΛΟΓΙΑΣ ΥΠΟΛΟΓΙΣΤΩΝ ΠΑΝΕΠΙΣΤΗΜΙΟ ΠΑΤΡΩΝ ΤΜΗΜΑ ΗΛΕΚΤΡΟΛΟΓΩΝ ΜΗΧΑΝΙΚΩΝ ΚΑΙ ΤΕΧΝΟΛΟΓΙΑΣ ΥΠΟΛΟΓΙΣΤΩΝ ΑΡΙΘΜΟΣ ΙΑΤΡΙΒΗΣ: 319 ΙΟΥΝΙΟΣ 2014

2 Περίληψη Διδακτορικής Διατριβής Η διδακτορική διατριβή εντάσσεται στο πεδίο της Υπολογιστικά Υποστηριζόμενης Συνεργατικής Μάθησης, ΥΥΣΜ (Computer Supported Collaborative Learning, CSCL). Eχει ως στόχο την ανάπτυξη και πρόταση μίας μεθόδου για την αυτοματοποιημένη ανάλυση, ταξινόμηση και αξιολόγηση της ποιότητας συνεργατικών εκπαιδευτικών δραστηριοτήτων. Αφενός βασίζεται σε ευρήματα ποιοτικής έρευνας και αφ ετέρου συνδυάζει την χρήση τεχνικών μηχανικής μάθησης και ανώτερων μαθηματικών που χρησιμοποιούνται ευρέως σε πλήθος άλλων ερευνητικών πεδίων, μελετώντας τους τρόπους που μπορούν να υιοθετηθούν και να συνεισφέρουν στο πεδίο της Υπολογιστικά Υποστηριζόμενης Συνεργατικής μάθησης (χρονοσειρές). Βασικό μέλημα είναι η προτεινόμενη μέθοδος να επιτρέπει την εξαγωγή χρήσιμων συμπερασμάτων για την ποιότητα των συνεργατικών δραστηριοτήτων με τρόπο ποσοτικό και αυτόματο ώστε να είναι δυνατή η χρήση της σε μεγάλα σύνολα δεδομένων. Η παρούσα μελέτη έδειξε πως η ποιότητα της συνεργασίας αποτυπώνεται στον τρόπο που κατανέμεται η συνεργατική δραστηριότητα στον χρόνο και η χρήση χρονοσειρών αποτυπώνει τα ιδιαίτερα χαρακτηριστικά της συνεργασίας με ικανοποιητικό τρόπο. Η μέθοδος αξιολογήθηκε ξεχωριστά αλλά και σε αντιπαράθεση με αντίστοιχα μοντέλα και μεθόδους. Η προτεινόμενη μέθοδος πλεονεκτεί ως προς την απλότητα κατασκευής και λειτουργίας ενώ διαπιστώθηκε με στατιστικά σημαντικό τρόπο η εγκυρότητα των αποτελεσμάτων της. H μέθοδος δεν απαιτεί την ολοκλήρωση της δραστηριότητας αλλά ενδείκνυται και για την αξιολόγησή της σε πραγματικό χρόνο. Οι χρονοσειρές δραστηριότητας περιγράφουν ικανοποιητικά βασικές συνεργατικές διαστάσεις που ορίζονται ως «χαμηλού επιπέδου» όπως η Επικοινωνία και η Κοινή Επεξεργασία Πληροφορίας και οι οποίες θεωρείται ότι αντικατοπτρίζονται ιδιαίτερα στην διαλογική δραστηριότητα που εκτυλίσσεται μεταξύ των συνεργατών. Από την άλλη, για διαστάσεις ανωτέρου επιπέδου που αντιπροσωπεύονται από πιο περίπλοκες δομές αλληλεπίδρασης, όπως για παράδειγμα ο Συντονισμός και η Διαπροσωπική Σχέση μεταξύ συνεργαζόμενων μερών, οι χρονοσειρές δραστηριότητας δεν καταφέρνουν να τις αποτυπώσουν ικανοποιητικά. Αποδείχθηκε στατιστικά πως για την συγκεκριμένη περίπτωση συνεργατικών μαθησιακών δραστηριοτήτων οι ουσιαστικές αλληλεπιδράσεις μεταξύ των χρηστών που υποδηλώνουν μεταφορά και οικοδόμηση κοινής γνώσης και κοινού τόπου επικοινωνίας αλλά και σχέσεις αιτιότητας, είναι δυνατόν να ανιχνευθούν μέσα σε χρονικά παράθυρα μικρού μεγέθους, της τάξης των τριάντα δευτερολέπτων. Σύνθετες δομές που αποτυπώνουν την δημιουργία στρατηγικής προσέγγισης ή διαμοιρασμού χώρου και χρόνου και απαιτούν μεγαλύτερους χρόνους εξέλιξης, δεν είναι δυνατόν να αποτυπωθούν επαρκώς με αυτή την προσέγγιση. i

3 Η έρευνα αυτή δεν αποσκοπεί κατά κανένα τρόπο στην αντικατάσταση της ανθρώπινης κρίσης ή γενικότερα του ανθρώπινου παράγοντα αλλά αντίθετα επιδιώκει να υποστηρίξει το έργο του. ii

4 Summary of the PhD Thesis The PhD thesis is part of ongoing research in the field of Computer-Supported Collaborative Learning (CSCL). The main contribution of this thesis is to design and propose a method for the automatic analysis, classification and evaluation of the quality of collaboration of learning activities. On one hand, the method is based and reflects the findings of qualitative research and on the other hand, it uses machine learning algorithms and statistical methods that allow the quantitative analysis of data. We used modeling techniques widely used in other scientific fields (time series) and studied how they can be used in CSCL to contribute new knowledge. The objective of the study is to implement a method for the representation, classification and evaluation of collaborative activities. It was shown that the quality of collaboration and its fundamental aspects is portrayed in the way the activity itself is distributed in time. It was shown through visualizations and statistical analysis that time series allow the effective representation of collaboration and its qualitative characteristics. The classification and evaluation method that was proposed is supported by a machine-learning model. The model was further evaluated as an automated rater of collaboration quality and compared to other similar models. The advantage of the proposed method over others is the simple structure and low-cost, as well as the potential to be used in real-time. The proposed approach attempts to describe and portray the interaction of users through their concurrent activity on different but common workspaces. For that reason we make use of common, basic activity metrics and time series. The time series of activity can describe successfully low level construct such as Communication and Information Processing. For more advanced and complicated constructs however, such as Coordination and Interpersonal Relationship, time series could not capture adequately the qualitative characteristics and underlying mechanisms. This finding comes in agreement with similar studies that point out the need of combined analysis methods that will use in combination content analysis techniques and natural language processing. It was also shown that in the particular context, the meaningful interactions that point to constructive collaboration, successful knowledge building and reciprocal activity can be mapped in small time frames, of about 30 seconds. More complicated structures that signify e.g. strategy planning and effective coordination, take more time to unfold and therefore cannot be traced in such small time frames. This study does not attempt in any way to substitute or overcome the human judgment and human factor, either in the analysis or teaching activity. On the contrary, we believe that the teacher cannot be replaced by automated tools and methods but should be supported and empowered. iii

5 iv

6 Λέξεις - Κλειδιά: Υπολογιστικά Υποστηριζόμενη Συνεργατική Μάθηση, ΥΥΣΜ, συνεργασία, ποιότητα της συνεργασίας, ταξινόμηση, αξιολόγηση, ανάλυση, χρονοσειρές v

7 vi

8 Keywords: Computer Supported Collaborative Learning, CSCL, collaboration, evaluation, classification, learning analytics, time series vii

9 viii

10 Ευχαριστίες Η απόφαση να συνεχίσω τις σπουδές μου έως και την απόκτηση διδακτορικού είχε ληφθεί ήδη την πρώτη μέρα που πήγα στο σχολείο. Την απόφαση να ασχοληθώ με το συγκεκριμένο αντικείμενο την πήρα όταν ήμουν φοιτήτρια στο τμήμα Ηλεκτρολόγων Μηχανικών & Τ.Υ του Πανεπιστημίου Πατρών και παρακολουθούσα τις διαλέξεις του (μετέπειτα επιβλέποντα) καθηγητή κ. Νικόλαου Αβούρη. Συνεπώς από αυτόν θα πρέπει να ξεκινήσω τις ευχαριστίες μου. Για τις γνώσεις που με δίδαξε ακούραστα, για τον χρόνο που μου αφιέρωσε απλόχερα και για την υποστήριξη που δεν στερήθηκα ούτε στο ελάχιστο σε όλη τη διάρκεια της εκπόνησης του διδακτορικού. Ευχαριστώ επίσης τα μέλη της τριμελούς συμβουλευτικής επιτροπής που με την ουσιαστική τους καθοδήγηση συνέβαλαν στο να περατώσω την εργασία αυτή. Τον κ. Νικόλαο Καρακαπιλίδη που από την πρώτη μέρα ήταν παρών και πάντα διαθέσιμος. Τον κ. Κωνσταντίνο Μουστάκα που όχι μόνο μου προσέφερε τις συμβουλές του αλλά μου έδωσε και «δουλειά» για τον μέλλον! Ευχαριστώ τα μέλη της επταμελούς εξεταστικής επιτροπής κ. Νικόλαο Φακωτάκη, κ. Βασίλειο Κόμη, κ. Νικόλαο Τσέλιο, και κ. Βασίλειο Βερύκιο για τα εποικοδομητικά σχόλια και παρατηρήσεις τους, αλλά κυρίως για την ευγένειά τους. Ξεκινώντας το διδακτορικό νόμιζα πως αυτή θα ήταν μια «μοναχική πορεία». Τελικά κάθε άλλο παρά μοναχική αποδείχθηκε καθώς είχα την χαρά και κυρίως την τιμή να γνωρίσω πολλούς συνεργάτες, συνοδοιπόρους και φίλους. Θα προσπαθήσω να κρατήσω σύντομες τις ευχαριστίες και πολλούς θα επιλέξω να τους ευχαριστήσω κατ ιδίαν. Παρόλα αυτά υπάρχουν συγκεκριμένα ονόματα που θα ήταν σφάλμα να μην αναφέρω. Καταρχήν θα ήθελα να ευχαριστήσω την Ελένη Βογιατζάκη και τον Γιώργο Καχριμάνη οι οποίοι με έθεσαν υπό την προστασία τους ως «έμπειροι» και με έβαλαν στο συγκεκριμένο μονοπάτι. Τους Χρήστο Σιντόρη, Γιάννη Ιωαννίδη, Λευτέρη Παπαχρήστο, Μενίτα Μασούρα, Νικολέτα Γιαννούτσου, Χρήστο Φείδα, Χρήστο Κατσάνο, Adrian Stoica, Δημήτρη Ράπτη, Επαμεινώνδα Ροντογιάννη, Γιώργο Πασχάλη και Γιώργο Φιωτάκη που συναντηθήκαμε μέσα στο εργαστήριο (και εκτός) και μοιραστήκαμε πολύτιμες στιγμές. Σε κάθε έναν από αυτούς οφείλω μικρά κομμάτια αυτής της εργασίας στα οποία συνέβαλαν λαμβάνοντας μέρος σε πολύωρες συζητήσεις, σε μελέτες και με την καθημερινή τους στήριξη στον χώρο εργασίας μας (και στο μπαλκόνι). Ευχαριστώ την Φιλιώ Βογιαντζή που πάντα μου έλυνε τα χέρια όταν η γραφειοκρατία απειλούσε να με αποσυντονίσει. Αλλά κυρίως γιατί όταν αποσυντονιζόμουν (και όχι μόνο εξαιτίας της γραφειοκρατίας) έσπευδε να με επαναφέρει στην τάξη. Ιδιαιτέρως θα ήθελα να ευχαριστήσω τον καθηγητή Ulrich H. Hoppe και την ερευνητική ομάδα Collide του πανεπιστημίου του Duisburg-Essen που με υποδέχθηκαν και με φιλοξένησαν στο εργαστήριό τους στα πλαίσια υποτροφίας Erasmus συμβάλλοντας ουσιαστικά στην εργασία μου και ανοίγοντάς μου ένα νέο παράθυρο στον ορίζοντα! Η εργασία αυτή δεν θα είχε γίνει χωρίς την υποστήριξη της μητέρας μου, Αναστασίας Θεοδοσίου-Χούντα. Για την ακρίβεια, η εργασία αυτή έγινε εξαιτίας της μητέρας μου που δεν έπαψε στιγμή να με παροτρύνει να εξερευνώ, να μαθαίνω, να προσπαθώ. Για τον λόγο αυτόν, το παρόν αφιερώνεται σε εκείνη. Αγγελική-Ειρήνη Χούντα ix

11 ΠΕΡΙΕΧΟΜΕΝΑ 1 Κεφάλαιο 1. Εισαγωγή Εισαγωγή Στόχος και συνεισφορά της διδακτορικής διατριβής Μέθοδος της έρευνας Δομή της διατριβής Κεφάλαιο 2: ΥΥΣΜ Επισκόπηση Πεδίου Εισαγωγή Υπολογιστικά Υποστηριζόμενη Συνεργατική Μάθηση (ΥΥΣΜ) Ορισμός του πεδίου Στόχοι Μεθοδολογικές Προσεγγίσεις Η διάσταση του χρόνου στην ανάλυση συνεργατικών δραστηριοτήτων Θέση της παρούσας διατριβής Επίλογος Κεφάλαιο 3. Εισαγωγή στην ανάλυση και αξιολόγηση της συνεργασίας με χρήση σχήματος αξιολόγησης και μετάβαση σε αυτοματοποιημένες τεχνικές Εισαγωγή Σχήμα αξιολόγησης Πλαίσιο συνεργατικής δραστηριότητας Περιγραφή και δομή της δραστηριότητας Εφαρμογή διαμεσολάβησης της συνεργασίας Βασικοί Συνεργατικοί Άξονες Επικοινωνία Κοινή Επεξεργασία Πληροφορίας Συντονισμός Διαχείριση Διαπροσωπικών Σχέσεων Ατομικά Κίνητρα Εφαρμογή του Σχήματος Αξιολόγησης σε πραγματικές δραστηριότητες Από το σχήμα αξιολόγησης στην αυτόματη διαδικασία... 55

12 3.6.1 Αυτόματες μετρικές Συνεργασίας Εφαρμογή Αυτόματων μετρικών συνεργασίας σε πραγματικές, προαξιολογημένες δραστηριότητες Ενσωμάτωση των Αυτόματων Μετρικών Συνεργασίας στην Συνεργατική Εφαρμογή Επίλογος Κεφαλαίου Κεφαλαιο4. Ανάλυση, ταξινόμηση και αξιολόγηση συνεργατικών δραστηριοτήτων με χρήση χρονοσειρών Εισαγωγή Χρονοσειρές Αναπαράσταση συνεργατικής δραστηριότητας με τη μορφή χρονοσειράς Μετρικές Δραστηριότητας Χρονικά Παράθυρα Κατασκευή Χρονοσειρών Τελικές Χρονοσειρές Μελέτη οπτικοποιημένων χρονοσειρών Μέθοδος Ταξινόμησης και Αξιολόγησης Συνεργατικής Δραστηριότητας Μοντέλο μηχανικής μάθησης TSCMoCA Βασική Ιδέα και Τύπος Δομή και λειτουργία Περιγραφή Μνήμης Αλγόριθμος Μοντέλου: Σκοπός, Σχεδιασμός, Τρόπος λειτουργίας Διαδικασία Αναγνώρισης και Ταξινόμησης Άγνωστου Δείγματος Σχεδιασμός πειραματικής διαδικασίας Σύνολο δεδομένων πειραματικής διαδικασίας Φάσεις πειραματικής διαδικασίας Μεθοδολογία Ανάλυσης Αποτελεσμάτων Ανάλυση Συσχετίσεων Ανάλυση Σφάλματος Αλγόριθμοι που χρησιμοποιήθηκαν για την υλοποίηση του προτεινόμενου μοντέλου TSCMoCA Αλγόριθμος Δυναμικής Χρονικής Στρέβλωσης (Dynamic Time Warping, DTW)

13 4.9.2 ΑλγόριθμοςK-Πλησιέστερων Γειτόνων (Κ-Nearest Neighbor) Επίλογος Κεφαλαίου Κεφάλαιο 5. Αποτελέσματα Πειραματικής Διαδικασίας και Ανάλυση Εισαγωγή Φάση Α - Εφαρμογή Αλγορίθμου ανά συνεργατική διάσταση Πρώτη Συνεργατική Διάσταση (ΣΔ 1): Συνεργατική Ροή Δεύτερη Συνεργατική Διάσταση (ΣΔ 2): Διατήρηση Κοινής Κατανόησης Τρίτη Συνεργατική Διάσταση (ΣΔ 3): Ανταλλαγή Γνώσης Τέταρτη Συνεργατική Διάσταση ΣΔ4: Επιχειρηματολογία Πέμπτη Συνεργατική Διάσταση (ΣΔ5): Δόμηση της διαδικασίας επίλυσης προβλήματος Συνεργατική Διάσταση 6 ΣΔ 6: Συνεργατικός Προσανατολισμός Γενική Διάσταση της Ποιότητας της Συνεργασίας ΠΤΣ Συνολική Αποτίμηση Πρώτης Πειραματικής Φάσης (Φάση Α) Φάση Β - Εφαρμογή Αλγορίθμου ανά Συνδυασμό Χρονοσειρών - Ανάλυση αποτελεσμάτων Περίπτωση Α: Πολυπαραμετρικές χρονοσειρές που περιγράφουν όγκο δραστηριότητας Περίπτωση Β: Χρονοσειρές που περιγράφουν ρυθμό μεταβολής όγκου δραστηριότητας στη μονάδα του χρόνου Περίπτωση Γ: Χρονοσειρές που περιγράφουν όγκο δραστηριότητας και τον ρυθμό μεταβολής του Περίπτωση (Δ): Χρονοσειρές συσχετιζόμενες με την Ποιότητα της Συνεργασίας Φάση Γ: Εφαρμογή του αλγορίθμου Κ-Πλησιέστερων Γειτόνων (K-Nearest Neighbors KNN) στο προτεινόμενο μοντέλο Περιπτώσεις (Γ) και (Δ) Αποτελέσματα Εφαρμογής Αλγορίθμου ΚΝΝ Βελτίωση των Αποτελεσμάτων του μοντέλου από τη χρήση του ΚΝΝ αλγορίθμου Σύγκριση και Μελέτη Φάση Δ: Γενίκευση της χρήσης του μοντέλου για το σύνολο των συνεργατικών διαστάσεων Περίπτωση Μικρού Χρονικού Παραθύρου για Συγκεκριμένο Συνδυασμό Μετρικών Δραστηριότητας - Περίπτωση Γ.30.Ν15.Μ

14 5.5.2 Περίπτωση Μεγάλου Χρονικού Παραθύρου για Συγκεκριμένο Συνδυασμό Μετρικών Δραστηριότητας - Περίπτωση Δ.480.Ν15.Μ Επίλογος Κεφαλαίου Κεφάλαιο 6. Αξιολόγηση της μεθόδου Εισαγωγή Αξιολόγηση Μεθόδου Αξιολόγηση Μοντέλου Ταξινόμησης και Αξιολόγησης Συνεργατικών Δραστηριοτήτων TSCMoCa Υποθετικά Σενάρια Χρήσης με χρήση μεθόδων Διασταυρωμένης Επικύρωσης Ανάλυση Αξιοπιστίας Σύγκριση Μεθοδολογίας με άλλα μοντέλα αυτόματης αξιολόγησης και με έμπειρους αξιολογητές Μελέτη των αποτελεσμάτων του μοντέλου ως προς το μαθησιακό αποτέλεσμα Αξιολόγηση της μεθοδολογίας για χρήση σε πραγματικό χρόνο Αξιολόγηση συνεργατικής δραστηριότητας σε πραγματικό χρόνο Υλοποίηση της μεθόδου ως αυτόματος αξιολογητής για την υποστήριξη του καθηγητή Ποιοτική ανάλυση της δραστηριότητας Επίλογος Κεφαλαίου Κεφάλαιο 7. Συμπεράσματα και μελλοντικές προεκτάσεις Εισαγωγή Συμπεράσματα Αποτελεσματικότητα της προτεινόμενης μεθόδου Οπτικοποίηση αποτελεσμάτων Ανάλυση περιεχομένου Μελλοντικές Προεκτάσεις Αναφορές Διατριβής Δημοσιεύσεις Παράρτημα Α Παράρτημα Β Ευρετήριο Όρων

15 Time is an abyss. Profound as a thousand nights -- "Nosferatu: Phantom der Nacht" (1979) 5

16 6

17 1 ΚΕΦΑΛΑΙΟ 1. ΕΙΣΑΓΩΓΗ 1.1 ΕΙΣΑΓΩΓΗ Το ερευνητικό πεδίο της Υπολογιστικά Υποστηριζόμενης Συνεργατικής Μάθησης, ΥΥΣΜ (Computer Supported Collaborative Learning, CSCL) αποτελεί κοινό τόπο για πλήθος ερευνητικών περιοχών όπως οι παιδαγωγικές επιστήμες, η επιστήμη των υπολογιστών, η κοινωνιολογία και η γνωσιακή ψυχολογία. Η ΥΥΣΜ πραγματεύεται την μελέτη των μαθησιακών μηχανισμών και των πρακτικών που αναπτύσσονται κατά την εξέλιξη μίας συνεργατικής, εκπαιδευτικής δραστηριότητας η οποία υποστηρίζεται από την χρήση υπολογιστή. Ασχολείται με την βελτίωση της μαθησιακής διαδικασίας και του αποτελέσματός της. Μελετά τον σχεδιασμό και την υλοποίηση νέων εργαλείων και εφαρμογών που διαμεσολαβούν τόσο την ίδια την συνεργατική δραστηριότητα αλλά επιπλέον υποστηρίζει και τον συντονιστή ή δάσκαλο ο οποίος διοργανώνει μία δραστηριότητα και είναι άμεσα ή έμμεσα υπεύθυνος για την εξέλιξή της. Η χρήση υπολογιστή στην εκπαίδευση είναι πολύ δημοφιλές πεδίο έρευνας τα τελευταία χρόνια δεδομένης της αλματώδους ανάπτυξης και εξάπλωσης της χρήσης των υπολογιστών. Αρχικά, η έρευνα στην περιοχή επικεντρώθηκε στα «Έξυπνα Διδακτικά Συστήματα» (Intelligent Tutoring Systems, ITS) τα οποία φιλοδοξούσαν να υποκαταστήσουν τον άνθρωπο στον ρόλο του εκπαιδευτή και να προσφέρουν βελτιωμένη διδασκαλία προσαρμοσμένη στις ανάγκες και ικανότητες του εκπαιδευόμενου. Εκτενείς μελέτες έχουν ως θέμα τους την χρήση του υπολογιστή για τον σχεδιασμό και την ενορχήστρωση εκπαιδευτικών δραστηριοτήτων υλοποιώντας όμως ατομικιστικά μοντέλα, σύμφωνα με τις αρχές της θεωρίας του εποικοδομητισμού (constructivism theory) (Atkinson, R. C. & Wilson, H. A., 1969; Crook, C., 1994). Η έλλειψη της κοινωνικής διάστασης σε τέτοιου είδους μοντέλα και εκπαιδευτικά σενάρια προκάλεσε έντονη κριτική μεταξύ των εκπαιδευτικών καθώς σκοπός της εκπαίδευσης δεν είναι μόνο η παροχή γνώσης και η ανάπτυξη δεξιοτήτων, αλλά επιπλέον και η ένταξη των μαθητών σε μία δομημένη κοινωνία γνώσης και πληροφορίας (Baker, C., 1985; Hawkins, J., Sheingold, K., Gearhart, M., & Berger, C., 1982). Η προσέγγιση της συνεργατικής μάθησης μελετά την εξέλιξη της εκπαιδευτικής διαδικασίας μέσω συνεργατικών δραστηριοτήτων όταν αυτές υποστηρίζονται από υπολογιστές. Έχει αποδειχθεί από μελέτες πως η κοινωνική διάσταση και η αλληλεπίδραση μεταξύ των εκπαιδευόμενων βελτιώνει την μαθησιακή διαδικασία. Επιπλέον τα οφέλη που αποκομίζουν οι εκπαιδευόμενοι ως προς την εκπαιδευτική αξία, είναι μεγαλύτερα όταν αυτοί συνεργάζονται για την επίτευξη ενός κοινού στόχου (Slavin, R. E., 1992). Πλήθος παιδαγωγικών μεθόδων έχει προταθεί οι οποίες μελετούν και «εκμεταλλεύονται» τους μαθησιακούς μηχανισμούς οι οποίοι ενεργοποιούνται μέσα 7

18 σε κοινωνικές δραστηριότητες και πλαίσια (Brown, J. S., Collins, A., & Duguid, P., 1989; Cobb, P., 1994; Valsiner, J. & Van der Veer, R., 2000). Από την άλλη, η χρήση υπολογιστών για την υποστήριξη τέτοιων δραστηριοτήτων αφ ενός διευκολύνει πρακτικά την διαδικασία, προσφέροντας πλήθος εργαλείων και αφ ετέρου παρέχει τη δυνατότητα εξ αποστάσεως μάθησης. Επίσης συμβάλλει στην ενίσχυση και βελτίωση του μαθησιακού αποτελέσματος, καθώς έρευνες στο πεδίο δείχνουν ότι τα υπολογιστικά εργαλεία που διαμεσολαβούν εκπαιδευτικές δραστηριότητες υποβοηθούν την αλληλεπίδραση των συνεργαζόμενων μερών και οδηγούν σε δόμηση γνώσης από κοινού. Συντελούν ακόμη και στην διαφοροποίηση της συμπεριφοράς των μαθητών οι οποίοι λειτουργούν πλέον όχι ως μεμονωμένα άτομα αλλά ως μέλη ομάδας που δρουν και μαθαίνουν συνεργαζόμενα. (Scardamalia, M. & Bereiter, C., 1991; Stahl, G., 2006). Αν και κύριος στόχος του πεδίου της Υπολογιστικά Υποστηριζόμενης Συνεργατικής Μάθησης είναι η υποστήριξη της εκπαιδευτικής διαδικασίας, η έρευνα επεκτείνεται σε πολλές υπο-περιοχές που ορίζουν το πεδίο (Lehtinen, E., Hakkarainen, K., Lipponen, L., Rahikainen, M., & Muukkonen, H., 1999; Lipponen, L., 2002). Συνοπτικά οι μελέτες στην περιοχή θα μπορούσαν να χωριστούν σε τέσσερις κύριες κατηγορίες: - Την ανάπτυξη και μελέτη νέων παιδαγωγικών μεθόδων και πρακτικών με στόχο τη βελτίωση του μαθησιακού αποτελέσματος - Τη μελέτη και ανάλυση συνεργατικών δραστηριοτήτων με σκοπό την κατανόηση και χαρτογράφηση των πολύπλοκων μηχανισμών που διέπουν τη συνεργασία και τους παράγοντες που επηρεάζουν την εξέλιξη μιας τέτοιας δραστηριότητας. - Την ανάπτυξη, μελέτη και επανασχεδιασμό εργαλείων που διαμεσολαβούν και υποστηρίζουν τις συνεργατικές δραστηριότητες. - Την ανάπτυξη, μελέτη και επανασχεδιασμό εργαλείων για την ανάλυση συνεργατικών δραστηριοτήτων και την υποστήριξη του ρόλου του δασκάλου ως συντονιστή τέτοιων δραστηριοτήτων. Όπως είναι αναμενόμενο, οι προαναφερθείσες κατηγορίες δεν αποτελούν ξεχωριστά κομμάτια αλλά είναι συνήθως επικαλυπτόμενες και αλληλοεξαρτώνται. Αυτό αυξάνει την πολυπλοκότητα του ερευνητικού πεδίου και συνεπώς οι μελέτες που εκπονούνται στην περιοχή συνήθως ανήκουν σε παραπάνω από μία κατηγορίες. 8

19 1.2 ΣΤΟΧΟΣ ΚΑΙ ΣΥΝΕΙΣΦΟΡΑ ΤΗΣ ΔΙΔΑΚΤΟΡΙΚΗΣ ΔΙΑΤΡΙΒΗΣ Η παρούσα διδακτορική διατριβή έχει ως στόχο να αναπτύξει και να προτείνει μία μέθοδο για την αυτοματοποιημένη ανάλυση, ταξινόμηση και αξιολόγηση της ποιότητας συνεργατικών εκπαιδευτικών δραστηριοτήτων. Αφ ενός έχει ως αφετηρία και βασίζεται σε ευρήματα ποιοτικής έρευνας. Αφ ετέρου συνδυάζει την χρήση τεχνικών μηχανικής μάθησης και ανώτερων μαθηματικών που χρησιμοποιούνται ευρέως σε πλήθος άλλων ερευνητικών πεδίων, μελετώντας τους τρόπους που μπορούν να υιοθετηθούν και να συνεισφέρουν στο πεδίο της Υπολογιστικά Υποστηριζόμενης Συνεργατικής μάθησης. Η ανάλυση συνεργατικών δραστηριοτήτων είναι μία ερευνητική υπό-περιοχή του πεδίου της Υπολογιστικά Υποστηριζόμενης Συνεργατικής Μάθησης μεγάλης σημασίας αφού παρέχει τους τρόπους χαρτογράφησης και βαθύτερης κατανόησης των μηχανισμών που διέπουν την συνεργασία καθώς και τις απαραίτητες πληροφορίες για την ανάπτυξη νέων μεθοδολογικών πλαισίων για την ενδυνάμωσή της. Όμως ο μεγάλος αριθμός των μεταβλητών που καλείται ο ερευνητής/αναλυτής να λάβει υπόψη του, όπως ο αριθμός των συνεργατών, ο τρόπος επικοινωνίας μεταξύ τους και το θέμα της συνεργασίας, αυξάνει την πολυπλοκότητα της ανάλυσης και κατά συνέπεια τον χρόνο, τον κόπο και τους απαιτούμενους πόρους για την εκτέλεση μίας τέτοιας διαδικασίας. Το έργο της ανάλυσης διεκπεραιώνεται συνήθως από εκπαιδευμένους αξιολογητές, ανθρώπους δηλαδή που έχουν «εκπαιδευθεί» κατά κάποιον τρόπο και γνωρίζουν το είδος της πληροφορίας, τις ακολουθίες στις ενέργειες και τις αλληλεπιδράσεις μεταξύ των χρηστών οι οποίες υποδηλώνουν ποιοτικές, αποδοτικές και ουσιαστικές συνεργατικές πρακτικές. Όμως όσο αυξάνεται ο όγκος των δεδομένων, αυξάνει και ο βαθμός δυσκολίας του ήδη πολύπλοκου έργου. Αρκετές αυτοματοποιημένες τεχνικές έχουν αναπτυχθεί επίσης για την αξιολόγηση της συνεργασίας, οι οποίες βασίζονται είτε στην αναζήτηση μοτίβων στις ενέργειες και τις αλληλεπιδράσεις των χρηστών είτε στη χρήση μετρικών που προκύπτουν από τα αρχεία καταγραφής των δραστηριοτήτων. Τέτοιου είδους προσεγγίσεις όμως εγείρουν ερωτήματα ως προς το βάθος της ανάλυσης που δύνανται να προσφέρουν (Stahl, G., 2002b) ενώ συχνά οι πολύπλοκες μαθηματικές ή στατιστικές μέθοδοι που χρησιμοποιούν αυξάνουν την δυσχρηστία τους καθώς απαιτούν γνώση ανώτερων μαθηματικών. Στην παρούσα προσέγγιση, βασικό μέλημα είναι η προτεινόμενη μέθοδος να επιτρέπει την εξαγωγή χρήσιμων συμπερασμάτων για την ποιότητα των συνεργατικών δραστηριοτήτων, συμφωνώντας ή επιβεβαιώνοντας τις ήδη υπάρχουσες τεκμηριωμένες θεωρητικές, ποιοτικές προσεγγίσεις με ποσοτικό και αυτόματο τρόπο ώστε να είναι δυνατή η χρήση της σε μεγάλα σύνολα δεδομένων. Η έρευνα αυτή δεν 9

20 αποσκοπεί κατά κανένα τρόπο στην αντικατάσταση της ανθρώπινης κρίσης ή γενικότερα του ανθρώπινου παράγοντα ως αξιολογητή αλλά αντίθετα επιδιώκει να υποστηρίξει το έργο του. Παρόμοιες προσεγγίσεις έχουν διατυπωθεί ήδη στο ερευνητικό πεδίο. Ωστόσο η παρούσα μελέτη θέτει συγκεκριμένες απαιτήσεις και προϋποθέσεις που πληροί η μέθοδος την οποία προτείνει και αυτές είναι που την διαφοροποιούν από παρόμοιες μελέτες ώστε να συνεισφέρει πρωτότυπη εργασία στο πεδίο. Ως απαραίτητη προϋπόθεση θεωρείται η απλότητα της μεθόδου ως προς τη δομή και τη λειτουργία της, η σαφήνεια και εύκολη κατανόηση των παραγόμενων αποτελεσμάτων, η δυνατότητα εύκολης μεταφοράς της σε άλλα πλαίσια χρήσης και η περιορισμένη χρήση υπολογιστικών αλλά και ανθρώπινων πόρων. Από την άλλη, η μέθοδος πρέπει να είναι τουλάχιστον συγκρίσιμη με άλλα παρόμοια μεθοδολογικά πλαίσια και τεχνικές ως προς την αποτελεσματικότητα και την αποδοτικότητά της. Η κύρια συνεισφορά της διατριβής και η πρωτοτυπία της έρευνας συνοψίζονται σε τέσσερα βασικά και κρίσιμα σημεία: - Προτείνεται αυτόματη και χαμηλού κόστους μέθοδος ανάλυσης και αξιολόγησης συνεργατικών δραστηριοτήτων η οποία μπορεί να χρησιμοποιηθεί είτε κατά την εξέλιξη της δραστηριότητας είτε μετά το πέρας της. - Η απλότητα και το μικρό κόστος της μεθόδου καθιστά δυνατή την επιτυχή γενίκευση της χρήσης της σε πλήθος δραστηριοτήτων διαφορετικών χαρακτηριστικών. - Η χρήση της μεθόδου δεν εξαρτάται από τον τύπο των υπολογιστικών εφαρμογών που διαμεσολαβούν την δραστηριότητα συνεπώς η μέθοδος μπορεί να ενσωματωθεί ή να υποστηρίξει πλήθος εργαλείων αλλά και να χρησιμοποιηθεί συμπληρωματικά με άλλα μεθοδολογικά πλαίσια ειδικού ή γενικού σκοπού. - Η ευκολία χρήσης της μεθόδου και ο τρόπος σχεδιασμού της δεν απαιτεί την γνώση προηγμένων μαθηματικών τεχνικών είτε κατά την χρήση είτε για την ερμηνεία των αποτελεσμάτων. - Τα αποτελέσματα της μεθόδου και η αξιοπιστία της έχουν αξιολογηθεί ποσοτικά αλλά και συγκριτικά με άλλα μοντέλα αξιολόγησης ενώ επιβεβαιώνουν ευρήματα ποιοτικών μελετών. - Η πρωτοτυπία της μεθόδου έγκειται τόσο στον τρόπο αποτύπωσης της δραστηριότητας όσο και στην ανάλυσή της με μαθηματικές μεθόδους που πρώτη 10

21 φορά χρησιμοποιούνται στο ερευνητικό πεδίο αλλά και στην υλοποίηση νέων εργαλείων που υποστηρίζουν την έρευνα. Όπως φαίνεται και στην συνέχεια της διατριβής, η παρούσα εργασία δεν αντιμετωπίζει την συνεργατική δραστηριότητα ως ένα «μαύρο κουτί», μελετώντας την συνολική «έξοδό» της σύμφωνα με συγκεκριμένους δείκτες και συναρτήσει του τύπου της «εισόδου», όπως συμβαίνει με τις αυτοματοποιημένες μεθόδους αξιολόγησης. Αντίθετα μελετά την δόμηση της δραστηριότητας στον χρόνο, όπως συνηθίζεται να γίνεται, με ποιοτικούς τρόπους. Κατ αυτή την έννοια παρέχει τη δυνατότητα σαφούς και λεπτομερειακής αποτύπωσης της εξέλιξης της συνεργασίας στο χρόνο με τρόπο αυτόματο, άμεσα οπτικοποιήσιμο και εν δυνάμει εκμεταλλεύσιμο με ποιοτικές και ποσοτικές προσεγγίσεις, αλλά κυρίως απλό και εύκολα γενικεύσιμο. Η πεποίθησή μας είναι πως η παρούσα εργασία ανοίγει το δρόμο για περαιτέρω έρευνα στο πεδίο της ανάλυσης και αξιολόγησης συνεργατικών δραστηριοτήτων από μία νέα οπτική γωνία και με έμφαση στην ανάπτυξη εργαλείων για την υποστήριξη των χρηστών που εργάζονται προς ένα κοινό στόχο. 1.3 ΜΕΘΟΔΟΣ ΤΗΣ ΕΡΕΥΝΑΣ Η μέθοδος προσέγγισης που ακολουθήθηκε στην εκπόνηση της παρούσας διδακτορικής διατριβής περιγράφεται από έναν αριθμό βημάτων που εκτείνονται από την βιβλιογραφική ανασκόπηση του πεδίου μέχρι την ανάπτυξη εφαρμογών και μαθηματικών μοντέλων που υποστηρίζουν την προτεινόμενη μέθοδο η οποία αποτελεί την κεντρική ιδέα της εργασίας. Τα βήματα που ακολουθήθηκαν στην εκπόνηση της διδακτορικής διατριβής (Εικόνα 1-1) είναι τα εξής: Βιβλιογραφική επισκόπηση του πεδίου. Ως πρώτο βήμα κρίθηκε απαραίτητη η βιβλιογραφική επισκόπηση του πεδίου της Υπολογιστικά Υποστηριζόμενης Συνεργατικής Μάθησης. Πιο αναλυτικά μελετήθηκε η υπο-περιοχή της ανάλυσης της συνεργασίας ενώ πραγματοποιήθηκε έρευνα για τις υπάρχουσες ποιοτικές και ποσοτικές μεθόδους ανάλυσης. Το πρώτο βήμα κρίνεται ιδιαίτερα σημαντικό και καθοριστικό στην εξέλιξη της μελέτης καθώς θέτει τις βάσεις αλλά και τα καίρια ερωτήματα στα οποία έρχεται να απαντήσει ή να συμπληρώσει η παρούσα εργασία. Σχεδιασμός και πραγματοποίηση μελετών πεδίου μικρής και μεγάλης κλίμακας 11

22 Στο δεύτερο βήμα της μεθόδου προσέγγισης, εκπονήθηκαν μελέτες μικρής και μεγάλης κλίμακας. Οι μελέτες αυτές είχαν ως σκοπό την συλλογή δεδομένων σε πραγματικές συνθήκες εκπαιδευτικών δραστηριοτήτων και σε μεγάλη κλίμακα. Μέρος αυτών των δεδομένων χρησιμοποιήθηκε και στην παρούσα μελέτη. Μελέτη και ανάλυση συνεργατικών δραστηριοτήτων με ποιοτικές μεθόδους Στο τρίτο βήμα, έγινε χρήση ποιοτικών μεθόδων για την ανάλυση και αξιολόγηση συνεργατικών δραστηριοτήτων στο σύνολο δεδομένων. Με αυτόν τον τρόπο το όφελος που αποκομίσθηκε ήταν πολλαπλό : Αποκτήθηκε καλύτερη και ουσιαστικότερη γνώση του συνόλου δεδομένων παρά το μεγάλο μέγεθός του καθώς κάθε μία από τις συνεργατικές δραστηριότητες έπρεπε να αναλυθεί ξεχωριστά και με μεγάλη λεπτομέρεια. Αποκτήθηκε πρακτική εμπειρία στις ποιοτικές μεθόδους ανάλυσης και αξιολόγησης. Διαπιστώθηκαν από πρώτο χέρι τα προβλήματα που αντιμετωπίζουν οι αξιολογητές κατά την ανάλυση συνεργατικών δραστηριοτήτων και επισημάνθηκαν τα σημεία στα οποία μπορεί και πρέπει να υποβοηθηθούν με αυτοματοποιημένους ή μηχανικούς τρόπους. Ανάπτυξη εργαλείων για την υποστήριξη ποσοτικών τεχνικών ανάλυσης συνεργατικών δραστηριοτήτων. Μετά την ποιοτική αξιολόγηση του συνόλου δεδομένων, σχεδιάστηκε και αναπτύχθηκε υπολογιστική εφαρμογή για την εξόρυξη δεδομένων και τον αυτόματο υπολογισμό μετρικών με χρήση αρχείων καταγραφής και εξαγωγής χρήσιμης πληροφορίας ενώ στη συνέχεια μελετήθηκαν πιθανές σχέσεις που ενδέχεται να παρουσιάζονται ανάμεσα στις μετρικές δραστηριότητας και την ποιότητα της συνεργασίας. Σχεδιασμός μεθόδου της μελέτης, ανάπτυξη εργαλείων και μοντέλων για την υποστήριξη της μεθόδου. Ως πέμπτο βήμα της προσέγγισης οριστικοποιήθηκαν τα ερευνητικά ερωτήματα της διδακτορικής διατριβής, έγινε ενδελεχής μελέτη μεθόδων και τεχνικών οι οποίες χρησιμοποιούνται σε άλλα ερευνητικά πεδία και που θα μπορούσαν να συνεισφέρουν επιπλέον στο πεδίο της Υπολογιστικά Υποστηριζόμενης Συνεργατικής Μάθησης. Αυτό οδήγησε στον λεπτομερή σχεδιασμό της προτεινόμενης μεθόδου. 12

23 Πειραματική διαδικασία, ανάλυση αποτελεσμάτων και αξιολόγηση της μεθόδου. Στο τελευταίο βήμα της μελέτης, η μέθοδος και το μοντέλο που την υποστηρίζει δοκιμάστηκαν πειραματικά σε πραγματικό σύνολο δεδομένων. Τα αποτελέσματα αυτής της έρευνας εξετάστηκαν ποιοτικά αλλά και με χρήση στατιστικών τεχνικών για επιβεβαίωση της εγκυρότητας και της ακρίβειάς τους. Επιπλέον έγινε συγκριτική αντιπαράθεση με άλλα παρόμοια μοντέλα και συγκεκριμένα με αυτοματοποιημένο μοντέλο αξιολόγησης το οποίο έχει δοκιμαστεί με παρεμφερές σύνολο δεδομένων. Τα βήματα που περιγράφονται παραπάνω έχουν αποτελέσει θεματικές ενότητες της διδακτορικής διατριβής και αποτυπώνονται στο παρόν κείμενο. 1.4 ΔΟΜΗ ΤΗΣ ΔΙΑΤΡΙΒΗΣ Το κείμενο αυτό περιγράφει λεπτομερώς όλα τα βήματα που έγιναν στα πλαίσια της παρούσας διδακτορικής διατριβής και είναι διαρθρωμένο ως εξής: Στο δεύτερο κεφάλαιο με τίτλο «ΥΥΣΜ - Επισκόπηση πεδίου» περιγράφονται τα σημαντικά σημεία, οι σχετικές μελέτες και έρευνες που έχουν γίνει στην περιοχή και τέλος προτείνεται η μέθοδος ανάλυσης συνεργατικών δραστηριοτήτων ενώ αναφέρονται οι λόγοι που οδήγησαν στην συγκεκριμένη πρόταση. Στο τρίτο κεφάλαιο με τίτλο «Εισαγωγή στην ανάλυση και αξιολόγηση της συνεργασίας με χρήση σχήματος αξιολόγησης και μετάβαση σε αυτοματοποιημένες τεχνικές» γίνεται αναφορά στα βασικά σημεία στα οποία στηρίχθηκε η παρούσα διδακτορική διατριβή και στις μελέτες που προηγήθηκαν και έθεσαν τα θεμέλια γι αυτή την εργασία. Στο τέταρτο κεφάλαιο με τίτλο «Ανάλυση, Ταξινόμηση και Αξιολόγηση Συνεργατικών Δραστηριοτήτων με χρήση χρονοσειρών» παρουσιάζεται το μεθοδολογικό πλαίσιο στο οποίο κινήθηκε η εργασία ενώ παρουσιάζεται με λεπτομέρεια η προτεινόμενη μέθοδος. Τέλος παρουσιάζεται ο τρόπος ανάλυσης των αποτελεσμάτων της πειραματικής διαδικασίας. Στο πέμπτο κεφάλαιο με τίτλο «Αποτελέσματα Πειραματικής Διαδικασίας Ανάλυση» παρουσιάζονται τα αποτελέσματα και η ανάλυση των αποτελεσμάτων από την εφαρμογή της προτεινόμενης μεθόδου σε πραγματικό σύνολο δεδομένων. Στο έκτο κεφάλαιο με τίτλο «Αξιολόγηση μεθόδου με χρήση του μοντέλου μηχανικής μάθησης TSCMoCA» παρουσιάζεται η αξιολόγηση της μεθόδου σε τρία επίπεδα. Αρχικά εξετάζεται η απόδοσή της με χρήση στατιστικών δεικτών και μεγεθών, σε δεύτερο στάδιο συγκρίνεται με αντίστοιχο μοντέλο αξιολόγησης της συνεργασίας και σε τρίτη 13

24 φάση γίνεται ποιοτική ανάλυση των αποτελεσμάτων και συσχέτισή της με θεωρητικά πλαίσια και ευρήματα ποιοτικών μεθόδων αξιολόγησης. Τέλος, στο έβδομο κεφάλαιο με τίτλο «Συμπεράσματα και Μελλοντικές Προεκτάσεις» παρουσιάζονται τα κύρια ευρήματα και συμπεράσματα που επισημάνθηκαν κατά τη διάρκεια της εκπόνησης της διδακτορικής διατριβής ενώ γίνεται εκτενής συζήτηση ως προς τις μελλοντικές μελέτες και εργασίες που δύναται να γίνουν για την επέκταση και βελτίωση της εργασίας. Εικόνα 1-1. Μέθοδος της Έρευνας: Στάδια Ανάπτυξης της παρούσας Μελέτης 14

25 2 ΚΕΦΑΛΑΙΟ 2: ΥΥΣΜ ΕΠΙΣΚΟΠΗΣΗ ΠΕΔΙΟΥ 2.1 ΕΙΣΑΓΩΓΗ Στο παρόν κεφάλαιο γίνεται επισκόπηση της βιβλιογραφίας του πεδίου της Υπολογιστικά Υποστηριζόμενης Συνεργατικής Μάθησης. Αρχικά γίνεται μία σύντομη αναφορά στο αντικείμενο και τους ερευνητικούς στόχους της περιοχής. Παρουσιάζονται οι διάφορες υπο-περιοχές στις οποίες κινείται ο κύριος όγκος των μελετών που εκπονούνται και ορίζεται η περιοχή στην οποία ανήκει η παρούσα διατριβή. Στη συνέχεια παρουσιάζονται οι πρόσφατες ερευνητικές τάσεις ενώ γίνεται ιδιαίτερη αναφορά στις μελέτες που αφορούν σε μεθόδους και τεχνικές της ανάλυσης της συνεργασίας. Κύριο σημείο αναφοράς αποτελούν οι αυτοματοποιημένες μέθοδοι οι οποίες κάνουν χρήση των αρχείων καταγραφής -όπως αυτά συντηρούνται από τις εφαρμογές που διαμεσολαβούν συνεργατικές δραστηριότητες- για τον υπολογισμό μετρικών δραστηριότητας ή την ανάλυση της αλληλεπίδρασης. Με αυτό τον τρόπο επιχειρείται η αποτύπωση της τρέχουσας εικόνας του ερευνητικού πεδίου. Παρουσιάζονται τα σημεία που οριοθετούν το πεδίο, θέτουν τα κύρια ερευνητικά ερωτήματα και τις κατευθυντήριες γραμμές για μελλοντική έρευνα. Σε αυτά έχει στηριχθεί η διδακτορική διατριβή. Ιδιαίτερη σημασία δίνεται στον τρόπο που η ερευνητική κοινότητα μελετά το αντικείμενο έχοντας ως άξονα ανάλυσης τη διάσταση του χρόνου. Σύμφωνα με τις απαιτήσεις όπως αυτές ορίζονται από τη βιβλιογραφία, διατυπώνεται στη συνέχεια συγκεκριμένα η θέση της παρούσας μελέτης. 2.2 ΥΠΟΛΟΓΙΣΤΙΚΑ ΥΠΟΣΤΗΡΙΖΟΜΕΝΗ ΣΥΝΕΡΓΑΤΙΚΗ ΜΑΘΗΣΗ (ΥΥΣΜ) ΟΡΙΣΜΟΣ ΤΟΥ ΠΕΔΙΟΥ Το ερευνητικό πεδίο της Υπολογιστικά Υποστηριζόμενης Συνεργατικής Μάθησης, ΥΥΣΜ (Computer Supported Collaborative Learning, CSCL), εντάσσεται στο ευρύτερο πλαίσιο των παιδαγωγικών επιστημών ενώ αποτελεί κοινό τόπο και συνδυάζει μεθόδους πλήθους άλλων ερευνητικών περιοχών όπως η επιστήμη των υπολογιστών, η τεχνητή νοημοσύνη η κοινωνιολογία και η γνωσιακή ψυχολογία (Dillenbourg, P., Baker, M. J., Blaye, A., & O'Malley, C., 1996; Hmelo-Silver, C. E., 2006). Η ΥΥΣΜ μελετά τους μαθησιακούς μηχανισμούς που δραστηριοποιούνται και τις πρακτικές που 15

26 αναπτύσσονται κατά την εξέλιξη μίας συνεργατικής, εκπαιδευτικής δραστηριότητας η οποία υποστηρίζεται από την χρήση υπολογιστή, ερευνά και προτείνει τρόπους και μεθόδους βελτίωσης της μαθησιακής διαδικασίας και του αποτελέσματός της. Πρόκειται, κατά συνέπεια, για μία παιδαγωγική προσέγγιση που αφορά στη μάθηση η οποία επιτυγχάνεται μέσω της αλληλεπίδρασης των εκπαιδευομένων, οι οποίοι μοιράζονται ή «χτίζουν» γνώση από κοινού κάνοντας χρήση ή επικοινωνώντας μέσω υπολογιστή (Stahl, G., Koschmann, T., & Suthers, D., 2006). Ήδη από την δεκαετία του 70 και του 80 είχαν προταθεί τα «Έξυπνα Διδακτικά Συστήματα» (Intelligent Tutoring Systems, ITS) (Psotka, J., Massey, L. D., & Mutter, S. A., 1988), τα οποία φιλοδοξούσαν να υποστηρίξουν ή ακόμα και να υποκαταστήσουν τον άνθρωπο στον ρόλο του εκπαιδευτή αλλά και να προσφέρουν πιο στοχευμένη, και συνεπώς βελτιωμένη, διδασκαλία προσαρμοσμένη στις ανάγκες και ικανότητες του εκπαιδευόμενου ενώ εκτενείς μελέτες έχουν ως θέμα τους την χρήση του υπολογιστή για τον σχεδιασμό και την ενορχήστρωση εκπαιδευτικών δραστηριοτήτων (Chambers, J. A. & Sprecher, J. W., 1983; Larkin, J. H. & Chabay, R. W., 1992; Murray, T., 1999). Η παρούσα προσέγγιση διαφοροποιείται αφού μελετά την εξέλιξη της εκπαιδευτικής διαδικασίας μέσω συνεργατικών δραστηριοτήτων. Συγκεκριμένα μελέτες υποδεικνύουν πως η συνεργασία και η αλληλεπίδραση μεταξύ των εκπαιδευόμενων βελτιώνει την εκπαιδευτική διαδικασία αλλά επιπλέον τα οφέλη που αποκομίζουν οι εκπαιδευόμενοι ως προς την αξία, είναι μεγαλύτερα (Crook, C., 1994; Fawcett, L. M. & Garton, A. F., 2005; Roschelle, J. & Teasley, S. D., 1995). Επιπλέον η χρήση του υπολογιστή για την υποστήριξη της συνεργατικής δραστηριότητας κρίνεται ωφέλιμη καθώς προσφέρει πρόσβαση σε πλήθος πόρων οι οποίοι μπορούν να προσπελαστούν κοινόχρηστα. Για παράδειγμα, δίνει τη δυνατότητα καταγραφής του ιστορικού έτσι ώστε τόσο οι συνεργάτες όσο και οι εκπαιδευτές/συντονιστές να μπορούν να ανατρέξουν οποιαδήποτε στιγμή. Επιπλέον προσφέρει τη δυνατότητα συνεργασίας από απόσταση αλλά και ασύγχρονα (Crook, C., 1998). Η εισαγωγή νέων τεχνολογιών που χαρακτηρίζονται από γρήγορους ρυθμούς ανάπτυξης σε ένα πεδίο εξ ορισμού πολυσύνθετο αυξάνει την πολυπλοκότητα και τις παραμέτρους που πρέπει ο ερευνητής να λαμβάνει υπόψη του κατά τη μελέτη αλλά και την ανάλυση των αποτελεσμάτων. Αυτό γίνεται ήδη σαφές από τις προσπάθειες που γίνονται κατά καιρούς για την απόδοση σαφούς ορισμού της Υπολογιστικά Υποστηριζόμενης Συνεργατικής Μάθησης όπου διαφορετικές προσεγγίσεις ακολουθούνται ακόμα και όσον αφορά στον προσδιορισμό του όρου «Συνεργατική» (Collaborative) ως «Συλλογική» (Cooperative, Collective) ή ακόμα και «Συντονισμένη» (Coordinated) (Lipponen, L., 2002; Pea, R. D., 1994). Ο μεγάλος αριθμός παραγόντων που συνθέτουν το πεδίο κάνει δύσκολη την πλήρη και ικανοποιητική περιγραφή του σε έναν ορισμό (Dillenbourg, P., 1999) ενώ η διαφορετική ερμηνεία του κατά βούληση και 16

27 ανά ερευνητική περιοχή είναι τελικά αποδεκτή και, μερικές φορές, επιθυμητή (Koschmann, T., 1994). Η συνεργασία ως δραστηριότητα προσδιορίζεται από τρία, βασικά χαρακτηριστικά: - Το χρονικό διάστημα μέσα στο οποίο εκτυλίσσεται και το οποίο ορίζει τον τρόπο επικοινωνίας των εκπαιδευομένων (σύγχρονη επικοινωνία, για δραστηριότητες που λαμβάνουν χώρα σε μικρά χρονικά διαστήματα έως και μερικών ωρών και ασύγχρονη επικοινωνία, για δραστηριότητες που λαμβάνουν χώρα σε μεγάλα χρονικά διαστήματα αρκετών ωρών έως και εβδομάδων ή μηνών), - Το μέγεθος της συνεργαζόμενης ομάδας η οποία μπορεί να είναι από συνεργαζόμενα ζεύγη, ολόκληρες σχολικές τάξεις (20-30 άτομα) έως και μεγάλες κοινωνικές ομάδες, - Το είδος της εκπαιδευτικής δραστηριότητας που υποστηρίζεται, (για παράδειγμα, δομημένη συζήτηση, διαδικασία επίλυσης κάποιου προβλήματος, παρακολούθηση μαθήματος κλπ) και τον τρόπο που λαμβάνει χώρα (συζήτηση πρόσωπο με πρόσωπο και χρήση του υπολογιστή ως βοήθημα, απομακρυσμένη συνεργασία μέσω υπολογιστή κ.α.) Σύμφωνα με άλλα θεωρητικά πλαίσια (Kirschner, P. A. & Erkens, G., 2013), η έρευνα στο πεδίο της Υπολογιστικά Υποστηριζόμενης Συνεργατικής μάθησης μπορεί να περιγραφεί ως ένας κύβος, οι διαστάσεις του οποίου αντιπροσωπεύουν: - Τον τύπο της μάθησης (γνωστική η οποία οριοθετείται από την εκτέλεση μίας εργασίας, κοινωνικού τύπου η οποία αποκτάται κυρίως μέσω της αλληλεπίδρασης με άλλους κλπ) - Την εκπαιδευόμενη μονάδα (δυάδα εκπαιδευόμενων, μεγαλύτερη ομάδα ή κοινότητα) - Τα παιδαγωγικά μέσα, δηλαδή τα εργαλεία και οι εφαρμογές που υποστηρίζουν τόσο τον εκπαιδευτή όσο και τον εκπαιδευόμενο. Ένας αριθμός θεωρητικών προσεγγίσεων και μεθοδολογικών πλαισίων βασίζονται στην δόμηση ή την ανάλυση των δραστηριοτήτων σύμφωνα με αυτούς τους άξονες (Baeza Yates, R. & Pino, J. A., 2006; Dillenbourg, P., 1999; El Helou, S., 2010; Persico, D. & Pozzi, F., 2011a). Άλλες έρευνες επικεντρώνονται είτε στη μελέτη μίας συγκεκριμένης διάστασης ως κυρίαρχης είτε έχουν ως στόχο συγκεκριμένα φαινόμενα (Antunes, P., Herskovic, V., Ochoa, S. F., & Pino, J. A., 2012; Clarà, M., 2012; Reimann, P., 2009). 17

28 Τα διαφορετικά γνωρίσματα που συνθέτουν τη συνεργατική δραστηριότητα επηρεάζουν σε μικρό ή μεγαλύτερο βαθμό τον τρόπο σχεδιασμού της και την ανάλυσή της, προσφέροντας όμως μεγάλο πεδίο έρευνας και ανάπτυξης ΣΤΟΧΟΙ Απώτερος στόχος της ΥΥΣΜ είναι η ενσωμάτωση της χρήσης υπολογιστών για τον σχεδιασμό, την υποστήριξη και την πραγματοποίηση συνεργατικών εκπαιδευτικών δραστηριοτήτων με τρόπο τέτοιο ώστε να επιτυγχάνεται το μέγιστο μαθησιακό αποτέλεσμα (Stahl, G. et al., 2006). Παραδοσιακά, η έρευνα στο πεδίο της ΥΥΣΜ κινείται σε τρείς διαστάσεις (Lund, K., 2011): Στον σχεδιασμό των εκπαιδευτικών πρακτικών που πρέπει να ακολουθούνται για την επίτευξη του βέλτιστου μαθησιακού αποτελέσματος, Στην ανάλυση της συνεργατικής δραστηριότητας, τόσο όσον αφορά στην αλληλεπίδραση των εκπαιδευόμενων μεταξύ τους όσο και με το μέσο που την υποστηρίζει Στην αξιολόγηση της δραστηριότητας, τόσο ως προς την επιτυχία της συνεργασίας όσο και ως προς το μαθησιακό αποτέλεσμα Η θεωρία της συνεργασίας στην οποία βασίζεται και υλοποιεί το ερευνητικό πεδίο ορίζει πως η γνώση και η μάθηση επέρχεται και ενδυναμώνεται μέσα από κοινωνικές αλληλεπιδράσεις, όπως ο διάλογος, και μέσω της δημιουργίας κοινού νοήματος και τόπου συνεννόησης σε επίπεδο ομάδας (Stahl, G., 2002a, 2004). H ανάλυση των συνεργατικών δραστηριοτήτων έχει ως στόχο την ανεύρεση και αναγνώριση του τύπου και των χαρακτηριστικών που πιστοποιούν την επιτυχημένη συνεργασία (Cousins, J. B. & Whitmore, E., 1998). Κατά συνέπεια, η ανάλυση, η χαρτογράφηση και μελέτη των μηχανισμών και των πρακτικών που αναπτύσσουν οι εκπαιδευόμενοι κρίνεται ως απαραίτητη τόσο για την αποτίμηση της ποιότητας της συνεργασίας ή την επιτυχία της δραστηριότητας όσο και για την βελτίωση και τον αποτελεσματικότερο σχεδιασμό μελλοντικών συνεργατικών δραστηριοτήτων. Για τον λόγο αυτό, τα τελευταία χρόνια οι μελέτες έχουν επικεντρωθεί στον τρόπο ανάλυσης και αξιολόγησης των συνεργατικών δραστηριοτήτων, στην ανάπτυξη θεωρητικών μεθοδολογικών πλαισίων και στην υλοποίηση εφαρμογών και εργαλείων για την υποστήριξη της ανάλυσης ΜΕΘΟΔΟΛΟΓΙΚΕΣ ΠΡΟΣΕΓΓΙΣΕΙΣ Η επισκόπηση του πεδίου φανερώνει πως η κυρίαρχη μεθοδολογία που ακολουθούν οι μελέτες στο πεδίο της ΥΥΣΜ είναι η περιγραφική έρευνα (descriptive research). Στόχος αυτού του τύπου έρευνας είναι η περιγραφή της υπό μελέτη κατάστασης όπως αυτή 18

29 εμφανίζεται στο παρόν. Το κύριο χαρακτηριστικό της είναι πως ο ερευνητής δεν έχει έλεγχο των μεταβλητών αλλά απλά περιγράφει τι παρατηρεί (Kothari, C., 2004). Για την συλλογή δεδομένων, πέραν των εκθέσεων και των προσωπικών παρατηρήσεων των ερευνητών, χρησιμοποιούνται κυρίως ερωτηματολόγια, αρχεία ήχου και εικόνας αλλά και αρχεία καταγραφής δραστηριοτήτων όπως αυτά προέρχονται από τις υπολογιστικές εφαρμογές που υποστηρίζουν την συνεργασία σε κάθε περίπτωση. Για την ανάλυση των δεδομένων αυτών επιστρατεύονται τόσο ποιοτικές όσο και ποσοτικές μέθοδοι ενώ συχνά γίνεται και συνδυασμός αυτών (Jeong, H. & Hmelo- Silver, C. E., 2010). Η πολυπλοκότητα αλλά και η πολύ-θεματικότητα του πεδίου μεγιστοποιούν την ανάγκη προσέγγισης με διαφορετικούς τρόπους, από διαφορετικές οπτικές γωνίες και με μεθοδολογικά πλαίσια άλλων ερευνητικών περιοχών (Hmelo- Silver, C. E., 2003; Suthers, D. D., 2006b). Ενώ αρχικά ο κύριος όγκος των μελετών επικεντρωνόταν στην πειραματική έρευνα, αναλυτικές μέθοδοι όπως η εθνογραφία (ethnography), η εθνομεθοδολογία (ethnomethodology) και η ανάλυση διαλόγου (discourse analysis) που χρησιμοποιούνται κυρίως στις ανθρωπιστικές επιστήμες καταλαμβάνουν όλο και μεγαλύτερο χώρο στο πεδίο (Lipponen, L., 2002). Κύριο σημείο μελέτης και ανάλυσης στο οποίο επικεντρώνονται οι έρευνες της περιοχής είναι οι αλληλεπιδράσεις μεταξύ των χρηστών - εκπαιδευομένων όταν συνεργάζονται για την επίτευξη ενός κοινού στόχου. Η ανάλυση των αλληλεπιδράσεων στις περισσότερες των περιπτώσεων γίνεται είτε στο μικρο-επίπεδο (microlevel) είτε στο μακρο-επίπεδο (macrolevel) είτε αυτό αφορά στο μέγεθος των συνεργαζόμενων ομάδων είτε στο χρονικό παράθυρο στο οποίο αναλύονται οι ενέργειες των χρηστών. Στο μικρο-επίπεδο συνήθως αναζητούνται επεισόδια συνεργατικής δραστηριότητας αλλά και μοτίβα επικοινωνίας και αλληλεπίδρασης μεταξύ των χρηστών, τα οποία να υποδηλώνουν την ουσιαστική και αμοιβαία συμμετοχή τους (Dillenbourg, P., 1999; Stahl, G., 2002b; Suthers, D. & Medina, R., 2011). Τέτοιες προσεγγίσεις αναφέρονται στην ανάλυση της δραστηριότητας μέσα σε στενά χρονικά όρια και για αλληλεπιδράσεις μεταξύ λίγων ατόμων. Στο μακρο-επίπεδο εξετάζεται η δραστηριότητα στο σύνολό της και για το σύνολο της ομάδας που μπορεί να αφορά μεγάλα κοινωνικά σύνολα, όπου οι συνήθως οι ομάδες απεικονίζονται ως δίκτυα και οι αλληλεπιδράσεις μεταξύ των εκπαιδευομένων αναπαρίστανται ως οι σύνδεσμοι μεταξύ των κόμβων του εκάστοτε δικτύου (Wellman, B. et al., 1996). Η ταξινόμηση ή η κατηγοριοποίηση των μεθοδολογικών πλαισίων της ερευνητικής περιοχής μπορεί να γίνει σε πολλά, διαφορετικά επίπεδα όπως για παράδειγμα: αυτόματες και μη μέθοδοι, ποσοτικές και ποιοτικές προσεγγίσεις, περιγραφικές ή πειραματικές μελέτες και άλλα. Στην προκειμένη περίπτωση η μελέτη της βιβλιογραφίας επικεντρώθηκε σε δύο κυρίαρχες τάσεις όσον αφορά στις έρευνες που διεξάγονται στο πεδίο της ΥΥΣΜ: τις έρευνες που προέρχονται από εθνογραφικές/εθνομεθοδολογικές προσεγγίσεις και οι οποίες βλέπουν τον υπολογιστή 19

30 ως εργαλείο των ερευνητών για την ανάλυση συγκεκριμένων επεισοδίων ή μοτίβων αλληλεπίδρασης (Guribye, F. & Wasson, B., 2002) και αυτές που προέρχονται συνήθως- από τα ερευνητικά πεδία της πληροφορικής και της επιστήμης των υπολογιστών και αποσκοπούν στην ανάπτυξη μεθόδων για την αυτόματη ή ημίαυτόματη ανάλυση και αξιολόγηση, συνήθως αναλύοντας την δραστηριότητα από τα αρχεία καταγραφής με τεχνικές κωδικοποίησης και μέτρησης (coding and counting), αλλά και στην παροχή υποστήριξης τόσο στους αναλυτές όσο και στους χρήστες (Romero, C. & Ventura, S., 2007). Φυσικά ο διαχωρισμός των σχετικών ερευνών, τεχνικών και μεθόδων δεν μπορεί ποτέ να είναι απόλυτος καθώς υπάρχουν έρευνες που κινούνται στην ενδιάμεση των δύο, περιοχή. Παρόλα αυτά, στη συγκεκριμένη εργασία δίνεται ιδιαίτερη βαρύτητα στις μεθόδους αυτόματης και ημι-αυτόματης ανάλυσης συνεργατικών δραστηριοτήτων ΕΘΝΟΓΡΑΦΙΚΕΣ ΕΘΝΟΜΕΘΟΔΟΛΟΓΙΚΕΣ ΜΕΛΕΤΕΣ ΚΑΙ ΑΛΛΕΣ ΠΟΙΟΤΙΚΕΣ ΠΡΟΣΕΓΓΙΣΕΙΣ Η εθνογραφία αποτελεί ένα είδος ποιοτικής έρευνας που έχει ως στόχο να μελετήσει κοινωνικά φαινόμενα. Ο σκοπός της εθνογραφίας είναι να περιγράψει και να εξηγήσει συνηθισμένες τακτικές που ακολουθούν οι άνθρωποι ενός κοινωνικού συνόλου. Ουσιαστικά κατά την μελέτη κοινωνικών ομάδων ο ερευνητής συμμετέχει στην καθημερινότητά τους προκειμένου να κατανοήσει τον τρόπο ζωής και τις δραστηριότητές τους, να τις περιγράψει αλλά και να απαντήσει σε καίρια ερωτήματα. (Bentz, V. M. & Shapiro, J. J., 1998; Geertz, C., 1994). Η εθνομεθοδολογία από την άλλη επικεντρώνεται σε καθημερινές πρακτικές που χρησιμοποιούν οι άνθρωποι για να πετύχουν τους στόχους τους σε συνάρτηση με τον κοινωνικό τους περίγυρο αλλά και να διατηρήσουν ή να συνεισφέρουν στην διατήρηση της τάξης της κοινωνικής δομής (Garfinkel, H., 1967, 1996). Και οι δύο ερευνητικές προσεγγίσεις συναντώνται στην κοινωνιολογία, στις ανθρωπιστικές επιστήμες και σε πλήθος άλλων ερευνητικών περιοχών. Η εθνογραφία, η εθνομεθοδολογία καθώς και άλλες ποιοτικές, ερευνητικές προσεγγίσεις έχουν χρησιμοποιηθεί κατά κόρον στην εκπαίδευση για την μελέτη της συμπεριφοράς ομάδων μαθητών, ή γενικότερα εκπαιδευομένων. Κύριο σημείο των ερευνών αποτελούν οι αλληλεπιδράσεις των χρηστών μεταξύ τους και οι τρόποι που διαχειρίζονται και ενσωματώνουν την τεχνολογία στις πρακτικές τους (Epperson, T. W., 2006). Παραδείγματα αποτελούν οι εθνογραφικές μελέτες στις περιοχές της υπολογιστικά υποστηριζόμενης επικοινωνίας (computer-mediated communication) (Hine, C., 2008) και της υπολογιστικά υποστηριζόμενης συλλογικής εργασίας (computer supported co-operative work) (Harper, R. H. R., 2000). Και τα δύο αυτά πεδία συγγενεύουν στενά με την ΥΥΣΜ και συχνά επικαλύπτονται, συνεπώς οι μέθοδοι που χρησιμοποιούνται σε αυτά τα πλαίσια εύκολα υιοθετούνται και για τις ανάγκες της ΥΥΣΜ. 20

31 Οι περισσότερες εθνολογικές και εθνομεθοδολογικές μελέτες της περιοχής αναλύουν την αλληλεπίδραση των εκπαιδευομένων και τον τρόπο που επικοινωνούν είτε χρησιμοποιώντας αρχεία εικόνας για την μελέτη των χειρονομιών, της στάσης του σώματος και τις εκφράσεις του προσώπου (Goodwin, C., 2000; Streeck, J. & Mehus, S., 2005) είτε πραγματοποιώντας ανάλυση διαλόγου (conversation analysis) (O'Neill, J. & Martin, D., 2003; Sacks, H., Jefferson, G., & Schegloff, E. A., 1992; Ten Have, P., 2007). Σε συνδυασμό με την ανάλυση διαλόγου και την εθνομεθοδολογία, έχει προταθεί η μελέτη συνεργατικών δραστηριοτήτων εμπλουτισμένη με χρήση αρχείων εικόνας (βίντεο) (Koschmann, T., Stahl, G., & Zemel, A., 2004). Επίσης αρχεία εικόνας έχουν χρησιμοποιηθεί για τη βαθμολόγηση εκπαιδευτικών δραστηριοτήτων με χρήση Σχήματος Αξιολόγησης (Spada, H., Meier, A., Rummel, N., & Hauser, S., 2005), σε μία προσέγγιση που συνδυάζει τις μεθόδους της εθνογραφίας με την θεωρία πεδίου (Grounded Theory) (Glaser, B. G. & Strauss, A. L., 2009; Martin, P. Y. & Turner, B. A., 1986). Η εθνομεθοδολογία και η εθνογραφία είναι ιδιαίτερα χρήσιμες σε περιπτώσεις πολυτροπικών (multimodal) συστημάτων, σε συστήματα δηλαδή που είτε η συνεργατική δραστηριότητα υποστηρίζεται με παραπάνω του ενός τρόπους, είτε η ανάλυση απαιτεί την συνδυαστική χρήση πηγών διαφορετικού τύπου (γραπτά μηνύματα και αρχεία εικόνας/ήχου και κοινόχρηστο χώρο εργασίας κλπ) (Avouris, N., Komis, V., Fiotakis, G., Margaritis, M., & Voyiatzaki, E., 2005; Çakır, M. P., Zemel, A., & Stahl, G., 2009). Η θεωρία πεδίου (grounded theory) παραδοσιακά χρησιμοποιείται στις κοινωνικές επιστήμες και αντικρούει τις παραδοσιακές ερευνητικές μεθόδους. Σε αυτή την περίπτωση ο ερευνητής δεν ακολουθεί κάποιο θεωρητικό πλαίσιο το οποίο εφαρμόζει στην περίπτωση που ερευνά αλλά ακολουθεί την αντίθετη διαδρομή: ξεκινά από τη συλλογή δεδομένων και μέσα από την μελέτη, την ανάλυση και την επισημείωσή τους οδηγείται σε ένα θεωρητικό συμπέρασμα (Allan, G., 2003). Στο πεδίο της ΥΥΣΜ η θεωρία πεδίου έχει χρησιμοποιηθεί για την περιγραφή της δόμησης κοινής γνώσης από κοινότητες μαθητευομένων και την δημιουργία μοντέλου ανάλυσης της αλληλεπίδρασης (Interaction Αnalysis Μodel, IAM) (Gunawardena, C. N., Lowe, C. A., & Anderson, T., 1997) αλλά και ταξινόμησης/κωδικοποίησης των μηνυμάτων που ανταλλάσσουν οι χρήστες σε ομάδες συζήτησης (Veerman, A. & Veldhuis-Diermanse, E., 2001). Στη συνέχεια, τα μοντέλα αυτά χρησιμοποιήθηκαν σε πλήθος μελετών για την ανάλυση της δραστηριότητας σε διαδικτυακούς πίνακες και ομάδες συζήτησης (discussion forums, discussion groups) (Marra, R. M., Moore, J. L., & Klimczak, A. K., 2004; Schellens, T. & Valcke, M., 2005). Μεγάλο μέρος των μελετών στην περιοχή της ΥΥΣΜ που έχει τις ρίζες του στην εθνογραφία βασίζεται και χρησιμοποιεί την θεωρία των δραστηριοτήτων (Activity Theory) (Nardi, B. A., 1996). Η θεωρία των δραστηριοτήτων αποσκοπεί στην περιγραφή μίας κατάστασης θέτοντας ως αντικείμενο της ανάλυσης την ανθρώπινη 21

32 δραστηριότητα ή το σύνολο των δραστηριοτήτων ενώ μέσα σε αυτό το σύστημα περιέχονται τα αντικείμενα, τα «υποκείμενα», τα εργαλεία και οι κοινότητες, οι συλλογικές διαδικασίες και οι συνεργατικές δραστηριότητες. Η θεωρία των δραστηριοτήτων στα πλαίσια της ΥΥΣΜ συναντάται κυρίως κατά τον σχεδιασμό εργαλείων και εφαρμογών για την υποστήριξη της συνεργασίας (Zurita, G. & Nussbaum, M., 2007), κατά τον σχεδιασμό των ίδιων των συνεργατικών, εκπαιδευτικών δραστηριοτήτων (Collis, B. & Margaryan, A., 2004) αλλά κυρίως για την αναζήτηση σχέσεων, μηχανισμών και πρακτικών που δημιουργούνται ή ενεργοποιούνται κατά την εξέλιξη της συνεργασίας (Bourguin, G. & Derycke, A., 2000; Nardi, B. A., 2005) ΑΝΑΛΥΣΗ ΤΗΣ ΣΥΝΕΡΓΑΤΙΚΗΣ ΔΡΑΣΤΗΡΙΟΤΗΤΑΣ ΜΕ ΗΜΙ- ΑΥΤΟΜΑΤΑ Η ΑΥΤΟΜΑΤΑ ΜΕΘΟΔΟΛΟΓΙΚΑ ΠΛΑΙΣΙΑ ΚΑΙ ΣΧΗΜΑΤΑ ΥΠΟΣΤΗΡΙΖΟΜΕΝΑ ΑΠΟ ΕΜΠΕΙΡΟΥΣ ΑΞΙΟΛΟΓΗΤΕΣ Η εισαγωγή των υπολογιστών στην εκπαίδευση για την υποστήριξη ομάδων που εργάζονται και μαθαίνουν κάνει εφικτή την συνεργασία χρηστών από απόσταση και μάλιστα χωρίς να απαιτείται η σύγχρονη επικοινωνία τους. Πέρα από αυτό, έδωσε στον ερευνητή πληθώρα εργαλείων αλλά και τη δυνατότητα λεπτομερειακής καταγραφής της δραστηριότητας σε αρχεία, για μετέπειτα επεξεργασία της, και μάλιστα με τρόπους αυτόματους, δίνοντας πρόσβαση σε έναν θησαυρό πληροφοριών (Dillenbourg, P. et al., 1996; Rummel, N. & Spada, H., 2004). Η πλειοψηφία των μεθοδολογικών προσεγγίσεων που κάνουν χρήση αρχείων καταγραφής των υπολογιστικών εφαρμογών, δίνει έμφαση στις αλληλεπιδράσεις που λαμβάνουν χώρα μεταξύ των εκπαιδευομένων, ενώ συχνά συναντώνται στην βιβλιογραφία ως εργαλεία ανάλυσης της αλληλεπίδρασης (Interaction Analysis IA tools) (Martínez-Monés, A., Harrer, A., & Dimitriadis, Y., 2011). Τέτοιου είδους προσεγγίσεις ή συστήματα δέχονται ως είσοδο τα δεδομένα που περιγράφουν τις αλληλεπιδράσεις (συνήθως δε, αρχεία καταγραφής logfiles) και στη συνέχεια τα επεξεργάζονται και παρέχουν τα αποτελέσματα της ανάλυσης στους χρήστες, είτε πρόκειται για τους ίδιους τους εκπαιδευόμενους, για τους δασκάλους/συντονιστές, είτε για ερευνητές. Η ανάλυση της αλληλεπίδρασης (Interaction Analysis) είναι μία διεπιστημονική μέθοδος που έχει ως σκοπό την εμπειρική διερεύνηση του τρόπου με τον οποίο αλληλεπιδρούν οι άνθρωποι τόσο μεταξύ τους όσο και με τα αντικείμενα του περιβάλλοντός τους (Jordan, B. & Henderson, A., 1995). Η ανάλυση της Αλληλεπίδρασης αρχικά χρησιμοποιήθηκε για δραστηριότητες που καταγράφονταν σε αρχεία βίντεο, όμως σταδιακά η χρήση της επεκτάθηκε. Πρόκειται ουσιαστικά για μία περιγραφική μέθοδο, με ρίζες στην εθνομεθοδολογία. Η φύση των συνεργατικών δραστηριοτήτων και οι δυνατότητες που δίνονται από την χρήση των υπολογιστών, καθιστούν την ανάλυση της αλληλεπίδρασης πολύ δημοφιλή στον χώρο της ΥΥΣΜ. Με αυτόν τον τρόπο η «κοινή γνώση» μπορεί να αναπαρασταθεί από τις ενέργειες και τις αλληλεπιδράσεις 22

33 των χρηστών, εστιάζοντας στην ομάδα ως μονάδα ανάλυσης αντί για το άτομο. Κύριο μέλημα της μεθόδου αυτής είναι η καταγραφή συνήθων πρακτικών που υιοθετούν οι χρήστες κατά την εκτέλεση μίας εργασίας, η αποκάλυψη προβλημάτων που ενδέχεται να αντιμετωπίσουν κατά την εκπλήρωση του στόχου τους αλλά και ο τρόπος που χρησιμοποιούν τα μέσα που έχουν στη διάθεσή τους. Η χρήση υπολογιστών για την υποστήριξη συνεργατικών δραστηριοτήτων προσφέρει τη δυνατότητα όχι μόνο του συνεχούς ελέγχου της εκπαιδευτικής διαδικασίας αλλά και λεπτομερούς καταγραφής της. Έτσι δίνεται η ευκαιρία της πιστής αναπαραγωγής της συνεργατικής δραστηριότητας από τα αρχεία καταγραφής της σε οποιαδήποτε στιγμή. Αυτή η δυνατότητα κάνει εφικτή την λεπτομερή ανάλυση της αλληλεπίδρασης μεταξύ των χρηστών αλλά και με την εφαρμογή που υποστηρίζει την συνεργατική δραστηριότητα. Επιπλέον η καταγραφή αυτής της πληροφορίας σε αρχεία καταγραφής δεδομένων, τα οποία κρατούνται από τις εφαρμογές, δίνει την ευκαιρία για ανάπτυξη εργαλείων αυτόματης ανάλυσης της αλληλεπίδρασης. Στην περιοχή της Υπολογιστικά Υποστηριζόμενης Συνεργατικής Μάθησης η ανάλυση της αλληλεπίδρασης εφαρμόζεται κυρίως για την βελτίωση των εφαρμογών που υποστηρίζουν την συνεργασία ή για την διευκόλυνση των ερευνητών κατά την ανάλυση της ίδιας της δραστηριότητας (Bratitsis, T., Dimitracopoulou, A., Martínez- Monés, A., Marcos, J. A., & Dimitriadis, Y., 2008). Οι μελέτες αυτού του τύπου συνήθως διακρίνονται από τρεις φάσεις (Bravo, C., Redondo, M. A., Verdejo, M. F., & Ortega, M., 2008; Duque, R., Bravo, C., & Ortega, M., 2012): (α) την φάση της παρατήρησης, όπου απομονώνονται οι ενέργειες των χρηστών και τα αποτελέσματά τους, (β) την φάση της γενίκευσης, όπου υπολογίζονται δείκτες και μετρικές που χαρακτηρίζουν συγκεκριμένες συνεργατικές διαστάσεις όπως η επικοινωνία, ο συντονισμός, κ.ά. ή τα χαρακτηριστικά μίας εφαρμογής και (γ) την φάση της μεθόδευσης, όπου οι δείκτες που υπολογίστηκαν κατά το προηγούμενο βήμα χρησιμοποιούνται για να διορθώσουν/βελτιώσουν/ υποστηρίξουν τη συνεργατική δραστηριότητα ή την εφαρμογή που τη διαμεσολαβεί. Τα αυτόματα/ημι-αυτόματα μεθοδολογικά πλαίσια που βασίζονται στην ανάλυση της δραστηριότητας όπως αυτή καταγράφεται σε αρχεία δραστηριοτήτων, αποσκοπούν κατά κύριο λόγο στην γενικότητα της προσέγγισης και της χρήσης τους σε διαφορετικά πλαίσια και υπό διαφορετικές συνθήκες. Αυτού του είδους προσεγγίσεις συνήθως βασίζονται και κάνουν χρήση οντολογικών πλαισίων, όπου οι οντολογίες (ουσιαστικά σύνολα δομημένων εννοιών (Gruber, T. R., 1993; Jasper, R. & Uschold, M., 1999) ) περιγράφουν τις βασικές δομές της συνεργασίας και της αλληλεπίδρασης των χρηστών που μετέχουν σε μία συνεργατική δραστηριότητα ενώ τέτοια πλαίσια συνοδεύονται από εργαλεία που επιτρέπουν την εύκολη και αυτόματη ανάλυση συλλογικών διεργασιών. Η διαδικασία και τα αποτελέσματα της ανάλυσης συνοδεύονται και επεξηγούνται μέσα από μοντέλα UML (Unified Modeling Language, (Hamilton, M., 23

34 1999)), ενώ συνήθως οι οντολογίες αναπαριστώνται σε OWL(Web Ontology Language, (W3C, 2012)) χωρίς όμως αυτό να αποτελεί κανόνα (Duque, R. et al., 2012; Duque, R., Noguera, M., Bravo, C., Garrido, J. L., & Rodríguez, M. L., 2009; Gallardo, J., Bravo, C., & Redondo, M. A., 2012; Kumar, V. S., Gress, C. L., Hadwin, A. F., & Winne, P. H., 2010; Noguera, M., Hurtado, M. V., Rodríguez, M. L., Chung, L., & Garrido, J. L., 2010). Άλλα πλαίσια χρησιμοποιούν την έννοια της οντολογίας για την συνολική ανάλυση της συνεργασίας, ή συγκεκριμένων πτυχών της, σε συνδυασμό με άλλες δημοφιλείς θεωρίες - όπως για παράδειγμα την θεωρία της δραστηριότητας (Activity Theory) ή τεχνικές αναπαράστασης (XML, Εxtensible Markup Language - (Barros, B., Verdejo, M., Read, T., & Mizoguchi, R., 2002)) ενώ υπάρχουν και πλαίσια που δεν αποσκοπούν στην ανάλυση της ίδιας της δραστηριότητας αλλά στην μελέτη της δυναμικής μεταξύ ενός χρήστη και μίας εκπαιδευτικής δραστηριότητας όσον αφορά στο βέλτιστο μαθησιακό αποτέλεσμα (Inaba, A., Supnithi, T., Ikeda, M., Mizoguchi, R., & Toyoda, J. i., 2000). Αρκετά διαδεδομένη είναι η ακολουθιακή ανάλυση της δραστηριότητας, είτε κωδικοποιώντας τις ενέργειες των χρηστών, είτε με χρήση γράφων και γενικότερα διαγραμματικών αναπαραστάσεων για την ανάλυση της συνεργασίας. Συγκεκριμένα, η διερευνητική ακολουθιακή ανάλυση δεδομένων (Exploratory Sequential Data Analysis,ESDA) προτείνει έναν αριθμό μεθόδων και βημάτων που πρέπει να ακολουθηθούν για την μετατροπή των δεδομένων ώστε να είναι πρόσφορα για περαιτέρω επεξεργασία και ανάλυση (Sanderson, P. et al., 1994; Sanderson, P. M. & Fisher, C., 1994). Επιπλέον έχουν προταθεί κατά καιρούς τόσο η ενσωμάτωση τεχνικών στατιστικής ανάλυσης (Olson, G. M., Herbsleb, J. D., & Rueter, H. H., 1994) όσο και η χρήση Petri μοντέλων (Reimann, P., 2009)μέσα στο μεθοδολογικό πλαίσιο που ορίζει η ακολουθιακή ανάλυση. Τα γραφήματα που αποτυπώνουν συνεργατικές δραστηριότητες αφενός κάνουν εύκολα κατανοητές και εμφανείς τις σχέσεις και τις αλληλεπιδράσεις των ενεργειών διαφορετικών χρηστών, ιδιαίτερα όταν οι συνεργατικές εφαρμογές προσφέρουν περισσότερους από έναν κοινόχρηστο χώρο -για παράδειγμα εργαλείο ανταλλαγής μηνυμάτων και κοινόχρηστη επιφάνεια κατασκευής διαγραμματικών αναπαραστάσεων. Αφετέρου δίνουν τη δυνατότητα απεικόνισης της ακολουθιακής φύσης της δραστηριότητας και αποδίδουν ικανοποιητικά την ύπαρξη συσχέτισης μεταξύ διαφορετικών συνεργατικών ενεργειών. Συγκεκριμένα, έχει προταθεί η χρήση αφηρημένης σημειογραφίας κατά την ανάλυση της δραστηριότητας, υπό τον όρο contingency ή dependency graph. Οι γράφοι αυτού του τύπου ουσιαστικά περιγράφουν ενέργειες που συσχετίζονται μεταξύ τους, είτε με σχέση δράσης-αντίδρασης, αιτίας-αιτιατού είτε δρουν συμπληρωματικά και υποδηλώνουν επεισόδια συνεργατικής δραστηριότητας η οποία οδηγεί στην κατασκευή κοινού νοηματικού τόπου ή κοινής γνώσης (Suthers, D., Dwyer, N., Medina, R., & Vatrapu, R., 2007; Suthers, D., Dwyer, N., Vatrapu, R., & Medina, R., 2007; Suthers, 24

35 D. D., Dwyer, N., Medina, R., & Vatrapu, R., 2010). Το μεθοδολογικό αυτό πλαίσιο στηρίζεται στην έννοια της απόκρισης κατά την αλληλεπίδραση, ή αλλιώς uptake. Σύμφωνα με τον ορισμό, μία ενέργεια μπορεί να χαρακτηριστεί ως «απόκριση» όταν οι πράξεις που λαμβάνουν χώρα στο παρόν είναι συναφείς ή συσχετίζονται νοηματικά με παρελθούσες ενέργειες (Suthers, D. D., 2006a). Η απεικόνιση αυτών των αποκρίσεων γίνεται με χρήση των contingency graphs ακόμα και για αλληλεπιδράσεις που λαμβάνουν χώρα σε διαφορετικούς κοινόχρηστους χώρους ή επικοινωνιακά μέσα, ανάμεσα σε διαφορετικούς χρήστες αλλά και σε διαφορετικό χρόνο (Suthers, D. & Medina, R., 2011). Σε άλλες μελέτες έχει προταθεί η οπτική απεικόνιση της συμμετοχής κατά τη διάρκεια εκπαιδευτικών συνεργατικών δραστηριοτήτων έχοντας ως ερευνητική υπόθεση ότι δίνοντας στους εκπαιδευόμενους την δυνατότητα να παρακολουθήσουν οπτικά την συμμετοχή που είχαν, βοηθά στην βελτίωση της απόδοσής τους. (Janssen, J., Erkens, G., & Kanselaar, G., 2007a). Άλλες έρευνες υιοθετούν τρόπους οπτικής ανάλυσης και απεικόνισης αλλά και αλγορίθμους που προέρχονται από την περιοχή της Ανάλυσης Κοινωνικών Δικτύων (Social Network Analysis) μελετώντας την συνεργαζόμενη ομάδα ως δίκτυο. Παραδοσιακά η ανάλυση κοινωνικών δικτύων εξετάζει τις κοινωνικές σχέσεις με κανόνες και εργαλεία της θεωρίας δικτύων και της θεωρίας γράφων (Network theory, Graph Theory) αναπαριστώντας τους χρήστες ως κόμβους του δικτύου και τις μεταξύ τους σχέσεις (όπως φιλία, συγγένεια κλπ) ως δεσμούς (D Andrea, A., Ferri, F., & Grifoni, P., 2010; Scott, J., 2000; Wasserman, S., 1994). Στα πλαίσια της ανάλυσης συνεργατικών δραστηριοτήτων, τέτοιου είδους τεχνικές έχουν χρησιμοποιηθεί για διάφορους σκοπούς όπως τη μελέτη της συνεργατικής δόμησης κοινόχρηστου περιεχομένου (Brandes, U., Kenis, P., Lerner, J., & van Raaij, D., 2009), την μελέτη του τρόπου δόμησης κοινής γνώσης με τεχνικές Latent Semantic Analysis, LSA (Teplovs, C. & Scardamalia, M., 2007), την ανάλυση του σχηματισμού και την αναγνώριση υπο-ομάδων σε δικτυακές κοινότητες (Zeini, S., Gohnert, T., Hoppe, U., & Krempel, L., 2012), αλλά και μοτίβα που δημιουργεί η ροή ιδεών και οι μαθησιακοί μηχανισμοί κατά την εξέλιξη μίας υπολογιστικά υποστηριζόμενης εκπαιδευτικής δραστηριότητας (Halatchliyski, I., Hecking, T., Göhnert, T., & Hoppe, H. U., 2013). Σε αυτά τα πλαίσια έχει προταθεί και η χρήση γράφων και τεχνικών SNA ανάλυσης για την αποτύπωση της συνοχής της επικοινωνίας και γενικότερα της πρακτικής που ακολουθούν ομάδες που συνεργάζονται από απόσταση (Reffay, C. & Chanier, T., 2003). Μεγάλο κομμάτι των αυτόματων και αυτοματοποιημένων μεθόδων ανάλυσης της συνεργασίας καταλαμβάνουν οι τεχνικές που βασίζονται στην κωδικοποίηση των ενεργειών των χρηστών και εν συνεχεία στον υπολογισμό μετρικών δραστηριότητας (coding and counting), συνήθως επιχειρώντας τον συνδυασμό τεχνικών ανάλυσης της 25

36 Αλληλεπίδρασης (Interaction Analysis) και ανάλυσης των αρχείων καταγραφής (Logfile Analysis). Η πιο απλή, από άποψη πολυπλοκότητας της διαδικασίας, αλλά και με μικρότερο κόστος, προσέγγιση είναι η χρήση μετρικών δραστηριότητας, δηλαδή μετρικές οι οποίες απεικονίζουν τον όγκο, τον ρυθμό ή άλλα χαρακτηριστικά της συνεργατικής δραστηριότητας. Τέτοιες μετρικές είναι δυνατόν να συνθέτονται από ενέργειες που έχουν κατηγοριοποιηθεί και ονομαστεί σύμφωνα με κάποια σχήματα κωδικοποίησης (coding schemes). Συνήθως αυτές οι μετρικές έχει αποδειχθεί ή υπάρχουν σημαντικές ενδείξεις (ακολουθώντας διάφορους ερευνητικούς σχεδιασμούς πχ. πειράματα, εμπειρική αξιολόγηση, ποιοτική έρευνα κλπ) ότι συσχετίζονται με την ποιότητα της συνεργασίας ή/και αποτυπώνουν συνεργατικές διαστάσεις και χαρακτηριστικά. Αυτές οι προσεγγίσεις είναι οδηγούμενες από τα δεδομένα (data-driven) και από τη βάση προς τα πάνω (bottom up) εννοώντας ότι αφενός είναι εξαρτώμενες και «υπαγορεύονται» από τον τύπο των δεδομένων που έχουν στη διάθεσή τους οι ερευνητές και αφετέρου ο ορισμός των μετρικών και η επεξεργασία των δεδομένων γίνεται με σκοπό να σχηματιστεί μία αντίληψη ή μία θέση χωρίς να βασίζεται όμως εξ αρχής σε κάποιο θεωρητικό πλαίσιο. Συνήθης είναι η χρήση μετρικών όπως ο αριθμός των μηνυμάτων ή ο μέσος όρος των λέξεων στα μηνύματα που ανταλλάσσουν οι εκπαιδευόμενοι κατά τη διάρκεια συνεργατικών, εκπαιδευτικών δραστηριοτήτων, για την αποτίμηση της συνεργατικής πρακτικής (Benbunan-Fich, R. & Hiltz, S. R., 1999; Harasim, L., 1993). Αντίστοιχες μετρικές δραστηριότητας ή παρόμοιες, όπως για παράδειγμα μετρικές που εκφράζουν ρυθμό ή συμμετρία της δραστηριότητας σε κοινόχρηστο χώρο εργασίας, έχουν μελετηθεί για την συσχέτισή τους με την ποιότητα της συνεργασίας και την ποιότητα συγκεκριμένων συνεργατικών διαστάσεων, όπως αυτές έχουν αποτιμηθεί από έμπειρους αξιολογητές (Kahrimanis, G., Chounta, I. A., & Avouris, N., 2010). Η χρήση τους έχει προταθεί και για την δημιουργία μοντέλων παλινδρόμησης με σκοπό την αυτοματοποιημένη αξιολόγηση συνεργατικών δραστηριοτήτων (Partial Least Square Regression, PLSR) (Kahrimanis, G., 2010) αλλά και σε εφαρμογές που παρακολουθούν την εξέλιξη της συνεργατικής δραστηριότητας, οπτικοποιώντας στατιστικά δραστηριότητας για την υποστήριξη του έργου του καθηγητή (Voyiatzaki, E. & Avouris, N., 2014). Αντίστοιχα έχουν προταθεί και μέθοδοι για την αυτοματοποίηση του έργου της κωδικοποίησης βασιζόμενες σε τεχνικές τεχνητής νοημοσύνης, ώστε να μην είναι απαραίτητη η ύπαρξη ειδικού αναλυτή (Erkens, G. & Janssen, J., 2008; Rosé, C. et al., 2008). Ανάλογα με το μαθησιακό αντικείμενο, οι μετρικές δραστηριότητας διαφοροποιούνται αντίστοιχα. Μετρικές δραστηριότητας που προέρχονται από την θεωρία γράφων, όπως για παράδειγμα ο αριθμός των κόμβων και των άκρων (nodes and edges) ή της πυκνότητας (density) χρησιμοποιούνται για την αυτόματη αξιολόγηση συνεργατικών 26

37 δραστηριοτήτων που έχουν ως στόχο την κατασκευή εννοιολογικών χαρτών (concept maps) (Hoppe, H. U., Engler, J., & Weinbrenner, S., 2012). Αντίστοιχο παράδειγμα αποτελούν οι συνεργατικές εφαρμογές που προσφέρουν κοινόχρηστο χώρο εργασίας για σχεδιασμό διαγραμματικών αναπαραστάσεων, εκπαιδευτικά παιχνίδια συγκεκριμένου τύπου όπως τα παζλ (jigsaw puzzles). Σε τέτοιου τύπου συνεργατικές δραστηριότητες ιδιαίτερη σημασία έχει ο τρόπος που κινούνται και εργάζονται οι εκπαιδευόμενοι στον εικονικό, κοινόχρηστο χώρο. Κατά συνέπεια ανάλογες μετρικές δραστηριότητας έχουν προταθεί για την περιγραφή και αξιολόγηση της χωρικής τοπικότητας (spatial locality), δηλαδή πόσο κοντά μεταξύ τους στον χώρο εντοπίζονται οι ενέργειες των συνεργαζόμενων μερών (Avouris, N., Margaritis, M., & Komis, V., 2004; Schümmer, T., Strijbos, J. W., & Berkel, T., 2005). Οι Bratitsis et.al (Bratitsis, T. et al., 2008) ανέπτυξαν και πρότειναν τη χρήση μίας ομάδας δεικτών για την ανάλυση της αλληλεπίδρασης προκειμένου να υποστηρίξουν τις ανάγκες των επιστημονικών δικτύων και των κοινοτήτων πρακτικής (κοινότητες ανθρώπων που μοιράζονται το ίδιο ενδιαφέρον ή επάγγελμα και χρησιμοποιούν τον υπολογιστή για να έρχονται σε επαφή, να εκπαιδεύονται και να αλληλεπιδρούν, communities of practice). Οι συνεργατικές δραστηριότητες που μελετήθηκαν λαμβάνουν χώρα μέσω ιστοσελίδας η οποία ανακατευθύνει τους εκπαιδευόμενους είτε σε συγκεκριμένα συνεργατικά εργαλεία που καλούνται να χρησιμοποιήσουν είτε σε διάφορες πηγές. Οι δείκτες που αναπτύχθηκαν χωρίζονται σε τέσσερις κύριες κατηγορίες και αφορούν α. σε γενικούς δείκτες επισκεψιμότητας της εφαρμογής, β. στην επισκεψιμότητα συγκεκριμένων πηγών που έχουν οι εκάστοτε εκπαιδευόμενοι στην διάθεσή τους, γ. στον τρόπο διαχείρισης των πηγών από τους εκπαιδευόμενους, και δ. στην συμπεριφορά των εκπαιδευομένων και στα στατιστικά στοιχεία κίνησής τους. Οι δείκτες αυτοί υπολογίζονται κάνοντας χρήση της πληροφορίας που βρίσκεται στα αρχεία καταγραφής και παρέχεται στα συνεργαζόμενα μέρη τόσο σε γραπτή μορφή όσο και σε γραφήματα με στόχο να υποστηριχθεί η συνεργατική πρακτική τους. Εξίσου σημαντικό ρόλο στην ανάλυση των συνεργατικών δραστηριοτήτων που καλούνται να λάβουν υπόψη τους τα προτεινόμενα μεθοδολογικά πλαίσια είναι και οι συσκευές που υποστηρίζουν την εκάστοτε δραστηριότητα, π.χ. υπολογιστές, ταμπλέτες, κινητά τηλέφωνα, διαδραστικά τραπέζια (tabletops), διαδραστικοί πίνακες κλπ, όπου επίσης εφαρμόζονται αντίστοιχες μετρικές δραστηριότητας οι οποίες προέρχονται από ανάλυση των αρχείων καταγραφής (Buisine, S., Besacier, G., Aoussat, A., & Vernier, F., 2012; Chounta, I.-A., Sintoris, C., Masoura, M., Yiannoutsou, N., & Avouris, N., 2013; Marshall, P., Hornecker, E., Morris, R., Dalton, S., & Rogers, Y., 2008). Για την ανάπτυξη και χρήση τέτοιων μεθόδων αλλά και εργαλείων για την υποστήριξή τους όλες οι απαιτούμενες πληροφορίες είναι διαθέσιμες σε αρχεία καταγραφής που ούτως ή άλλως διατηρούν οι εφαρμογές που υποστηρίζουν συνεργατικές δραστηριότητες και μπορούν να ανασυρθούν εύκολα και χωρίς υπολογιστικό κόστος 27

38 ενώ ταυτόχρονα κάνουν εφικτή την αυτοματοποίηση της ανάλυσης. Από την άλλη, οι μετρικές χαμηλού επιπέδου (όπως για παράδειγμα αυτές που αποτυπώνουν πλήθος ή συχνότητα εμφάνισης ενός γεγονότος) και δεν εξετάζουν το περιεχόμενο που πιθανόν να εμπεριέχει ένα τέτοιο γεγονός (για παράδειγμα τα μηνύματα κειμένου που ανταλλάσουν οι εκπαιδευόμενοι) δεν εκμεταλλεύονται όλη την πληροφορία που παρέχεται από τα αρχεία καταγραφής και που είναι απαραίτητη για την σωστή αξιολόγηση μίας τόσο σύνθετης ανθρώπινης δραστηριότητας όπως η συνεργασία (Stahl, G., 2002b). Επιπλέον οι μετρικές δραστηριότητας ενδέχεται να «μεταφράζονται» με πολλαπλούς τρόπους (παραδείγματος χάριν μία έντονη διαλογική δραστηριότητα μπορεί να υποδηλώνει καλή επικοινωνία μεταξύ των εκπαιδευομένων ή έντονες διαφωνίες και ανικανότητα να συνεργαστούν) και έτσι τελικά η ανάλυση να οδηγείται σε λανθασμένα συμπεράσματα (Spada, H. et al., 2005). Προκειμένου να αντιμετωπιστεί αυτό το πρόβλημα, έχει προταθεί η χρήση ιδιαίτερου τύπου αρχείων καταγραφής το οποίο να λαμβάνει υπόψη το πλαίσιο μέσα στο οποίο λαμβάνει χώρα η συνεργασία. Επιπλέον, είναι δυνατή η καταγραφή ουσιωδών λεπτομερειών που στα συμβατικά αρχεία καταγραφής δεν αποθηκεύεται, όπως για παράδειγμα ο χρόνος ανάγνωσης ενός μηνύματος. Κατά συνέπεια η πληροφορία που παρέχεται στον αναλυτή είναι πλουσιότερη και επιτρέπει την ανάλυση της αλληλεπίδρασης και την ανάλυση διαλόγου ανάλογα με το συνεργατικό σενάριο (Goggins, S., Laffey, J., & Amelung, C., 2011). Από μία άλλη σκοπιά, οι ερευνητές για να εμπλουτίσουν την χρησιμοποιούμενη πληροφορία και να αυξήσουν την απόδοση και ακρίβεια των αναλυτικών μεθόδων, προτείνουν συνδυαστική χρήση πολλών και διαφορετικών μεταξύ τους μεθοδολογιών, όπως ανάλυση διαλόγου και ανάλυση αρχείων καταγραφής, εισάγοντας στοιχεία ποιοτικής ανάλυσης σε ποσοτικά μεθοδολογικά πλαίσια. Κάτι τέτοιο αν και έχει επιπτώσεις στο κόστος κυρίως εφαρμογής αυτών των μεθόδων (απαιτείται η ύπαρξη έμπειρου αναλυτή/αξιολογητή σε κάποια φάση της διαδικασίας, μεγαλύτερη διάρκεια ανάλυσης, απαγορευτική η αυτοματοποίηση της διαδικασίας) κρίνεται συνήθως απαραίτητο αν είναι επιθυμητή η μεγάλη αξιοπιστία της μεθόδου (Kahrimanis, G., 2010). Οι Lipponen et.al. έκαναν χρήση βασικών μετρικών δραστηριότητας όπως αριθμό μηνυμάτων κειμένου σε συνδυασμό με μετρικές για την περιγραφή της πυκνότητας (density) και της συγκέντρωσης (centrality) της συνεργατικής δραστηριότητας για την αποτίμηση της ποιότητας της συνεργασίας με χρήση πολυδιάστατων τεχνικών κλιμακοποίησης (multidimensional scaling, MDS) (Lipponen, L., Rahikainen, M., Lallimo, J., & Hakkarainen, K., 2003). Παρόμοια προσέγγιση ακολούθησαν οι Martinez et. al. οι οποίοι προτείνουν την χρήση ενός μεθοδολογικού πλαισίου ανάλυσης και αξιολόγησης εκπαιδευτικών, συνεργατικών δραστηριοτήτων που κάνει συνδυαστική χρήση δεδομένων διαφορετικού τύπου που προέρχονται από πολλαπλές πηγές (ερωτηματολόγια, αρχεία καταγραφής κλπ). Οι συγγραφείς προτείνουν την χρήση μετρικών δραστηριότητας όπως θεμελιώνονται στην ανάλυση κοινωνικών δικτύων, δηλαδή μετρικές πυκνότητας 28

39 και συγκέντρωσης σε συνδυασμό με πολυδιάστατες τεχνικές κλιμακοποίησης (multidimensional scaling, MDS) (Martınez, A., Dimitriadis, Y., Rubia, B., Gómez, E., & De La Fuente, P., 2003). Για την κοινή αναπαράσταση των διαφορετικών πηγών και τύπων δεδομένων προτείνεται η χρήση XML (Martinez, A., Dimitriadis, Y., & De La Fuente, P., 2003). Προκειμένου να εκμεταλλευτούν την εξελικτική φύση μίας διαδικασίας συνεργατικής επίλυσης προβλήματος όπως εννοείται η εξέλιξη στο πεδίο της βιολογίας, οι Kapur et.al μελέτησαν τη χρήση νέων μετρικών και μεθόδων που προέρχονται από το πεδίο της γενετικής εξέλιξης για την μελέτη μίας συνεργατικής δραστηριότητας (Kapur, M., Voiklis, J., & Kinzer, C. K., 2005). Η εξόρυξη γνώσης από βάσεις δεδομένων (Knowledge Discovery in Databases, KDD) έχει επίσης χρησιμοποιηθεί στο πεδίο της ΥΥΣΜ για την μοντελοποίηση της μαθησιακής διαδικασίας και των εκπαιδευομένων (Hämäläinen, W., Suhonen, J., Sutinen, E., & Toivonen, H., 2004; Romero, C. & Ventura, S., 2007; Tang, T. Y. & McCalla, G., 2002). Η χρήση προκαθορισμένων κανόνων και οδηγιών που απαρτίζουν τα σχήματα κωδικοποίησης (coding schemes) για τον χαρακτηρισμό και τον χωρισμό ανά κατηγορία των ενεργειών και των αλληλεπιδράσεων μεταξύ των εκπαιδευομένων και τα σχήματα αξιολόγησης (rating scheme) για την αξιολόγηση της συνεργατικής δραστηριότητας ανά συνεργατική διάσταση, είναι αρκετά διαδεδομένοι τρόποι μελέτης και ανάλυσης στο πεδίο. Πολλές φορές δε, συναντάται η ταυτόχρονη χρήση τους ή η ενσωμάτωσή τους σε ένα σχήμα ή μεθοδολογικό πλαίσιο. Η χρήση σχήματος αξιολόγησης συναντάται σε μελέτες που έχουν ως αντικείμενο την αξιολόγηση της συνεργασίας ως προς την ποιότητα της. Η συνεργασία - και κατά συνέπεια η συνεργατική δραστηριότητα αναλύεται σε τέσσερις βασικούς άξονες: την επικοινωνία, την από κοινού επεξεργασία πληροφορίας, τον συντονισμό και την διαπροσωπική σχέση. Ανάλογα με το συνεργατικό πλαίσιο, τα μέσα που διαμεσολαβούν τη συνεργασία και το είδος της δραστηριότητας, γίνεται περαιτέρω ανάλυση των συνεργατικών διαστάσεων για την πληρέστερη και πιο επαρκή αξιολόγηση. Για την αξιολόγηση των συνεργατικών συνεδριών απαιτείται η ύπαρξη έμπειρων αξιολογητών οι οποίοι έχουν εκπαιδευθεί κατάλληλα και υποστηρίζονται από εγχειρίδιο οδηγιών (Kahrimanis, G. et al., 2009; Meier, A., Spada, H., & Rummel, N., 2007). Στο ίδιο πλαίσιο προτείνεται και η χρήση πολυδιάστατων τεχνικών κλιμακοποίησης (MDS) για την αναζήτηση σχέσεων μεταξύ των συνεργατικών διαστάσεων (Kahrimanis, G., Chounta, I.-A., & Avouris, N., 2012; Kahrimanis, G., Chounta, I. A., & Avouris, N., 2011). Αντίστοιχα έχει προταθεί μία πολυδιάστατη προσέγγιση με μικτή χρήση ανάλυσης διαλόγου και σχήματος κωδικοποίησης για την αποτίμηση της κατασκευής κοινής γνώσης μέσω της επιχειρηματολογίας που αναπτύσσεται κατά τη διάρκεια μίας συνεργατικής δραστηριότητας. Η ανάλυση επιχειρείται σε τέσσερις διαστάσεις: την συμμετοχή, την επιστημική (γνωστική), την επιχειρηματολογία και την κοινωνική. Τα δεδομένα προς ανάλυση χωρίζονται σε επεισόδια και έμπειροι αξιολογητές τα κωδικοποιούν και τα κατατάσσουν σε 29

40 κατηγορίες σύμφωνα με συγκεκριμένο σχήμα κωδικοποίησης. Στη συνέχεια επιχειρείται η ποσοτική ανάλυση των αποτελεσμάτων της κωδικοποίησης κάνοντας χρήση μετρικών όπως ο αριθμός των λέξεων που χρησιμοποιεί ο κάθε χρήστης, το ποσοστό συμμετοχής και οι τυπικές αποκλίσεις των μετρικών της ατομικής δραστηριότητας του εκπαιδευομένου (Weinberger, A. & Fischer, F., 2006). Μία συνήθης πρακτική είναι η μοντελοποίηση της αναλυτικής διαδικασίας ως ακολουθία βημάτων και ξεχωριστών σταδίων που στη συνέχεια αποτυπώνεται και υλοποιείται από το εκάστοτε μεθοδολογικό πλαίσιο. Το μοντέλο CAViCoLA προτείνει την υιοθέτηση τυπικών μεθόδων ανάλυσης της αλληλεπίδρασης με υπολογιστικούς τρόπους. Για τον σκοπό αυτό περιγράφει την δραστηριότητα της ανάλυσης ως μία διαδικασία διακριτών φάσεων όπως η καταγραφή των δεδομένων, ο διαχωρισμός και καταμερισμός τους και η επισημείωση. Ακολουθούν οι φάσεις της ανάλυσης των δεδομένων, την οπτικοποίησής τους και τέλος της κατανόησης, ερμηνείας και εξαγωγής συμπερασμάτων (Harrer, A. et al., 2007). Με το ίδιο σκεπτικό υλοποιήθηκε και το εργαλείο ανάλυσης αλληλεπιδράσεων Tatiana. Ο σχεδιασμός του εργαλείου βασίστηκε σε ένα μοντέλο παρόμοιο του CAViCoLA το οποίο όμως υλοποιεί και τοποθετεί την ανάλυση των δεδομένων σε επαναληπτικό βρόχο που δίνει τη δυνατότητα εύκολων διορθώσεων και που τερματίζει ο ερευνητής κατ επιλογή. Το εργαλείο το ίδιο υποστηρίζει τη χρήση δεδομένων διαφορετικών τύπων και από πολλαπλές πηγές εισάγοντας την έννοια του «τεχνήματος» ή «αντικειμένου» (artifact) και το οποίο ουσιαστικά είναι το σώμα της ανάλυσης, σε μία μορφή όμως που είναι πιο εύκολα κατανοητή και επεξεργάσιμη (Dyke, G., Lund, K., & Girardot, J.-J., 2009). Άλλα μεθοδολογικά πλαίσια μελετούν και αναλύουν την συνεργασία προκειμένου να παρέχουν πληροφόρηση και υποστήριξη είτε στους εκπαιδευόμενους είτε στους συντονιστές/εκπαιδευτές. Για να επιτευχθεί αυτός ο στόχος, η διαδικασία δεν περιορίζεται στην μελέτη των αλληλεπιδράσεων μεταξύ των χρηστών και τον υπολογισμό συγκεκριμένων δεικτών αλλά η παρούσα, προς αξιολόγηση κατάσταση, συγκρίνεται με μία ιδανική και τα αποτελέσματα της σύγκρισης παρουσιάζονται είτε στον εκπαιδευτή, είτε στον εκπαιδευόμενο (ή και στους δύο). Σε περιπτώσεις όπου η συνεργασία υποστηρίζεται μόνο μέσω γραπτού λόγου προτείνεται η χρήση αλγορίθμων επεξεργασίας φυσικής γλώσσας για την παροχή ανάδρασης σε συνεργαζόμενες ομάδες (Natural Language Processing, NLP) και τεχνικών ανάλυσης κοινωνικών δικτύων (Rebedea, T. et al., 2010). Για πιο πολύπλοκες δραστηριότητες όμως, η περιγραφή της ιδεατής ή επιθυμητής δραστηριότητας γίνεται σε ορισμένες περιπτώσεις εισάγοντας την ιδέα του «ρόλου» κάθε χρήστη. Η έννοια «ρόλος» αναφέρεται στα ιδιαίτερα χαρακτηριστικά γνωρίσματα που αναμένεται να έχει ή να επιδεικνύει ένας εκπαιδευόμενος που συμμετέχει σε μία δραστηριότητα και τα οποία ενδέχεται να τον διαφοροποιούν από τους άλλους. Έχοντας ως βάση αυτό το θεωρητικό πλαίσιο, οι ανάγκες κάθε ρόλου δύναται να περιγραφούν, να οριοθετηθούν 30

41 και να αντιστοιχιστούν σε συγκεκριμένες τιμές δεικτών και μετρικών, αναγνωρίζοντας έτσι τις περιπτώσεις όπου ένας χρήστης αποκλίνει από την τυπική συμπεριφορά του ρόλου του και με ποιον τρόπο συμβαίνει αυτό. Έτσι δίνεται η δυνατότητα στον εκπαιδευτή να επέμβει αλλά και στον ίδιο τον εκπαιδευόμενο να διορθώσει την πρακτική του (Marcos-García, J. A. et al., 2009; Marcos-Garcıa, J. A., Martınez-Monés, A., Dimitriadis, Y., & Rodrıguez-Triana, M. J., 2008). Μία άλλη προσέγγιση προτείνει την χρήση εργαλείων για την γραφική αναπαραγωγή της δραστηριότητας με χρήση μετρικών αλληλεπίδρασης (μετρικές διαλόγου, συμμετρίας κτλ) και την παρουσίαση της επιθυμητής ή βέλτιστης συνεργατικής πρακτικής στους εκπαιδευομένους κατά την εξέλιξη της διαδικασίας (Jermann, P. & Dillenbourg, P., 2008; Soller, A., Martínez, A., Jermann, P., & Muehlenbrock, M., 2005). Με αυτόν τον τρόπο οι ερευνητές υποστηρίζουν πως θα βελτιωθεί η απόδοση των εκπαιδευομένων και οι πρακτικές που ακολουθούν μέσω αυτό-διόρθωσης. Με την ίδια λογική της αυτό-διόρθωσης έχει προταθεί και η χρήση αλγορίθμων μηχανικής μάθησης και δυναμικής αναγνώρισης μοτίβων για την ανάλυση της αλληλεπίδρασης και την παροχή ανάδρασης για την υποστήριξη των χρηστών. Και σε αυτή την περίπτωση το μοντέλο μηχανικής μάθησης βασίζεται στον υπολογισμό δεικτών δραστηριότητας όπως η ισορροπία μεταξύ της δραστηριότητας σε διαφορετικούς κοινόχρηστους χώρους, δείκτες συμμετοχής, μετρικές διαλόγου αλλά και ανάλυσης ακολουθίας μηνυμάτων (Lonchamp, J., 2008). Κατά καιρούς έχει ασκηθεί έντονη κριτική στις μονοδιάστατες, μεθοδολογικές προσεγγίσεις. Η ποιοτική ανάλυση πλεονεκτεί καθώς ο ερευνητής έχει την ευχέρεια να κρίνει μία κατάσταση διεξοδικά, συναρτήσει του ευρύτερου εκπαιδευτικού και συνεργατικού πλαισίου και κάνοντας χρήση προηγούμενης εμπειρίας και γνώσεων, όμως είναι δύσκολος ο προσδιορισμός μεταξύ μίας τυπικής συμπεριφοράς και μίας ασυνήθιστης η οποία μπορεί να οφείλεται σε διαφορετικές κουλτούρες ή συνήθειες που χαρακτηρίζουν το άτομο ή μία ομάδα. Από την άλλη, οι ποσοτικές μέθοδοι δίνουν τα εργαλεία για τη διάκριση και ποσοτική αποτύπωση τέτοιων διαφορών αλλά και για την αυτοματοποίηση της ίδιας της διαδικασίας (Suthers, D. D., Lund, K., Rosé, C. P., & Teplovs, C., 2013). Για να «αλληλο-καλυφθούν» οι αδυναμίες των δύο ερευνητικών μεθοδολογιών (ποιοτική και ποσοτική ανάλυση) αλλά και για την βελτιστοποίηση των αποτελεσμάτων της αναλυτικής διαδικασίας, συχνά έχει επιχειρηθεί η ταυτόχρονη χρήση ποσοτικών και ποιοτικών προσεγγίσεων (Cohen, L., Manion, L., & Morrison, K., 2011; Tashakkori, A. & Teddlie, C., 2003). Όμως ο μεγάλος όγκος και χρόνος εργασίας που απαιτείται τις κάνει ασύμφορες συγκριτικά με τα οφέλη που αποκομίζονται (Johnson, R. B. & Onwuegbuzie, A. J., 2004). Με αυτό το σκεπτικό έχει προταθεί η συνδυαστική χρήση πολλών διαφορετικών μεθοδολογιών στην ίδια αναλυτική εργασία με σκοπό την ενσωμάτωση των χαρακτηριστικών διαφόρων ερευνητικών κλάδων και προσεγγίσεων και την συμβολή τους σε ένα ολοκληρωμένο, παραγωγικό αποτέλεσμα (productive multivocality) (Suthers, D. D. et al., 2013). 31

42 2.2.4 Η ΔΙΑΣΤΑΣΗ ΤΟΥ ΧΡΟΝΟΥ ΣΤΗΝ ΑΝΑΛΥΣΗ ΣΥΝΕΡΓΑΤΙΚΩΝ ΔΡΑΣΤΗΡΙΟΤΗΤΩΝ Η έννοια του χρόνου και της διάρκειας αποτελούν βασικό χαρακτηριστικό των συνεργατικών δραστηριοτήτων, παράγοντα που επηρεάζει τις στρατηγικές και πρακτικές που ακολουθούν οι χρήστες κατά την συνεργασία τους και άξονα των μεθοδολογιών ανάλυσης της αλληλεπίδρασης και της συνεργασίας. Ο χρόνος θεωρείται ένα πολύ σημαντικό στοιχείο που πρέπει να λαμβάνεται υπόψη για την κατανόηση και ανάλυση των μαθησιακών μηχανισμών, ακόμα και στα παραδοσιακά εκπαιδευτικά σενάρια όπου το μάθημα λαμβάνει χώρα μέσα σε μία τάξη ενώ η μελέτη του ήταν πάντα ιδιαίτερης σημασίας. Το μοντέλο του JB Carroll για την σχολική εκπαίδευση χρησιμοποιεί χρονικές μεταβλητές και εκφράζει τη μάθηση συναρτήσει μονάδων του χρόνου. Η έννοια της «επάρκειας» εξηγείται ως «ο χρόνος που χρειάζεται ένας μαθητής για να μάθει κάτι (σύμφωνα με κάποιο κριτήριο)» και ως «επιμονή» ορίζεται «ο χρόνος που διαθέτει ή καταναλώνει ένας μαθητής σε κάποια μαθησιακή διαδικασία» (Carroll, J. B., 1984). Κατά τον B.F Skinner, ένας εκπαιδευόμενος μαθαίνει όταν μία ενέργειά του ακολουθείται από άλλες οι οποίες δρουν στην αρχική ενέργεια, όπου μεγάλη σημασία δίνεται στην καταλληλότητα της χρονικής στιγμής στην οποία εκδηλώνεται μία συγκεκριμένη ενέργεια (Skinner, B. F., 1968). Δύο από τις σημαντικότερες θεωρίες περί μάθησης και ανάπτυξης, οι θεωρίες κατά Piaget και Vygotsky στις οποίες βασίζονται αρκετά θεωρητικά πλαίσια στο πεδίο της ΥΥΣΜ (Piaget, J., Elkind, D., & Tenzer, A., 1967; Valsiner, J. & Van der Veer, R., 2000; Vygotskiĭ, L. S., 1997), προσεγγίζουν και εξετάζουν τα υπό μελέτη φαινόμενα όχι μόνο «φαινοτυπικά», δηλαδή έτσι όπως παρουσιάζονται σε ένα συγκεκριμένο χρονικό στιγμιότυπο, αλλά επίσης κατά την εξέλιξή τους. Η πλήρης κατανόηση ενός φαινομένου είναι δυνατή μόνο αν γίνει ξεκάθαρη η εξέλιξή του από μία παρελθοντική κατάσταση στο παρόν και το που μπορεί να οδηγηθεί στο μέλλον (Clarà, M., 2012). Οι περισσότερες μελέτες επικεντρώνονται στην μελέτη του χρόνου ως προς την σχέση του με τους μαθησιακούς μηχανισμούς και την μικρο-ανάλυση συνεργατικών επεισοδίων με σκοπό την εκτίμηση του αποτελέσματος μίας δραστηριότητας. Επιπλέον μελετούν τους τρόπους με τους οποίους μπορεί να ενσωματωθεί και να αποτυπωθεί η σημασία του στα αναλυτικά μοντέλα και στην οπτικοποίηση των συνεργατικών δραστηριοτήτων. Πολλές μέθοδοι χρησιμοποιούν δείκτες και μετρικές χρόνου, όπως για παράδειγμα διάρκεια ή ρυθμό, ως κριτήριο επιτυχίας συνεργατικών πρακτικών. Η έννοια της τοπικής εγγύτητας (temporal proximity) έχει προταθεί για την εκτίμηση της χρονικής σχετικότητας μεταξύ δύο ενεργειών (Schümmer, T. et al., 2005; Suthers, D. D. et al., 2010). Δύο ενέργειες που τοποθετούνται χρονικά «κοντά», δηλαδή ο χρόνος που έχει μεσολαβήσει μεταξύ τους είναι μικρός, είναι πιθανότερο να συνδέονται μεταξύ τους με 32

43 μία σχέση αιτίας-αποτελέσματος και δράσης-αντίδρασης. Καθώς τέτοιου είδους αιτιατές σχέσεις θεωρούνται το βασικό δομικό συστατικό των μηχανισμών που οδηγούν στην κατασκευή κοινής γνώσης και συνεπώς, επιτυχημένων συνεργατικών πρακτικών, η ανίχνευσή τους είναι σημαντική κατά τη διαδικασία της ανάλυσης (Suthers, D. D. et al., 2010). Άλλες αναλυτικές μέθοδοι, πέρα από την έννοια της χρονικής εγγύτητας, εισάγουν ως μετρική τη διάρκεια έλλειψης δραστηριότητας για την αποτίμηση της επικοινωνίας και του συντονισμού ως συνεργατικές διαστάσεις στην περίπτωση σύγχρονων συνεργατικών δραστηριοτήτων (Kahrimanis, G., 2010; Kahrimanis, G. et al., 2010). Η ενσωμάτωση του χρόνου ως μετρική απόστασης μεταξύ φαινομένων στην αναλυτική διαδικασία και η χρήση μετρικών που αποτυπώνουν τον ρυθμό με τον οποίο εξελίσσεται μία συνεργατική δραστηριότητα έχει αποτελέσει την κεντρική ιδέα και άλλων μελετών και πλαισίων που επιχειρούν με αυτό τον τρόπο να εξηγήσουν τη σχέση μεταξύ χρόνου και μάθησης (Clarà, M., 2012). Με την ίδια λογική, ο χρόνος ορίζεται ως ένας από τους κύριους άξονες ανάλυσης της συνεργασίας (Pozzi, F. & Persico, D., 2013) και της αλληλεπίδρασης μεταξύ των χρηστών. Η μεθοδολογία της ανάλυσης της αλληλεπίδρασης (Interaction Analysis) στηρίζεται κατά κύριο λόγο τόσο στην χρονική ακολουθία (Bamberger, J. & Schön, D. A., 1983) όσο και στον ρυθμό εμφάνισης των γεγονότων ή εξέλιξης μίας δραστηριότητας (Erickson, F., 1992), σε χρονικά ορόσημα μίας εργασίας όπως η αρχή και η λήξη της ή άλλες δομές που σηματοδοτούν χαρακτηριστικές αλλαγές της φύσης της αλληλεπίδρασης (Kendon, A., 1992). Σύμφωνα με την θεωρία της αλληλεπίδρασης, η κατανομή της εργασίας στον χρόνο επηρεάζει τόσο την απόδοση των χρηστών όσο και το τελικό αποτέλεσμα (Jordan, B. & Henderson, A., 1995). Η σημασία του χρόνου αλλά και της χρονικής εξέλιξης μίας συνεργατικής δραστηριότητας είναι αδιαμφισβήτητα μεγάλης σημασίας και πρέπει να έχει πρωταρχικό ρόλο στην αναλυτική διαδικασία. Η πρόσβαση που έχουν οι ερευνητές σε δεδομένα μέσω των αρχείων καταγραφής, κάνει δυνατή την λεπτομερή εξέταση της αλληλεπίδρασης των χρηστών στον χρόνο. Παρόλα αυτά, η πλειοψηφία των μεθοδολογικών προσεγγίσεων δεν εκμεταλλεύεται την πληροφορία που αποτυπώνεται στον τρόπο που εξελίσσονται χρονικά οι συνεργατικές δραστηριότητες. Όπως έχει διατυπωθεί στη βιβλιογραφία, αρκετοί ερευνητές επισημαίνουν πως η έρευνα στο πεδίο υπολείπεται μεθοδολογικά μερικές φορές ως προς την ισχύ και εγκυρότητα με την οποία μελετώνται συγκεκριμένες παράμετροι, μεταξύ των άλλων και η διάσταση του χρόνου (De Wever, B., Schellens, T., Valcke, M., & Van Keer, H., 2006; Weinberger, A. & Fischer, F., 2006). Οι ποσοτικές μεθοδολογίες εξετάζουν την δραστηριότητα στο σύνολό της και με μαθηματικούς/στατιστικούς τρόπους που δεν εμβαθύνουν στην χρονική κατανομή. Οι ποιοτικές μέθοδοι, από την άλλη, που εξετάζουν αναλυτικά συνεργατικά στιγμιότυπα, δεν ακολουθούνται σε περιπτώσεις όπου η δραστηριότητα έχει μεγάλη χρονική διάρκεια. Για τον λόγο αυτό έχει επισημανθεί η ανάγκη για συστηματικότερη έρευνα στο πεδίο του χρόνου και με 33

44 μεθόδους που επιτρέπουν την αναπαράσταση των ενεργειών και αλληλεπιδράσεων ως χρονικές ακολουθίες (Kapur, M. et al., 2005; Mercer, N., 2008; Reimann, P., 2009) ΘΕΣΗ ΤΗΣ ΠΑΡΟΥΣΑΣ ΔΙΑΤΡΙΒΗΣ Η παρούσα διδακτορική διατριβή προτείνει και υλοποιεί μία αυτόματη μέθοδο ανάλυσης και αξιολόγησης συνεργατικών δραστηριοτήτων χρησιμοποιώντας ως κύριο άξονα της μεθόδου την ανάλυση στη διάσταση του χρόνου. Όπως έγινε φανερό από την έρευνα και μελέτη της βιβλιογραφίας στο πεδίο της ΥΥΣΜ, παρόλο που ο χρόνος αναγνωρίζεται ως βασικός άξονας για την ανάλυση της συνεργατικής δραστηριότητας, οι υπάρχουσες μεθοδολογικές προσεγγίσεις συχνά δεν εκμεταλλεύονται την χρονική και ακολουθιακή φύση της δραστηριότητας. Επιπλέον οι μαθηματικές και στατιστικές μέθοδοι που χρησιμοποιούνται συνήθως αντιμετωπίζουν τις δραστηριότητες στη συνολική τους διάρκεια χωρίς πρακτικά να υπολογίζουν την κατανομή και τις μεταβολές στον τρόπο που αλληλεπιδρούν οι χρήστες στον χρόνο, τον ρυθμό και τη ροή της εργασίας. Βασική προϋπόθεση είναι η χρήση της πλούσιας πληροφορίας που βρίσκεται αποθηκευμένη στα αρχεία καταγραφής των υπολογιστικών εφαρμογών που διαμεσολαβούν τις δραστηριότητες. Επιπλέον τα αποτελέσματα θα πρέπει να βασίζονται και να αντανακλούν τα εμπεριστατωμένα ευρήματα της ποιοτικής έρευνας του πεδίου. Η παρούσα έρευνα άπτεται αρκετών ερευνητικών ερωτημάτων της περιοχής: 1. Να προτείνει τρόπους αναπαράστασης και εργαλεία για την ανάλυση και αξιολόγηση της αλληλεπίδρασης που λαμβάνει χώρα στα πλαίσια συνεργατικών δραστηριοτήτων, 2. Να παρέχει τη δυνατότητα παρακολούθησης και αξιολόγησης συνεργατικών δραστηριοτήτων σε πραγματικό χρόνο αλλά και να εμβαθύνει στην κατανόηση του τρόπου που αλληλεπιδρούν οι χρήστες, 3. Να προτείνει ένα μεθοδολογικό πλαίσιο που θα αξιοποιεί την χρονική φύση και τον τρόπο που εξελίσσεται χρονικά μία συνεργατική δραστηριότητα, με τρόπο πρωτότυπο και με την υποστήριξη μαθηματικών μεθόδων και τεχνικών ευρέως διαδεδομένων σε άλλα ερευνητικά πεδία. Η πρωτοτυπία της μεθόδου έγκειται στο γεγονός ότι προτείνει τη χρήση χρονοσειρών για την αναπαράσταση της αλληλεπίδρασης των χρηστών και τεχνικών ανάλυσης χρονοσειρών σε συνδυασμό με μεθόδους μηχανικής μάθησης για την αξιολόγηση συνεργατικών δραστηριοτήτων. Ως χρονοσειρές ορίζονται οι ακολουθίες δεδομένων που καταγράφονται σε διαδοχικά, και συνήθως τακτά, χρονικά διαστήματα και οι οποίες περιγράφουν την εξέλιξη ενός φαινομένου ή μίας διαδικασίας στον χρόνο (Box, 34

45 G. E. P., Jenkins, G. M., & Reinsel, G. C., 2011; Chatfield, C., 2003). Οι χρονοσειρές αυτές μπορεί να αποτελούνται είτε από παρατηρήσεις μεμονωμένων μεγεθών είτε από αθροίσματα ενεργειών σε συγκεκριμένα χρονικά παράθυρα, ή ακόμη να ορίζονται ως διανύσματα περισσοτέρων από μία μετρικών. Η πλειοψηφία των φυσικών φαινομένων αλλά και των ανθρώπινων δραστηριοτήτων έχει ως εγγενές χαρακτηριστικό την ακολουθιακή εξέλιξή τους στον χρόνο. Χαρακτηριστικά παραδείγματα είναι οι ημερήσιες θερμοκρασίες που επικρατούν σε μία περιοχή, οι πωλήσεις ενός προϊόντος, ο ρυθμός που ανταλλάσουν μηνύματα δύο φίλοι μέσω ηλεκτρονικού ταχυδρομείου ή η κίνηση/επισκεψιμότητα που καταγράφεται σε μία ιστοσελίδα. Ο ρυθμός ή η περιοδικότητα εμφάνισης φαινομένων ή η τακτή επανάληψη κάποιας δραστηριότητας, οι ακολουθίες τυπικών, επαναλαμβανόμενων ενεργειών και ο τρόπος κατανομής μίας εργασίας ενδέχεται να περιέχουν σημαντική πληροφορία για τον αναλυτή, ενδεικτική μίας κατάστασης όπως π.χ έλλειψη προσοχής ή ενδιαφέροντος (Jordan, B. & Henderson, A., 1995). Η μελέτη της χρονικής οργάνωσης των ανθρώπινων δραστηριοτήτων έχει μακρά παράδοση στις κοινωνικές επιστήμες. Οι πρακτικές που ακολουθούν οι επαγγελματίες στην εργασία τους, οι ρυθμοί που υιοθετούν και η κατανομή εργασίας στο ωράριό τους έχει γίνει αντικείμενο έρευνας σε διάφορα επαγγελματικά περιβάλλοντα, όπως σε νοσοκομεία/κλινικές ((Zerubaval, E., 1985; Zerubavel, E., 1979), σε εταιρείες και οργανισμούς (Dubinskas, F. A., 1988), αλλά και ανθρωπολόγους που αναλύουν τις πολιτισμικές και κοινωνικές συνήθειες που διαμορφώνονται συναρτήσει εποχικών και άλλων φυσικών φαινομένων ((Bohannan, P., 1953; Fabian, J., 2002). Η χρήση χρονοσειρών έχει δοκιμαστεί ακόμα και για την παλμογράφηση της διαμόρφωσης της κοινής γνώμης στα Κοινωνικά Δίκτυα (Nguyen, L. T., Wu, P., Chan, W., Peng, W., & Zhang, Y., 2012). Πέρα όμως από τις κοινωνικές επιστήμες, η χρήση χρονοσειρών συναντάται σε ένα ευρύ φάσμα ερευνητικών περιοχών όπως η μετεωρολογία, οι οικονομικές επιστήμες, η βιολογία, η αστρονομία, η ρομποτική κ.ά. Το γεγονός αυτό οδηγεί στην συνεχή ανάπτυξη νέων μεθόδων και εργαλείων για την υποστήριξη της ανάλυσης χρονοσειρών, τα οποία μπορούν να χρησιμοποιηθούν σε διαφορετικά πεδία ή για διαφορετικούς σκοπούς. Οι χρονοσειρές συνήθως χρησιμοποιούνται για : Α. Την αναπαράσταση και απεικόνιση φαινομένων που εξελίσσονται στον χρόνο Β. Την ανάλυση και επεξήγηση φαινομένων και διαδικασιών που έχουν ως κύριο χαρακτηριστικό την μεταβολή τους στον χρόνο Γ. Για την πρόβλεψη μελλοντικών καταστάσεων από παρελθούσες, καταγεγραμμένες καταστάσεις (Chatfield, C., 2003). 35

46 Δημοφιλείς μεθοδολογίες που έχουν προταθεί και χρησιμοποιούνται ευρέως για την ανάλυση των χρονοσειρών είναι τα μοντέλα Hidden Markov (HMM), ARIMA και VAR, τα οποία χρησιμοποιούνται κυρίως για να μοντελοποιήσουν τη συμπεριφορά φαινομένων ή παρατηρούμενων συμπεριφορών και κυρίως με απώτερο σκοπό την πρόβλεψη. Εξίσου σημαντικό μέρος της βιβλιογραφίας καταλαμβάνουν οι μέθοδοι και οι μετρικές για την σύγκριση, ταξινόμηση και ομαδοποίηση χρονοσειρών όπως η Δυναμική Χρονική Στρέβλωση (Dynamic Time Warping, DTW)(Chao, S., Wong, F., Lam, H. L., & Vai, M. I., 2011; Giorgino, T., 2009), η μετρική MSM (Move-Split-Merge) (Stefan, A., Athitsos, V., & Das, G., 2012), η Μέγιστη Κοινή Ακολουθία (Longest Common Subsequence, LCSS) (Vlachos, M., Hadjieleftheriou, M., Gunopulos, D., & Keogh, E., 2003; Vlachos, M., Kollios, G., & Gunopulos, D., 2002). Η χρήση τέτοιων μεθόδων επιτρέπει τη δημιουργία βάσεων δεδομένων που αποτελούνται από χρονοσειρές και οι οποίες μπορούν να λειτουργήσουν ως αποθετήρια «γνώσης» και «εμπειρίας», ειδικά όταν οι χρονοσειρές συνοδεύονται και από άλλου είδους πληροφορία, όπως ποιοτικές αξιολογήσεις, παρατηρήσεις επί των επιπτώσεων του καταγεγραμμένου περιστατικού κ.ά. (Stefan, A. et al., 2012). Χαρακτηριστικό παράδειγμα αποτελεί η χρήση χρονοσειρών από μοντέλα μηχανικής μάθησης για την αξιολόγηση ή ταξινόμηση δραστηριοτήτων με χρήση συνόλου δεδομένων προ-αξιολογημένων περιπτώσεων (Deng, K., Moore, A. W., & Nechyba, M. C., 1997). Αν και o χρόνος αποτελεί κύριο χαρακτηριστικό της συνεργασίας, όπως έγινε φανερό και από την επισκόπηση της βιβλιογραφίας, η χρήση χρονοσειρων ως εργαλείο για την απεικόνιση της εξέλιξης μίας χρονικής δραστηριότητας έχει χρησιμοποιηθεί μεμονωμένα και μόνο για τη μετέπειτα μελέτη πρακτικών που ακολουθούν συνεργαζόμενες ομάδες. Συγκεκριμένα έχει προταθεί και μελετηθεί η χρήση μοντέλων ARIMA (Autoregressive Integrated Moving Average) (Box, G. E. P. et al., 2011) για την χαρτογράφηση των μηχανισμών που αναπτύσσονται κατά την συνεργασία δύο ή περισσοτέρων χρηστών και τη μελέτη των παραγόντων που επηρεάζουν την εξέλιξή της. Αυτά τα μοντέλα κάνουν χρήση πολυδιάστατων χρονοσειρών οι οποίες έχουν κατασκευαστεί από αθροίσματα ενεργειών μέσα σε συγκεκριμένα χρονικά παράθυρα και μοντελοποιούν την συνεργατική δραστηριότητα που εξελίσσεται ασύγχρονα μεταξύ των μελών οργανισμού και με χρήση διαφορετικών εργαλείων, όπως ηλεκτρονικό ταχυδρομείο, πίνακες ανακοινώσεων και άλλα, μέσω του διαδικτύου (Vasileiadou, E., 2009). Όσον αφορά στην χρήση μοντέλων ARIMA, ή παρόμοιων τεχνικών μοντελοποίησης, υπάρχει κριτική καθώς αφενός θεωρείται ότι αντιμετωπίζουν μία τέτοια διακοπτόμενη δραστηριότητα (όπως η συνεργασία) ως συνεχή και αφετέρου οι μαθηματικοί και λογικοί περιορισμοί που τίθενται είναι ιδιαίτερα περιοριστικοί για την χρήση τους (Reimann, P., 2009). Στην παρούσα εργασία ο στόχος είναι η αποτύπωση της συνεργασίας ακριβώς όπως λαμβάνει χώρα στην διάσταση του χρόνου, είτε πρόκειται για συνεχή ακολουθία 36

47 γεγονότων είτε για διακοπτόμενη διαδικασία, καθώς αναμένεται πως ακόμη και οι περίοδοι απουσίας δραστηριότητας μεταφέρουν χρήσιμη πληροφορία για τον αναλυτή. Επιπλέον θεωρούμε πως αυτή η πληροφορία που εμπεριέχεται στην κατανομή δραστηριότητας στον χρόνο θα αντανακλά ποιοτικά στοιχεία της συνεργασίας δίνοντας έτσι τη δυνατότητα αποτίμησης της συνεργατικής δραστηριότητας ως προς την ποιότητά της. Με τη χρήση χρονοσειρών, πέρα από την αλληλεπίδραση μεταξύ των χρηστών και την χρονική ακολουθία των ενεργειών στα πλαίσια μίας κοινής δραστηριότητας, αποτυπώνεται παράλληλα επιπρόσθετη πληροφορία όπως ο ρυθμός εργασίας, η έναρξη και λήξη σημαντικών γεγονότων ή επεισοδίων, την φυσική κατανομή της δραστηριότητας σε μικρο-επεισόδια, τυχόν υπάρχουσα περιοδικότητα ή εποχικότητα, ή η δομή της συμμετοχής κάθε χρήση η οποία είναι πολύτιμη κατά την ανάλυση της πρακτικής και την αλληλεπίδρασης των χρηστών (Jordan, B. & Henderson, A., 1995). 2.3 ΕΠΙΛΟΓΟΣ Στο δεύτερο κεφάλαιο παρουσιάστηκε η επισκόπηση της βιβλιογραφίας και των πρόσφατων μελετών που εκπονούνται στο πεδίο της Υπολογιστικά Υποστηριζόμενης Συνεργατικής Μάθησης. Στην αρχή του κεφαλαίου παρουσιάστηκε η γενική εικόνα του γνωστικού αντικειμένου και οι στόχοι του πεδίου. Στη συνέχεια παρουσιάστηκαν οι ερευνητικές υπο-περιοχές που έχουν δημιουργηθεί και στις οποίες λαμβάνει χώρα ο μεγαλύτερος όγκος των μελετών, καθώς και η υπο-περιοχή στην οποία κινείται η παρούσα διατριβή. Οι μελέτες της περιοχής επιχειρήθηκε να διαχωριστούν σε κατηγορίες ώστε να καλυφθεί όσο το δυνατόν πληρέστερα η βιβλιογραφία αλλά κυρίως για να δοθεί μία σαφής εικόνα στον αναγνώστη. Η περιοχή της ΥΥΣΜ αποτελεί σημείο συνάντησης και κοινό τόπο πολλών και διαφορετικών γνωστικών αντικειμένων και ερευνητικών πεδίων. Η πολυπλοκότητα του αντικειμένου, η πολυθεματικότητά του καθώς επίσης και οι διαφορετικές προσεγγίσεις που προτείνουν ερευνητές από άλλα πεδία κάνουν αυτό τον διαχωρισμό των μελετών ιδιαίτερα δύσκολο. Μία πρώτη προσέγγιση είναι ο χωρισμός των μεθοδολογικών πλαισίων σε ποιοτικά και ποσοτικά, ανάλογα με τις μεθόδους ανάλυσης δεδομένων που χρησιμοποιούνται. Τα τελευταία χρόνια στην περιοχή παρατηρείται μεγάλη αύξηση των μελετών που συνδυάζουν και τις δύο προσεγγίσεις προκειμένου να βελτιστοποιήσουν τα αποτελέσματα της αναλυτικής διαδικασίας. Για τον λόγο αυτό η περαιτέρω διάκριση που έγινε είναι με βάση την ερευνητική μέθοδο που ακολουθείται. Με τον τρόπο αυτό, οι μελέτες χωρίστηκαν σε αυτές όπου ακολουθούν μία εθνολογική ή εθνομεθοδολογική ερευνητική προσέγγιση, σε αυτές που αναλύουν την αλληλεπίδραση των χρηστών και σε αυτές που ακολουθούν έναν συνδυασμό των παραπάνω (και άλλων παρόμοιων) μεθόδων. Φυσικά ο διαχωρισμός αυτός δε μπορεί να είναι αυστηρός και απόλυτος 37

48 καθώς στις περισσότερες μελέτες γίνεται χρήση στοιχείων από διαφορετικές ερευνητικές προσεγγίσεις. Στο τέλος του κεφαλαίου δόθηκε ιδιαίτερη σημασία στον τρόπο που το πεδίο αντιλαμβάνεται και χρησιμοποιεί την διάσταση του χρόνου καθώς και στην σπουδαιότητα της διάστασης αυτής, όπως γίνεται προφανής από την βιβλιογραφία. Παρουσιάστηκαν τα κενά ή η ανάγκη για μελλοντική έρευνα σε συγκεκριμένους τομείς του πεδίου και τρόποι που θα μπορούσαν να συνεισφέρουν σε αυτή την κατεύθυνση. Με αυτό το σκεπτικό παρουσιάστηκε η θέση της παρούσας εργασίας στο πεδίο και σε άμεση σχέση με την ευρύτερη ερευνητική κοινότητα της ΥΥΣΜ, όπως παρουσιάστηκε νωρίτερα στο δεύτερο κεφάλαιο. 38

49 3 ΚΕΦΑΛΑΙΟ 3. ΕΙΣΑΓΩΓΗ ΣΤΗΝ ΑΝΑΛΥΣΗ ΚΑΙ ΑΞΙΟΛΟΓΗΣΗ ΤΗΣ ΣΥΝΕΡΓΑΣΙΑΣ ΜΕ ΧΡΗΣΗ ΣΧΗΜΑΤΟΣ ΑΞΙΟΛΟΓΗΣΗΣ ΚΑΙ ΜΕΤΑΒΑΣΗ ΣΕ ΑΥΤΟΜΑΤΟΠΟΙΗΜΕΝΕΣ ΤΕΧΝΙΚΕΣ 3.1 ΕΙΣΑΓΩΓΗ Στο παρόν κεφάλαιο γίνεται παρουσίαση των μεθοδολογιών και προηγούμενων μελετών πάνω στις οποίες βασίστηκε η παρούσα εργασία, η οποία αποτελεί κομμάτι μιας μεγαλύτερης, πολύχρονης και συνεχούς ερευνητικής εργασίας που εκτείνεται τόσο στην ανάπτυξη θεωρητικών μεθοδολογιών αλλά και εργαλείων που τις υποστηρίζουν. Εδώ εστιάζουμε σε μεθόδους για την αξιολόγηση της ποιότητας συνεργατικών δραστηριοτήτων και πώς χρησιμοποιήθηκαν στο τελικό στάδιο της εργασίας για τον σχεδιασμό και ανάπτυξη της προτεινόμενης μεθοδολογίας αυτόματης ταξινόμησης και αξιολόγησης. Συγκεκριμένα παρουσιάζεται η μέθοδος αξιολόγησης της συνεργασίας από έμπειρους αξιολογητές με χρήση σχήματος αξιολόγησης αλλά και η μετάβαση από το σχήμα αξιολόγησης σε αυτοματοποιημένες μετρικές ποιότητας συνεργασίας. Στην συνέχεια παρουσιάζεται η ενσωμάτωση αυτών των αυτοματοποιημένων μετρικών σε εργαλεία διαμεσολάβησης της συνεργασίας, που αποτέλεσε και την κύρια ιδέα για την μετέπειτα πορεία της διδακτορικής έρευνας. 3.2 ΣΧΗΜΑ ΑΞΙΟΛΟΓΗΣΗΣ Η ανάπτυξη μεθόδων κατάλληλων τόσο για την ανάλυση της αλληλεπίδρασης κατά την εξέλιξη συνεργατικών δραστηριοτήτων αλλά και για την αξιολόγηση της ίδιας της συνεργασίας, συχνά ανεξαρτήτως του αποτελέσματός της, αποτελεί ένα μεγάλο πεδίο έρευνας στον τομέα της Υπολογιστικά Υποστηριζόμενης Συνεργατικής Μάθησης. Νέες μέθοδοι προτείνονται συνεχώς καθώς τόσο η πολυπλοκότητα της συνεργασίας ως πρακτική, οι συνεχείς τεχνολογικές εξελίξεις αλλά και οι νέες εκπαιδευτικές τεχνικές απαιτούν την ανάπτυξη νέων ή την προσαρμογή υπαρχόντων μεθοδολογιών οι οποίες θα λαμβάνουν υπόψη τους τις ανάγκες που προκύπτουν ή τις ιδιαιτερότητες των διαφορετικών πλαισίων. Το κύριο ερώτημα το οποίο καλούνται να απαντήσουν, και κατά συνέπεια πάνω στο οποίο βασίζονται οι μέθοδοι αξιολόγησης της συνεργασίας είναι ποιες παράμετροι της συνεργατικής δραστηριότητας είναι υπεύθυνες για την επιτυχή - ή μη - εξέλιξή της, ενώ κατά την ανάπτυξή τους ως επί το πλείστον ακολουθούνται δύο τρόποι προσέγγισης : 39

50 (α) Προσέγγιση «Από κάτω-προς τα επάνω» (Bottom-up), όπου ο ερευνητής ξεκινά με την μελέτη των δεδομένων και επιχειρεί να αναγνωρίσει και να περιγράψει τα φαινόμενα που εμφανίζονται από αυτή τη μελέτη των δεδομένων σε ένα μεθοδολογικό πλαίσιο. (β) Προσέγγιση «Από επάνω-προς τα κάτω» (Top-down), όπου ο ερευνητής ξεκινάει από τον ορισμό ενός θεωρητικού μεθοδολογικού πλαισίου και των καταστάσεων/φαινομένων που αναμένεται να προκύψουν. Και οι δύο τρόποι προσέγγισης ενέχουν «κινδύνους» παραλείψεων ή σφαλμάτων. Με τον πρώτο τρόπο η υιοθέτηση της μεθοδολογίας υπό ανάπτυξη σε άλλου τύπου πλαίσια ή δραστηριότητες γίνεται εξαιρετικά δύσκολη, ενώ στην περίπτωση της δεύτερης προσέγγισης η γενικότητα η οποία ορίζεται από το θεωρητικό πλαίσιο είναι πιθανόν να οδηγήσει στην παράλειψη σημαντικών λεπτομερειών. Κατά τον σχεδιασμό του σχήματος αξιολόγησης χρησιμοποιήθηκε μία αμφίδρομη διαδικασία ανάπτυξης όπου ποιοτική ανάλυση περιεχομένου των διαλόγων και των ενεργειών των χρηστών (bottom up approach) συνδυάστηκε με θεωρητικά πλαίσια διάφορων ερευνητικών περιοχών (top down approach). Αυτός ο τρόπος σχεδιασμού επιτρέπει αφ ενός την «μεταφερσιμότητα» (δυνατότητα μεταφοράς - transferability) του σχήματος αξιολόγησης σε πλήθος συνεργατικών, εκπαιδευτικών σεναρίων και αφ ετέρου την διαφοροποίησή του ώστε να καλύπτει τις ανάγκες του κάθε συνεργατικού πλαισίου. Επίσης πρέπει να αναφερθεί ότι το σχήμα αξιολόγησης που τελικά χρησιμοποιείται στην παρούσα ερευνητική μελέτη, αναπτύχθηκε σε δύο στάδια. Στο πρώτο στάδιο το αρχικό σχήμα αξιολόγησης σχεδιάστηκε και αναπτύχθηκε από τους Meier et.al (Meier, A. et al., 2007) στο Πανεπιστήμιο του Freiburg με σκοπό να υποστηρίξουν και να προωθήσουν την συνεργασία φοιτητών μέσω βιντεο-κλήσεων. Στην δεύτερη φάση, το σχήμα αξιολόγησης υιοθετήθηκε, προσαρμόστηκε και εφαρμόστηκε από τους Kahrimanis et. al (Kahrimanis, G. et al., 2009) για να υποστηρίξουν τους διδάσκοντες κατά την αξιολόγηση συνεργατικών δραστηριοτήτων που έλαβαν χώρα στα πλαίσια εργαστηριακών μαθημάτων του τμήματος Ηλεκτρολόγων Μηχανικών και Τεχνολογίας Υπολογιστών (ΗΜ&ΤΥ) του Πανεπιστημίου Πατρών. Στο παρόν κεφάλαιο θα αναφερθούμε κατά κύριο λόγο στο δεύτερο στάδιο της ανάπτυξης του σχήματος αξιολόγησης καθώς είναι αυτό που χρησιμοποιήθηκε στα πλαίσια της εργασίας. Η χρήση του σχήματος αξιολόγησης επιβάλλει την ανάλυση και αξιολόγηση μίας συνεργατικής δραστηριότητας επάνω σε πέντε βασικούς συνεργατικούς άξονες, οι οποίοι θεμελιώνουν θεωρητικά την έννοια της συνεργατικής μάθησης αλλά και της συνεργασίας για την επίτευξη ενός κοινού στόχου γενικότερα. Οι πέντε αυτοί άξονες είναι οι εξής: Επικοινωνία, Κοινή Επεξεργασία Πληροφορίας, Συντονισμός, Διαχείριση Διαπροσωπικών Σχέσεων, Ατομικά Κίνητρα. Σε δεύτερο επίπεδο αυτοί οι άξονες 40

51 αναλύονται σε επτά, συνολικά, διαστάσεις της συνεργασίας. Αξιολογώντας αυτές τις επιμέρους διαστάσεις, ο ερευνητής είναι σε θέση να αποκομίσει μία γενική εικόνα για την διάσταση της συνεργασίας. Ένα κύριο πλεονέκτημα του Σχήματος Αξιολόγησης είναι ότι η χρήση του δεν παρέχει μόνο μία γενική εικόνα της ποιότητας μίας συνεργατικής δραστηριότητας αλλά αποτυπώνει την ποιότητά της σε διακεκριμένους άξονες. Με αυτόν τον τρόπο, ο συντονιστής μίας δραστηριότητας μπορεί να γνωρίζει επακριβώς τα αδύνατα σημεία μίας συνεργαζόμενης ομάδας έτσι ώστε να παρέχει στοχευμένα υποστήριξη ή βοήθεια όπου κρίνει απαραίτητο. Πίνακας 3-1. Συνεργατικές Διαστάσεις που ορίζουν την ποιότητα μίας συνεργατικής δραστηριότητας. Βασικοί Συνεργατικοί Άξονες Επικοινωνία (Communication) Κοινή Επεξεργασία Πληροφορίας (Joint information processing) Συντονισμός (Coordination) Απόδοση αξόνων συνεργασίας στο Σχήμα Αξιολόγησης ως Διαστάσεις της Συνεργασίας (ΣΔ) ΣΔ 1: Συνεργατική Ροή (Collaboration Flow) ΣΔ 2: Διατήρηση Κοινής Κατανόησης (Sustaining mutual understanding) ΣΔ 3: Ανταλλαγή Γνώσης (Knowledge exchange) ΣΔ 4: Επιχειρηματολογία (Argumentation) ΣΔ 5: Δόμηση της διαδικασίας επίλυσης προβλήματος (Structuring the Problem Solving Process) Διαπροσωπική Σχέση (Interpersonal Relationship) ΣΔ 6: Συνεργατικός Προσανατολισμός (Cooperative orientation) Κίνητρο (Motivation) ΣΔ 7: Προσωπικός Προσανατολισμός (Individual task orientation) Για την αξιολόγηση μίας δραστηριότητας με χρήση του Σχήματος Αξιολόγησης εξυπακούεται η ύπαρξη έμπειρων και ειδικά εκπαιδευμένων αξιολογητών. Σε μελέτες που έχουν γίνει έχει αποδειχθεί ότι δύο αξιολογητές είναι ικανός αριθμός για την ικανοποιητική απόδοση βαθμολογιών και την σωστή χρήση του σχήματος (Kahrimanis, G. et al., 2012; Kahrimanis, G. et al., 2009). Επιπλέον προϋποθέτει την ύπαρξη εγχειριδίου χρήσης όπου γίνεται περιγραφή των ιδανικών και πρότυπων συνεργατικών πρακτικών ανά διάσταση της συνεργασίας, με βάση της οποίες ο αξιολογητής καλείται να βαθμολογεί τις νέες δραστηριότητες. Στην συνέχεια γίνεται εκτενής αναφορά στις δραστηριότητες της συνεργασίας ανά Συνεργατικό Άξονα όπως ορίζονται από το σχήμα αξιολόγησης καθώς αποτελούν 41

52 βασικό δομικό στοιχείο της προτεινόμενης μεθοδολογίας (Παράγραφος 3.4), ενώ πρώτα αναλύεται το πλαίσιο μέσα στο οποίο έλαβαν χώρα οι συνεργατικές δραστηριότητες που είναι το αντικείμενο μελέτης στην παρούσα εργασία (Παράγραφος 3.3).Επίσης περιγράφεται και η εφαρμογή που τις υποστηρίζει (Παράγραφος 3.3.2). Καθώς το Σχήμα Αξιολόγησης που χρησιμοποιείται έχει προσαρμοστεί στις ανάγκες του συγκεκριμένου συνεργατικού πλαισίου που εξετάζεται, θεωρείται απαραίτητο για την περαιτέρω ανάλυση του Σχήματος να δοθούν οι επαρκείς πληροφορίες για το γενικότερο πλαίσιο και τις ιδιαιτερότητες και ανάγκες που καλείται να αντιμετωπίσει. 3.3 ΠΛΑΙΣΙΟ ΣΥΝΕΡΓΑΤΙΚΗΣ ΔΡΑΣΤΗΡΙΟΤΗΤΑΣ Ο όρος «εκπαιδευτική, συνεργατική δραστηριότητα» έχει επικρατήσει να συνοδεύεται από τον γενικόλογο ορισμό ως μία «κατάσταση όπου δύο ή περισσότεροι άνθρωποι μαθαίνουν ή προσπαθούν να μάθουν κάτι μαζί». Αυτός ο ορισμός είναι τόσο γενικός που τελικά τείνει να μην περιγράφει τίποτα καθώς οι όροι «δύο ή περισσότεροι», «μαθαίνουν» και «μαζί» επιδέχονται τόσες ερμηνείες και αλλάζουν τόσο την φύση της «κατάστασης» που αν δεν οριστεί το πλαίσιο της συνεργατικής δραστηριότητας πιο συγκεκριμένα, τότε η περαιτέρω μελέτη του είναι αδύνατη, έως και άσκοπη (Dillenbourg, P., 1999). Στην συγκεκριμένη εργασία με τον όρο συνεργατική δραστηριότητα εννοούμε την σύγχρονη συνεργασία δυάδων μέσω υπολογιστή με σκοπό την κοινή δημιουργία διαγραμμάτων ροής. Οι δραστηριότητες έλαβαν χώρα στα πλαίσια του μαθήματος «Εισαγωγή στους Υπολογιστές» το οποίο διδάσκεται στο πρώτο έτος του τμήματος των Ηλεκτρολόγων Μηχανικών και Τεχνολογίας Υπολογιστών του Πανεπιστημίου Πατρών κατά τα δύο συναπτά ακαδημαϊκά έτη και Σκοπός του μαθήματος, που συνοδεύεται από πλήθος εργαστηριακών ασκήσεων, είναι η εισαγωγή των πρωτοετών φοιτητών του τμήματος στις βασικές έννοιες των Υπολογιστών και του Προγραμματισμού, όπως παραδείγματος χάριν, τα διαγράμματα ροής και τους αλγόριθμους. Στην συνέχεια περιγράφεται αναλυτικά τόσο η δομή της δραστηριότητας όσο και εφαρμογή που υποστήριξε την διεξαγωγή των συνεργατικών συνεδριών ΠΕΡΙΓΡΑΦΗ ΚΑΙ ΔΟΜΗ ΤΗΣ ΔΡΑΣΤΗΡΙΟΤΗΤΑΣ Οι συνεργατικές δραστηριότητες που αποτελούν το σύνολο δεδομένων της παρούσας εργασίας, σχεδιάστηκαν με τέτοιο τρόπο ώστε αφ ενός οι φοιτητές να αποκομίσουν το επιθυμητό μαθησιακό αποτέλεσμα, στην συγκεκριμένη περίπτωση το ζητούμενο ήταν να εκπαιδευτούν στην δημιουργία διαγραμμάτων ροής, αλλά και να εξοικειωθούν με την ιδέα των εργαστηριακών ασκήσεων και την χρήση υπολογιστών για την διεξαγωγή τους καθώς πρόκειται για πρωτοετείς φοιτητές. Γι αυτό επιλέχθηκε ως τρόπος 42

53 διδασκαλίας η Υπολογιστικά Υποστηριζόμενη Συνεργατική Μάθηση μέσω της οποίας μπορεί να συνδυαστεί η χρήση των υπολογιστών που απαιτείται από το συγκεκριμένο μάθημα με τον εμπλουτισμό των μαθησιακών αποτελεσμάτων. Σκοπός της δραστηριότητας ήταν η από κοινού δημιουργία διαγραμμάτων ροής αλγορίθμων. Τα διαγράμματα ροής είναι δημοφιλής μέθοδος απεικόνισης και μοντελοποίησης αλγορίθμων (ISO, 1985) που κρίνεται ως βασική γνώση για φοιτητές του συγκεκριμένου γνωστικού αντικειμένου. Διδάσκεται δε ως μάθημα επιλογής στις μικρότερες βαθμίδες εκπαίδευσης αλλά δεν είναι προαπαιτούμενη για την εισαγωγή τους στη σχολή. Κατά συνέπεια στο σύνολο των φοιτητών υπήρχαν αρκετοί που είχαν ήδη διδαχθεί το συγκεκριμένο αντικείμενο. Όλοι δε οι φοιτητές είχαν διδαχθεί την απαραίτητη ύλη στις διαλέξεις του μαθήματος οι οποίες είχαν προηγηθεί των δραστηριοτήτων. Παρ όλα αυτά οι φοιτητές χωρίστηκαν μέσω ερωτηματολογίων σε ομάδες με κριτήριο τις γνώσεις που είχαν στους αλγόριθμους και στα διαγράμματα ροής, ώστε να εξασφαλισθεί η εσωτερική ομοιογένεια των συνεργαζόμενων δυάδων. Η διάρκεια των δραστηριοτήτων κυμάνθηκε από μία και μισή έως δύο διδακτικές ώρες (οι φοιτητές μπορούσαν να τερματίσουν την δραστηριότητα οποιαδήποτε στιγμή έκριναν οι ίδιοι ότι εκτέλεσαν επιτυχώς την εργασία που τους είχε ανατεθεί) ενώ η ίδια η δραστηριότητα απαιτούσε τη σύγχρονη επικοινωνία και συνεργασία των φοιτητών μέσω υπολογιστή και μόνο. Η επικοινωνία των χρηστών απαιτείται να γίνεται αποκλειστικά και μόνο μέσω υπολογιστή καθώς κατά την διαδικασία της ανάλυσης και της αξιολόγησης, οι αξιολογητές θα κρίνουν την συνεργασία με βάση την δραστηριότητα που έχει καταγραφεί στα αρχεία καταγραφής της εφαρμογής που την διαμεσολαβεί. Συνεπώς σε περίπτωση ύπαρξης άλλων καναλιών επικοινωνίας που δεν καταγράφονται από την εφαρμογή (π.χ. ομιλία, χειρονομίες, ανταλλαγή σημειώσεων) θα χαθεί πολύτιμη πληροφορία για την εξέλιξη της δραστηριότητας η οποία πιθανόν να είναι μεγάλης σημασίας για το έργο των αξιολογητών και την τελική τους εκτίμηση. Η εφαρμογή που υποστήριξε τις συνεργατικές δραστηριότητες - Synergo, (Avouris, N. et al., 2004) - παρέχει στους χρήστες έναν κοινόχρηστο χώρο εργασίας για την κατασκευή διαγραμματικών αναπαραστάσεων, τις απαραίτητες μπάρες εργαλείων και βιβλιοθήκες με τα αντικείμενα που καλούνται οι χρήστες να σχεδιάσουν στον κοινόχρηστο χώρο εργασίας και ένα εργαλείο άμεσης ανταλλαγής μηνυμάτων μέσω του οποίου υλοποιείται η επικοινωνία των χρηστών. Προκειμένου να εξασφαλιστεί ότι οι χρήστες είχαν επικοινωνία μόνο μέσω του υπολογιστή, η διάταξή τους στην αίθουσα ήταν προμελετημένη με τέτοιο τρόπο ώστε οι συνεργάτες να κάθονται σε σταθμούς εργασίας αντιδιαμετρικούς και ενδιάμεσα να μεσολαβούν άλλοι σταθμοί. Πρέπει επίσης να σημειωθεί ότι οι δραστηριότητες έλαβαν χώρα σε ειδικά διαμορφωμένο χώρο του τμήματος των Ηλεκτρολόγων Μηχανικών και Τεχνολογίας Υπολογιστών. Ο χώρος προσφέρει πανομοιότυπους σταθμούς εργασίας εξοπλισμένους με όλες τις απαραίτητες στους φοιτητές εφαρμογές και πρόσβαση στο διαδίκτυο. Όλοι οι 43

54 υπολογιστές είναι συνδεδεμένοι μεταξύ τους μέσω ενός τοπικού δικτύου υψηλής ταχύτητας το οποίο εξασφαλίζει καθόλου ή ελάχιστες καθυστερήσεις στην επικοινωνία. Κατά τη διάρκεια των συνεδριών ήταν παρόντες οι συντονιστές της δραστηριότητας οι οποίοι εξασφάλιζαν την ομαλή διεξαγωγή του εργαστηρίου χωρίς όμως να επεμβαίνουν στην ίδια τη δραστηριότητα σε επίπεδο συνεργαζόμενης δυάδας. Τυχόν επεμβάσεις που έγιναν από τους συντονιστές κατά τη διάρκεια της δραστηριότητας σημειώθηκαν σε αρχεία καταγραφής ιστορικού και τέθηκαν υπόψη των αξιολογητών κατά τη διαδικασία αξιολόγησης. Μετά το τέλος της φάσης συλλογής δεδομένων, οι συνεργατικές συνεδρίες όπως προέκυψαν από τις συνεργατικές δραστηριότητες, ελέγχθηκαν για την ορθότητά και την καταλληλότητά τους. Προβληματικές συνεδρίες όπου για παράδειγμα οι χρήστες αντιμετώπισαν προβλήματα τεχνικής φύσης ή άλλου είδους, εξαιρέθηκαν ως ακατάλληλες. Συνολικά 228 συνεδρίες (δηλαδή, δυάδες φοιτητών που συνεργάστηκαν στα πλαίσια της εν λόγω δραστηριότητας) χρησιμοποιήθηκαν στο τελικό σύνολο δεδομένων της παρούσας έρευνας ΕΦΑΡΜΟΓΗ ΔΙΑΜΕΣΟΛΑΒΗΣΗΣ ΤΗΣ ΣΥΝΕΡΓΑΣΙΑΣ Για την πραγματοποίηση και υποστήριξη των δυάδων που έλαβαν μέρος στην δραστηριότητα και συνεργάστηκαν για την πραγματοποίηση κοινού σκοπού (στην προκειμένη περίπτωση την κατασκευή από κοινού διαγράμματος ροής αλγορίθμου) χρησιμοποιήθηκε η συνεργατική εφαρμογή Synergo (Avouris, N. et al., 2004). Το Synergo είναι μία εφαρμογή πελάτη-εξυπηρετητή (client-server) που αναπτύχθηκε σε γλώσσα προγραμματισμού Java και με χρήση του υπόβαθρου εφαρμογών (application middleware) ACABF (Abstract Collaborative Application Building Framework) για να καλύψει τις ανάγκες χρηστών που επιθυμούσαν να συνεργαστούν από απόσταση κυρίως για τη δημιουργία διαγραμματικών αναπαραστάσεων και για εκπαιδευτικούς σκοπούς. Το Synergo χρησιμοποιείται κυρίως για την διεξαγωγή εκπαιδευτικών δραστηριοτήτων καθώς πέραν των χαρακτηριστικών του ως κοινόχρηστη σχεδιαστική εφαρμογή, παρέχει πλήθος δυνατοτήτων για τους συντονιστές/αναλυτές δραστηριοτήτων, όπως την δυνατότητα εισαγωγής σχολίων (annotations), βήμα προς βήμα επανάληψη μίας συνεδρίας (play back) και άλλων εργαλείων ανάλυσης της δραστηριότητας (Margaritis, M., 2006; Voyiatzaki, E., 2012) ΔΙΕΠΙΦΑΝΕΙΑ ΧΡΗΣΤΗ Η διεπιφάνεια χρήστη του Synergo χωρίζεται δομικά σε τέσσερα μέρη. Δύο εξ αυτών είναι τα κύρια μέρη της εφαρμογής όπου λαμβάνει χώρα η δραστηριότητα και μέσω των οποίων αλληλεπιδρούν μεταξύ τους οι χρήστες και δύο βοηθητικά που παρέχουν υποστήριξη για την δραστηριότητα και τη χρήση της εφαρμογής. Η διεπιφάνεια απεικονίζεται στην Εικόνα 3-1 και επιγραμματικά περιγράφεται από τα εξής μέρη: 44

55 (α) την κοινόχρηστη επιφάνεια εργασίας που χρησιμοποιείται για τον σχεδιασμό των διαγραμματικών αναπαραστάσεων (β) το εργαλείο ανταλλαγής μηνυμάτων που υποστηρίζει την επικοινωνία των χρηστών μέσω ανταλλαγής γραπτών μηνυμάτων. (γ) τις βιβλιοθήκες πρότυπων αντικειμένων για την κατασκευή δημοφιλών διαγραμματικών αναπαραστάσεων στον κοινόχρηστο χώρο εργασίας. (δ) την εργαλειοθήκη που παρέχει συντομεύσεις για τις τυπικές εργασίες χρήσης της εφαρμογής. Ο κοινόχρηστος χώρος εργασίας και το εργαλείο ανταλλαγής μηνυμάτων απεικονίζουν ανά πάσα στιγμή και καθ όλη τη διάρκεια της συνεργασίας ακριβώς τα ίδια αντικείμενα και μηνύματα σε όλους τους συνεργάτες. Με αυτόν τον τρόπο εξασφαλίζεται η διατήρηση κοινής αντίληψης, επίγνωσης και η συνέπεια για όλα τα συνεργαζόμενα μέρη. Κατά τη συνεργατική δημιουργία μίας διαγραμματικής αναπαράστασης, ο χρήστης έχει τη δυνατότητα να μεταφέρει πρότυπα αντικείμενα από τις βιβλιοθήκες και να τα αποθέσει στον χώρο εργασίας, ενέργεια που γίνεται αντιληπτή σε όλα τα συνεργαζόμενα μέρη αυτομάτως με την ολοκλήρωσή της. Αυτά τα αντικείμενα μπορούν να τροποποιηθούν ή να συνδεθούν/συναρμολογηθούν καθ οιονδήποτε τρόπο και από όλα τα συνεργαζόμενα μέρη. Στο εργαλείο ανταλλαγής μηνυμάτων διακρίνεται το συνθηματικό όνομα του κάθε χρήστη (username) ενώ χρησιμοποιείται διαφορετικό χρώμα γραμματοσειράς για διαφορετικούς χρήστες ώστε να είναι πιο εύκολη οπτικά η αναγνώριση της ταυτότητας του αποστολέα. Τέλος, η δραστηριότητα κάθε χρήστη είτε στον κοινόχρηστο χώρο εργασίας είτε στο εργαλείο ανταλλαγής γραπτών μηνυμάτων καταγράφεται σε αρχεία καταγραφής από το μέρος της εφαρμογής που εκτελείται στον εξυπηρετητή και είναι υπεύθυνο για την διασύνδεση των χρηστών. Περισσότερες πληροφορίες και λεπτομέρειες για τα αρχεία καταγραφής παρέχονται στην παράγραφο

56 ( ( ( ( Εικόνα 3-1. Διεπιφάνεια χρήστη της συνεργατικής εφαρμογής Synergo και των μερών που την απαρτίζουν: (α) Κοινόχρηστος χώρος εργασίας, (β) εργαλείο ανταλλαγής μηνυμάτων, (γ) βιβλιοθήκες πρότυπων αντικειμένων δημοφιλών διαγραμματικών αναπαραστάσεων, (δ) εργαλειοθήκες συντομεύσεων εργασιών της εφαρμογής ΔΙΕΠΙΦΑΝΕΙΑ ΑΝΑΛΥΤΗ Η εφαρμογή Synergo παρέχει την δυνατότητα της εκ των υστέρων αναπαραγωγής μίας καταγεγραμμένης συνεργατικής συνεδρίας κάνοντας χρήση των αρχείων καταγραφής. Επιπλέον δίνεται η δυνατότητα εξαγωγής χρήσιμων στατιστικών στοιχείων και μετρικών, εισαγωγής διευκρινιστικών σχολίων και σημειώσεων και πλήθος άλλων δυνατοτήτων. Η ύπαρξη και ο σχεδιασμός της διεπιφάνειας του αναλυτή στοχεύει στην εκμετάλλευση της πλούσιας πληροφορίας που καταγράφεται από τις εφαρμογές. Τα αρχεία καταγραφής έχουν αποδειχθεί ως πολύτιμες πηγές έρευνας στο πεδίο της Υπολογιστικά Υποστηριζόμενης Συνεργατικής Μάθησης και πολλά εργαλεία έχουν αναπτυχθεί για την επεξεργασία αυτής της πληροφορίας και την εξαγωγή χρήσιμων συμπερασμάτων (Dillenbourg, P. et al., 1996). 46

57 Εικόνα 3-2. Η βασική διεπιφάνεια χρήστη των εργαλείων ανάλυσης της εφαρμογής Synergo (α) για τον συντονιστή/αξιολογητή της διαδικασίας με δύο παραδείγματα εργαλείων, το εργαλείο αναπαραγωγής και υποσημείωσης (b) και το εργαλείο επισκόπησης των αρχείων καταγραφής (c). Για την αποτελεσματική χρήση αυτής της πληροφορίας είναι πολύ σημαντικός ο τρόπος αναπαράστασης και παρουσίασής της, ο τρόπος επεξεργασίας της αλλά και ο χρόνος κατά τον οποίο θα μπορεί ο αναλυτής να έχει πρόσβαση σε αυτήν (Voyiatzaki, E., 2012). Στην περίπτωση των εργαλείων Ανάλυσης της εφαρμογής Synergo (Synergo Analysis Tools), οι πληροφορίες και τα στατιστικά των συνεργατικών δραστηριοτήτων είναι προσβάσιμα μόνο μετά την ολοκλήρωση των δραστηριοτήτων αυτών. Τα εργαλεία ανάλυσης δίνουν τη δυνατότητα ανάλυσης περιεχομένου (content analysis) με την εισαγωγή σημειώσεων και νέων τυπολογιών ενώ παρέχονται γραφικές παραστάσεις και στατιστικές μετρικές για την δραστηριότητα όπως, για παράδειγμα, δείκτες πυκνότητας δραστηριότητας (π.χ. το πλήθος ενεργειών ανά συνεργάτη, ή το πλήθος ενεργειών ανά χρονική περίοδο) ή δείκτες της συμμετρίας της δραστηριότητας 47

58 (Margaritis, M., 2006). Σημειώνεται πως τα εργαλεία ανάλυσης δίνουν την δυνατότητα εξαγωγής στατιστικών στοιχείων είτε σε επίπεδο τάξης είτε σε επίπεδο ομάδας. Τμήματα της διεπιφάνειας χρήστη για τους αναλυτές απεικονίζονται στην Εικόνα ΑΡΧΕΙΑ ΚΑΤΑΓΡΑΦΗΣ Ο τρόπος καταγραφής δεδομένων και διατήρησης του ιστορικού μίας συνεργατικής δραστηριότητας σε αρχεία καταγραφής (logfiles) είναι άμεσα επηρεασμένος από το εννοιολογικό πλαίσιο OCAF (Object-oriented Collaboration Analysis Framework) το οποίο αναφέρεται στην ανάλυση μιας συνεργατικής διαδικασίας και ιδιαίτερα με χρήση διαγραμματικών αναπαραστάσεων. Το πλαίσιο OCAF ορίζει το «αντικείμενο» (γεωμετρικό σχήμα, αντικείμενο βιβλιοθήκης, γραπτό μήνυμα) ως την κεντρική και βασική μονάδα ανάλυσης της δραστηριότητας γύρω από την οποία λαμβάνουν χώρα οι ενέργειες χρηστών και οι αλληλεπιδράσεις μεταξύ τους (Avouris, N., Dimitracopoulou, A., & Komis, V., 2003; Avouris, N. M., Dimitracopoulou, A., Komis, V., & Fidas, C., 2002). Με αυτό το σκεπτικό, το κάθε αντικείμενο έχει ιστορικό. Καταγράφοντας δε τις ενέργειες που καθ οιονδήποτε τρόπο επηρεάζουν αυτό το αντικείμενο, και για το σύνολο των αντικειμένων που χρησιμοποιούνται κατά τη διάρκεια μίας συνεργατικής δραστηριότητας, καταγράφεται συνολικά η εξέλιξη της ίδιας της δραστηριότητας. Οι διαστάσεις που ορίζουν τον πληροφοριακό χώρο ενεργειών και αλληλεπιδράσεων κατά το εννοιολογικό πλαίσιο OCAF, είναι τέσσερις: - Αντικείμενο (Object). Αφορά στο πλήθος o αντικειμένων Ο=(O 1 + O 2 +.+O o ) που είτε προϋπήρχαν, είτε δημιουργήθηκαν κατά την εξέλιξη μίας συνεργατικής δραστηριότητας. - Χρόνος (Time). O σχετικός, διακριτός χρόνος από την αρχή μίας δραστηριότητας κατά τον οποίο πραγματοποιήθηκε μία ενέργεια σε ένα αντικείμενο. - Χρήστης (Actor). Αναφέρεται στο πλήθος α των χρηστών A=(A 1 + A 2 +.+A a ).που λαμβάνουν μέρος στη συνεργατική δραστηριότητα. - Τυπολογία (Typology). Αναφέρεται στην κατηγοριοποίηση του πλήθους tp των ενεργειών T=(T 1 + T 2 +.+T tp ) που επηρεάζουν/τροποποιούν ένα αντικείμενο. Η κατηγοριοποίηση αυτή είναι ανεξάρτητη του εννοιολογικού πλαισίου και μπορεί να οριστεί στο επίπεδο σχεδιασμού της συνεργατικής εφαρμογής που το υλοποιεί. Λαμβάνοντας αυτά υπόψη, κάθε ενέργεια Ε i που λαμβάνει χώρα στα πλαίσια μιας συνεργατικής δραστηριότητας μπορεί να περιγραφεί στον τετραδιάστατο χώρο που ορίζει το πλαίσιο OCΑF, από ένα διάνυσμα της μορφής (1): 1. Ε i =(t t, A a, [O O ], [T tp ]) i 48

59 Στην περίπτωση της συνεργατικής εφαρμογής Synergo, αυτό το διάνυσμα μεταφράζεται σε εγγραφές XML της μορφής (2): 2. (<ID>, <timestamps>, <actor>, <event-type>, <attributes >) Όπου επιγραμματικά τα πεδία της εγγραφής ορίζονται ως: - ID: αύξων αριθμός, μοναδικός και αναγνωριστικός για κάθε εισαγωγή εγγραφής στο αρχείο καταγραφής - timestamps: δύο χρόνοι καταγραφής, ο απόλυτος σύμφωνα με το ρολόι του υπολογιστή στον οποίο εκτελείται η εφαρμογή και ο σχετικός απόσταση από την αρχή της δραστηριότητας που ορίζεται ως μηδενικός χρόνος. - actor: η ταυτότητα του χρήστη (υποδηλώνεται με το συνθηματικό του όνομα username) που είναι υπεύθυνος για την παρούσα εγγραφή, δηλαδή αυτός που με ενέργειά του πάνω σε κάποιο αντικείμενο προκάλεσε την εγγραφή. - event-type: ο τύπος της ενέργειας, σύμφωνα με την κατηγοριοποίηση που ορίζει η αρχιτεκτονική της συνεργατικής εφαρμογής. - attributes: άλλες πληροφορίες σχετικές με τα αντικείμενα που τροποποιούνται, όπως η ταυτότητα του αντικειμένου, οι συντεταγμένες του πάνω στον κοινόχρηστο χώρο εργασίας, τα σχόλια που ενδέχεται να εισάγουν οι χρήστες ως περιεχόμενο ή οι ετικέτες με τις οποίες ενδέχεται να ονοματίσουν συγκεκριμένα αντικείμενα, το περιεχόμενο αν πρόκειται για μηνύματα κειμένου κλπ. Παράδειγμα μέρους ενός αρχείου καταγραφής (logfile) όπως αποθηκεύεται από την εφαρμογή Synergo και στο οποίο απεικονίζεται ξεκάθαρα η περιγραφή της δομής του τύπου (2) παρουσιάζεται στην Εικόνα 3-3. Τα αντικείμενα που ορίζονται από την εφαρμογή και σύμφωνα με το πλαίσιο OCAF είναι δύο τύπων: (α) τα αντικείμενα που εισάγονται στον κοινόχρηστο χώρο εργασίας και (β) τα γραπτά μηνύματα του εργαλείου ανταλλαγής μηνυμάτων. Τα γραπτά μηνύματα δεν υπόκεινται σε κατηγοριοποίηση καθώς η μόνη ενέργεια που επιτρέπεται να εκτελέσει ο χρήστης είναι η αποστολή γραπτού μηνύματος στο εργαλείο ανταλλαγής μηνυμάτων. Η τροποποίηση ή διαγραφή μηνύματος δεν είναι εφικτή. Όσον αφορά στα αντικείμενα του κοινόχρηστου χώρου εργασίας, οι ενέργειες τις οποίες μπορεί να εκτελέσει κάποιος χρήστης και να τα τροποποιήσει με οποιονδήποτε τρόπο, συνιστούν και την κατηγοριοποίηση που υιοθετείται στα αρχεία καταγραφής που τηρεί η εφαρμογή. Συνεπώς, οι κατηγορίες ενεργειών που αφορούν στα αντικείμενα του κοινόχρηστου χώρου είναι συνοπτικά η δημιουργία, διαγραφή, τροποποίηση, επικόλληση, αλλαγή μεγέθους, μετακίνηση και έμφαση. 49

60 Εικόνα 3-3. Παράδειγμα μέρους αρχείου καταγραφής συνεργατικής δραστηριότητας, όπως καταγράφεται και αποθηκεύεται από την συνεργατική εφαρμογή Synergo. Κάθε μία σειρά του αρχείου είναι νέα εγγραφή η οποία αντιπροσωπεύει την εκτέλεση μίας ενέργειας. Συνολικά, η τυπολογία ενεργειών χρήστη σε κοινόχρηστο αντικείμενο περιλαμβάνει τις εξής κατηγορίες ενεργειών: 1. Μήνυμα Κειμένου (Chat message) 2. Δημιουργία Αντικειμένου (Create Object) 3. Τροποποίηση Αντικειμένου (Modify Object ) 4. Επικόλληση Αντικειμένου (Paste Object) 5. Συσχέτιση Αντικειμένου (με άλλο αντικείμενο) (Insert Object Relationship) 6. Αλλαγή μεγέθους Αντικειμένου (Resize Object) 7. Μετακίνηση Αντικειμένου (Move Objec ) 8. Έμφαση Αντικειμένου (Set object to front) 9. Διαγραφή Αντικειμένου (Delete Object) Η χρήση της εφαρμογής Synergo για την πραγματοποίηση των συνεργατικών δραστηριοτήτων που περιγράφονται και χρησιμοποιούνται στην παρούσα εργασία, λήφθηκε υπόψη κατά τον σχεδιασμό τόσο του Σχήματος Αξιολόγησης που χρησιμοποιήθηκε κατά την διαδικασία αποτίμησης της ποιότητας της συνεργασίας αλλά και κατά την συγγραφή του εγχειριδίου χρήσης του Σχήματος. Οι ιδιαιτερότητες που εισάγει το συγκεκριμένο περιβάλλον, τόσο ως προς την επικοινωνία μέσω του εργαλείου ανταλλαγής μηνυμάτων όσο και ως προς τον συντονισμό, την δομή και τον προγραμματισμό των συνδυαστικών ενεργειών των χρηστών στον κοινόχρηστο χώρο εργασίας, επηρεάζουν άμεσα τον τρόπο που αξιολογούν οι αναλυτές μία δραστηριότητα και τα χαρακτηριστικά που ξεχωρίζουν μία καλή ως προς την ποιότητα της συνεργασίας συνεδρία από μια μέτρια ή κακή. Όλοι οι παράγοντες που ενδέχεται να επηρεάσουν την εξέλιξη μίας δραστηριότητας που υποστηρίζεται από την εφαρμογή Synergo ελήφθησαν υπόψη κατά την υιοθέτηση και τροποποίηση του αρχικού σχήματος αξιολόγησης των Meier et. al (Meier, A. et al., 2007) και συνετέλεσαν 50

61 στην δημιουργία του νέου σχήματος (Kahrimanis, G., 2010) που περιγράφεται στις επόμενες παραγράφους. 3.4 ΒΑΣΙΚΟΙ ΣΥΝΕΡΓΑΤΙΚΟΙ ΆΞΟΝΕΣ Το σχήμα αξιολόγησης που προτείνεται αρχικά από τους Meier et. al. (Meier, A. et al., 2007) και στην συνέχεια υιοθετήθηκε και τροποποιήθηκε από τους Kahrimanis et.al (Kahrimanis, G., 2010) (Kahrimanis, G. et al., 2009) ορίζει την συνεργασία σε τέσσερις κύριους άξονες, τους οποίους αναλύει περαιτέρω σε συνεργατικές διαστάσεις. Αυτοί οι άξονες και διαστάσεις απεικονίζονται στον αντίστοιχο πίνακα (Πίνακας 3-1) ενώ περιγράφονται στις παραγράφους που ακολουθούν και μέσω παραδειγμάτων που έχουν εξαχθεί από πραγματικές συνεργατικές συνεδρίες ΕΠΙΚΟΙΝΩΝΙΑ Ο άξονας της επικοινωνίας (Communication) είναι ο βασικότερος ίσως άξονας αξιολόγησης μίας συνεργατικής δραστηριότητας όπως η ικανότητα επιτυχούς συνεννόησης και διατήρησης ενός κοινού τόπου συνεννόησης όπου οι ιδέες, οι υποθέσεις και οι προτάσεις θα πρέπει να είναι εφικτό να αναλύονται και να συζητούνται λεπτομερειακά και σε βάθος (Clark, H. H., 1996). Επιπλέον στην περίπτωση του πλαισίου που εξετάζεται, πρέπει να ληφθεί υπόψη η έλλειψη άλλων καναλιών επικοινωνίας πλην του γραπτού λόγου που σε άλλες περιπτώσεις θα διευκόλυνε την επικοινωνία των συνεργατών, όπως για παράδειγμα η χρήση χειρονομιών, εκφράσεων του προσώπου και τα λοιπά, τρόποι δηλαδή που πέραν της διευκόλυνσης του ομιλητή μεταφέρουν την πληροφορία ότι η άλλη πλευρά έχει ακούσει, κατανοήσει και συμφωνεί ή διαφωνεί με τον ομιλητή (Rummel, N. & Spada, H., 2005). Κάτι τέτοιο οδηγεί σε μεγαλύτερο όγκο μηνυμάτων από τα συνεργαζόμενα μέρη έτσι ώστε να πληροφορούν και να επιβεβαιώνουν την σωστή εξέλιξη της επικοινωνίας (Clark, H. H., 1996). Ο άξονας της επικοινωνίας περιγράφεται στο Σχήμα Αξιολόγησης από τις εξής δύο συνεργατικές διαστάσεις: Συνεργατική Ροή (ΣΔ1) Διατήρηση Κοινής Κατανόησης (ΣΔ2) Η διάσταση της Διατήρησης Κοινής Κατανόησης αφορά στις διεργασίες και τις διαδικασίες αλλά και στην προσπάθεια που κάνουν οι χρήστες κατά την εξέλιξη του διαλόγου για να διατηρήσουν έναν κοινό τόπο συνεννόησης τόσο από την πλευρά του ομιλητή -έχει παρατηρηθεί πως ομιλητές με καλή γνώση ενός συγκεκριμένου αντικειμένου συχνά δυσκολεύονται να αντιληφθούν τα σημεία που πρέπει να εξηγήσουν στους συνομιλητές που δεν είναι γνώστες του αντικειμένου (Nickerson, R. 51

62 S., 1999)- όσο και του ακροατή. Για παράδειγμα η πρακτική μίας ομάδας με καλή επικοινωνία χαρακτηρίζεται από παροχή ανάδρασης με σαφή σήματα, στην συγκεκριμένη περίπτωση γραπτά, που να επιτρέπουν στον συνομιλητή τους να αναγνωρίσει αν κατανοούν ή πότε και τι δυσκολίες αντιμετωπίζουν (Clark, H. H., 1996). Η διάσταση της Συνεργατικής Ροής από την άλλη εκφράζει θεμελιώδη στοιχεία της επικοινωνίας όπως την σωστή διαχείριση του διαλόγου στο εργαλείο ανταλλαγής μηνυμάτων και τον συνδυασμό της χρήσης πολλαπλών καναλιών για την επικοινωνία όπως για παράδειγμα τόσο μέσω του εργαλείου ανταλλαγής μηνυμάτων αλλά και του κοινόχρηστου χώρου εργασίας ΚΟΙΝΗ ΕΠΕΞΕΡΓΑΣΙΑ ΠΛΗΡΟΦΟΡΙΑΣ Ο άξονας της Κοινής Επεξεργασίας της Πληροφορίας (Joint Information Processing) συσχετίζεται άμεσα και αμφίδρομα με τον άξονα της Επικοινωνίας καθώς προϋποθέτει την ύπαρξη αποτελεσματικής επικοινωνίας μεταξύ των συνεργαζόμενων μερών για την εδραίωση της από κοινού επεξεργασίας της πληροφορίας. Από την άλλη πλευρά, η διατήρηση του κοινού τόπου υποβοηθείται και προωθείται από την κοινή επεξεργασία πληροφορίας καθώς οι χρήστες «αναγκάζονται» να συνεισφέρουν τις ατομικές γνώσεις τους για το χτίσιμο κοινής γνώσης. Ο συγκεκριμένος άξονας αφορά ακριβώς στην δημιουργία αυτής της κοινής γνώσης που προέρχεται από την μεμονωμένη συνεισφορά των χρηστών και την αλληλοσυμπλήρωσή τους σε αυτό το επίπεδο, έτσι ώστε ο κάθε χρήστης να χρησιμοποιείται ως πηγή αναφοράς (Dillenbourg, P. et al., 1996). Αυτή η διαδικασία, σε αντίθεση με τις επικοινωνιακές διαστάσεις και διεργασίες που εξετάζονται σε πρώτο χρόνο όπως για παράδειγμα χρόνο μεσολάβησης από ερώτηση σε απάντηση, εξετάζεται σε βάθος χρόνου και σε όλη τη διάρκεια μίας συνεργατικής δραστηριότητας καθώς στηρίζεται σε γνωσιακές και μαθησιακές λειτουργίες που απαιτούν μεγαλύτερους χρόνους πραγματοποίησης (Wegner, D. M., 1987). Στο Σχήμα Αξιολόγησης ο άξονας της Κοινής Επεξεργασίας της Πληροφορίας αναλύεται σε δύο επιμέρους συνεργατικές διαστάσεις: Ανταλλαγή Γνώσης (ΣΔ3) Επιχειρηματολογία (ΣΔ4) Η τρίτη διάσταση της ανταλλαγής γνώσης (ΣΔ3) εξετάζει την αποτελεσματικότητα των χρηστών στο να επικοινωνούν την γνώση που έχουν πάνω σε ένα θέμα, ή την ικανότητα και την διάθεση που δείχνουν στο να δίνουν εξηγήσεις όταν τους ζητηθεί ενώ η τέταρτη διάσταση της επιχειρηματολογίας (ΣΔ4) αξιολογεί τον βαθμό στον οποίο οι χρήστες μίας ομάδας ανταλλάσσουν απόψεις και επιχειρήματα όταν υπερασπίζονται 52

63 μία απόφαση ή άποψή τους ή ακόμα όταν διαφωνούν με τις αποφάσεις που παίρνει η ομάδα ΣΥΝΤΟΝΙΣΜΟΣ Ο σωστός και αποτελεσματικός συντονισμός (Coordination) των χρηστών, ιδιαιτέρως όταν συνεργάζονται μέσω εφαρμογών που επιτρέπουν την κοινή χρήση πόρων, είναι μία πολύ σημαντική διάσταση της συνεργασίας και ενδεικτική για την ποιότητά της. Τα συνεργαζόμενα μέρη σε μία ποιοτικά καλή συνεργασία αναμένεται να συντονίζονται όχι μόνο στο χαμηλό επίπεδο των ερωτ-απαντήσεων όπως ορίζεται στην περίπτωση της επικοινωνίας (Παράγραφος 0) αλλά επιπλέον να είναι σε θέση να λύσουν αποτελεσματικά και με βέλτιστο τρόπο τυχόν συγκρούσεις και προβλήματα που ενδέχεται να προκύψουν από τις σχέσεις αλληλεξάρτησης χρηστών και κοινόχρηστων αντικειμένων. Αυτές οι συγκρούσεις ως επί το πλείστον παρατηρούνται σε εργασίες που οι χρήστες δεν εκτελούν συχνά ή είναι ιδιαίτερα πολύπλοκες (Meier, A. et al., 2007). Ο τρόπος που δομείται η στρατηγική μίας ομάδας ως προς την διαδικασία επίλυσης και διεκπεραίωσης που της έχει ανατεθεί τόσο ως προς τον χρόνο όσο και ως προς τον ρόλο που καλείται να διαδραματίσει κάθε συνεργαζόμενο μέλος, θεωρείται ενδεικτικός του καλού ή κακού συντονισμού της ομάδας και αποτελεί κριτήριο αξιολόγησής της (Meier, A. et al., 2007). Στο σχήμα αξιολόγησης, ο άξονας του συντονισμού αντιπροσωπεύεται από μία συνεργατική διάσταση: Δόμηση της διαδικασίας επίλυσης προβλήματος (ΣΔ5) ΔΙΑΧΕΙΡΙΣΗ ΔΙΑΠΡΟΣΩΠΙΚΩΝ ΣΧΕΣΕΩΝ Η κοινωνική οριοθέτηση της ομάδας και ο τρόπος που τα μέλη διαχειρίζονται την μεταξύ τους σχέση σε μία κοινή δραστηριότητα εκφράζεται με τον άξονα της διαχείρισης διαπροσωπικών σχέσεων (Interpersonal Relationship) του Σχήματος Αξιολόγησης. Συμπεριφορές της καθημερινής ζωής που θεωρούνται «καλές» σε κοινωνικά πλαίσια, όπως για παράδειγμα η προσφορά βοήθειας, η φιλική αντιμετώπιση, η παραχώρηση του λόγου και η διαπραγμάτευση σε περίπτωση διαφωνίας, είναι εξίσου επιθυμητές στην συνεργατική μάθηση και αξιολογούνται αντίστοιχα. Τέτοια παραδείγματα καλής διάθεσης και συμπεριφοράς όμως είναι δύσκολο να εντοπισθούν όταν η συνεργασία λαμβάνει χώρα μέσω υπολογιστή και ιδιαίτερα όταν η επικοινωνία υποστηρίζεται μόνο με γραπτά μηνύματα και άλλους τρόπους αλληλεπίδρασης των χρηστών μέσω αντικειμένων στον κοινόχρηστο χώρο εργασίας που είναι άμεσα συνδεδεμένοι με τον κοινό σκοπό της ομάδας. Η αξιολόγηση της διαχείρισης της διαπροσωπικής σχέσης σε επίπεδο ομάδας τότε γίνεται με την αξιολόγηση της συμμετρίας που παρουσιάζει η σχέση της ομάδας, την έκταση 53

64 της επικοινωνίας και τον τρόπο που διαχειρίζεται η ομάδα τις κρίσεις και τις διαφωνίες (Spada, H. et al., 2005). Μία ομάδα θεωρείται ότι διέπεται από συμμετρία στις σχέσεις της όταν τα μέλη της διαπραγματεύονται και συζητούν ώστε να λάβουν αποφάσεις από κοινού ενώ η ομάδα δεν επιτρέπει σε κανένα μέλος της να πάρει αρχηγικό ή κυρίαρχο ρόλο στην εργασία εις βάρος των άλλων μελών της ομάδας. Η συμμετρία ορίζεται και χαρακτηρίζεται από την κατάσταση των συνεργαζόμενων μερών, τα δικαιώματα που αποκτά ο καθένας και την κατανομή των πόρων που έχει η ομάδα στη διάθεσή της κατά τη συνεργασία και πως/από ποιους αυτοί οι πόροι χρησιμοποιούνται (Dillenbourg, P., 1999). Στο παρόν σχήμα, ο άξονας της διαχείρισης της Διαπροσωπικών Σχέσεων αξιολογείται από μία συνεργατική διάσταση: Συνεργατικός Προσανατολισμός (ΣΔ6) ΑΤΟΜΙΚΑ ΚΙΝΗΤΡΑ Πέραν τον τεσσάρων συνεργατικών αξόνων που περιγράφηκαν στις προηγούμενες παραγράφους και χρησιμοποιούνται από το Σχήμα Αξιολόγησης για την αποτίμηση της ποιότητας συνεργατικών δραστηριοτήτων, το σχήμα ορίζει και έναν πέμπτο άξονα με το όνομα Ατομικά Κίνητρα και ο οποίος αφορά στην προσωπική οριοθέτηση του χρήστη απέναντι στην δραστηριότητα. Ο άξονας αυτός περιγράφεται στο παρόν σχήμα από την διάσταση του Προσωπικού Προσανατολισμού. Σε προηγούμενες εργασίες έχει παραλειφθεί από την συνολική εκτίμηση της γενικής εικόνας της ποιότητας συνεργατικών δραστηριοτήτων καθώς ουσιαστικά με την αξιολόγησή του αποτιμάται η προσωπική τοποθέτηση του κάθε χρήστη και όχι η εικόνα της ομάδας ως σύνολο (Kahrimanis, G., 2010). Στην παρούσα εργασία ο πέμπτος άξονας και η έβδομη συνεργατική διάσταση δεν εξετάζονται καθώς θεωρείται ότι δεν αποτελούν συνεργατικές διαστάσεις. 3.5 ΕΦΑΡΜΟΓΗ ΤΟΥ ΣΧΗΜΑΤΟΣ ΑΞΙΟΛΟΓΗΣΗΣ ΣΕ ΠΡΑΓΜΑΤΙΚΕΣ ΔΡΑΣΤΗΡΙΟΤΗΤΕΣ Το τροποποιημένο Σχήμα Αξιολόγησης εφαρμόστηκε για την αποτίμηση της ποιότητας της συνεργασίας δραστηριοτήτων που συλλέχτηκαν όπως περιγράφει η παράγραφος Η αξιολόγηση έγινε από δύο έμπειρους αξιολογητές οι οποίοι είχαν εκπαιδευθεί κατάλληλα και είχαν επιπλέον στη διάθεσή τους εγχειρίδιο χρήσης του Σχήματος Αξιολόγησης με παραδείγματα καλών και κακών πρακτικών. Συνολικά αξιολογήθηκαν 228 συνεργατικές δραστηριότητες σε δύο διακριτές φάσεις. Από το σύνολο δεδομένων, οι 101 συνεργατικές συνεδρίες χρησιμοποιήθηκαν για την εμπειρική αξιολόγηση του Σχήματος Αξιολόγησης στο τελικό στάδιο δοκιμών του ενώ οι 54

65 υπόλοιπες συνεδρίες χρησιμοποιήθηκαν στα στάδια σχεδιασμού αξιολόγησης - επανασχεδιασμού του αρχικού σχήματος αξιολόγησης των Meier. et. al προκειμένου να καλύπτει τις ιδιαιτερότητες και τις ανάγκες του νέου συνεργατικού σκηνικού. Τα αποτελέσματα της εμπειρικής αξιολόγησης έδειξαν πως το σχήμα υιοθετήθηκε επιτυχώς στο σενάριο συνεργατικής μάθησης και χρησιμοποιήθηκε αποτελεσματικά από τους έμπειρους αξιολογητές, των οποίων οι βαθμολογίες κινήθηκαν σε μεγάλα ποσοστά συμφωνίας για όλες τις συνεργατικές διαστάσεις. Τα αποτελέσματα των ελέγχων αξιοπιστίας (reliability scores) που πραγματοποιήθηκαν κρίθηκαν περισσότερο από ικανοποιητικά για το σύνολο των συνεργατικών διαστάσεων. Ο συντελεστής ενδοσυσχέτισης ICC (Intra-Class Correlation Coefficient) υπολογίστηκε μεταξύ των τιμών 0.83 και 0.95 ενώ ο συντελεστής α του Cronbach (Cronbach s a) κινήθηκε στο διάστημα [0.91, 0.98] (Kahrimanis, G. et al., 2009). Τόσο ο συντελεστής ενδοσυσχέτισης ICC όσο και ο συντελεστής α του Cronbach αποτελούν δημοφιλείς και ευρέως διαδεδομένες στατιστικές μεθόδους για την αποτίμηση της αξιοπιστίας εκτιμήσεων μεταξύ αξιολογητών (Cronbach, L. J., 1951; Koch, G. G., 1982). Η αποτίμηση της ποιότητας της συνεργασίας έγινε για όλες τις συνεργατικές διαστάσεις σε μία κλίμακα Likert πέντε σημείων, στο εύρος τιμών [-2, +2], με την τιμή (+2) να αντιπροσωπεύει το άριστο και την τιμή (-2) το χείριστο (Likert, R., 1932). Επιπλέον, για την συνολική εκτίμηση της ποιότητας της συνεργασίας, ορίστηκε η γενική διάσταση της Ποιότητας της Συνεργασίας, η οποία δεν βαθμολογείται από τους αξιολογητές αλλά η τιμή της ορίζεται ως ο μέσος όρος των αξιολογήσεων των έξι συνεργατικών διαστάσεων του σχήματος αξιολόγησης (1). 1. = ( ) 3.6 ΑΠΟ ΤΟ ΣΧΗΜΑ ΑΞΙΟΛΟΓΗΣΗΣ ΣΤΗΝ ΑΥΤΟΜΑΤΗ ΔΙΑΔΙΚΑΣΙΑ Το Σχήμα Αξιολόγησης που περιγράφηκε στην προηγούμενη παράγραφο (Παράγραφος 3.4), δίνει την δυνατότητα στους συντονιστές/αξιολογητές συνεργατικών δραστηριοτήτων να αποκτήσουν ή να αποτιμήσουν τα ποιοτικά χαρακτηριστικά μίας δραστηριότητας ή γενικότερα την ποιότητα της συνεργασίας με ποσοτικούς δείκτες, δηλαδή με την απόδοση μιας βαθμολογίας και μάλιστα με τρόπο αντικειμενικό. Παρόλα αυτά οι δυσκολίες που ενέχουν οι ποιοτικοί τρόποι ανάλυσης και αξιολόγησης των συνεργατικών δραστηριοτήτων (χρονοβόρα και κοπιαστική διαδικασία, ανάγκη εξειδικευμένου ανθρώπινου δυναμικού ή εκπαίδευση ειδικών) συνεχίζουν να υφίστανται και σε αυτή την περίπτωση. Από την άλλη, οι μετρικές δραστηριότητας που ήδη προσέφερε η εφαρμογή Synergo (Παράγραφος ), εμπλουτισμένες με την εισαγωγή νέων μετρικών που εξάγονται από τα αρχεία καταγραφής αν και συσχετίζονταν θεωρητικά με την ποιότητα της συνεργασίας, δεν υπήρχε μελέτη που να 55

66 τεκμηρίωνε αυτή την συσχέτιση στο συγκεκριμένο πλαίσιο συνεργατικής μάθησης. Με αυτό το σκεπτικό και έχοντας υπόψη την ανάγκη μίας αυτοματοποιημένης μεθόδου ανάλυσης και αξιολόγησης των υπολογιστικά υποστηριζόμενων συνεργατικών δραστηριοτήτων, προτάθηκε συνδυαστική χρήση των ποιοτικών αξιολογήσεων με χρήση του Σχήματος Αξιολόγησης και των μετρικών δραστηριότητας όπως αυτές εξάγονται και υπολογίζονται από τα αρχεία καταγραφής της συνεργατικής εφαρμογής Synergo. Τα αποτελέσματα αυτής της εργασίας αποτέλεσαν και τη βάση για το θεωρητικό μεθοδολογικό πλαίσιο και έρευνα για την παρούσα διδακτορική εργασία ΑΥΤΟΜΑΤΕΣ ΜΕΤΡΙΚΕΣ ΣΥΝΕΡΓΑΣΙΑΣ Οι αυτόματες μετρικές συνεργασίας που παρουσιάζονται στο παρόν κεφάλαιο, αφορούν στην συνεργατική δραστηριότητα τόσο στον κοινόχρηστο χώρο εργασίας όσο και στο εργαλείο ανταλλαγής μηνυμάτων. Ως επί το πλείστον είναι γενικά ορισμένες και θα μπορούσαν να χρησιμοποιηθούν και στην περίπτωση άλλων συνεργατικών εφαρμογών, παρόλα αυτά μερικές μετρικές είναι άμεσα συσχετιζόμενες με την εφαρμογή Synergo καθώς ακολουθούν το πρότυπο καταγραφής OCAF που υιοθετεί η εφαρμογή. Επιπλέον πρέπει να σημειωθεί ότι οι μετρικές δραστηριότητας υπολογίζονται για το σύνολο της κάθε συνεργατικής δραστηριότητας και συνεπώς απαιτούν την ολοκλήρωσή της, ενώ δεν έχει μελετηθεί τυχόν σχέση της κατανομής των μετρικών αυτών στον χρόνο με την ποιοτική εξέλιξη της δραστηριότητας. Η εργασία που παρουσιάζεται εδώ έχει γίνει στα πλαίσια της γενικότερης έρευνας της ομάδας Συνεργατικών Τεχνολογιών του Εργαστηρίου Αλληλεπίδρασης του τμήματος Ηλεκτρολόγων Μηχανικών και Τεχνολογίας Υπολογιστών του Πανεπιστημίου Πατρών και έχει αποτελέσει μέρος διδακτορικών διατριβών (Kahrimanis, G., 2010; Margaritis, M., 2006) και άλλων δημοσιευμένων εργασιών (Kahrimanis, G. et al., 2012; Kahrimanis, G. et al., 2010). Συνοπτικά οι αυτόματες μετρικές συνεργατικής δραστηριότητας χωρίζονται σε τρεις μεγάλες, γενικές κατηγορίες: τις μετρικές που αφορούν στην διαλογική δραστηριότητα, δηλαδή την δραστηριότητα που λαμβάνει χώρα στο εργαλείο ανταλλαγής μηνυμάτων της εφαρμογής (chat activity - CΑ), την δραστηριότητα στον κοινόχρηστο χώρο εργασίας (workspace activity ΜWA, OWA), και την συνολική δραστηριότητα (EA). Οι μετρικές του κοινόχρηστου χώρου εργασίας χωρίζονται στην συνέχεια σε τρεις υποκατηγορίες, ανάλογα με την τυπολογία των ενεργειών που ακολουθεί το Synergo. Οι τρεις αυτές υποκατηγορίες είναι οι εξής: - Κύριες ενέργειες στον κοινόχρηστο χώρο εργασίας (MWA): αφορά στις κύριες ενέργειες της εφαρμογής (συγκεκριμένα πρόκειται για τις ενέργειες που εμπίπτουν στις κατηγορίες «δημιουργία αντικειμένου», «διαγραφή 56

67 αντικειμένου», «τροποποίηση αντικειμένου», «επικόλληση αντικειμένου» και «εισαγωγή συσχέτισης αντικειμένου»). - Κύριες και δευτερεύουσες ενέργειες στον κοινόχρηστο χώρο εργασίας (OWA): αφορά στο σύνολο των ενεργειών του κοινόχρηστου χώρου χωρίς να εξαιρείται καμμία (συγκεκριμένα πρόκειται για τις ενέργειες που εμπίπτουν στις κατηγορίες που αναφέρθηκαν στην προηγούμενη περίπτωση και επιπροσθέτως τις ενέργειες τύπου «μεταβολή μεγέθους αντικειμένου», «μετακίνηση αντικειμένου» και «έμφαση αντικειμένου») - Σύνολο ενεργειών (ΕA): αφορά στο σύνολο των ενεργειών του κοινόχρηστου χώρου εργασίας αλλά και του εργαλείου ανταλλαγής μηνυμάτων της εφαρμογής. Για τις τρεις κατηγορίες ενεργειών που προαναφέρθηκαν υπολογίστηκαν οι μετρικές τριών τύπων: - Aθροίσματα των ενεργειών [ ] ανά κατηγορία για κάθε συνεργατική συνεδρία - Ρυθμοί μεταβολής των ενεργειών [ ] ανά κατηγορία για κάθε συνεργατική συνεδρία, όπου ως ρυθμός μεταβολής ορίζεται το πηλίκο του αθροίσματος των ενεργειών που ανήκει σε μία κατηγορία δια την διάρκεια της συνεργατικής συνεδρίας. - Συμμετρία Ενεργειών [ ] ως προς τον κύριο δράστη ανάμεσα στα συνεργαζόμενα μέρη (και με την λέξη «δράστης» εννοείται ο χρήστης που έκανε την κάθε ενέργεια - actor), όπου η συμμετρία [Sym] δίδεται από τη σχέση: o ί = 1 όπου: (!"!) (Avouris, N. et al., 2004)!! Ε1: το άθροισμα των ενεργειών ενός χρήστη και Ε2: το άθροισμα των ενεργειών του έτερου χρήστη. - Εναλλαγές ρόλων [] του κυρίου δράστη μίας ενέργειας που ανήκει σε μία κατηγορία ανάμεσα στα συνεργαζόμενα μέρη - Ρυθμός εναλλαγής ρόλων [ ] κυρίου δράστη μίας ενέργειας συγκεκριμένης κατηγορίας ανάμεσα στα συνεργαζόμενα μέρη και κατά τη διάρκεια μίας συνεργατικής συνεδρίας - Μέση τιμή του χρόνου απόκρισης [ ] ενεργειών. Ως χρόνος απόκρισης ορίζεται ο χρόνος που μεσολαβεί μεταξύ δύο διαδοχικών ενεργειών από διαφορετικούς χρήστες. Η μέση τιμή υπολογίζεται στη συνολική διάρκεια της συνεργατικής συνεδρίας. 57

68 - Μέσος όρος του χρόνου απόκρισης [ ] ενεργειών. Και σε αυτή την περίπτωση ως χρόνος απόκρισης ορίζεται ο χρόνος που μεσολαβεί μεταξύ δύο διαδοχικών ενεργειών από διαφορετικούς χρήστες. Ο μέσος όρος υπολογίζεται στη συνολική διάρκεια της συνεργατικής συνεδρίας. - Αριθμός χρονικών διαστημάτων [ ] X δευτερολέπτων απουσία δραστηριότητας της ίδιας τυπολογίας. Μετρά τον αριθμό των διαστημάτων όπου απουσιάζει η δραστηριότητα συγκεκριμένου τύπου και τα οποία υπερβαίνουν τα X δευτερόλεπτα το κάθε ένα. Ο αριθμός X ορίζεται από τον χρήστη/αναλυτή. Ακόμη, μετρικές οι οποίες δεν εμπίπτουν σε κάποια από τις προαναφερθείσες κατηγορίες ορίστηκαν επιπλέον (μερικές από αυτές ήδη προϋπήρχαν στα εργαλεία ανάλυσης της εφαρμογής) και μελετήθηκαν κατά την διεξαγωγή σχετικών πειραμάτων. Αυτές οι μετρικές είναι οι εξής: - μέσος όρος λέξεων ανά μήνυμα (AWM) - αριθμός ερωτηματικών σημείων στίξης για όλη τη διάρκεια της συνεδρίας (NQM) - συμμετρία εναλλαγών εννοιολογικού περιεχομένου αντικειμένων του κοινόχρηστου χώρου εργασίας (STC) - αριθμός αντικειμένων που τροποποιήθηκαν από διαφορετικούς χρήστες περισσότερο από X φορές (NOA_X). Ο αριθμός Χ εισάγεται κατά βούληση από τον χρήστη/αναλυτή. Συνολικά εξετάστηκαν τριανταέξι μετρικές δραστηριότητας, οκτώ για την δραστηριότητα στο εργαλείο ανταλλαγής μηνυμάτων, δεκαέξι για την δραστηριότητα στον κοινόχρηστο χώρο εργασίας (οκτώ για τις κύριες ενέργειες σύμφωνα με την τυπολογία που παρουσιάστηκε νωρίτερα και οκτώ για το σύνολο των ενεργειών), οκτώ μετρικές για το σύνολο της δραστηριότητας και τέσσερις ανεξάρτητες μετρικές. Οι μετρικές δραστηριότητας οι οποίες ορίστηκαν και εξετάστηκαν για την συσχέτισή τους με τις ποιοτικές διαστάσεις της συνεργασίας, όπως αυτές ορίζονται από το Σχήμα Αξιολόγησης (Παράγραφος 3.2), περιγράφονται συνοπτικά στην Εικόνα ΕΦΑΡΜΟΓΗ ΑΥΤΟΜΑΤΩΝ ΜΕΤΡΙΚΩΝ ΣΥΝΕΡΓΑΣΙΑΣ ΣΕ ΠΡΑΓΜΑΤΙΚΕΣ, ΠΡΟ-ΑΞΙΟΛΟΓΗΜΕΝΕΣ ΔΡΑΣΤΗΡΙΟΤΗΤΕΣ Οι μετρικές συνεργατικής δραστηριότητας, όπως ορίστηκαν στην παράγραφο εφαρμόστηκαν στο πλήρες σύνολο δεδομένων των 228 συνεργατικών συνεδριών (παράγραφος 3.3.1). Στη συνέχεια τα αποτελέσματα για όλες τις μετρικές συνολικά τριάνταέξι συσχετίστηκαν με τις βαθμολογίες που απέδωσαν οι αξιολογητές τόσο ανά τις επί μέρους συνεργατικές διαστάσεις αλλά και για την γενική διάσταση της 58

69 Ποιότητας της Συνεργασίας, ως μέσος όρος των έξι, συνεργατικών διαστάσεων του Σχήματος Αξιολόγησης: = (#1+#2+#3+#4+#5+#6) 6 Οι μετρικές διαλογικής δραστηριότητας, δηλαδή οι μετρικές που αφορούν στην δραστηριότητα στο εργαλείο ανταλλαγής μηνυμάτων, εμφάνισαν τις περισσότερες συσχετίσεις με τις βαθμολογίες των αξιολογητών τόσο ανά συνεργατική διάσταση αλλά και για την γενική διάσταση της Ποιότητας της Συνεργασίας. Αν και όλες οι συνεργατικές διαστάσεις παρουσιάζουν συσχετίσεις με τις περισσότερες μετρικές του διαλόγου, οι ισχυρότερες συσχετίσεις εμφανίζονται για τις διαστάσεις που εκφράζουν επικοινωνία και επεξεργασία πληροφορίας, δηλαδή τις διαστάσεις της Επιχειρηματολογίας, της Συνεργατικής Ροής και της Ανταλλαγής Γνώσης. Η επεξεργασία πληροφορίας και η επικοινωνία είναι διεργασίες που εξελίσσονται και εξυπηρετούνται σχεδόν αποκλειστικά μέσω των μηνυμάτων που ανταλλάσσουν οι χρήστες στο εργαλείο ανταλλαγής μηνυμάτων. Έτσι ο όγκος των μηνυμάτων και η εναλλαγή των χρηστών στον ρόλο του αποστολέα είναι μετρικές που αναμένεται να συσχετίζονται άμεσα με την ποιότητα της συνεργασίας όσον αφορά σε αυτούς τους άξονες. Συγκεκριμένα, οι μετρικές διαλόγου που εκφράζουν συνολικό αριθμό και ρυθμό μηνυμάτων, συνολικό αριθμό και ρυθμό εναλλαγής χρηστών ως αποστολείς μηνυμάτων εμφανίζουν στατιστικά σημαντικά μέτριες ή ισχυρές συσχετίσεις για την πλειοψηφία των συνεργατικών διαστάσεων. Για τη μετρική της συμμετρίας δεν εμφανίζεται καμία στατιστικά σημαντική συσχέτιση για καμιά συνεργατική διάσταση. Οι μετρικές που περιγράφουν την δραστηριότητα στον κοινόχρηστο χώρο εργασίας δεν εμφανίζουν τόσο ισχυρές συσχετίσεις όσο οι μετρικές του διαλόγου, παρόλα αυτά έγιναν αρκετές χρήσιμες παρατηρήσεις. Ο μεγάλος όγκος δραστηριότητας στον κοινόχρηστο χώρο, που υποδηλώνεται από μετρικές όπως ο συνολικός αριθμός και κύριων και δευτερευουσών ενεργειών, βρέθηκε να συσχετίζεται αρνητικά με πολλές διαστάσεις του Σχήματος Αξιολόγησης. Συνεπώς η υπερβολικά έντονη δραστηριότητα στον κοινόχρηστο χώρο εργασίας θεωρήθηκε ένδειξη κακού συντονισμού μεταξύ των συνεργαζόμενων μερών. Η διάσταση που συσχετίζεται σε μεγαλύτερο βαθμό (αρνητικά) με αυτές τις μετρικές είναι η διάσταση της Συνεργατικής Ροής. Επίσης η μετρική συμμετρίας της δραστηριότητας στον κοινόχρηστο χώρο εμφανίζει θετικές συσχετίσεις για την συνεργατική διάσταση που εκφράζει Προσωπικό Προσανατολισμό. 59

70 + Εικόνα 3-4. Συνοπτική απεικόνιση των μετρικών δραστηριότητας που ορίστηκαν και των οποίων η σχέση με τα ποιοτικά χαρακτηριστικά της συνεργασίας μελετήθηκε διεξοδικά σε μελέτες ανάλυσης συνεργατικής δραστηριότητας. Τα αποτελέσματα αυτής της μελέτης έχουν δημοσιευθεί και έχουν αποτελέσει μέρος πολυετούς έρευνας της ομάδας Συνεργατικών Τεχνολογιών του εργαστηρίου Αλληλεπίδρασης Ανθρώπου-Υπολογιστή και άλλων διδακτορικών διατριβών (Kahrimanis, G., 2010; Kahrimanis, G. et al., 2010) ΕΝΣΩΜΑΤΩΣΗ ΤΩΝ ΑΥΤΟΜΑΤΩΝ ΜΕΤΡΙΚΩΝ ΣΥΝΕΡΓΑΣΙΑΣ ΣΤΗΝ ΣΥΝΕΡΓΑΤΙΚΗ ΕΦΑΡΜΟΓΗ Η μελέτη των αυτόματων μετρικών συνεργασίας είχε ως κύριο σκοπό την υποστήριξη της ανάλυσης και αξιολόγησης συνεργατικών δραστηριοτήτων με αυτόματους ή ημιαυτόματους τρόπους προκειμένου να ελαχιστοποιηθούν οι απαιτήσεις σε ανθρώπινους πόρους αλλά επιπλέον ο κόπος και ο χρόνος που δαπανούσαν οι αξιολογητές/ συντονιστές για να βαθμολογήσουν συνεργατικές δραστηριότητες. Στην ειδική περίπτωση που πραγματεύεται η συγκεκριμένη μελέτη (συνεργασία δυάδων για 60

71 την κατασκευή διαγραμμάτων ροής στο περιβάλλον της εφαρμογής Synergo και στα πλαίσια εργαστηριακού μαθήματος), η αξιολόγηση γινόταν από δύο (συνήθως) αξιολογητές οι οποίοι ήταν και διδάσκοντες του εργαστηρίου. Η βαθμολόγηση γινόταν με χρήση του Σχήματος Αξιολόγησης (παράγραφος 3.2) κατόπιν επισκόπησης της δραστηριότητας διάρκειας μιάμισης ώρας κατά μέσο όρο - μέσω του εργαλείου αναπαραγωγής της εφαρμογής Synergo (παράγραφος ). Η διαδικασία αξιολόγησης, πέραν του ότι απαιτούσε δύο αξιολογητές, αποδεικνυόταν εξαιρετικά χρονοβόρα και κοπιαστική καθώς ανά ακαδημαϊκό εξάμηνο περίπου 150 αντίστοιχες συνεδρίες λάμβαναν χώρα. Συνεπώς η αυτοματοποίηση της διαδικασίας ή έστω η υποστήριξή της μερικώς από αυτοματοποιημένες τεχνικές κρίθηκε απαραίτητη. Η θεωρητική τεκμηρίωση της προσέγγισης ήταν αφ ενός απαραίτητη, αφ ετέρου όμως έπρεπε να γίνουν οι απαραίτητες τροποποιήσεις στα εργαλεία που χρησιμοποιούσαν έως τότε οι αξιολογητές έτσι ώστε η ζητούμενη πληροφορία να ανασυρθεί από τα αρχεία καταγραφής με βέλτιστο τρόπο και με ελάχιστους πόρους. Η διαδικασία εξαγωγής των μετρικών έπρεπε να δύναται να εκτελείται ανά πάσα χρονική στιγμή μετά την ολοκλήρωση των δραστηριοτήτων χωρίς ιδιαίτερες απαιτήσεις λογισμικού ή χρονοβόρες διαδικασίες. Επιπλέον, οι μετρικές δραστηριότητας έπρεπε να παρουσιάζονται στην οθόνη του αξιολογητή αλλά επιπλέον να δίνεται δυνατότητα εξαγωγής τους σε ειδικά αρχεία για τη μελλοντική, στατιστική επεξεργασία τους. Γι αυτό τον λόγο αποφασίστηκε αντί νέας εφαρμογής διαχείρισης και στατιστικής επεξεργασίας αρχείων καταγραφής, να ενσωματωθούν οι μετρικές στα ήδη υπάρχοντα εργαλεία ανάλυσης που παρείχε η εφαρμογή υποστήριξης της συνεργασίας. Στην Εικόνα 3-5, απεικονίζεται η διεπιφάνεια αξιολογητή και συγκεκριμένα η οθόνη στατιστικών/αυτόματων μετρικών συνεργασίας όπως εμφανιζόταν στην αρχική, πρωτότυπη έκδοση της εφαρμογής Synergo (έκδοση 3). Στην κεντρική οθόνη παρουσιάζονται οι υπάρχουσες συνεργατικές δραστηριότητες (όπως ο αναγνώστης μπορεί να διακρίνει στην εικόνα: Β3_10_(t), Β3_10_(t), και ούτω καθ εξής) για τις οποίες ο χρήστης μπορεί να ζητήσει την εξαγωγή των στατιστικών στοιχείων που έχει στη διάθεσή του μέσω του παραθύρου που καλείται και εμφανίζεται κατ απαίτηση του χρήστη. Το παράθυρο μετρικών (όπως θα το ονομάζουμε από εδώ και στο εξής για λόγους ευκολίας) χωρίζεται σε δύο μέρη τα οποία δεν είναι αυστηρώς εννοιολογικά ορισμένα: Το μέρος των «γνωρισμάτων ενεργειών κοινόχρηστου χώρου» (action attributes) και το μέρος των «γνωρισμάτων του διαλόγου» (dialogue attributes). Προφανώς το πρώτο μέρος αναφέρεται στην δραστηριότητα που εξελίσσεται στον κοινόχρηστο χώρο εργασίας και το δεύτερο στην δραστηριότητα του εργαλείου ανταλλαγής μηνυμάτων, παρ όλα αυτά υπάρχουν μετρικές που περιγράφουν τη συνολική δραστηριότητα αν και ταξινομούνται ως χαρακτηριστικά του κοινόχρηστου χώρου εργασίας. Συνολικά είναι διαθέσιμες δεκατέσσερις μετρικές, μερικές εκ των 61

72 οποίων αφορούν περιγραφικά στοιχεία της κάθε συνεδρίας, όπως για παράδειγμα την διάρκειά της και τον αριθμό των συνεργαζόμενων χρηστών, ενώ οι υπόλοιπες αποτέλεσαν τη βάση και χρησιμοποιήθηκαν για την ανάπτυξη του νέου καταλόγου αυτοματοποιημένων μετρικών. Αρχικά η εφαρμογή έδινε τη δυνατότητα εξαγωγής των στατιστικών στοιχείων σε αρχεία τύπου *.arff που χρησιμοποιούνται από προγράμματα στατιστικής επεξεργασίας. Αυτή η δυνατότητα διατηρήθηκε και στη νέα έκδοση του εργαλείου. Θεωρήθηκε σκόπιμο, για λόγους συνέπειας και ομοιομορφίας με την υπόλοιπη εφαρμογή, να διατηρηθεί στην νέα έκδοση εργαλείων ανάλυσης ο ίδιος σχεδιασμός. Έτσι ενσωματώσαμε τις μετρικές στην παλιά διεπιφάνεια. Επιπλέον κρίθηκε απαραίτητη η ανανέωση του κώδικα που υλοποιούσε την επεξεργασία των αρχείων καταγραφής για λόγους αποδοτικότητας, καθώς με την εισαγωγή νέων μετρικών - ουσιαστικά ο αριθμός των μετρικών υπερδιπλασιάστηκε - ο συνολικός χρόνος που απαιτεί η εφαρμογή αλλά και οι πόροι επεξεργασίας αυξήθηκε. Στην Εικόνα 3-6 παρουσιάζεται το νέο παράθυρο μετρικών, έτσι όπως διαμορφώθηκε μετά την εισαγωγή όλων των μετρικών που παρουσιάστηκαν στην παράγραφο 3.6.1). Συνολικά παρέχονται τριάντα εννέα μετρικές, καθώς στον νέο κατάλογο μετρικών ενσωματώθηκαν μερικά περιγραφικά στατιστικά τα οποία προϋπήρχαν στην αρχική έκδοση της εφαρμογής. Εικόνα 3-5. Διεπιφάνεια Αξιολογητή, οθόνη στατιστικών / αυτόματων μετρικών συνεργασίας της πρωτότυπης έκδοσης (έκδοση 3.0) της συνεργατικής εφαρμογής Synergo. 62

73 Το παράθυρο μετρικών χωρίστηκε σε πέντε μέρη με βάση την εννοιολογική σημασία των μετρικών δραστηριότητας: - Γνωρίσματα ενεργειών κοινόχρηστου χώρου (action attributes) Δεκαεπτά συνολικά μετρικές οι οποίες περιγράφουν την δραστηριότητα (άθροισμα, μέση τιμή και μέσο όρο) των ενεργειών στον κοινόχρηστο χώρο εργασίας. Οι περιγραφικές μετρικές (όπως για παράδειγμα διάρκεια συνεδρίας, αριθμός συνεργαζόμενων χρηστών και ούτω καθεξής) που προϋπήρχαν στην συγκεκριμένη λίστα στην προηγούμενη έκδοση των εργαλείων ανάλυσης, διατηρήθηκαν για λόγους συνέπειας. - Γνωρίσματα διαλογικής δραστηριότητας (Dialogue attributes) - Οκτώ μετρικές (αθροίσματα, μέσες τιμές και μέσοι όροι) που περιγράφουν την δραστηριότητα στο εργαλείο ανταλλαγής μηνυμάτων. Οι περισσότερες από τις μετρικές διαλόγου προϋπήρχαν στο εργαλείο Synergo. - Γνωρίσματα ρυθμών μεταβολής ενεργειών (Rates of Action Attributes) Πέντε μετρικές που περιγράφουν τον ρυθμό μεταβολής της δραστηριότητας τόσο στο εργαλείο ανταλλαγής μηνυμάτων όσο και στον κοινόχρηστο χώρο εργασίας. Η έννοια του ρυθμού μεταβολής δραστηριότητας συστήθηκε για πρώτη φορά στην παρούσα έκδοση της εφαρμογής. - Γνωρίσματα Αντικειμένων (Object Attributes) εννέα μετρικές δραστηριότητας οι οποίες αναφέρονται αποκλειστικά και μόνο στα αντικείμενα του κοινόχρηστου χώρου εργασίας. Η παρούσα κατηγορία μετρικών εκμεταλλεύεται τον «αντικειμενοστραφή» χαρακτήρα του εννοιολογικού πλαισίου OCAF και θεωρείται ενδεικτικός τρόπος περιγραφής της επικοινωνίας που ενδέχεται να αναπτύξουν οι συνεργαζόμενοι χρήστες μέσω ενός αντικειμένου στον χώρο εργασίας και όχι με τον κλασσικό τρόπο ανταλλαγής γραπτών μηνυμάτων. Μέσω του παραθύρου μετρικών, ο χρήστης μπορεί να επιλέξει τις μετρικές δραστηριότητας που τον ενδιαφέρουν και είτε να μελετήσει τα αποτελέσματα στην οθόνη (στη μορφή που απεικονίζει η Εικόνα 3-7) είτε να επιλέξει την εξαγωγή τους σε ειδικό αρχείο για περαιτέρω μελέτη και επεξεργασία τους. Η μετατροπή παλιών και υλοποίηση νέων εργαλείων για να υποστηριχθεί η προηγούμενη μελέτη έγινε από την υποψήφια διδάκτορα στα πρώτα στάδια της διδακτορικής έρευνας και αποτέλεσε το «εναρκτήριο λάκτισμα» για την μεθοδολογία που παρουσιάζεται στην παρούσα διδακτορική διατριβή. 63

74 Εικόνα 3-6. Διεπιφάνεια Αξιολογητή, οθόνη στατιστικών / αυτόματων μετρικών συνεργασίας της νέας τροποποιημένης έκδοσης της συνεργατικής εφαρμογής Synergo που υποστηρίζει τις αυτόματες μετρικές συνεργασίας οι οποίες παρουσιάζονται στο παρόν κεφάλαιο. Εικόνα 3-7. Οθόνη παρουσίασης των αποτελεσμάτων για τις μετρικές που επέλεξε ο χρήστης σε προηγούμενο βήμα από το παράθυρο μετρικών. 64

75 3.7 ΕΠΙΛΟΓΟΣ ΚΕΦΑΛΑΙΟΥ Στο παρόν κεφάλαιο παρουσιάστηκε το Σχήμα Αξιολόγησης που χρησιμοποιείται ως εργαλείο αξιολόγησης συνεργατικών δραστηριοτήτων στην παρούσα μελέτη και για την μετέπειτα αξιολόγηση των αποτελεσμάτων της προτεινόμενης μεθοδολογίας. Το Σχήμα Αξιολόγησης των Kahrimanis et. al. (Kahrimanis, G. et al., 2009) που χρησιμοποιείται βασίζεται στο σχήμα αξιολόγησης των Meier et. al. (Meier, A. et al., 2007) και έχει τροποποιηθεί κατάλληλα και με επαναληπτική διαδικασία έτσι ώστε να ικανοποιεί τις απαιτήσεις του συγκεκριμένου συνεργατικού σκηνικού που εξετάζεται και να εκμεταλλεύεται τις ιδιαιτερότητές του. Στην συνέχεια παρουσιάστηκε η ανάγκη για αυτόματες τεχνικές και μεθόδους αξιολόγησης που θα κάνουν χρήση της πλούσιας πληροφορίας που βρίσκεται αποθηκευμένη στα αρχεία καταγραφής μειώνοντας έτσι τον χρόνο και κόπο που χρειάζεται να δαπανήσουν οι αξιολογητές για την ανάλυση συνεργατικών δραστηριοτήτων αλλά και τους απαραίτητους ανθρώπινους πόρους. Η μετάβαση αυτή επιχειρήθηκε με τον ορισμό και μελέτη ενός καταλόγου μετρικών συνεργατικής δραστηριότητας οι οποίες υπολογίζονται αυτόματα από το εργαλείο υποστήριξης συνεργατικών δραστηριοτήτων το οποίο χρησιμοποιείται τα τελευταία έτη σε πλήθος εργαστηρίων του τμήματος Ηλεκτρολόγων Μηχανικών και Τεχνολογίας Υπολογιστών, για την ενορχήστρωση και την πραγματοποίηση συνεργατικών ασκήσεων. Τα αποτελέσματα της μελέτης έδειξαν πως συγκεκριμένες μετρικές δραστηριότητας συσχετίζονται σε μεγάλο βαθμό με την ποιοτική εκτίμηση των αξιολογητών τόσο για την ποιότητα της συνεργασίας συνολικά, όσο και ανά τις επί μέρους Συνεργατικές Διαστάσεις, όπως αυτές ορίζονται από το σχήμα αξιολόγησης (Kahrimanis, G. et al., 2010). Οι μετρικές συνεργατικής δραστηριότητας, όπως προτάθηκαν και παρουσιάστηκαν στη συγκεκριμένη μελέτη απαιτούν την ολοκλήρωση της δραστηριότητας καθώς υπολογίζονται στο σύνολό της. Αυτό αφ ενός σημαίνει ότι δεν είναι δυνατόν να χρησιμοποιηθούν, κατά την εξέλιξη της δραστηριότητας, για αξιολόγηση σε πραγματικό χρόνο και παροχή βοήθειας από τον συντονιστή όπου και όποτε κρίνεται απαραίτητο και αφ ετέρου, η δραστηριότητα αντιμετωπίζεται σαν μαύρο κουτί όπου δεν εξετάζεται η εξέλιξή της αλλά μόνο το τελικό αποτέλεσμα της «μέτρησης», δηλαδή η μετρική δραστηριότητας. Δεν πρέπει να ξεχνάμε πως μία συνεργατική δραστηριότητα είναι καταρχήν μία ανθρώπινη δραστηριότητα και συνεπώς η εξέλιξή της, ιδιαίτερα στον χρόνο, έχει πολύ μεγάλη σημασία και εμπεριέχει σημαντική πληροφορία για την ποιότητά της (Reimann, P., 2009). Αυτό δεν μπορεί να αποτυπωθεί από μετρικές δραστηριότητας όπως τα αθροίσματα, οι μέσοι όροι και οι μέσες τιμές γεγονότων ή ενεργειών. Αντιθέτως, δύο συνεδρίες με παρόμοιες μετρικές ενδέχεται να έχουν τελείως διαφορετική κατανομή δραστηριότητας στον χρόνο. 65

76 Η εξέλιξη μίας συνεργατικής δραστηριότητας στο χρόνο συνήθως αποτυπώνεται μέσα από ποιοτικές μεθόδους με χρήση γράφων (contingency graphs) (Suthers, D. D. et al., 2010) ή με αναγνώριση προτύπων. Όμως η χρήση αυτών των μεθόδων προϋποθέτει και πάλι την ανάλυση των δραστηριοτήτων από ανθρώπους και την μελέτη των γράφων από ειδικούς. Συνεπώς δεν δύναται να χρησιμοποιηθούν (τουλάχιστον άμεσα) για την αυτοματοποιημένη ανάλυση και αξιολόγησή τους. Εξετάζοντας άλλα ερευνητικά πεδία διαπιστώθηκε πως είναι αρκετά δημοφιλής η χρήση χρονοσειρών για την ανάλυση, ταξινόμηση και αξιολόγηση δραστηριοτήτων ή φαινομένων που εξελίσσονται στο χρόνο και που ο τρόπος κατά τον οποίο εξελίσσονται έχει ιδιαίτερη σημασία. Συνεπώς το ερώτημα που προέκυψε είναι κατά πόσο μπορούμε να εκμεταλλευτούμε τέτοιες τεχνικές που έχουν εφαρμοστεί με επιτυχία σε άλλα ερευνητικά πεδία, στο πεδίο της Υπολογιστικά Υποστηριζόμενης Συνεργατικής Μάθησης και πιο συγκεκριμένα για την αυτοματοποιημένη ανάλυση και ταξινόμηση συνεργατικών δραστηριοτήτων. Αυτό ακριβώς είναι το αντικείμενο που πραγματεύεται η παρούσα διδακτορική διατριβή και προκειμένου να απαντηθεί αυτό το ερώτημα αναπτύχθηκε η προτεινόμενη μεθοδολογία ταξινόμησης και αξιολόγησης συνεργατικών δραστηριοτήτων. Στο επόμενο κεφάλαιο παρουσιάζεται η Μέθοδος της Έρευνας, η Μεθοδολογία Ανάλυσης καθώς και τα εργαλεία που χρησιμοποιήθηκαν κατά τη διεξαγωγή της έρευνας. 66

77 4 ΚΕΦΑΛΑΙΟ4. ΑΝΑΛΥΣΗ, ΤΑΞΙΝΟΜΗΣΗ ΚΑΙ ΑΞΙΟΛΟΓΗΣΗ ΣΥΝΕΡΓΑΤΙΚΩΝ ΔΡΑΣΤΗΡΙΟΤΗΤΩΝ ΜΕ ΧΡΗΣΗ ΧΡΟΝΟΣΕΙΡΩΝ 4.1 ΕΙΣΑΓΩΓΗ Στο κεφάλαιο αυτό παρουσιάζεται η μέθοδος που αναπτύχθηκε στα πλαίσια της παρούσας εργασίας για την ανάλυση και ταξινόμηση συνεργατικών δραστηριοτήτων και η μεθοδολογία που ακολουθήθηκε τόσο κατά τη διεξαγωγή της έρευνας όσο και κατά την ανάλυση των αποτελεσμάτων. Η συγκεκριμένη μέθοδος προτείνει και περιγράφει την αναπαράσταση συνεργατικών δραστηριοτήτων μέσω χρονοσειρών (timeseries) και χρήση μεθόδων ανάλυσης χρονοσειρών (timeseries analysis) για την ταξινόμηση (classification) συνεργατικών δραστηριοτήτων. Για τον σκοπό αυτόν αναπτύχθηκε και χρησιμοποιήθηκε ένα μοντέλο μηχανικής μάθησης με χρήση μνήμης (memory-based model) το οποίο επιχειρεί την αξιολόγηση ποιοτικών χαρακτηριστικών της συνεργασίας με αυτοματοποιημένο τρόπο. Με αυτόν τον τρόπο, η παρούσα εργασία υποστηρίζει και επιχειρεί να αποδείξει ότι η απεικόνιση της συνεργατικής δραστηριότητας με βάση την εξέλιξή της στον χρόνο και κάνοντας χρήση δημοφιλών πρακτικών, ήδη καθιερωμένων σε άλλα επιστημονικά πεδία, μπορεί να δώσει πολύτιμες πληροφορίες για ποιοτικές διαστάσεις της συνεργασίας που είναι δύσκολο να αξιολογηθούν με άλλες αυτοματοποιημένες μεθόδους. Στα προηγούμενα κεφάλαια έγινε επισκόπηση του πεδίου της Υπολογιστικά Υποστηριζόμενης Συνεργατικής Μάθησης (ΥΥΣΜ) και των μεθοδολογιών ανάλυσης συνεργατικών δραστηριοτήτων. Ιδιαίτερη έμφαση δόθηκε στις τεχνικές αυτοματοποιημένης ανάλυσης και στην σημασία που έχει η διάσταση του χρόνου στην εξέλιξη συνεργατικών δραστηριοτήτων, ορίζοντας έτσι την συνεισφορά της παρούσας διδακτορικής διατριβής η οποία προτείνει την χρήση χρονοσειρών ως εργαλείο αυτοματοποιημένης ανάλυσης και αξιολόγησης συνεργατικών δραστηριοτήτων. Η παρούσα εργασία εξετάζει την χρήση των χρονοσειρών ως εργαλείο για την ανάλυση της συνεργασίας. Γι αυτό τον λόγο δεν γίνεται εκτενής αναφορά και ανάλυση της σχετικής βιβλιογραφίας αλλά επικεντρώνεται στις μεθόδους που χρησιμοποιούνται στα πλαίσια της συγκεκριμένης έρευνας. Στις παραγράφους που ακολουθούν, γίνεται μία γενική επισκόπηση των χρονοσειρών, παρουσιάζεται ο προτεινόμενος τρόπος χρήσης χρονοσειρών στο πεδίο της ανάλυσης συνεργατικών δραστηριοτήτων και το μοντέλο ταξινόμησης και αποτίμησης της ποιότητας της συνεργασίας για συνεργατικές δραστηριότητες. Τέλος περιγράφεται η πειραματική δομή που ακολουθήθηκε. 67

78 4.2 ΧΡΟΝΟΣΕΙΡΕΣ ΟΡΙΣΜΟΣ: «ΩΣ ΧΡΟΝΟΣΕΙΡΑ ΟΡΙΖΕΤΑΙ ΚΑΘΕ ΣΥΛΛΟΓΗ ΠΑΡΑΤΗΡΗΣΕΩΝ ΠΟΥ ΚΑΤΑΓΡΑΦΕΤΑΙ ΑΚΟΛΟΥΘΙΑΚΑ ΣΤΟΝ ΧΡΟΝΟ». (CHATFIELD, C., 2003) Με άλλα λόγια, οποιαδήποτε ακολουθία τιμών οι οποίες παρατηρούνται και καταγράφονται σε διαδοχικά χρονικά διαστήματα, μπορεί να χαρακτηριστεί ως χρονοσειρά (timeseries). Αυτές οι τιμές μπορεί να αποτελούν είτε μοναδικά γεγονότα, είτε αθροίσματα γεγονότων μέσα σε ορισμένα χρονικά διαστήματα. Παραδείγματος χάριν, οι καθημερινές θερμοκρασίες μίας συγκεκριμένης περιοχής, οι τιμές μίας μετοχής στο χρηματιστήριο ή το άθροισμα των χρηστών που επισκέπτονται μία σελίδα στο διαδίκτυο, αποτελούν παραδείγματα χρονοσειρών τα οποία αντλούνται από την καθημερινότητα. Οι χρονοσειρές είναι δυνατόν να χωριστούν σε δύο κατηγορίες: τις μονομεταβλητές (univariate) και τις πολυμεταβλητές (multivariate) χρονοσειρές. Ως μονομεταβλητές χρονοσειρές ορίζονται αυτές που αποτελούνται από παρατηρήσεις που αφορούν σε ένα μόνο μέγεθος, ενώ ως πολυμεταβλητές ορίζονται οι χρονοσειρές που νοούνται ως διάνυσμα παρατηρήσεων διαφορετικών μεγεθών. Στην γενική περίπτωση οι πολυμεταβλητές χρονοσειρές έχει αποδειχθεί ότι είναι αποτελεσματικότερες όσον αφορά στην ανάλυση ενός φαινομένου ή διαδικασίας ενώ προσφέρουν καλύτερη κατανόηση των δυναμικών σχέσεων αλλά και μεγαλύτερη ακρίβεια πρόγνωσης. Διάφορες μεθοδολογίες ανάλυσης χρονοσειρών, μοντελοποίησης και πρόγνωσης έχουν προταθεί κατά καιρούς ενώ οι δημοφιλέστερες μέθοδοι είναι τα Hidden Markov Models (HMM), τα μοντέλα ARIMA και VAR και η τεχνική Δυναμικής Χρονικής Στρέβλωσης (Dynamic Time Warping - DTW). Η τελική επιλογή μεθόδου είναι προφανώς μία απόφαση που πρέπει να ληφθεί έχοντας υπόψη μας την φύση του συνόλου των δεδομένων, το ερευνητικό πεδίο, τον τελικό στόχο της έρευνας και τους διαθέσιμους πόρους. Παρ όλο το ευρύ φάσμα ερευνητικών δραστηριοτήτων και πεδίων που κάνουν χρήση των χρονοσειρών ως εργαλεία ανάλυσης, σπάνια συναντάται η χρήση τους στην ανάλυση συνεργατικών δραστηριοτήτων αν και η διάσταση του χρόνου στην ανάλυση συνεργατικών πρακτικών είναι υψίστης σημασίας. 4.3 ΑΝΑΠΑΡΑΣΤΑΣΗ ΣΥΝΕΡΓΑΤΙΚΗΣ ΔΡΑΣΤΗΡΙΟΤΗΤΑΣ ΜΕ ΤΗ ΜΟΡΦΗ ΧΡΟΝΟΣΕΙΡΑΣ Οι συνεργατικές δραστηριότητες αναπαριστώνται και οπτικοποιούνται με ποικίλους τρόπους, όπως για παράδειγμα με την χρήση γράφων και διαγραμμάτων ροής, με 68

79 τυπική γλώσσα (formal language) ή με τεχνικές Ανάλυσης Κοινωνικών Δικτύων (Social Network Analysis - SNA). Σε αυτή την εργασία προτείνεται η χρήση χρονοσειρών για την αναπαράσταση συνεργατικών δραστηριοτήτων, με απώτερο σκοπό την αποτελεσματική περιγραφή της εξέλιξης μιας δραστηριότητας στον χρόνο, τις δυναμικές σχέσεις που αναπτύσσονται μεταξύ των συνεργαζόμενων πλευρών αλλά και τον εντοπισμό προβλημάτων στην ομαλή ανάπτυξη της συνεργασίας τα οποία είναι δυνατόν τα χαρτογραφηθούν και να μελετηθούν περαιτέρω. Οι χρονοσειρές συνεργατικής δραστηριότητας, όπως θα καλούνται από εδώ και στο εξής, κατασκευάστηκαν από αρχεία καταγραφής (logfiles) όπως αυτά παρέχονται από την εφαρμογή διαμεσολάβησης της δραστηριότητας. Αποτελούνται από αθροίσματα ενεργειών των χρηστών (user actions) αλλά και γεγονότων (events), ανά τακτά χρονικά διαστήματα τα οποία από εδώ και στο εξής θα αποκαλούνται «χρονικά παράθυρα» ή απλώς «παράθυρα» ενώ τα γεγονότα και οι ενέργειες που πραγματοποιήθηκαν για την κατασκευή των χρονοσειρών θα αποκαλούνται «μετρικές». Επιπλέον πρέπει να αναφερθεί πως στην περίπτωση που μία χρονοσειρά κάνει χρήση μίας μετρικής, τότε είναι μονοπαραμετρική (univariate), ενώ στην περίπτωση περισσοτέρων της μίας μετρικής η χρονοσειρά θεωρείται ως πολυπαραμετρική (multivariate). Κατά την κατασκευή των χρονοσειρών που χρησιμοποιούνται για την περιγραφή των συνεργατικών δραστηριοτήτων, εγείρονται δύο κύρια ερωτήματα: Α. Ποιες είναι αυτές οι μετρικές που θα πρέπει να χρησιμοποιηθούν ώστε να έχουμε την καλύτερη δυνατή περιγραφή μιας συνεργατικής δραστηριότητας και συνεπώς την ακριβέστερη λειτουργία του μοντέλου; Β. Ποια είναι τα χρονικά παράθυρα στα οποία θα πρέπει να πραγματοποιηθεί η δειγματοληψία και βάσει των οποίων θα κατασκευαστούν οι εν λόγω χρονοσειρές, έτσι ώστε από τη μία να υπάρξει ελάχιστη ή αν είναι δυνατόν καθόλου απώλεια πληροφορίας, και από την άλλη να καταστεί δυνατόν να εντοπιστούν λεπτομέρειες που διαδραματίζουν καθοριστικό ρόλο στην εξέλιξη της δραστηριότητας; Τα δύο αυτά ερωτήματα, πέρα από εγγενή της φύσης των χρονοσειρών- ανεξαρτήτως του πεδίου έρευνας- και καθοριστικά για την εξέλιξη της εργασίας, είναι δύσκολο να απαντηθούν χωρίς προηγούμενη πειραματική διερεύνηση. Γι αυτό και στο κεφάλαιο 3 αφιερώθηκε εκτενής ανάλυση της σημασίας τους και των λόγων που θα έπρεπε να ερευνηθούν περαιτέρω. Συνεπώς κρίθηκε αναγκαίο να διερευνηθεί πειραματικά η επιρροή τους στην λειτουργία και τα τελικά αποτελέσματα του μοντέλου. Πέρα από τις μετρικές και τα χρονικά παράθυρα που θα αναφερθούν στην συνέχεια, δοκιμάστηκε πλήθος επιλογών οι οποίες εξαιτίας της μη-διαφοροποίησης των αποτελεσμάτων του μοντέλου ή της μη ικανοποιητικής απόδοσής τους, δεν θεωρείται σκόπιμο να αναφερθούν. 69

80 4.3.1 ΜΕΤΡΙΚΕΣ ΔΡΑΣΤΗΡΙΟΤΗΤΑΣ Σε προηγούμενες εργασίες έχει γίνει εκτενής αναφορά σε αυτοματοποιημένες μεθόδους εκτίμησης και αξιολόγησης ποιοτικών χαρακτηριστικών της συνεργασίας, χωρίς την ανάγκη ύπαρξης έμπειρων αξιολογητών, με χρήση στατιστικών στοιχείων και μετρικών που προέρχονται από αρχεία καταγραφής συνεργατικών δραστηριοτήτων (Kahrimanis, G. et al., 2010). Συμπερασματικά, οι μετρικές διαλόγου (#COA, #CALT, #CTG) παρουσιάζουν υψηλή συσχέτιση με την ποιότητα της συνεργασίας, πλην της μετρικής συμμετρίας διαλόγου (#CSYM). Όσον αφορά στις μετρικές του κοινόχρηστου χώρου εργασίας, δεν παρουσιάζουν ιδιαίτερη συσχέτιση με την ποιότητα της συνεργασίας (είτε η συσχέτιση δεν είναι στατιστικά σημαντική, είτε δεν είναι υψηλή) πλην μεμονωμένων περιπτώσεων όπου εμφανίζονται συσχετίσεις μέτριες με συγκεκριμένους ποιοτικούς δείκτες. Οι μελέτες αυτές έλαβαν υπόψη τους τα στατιστικά στοιχεία για κάθε μετρική για το σύνολο της δραστηριότητας και όχι ανά χρονικό παράθυρο, όπως επιχειρείται στην παρούσα προσέγγιση. Εδώ χρησιμοποιήθηκαν τα αποτελέσματα αυτά ως ενδείξεις και προκειμένου να καθορίσουμε τις καταλληλότερες μετρικές για την κατασκευή των χρονοσειρών συνεργατικών δραστηριοτήτων. Από το σύνολο των μετρικών που εξετάστηκαν, καταλήξαμε στην χρήση των εξής δεκαέξι μετρικών για περαιτέρω διερεύνηση: ΕΡΓΑΛΕIΟ ΑΝΤΑΛΛΑΓHΣ ΜΗΝΥΜAΤΩΝ Αριθμός μηνυμάτων, #COA- το σύνολο των μηνυμάτων που ανταλλάσσονται από τα συνεργαζόμενα μέρη Αριθμός εναλλαγών ενεργού ρόλου (actor) ανάμεσα στα συνεργαζόμενα μέρη, #CALT το σύνολο των περιπτώσεων που τα συνεργαζόμενα μέρη διαδοχικά αντάλλαξαν την ταυτότητα του ενεργού ρόλου στο εργαλείο ανταλλαγής μηνυμάτων. Μέσος Χρόνος Ανταπόκρισης σε Ενέργεια, #CTP ο χρόνος που μεσολάβησε από τη στιγμή που το ένα συνεργαζόμενο μέρος πραγματοποίησε μία ενέργεια μέχρι τη στιγμή που το άλλο συνεργαζόμενο μέρος έδρασε με τη σειρά του. Συμμετρία Δραστηριότητας Συνεργαζόμενων Μερών, #CSYM κατά πόσο συμμετρική ή ισορροπημένη είναι η δραστηριότητα στον διάλογο όλων των συνεργαζόμενων μερών στο σύνολό της. Η συμμετρία υπολογίζεται με βάση τον μαθηματικό τύπο: ί = 1 *+,(-1-2)

81 όπου: Ε1: το άθροισμα των ενεργειών ενός χρήστη και Ε2: το άθροισμα των ενεργειών του έτερου χρήστη. Σύμφωνα με τον μαθηματικό τύπο της συμμετρίας, ομάδες των οποίων χρήστες που παρουσιάζουν ίδιο όγκο δραστηριότητας εμφανίζουν συμμετρία ίση με τη μονάδα, ενώ μηδενική συμμετρία εμφανίζει μία ομάδα που μόνο ένα μέλος της συνεισφέρει στην συνεργατική δραστηριότητα. Ο μαθηματικός τύπος μπορεί να γενικευθεί και για περισσότερους των δύο χρηστών (Avouris, N. et al., 2004). ΚΟΙΝOΧΡΗΣΤΟΣ ΧΩΡΟΣ ΕΡΓΑΣIΑΣ Αριθμός ενεργειών, #WOA - το σύνολο των ενεργειών των συνεργαζόμενων μερών που πραγματοποιούνται στον κοινόχρηστο χώρο εργασίας. Σε αυτή την περίπτωση ως ενέργειες προσμετρώνται οι κύριες ενέργειες της, αυτές δηλαδή που προκαλούν σημασιολογικές και ορατές αλλαγές στους κοινούς χώρους εργασίας. Αυτές οι ενέργειες είναι οι εξής: δημιουργία αντικειμένου, αλλαγή, επικόλληση και διαγραφή αντικειμένου. Οι ενέργειες και οι τύποι τους αναφέρονται αναλυτικά στο κεφάλαιο 3 όπου περιγράφεται η συνεργατική εφαρμογή. Αριθμός εναλλαγών ενεργού ρόλου (actor) ανάμεσα στα συνεργαζόμενα μέρη, #WALT το σύνολο των περιπτώσεων που τα συνεργαζόμενα μέρη διαδοχικά αντάλλαξαν την ταυτότητα του ενεργού ρόλου στον κοινόχρηστο χώρο εργασίας. Μέσος Χρόνος Ανταπόκρισης σε Ενέργεια,, #WTG ο χρόνος που μεσολάβησε από τη στιγμή που το ένα συνεργαζόμενο μέρος πραγματοποίησε μία ενέργεια μέχρι τη στιγμή που το άλλο συνεργαζόμενο μέρος έδρασε με τη σειρά του. Συμμετρία Δραστηριότητας Συνεργαζόμενων Μερών, #WSYM κατά πόσο συμμετρική ή ισορροπημένη είναι η δραστηριότητα όλων των συνεργαζόμενων μερών στον κοινόχρηστο χώρο εργασίας. Η συμμετρία υπολογίζεται με βάση τον μαθηματικό τύπο: ί = 1 *+,(-1-2)

82 Πίνακας 4-1. Μετρικές Δραστηριότητας που περιγράφουν το διάλογο και αφορούν στην δραστηριότητα των χρηστών στο εργαλείο ανταλλαγής μηνυμάτων. Εργαλείο Ανταλλαγής Μηνυμάτων Μετρικές Δραστηριότητας #COA #DCOA #CALT #DCALT #CTG #DCTG #CSYM #DCSYM Περιγραφή Μετρικής Αριθμός μηνυμάτων Ρυθμός μεταβολής αριθμού μηνυμάτων Αριθμός εναλλαγών ενεργού ρόλου Ρυθμός μεταβολής ενεργού ρόλου Μέσος Χρόνος Ανταπόκρισης Ρυθμός μεταβολής Μέσου χρόνου ανταπόκρισης Συμμετρία Δραστηριότητας Ρυθμός μεταβολής συμμετρίας Πίνακας 4-2. Μετρικές Δραστηριότητας που περιγράφουν και αφορούν στην δραστηριότητα των χρηστών στον κοινόχρηστο χώρο εργασίας. Κοινόχρηστος Χώρος Εργασίας Μετρικές Δραστηριότητας #WOA #DWOA #WALT #DWALT #WTG #DWTG #WSYM #DWSYM Περιγραφή Μετρικής Αριθμός ενεργειών Ρυθμός μεταβολής αριθμού ενεργειών Αριθμός εναλλαγών ενεργού ρόλου Ρυθμός μεταβολής ενεργού ρόλου Μέσος Χρόνος Ανταπόκρισης Ρυθμός μεταβολής Μέσου χρόνου ανταπόκρισης Συμμετρία Δραστηριότητας Ρυθμός μεταβολής συμμετρίας Για όλες τις παραπάνω μετρικές ερευνήθηκαν επιπροσθέτως και οι ρυθμοί μεταβολής τους ανά χρονικό παράθυρο, δηλαδή η διαφορά τους ανάμεσα σε δύο διαδοχικά χρονικά παράθυρα. Το σύνολο των μετρικών που μελετήθηκαν ως προς τη χρήση τους στην κατασκευή των χρονοσειρών συνεργατικής δραστηριότητας, παρατίθεται στον σχετικό πίνακα (Πίνακας 4-1) για το εργαλείο ανταλλαγής μηνυμάτων, και στον Πίνακα 4-2 για την περίπτωση του κοινόχρηστου χώρου εργασίας. 72

83 4.3.2 ΧΡΟΝΙΚΑ ΠΑΡΑΘΥΡΑ Όπως έχει σημειωθεί σε προηγούμενες μελέτες, η επιλογή των χρονικών παραθύρων με βάση τα οποία κατασκευάζονται τα αθροίσματα γεγονότων ή συμβάντων τα οποία αποτελούν τις τελικές χρονοσειρές, είναι μεγάλης σπουδαιότητας και θα πρέπει να προηγηθεί μελέτη καθώς η επιλογή πολύ μικρών ή πολύ μεγάλων χρονικών παραθύρων οδηγούν είτε σε απώλεια πληροφορίας είτε σε συμπύκνωση κρίσιμης πληροφορίας έτσι ώστε να είναι πρακτικά μη αξιοποιήσιμη (Shellman, S. M., 2004). Το μέγεθος των βέλτιστων χρονικών παραθύρων ποικίλει ανάλογα με το πεδίο έρευνας, την ίδια τη δραστηριότητα και τη φύση των γεγονότων που αναπαριστώνται μέσω των χρονοσειρών. Στην παρούσα εργασία εξετάστηκαν σύγχρονες συνεργατικές δραστηριότητες των οποίων η διάρκεια κυμαίνεται μεταξύ λεπτών. Συνεπώς είναι προφανές πως δεν θα μπορούσαν να χρησιμοποιηθούν πολύ μεγάλα χρονικά παράθυρα, όπως για παράδειγμα είκοσι λεπτών καθώς τότε η χρονοσειρά που θα προέκυπτε, θα αποτελείτο από τρία στοιχεία. Επίσης απαγορευτική είναι η χρήση πολύ μικρών χρονικών παραθύρων, όπως, για παράδειγμα, πέντε δευτερολέπτων καθώς σε τόσο μικρά διαστήματα και εξαιτίας της φύσης της εργασίας που αναλύεται, δεν υπάρχει ουσιαστική δραστηριότητα. Για να καθοριστούν τα καταλληλότερα χρονικά παράθυρα, πραγματοποιήθηκε πλήθος πειραματικών δοκιμών και τελικά έγινε επιλογή οκτώ χρονικών παραθύρων για τα οποία εμφανίζονται τα πιο αντιπροσωπευτικά και σημασιολογικά πλούσια αποτελέσματα και επιπλέον αποφεύγονται οι σκόπελοι που προαναφέρθηκαν. Τα οκτώ αυτά χρονικά παράθυρα είναι (σε δευτερόλεπτα):[10, 15, 30, 45, 60, 300, 480, 600] ΚΑΤΑΣΚΕΥΗ ΧΡΟΝΟΣΕΙΡΩΝ Στην παρούσα εργασία γίνεται χρήση δύο τύπων χρονοσειρών: μονοπαραμετρικών και πολυπαραμετρικών. Η διαφορά, τα χαρακτηριστικά και οι ιδιότητες των χρονοσειρών αναπτύχθηκαν στο κεφάλαιο 3. Για την κατασκευή των χρονοσειρών που χρησιμοποιούνται ως είσοδος στο προτεινόμενο μοντέλο, χρησιμοποιούνται τα αθροίσματα γεγονότων ανά χρονικό παράθυρο, όπως ορίζονται από τις μετρικές που περιγράφονται στην παράγραφο 5.2. Η κάθε μία χρονοσειρά, συνεπώς, της οποίας γίνεται χρήση αποτελείται ουσιαστικά από διαδοχικά αθροίσματα γεγονότων ή συμβάντων, όπως ορίζονται από την αντίστοιχη μετρική, ανά χρονικό παράθυρο. Για παράδειγμα, προκειμένου να κατασκευαστεί μία χρονοσειρά που θα περιγράφει τον όγκο της δραστηριότητας m, στο εργαλείο ανταλλαγής μηνυμάτων, συναρτήσει του χρόνου, αρχικά επιλέγεται το μέγεθος του χρονικού παραθύρου, έστω a δευτερόλεπτα. Στην συνέχεια το σύνολο της συνεργατικής δραστηριότητας τεμαχίζεται σε N κομμάτια μεγέθους α δευτερολέπτων. Για το κάθε ένα από τα Ν αυτά κομμάτια 73

84 υπολογίζεται το άθροισμα S m του αριθμού των μηνυμάτων που δημοσιεύθηκαν στο συγκεκριμένο χρονικό παράθυρο. Στο τέλος, η χρονοσειρά T sm συντίθεται από τα διαδοχικά αυτά αθροίσματα (Εικόνα 4-1). Αυτή είναι η περίπτωση της μονοπαραμετρικής χρονοσειράς. Εικόνα 4-1. Γραφική Απεικόνιση Μονοπαραμετρικής ΧρονοσειράςT sm, η οποία αποτελείται από Ν διαδοχικά αθροίσματα [S m1, S mn ] της μετρικής δραστηριότητας m, όπως αυτά υπολογίζονται ανά τακτά χρονικά διαστήματα (παράθυρα) διάρκειας α δευτερολέπτων. Επιπλέον, κρίθηκε σκόπιμο να γίνει χρήση πολυπαραμετρικών χρονοσειρών προκειμένου να διερευνηθεί κατά πόσο η χρήση πληρέστερης και πιο σύνθετης περιγραφής βελτιώνει τα αποτελέσματα και την ακρίβεια του μοντέλου. Στην κατασκευή πολυπαραμετρικών χρονοσειρών, χρησιμοποιούνται παραπάνω από μία μετρικές, σε συνδυασμό και πάλι με την διαδικασία του αθροίσματος γεγονότων ανά χρονικό παράθυρο. Το χρονικό παράθυρο ανά το οποίο αθροίζονται τα αποτελέσματα των μετρικών είναι το ίδιο. Για παράδειγμα, έστω ότι, προκειμένου να επιτευχθεί η πληρέστερη περιγραφή μιας συνεργατικής δραστηριότητας, γίνεται χρήση των μετρικών όγκου δραστηριότητας στο εργαλείο ανταλλαγής μηνυμάτων m και στον κοινόχρηστο χώρο εργασίας w. Η χρονοσειρά αυτή, T smw θα αποτελείται από δύο, επιμέρους, μονοπαραμετρικές χρονοσειρέςt sm και Τ sw, μία που θα περιγράφει την συμπεριφορά της μετρικής m και μία για την μετρική w, ανά κοινό χρονικό παράθυρο μεγέθους α και για Ν χρονικά παράθυρα (Εικόνα 4-2). Σημειώνεται πως δεν απαιτείται οι μονοπαραμετρικές χρονοσειρές που απαρτίζουν μία πολυπαραμετρική να είναι ίσου μεγέθους, να αποτελούνται δηλαδή από ίσο αριθμό παρατηρήσεων. Στην παρούσα εργασία οι πολυπαραμετρικές χρονοσειρές αποτελούνται από μονοπαραμετρικές ίδιου μεγέθους όπως απαιτεί η δραστηριότητα τόσο πρακτικά όσο και εννοιολογικά. Η κάθε συνεργατική συνεδρία έχει σαφή χρόνο έναρξης και λήξης, ο οποίος καταγράφεται στα αρχεία καταγραφής δεδομένων της εφαρμογής που την διαμεσολαβεί. Συνεπώς όλες οι μετρικές δραστηριότητας υπολογίζονται μέσα στο συγκεκριμένο χρονικό διάστημα και εκφράζονται από χρονοσειρές δραστηριότητας ίσου μεγέθους. 74

85 Εικόνα 4-2. Γραφική Απεικόνιση Πολυπαραμετρικής ΧρονοσειράςT smw, η οποία αποτελείται από Ν διαδοχικά αθροίσματα [S m1, S mn ] της μετρικής δραστηριότητας m, και Ν διαδοχικά αθροίσματα [S w1, S wn ] της μετρικής δραστηριότητας w όπως αυτά υπολογίζονται ανά τακτά χρονικά διαστήματα (παράθυρα) διάρκειας α δευτερολέπτων. Εικόνα 4-3. Γραφική Απεικόνιση Μονοπαραμετρικής Χρονοσειράς Διαφορών T sdm, η οποία αποτελείται από Ν-1 διαφορές τιμών διαδοχικών χρονικών παραθύρων της μετρικής δραστηριότητας m. Στην παρούσα εργασία κρίθηκε σκόπιμο να χρησιμοποιηθούν επιπρόσθετα χρονοσειρές που να περιγράφουν την μεταβολή των μετρικών ανάμεσα στα διαδοχικά χρονικά παράθυρα, ώστε πέραν των χρονοσειρών που εκφράζουν όγκο δραστηριότητας να συμπεριληφθούν στην μελέτη και χρονοσειρές που εκφράζουν μεταβολή δραστηριότητας στον χρόνο. Έτσι κατασκευάστηκε μία επιπλέον ομάδα χρονοσειρών η οποία ουσιαστικά δηλώνει ρυθμό μεταβολής των αρχικών μεγεθών σε διαδοχικά χρονικά παράθυρα και συνεπώς εκφράζεται από τις διαφορές των τιμών διαδοχικών χρονικών παραθύρων. Στην Εικόνα 4-3 απεικονίζεται γραφικά η δημιουργία της μονοπαραμετρικής χρονοσειράς διαφορών T sdm, η οποία εκφράζει το ρυθμό μεταβολής σε διαδοχικά χρονικά παράθυρα της μετρικής m, όπως αυτή εκφράζεται από την χρονοσειράt sm. 75

86 4.3.4 ΤΕΛΙΚΕΣ ΧΡΟΝΟΣΕΙΡΕΣ Στο κεφάλαιο 3 περιγράφεται η χρήση των διάφορων χρονοσειρών από τον αλγόριθμο που υλοποιεί το μοντέλο, τα αποτελέσματα για κάθε συνδυασμό μετρικών και χρονικών παραθύρων και πώς αυτά επηρεάζουν την απόδοση και ακρίβεια του μοντέλου. Οι χρονοσειρές, μονοπαραμετρικές και πολυπαραμετρικές, που χρησιμοποιήθηκαν σε αυτή την εργασία αποτελούνται από αθροίσματα γεγονότων ανά χρονικό παράθυρο. Γενικά, κατασκευάστηκαν δεκαέξι, μονοπαραμετρικές χρονοσειρές ανά χρονικό παράθυρο ( 16* 8 χρονικά παράθυρα = 128 μονοπαραμετρικές χρονοσειρές συνολικά), μία για κάθε μετρική του εργαλείου ανταλλαγής μηνυμάτων και του κοινόχρηστου χώρου εργασίας.. Με βάση τις συσχετίσεις που προέκυψαν μεταξύ αυτών των χρονοσειρών και των έξι συνεργατικών διαστάσεων, όπως αυτές ορίζονται από το σχήμα αξιολόγησης συνεργατικών δραστηριοτήτων, κατασκευάστηκαν τέσσερις τύποι πολυπαραμετρικών χρονοσειρών. Ο κάθε τέτοιος τύπος περιλαμβάνει μία αντίστοιχη χρονοσειρά για κάθε χρονικό παράθυρο που εξετάστηκε (συνολικά κατασκευάστηκαν 28 πολυπαραμετρικές χρονοσειρές). Οι τέσσερις αυτοί τύποι συνοψίζονται ως εξής: - Τύπος Α: Αποτελείται από μετρικές που περιγράφουν όγκο συνεργατικής δραστηριότητας στα κοινόχρηστα εργαλεία της συνεργατικής εφαρμογής. Οι μετρικές που χρησιμοποιήθηκαν είναι: #COA,#CALT,#WOA,#WALT - Τύπος Β: Αποτελείται από μετρικές που περιγράφουν μεταβολή του όγκου συνεργατικής δραστηριότητας ανά χρονικό παράθυρο. Για την σύνθεση χρονοσειρών τύπου Β, γίνεται χρήση των μετρικών: #DCOA,#DCALT,#DWOA,#DWALT. - Τύπος Γ: Αποτελείται από μετρικές που εκφράζουν όγκο συνεργατικής δραστηριότητας αλλά και την μεταβολή της ανά χρονικό παράθυρο. Για τις χρονοσειρές τύπου Γ έγινε συνδυαστική χρήση των μετρικών που χρησιμοποιήθηκαν στην κατασκευή χρονοσειρών τύπου Α και τύπου Β, δηλαδή συνολικά χρησιμοποιήθηκαν οι μετρικές: #COA, #CALT, #WOA, #WALT, #DCOA,#DCALT,#DWOA, #DWALT. - Τύπος Δ: Αποτελείται από μετρικές του εργαλείου ανταλλαγής μηνυμάτων και του κοινόχρηστου χώρου εργασίας για τις οποίες εμφανίζονται σημαντικές συσχετίσεις ανάλογα με το χρονικό παράθυρο που εξετάζεται. Συνεπώς οι μετρικές που χρησιμοποιούνται για την κατασκευή αυτών των χρονοσειρών δεν είναι ίδιες για όλα τα χρονικά παράθυρα ούτε ο αριθμός τους είναι σταθερός. Η επιλογή τους άλλωστε έγινε μετά την 76

87 πραγματοποίηση και ανάλυση των αποτελεσμάτων της πειραματικής φάσης Α, η οποία περιγράφεται στο κεφάλαιο 5. Στα πλαίσια της πειραματικής διαδικασίας έγινε χρήση επιπλέον συνδυασμών μετρικών για την κατασκευή των πολυπαραμετρικών χρονοσειρών, όπως, για παράδειγμα, με χρήση των μετρικών που περιγράφουν χρόνο ανταπόκρισης (#CTG, #WTG) ή συμμετρία (#CSYM, #WSYM). Παρ όλα αυτά, τα αποτελέσματα της χρήσης τους καθώς και τα αποτελέσματα της πρώτης πειραματικής φάσης που αναλύονται στην συνέχεια (κεφάλαιο 5), μας οδήγησαν στη μη χρησιμοποίησή τους. Κατά την επιλογή των τελικών χρονοσειρών, το σύνολο δεδομένων εξετάστηκε ως προς τα γενικά χαρακτηριστικά του όπως την στασιμότητα των χρονοσειρών(stationary), την παρουσία παράγοντα εποχικότητας (seasonal factor), την αυτό-συσχέτιση αλλά και την ετερο-συσχέτιση (auto and cross-correlation) διαφορετικών χρονοσειρών. Αφ ενός o αλγόριθμος Δυναμικής Χρονικής Στρέβλωσης που χρησιμοποιήθηκε δεν θέτει καμμία περιοριστική προϋπόθεση και επομένως οι εν λόγω έλεγχοι του δείγματος δεν παρουσιάζονται εδώ. Αφ ετέρου οι περισσότερες χρονοσειρές παρουσιάζουν μη στάσιμη συμπεριφορά ή συμπεριφορά που διακρίνεται από εποχικότητα ή περιοδικότητα και κατά συνέπεια ο έλεγχός τους για συσχέτιση δεν είναι δυνατός. Ο υπολογισμός ετεροσυσχέτισης μεταξύ χρονοσειρών προϋποθέτει την ύπαρξη στασιμότητας. Για τον λόγο αυτό, δεν προτιμήθηκε ως μετρική ομοιότητας ο συντελεστής συσχέτισης. 4.4 ΜΕΛΕΤΗ ΟΠΤΙΚΟΠΟΙΗΜΕΝΩΝ ΧΡΟΝΟΣΕΙΡΩΝ Στην περίπτωση ανάλυσης χρονοσειρών, ένα πολύ σημαντικό κομμάτι της διαδικασίας είναι η απεικόνιση των χρονοσειρών σε γραφήματα και η οπτική επισκόπησή τους. Η οπτική εξέταση χρονοσειρών αποτελεί κουραστική και επίπονη διαδικασία συνήθως, κρίνεται ωστόσο απαραίτητη διαδικασία αφού είναι ένας τρόπος να εντοπιστούν νωρίς προβλήματα στο σύνολο δεδομένων, εποχικές τάσεις ή άλλα μοτίβα τα οποία είναι απαραίτητο να αναλυθούν με ιδιαίτερη προσοχή και ενδεχομένως με συγκεκριμένες μεθόδους (Chatfield, C., 2003), (Box, G. E. P. et al., 2011). Στην παρούσα περίπτωση, δεν υπάρχουν ιδιαίτερες απαιτήσεις από το σύνολο δεδομένων ή περιορισμοί που πρέπει να πληρούνται, ενώ δεν αναμένεται η εμφάνιση εποχικών τάσεων ή περιοδικών μοτίβων. Παρ όλα αυτά, επιχειρήθηκε η οπτική επισκόπηση των μονοπαραμετρικών χρονοσειρών, που χρησιμοποιήθηκαν ως βασικά στοιχεία για τις πολυπαραμετρικές χρονοσειρές τις οποίες χρησιμοποιεί το προτεινόμενο μοντέλο κατάταξης αγνώστου συνεργατικού δείγματος, προκειμένου να αναγνωριστούν αν υπάρχουν- κάποιες ενδείξεις που διαφοροποιούν και καταδεικνύουν τις καλές συνεργατικές πρακτικές συγκριτικά με τις μη ικανοποιητικές. 77

88 Το μεγάλο μέγεθος του συνόλου δεδομένων κάνει απαγορευτική την οπτική επισκόπηση όλων των δειγμάτων και συνεπώς ακολουθήθηκε ειδική διαδικασία. Από το σύνολο δεδομένων, έγινε επιλογή αυτών των συνεργατικών δειγμάτων που κατά την διαδικασία αξιολόγησης από έμπειρους αξιολογητές (Kahrimanis, G. et al., 2009) είχαν συγκεντρώσει τις υψηλότερες και τις χαμηλότερες βαθμολογίες όσον αφορά στην διάσταση της ποιότητας της συνεργασίας (ΠΤΣ). Κατ αυτόν τον τρόπο δημιουργήθηκαν δύο ομάδες με δέκα δείγματα η κάθε μία, των «καλών» και «κακών» συνεργατικών πρακτικών. Οι χρονοσειρές μετρικών συνεργασίας αυτών των δειγμάτων οπτικοποιήθηκαν και αντιπαρατέθηκαν. Σε αυτή τη διαδικασία εξετάστηκαν όλες οι μετρικές δραστηριότητας που σε προηγούμενη εργασία βρέθηκε να συσχετίζονται με ποιοτικά στοιχεία της συνεργασίας (Κεφάλαιο 3), ενώ συγκεκριμένα παρουσιάζονται εδώ οι μετρικές #COA και #DCOA, #CALT και #DCALT, που αφορούν στην διαλογική δραστηριότητα ενώ για τον κοινόχρηστο χώρο εργασίας εξετάζονται οι μετρικές #WOA και #DWOA. Γενικότερα εξετάστηκαν δύο χρονικά παράθυρα, ένα μικρό των 30 δευτερολέπτων και ένα μεγάλο, των 480 δευτερολέπτων. Στην παρούσα παράγραφο εξετάζουμε μερικές ενδεικτικές περιπτώσεις πέντε καλών και πέντε ανεπαρκών πρακτικών για το μικρό χρονικό παράθυρο των 30 δευτερολέπτων. Στις γραφικές παραστάσεις που ακολουθούν παρουσιάζονται οι χρονοσειρές μετρικών δραστηριότητας ανά συνεδρία (καλή ή κακή). Στην αριστερή στήλη απεικονίζονται οι «καλές» συνεδρίες, με το χαρακτηριστικό όνομα G- αριθμός_συνεδρίας. Στην δεξιά στήλη κάθε ομάδας γραφικών παραστάσεων απεικονίζονται οι «κακές» συνεδρίες με το χαρακτηριστικό όνομα Β-αριθμός_συνεδρίας. Σε κάθε γραφική παράσταση που αφορά σε μία συνεδρία αναπαριστάται η συγκεκριμένη χρονοσειρά δραστηριότητας με μπλε χρώμα ενώ με κόκκινο χρώμα αναπαριστάται η ίδια χρονοσειρά δραστηριότητας προηγουμένως επεξεργασμένη και κανονικοποιημένη για την καλύτερη απεικόνισή της. Η οπτική επισκόπηση των δειγμάτων υποδεικνύει πως οι καλές συνεργατικές πρακτικές διαφοροποιούνται από τις «κακές» όσον αφορά κυρίως στις μετρικές διαλόγου. Οι δραστηριότητες που έχουν αξιολογηθεί θετικά παρουσιάζουν έντονους διαλόγους, με αυξημένο αριθμό μηνυμάτων, ιδιαίτερα στην αρχή της συνεργασίας όπου οι χρήστες οργανώνουν την κοινή τους δράση. Η δραστηριότητα στον διάλογο ενδέχεται να μειωθεί στην εξέλιξη της διαδικασίας, παρ όλα αυτά ο αριθμός ανταλλαγής μηνυμάτων συνεχίζει να παρουσιάζει μεγάλες τιμές, διατηρώντας την μέση τιμή της αντίστοιχης χρονοσειράς (#COΑ) υψηλή, συγκριτικά με τα παραδείγματα των μη ικανοποιητικών πρακτικών. Τα δείγματα δραστηριοτήτων που έχουν αξιολογηθεί αρνητικά ως προς την ποιότητα της συνεργασίας, παρουσιάζουν βραχείς διαλόγους με έξαρση συνήθως στην αρχή ή στο τέλος της δραστηριότητας. Σταδιακά ο διάλογος ατονεί και ο αριθμός μηνυμάτων που ανταλλάσσονται μένει περιορισμένος σε μικρές τιμές (ένα με δύο μηνύματα). 78

89 Η διαφορά μεταξύ καλών και κακών πρακτικών είναι επίσης εμφανής στον ρυθμό μεταβολής αριθμού μηνυμάτων (#DCOA). Οι καλές συνεδρίες χαρακτηρίζονται από μεγάλο ρυθμό μεταβολής (κατά απόλυτη τιμή) και με μεγάλη συχνότητα. Στις γραφικές παραστάσεις παρουσιάζονται πιο έντονες και με μεγαλύτερη πυκνότητα ενώ ο ρυθμός δεν μειώνεται σημαντικά με την πάροδο του χρόνου. Αντιθέτως οι κακές πρακτικές παρουσιάζουν ασθενέστερο ρυθμό μεταβολής, τόσο ως προς την απόλυτη τιμή αλλά και τη συχνότητα ενώ κατά την εξέλιξη της διαδικασίας διαστήματα μηδενικής ή ελάχιστης δραστηριότητας κάνουν όλο και πιο συχνή την εμφάνισή τους. Οι χρονοσειρές δραστηριότητας #COA και #DCOA παρουσιάζονται στην Εικόνα 4-4. Οι γραφικές παραστάσεις χρησιμοποιούν διαφορετικά διαβαθμισμένους κάθετους άξονες. Σημειώνεται επίσης πως ο διάλογος είναι διαμοιρασμένος ομοιόμορφα μεταξύ των συνεργατών κατά τη μεγαλύτερη διάρκεια της δραστηριότητας, όπως υποδηλώνεται από τις υψηλές τιμές της μεταβλητής #CALT και την κατανομή τους στον χρόνο. Οι εναλλαγές στον διάλογο δεν είναι συχνές ενώ περιορίζονται επίσης στην αρχή ή στο τέλος της συνεργασίας. Ένα ακόμα σημείο που διαφοροποιούνται οι «καλές» από τις «κακές» πρακτικές είναι η χρονοσειρά της μετρικής #CTG, που δηλώνει τον μέσο χρόνο απόκρισης σε προηγούμενο μήνυμα. Οι μη ικανοποιητικές πρακτικές τείνουν να εμφανίζουν μεγάλους χρόνους απόκρισης, συνεπώς κατά την οπτικοποίηση παρατηρούνται αιχμές μεγάλης τιμής. Αυτό μπορεί να οφείλεται είτε στον κακό συντονισμό μεταξύ των συνεργατών, είτε να είναι ένδειξη έλλειψης ικανοποιητικής επικοινωνίας μεταξύ τους, είτε να υποδεικνύει την κακή προδιάθεση του ενός ή και των δύο συνεργατών απέναντι στη γενική ιδέα της συνεργασίας. Οι μεγάλες καθυστερήσεις παρ όλα αυτά στην ανταλλαγή μηνυμάτων αποτελούν ενδεικτικά στοιχεία μη ικανοποιητικής συνεργασίας. Από την άλλη πλευρά, καθυστερήσεις και ενδεχομένως μεγάλες, ενδέχεται να παρουσιαστούν και σε καλές πρακτικές. Αυτό είναι εύκολο να εξηγηθεί αν λάβουμε υπόψη μας πως η φύση της εργασίας απαιτεί την ταυτόχρονη συνεργασία των χρηστών σε δύο επίπεδα, στο εργαλείο ανταλλαγής μηνυμάτων και στον κοινόχρηστο χώρο εργασίας. Συνεπώς η προσοχή και η δραστηριότητα των χρηστών, είναι διαμοιρασμένη προκαλώντας καθυστερήσεις στις επακόλουθες και διαδοχικές ενέργειες στον ένα ή τον άλλο χώρο δραστηριότητας, ενώ τα «όρια» της μεγάλης χρονικής καθυστέρησης είναι ασαφή και διαφοροποιούνται ανάλογα με τα συνεργαζόμενα μέρη και τις στρατηγικές που ακολουθούν. Επιπλέον η απουσία διαλογικής δραστηριότητας (μέση τιμή #COV 0) σημαίνει επίσης την απουσία χρόνου απόκρισης. Συνεπώς, αν και οι χρόνοι απόκρισης αποτελούν ενδείξεις καλής συνεργασίας, είναι σκόπιμη η παράλληλη ανάλυση των αντίστοιχων χρονοσειρών συναρτήσει και των άλλων σχετικών μεγεθών. 79

90 80

91 81

92 Εικόνα 4-4. Αναλυτική απεικόνιση των χρονοσειρών #COΑ και #DCOA που αντιπροσωπεύουν τις μετρικές αριθμού μηνυμάτων στον διάλογο και τον ρυθμό μεταβολής αριθμού μηνυμάτων ανάμεσα σε διαδοχικά χρονικά παράθυρα, για τις καλές (G: good) και τις καλές (B: bad) πρακτικές αντίστοιχα. Με μπλε χρώμα απεικονίζεται η αυθεντική χρονοσειρά ενώ με κόκκινο η κανονικοποιημένη. Όσον αφορά στις μετρικές δραστηριότητας του κοινόχρηστου χώρου εργασίας, δεν παρατηρήθηκαν γενικές συμπεριφορές τόσο εμφανείς ή έντονες ώστε να μπορούν να γενικευθούν και να αποτελέσουν σαφείς ενδείξεις για την ποιότητα ή την επιτυχία της εξέλιξης μιας συνεργατικής δραστηριότητας χωρίς περαιτέρω διερεύνηση. Σε προηγούμενες μελέτες διαπιστώθηκε αρνητική συσχέτιση μεταξύ του όγκου δραστηριότητας στον κοινόχρηστο χώρο εργασίας και της ποιότητας της συνεργασίας, δηλαδή τα δείγματα που αξιολογήθηκαν αρνητικά κατά τη διαδικασία αξιολόγησης παρουσίαζαν έντονη δραστηριότητα στον κοινόχρηστο χώρο συγκριτικά με τα θετικά δείγματα (Kahrimanis, G., 2010). Στην παρούσα περίπτωση κάτι τέτοιο δεν παρατηρείται ξεκάθαρα και για την πλειοψηφία των δειγμάτων που εξετάστηκαν, τουλάχιστον όσον αφορά στον όγκο της δραστηριότητας ανά χρονικό παράθυρο και πέρα από μια πιο πυκνά κατανεμημένη δραστηριότητα σε όλη τη διάρκειά της συνεδρίας, με ελαφρώς αυξημένο ρυθμό μεταβολής της δραστηριότητας στην περίπτωση των θετικά αξιολογημένων δειγμάτων. Και πάλι όμως αυτό δεν αποτελεί γενικό συμπέρασμα. Οι υπόλοιπες μετρικές των σχετικών πινάκων (Πίνακας 4-1 και Πίνακας 4-2) που εξετάστηκαν, δεν παρουσιάζουν ξεκάθαρα δείγματα συμπεριφοράς παρά μόνο περιστασιακές ενδείξεις που θεωρητικά ίσως θα μπορούσαν να τεκμηριωθούν αλλά δεν αποτελούν αποδείξεις γενικότερης συμπεριφοράς που αποκαλύπτει ποιοτικά χαρακτηριστικά των συνεδριών που αντιπροσωπεύουν. Η οπτική επισκόπηση των χρονοσειρών που κατασκευάστηκαν και χρησιμοποιήθηκαν για την αναπαράσταση της εξέλιξης συνεργατικών δραστηριοτήτων αποκάλυψε συνεπώς ενδείξεις μόνο και τάσεις οι οποίες, πιθανόν να είναι δυνατόν να χρησιμοποιηθούν περαιτέρω για την ταξινόμηση άγνωστων δειγμάτων συνεργασιών ως προς την ποιότητά τους και την αποτίμηση αυτής, σε βαθμολογημένη κλίμακα. Ωστόσο η απλή επισκόπηση των χρονοσειρών δεν αρκεί, αλλά χρειάζεται επιπλέον ανάλυση των ίδιων των χρονοσειρών αλλά και της σχέσης τόσο μεταξύ τους όσο και με ποιοτικές διαστάσεις της συνεργασίας. Άλλες σημαντικές λεπτομέρειες, όπως για παράδειγμα το μέγεθος των χρονικών παραθύρων για την κατασκευή των χρονοσειρών, ποιες συγκεκριμένες μετρικές πρέπει να ληφθούν υπόψη και ποιες να παραλειφθούν, κ.α., πρέπει να διερευνηθούν αναλυτικά για να διαπιστωθεί και το κατά πόσον επηρεάζουν τα τελικά αποτελέσματα. 82

93 Η διερεύνηση και η ανάλυση αυτή περιγράφεται στο επόμενο κεφάλαιο της πειραματικής διαδικασίας, όπου αναφέρεται επακριβώς ο σχεδιασμός της, τα αποτελέσματά της και η ανάλυσή τους. Κατά την πειραματική διαδικασία έγινε εκτενής χρήση του μοντέλου ταξινόμησης άγνωστων συνεργατικών δραστηριοτήτων, το οποίο αναπτύχθηκε στα πλαίσια της παρούσας διδακτορικής διατριβής και το οποίο παρουσιάζεται στην επόμενη παράγραφο. 4.5 ΜΕΘΟΔΟΣ ΤΑΞΙΝΟΜΗΣΗΣ ΚΑΙ ΑΞΙΟΛΟΓΗΣΗΣ ΣΥΝΕΡΓΑΤΙΚΗΣ ΔΡΑΣΤΗΡΙΟΤΗΤΑΣ Η ανάλυση και η αξιολόγηση συνεργατικών δραστηριοτήτων, ιδιαίτερα με ημιαυτόματους ή αυτόματους τρόπους, είναι ένα δημοφιλές ερευνητικό πεδίο της περιοχής της Υπολογιστικά Υποστηριζόμενης Συνεργατικής Μάθησης (CSCL). Στην παρούσα μελέτη προτείνεται η χρήση χρονοσειρών ενώ προτείνεται μία αυτοματοποιημένη μέθοδος ταξινόμησης και αξιολόγησης συνεργατικών δραστηριοτήτων με τέτοιο τρόπο ώστε να απεικονίζονται τα ποιοτικά χαρακτηριστικά τους. Η ταξινόμηση γίνεται με χρήση ενός αλγόριθμου επιβλεπόμενης μηχανικής μάθησης (supervised, machine learning algorithm) εύρεσης πλησιέστερου γείτονα (near neighbor classification). Ο αλγόριθμος υλοποιείται από ένα μοντέλο ταξινόμησης μηχανικής μάθησης, το οποίο ονομάζουμε TSCMoCA (Time Series Classification Model of Collaborative Activities). Για την διαδικασία της ταξινόμησης απαιτείται η ύπαρξη ενός συνόλου δεδομένων για την εκπαίδευση του μοντέλου (training set) και ενός συνόλου δεδομένων για την πειραματική διαδικασία (test set). Τόσο το σύνολο εκπαίδευσης όσο και το πειραματικό σύνολο αποτελούνται από συνεργατικές δραστηριότητες που συλλέχθηκαν κατά τη διεξαγωγή εργαστηριακών ασκήσεων υπό πραγματικές συνθήκες, όπως περιγράφεται στο Κεφάλαιο 3. Συγκεκριμένα το σύνολο εκπαίδευσης αποτελείται από συνεργατικές δραστηριότητες που περιγράφονται ως διατεταγμένα ζεύγη (ts i, CQA i ), όπου: - ts i : η πολυπαραμετρική χρονοσειρά που περιγράφει την συνεργατική δραστηριότητα - CQA i : η εκτιμώμενη τιμή της ποιότητας της συνεργασίας (ΠτΣ) για την συνεργατική δραστηριότητα, όπως αποδόθηκε κατά τη διαδικασία προηγούμενης αξιολόγησης. Το πειραματικό σύνολο αποτελείται από συνεργατικές δραστηριότητες που περιγράφονται από χρονοσειρές επίσης, αλλά άγνωστης ποιότητας της συνεργασίας. Ο σκοπός της περιγραφόμενης διαδικασίας είναι να ταξινομηθούν οι συνεργατικές συνεδρίες του συνόλου δοκιμών (test set) με βάση και χρησιμοποιώντας τις συνεδρίες 83

94 του μοντέλου εκπαίδευσης (training set) και να τους αποδοθεί μία εκτιμώμενη τιμή για την γενική διάσταση της Ποιότητας της Συνεργασίας (ΠτΣ). Ερευνητική Υπόθεση: Συνεργατικές συνεδρίες που περιγράφονται από παρόμοιες χρονοσειρές συνεργατικής δραστηριότητας, θα παρουσιάζουν παρόμοια ποιοτικά χαρακτηριστικά και συνεπώς θα αξιολογούνται παρόμοια. Εικόνα 4-5. Γραφική Απεικόνιση της μεθόδου Ταξινόμησης και Αξιολόγησης συνεργατικών δραστηριοτήτων με χρήση του μοντέλου μηχανικής μάθησης TSCMoCA, σε δύο φάσεις (α) και (β). (α). Δημιουργία του training set και (β) Διαδικασία ταξινόμησης νέας συνεργατικής συνεδρίας με χρήση του training set που δημιουργήθηκε κατά την φάση (α). Η προτεινόμενη μέθοδος ταξινόμησης και αξιολόγησης συνεργατικών δραστηριοτήτων με χρήση του μοντέλου μηχανικής μάθησης TSCMoCA απεικονίζεται γραφικά στην Εικόνα 4-5. Η μέθοδος αναπαριστάται γραφικά σε δύο φάσεις (α) και (β): 84

95 (α) Δημιουργία συνόλου δεδομένων εκπαίδευσης (training set) (β)διαδικασία ταξινόμησης νέας συνεργατικής δραστηριότητας. Όπως απεικονίζεται και στο διάγραμμα περιπτώσεων χρήσης της μεθόδου, η κύρια διαδικασία της ταξινόμησης και της αξιολόγησης της ποιότητας της συνεργασίας για μία νέα συνεργατική συνεδρία, γίνεται από το μοντέλο μηχανικής μάθησης TSCMoCA, που δέχεται ως είσοδο την νέα συνεδρία υπό μορφή πολυπαραμετρικής χρονοσειράς και την ταξινομεί/αξιολογεί με βάση το υπάρχον σύνολο εκπαίδευσης. Συνεπώς η μέθοδος θέτει ως προαπαιτούμενη συνθήκη την ύπαρξη προ-αξιολογημένου συνόλου δεδομένων το οποίο θα αποτελείται από συνεργατικές δραστηριότητες παρόμοιας φύσης και κοινών χαρακτηριστικών με αυτή την οποία επιθυμούμε να ταξινομήσουμε. Αν και η ύπαρξη τέτοιας συνθήκης φαίνεται εξαιρετικά περιοριστική ως προς τη χρήση τελικά της προτεινόμενης μεθόδου, θα πρέπει ο αναγνώστης να λάβει υπόψη του πως σε πραγματικές συνθήκες είναι σύνηθες ο συντονιστής μίας δραστηριότητας να επαναλαμβάνει μία επιτυχή διδακτική πρακτική ανά χρονιές, διατηρώντας την αυτούσια. Συνεπώς θα αρκούσε η αξιολόγηση μίας «τάξης» για μία φορά για την δημιουργία ενός προ-αξιολογημένου συνόλου δεδομένων που θα μπορούσε να χρησιμοποιηθεί ως βάση για τις μελλοντικές δραστηριότητες. 4.6 ΜΟΝΤΕΛΟ ΜΗΧΑΝΙΚΗΣ ΜΑΘΗΣΗΣ TSCMOCA Το προτεινόμενο μοντέλο που παρουσιάζεται στην παρούσα εργασία αναπτύχθηκε με σκοπό την αυτοματοποιημένη ανάλυση της αλληλεπίδρασης χρηστών σύγχρονων, συνεργατικών δραστηριοτήτων και την εκτίμηση της ποιότητάς τους με επίσης αυτόματους τρόπους, χωρίς να απαιτείται η ύπαρξη έμπειρων αξιολογητών. Οι λόγοι που οδήγησαν στην δημιουργία του παρόντος μοντέλου καθώς και οι προσδοκίες από την χρήση του, αναπτύχθηκαν λεπτομερώς στα κεφάλαια 2 και 3. Στην παρούσα παράγραφο παρουσιάζεται η αρχιτεκτονική του μοντέλου και ο τρόπος χρήσης του ΒΑΣΙΚΗ ΙΔΕΑ ΚΑΙ ΤΥΠΟΣ Το προτεινόμενο μοντέλο βασίζεται στην λογική των μοντέλων μηχανικής μάθησης που κάνουν χρήση μνήμης (memory-based learning models) προκειμένου να συγκρίνουν καταστάσεις/προβλήματα του παρόντος με προηγούμενες περιπτώσεις οι οποίες έχουν αναλυθεί και αποθηκευθεί στη μνήμη του μοντέλου. Ο αλγόριθμος που υλοποιήθηκε, και ουσιαστικά αποτελεί το προτεινόμενο μοντέλο, βασίζεται στην ιδέα αναγνώρισης, ταξινόμησης ή αξιολόγησης συγκεκριμένου χαρακτηριστικού ενός αγνώστου δείγματος με βάση την ομοιότητά του με άλλα αντίστοιχα δείγματα τα οποία έχουν ήδη αναγνωριστεί, ταξινομηθεί ή αξιολογηθεί. Για την αποτίμηση της ομοιότητας του αγνώστου δείγματος με τα ήδη αναγνωρισμένα και καταγεγραμμένα, απαιτείται η 85

96 χρήση μίας μετρικής που περιγράφει ομοιότητα μεταξύ των δειγμάτων και χρησιμοποιείται ως απόσταση. Με αυτόν τον σκοπό το μοντέλο χρησιμοποιεί την μέθοδο της Δυναμικής Χρονικής Στρέβλωσης (Dynamic Time Warping DTW) για την σύγκριση δύο χρονοσειρών και την αποτίμηση της μεταξύ τους απόστασης. Όπως κάθε μετρική που εκφράζει απόσταση, έτσι και στην παρούσα περίπτωση όσο μεγαλύτερη είναι η απόσταση μεταξύ δύο χρονοσειρών τόσο πιο ανόμοιες είναι αυτές μεταξύ τους. Η βασική υπόθεση στην οποία βασίζεται το μοντέλο είναι πως οι συνεργατικές εργασίες που περιγράφονται από παρόμοια δραστηριότητα (όπως αυτή καταγράφεται από το συνεργατικό εργαλείο που διαμεσολαβεί στην συνεργασία για την πραγματοποίηση του κοινού στόχου), θα μοιράζονται και παρόμοια ποιοτικά χαρακτηριστικά. Προκειμένου να περιγράψουμε αυτή την δραστηριότητα, όπως αναφέρθηκε νωρίτερα, έγινε χρήση χρονοσειρών, καθώς ο τρόπος που εξελίσσεται η δραστηριότητα στον χρόνο είναι εξ ορισμού πολύ σημαντικός παράγοντας για τις σύγχρονες, συνεργατικές εργασίες ΔΟΜΗ ΚΑΙ ΛΕΙΤΟΥΡΓΙΑ Το μοντέλο εκτίμησης της ποιότητας της συνεργασίας που προτείνεται στην παρούσα διατριβή αποτελεί ένα μοντέλο εκμάθησης με χρήση μνήμης. Συνεπώς αποτελείται από μία μνήμη όπου αποθηκεύονται προηγούμενα δείγματα συνεργατικών δραστηριοτήτων, τα οποία έχουν ήδη βαθμολογηθεί ως προς την ποιότητα της συνεργασίας τους, κατόπιν τεκμηριωμένης, επιστημονικά, διαδικασίας από έμπειρους αξιολογητές με την χρήση σχήματος αξιολόγησης. Επίσης μέρος του μοντέλου είναι ο αλγόριθμος που πραγματοποιεί την σύγκριση του νέου, προς αξιολόγηση, δείγματος με το σύνολο των δειγμάτων που βρίσκονται αποθηκευμένα στη μνήμη. Το τελικό αποτέλεσμα που παράγεται από το μοντέλο είναι η αξιολόγηση των ποιοτικών χαρακτηριστικών «άγνωστων» συνεργατικών δραστηριοτήτων με τρόπο αυτοματοποιημένο και χρησιμοποιώντας την κλίμακα βαθμολόγησης που έχει χρησιμοποιηθεί για την βαθμολόγηση του προ-αξιολογημένου συνόλου δεδομένων (από εδώ και στο εξής θα το αναφέρουμε και ως «σύνολο εκπαίδευσης») και το σχήμα ποιοτικής αξιολόγησης που έχει προταθεί σε προηγούμενες εργασίες της ερευνητικής ομάδας και έχει χρησιμοποιηθεί σε μελέτες παρόμοιου τύπου (Kahrimanis, G., 2010). Το σύνολο εκπαίδευσης αποτελείται από 227 συνεργατικές δραστηριότητες (αναλυτική περιγραφή του συνόλου δεδομένων δίνεται στην παράγραφο 4.7.1) ενώ το πειραματικό σύνολο από 228 συνεργατικές δραστηριότητες. Συγκεκριμένα έχει χρησιμοποιηθεί επαναληπτική διαδικασία Μίας Παράλειψης (Leave One Out) όπου κάθε φορά ανασύρεται μία συνεργατική δραστηριότητα από το σύνολο δεδομένων των 228 συνεδριών και θεωρείται ως άγνωστο, προς αξιολόγηση, δείγμα που ταξινομείται με βάση τις 227 εναπομείνασες συνεδρίες. Στον επόμενο επαναληπτικό κύκλο, η συγκεκριμένη δραστηριότητα επανατοποθετείται στο σύνολο εκπαίδευσης ενώ μία 86

97 άλλη ανασύρεται στη θέση της και χρησιμοποιείται ως άγνωστο δείγμα του πειραματικού συνόλου. Με αυτό τον τρόπο καταφέρνουμε να εκμεταλλευθούμε στο μέγιστο το πλούσιο σύνολο δεδομένων που έχουμε στη διάθεσή μας. Στην συνέχεια περιγράφεται αναλυτικά το κάθε στοιχείο, η διασύνδεσή του με το υπόλοιπο μοντέλο αλλά και ο τρόπος λειτουργίας ΠΕΡΙΓΡΑΦΗ ΜΝΗΜΗΣ Η μνήμη που χρησιμοποιείται στην παρούσα εργασία, ουσιαστικά αποτελεί έναν αποθηκευτικό χώρο στον οποίο φυλάσσονται δεδομένα απαραίτητα για την λειτουργία του μοντέλου (ουσιαστικά εκεί φυλάσσεται το σύνολο εκπαίδευσης) και τα οποία πρέπει να είναι άμεσα διαθέσιμα και προσπελάσιμα από τον αλγόριθμο που υλοποιεί το μοντέλο. Μπορεί δε να παρομοιαστεί με πίνακα αντιστοίχισης (lookup table). Τα δεδομένα αυτά απαρτίζονται από συγκεκριμένες συνεργατικές δραστηριότητες οι οποίες έχουν αξιολογηθεί ως προς τα ποιοτικά χαρακτηριστικά τους σε προηγούμενες μελέτες από έμπειρους αξιολογητές σύμφωνα με την διαδικασία που αναλύεται στo κεφάλαιο 3. Κατ αυτή την έννοια, κάθε μία από αυτές τις συνεργατικές δραστηριότητες αποτελεί και μία εγγραφή στην μνήμη του μοντέλου. Επιπλέον, κάθε μία εγγραφή στην μνήμη αποτελείται από δύο τμήματα: μία χρονοσειρά (μονοπαραμετρική ή πολυπαραμετρική) η οποία αποτελεί την περιγραφή της συνεργατικής δραστηριότητας όπως αυτή εκφράζεται ως ακολουθία γεγονότων και ενεργειών στον χρόνο, και μία μεταβλητή αξιολόγησης, ή ποιοτική μεταβλητή, η οποία αντιπροσωπεύει την βαθμολογία που απέδωσαν οι αξιολογητές στην κάθε δραστηριότητα. Γραφικά, η μνήμη και οι εγγραφές σε αυτήν μπορούν να αναπαρασταθούν όπως στην Εικόνα 4-6. Στην πραγματικότητα, αυτή η ποιοτική μεταβλητή είναι ένα διάνυσμα που αποτελείται από έξι επιμέρους μεταβλητές, τις έξι τιμές που έχουν αποδοθεί σε κάθε μία από τις έξι συνεργατικές διαστάσεις του σχήματος αξιολόγησης. Προφανώς η έβδομη συνεργατική διάσταση του σχήματος του Προσωπικού Προσανατολισμού (Individual Task Orientation), δεν χρησιμοποιείται από το προτεινόμενο μοντέλο καθώς δεν αποτελεί διάσταση που προσδιορίζει την συνεργασία αλλά πρόκειται για αξιολόγηση της προσωπικής δραστηριότητας του εκάστοτε χρήστη. Επιπροσθέτως, η διάσταση της Ποιότητας Της Συνεργασίας (ΠΤΣ) μπορεί να προκύψει εκ των έξι επιμέρους μεταβλητών και συνεπώς δεν συντρέχει λόγος να την ενσωματώσουμε ως μέρος της εγγραφής, τόσο για λόγους πολυπλοκότητας αλλά και αποδοτικότητας. 87

98 Εικόνα 4-6. Αναπαράσταση της «μνήμης» που χρησιμοποιείται από το προτεινόμενο μοντέλο και όπου περιέχονται οι πληροφορίες για τις συνεργατικές συνεδρίες που έχουν ήδη αξιολογηθεί και χρησιμοποιούνται ως βάση για την αξιολόγηση των νέων, άγνωστων συνεδριών ΑΛΓΟΡΙΘΜΟΣ ΜΟΝΤΕΛΟΥ: ΣΚΟΠΟΣ, ΣΧΕΔΙΑΣΜΟΣ, ΤΡΟΠΟΣ ΛΕΙΤΟΥΡΓΙΑΣ Τελικός και απώτερος σκοπός του μοντέλου, όπως έχει αναφερθεί, είναι η εκτίμηση των ποιοτικών χαρακτηριστικών συνεργατικών, εκπαιδευτικών δραστηριοτήτων οι οποίες έλαβαν χώρα συγχρόνως και υποστηρίχθηκαν από την χρήση υπολογιστή. Αυτά τα ποιοτικά χαρακτηριστικά αναφέρονται στην ποιότητα της συνεργασίας που διέπει τις δραστηριότητες, ενώ ορίζονται εκτενώς από το ποιοτικό Σχήμα Αξιολόγησης που αναλύεται στο Κεφάλαιο 3. Προκειμένου να επιτευχθεί αυτή η εκτίμηση, το μοντέλο που προτείνεται σε αυτήν την εργασία κάνει χρήση παρόμοιων συνεργατικών δραστηριοτήτων οι οποίες έχουν αξιολογηθεί ως προς τα ποιοτικά χαρακτηριστικά τους σε προηγούμενες εργασίες και μελέτες. Επιπλέον γίνεται χρήση τεχνικών μηχανικής μάθησης (machine learning) ώστε να επιτευχθεί η πιο αποτελεσματική και ακριβής ταξινόμηση των νέων, προς αξιολόγηση, δειγμάτων με βάση τα δείγματα που έχουν αξιολογηθεί και βρίσκονται αποθηκευμένα στη μνήμη του μοντέλου, όπου με τον όρο «δείγμα» αναφερόμαστε σε μία συνεργατική δραστηριότητα. Προκειμένου να συγκριθούν τα δείγματα μεταξύ τους, συγκρίνονται ουσιαστικά οι χρονοσειρές που αντιπροσωπεύουν το κάθε δείγμα. Η λογική πίσω από αυτή την σύγκριση είναι πως ποιοτικά παρόμοιες συνεργατικές δραστηριότητες θα αναπαριστώνται από παρόμοιες χρονοσειρές. Συνεπώς, αν δύο χρονοσειρές παρουσιάζουν μεγάλη ομοιότητα τότε και οι ποιοτικές τους εκτιμήσεις θα πρέπει να είναι παρόμοιες. Προκειμένου να εκτιμηθεί η ομοιότητα μεταξύ χρονοσειρών, χρησιμοποιήθηκε η τεχνική της Δυναμικής Χρονικής Στρέβλωσης (Dynamic Time Warping DTW) η οποία περιγράφεται στην παράγραφο Με αυτή την τεχνική μπορούμε να αποφανθούμε για την ομοιότητα σειρών που μπορεί να διαφέρουν στον χρόνο ή στην ταχύτητα. Η συγκεκριμένη τεχνική δε είναι πολύ δημοφιλής στην Αναγνώριση Ομιλίας και σε παρόμοια επιστημονικά πεδία. Στην παρούσα εργασία έγινε χρήση του αλγόριθμου Δυναμικής Χρονικής Στρέβλωσης που υλοποιείται για την μαθηματική εφαρμογή R (Giorgino, T., 2009). 88

99 4.6.5 ΔΙΑΔΙΚΑΣΙΑ ΑΝΑΓΝΩΡΙΣΗΣ ΚΑΙ ΤΑΞΙΝΟΜΗΣΗΣ ΆΓΝΩΣΤΟΥ ΔΕΙΓΜΑΤΟΣ Ο αλγόριθμος που πραγματοποιεί την αναγνώριση και ταξινόμηση ενός νέου, αγνώστου δείγματος αποτελεί το πλέον σημαντικό κομμάτι του μοντέλου, τόσο από νοηματικής πλευράς όσο και από πλευράς απόδοσης και ακρίβειας του μοντέλου συνολικά. Η διαδικασία αυτή περιγράφεται διαγραμματικά στην Εικόνα 4-7. Για να εξηγηθεί επακριβώς και πλήρως ο αλγόριθμος ταξινόμησης και αξιολόγησης του μοντέλου TSCMoCA, κάνουμε την παρακάτω υπόθεση εργασίας. Υπόθεση Εργασίας: Υποθέτουμε την ύπαρξη νέας συνεργατικής δραστηριότητας x, η οποία αναπαριστάται με την πολυπαραμετρική χρονοσειρά ts x και την οποία επιθυμούμε να ταξινομήσουμε και να αξιολογήσουμε με βάση ένα υπάρχον, προ-αξιολογημένο σύνολο δεδομένων ΣΔ(Ν). Το μοντέλο ταξινόμησης δέχεται ως είσοδο την χρονοσειράts x την οποία και συγκρίνει με κάθε μία χρονοσειρά συνεργατικής δραστηριότητας του προ-αξιολογημένου συνόλου δεδομένων ΣΔ(Ν). Η σύγκριση γίνεται μέσω του αλγόριθμου Δυναμικής Χρονικής Στρέβλωσης (DTW(ts x, ts i )) και με επαναληπτική διαδικασία. Ως αποτέλεσμα αυτής της επαναληπτικής διαδικασίας, παράγεται η μήτρα αποστάσεων DTW(NxN). Κάθε στοιχείο της μήτρας είναι η απόσταση Χρονικής Δυναμικής Στρέβλωσης της υπό ταξινόμηση συνεργατικής δραστηριότητας x και κάθε μίας συνεργατικής δραστηριότητας του προ-αξιολογημένου συνόλου δεδομένων ΣΔ(Ν) ενώ, όπως όλες οι μήτρες αποστάσεων, έτσι και η παρούσα είναι συμμετρική ως προς την κύρια διαγώνιό της.όπως ορίζει ο αλγόριθμος πλησιέστερου ομοίου (ή αλλιώς κοντινότερου γείτονα), το στοιχείο που παρουσιάζει τη μικρότερη απόσταση από το προς ταξινόμηση δείγμα, είναι ο πλησιέστερος γείτονάς του. Συνεπώς ο αλγόριθμος ταξινόμησης αναζητά τη χρονοσειρά που παρουσιάζει τη μικρότερη απόσταση από την προς ταξινόμηση χρονοσειρά ts x. Υποθέτουμε πως η μικρότερη απόσταση παρουσιάζεται για την περίπτωση της προ-αξιολογημένης συνεργατικής συνεδρίας ΣΔ(Υ) που περιγράφεται από το διατεταγμένο ζεύγος τιμών (ts Y, CQA Y ). Αυτό συνεπάγεται άμεσα πως η χρονοσειράts Y παρουσιάζει τη μεγαλύτερη ομοιότητα με την προς ταξινόμηση χρονοσειρά ts X : (ts Y ts X ). Σύμφωνα με τη βασική ιδέα όπως παρουσιάστηκε στην παράγραφο και στην οποία στηρίζεται ο σχεδιασμός και λειτουργία του μοντέλου TSCMoCA και η προτεινόμενη μέθοδος ταξινόμησης και αξιολόγησης συνεργατικών δραστηριοτήτων: Συνεργατικές συνεδρίες που περιγράφονται από παρόμοιες χρονοσειρές συνεργατικής δραστηριότητας, θα παρουσιάζουν παρόμοια ποιοτικά χαρακτηριστικά και συνεπώς θα αξιολογούνται παρόμοια. 89

100 Εφόσον οι χρονοσειρές ts X και ts Y παρουσιάζουν τη μεγαλύτερη ομοιότητα, η εκτιμώμενη τιμή για την γενική διάσταση της ποιότητας της συνεργασίας CQA Y, μπορεί να αποδοθεί και στην συνεργατική συνεδρία x, δηλαδή: CQA X = CQA Y Εικόνα 4-7. Διάγραμμα Ροής του αλγορίθμου ταξινόμησης και αξιολόγησης άγνωστης συνεργατικής συνεδρίας ts x όπως υλοποιείται από το μοντέλο TSCMoCA. 4.7 ΣΧΕΔΙΑΣΜΟΣ ΠΕΙΡΑΜΑΤΙΚΗΣ ΔΙΑΔΙΚΑΣΙΑΣ Στο παρόν κεφάλαιο αναλύεται ο σχεδιασμός και υλοποίηση της πειραματικής διαδικασίας που ακολουθείται στην παρούσα εργασία. Όπως αναφέρθηκε στα προηγούμενα κεφάλαια, ο σκοπός της διατριβής είναι η μελέτη και ανάλυση σύγχρονων, συνεργατικών δραστηριοτήτων κατά την εξέλιξή τους στον χρόνο και η ανάπτυξη μεθόδου για την ταξινόμηση και αξιολόγηση άγνωστων συνεργατικών 90

101 δραστηριοτήτων. Η προτεινόμενη μέθοδος παρουσιάστηκε αναλυτικά στις προηγούμενες παραγράφους όπου διατυπώθηκε η ερευνητική υπόθεση τις εργασίας καθώς και επί μέρους ερωτήματα. Προκειμένου να τεκμηριωθεί η ερευνητική υπόθεση αλλά και να απαντηθούν τα επί μέρους ερωτήματα που προέκυψαν κατά τον σχεδιασμό της προτεινόμενης μεθόδου, σχεδιάστηκε αναλυτική πειραματική διαδικασία όπου έγινε χρήση της μεθόδου σε σύνολο δεδομένων που συλλέχθηκε υπό πραγματικές συνθήκες ΣΥΝΟΛΟ ΔΕΔΟΜΕΝΩΝ ΠΕΙΡΑΜΑΤΙΚΗΣ ΔΙΑΔΙΚΑΣΙΑΣ Το σύνολο δεδομένων που χρησιμοποιήθηκε στην παρούσα πειραματική διαδικασία αποτελείται από 228 συνεργατικές δραστηριότητες που έλαβαν χώρα στα πλαίσια του μαθήματος του πρώτου έτους «Εισαγωγή στους Υπολογιστές Ι», στο τμήμα Ηλεκτρολόγων Μηχανικών και Τεχνολογίας Υπολογιστών (ΗΜ&ΤΥ) του Πανεπιστημίου Πατρών. Οι δραστηριότητες αυτές περιελάμβαναν την συνεργατική δραστηριότητα διαγραμμάτων ροής και αλγορίθμων ανά δυάδες φοιτητών. Το συγκεκριμένο σύνολο δεδομένων έχει βαθμολογηθεί από έμπειρους αξιολογητές στα πλαίσια προηγούμενων εργασιών (Kahrimanis, G. et al., 2009), ενώ έχει χρησιμοποιηθεί και για την πειραματική θεμελίωση άλλων αυτοματοποιημένων τεχνικών αξιολόγησης και μοντέλων μηχανικής μάθησης (Kahrimanis, G. et al., 2010), (Kahrimanis, G. et al., 2012). Γι αυτό το λόγο θεωρήθηκε ως το πλέον κατάλληλο για την παρούσα εργασία καθώς επιτρέπει την άμεση σύγκριση της παρούσας μεθόδου με άλλες, στην ίδια βάση. Επιπλέον η καλή γνώση του συνόλου δεδομένων επιτρέπει την ερμηνεία φαινομένων που διαδραματίζονται κατά την εξέλιξη των δραστηριοτήτων. Για την παρούσα πειραματική διαδικασία, το σύνολο δεδομένων χρησιμοποιήθηκε ακέραιο, εφόσον βέβαια έγινε έλεγχος εκ των προτέρων ότι δεν παραβιάζονται οι μαθηματικοί περιορισμοί που θέτει ο αλγόριθμος Δυναμικής Χρονικής Στρέβλωσης που χρησιμοποιεί η προτεινόμενη μέθοδος. Σε παρόμοιες εργασίες συνηθίζεται ο αποκλεισμός ακραίων περιπτώσεων (outliers) από το σύνολο δεδομένων ως «σφάλματα» ή ανεπιθύμητες καταστάσεις που προσθέτουν «θόρυβο» στα αποτελέσματα (Barnett, V. & Lewis, T., 1994; Osborne, J. W. & Overbay, A., 2004). Παρ όλα αυτά στην παρούσα μελέτη αποφασίστηκε να συμπεριληφθούν στην πειραματική διαδικασία αυτές οι ακραίες καταστάσεις καθώς θεωρούμε πως αποτελούν περιπτώσεις που συναντώνται καθημερινά στην πραγματικότητα. Σε πραγματικές συνθήκες, ο συντονιστής μίας συνεργατικής δραστηριότητας δεν έχει τη δυνατότητα και ούτε είναι επιθυμητό να απομονώσει ή να αποκλείσει μία συνεργατική συνεδρία, η οποία φυσικά αντιπροσωπεύει δύο πραγματικούς μαθητές, επειδή δεν αποτελούν την συνήθη πρακτική συγκριτικά με τις υπόλοιπες συνεδρίες. Αντ αυτού, συχνά οι εκπαιδευτές καλούνται να σχεδιάσουν τις συνεργατικές δραστηριότητας λαμβάνοντας υπόψη τους τις «ακραίες» περιπτώσεις. 91

102 Γι αυτόν το λόγο και επειδή η προτεινόμενη μέθοδος θα πρέπει να είναι όσο το δυνατόν πιο εύκολα χρησιμοποιήσιμη σε πραγματικές συνθήκες αλλά και η πειραματική διαδικασία να αντικατοπτρίζει την πραγματικότητα, αποφασίστηκε η αυτούσια χρήση του συνόλου δεδομένων, χωρίς προηγούμενη επεξεργασία όσον αφορά στις ακραίες περιπτώσεις ΦΑΣΕΙΣ ΠΕΙΡΑΜΑΤΙΚΗΣ ΔΙΑΔΙΚΑΣΙΑΣ Η πειραματική διαδικασία, όπου έγινε χρήση του μοντέλου για την ταξινόμηση και αξιολόγηση νέων, άγνωστων συνεργατικών δραστηριοτήτων, έγινε σε τέσσερις φάσεις προκειμένου αφενός να διερευνηθεί πειραματικά η ερευνητική υπόθεση και αφετέρου για να απαντηθούν βασικά ερωτήματα που προέκυψαν κατά τον σχεδιασμό της μεθόδου. Οι τέσσερις φάσεις της πειραματικής διαδικασίας περιγράφονται ως εξής: Φάση Α: Εφαρμογή Αλγορίθμου Ανά Χρονοσειρά και Ανά συνεργατική διάσταση. Κατά την πρώτη πειραματική φάση, έγινε χρήση μονοπαραμετρικών χρονοσειρών δραστηριότητας (Τύπου Α, όπως περιγράφει η παράγραφος 0) προκειμένου να καθοριστεί ποιες χρονοσειρές δραστηριότητας παρουσιάζουν μεγαλύτερες συσχετίσεις με τις διαστάσεις τις συνεργατικής δραστηριότητας, ουσιαστικά ποιες μετρικές δραστηριότητας περιγράφουν καλύτερα τους διάφορους άξονες της συνεργασίας, και για ποια χρονικά παράθυρα. Αυτές οι χρονοσειρές δραστηριότητας χρησιμοποιούνται σε επόμενη φάση για την κατασκευή των πολυπαραμετρικών χρονοσειρών που χρησιμοποιεί τελικά η μέθοδος κατά την διαδικασία ταξινόμησης. Φάση Β: Εφαρμογή Αλγορίθμου Ανά Συνδυασμό Χρονοσειρών. Στην δεύτερη πειραματική φάση χρησιμοποιήθηκε πλήθος συνδυασμών πολυπαραμετρικών χρονοσειρών για την περιγραφή των συνεργατικών δραστηριοτήτων. Συγκεκριμένα, χρησιμοποιήθηκαν χρονοσειρές Τύπου Β, Γ και Δ (όπως έχουν περιγραφεί στην παράγραφο 0) και για πλήθος χρονικών παραθύρων. Σκοπός ήταν να διερευνηθεί πειραματικά η απόδοση του μοντέλου σε όλους τους πιθανούς συνδυασμούς, ώστε να επιλεγεί η καλύτερη λύση αφ ενός αλλά και να απαντηθούν ερωτήματα που διατυπώθηκαν κατά τον σχεδιασμό της μεθόδου όπως: - ποιες μετρικές δραστηριότητας εμπεριέχουν χρήσιμη πληροφορία για την συνεργατική δραστηριότητα - ποιοι συνδυασμοί δρουν προσθετικά και βελτιώνουν την απόδοση του μοντέλου 92

103 - ποια χρονικά παράθυρα είναι τα κατάλληλα για τον κατακερματισμό και τη δειγματοληψία κατά τη φάση δημιουργίας των χρονοσειρών - ποια χρονικά διαστήματα είναι αυτά μέσα στα οποία λαμβάνουν χώρα αλληλεπιδράσεις χρηστών οι οποίες χαρακτηρίζονται από σχέση «δράσης-αντίδρασης» ή «αιτίου - αποτελέσματος» και που συσχετίζονται σε μαθησιακό /γνωσιακό επίπεδο. Φάση Γ: Εφαρμογή του αλγορίθμου Κ-Πλησιέστερων Γειτόνων (K- Nearest Neighbors KNN) στο προτεινόμενο μοντέλο. Κατά την τρίτη πειραματική φάση, επιχειρήθηκε η περαιτέρω βελτίωση του μοντέλου, από αλγοριθμικής πλευράς, με την εισαγωγή ενός προηγμένου αλγορίθμου Κ-Πλησιέστερων Γειτόνων (ΚΝΝ). Έως αυτή την φάση, το μοντέλο ταξινόμησης υλοποιούσε έναν απλό αλγόριθμο Ενός Πλησιέστερου Γείτονα (1ΝΝ), αναζητούσε δηλαδή έναν και μόνο έναν πλησιέστερο όμοιο από το προ-αξιολογημένο σύνολο δεδομένων που χρησιμοποιείται ως σύνολο εκπαίδευσης (reference/training set). Με την εισαγωγή του ανωτέρω αλγορίθμου ΚΝΝ, αναζητείται πλήθος Κ γειτόνων και έτσι βελτιώνεται η ακρίβεια του μοντέλου. Περισσότερες λεπτομέρειες για τους αλγόριθμους μηχανικής μάθησης της οικογένειας Πλησιέστερων Γειτόνων, δίνονται στην Παράγραφο Σε αυτή τη φάση, δοκιμάστηκαν χρονοσειρές τύπου Γ και τύπου Δ για την περιγραφή των συνεργατικών δραστηριοτήτων, καθώς παρουσίασαν κατά την πειραματική Φάση Β τα βέλτιστα αποτελέσματα. Φάση Δ: Γενίκευση της χρήσης του μοντέλου για το σύνολο των συνεργατικών διαστάσεων. Κατά την τέταρτη πειραματική φάση η χρήση του μοντέλου ταξινόμησης και αξιολόγησης γενικεύθηκε για όλες τις συνεργατικές διαστάσεις, όπως ορίζονται από το Σχήμα Αξιολόγησης της ποιότητας της συνεργασίας (Κεφάλαιο 3) και όχι μόνο για την περίπτωση της γενικής διάστασης της Ποιότητας της Συνεργασίας (ΠτΣ). Η μέθοδος χρησιμοποιήθηκε, δηλαδή, για την αξιολόγηση και των έξι επί μέρους συνεργατικών διαστάσεων προκειμένου να διαπιστωθεί κατά πόσο μπορεί να χρησιμοποιηθεί όχι μόνο για την ταξινόμηση μιας συνεργατικής συνεδρίας με βάση την γενικότερη εικόνα της ως προς την ποιότητα της συνεργασίας, αλλά και για την διάγνωση συγκεκριμένων προβλημάτων ή δυσκολιών που μπορεί να προκύψουν σε συγκεκριμένους συνεργατικούς άξονες. 93

104 4.8 ΜΕΘΟΔΟΛΟΓΙΑ ΑΝΑΛΥΣΗΣ ΑΠΟΤΕΛΕΣΜΑΤΩΝ Για τον έλεγχο της αποτελεσματικότητας και αποδοτικότητας της προτεινόμενης μεθόδου ταξινόμησης συνεργατικών δραστηριοτήτων με χρήση χρονοσειρών και του μοντέλου μηχανικής μάθησης TSCMoCA, τα αποτελέσματα του μοντέλου αντιπαρατέθηκαν και συγκρίθηκαν με ποιοτικές αξιολογήσεις που έγιναν από εκτενώς εκπαιδευμένους, έμπειρους αξιολογητές με χρήση του σχήματος αξιολόγησης (Κεφάλαιο 3). Μέσα σε αυτά τα πλαίσια έγινε τόσο Ανάλυση Συσχετίσεων (Correlation Analysis) όσο και Ανάλυση Σφάλματος (Error Analysis) για να εκτιμηθεί η ακρίβεια της μεθόδου ΑΝΑΛΥΣΗ ΣΥΣΧΕΤΙΣΕΩΝ Για να εκτιμηθεί η σχέση των δύο διαδικασιών αξιολόγησης, η αξιολόγηση από έμπειρους αξιολογητές και η αυτόματη αξιολόγηση με χρήση της προτεινόμενης μεθόδου, έγινε Ανάλυση Συσχετίσεων. Η χρήση της συσχέτισης (Correlation) ως στατιστική μέθοδος είναι πολύ δημοφιλής για τον καθορισμό σχέσεων ή εξαρτήσεων μεταξύ μεταβλητών, αν και δεν αποτελεί απόδειξη σχέσης αιτιότητας μεταξύ δύο μεταβλητών αλλά ένδειξη ότι δύο μεταβλητές συσχετίζονται είτε μεταξύ τους είτε έμμεσα μέσω μίας τρίτης. Συνεπώς η Ανάλυση Συσχέτισης θα πρέπει να συνδυάζεται και με άλλες μεθόδους ανάλυσης δεδομένων για την εξαγωγή ισχυρών συμπερασμάτων (Hill, T. & Lewicki, P., 2006). Στην συνηθέστερη περίπτωση χρησιμοποιείται η μέθοδος συσχέτισης Pearson s, η οποία όμως προϋποθέτει ότι τα δεδομένα ακολουθούν κανονική κατανομή. Στην αντίθετη περίπτωση, αντίστοιχη μέθοδος θεωρείται η συσχέτιση του Spearman, η οποία συγκαταλέγεται ανάμεσα στις μη-παραμετρικές στατιστικές μεθόδους. Στη συγκεκριμένη εργασία, χρησιμοποιείται η Ανάλυση Συσχέτισης για την εκτίμηση της αποτελεσματικότητας της μεθόδου συγκριτικά με την διαδικασία αξιολόγησης από έμπειρους αξιολογητές. Οι μεταβλητές που ουσιαστικά συσχετίζονται είναι οι βαθμολογίες που αποδόθηκαν στις συνεργατικές συνεδρίες αυτόματα από το μοντέλο και οι βαθμολογίες που αποδόθηκαν από αξιολογητές. Επιπλέον στην παρούσα φάση προτιμήθηκε η χρήση της συσχέτισης Spearman για δύο, κυρίως, λόγους. Αφ ενός οι βαθμολογίες των έμπειρων αξιολογητών όπως προέκυψαν από την διαδικασία αξιολόγησης, δεν ακολουθούν την κανονική κατανομή και συνεπώς δεν ήταν δυνατόν να χρησιμοποιηθεί η συσχέτιση Pearson. Αφ ετέρου, σε πλήθος παρόμοιων μελετών στην συγκεκριμένη ερευνητική περιοχή χρησιμοποιείται η συσχέτιση Spearman, συνεπώς η σύγκριση της παρούσας με άλλες παρόμοιες μελέτες είναι ευκολότερη αν χρησιμοποιηθούν οι ίδιοι ή παρόμοιοι τρόποι ανάλυσης. Ειδικά για σύνολα δεδομένων μεγάλου μεγέθους, όπως στην παρούσα περίπτωση, η συσχέτιση Spearman θεωρείται 94

105 ότι είναι κατά 91% εξίσου αποδοτική και ακριβής με τη συσχέτιση Pearson [(Siegel, S. & Castellan, N. J.) cited in (Kahrimanis, G., 2010)]. Η σχέση μεταξύ δύο μεταβλητών Χ και Y προσδιορίζεται από τον δείκτη συσχέτισης Spearman s ρ. Ο δείκτης αυτός μπορεί να πάρει τιμές μεταξύ του διαστήματος τιμών [- 1, +1]. Το πρόσημο του δείκτη συσχέτισης υποδεικνύει την κατεύθυνση της σχέσης ενώ η απόλυτη τιμή υποδεικνύει την δύναμη της σχέσης. Για παράδειγμα, αν η μεταβλητή Υ αυξάνει ενώ η μεταβλητή Χ μειώνεται, τότε η συσχέτιση είναι αρνητική (ρ<0), ενώ στην αντίθετη περίπτωση που και οι δύο μεταβλητές αυξάνουν ή μειώνονται, η συσχέτιση είναι θετική (ρ>0). Στην περίπτωση μηδενικού δείκτη συσχέτισης (ρ=0), δεν υπάρχει ένδειξη ότι οι δύο μεταβλητές συσχετίζονται μεταξύ τους με κάποιον τρόπο (Hill, T. & Lewicki, P., 2006). Προηγούμενες έρευνες στο πεδίο των Συμπεριφορικών Επιστημών (Behavioral Sciences) έδειξαν ότι συσχετίσεις της τάξης του 0.1 θεωρούνται ως χαμηλές, συσχετίσεις της τάξης του 0.3 θεωρούνται ως μέτριες ενώ συσχετίσεις περί του 0.5 και μεγαλύτερες θεωρούνται ως ισχυρές ((Cohen, J., 1988), (Hopkins, W., 2009)). Αυτός ο εμπειρικός κανόνας ισχύει κατά κύριο λόγο για την περίπτωση της συσχέτισης Pearson, ωστόσο σε πολλές έρευνες έχει χρησιμοποιηθεί και για την περίπτωση της συσχέτισης Spearman (Kahrimanis, G., 2010). Στην παρούσα εργασία ενστερνιζόμαστε τον εμπειρικό κανόνα επίσης για την περίπτωση του δείκτη συσχέτισης Spearman ενώ όλες οι συσχετίσεις υπολογίστηκαν στο επίπεδο p< ΑΝΑΛΥΣΗ ΣΦΑΛΜΑΤΟΣ Για την εκτίμηση της ακρίβειας πρόγνωσης ή εκτίμησης που γίνεται αυτόματα με χρήση μοντέλων αλλά και ως μετρικές σύγκρισης παρόμοιων μοντέλων, πλήθος μετρικών σφάλματος έχουν προταθεί στη βιβλιογραφία, όπως η ρίζα του μέσου τετραγωνικού σφάλματος (Root Mean Squared Error, RMSE), το μέσο τετραγωνικό σφάλμα (Mean Squared Error, MSE), το μέσο απόλυτο σφάλμα (Mean Absolute Error, MAE) και άλλα. Η επιλογή της καταλληλότερης μετρικής βασίζεται σε διάφορους παράγοντες όπως η φύση των δεδομένων, το υπό εξέταση μοντέλο και το γενικότερο πλαίσιο της έρευνας. Στην παρούσα μελέτη χρησιμοποιήθηκε ο συνδυασμός της Ρίζας του Μέσου Τετραγωνικού Σφάλματος (RMSE) και του Μέσου Απόλυτου Σφάλματος (MAE). Το Μέσο Απόλυτο Σφάλμα(MAE) και η Ρίζα του Μέσου Τετραγωνικού Σφάλματος (RMSE) δίνονται από τους τύπους (1) και (2) αντίστοιχα: 1../0 = = : (; <"= < ) >? <@A 1 95

106 Όπου, n: o αριθμός των δειγμάτων στο σύνολο δεδομένων, (στην συγκεκριμένη μελέτη n=228) x: η εκτίμηση/αξιολόγηση του μοντέλου y: η αξιολόγηση όπως αποδόθηκε από τους έμπειρους αξιολογητές. Το σφάλμα RMSE είναι ιδιαίτερα ευαίσθητο σε περιστασιακές μεγάλες τιμές σφάλματος ή ακραίες περιπτώσεις (outliers) εξαιτίας της τετραγωνικής δύναμης ενώ αναμένεται να είναι μεγαλύτερης τιμής από το μέσο απόλυτο σφάλμα. Στην παρούσα μελέτη όπου έχει αποφασιστεί να συμπεριληφθούν οι ακραίες περιπτώσεις στο τελικό σύνολο δεδομένων (παράγραφος 4.7.1) θεωρείται καταλληλότερη επιλογή ως μετρική σφάλματος το Μέσο Απόλυτο Σφάλμα (ΜΑΕ). Γι αυτό και στην ανάλυση των αποτελεσμάτων (Κεφάλαιο 5) γίνεται αναφορά στην μετρική MAE. Παρόλα αυτά στα πλαίσια της έρευνας έχει γίνει εξίσου μελέτη της μετρικής RMSE, η οποία παρατίθεται στα παραρτήματα. Η συνδυαστική χρήση των δύο μετρικών (ΜΑΕ και RMSE) παρέχει εκτίμηση της διακύμανσης του σφάλματος. Πρέπει εδώ να σημειωθεί ότι δεν υπάρχει ασφαλές κριτήριο που να ορίζει μία «καλή» ή αποδεκτή τιμή σφάλματος εκτίμησης καθώς το σφάλμα εξαρτάται από πολλούς παράγοντες όπως η κλίμακα και η φύση των δεδομένων, το ερευνητικό πεδίο και λοιπά. Συνεπώς οι προτεινόμενες μετρικές μπορούν να χρησιμοποιηθούν σε συνδυασμό ή συγκριτικά με άλλες για την αξιολόγηση ενός μοντέλου αλλά όχι ως κριτήρια αυτούσια. Σε παρόμοιες μελέτες στο συγκεκριμένο πεδίο, γίνεται δεκτός ο εμπειρικός κανόνας που ορίζει μία τιμή Μέσου Απόλυτου Σφάλματος μικρότερη της μονάδας ως αποδεκτή, για το συγκεκριμένο πάντα πλαίσιο (Kahrimanis, G., 2010). 4.9 ΑΛΓΟΡΙΘΜΟΙ ΠΟΥ ΧΡΗΣΙΜΟΠΟΙΗΘΗΚΑΝ ΓΙΑ ΤΗΝ ΥΛΟΠΟΙΗΣΗ ΤΟΥ ΠΡΟΤΕΙΝΟΜΕΝΟΥ ΜΟΝΤΕΛΟΥ TSCMOCA Στην παρούσα παράγραφο γίνεται αναφορά σε αλγόριθμους και τεχνικές μηχανικής μάθησης που χρησιμοποιήθηκαν για την υλοποίηση του μοντέλου ταξινόμησης TSCMoCA. Καθώς το αντικείμενο της παρούσας διδακτορικής διατριβής δεν είναι καθεαυτή η μέθοδος ταξινόμησης αλλά το πώς υιοθετούνται δημοφιλείς μαθηματικές τεχνικές στο πεδίο της Υπολογιστικά Υποστηριζόμενης Συνεργατικής Μάθησης, η αναφορά που γίνεται είναι συνοπτική ενώ παρέχεται σχετική βιβλιογραφία για τον αναγνώστη που επιθυμεί να εμβαθύνει. 96

107 4.9.1 ΑΛΓΟΡΙΘΜΟΣ ΔΥΝΑΜΙΚΗΣ ΧΡΟΝΙΚΗΣ ΣΤΡΕΒΛΩΣΗΣ (DYNAMIC TIME WARPING, DTW) Ο αλγόριθμος Δυναμικής Χρονικής Στρέβλωσης (Dynamic Time Warping, DTW) είναι μία μαθηματική τεχνική που χρησιμοποιείται για την σύγκριση σειρών γεγονότων τα οποία ενδέχεται να μεταβάλλονται είτε στον χρόνο είτε ως προς την ταχύτητά τους. Αρχικά υπήρξε δημοφιλής τεχνική για την αναγνώριση ομιλίας και την επεξεργασία βίντεο και ήχου. Τα τελευταία χρόνια όμως χρησιμοποιείται κυρίως για την σύγκριση και ανάλυση χρονοσειρών σε διάφορα ερευνητικά πεδία (Chao, S. et al., 2011), (Warren Liao, T., 2005). Ο αλγόριθμος DTW είναι ιδιαίτερα δημοφιλής ως τεχνική ανάλυσης χρονοσειρών καθώς δεν προϋποθέτει στασιμότητα (stationarity) και επιπλέον δεν επηρεάζεται από τυχόν ελλιπείς τιμές, όπως συμβαίνει με άλλες μεθόδους. Στην παρούσα εργασία ο αλγόριθμος Δυναμικής Χρονικής Στρέβλωσης χρησιμοποιήθηκε για την σύγκριση πολυπαραμετρικών χρονοσειρών που αναπαριστούν συνεργατικές δραστηριότητες. Συγκεκριμένα, χρησιμοποιήθηκε η υλοποίηση του αλγορίθμου DTW για το μαθηματικό πακέτο R (Giorgino, T., 2009), η οποία επιτρέπει την αναγνώριση συγκεκριμένων ακολουθιών (patterns) μεταξύ δύο χρονοσειρών Χ και Υ, με διαφορετική φάση και διαφορετικό μέγεθος. Ως πρώτο βήμα ο αλγόριθμος υπολογίζει την μήτρα ετερο-αποστάσεων (cross-distance) των χρονοσειρών Χ και Υ, χρησιμοποιώντας μία μετρική απόστασης ως μετρική ομοιότητας. Συνήθως γι αυτόν τον σκοπό χρησιμοποιείται είτε η Ευκλείδεια είτε η απόσταση Manhattan. Στην συνέχεια οι χρονοσειρές X και Υ υπόκεινται σε διαδικασία στρέβλωσης και συγκρίνονται μεταξύ τους με τον υπολογισμό της μέσης αθροιστικής παραμόρφωσης (accumulated distortion) dφ(x,y). Η καλύτερη τοποθέτηση (alignment) και συνεπώς το βέλτιστο ταίριασμα είναι αυτό για το οποίο η τιμή της συνάρτησης dφ(x,y) είναι ελάχιστη και συνεπώς τότε οι συγκρινόμενες χρονοσειρές X και Υ πλησιάζουν όσο το δυνατόν περισσότερο η μία με την άλλη (Senin, P., 2008). Ο αλγόριθμος Δυναμικής Χρονικής Στρέβλωσης DTW, παρέχει ως έξοδο μία μετρική απόστασης (απόσταση DTW) για κάθε ζεύγος χρονοσειρών που συγκρίνεται. Η μετρική αυτή αντιπροσωπεύει την ομοιότητα των χρονοσειρών αυτών και, ως μετρική απόστασης, όσο μεγαλύτερη είναι η απόσταση DTW τόσο πιο ανόμοιες είναι οι συγκρινόμενες χρονοσειρές. Κατά συνέπεια, αν η απόσταση DTW είναι μηδενική τότε οι δύο χρονοσειρές είναι απόλυτα όμοιες. Η συγκεκριμένη υλοποίηση που υιοθετήθηκε στην παρούσα εργασία, εκτός από την μετρική απόστασης που παρέχει, επιτρέπει την περαιτέρω διαμόρφωση του αλγορίθμου DTW τροποποιώντας διάφορες παραμέτρους. Για τους σκοπούς της έρευνας, διερευνήθηκαν διάφορες ακολουθίες βήματος (step patterns) ενώ κυρίως πειραματιστήκαμε με την χρήση των Ευκλείδειων και Manhattan αποστάσεων ως μετρικές ομοιότητας. 97

108 Ως Ευκλείδεια απόσταση (συνήθως αναφέρεται και ως μετρική απόστασης L2) ορίζεται η απόσταση de μεταξύ δύο σημείων x και yστον n-διάστατο χώρο που δίνεται από τον μαθηματικό τύπο (1), ενώ ως απόσταση Manhattan (συνήθως αναφέρεται και ως μετρική απόστασης L1) ορίζεται η απόσταση μεταξύ δύο σημείων x και yστον n- διάστατο χώρο που δίνεται από τον μαθηματικό τύπο (2). 1. B- = C 1 67 (5 6 6 ) 1 2. B9 = Στην Εικόνα 4-8, απεικονίζονται γραφικά η Ευκλείδεια και Manhattan απόσταση μεταξύ δύο σημείων Α(x1,y1) και Β(x2, y2) στον δυσδιάστατο χώρο. Εικόνα 4-8. Γραφική απεικόνισης της (a) Ευκλείδειας και (b)manhattan απόστασης δύο σημείων Α και Β στον δυσδιάστατο χώρο. Η επιλογή της καταλληλότερης απόστασης ως μετρική ομοιότητας εξαρτάται σε μεγάλο βαθμό από το πλαίσιο της έρευνας όσο και από την φύση των δεδομένων. Προηγούμενες μελέτες έχουν δείξει ότι η χρήση της απόστασης Manhattan, συγκριτικά με την Ευκλείδεια απόσταση, οδηγεί σε καλύτερα αποτελέσματα σε πολλές περιπτώσεις και ιδιαίτερα στην περίπτωση πολυπαραμετρικών δεδομένων ((Aggarwal, C., Hinneburg, A., & Keim, D., 2001), (Vadivel, A., Majumdar, A., & Sural, S., 2003)). Καθώς στην συγκεκριμένη μελέτη τα δεδομένα που χρησιμοποιούνται είναι επίσης πολυπαραμετρικά, αναμένεται η απόσταση Manhattan να έχει καλύτερη απόδοση, όπως έχει αποδειχθεί και από πιλοτικές έρευνες (Chounta, I.-A. & Avouris, N., 2012). Ωστόσο τα αποτελέσματα και για τις δύο περιπτώσεις παρέχονται και αναλύονται στο Κεφάλαιο ΑΛΓΟΡΙΘΜΟΣK-ΠΛΗΣΙΕΣΤΕΡΩΝ ΓΕΙΤΟΝΩΝ (Κ-NEAREST NEIGHBOR) O αλγόριθμος Κ-πλησιέστερων γειτόνων είναι μία μη παραμετρική τεχνική μηχανικής μάθησης ελάχιστου κόστους (lazy learning) για την ταξινόμηση άγνωστων δειγμάτων με χρήση ενός συνόλου εκπαίδευσης (training set). Παρά την απλότητά της προσφέρει 98

109 αρκετά ικανοποιητικά αποτελέσματα ενώ έχει ευρύ πεδίο εφαρμογών. Ως μη παραμετρική τεχνική, δεν θέτει προαπαιτούμενα όσον αφορά στην κατανομή του συνόλου δεδομένων που εφαρμόζεται ενώ δεν απαιτεί την ύπαρξη πραγματικής φάσης εκπαίδευσης. Αντίθετα όλα τα δεδομένα που απαρτίζουν το σύνολο εκπαίδευσης χρησιμοποιούνται ή δύναται να χρησιμοποιηθούν- από τον αλγόριθμο ταξινόμησης χωρίς πριν ο αλγόριθμος να έχει εκπαιδευθεί. Ο KNN αλγόριθμος υποθέτει πως τα δεδομένα τοποθετούνται σε n-διάστατο χώρο και συνεπώς είναι δυνατόν να οριστεί και να υπολογιστεί η μεταξύ τους απόσταση. Συνήθεις αποστάσεις που χρησιμοποιούνται είναι η Ευκλείδεια, Minkowski και Mahalanobis, όμως στην παρούσα εργασία ως μετρική απόστασης χρησιμοποιήθηκε η απόσταση DTW. Κατά την διαδικασία της ταξινόμησης το δείγμα συγκρίνεται και ταξινομείται σύμφωνα με τους k κοντινότερους γείτονες στο σύνολο εκπαίδευσης (Everitt, B. S., Landau, S., Leese, M., & Stahl, D., 2011; Mitchell, T. M., 1999). Η βέλτιστη επιλογή της παραμέτρου k, εξαρτάται από την φύση των δεδομένων. Συνήθως η αύξηση της τιμής του k συνεπάγεται την ελαχιστοποίηση των συνεπειών του θορύβου στην διαδικασία της ταξινόμησης. Από την άλλη πλευρά, οι μεγάλες τιμές του k αυξάνουν το υπολογιστικό κόστος του αλγορίθμου. Πολλές ευρετικές και πειραματικές μέθοδοι έχουν προταθεί κατά καιρούς για τον προσδιορισμό του βέλτιστου k. Η απλούστερη υλοποίηση του ΚΝΝ αλγορίθμου είναι αυτή του ενός γείτονα, όπου δηλαδή k=1. Τότε το προς ταξινόμηση δείγμα λαμβάνει την τιμή του κοντινότερου γείτονά του. Για τιμές μεγαλύτερες της παραμέτρου k, η ταξινόμηση γίνεται με την αρχή της πλειοψηφίας. Ένα παράδειγμα ΚΝΝ ταξινόμησης παρουσιάζεται γραφικά στην Εικόνα 4-9. Πέραν της κλασσικής υλοποίησης του ΚΝΝ αλγόριθμου όπου η ταξινόμηση γίνεται λαμβάνοντας υπόψη την πλειοψηφία, υπάρχουν και άλλες προσεγγίσεις που λαμβάνουν υπόψη και την απόσταση των γειτόνων για την εξαγωγή αποτελέσματος ή πιο σύνθετες υλοποιήσεις με χρήση τεχνικών παλινδρόμησης ή ασαφών αλγόριθμων (fuzzy algorithms) (Duda, R. O., Hart, P. E., & Stork, D. G., 2012; Lotte, F., Congedo, M., Lécuyer, A., Lamarche, F., & Arnaldi, B., 2007; Shen, H.-B., Yang, J., & Chou, K.-C., 2006). 99

110 Εικόνα 4-9. Παράδειγμα ταξινόμησης με χρήση ΚΝΝ αλγορίθμου. Το προς ταξινόμηση δείγμα (πράσινος σταυρός) ταξινομείται ανάλογα με τον αριθμό του k και την ομοιότητά του με τους k πλησιέστερους γείτονές του στον δυσδιάστατο χώρο του παραδείγματος. Ο μικρός κύκλος αναπαριστά την περίπτωση k=1 όπου το δείγμα θα ταξινομηθεί ως «μπλε» ενώ ο μεγάλος, την περίπτωση k=4, σύμφωνα με την οποία το δείγμα θα ταξινομηθεί ως «κόκκινο» ΕΠΙΛΟΓΟΣ ΚΕΦΑΛΑΙΟΥ Στο τέταρτο κεφάλαιο παρουσιάστηκε η μέθοδος της έρευνας που ακολουθήθηκε στα πλαίσια της παρούσας διδακτορικής διατριβής και ο σχεδιασμός του μεθοδολογικού πλαισίου που προτείνεται για την ταξινόμηση και αξιολόγηση συνεργατικών δραστηριοτήτων. Στην αρχή του κεφαλαίου έγινε αναφορά στην βασική ιδέα της χρήσης χρονοσειρών για την περιγραφή και αναπαράσταση συνεργατικών δραστηριοτήτων και στην θεωρία και χρήση αντίστοιχων τεχνικών σε άλλα ερευνητικά πεδία, ενώ δόθηκαν εκτενή παραδείγματα της χρήσης χρονοσειρών στην παρούσα εργασία χρησιμοποιώντας το σύνολο δεδομένων συνεργατικών δραστηριοτήτων. Η μέθοδος ταξινόμησης και αξιολόγησης συνεργατικής δραστηριότητας περιγράφηκε εκτενώς στην παράγραφο 4.5 όπου τίθεται και το ερευνητικό ερώτημα, ενώ στη συνέχεια παρουσιάστηκε το μοντέλο TSCMoCA (Time Series Classification Model of Collaborative Activities) που αναπτύχθηκε και χρησιμοποιήθηκε για την διαδικασία της ταξινόμησης και αποτελεί τον πυρήνα του μεθοδολογικού πλαισίου. Το μοντέλο TSCMoCA είναι ένα μοντέλο μηχανικής μάθησης με χρήση μνήμης (memory based learning model). Τα μοντέλα μάθησης με χρήση μνήμης ταξινομούν ή αξιολογούν νέα, άγνωστα δείγματα συγκρίνοντάς τα με προ-αξιολογημένα ή ήδη ταξινομημένα δείγματα ίδιου τύπου τα οποία αποτελούν το σύνολο εκπαίδευσης. Πρόκειται δε για μία 100

111 απλή και χαμηλού κόστους τεχνική μηχανική μάθησης που επιλέχθηκε στην προκειμένη περίπτωση γι αυτόν ακριβώς το λόγο. Ο τρόπος λειτουργίας του μοντέλου περιγράφεται στην παράγραφο 4.6. Στην συνέχεια αναλύεται ο σχεδιασμός της πειραματικής διαδικασίας κατά την οποία εξετάζεται η λειτουργία του μοντέλου σε σύνολο δεδομένων που αποτελείται από πραγματικές συνεργατικές δραστηριότητες, δηλαδή δραστηριότητες που έλαβαν χώρα σε πραγματικές συνθήκες. Το σύνολο δεδομένων έχει προηγουμένως αξιολογηθεί και αναλυθεί σε άλλες μελέτες και έρευνες, γι αυτό το λόγο κρίθηκε ιδανικό για την παρούσα εργασία καθώς υπάρχει πλήρης γνώση τόσο των συνθηκών συλλογής του, αξιολόγησης και ανάλυσής του. Η πειραματική διαδικασία της εργασίας χωρίζεται σε τέσσερις επιμέρους φάσεις ενώ τα αποτελέσματα εξετάζονται πραγματοποιώντας ανάλυση συσχετίσεων και σφάλματος (correlation and error analysis). Στο τέλος του κεφαλαίου παρατίθενται επιγραμματικά πληροφορίες για τους αλγόριθμους μηχανικής μάθησης και σύγκρισης χρονοσειρών που χρησιμοποιούνται από το προτεινόμενο μοντέλο. Στο πέμπτο κεφάλαιο που ακολουθεί, παρουσιάζονται τα αποτελέσματα της πειραματικής διαδικασίας και κατά πόσο αυτά επιβεβαιώνουν το ερευνητικό ερώτημα και την επιτυχία του προτεινόμενου μεθοδολογικού πλαισίου. 101

112 5 ΚΕΦΑΛΑΙΟ 5. ΑΠΟΤΕΛΕΣΜΑΤΑ ΠΕΙΡΑΜΑΤΙΚΗΣ ΔΙΑΔΙΚΑΣΙΑΣ ΚΑΙ ΑΝΑΛΥΣΗ 5.1 ΕΙΣΑΓΩΓΗ Στο παρόν κεφάλαιο παρουσιάζουμε τα αποτελέσματα και την ανάλυση των αποτελεσμάτων του μοντέλου αξιολόγησης ποιοτικών χαρακτηριστικών συνεργατικών δραστηριοτήτων το οποίο περιγράφηκε στο κεφάλαιο 4, αναφορικά με τις διαστάσεις συνεργασίας (Πίνακας 5-1), όπως αυτές ορίζονται από το σχήμα ποιοτικής αξιολόγησης συνεργασίας μέσω υπολογιστή που αναπτύχθηκε από τους Καχριμάνη, Meier κ.α (Kahrimanis, G. et al., 2009) και αναλύθηκε στο κεφάλαιο 3. Στην παρούσα εργασία εξετάσθηκαν οι έξι συνεργατικές διαστάσεις οι οποίες καλύπτουν τους τέσσερις, βασικούς άξονες μίας συνεργατικής διαδικασίας. Η έβδομη συνεργατική διάσταση, του Προσωπικού Προσανατολισμού (Individual task orientation), δεν εξετάζεται περαιτέρω και αναφορικά με την χρήση του μοντέλου, καθώς ουσιαστικά δεν περιγράφει κάποια συνεργατική πτυχή αλλά την προσωπική στάση του χρήστη απέναντι στον σκοπό που καλείται να φέρει εις πέρας. Στη συνέχεια παρουσιάζονται και αναλύονται τα αποτελέσματα χρήσης του μοντέλου ταξινόμησης και αξιολόγησης συνεργατικών δραστηριοτήτων (TSCMoCA), όπως προέκυψαν από την πειραματική διαδικασία που περιγράφηκε στο κεφάλαιο 4. Η πειραματική διαδικασία περιλαμβάνει χρήση του μοντέλου σε σύνολο δεδομένων εκπαιδευτικών δραστηριοτήτων που συλλέχθηκαν σε πραγματικές συνθήκες. Η ανάλυση των αποτελεσμάτων παρουσιάζεται σε δύο φάσεις, ανάλογα με τον τύπο των χρονοσειρών που χρησιμοποιούνται ως είσοδοι στο μοντέλο. Στην πρώτη φάση εξετάστηκαν μονοπαραμετρικές χρονοσειρές δραστηριότητας ενώ στην δεύτερη φάση εξετάστηκαν πολυπαραμετρικές χρονοσειρές, οι οποίες κατασκευάστηκαν από συνδυαστική χρήση μετρικών δραστηριότητας τόσο του εργαλείου ανταλλαγής μηνυμάτων αλλά και του κοινόχρηστου χώρου εργασίας. Στην τρίτη φάση της πειραματικής διαδικασίας επιχειρήθηκε η χρήση αλγορίθμου εύρεσης πλησιέστερων γειτόνων (Κ - Νearest Νeighbors, ΚΝΝ) κατά την ταξινόμηση των δραστηριοτήτων με κριτήριο την ποιότητα της συνεργασίας (ΠΤΣ) και με στόχο την βελτίωση των αποτελεσμάτων. Για να αποτιμηθεί η αποδοτικότητα καθώς και η ακρίβεια του προτεινόμενου μοντέλου, οι εκτιμήσεις οι οποίες πραγματοποιήθηκαν συγκρίνονται με τις βαθμολογίες έμπειρων αξιολογητών. Τα αποτελέσματα της ανάλυσης συσχετίσεων και της ανάλυσης σφάλματος παρουσιάζονται ανά περίπτωση. Το παρόν κεφάλαιο δομείται ως εξής: 102

113 Στην παράγραφο 5.2 παρουσιάζεται η πρώτη φάση της πειραματικής διαδικασίας (Φάση Α) και τα αποτελέσματά της για το σύνολο των συνεργατικών διαστάσεων του Πίνακα 5-1 και την γενική διάσταση της Ποιότητας της Συνεργασίας (ΠτΣ), όπως ορίζεται στο κεφάλαιο 3. Στην παράγραφο 5.3 παρουσιάζεται η δεύτερη φάση (Φάση Β) και τα αντίστοιχα αποτελέσματα για διάφορους τύπους πολυπαραμετρικών χρονοσειρών. Η τρίτη φάση (Φάση Γ) της διαδικασίας παρουσιάζεται στην παράγραφο 5.4. Το κεφάλαιο καταλήγει με τον επίλογο (παράγραφος 5.5) σε συζήτηση των αποτελεσμάτων και παρατηρήσεις. Πίνακας 5-1. Συνεργατικές Διαστάσεις που ορίζουν την ποιότητα μίας συνεργατικής δραστηριότητας. Βασικά χαρακτηριστικά συνεργατικών δραστηριοτήτων Επικοινωνία (Communication) Κοινή Επεξεργασία Πληροφορίας (Joint information processing) Συντονισμός (Coordination) Απόδοση χαρακτηριστικών συνεργασίας στο Σχήμα Αξιολόγησης ΣΔ 1: Συνεργατική Ροή (Collaboration Flow) ΣΔ 2: Διατήρηση Κοινής Κατανόησης (Sustaining mutual understanding) ΣΔ 3: Ανταλλαγή Γνώσης (Knowledge exchange) ΣΔ 4: Επιχειρηματολογία (Argumentation) ΣΔ 5: Δόμηση της διαδικασίας επίλυσης προβλήματος (Structuring the Problem Solving Process) Διαπροσωπική Σχέση (Interpersonal Relationship) ΣΔ 6: Συνεργατικός Προσανατολισμός (Cooperative orientation) Κίνητρο (Motivation) ΣΔ 7: Προσωπικός Προσανατολισμός (Individual task orientation) 5.2 ΦΑΣΗ Α - ΕΦΑΡΜΟΓΗ ΑΛΓΟΡΙΘΜΟΥ ΑΝΑ ΣΥΝΕΡΓΑΤΙΚΗ ΔΙΑΣΤΑΣΗ Στο πρώτο μέρος της πειραματικής διαδικασίας και στα πλαίσια της παρούσας εργασίας, χρησιμοποιήθηκε το προτεινόμενο μοντέλο ταξινόμησης και αξιολόγησης συνεργατικών δραστηριοτήτων (TSCMoCA) για να αποτιμηθεί με ποσοτικό τρόπο, ουσιαστικά δηλαδή αποδίδοντας βαθμολογία, κάθε μία από τις έξι συνεργατικές διαστάσεις. Επιπλέον αποτιμάται η ποιότητα της συνεργασίας (ΠΤΣ) όπως ορίζεται και σε προηγούμενες μελέτες (Kahrimanis, G. et al., 2009). Ως είσοδος στο μοντέλο αξιολόγησης χρησιμοποιήθηκαν οι μονοπαραμετικές χρονοσειρές (univariate time series) που υλοποιήθηκαν από μετρικές δραστηριότητας της εφαρμογής η οποία διαμεσολάβησε τις συνεργατικές συνεδρίες. Η μορφή και κατασκευή αυτών των χρονοσειρών είναι αντικείμενο της παραγράφου 4.3, ενώ στη συγκεκριμένη φάση της 103

114 εργασίας μελετήθηκαν οκτώ χρονικά παραθύρα: (10, 15, 30, 45, 60, 300, 480, 600). Καθώς χρησιμοποιήθηκε η έννοια της απόστασης ως μετρική ομοιότητας των χρονοσειρών, μελετήθηκε επιπλέον η επίπτωση της κανονικοποίησης των αποστάσεων στα αποτελέσματα του μοντέλου. Στην Φάση Α, παρουσιάζονται τα αποτελέσματα τόσο για κανονικοποιημένες, όσο και μη, αποστάσεις. Πίνακας 5-2. Μετρικές Δραστηριότητας για το εργαλειο ανταλλαγής μηνυμάτων και τον κοινόχρηστο χώρο εργασίας Εργαλείο Ανταλλαγής Μηνυμάτων Κοινόχρηστος Χώρος Εργασίας Χρονοσειρές Δραστηριότητας #COA #DCOA #CALT #DCALT #CTG #DCTG #CSYM #DCSYM #WOA #DWOA #WALT #DWALT #WTG #DWTG #WSYM #DWSYM Περιγραφή Μετρικής Αριθμός μηνυμάτων Ρυθμός μεταβολής αριθμού μηνυμάτων Αριθμός εναλλαγών ενεργού ρόλου Ρυθμός μεταβολής ενεργού ρόλου Μέσος Χρόνος Ανταπόκρισης Ρυθμός μεταβολής Μέσου χρόνου ανταπόκρισης Συμμετρία Δραστηριότητας Ρυθμός μεταβολής συμμετρίας Αριθμός ενεργειών Ρυθμός μεταβολής αριθμού ενεργειών Αριθμός εναλλαγών ενεργού ρόλου Ρυθμός μεταβολής ενεργού ρόλου Μέσος Χρόνος Ανταπόκρισης Ρυθμός μεταβολής Μέσου χρόνου ανταπόκρισης Συμμετρία Δραστηριότητας Ρυθμός μεταβολής συμμετρίας Ως τελικό αποτέλεσμα, τα υπο αξιολόγηση δείγματα συνεργατικών συνεδριών βαθμολογήθηκαν ως προς όλες τις συνεργατικές διαστάσεις που προαναφέρθηκαν, μέσα στο εύρος τιμών [-2, 2]. Στην συνέχεια συγκρίθηκαν και συσχετίσθηκαν τα αποτελέσματα της αξιολόγησης που έγινε, από το μοντέλο με τις βαθμολογίες που είχαν αποδώσει έμπειροι αξιολογητές με βάση το σχήμα ποιοτικής αξιολόγησης συνεργασίας σε προηγούμενη εργασία (κεφάλαιο 3). Με αυτόν τον τρόπο επιδιώκεται η συσχέτιση συγκεκριμένων μετρικών υπό μορφή χρονοσειρών από εδώ και στο εξής οι όροι «μετρική» και «χρονοσειρά» θα αναφέρονται ως ταυτόσημοι και εννοώντας την χρονοσειρά που κατασκευάστηκε από αθροίσματα γεγονότων μίας μετρικής δραστηριότητας ανά τακτά χρονικά διαστήματα, ή αλλιώς χρονικά παράθυρα αλλά και χρονικών παραθύρων δραστηριότητας, με ποιοτικά χαρακτηριστικά της συνεργασίας σε χαμηλότερο επίπεδο ανάλυσης. 104

115 Απώτερος σκοπός είναι να αναγνωριστούν πιθανές σχέσεις και μοτίβα μεταξύ του τρόπου που εξελίσσεται μια συνεργατική δραστηριότητα στον χρόνο, και μάλιστα κάνοντας χρήση ποσοτικών μεγεθών και αυτοματοποιημένων μεθόδων σε συνδυασμό με δεδομένα που μπορούν να παρθούν από την συνεργατική εφαρμογή, και των ποιοτικών εκτιμήσεων της ποιότητας συνεργατικών συνεδριών έτσι όπως ένας δάσκαλος ή έμπειρος αξιολογητής θα τις απέδιδε. Στην συνέχεια παρουσιάζονται και αναλύονται τα αποτελέσματα της διαδικασίας της πρώτης φάσης. Για όλες τις διαστάσεις που μελετώνται, παρουσιάζονται τα αποτελέσματα της ανάλυσης συσχετίσεων για κάθε μετρική. Η ανάλυση συσχετίσεων παρουσιάζεται σε δύο μέρη, ανάλογα με το είδος των μετρικών: (α) μετρικές διαλόγου και (β) μετρικές κοινόχρηστου χώρου εργασίας. Στο τέλος δίνεται μία συνοπτική εικόνα των αποτελεσμάτων για το σύνολο των μετρικών. Οι μετρικές διαλόγου και κοινόχρηστου χώρου εργασίας που χρησιμοποιήθηκαν παρουσιάζονται στον Πίνακα ΠΡΩΤΗ ΣΥΝΕΡΓΑΤΙΚΗ ΔΙΑΣΤΑΣΗ (ΣΔ 1): ΣΥΝΕΡΓΑΤΙΚΗ ΡΟΗ. Η πρώτη συνεργατική διάσταση (ΣΔ1) της Συνεργατικής Ροής (Collaboration flow) αναφέρεται στην επικοινωνία των χρηστών που χαρακτηρίζει τις συνεργατικές δραστηριότητες. Όπως αναφέρθηκε και στο κεφάλαιο 3, αυτή η διάσταση χρησιμοποιείται για να περιγραφεί η δομή και ο βαθμός επιτυχίας και πληρότητας της επικοινωνίας μεταξύ των συνεργατών. Για την αξιολόγηση της συνεργατικής ροής λαμβάνεται υπόψη η συνολική συνεισφορά και συμπεριφορά των συνεργαζόμενων μερών, και στην παρούσα περίπτωση, τόσο η δραστηριότητά τους στο εργαλείο διαλόγου όσο και στον κοινόχρηστο χώρο εργασίας ΧΡΟΝΟΣΕΙΡΕΣ ΔΙΑΛΟΓΟΥ. Το εργαλείο διαλόγου, ή αλλιώς εργαλείο ανταλλαγής μηνυμάτων (chat tool), είναι ο κύριος και άμεσος δίαυλος επικοινωνίας μεταξύ χρηστών οι οποίοι συνεργάζονται για την επίτευξη κάποιου κοινού στόχου μέσω της συνεργατικής εφαρμογής. Συνεπώς αναμένεται ότι οι μετρικές που θα συσχετίζονται σε μεγαλύτερο βαθμό τόσο με την πρώτη συνεργατική διάσταση της Συνεργατικής Ροής αλλά και με όλες όσες περιγράφουν επικοινωνία συνεργαζόμενων μερών, θα είναι οι αυτές που αναφέρονται στην δραστηριότητα που λαμβάνει χώρα στο εργαλείο ανταλλαγής μηνυμάτων. Τα αποτελέσματα των συσχετίσεων των αποτελεσμάτων του μοντέλου εκτίμησης, όπως αυτό χρησιμοποιήθηκε στην πειραματική διαδικασία, και των αποτελεσμάτων της αξιολόγησης από έμπειρους αξιολογητές παρουσιάζονται στην συνέχεια (Πίνακας 5-3). Οι περιπτώσεις όπου δεν παρατηρείται καμμία σημαντική συσχέτιση δεν αναφέρονται στον πίνακα αποτελεσμάτων. Η πλειονότητα των μετρικών συσχετίζεται 105

116 θετικά με τα αποτελέσματα του μοντέλου, για τα περισσότερα χρονικά παράθυρα, εκτός από τις μετρικές που σχετίζονται με την συμμετρία (#CSYM, #DCSYM) όπου οι συσχετίσεις που παρατηρούνται είναι αρνητικές. Οι τιμές του δείκτη συσχέτισης για θετικές συσχετίσεις κυμαίνονται μεταξύ των τιμών: - [0.134, 0.345], για μη κανονικοποιημένες αποστάσεις - [0.132, 0.248], για κανονικοποιημένες αποστάσεις Κατά την χρήση απλών αποστάσεων (μη κανονικοποιημένες) ως μέτρο ομοιότητας, οι συσχετίσεις μεγιστοποιούνται ανά μετρική στα μικρού (15-30 δευτερολέπτων) ή μεγάλου μεγέθους ( δευτερολέπτων) χρονικά παράθυρα ενώ στα ενδιάμεσα δεν παρουσιάζεται ξεκάθαρη συμπεριφορά στο μοτίβο που ακολουθεί. Πιο συγκεκριμένα, ο δείκτης συσχετίσεων μεγιστοποιείται στα μεγάλα χρονικά παράθυρα (300, 480 δευτερολέπτων) στις περιπτώσεις των μετρικών που εκφράζουν ποσότητα δραστηριότητας ή εναλλαγές ενεργών ρόλων, δηλαδή στις χρονοσειρές #COA και #CALT ενώ ελαχιστοποιείται στα μικρά παράθυρα (15, 30 δευτερολέπτων). Η ακριβώς αντίστροφη συμπεριφορά παρατηρείται για τις Χρονοσειρές οι οποίες εκφράζουν ρυθμό, δηλαδή τις #DCOA και #DCALT. Σε αυτή την περίπτωση, ο δείκτης συσχέτισης μεγιστοποιείται στα μικρά χρονικά παράθυρα (15, 30 δευτερολέπτων) ενώ ελαχιστοποιείται στα μεγάλα (300, 480 δευτερολέπτων). Για τις υπόλοιπες χρονοσειρές δεν εμφανίζονται σημαντικές συσχετίσεις, πέραν της μετρικής που εκφράζει συμμετρία (#CSYM)και για την οποία τα αποτελέσματα συσχετίζονται αρνητικά. Κατά την χρήση κανονικοποιημένων αποστάσεων, η συμπεριφορά που μόλις περιγράφηκε ομαλοποιείται αλλά δεν απαλείφεται πλήρως. Παρατηρείται πως για τις μετρικές που εκφράζουν ποσότητα δραστηριότητας, ο δείκτης συσχέτισης ελαχιστοποιείται για μικρά χρονικά παράθυρα ενώ μεγιστοποιείται για τα μεγαλύτερα. Η αντίστροφη περίπτωση εμφανίζεται σε μία από τις δύο μετρικές που εκφράζουν ρυθμό μεταβολής δραστηριότητας (#DCOA). Παρ όλα αυτά οι μεγάλες διαφορές μεταξύ των χρονικών παραθύρων για τις οποίες εμφανίζονται σημαντικές συσχετίσεις, δεν παρατηρούνται πλέον καθώς ο δείκτης συσχέτισης μεγιστοποιείται στην πλειοψηφία των περιπτώσεων για το χρονικό παράθυρο των 480 δευτερολέπτων. Επιπλέον εμφανίζονται συσχετίσεις και για την μετρική που εκφράζει απουσία δραστηριότητας στη μονάδα του χρόνου (#CTG) καθώς και για τις μετρικές που εκφράζουν συμμετρία (#CSYM) και ρυθμό μεταβολής συμμετρίας (#DCSYM). Στις δύο τελευταίες περιπτώσεις ο δείκτης συσχέτισης παίρνει αρνητικές τιμές. Αθροίζοντας τον αριθμό των μετρικών για τις οποίες έχουμε σημαντική συσχέτιση, παρατηρούμε πως ο μεγαλύτερος αριθμός διαστάσεων για τον οποίο τα αποτελέσματα των δύο διαδικασιών αξιολόγησης συσχετίζονται, εμφανίζεται στα μεγάλα χρονικά παράθυρα ( δευτερολέπτων) τόσο για κανονικοποιημένες όσο και για μη 106

117 κανονικοποιημένες αποστάσεις. Συνεπώς οι χρονοσειρές που περιγράφουν δραστηριότητα μεγάλων χρονικών διαστημάτων έχουν καλύτερα αποτελέσματα όταν χρησιμοποιηθούν ως είσοδος στο μοντέλο εκτίμησης, ως προς το άθροισμα σημαντικών συσχετίσεων που εμφανίζουν τα αποτελέσματα, χωρίς όμως να λαμβάνεται υπ όψη ο δείκτης συσχέτισης ή το σφάλμα πρόβλεψης. Πίνακας 5-3. Σημαντικές συσχετίσεις ανά μετρική δραστηριότητας διαλόγου για μη κανονικοποιημένες και κανονικοποιημένες αποστάσεις και ανά χρονικό παράθυρο Μη Κανονικοποιημένες Κανονικοποιημένες αποστάσεις αποστάσεις ΧΠ #COA #DCOA #CALT #DCALT #CSYM #COA #DCOA #CALT #DCALT #CSYM #DCSYM #CTG ΜΕΤΡΙΚΕΣ ΚΟΙΝΟΧΡΗΣΤΟΥ ΧΩΡΟΥ ΕΡΓΑΣΙΑΣ Στα συνεργατικά εργαλεία που αποτελούνται από συνδυασμό κοινόχρηστου χώρου εργασίας και εργαλείου ανταλλαγής μηνυμάτων, η επικοινωνία μεταξύ των συνεργαζόμενων μερών διενεργείται κυρίως μέσω του εργαλείου ανταλλαγής μηνυμάτων με άμεσο τρόπο. Παρ όλα αυτά συνήθως παρατηρείται μία έμμεση μορφή επικοινωνίας μέσω του κοινόχρηστου χώρου εργασίας μεταξύ των συνεργαζόμενων μερών, όπου οι ενέργειες του ενός χρήστη μπορούν να εκληφθούν ως «απαντήσεις» σε ενέργειες του συνεργάτη του, θεωρώντας ότι κάθε ενέργεια είναι μία αντίδραση ή έχει προκληθεί από προηγούμενες ενέργειες της άλλης πλευράς. Όσον αφορά στις μετρικές δραστηριότητας του κοινόχρηστου χώρου εργασίας, παρατηρείται εμφάνιση σημαντικών συσχετίσεων είτε στα μικρά χρονικά παράθυρα (μικρότερα των 45 δευτερολέπτων), είτε στο μέγιστο (600 δευτερολέπτων) και για μεμονωμένες μετρικές. Τα χρονικά παράθυρα για τα οποία δεν εμφανίζεται καμία σημαντική συσχέτιση παραλείπονται από τα αποτελέσματα (Πίνακας 5-4). Οι θετικές και στατιστικά σημαντικές συσχετίσεις κυμαίνονται μεταξύ των τιμών: - [0.164, 0.24], για μη κανονικοποιημένες αποστάσεις - [0.138, 0.314], για κανονικοποιημένες αποστάσεις Αρνητικές συσχετίσεις εμφανίζονται στην περίπτωση των μετρικών συμμετρίας, όπως συμβαίνει και για τις μετρικές διαλόγου. Αθροίζοντας των αριθμό των μετρικών για τις οποίες παρατηρούνται σημαντικές συσχετίσεις μεταξύ των αποτελεσμάτων 107

118 επιβεβαιώνεται πως για μικρά χρονικά παράθυρα (15-45 δευτερολέπτων) τα αποτελέσματα συσχετίζονται για μεγαλύτερο αριθμό μετρικών της δραστηριότητας του κοινόχρηστου χώρου εργασίας. Από τα αποτελέσματα των συσχετίσεων παρατηρούμε πως στην περίπτωση των μη κανονικοποιημένων και κανονικοποιημένων αποστάσεων, μόνο για την μετρική #WOA παρουσιάζεται ικανοποιητικός αριθμός συσχετίσεων κατανεμημένος ομοιόμορφα ανάλογα με το μέγεθος των χρονικών παραθύρων ενώ για τις υπόλοιπες μετρικές παρουσιάζονται σποραδικές ή καμμία απολύτως σημαντική συσχέτιση. Πίνακας 5-4. Σημαντικές συσχετίσεις ανά μετρική δραστηριότητας κοινόχρηστου χώρου εργασίας για μη κανονικοποιημένες και κανονικοποιημένες αποστάσεις και ανά χρονικό παράθυρο Κανονικοποιημένες Μη κανονικοποιημένες αποστάσεις αποστάσεις ΧΠ #WOA #WOA #WSYM #WTG #DWTG ΣΥΝΟΛΟ ΜΕΤΡΙΚΩΝ Στο σύνολο των μετρικών, τόσο για το εργαλείο ανταλλαγής μηνυμάτων όσο και για τον κοινόχρηστο χώρο εργασίας, τα αποτελέσματα της πειραματικής διαδικασίας συσχετίζονται σημαντικά με τα αποτελέσματα της διαδικασίας βαθμολόγησης σε όλα τα χρονικά παράθυρα και για μία έως έξι (από τις δεκαέξι συνολικά) μετρικές. Οι μετρικές που περιγράφουν συμμετρία εμφανίζουν αρνητικές συσχετίσεις στην πλειοψηφία των περιπτώσεων ενώ η πρώτη συνεργατική διάσταση της Συνεργατικής Ροής (ΣΔ1) φαίνεται πως συσχετίζεται κυρίως με την δραστηριότητα του εργαλείου ανταλλαγής μηνυμάτων και δευτερευόντως με τον κοινόχρηστο χώρο εργασίας. Το άθροισμα των μετρικών για τις οποίες παρουσιάζονται σημαντικές συσχετίσεις μεγιστοποιείται για τα χρονικά παράθυρα των 15, 300, 480 και 600 δευτερολέπτων ενώ ελαχιστοποιείται για το χρονικό παράθυρο των 10 δευτερολέπτων (Εικόνα 5-1). Στην περίπτωση των μετρικών που περιγράφουν ποσότητα δραστηριότητας, όπως για παράδειγμα αριθμό γραπτών μηνυμάτων ή ενεργειών στον κοινόχρηστο χώρο ανά χρονικό παράθυρο, οι εμφανιζόμενες συσχετίσεις τείνουν να ελαχιστοποιούνται στα μικρά χρονικά παράθυρα (15, 30 δευτερολέπτων) και να μεγιστοποιούνται στα μεγάλα ( δευτερολέπτων) ενώ το ακριβώς αντίστροφο παρατηρείται για τις μετρικές που εκφράζουν ρυθμό μεταβολής όγκου δραστηριότητας. Αυτή η συμπεριφορά 108

119 καταγράφεται κυρίως όταν γίνεται χρήση μη κανονικοποιημένων αποστάσεων ως μέτρο ομοιότητας. Στην περίπτωση κατά την οποία γίνεται χρήση κανονικοποιημένων αποστάσεων, η ίδια συμπεριφορά συνεχίζει να ισχύει όμως η διασπορά εμφάνισης σημαντικών συσχετίσεων μεταξύ των διάφορων χρονικών παραθύρων μειώνεται και οι σημαντικές συσχετίσεις τείνουν να εμφανίζονται για τις περισσότερες μετρικές στα ίδιας τάξης μεγέθους, χρονικά παράθυρα ΔΕΥΤΕΡΗ ΣΥΝΕΡΓΑΤΙΚΗ ΔΙΑΣΤΑΣΗ (ΣΔ 2): ΔΙΑΤΗΡΗΣΗ ΚΟΙΝΗΣ ΚΑΤΑΝΟΗΣΗΣ Η δεύτερη συνεργατική διάσταση (ΣΔ2) της Διατήρησης Κοινής Κατανόησης (Sustaining mutual understanding) αναφέρεται και περιγράφει τους τρόπους και τους μηχανισμούς με τους οποίους μία ομάδα συνεργατών διατηρεί τον κοινό τόπο συνεννόησης και βασικής κατανόησης μεταξύ των συνεργαζόμενων μελών όσον αφορά στον κοινό στόχο αλλά και την συνεργατική διαδικασία. Αποτελεί διάσταση της επικοινωνίας και συνεπώς, όπως και στην περίπτωση της πρώτης συνεργατικής διάστασης (ΣΔ 1), αναμένεται πως οι μετρικές του εργαλείου ανταλλαγής μηνυμάτων περιγράφουν καλύτερα την συγκεκριμένη διάσταση ΜΕΤΡΙΚΕΣ ΔΙΑΛΟΓΟΥ. Όπως και για την πρώτη συνεργατική διάσταση (ΣΔ1), για τις περισσότερες μετρικές δραστηριότητας του εργαλείου ανταλλαγής μηνυμάτων, παρουσιάζονται θετικές συσχετίσεις μεταξύ των αποτελεσμάτων της πειραματικής διαδικασίας και της ποιοτικής διαδικασίας αξιολόγησης, σχεδόν για όλα τα χρονικά παράθυρα. Συγκεκριμένα, όταν γίνεται χρήση μη κανονικοποιημένων αποστάσεων, στα μικρότερα χρονικά παράθυρα, των 10 και 15 δευτερολέπτων, δεν παρουσιάζονται σημαντικές συσχετίσεις σχεδόν για καμμία μετρική ενώ ο αριθμός των συσχετιζόμενων μετρικών μεγιστοποιείται κατά κύριο λόγο για τα μεγάλα χρονικά παράθυρα (300 sec και 480 δευτερολέπτων) (Πίνακας 5-5). Για την μετρική #DCTG δεν εμφανίζεται καμμία σημαντική συσχέτιση για κανένα χρονικό παράθυρο ενώ για τις μετρικές #CTG, #CSYM και #DCSYM εμφανίζονται σποραδικές συσχετίσεις. Το ίδιο ισχύει και για την περίπτωση κατά την οποία γίνεται χρήση κανονικοποιημένων αποστάσεων. Ο δείκτης συσχετίσεων κυμαίνεται μεταξύ των τιμών: - [0.134, 0.216], για μη κανονικοποιημένες αποστάσεις [0.111, 0.256], για κανονικοποιημένες αποστάσεις Στην περίπτωση των μετρικών που αντιστοιχούν στον όγκο (#COA) και στον ρυθμό μεταβολής του όγκου μηνυμάτων (#DCOA), οι συσχετίσεις είναι πιο αδύναμες για τα χρονικά παράθυρα μεσαίου μεγέθους (45, 60 δευτερολέπτων) ενώ μεγιστοποιούνται για μεγάλα χρονικά παράθυρα (300 δευτερολέπτων). Η ίδια συμπεριφορά 109

120 παρατηρείται επίσης για την μετρική που εκφράζει χρόνο απόκρισης (#CTG), ενώ οι μετρικές που αντιπροσωπεύουν την εναλλαγή ρόλων στο εργαλείο ανταλλαγής μηνυμάτων (#CALT) εμφανίζουν την αντίστροφη συμπεριφορά. Στην περίπτωση χρήσης κανονικοποιημένων αποστάσεων ως μέτρο ομοιότητας, παρατηρούμε ότι για τις μετρικές που αναφέρονται στον αριθμό μηνυμάτων (#COA), τα βέλτιστα αποτελέσματα εμφανίζονται σε μικρότερα χρονικά παράθυρα Άθροισμα συσχετιζόμενων μετρικών για την ΣΔ1 ανά χρονικό παράθυρο Μη κανονικοποιημένες αποστάσεις Κανονικοποιημένες αποστάσεις Εικόνα 5-1. Άθροισμα μετρικών διαλόγου και κοινόχρηστου χώρου εργασίας που εμφανίζουν στατιστικά σημαντικές συσχετίσεις για την πρώτη συνεργατική διάσταση, ΣΔ1 ανά χρονικό παράθυρο. Πίνακας 5-5. Σημαντικές συσχετίσεις ανά μετρική δραστηριότητας διαλόγου για μη κανονικοποιημένες και κανονικοποιημένες αποστάσεις σεις και ανά χρονικό παράθυρο Μη κανονικοποιημένες αποστάσεις Κανονικοποιημένες αποστάσεις ΧΠ #COA #DCOA #CALT #DCALT #CSYM #DCSYM #CTG #COA #DCOA #CALT #DCALT #CTG ΜΕΤΡΙΚΕΣ ΚΟΙΝΟΧΡΗΣΤΟΥ ΧΩΡΟΥ ΕΡΓΑΣΙΑΣ Στην περίπτωση των μετρικών που αναφέρονται στον κοινόχρηστο χώρο εργασίας, υπάρχει μεγάλη διαφοροποίηση μεταξύ των κανονικοποιημένων και μη κανονικοποιημένων αποστάσεων. Για τις μη κανονικοποιημένες αποστάσεις παρατηρούμε ότι για τις περισσότερες μετρικές παρουσιάζονται συσχετίσεις για μεγάλα χρονικά παράθυρα (480 δευτερολέπτων) ενώ το αντίστροφο συμβαίνει όταν 110

121 κανονικοποιούνται οι αποστάσεις όπου ο μέγιστος αριθμός μετρικών που παρουσιάζει συσχέτιση εμφανίζεται σε μικρά χρονικά παράθυρα (10-15 δευτερολέπτων) (Πίνακας 5-6). Πίνακας 5-6. Σημαντικές συσχετίσεις ανά μετρική δραστηριότητας κοινόχρηστου χώρου εργασίας για μη κανονικοποιημένες και κανονικοποιημένες αποστάσεις και ανά χρονικό παράθυρο Μη κανονικοποιημένες αποστάσεις Κανονικοποιημένες αποστάσεις ΧΠ #WOA #WOA #DWOA #WSYM #DWSYM #WTG Για τις μετρικές #WTG, #DWTG, #WSYM και #DWSYM εμφανίζονται σποραδικές ή καμμία συσχέτιση, ενώ συγκεκριμένα για τις μετρικές συμμετρίας (#WSYM και #DWSYM) εμφανίζονται αρνητικές συσχετίσεις. Οι, στατιστικά, σημαντικές θετικές συσχετίσεις που εμφανίζονται είναι μικρές καθώς ο δείκτης συσχέτισης κυμαίνεται στις τιμές: (μία μοναδική σημαντική συσχέτιση για μη κανονικοποιημένες αποστάσεις - [0.02, 0.2], για κανονικοποιημένες αποστάσεις ΣΥΝΟΛΟ ΜΕΤΡΙΚΩΝ Στην περίπτωση της δεύτερης συνεργατικής διάστασης (ΣΔ2) της Διατήρησης Κοινής Κατανόησης δεν εμφανίζονται τόσες πολλές σε πλήθος αλλά ούτε επίσης ισχυρές συσχετίσεις μεταξύ των αποτελεσμάτων της ποσοτικής και ποιοτικής αξιολόγησης όπως συνέβη στην περίπτωση της πρώτης συνεργατικής διάστασης (ΣΔ1). Επιπλέον δεν παρατηρήθηκε η ύπαρξη μοτίβου όσον αφορά στη συμπεριφορά του δείκτη συσχέτισης και τα διάφορα χρονικά παράθυρα τα οποία εξετάστηκαν. Ειδικά στην περίπτωση που γίνεται χρήση κανονικοποιημένων αποστάσεων του αλγόριθμου DTW, στα περισσότερα χρονικά παράθυρα εμφανίζονται σημαντικές συσχετίσεις για τις μετρικές που περιγράφουν όγκο δραστηριότητας ή ρυθμό μεταβολής. Επίσης σημαντικές συσχετίσεις σε μεγάλα χρονικά παράθυρα παρατηρούνται στις μετρικές χρόνου απόκρισης ανά χρονικά διαστήματα. Οι μετρικές συμμετρίας παρουσιάζουν σποραδικές, και κυρίως αρνητικές, συσχετίσεις και δεν εξετάζονται περαιτέρω. 111

122 Σύνολο συσχετιζόμενων μετρικών για την ΣΔ2 ανά χρονικό παράθυρο Μη κανονικοποιημένες αποστάσεις Κανονικοποιημένες αποστάσεις Εικόνα 5-2. Άθροισμα μετρικών διαλόγου και κοινόχρηστου χώρου εργασίας που εμφανίζουν στατιστικά σημαντικές συσχετίσεις για την δεύτερη συνεργατική διάσταση, ΣΔ2 ανά χρονικό παράθυρο. Ο αριθμός των εμφανιζομένων συσχετίσεων μεγιστοποιείται για την πλειονότητα των μετρικών στο χρονικό παράθυρο των 480 δευτερολέπτων, για κανονικοποιημένες αποστάσεις, ενώ επίσης σημαντικές συσχετίσεις εμφανίζονται και για το χρονικό παράθυρο των 15 δευτερολέπτων. Στην περίπτωση μη κανονικοποιημένων αποστάσεων, ο μέγιστος αριθμός συσχετίσεων παρατηρείται για το παράθυρο των 300 δευτερολέπτων ενώ ελαχιστοποιείται για μεγαλύτερα χρονικά παράθυρα. Το μέγιστο άθροισμα μετρικών για τις οποίες τα αποτελέσματα συσχετίζονται θετικά εμφανίζεται στα χρονικά παράθυρα των 300 δευτερολέπτων για μη κανονικοποιημένες αποστάσεις, ενώ στην περίπτωση κανονικοποιημένων αποστάσεων το μέγιστο άθροισμα εμφανίζεται στο χρονικό παράθυρο των 480 δευτερολέπτων (Εικόνα 5-2) ΤΡΙΤΗ ΣΥΝΕΡΓΑΤΙΚΗ ΥΝΕΡΓΑΤΙΚΗ ΔΙΑΣΤΑΣΗ (ΣΔ 3): ΑΝΤΑΛΛΑΓΗ ΓΝΩΣΗΣ Η διάσταση της Ανταλλαγής Γνώσης (Knowledge exchange) ) (ΣΔ3) είναι μία από τις διαστάσεις που αφορούν στην γενικότερη έννοια της επεξεργασίας πληροφοριών συνεργατικά και χρησιμοποιείται για να περιγράψει κατά πόσο τα συνεργαζόμενα μέλη μιας ομάδας ανταλλάσσουν πληροφορίες που εμπεριέχουν γνώση σχετική με τον καθεαυτό στόχο της δραστηριότητας. Η τρίτη συνεργατική διάσταση αποτιμάται, κυρίως, ποιοτικά εξετάζοντας το περιεχόμενο των μηνυμάτων που ανταλλάσουν οι συνεργαζόμενες πλευρές ή την σημασιολογία της ροής των ενεργειών του κοινόχρηστου χώρου εργασίας. Επειδή εμπεριέχεται η έννοια της επικοινωνίας, αναμένεται πως για μετρικές του διαλόγου θα εμφανίζονται σημαντικές συσχετίσεις μεταξύ των βαθμολογιών που αποδόθηκαν από το μοντέλο και των βαθμολογιών οι οποίες αποδόθηκαν από τους αξιολογητές. Στην συνέχεια παρουσιάζεται η ανάλυση συσχετίσεων τόσο για τις μετρικές διαλόγου όσο και για τις μετρικές του κοινόχρηστου χώρου εργασίας, αλλά και η αποτίμηση της συνολικής εικόνας. 112

123 ΜΕΤΡΙΚΕΣ ΔΙΑΛΟΓΟΥ Όπως και στην περίπτωση της πρώτης συνεργατικής διάστασης (ΣΔ1), τα αποτελέσματα της πειραματικής διαδικασίας συσχετίζονται σημαντικά με τα αποτελέσματα της βαθμολόγησης από έμπειρους αξιολογητές, για τα περισσότερα χρονικά παράθυρα και κυρίως για τις μετρικές όγκου δραστηριότητας και εναλλαγών ενεργού ρόλου αλλά και τις μετρικές ρυθμού τους (#COA, # DCOA, #CALT και #DCALT), ενώ για τις υπόλοιπες παρουσιάζονται σποραδικές συσχετίσεις (ιδιαίτερα στην περίπτωση της μετρικής #CTG, όπου ο αριθμός των συσχετίσεων και η τιμή του δείκτη συσχέτισης αυξάνεται αν γίνει κανονικοποίηση αποστάσεων) ή καθόλου συσχετίσεις. Στο μέγιστο χρονικό παράθυρο των 600 δευτερολέπτων, τα αποτελέσματα των δυο διαδικασιών αποτίμησης της τρίτης συνεργατικής διάστασης παρουσιάζουν συσχετίσεις για όλες τις μετρικές εκτός από αυτές που σχετίζονται με τον χρόνο (Πίνακας 5-7). Οι ισχυρότερες συσχετίσεις παρουσιάζονται σχεδόν για όλες τις μετρικές στα μικρά χρονικά παράθυρα (15-45 δευτερολέπτων) τόσο για κανονικοποιημένες όσο και μη κανονικοποιημένες αποστάσεις. Οι σημαντικές, θετικές συσχετίσεις είναι ασθενείς ή μέτριες και ο αντίστοιχος δείκτης συσχετίσεων κυμαίνεται μεταξύ των τιμών: - [0.145, 0.327], για μη κανονικοποιημένες αποστάσεις - [0.136, 0.336], για κανονικοποιημένες αποστάσεις Πίνακας 5-7. Σημαντικές συσχετίσεις ανά μετρική δραστηριότητας διαλόγου για μη κανονικοποιημένες και κανονικοποιημένες αποστάσεις και ανά χρονικό παράθυρο Μη κανονικοποιημένες αποστάσεις Κανονικοποιημένες αποστάσεις ΧΠ #COA #DCOA #CALT #DCALT #CSYM #DCSYM #CTG #COA #DCOA #CALT #DCALT #CSYM #DCSYM #CTG ΜΕΤΡΙΚΕΣ ΚΟΙΝΟΧΡΗΣΤΟΥ ΧΩΡΟΥ ΕΡΓΑΣΙΑΣ Για την τρίτη συνεργατική διάσταση, οι περισσότερες συσχετίσεις που εμφανίζονται για τις μετρικές του κοινόχρηστου χώρου εργασίας, αφορούν στην μετρική δραστηριότητας #WOA. Οι περισσότερες συσχετίσεις σε πλήθος παρατηρούνται στα μικρά χρονικά παράθυρα (15-30 δευτερολέπτων) οι οποίες όμως είναι ασθενείς ή μέτριες. Άλλες συσχετίσεις είναι σποραδικές ή δεν εμφανίζονται καθόλου (Πίνακας 5-8). Αυτό 113

124 είναι αναμενόμενο καθώς η ανταλλαγή γνώσης δεν αναμένεται να σχετίζεται με την δραστηριότητα στον κοινόχρηστο χώρο εργασίας εξαιτίας κυρίως της φύσης της συνεργατικής εργασίας που είχαν να εκτελέσουν οι συνεργαζόμενες ομάδες στα πλαίσια της παρούσας μελέτης. Ο δείκτης συσχετίσεων κινείται μεταξύ των τιμών - [0.141, 0.179], για μη κανονικοποιημένες αποστάσεις - [0.155, 0.247], για κανονικοποιημένες αποστάσεις ΣΥΝΟΛΟ ΜΕΤΡΙΚΩΝ Αθροίζοντας τον αριθμό των μετρικών για τις οποίες εμφανίζονται σημαντικές συσχετίσεις στα αποτελέσματα, παρατηρείται πως ο αριθμός αυτός μεγιστοποιείται για τα ακραία χρονικά παράθυρα (15, 30 και 600 δευτερολέπτων, με άθροισμα 5 και 6 μετρικές αντίστοιχα) (Εικόνα 5-3) σημειώνοντας όμως υψηλές τιμές και στα υπόλοιπα χρονικά παράθυρα. Συνολικά, οι πιο ισχυρές συσχετίσεις εμφανίζονται στα χρονικά παράθυρα μικρού μεγέθους για την πλειοψηφία των μετρικών ενώ για μεγαλύτερα χρονικά παράθυρα μειώνονται. Αυτή η συμπεριφορά εμφανίζεται τόσο κατά την χρήση μη κανονικοποιημένων αλλά και κανονικοποιημένων αποστάσεων, και άρα η κανονικοποίηση των αποστάσεων από τον αλγόριθμο της Δυναμικής Χρονικής Στρέβλωσης (DTW) δεν φαίνεται να επηρεάζει τα τελικά αποτελέσματα. Πίνακας 5-8. Σημαντικές συσχετίσεις ανά μετρική δραστηριότητας κοινόχρηστου χώρου εργασίας για μη κανονικοποιημένες και κανονικοποιημένες αποστάσεις και ανά χρονικό παράθυρο Μη κανονικοποιημένες αποστάσεις Κανονικοποιημένες αποστάσεις ΧΠ #WOA #DWALT #WSYM #WOA #DWSYM #WTG ΤΕΤΑΡΤΗ ΣΥΝΕΡΓΑΤΙΚΗ ΔΙΑΣΤΑΣΗ ΣΔ4: ΕΠΙΧΕΙΡΗΜΑΤΟΛΟΓΙΑ Η διάσταση της Επιχειρηματολογίας (Argumentation) είναι η δεύτερη διάσταση η οποία αναφέρεται στην γενικότερη έννοια της συνεργατικής επεξεργασίας πληροφοριών. Περιγράφει και χρησιμοποιείται για την αξιολόγηση της συνεργαζόμενης ομάδας ως προς το κατα πόσον ασχολείται και ανταλλάσσει απόψεις και επιχειρήματα για τα διάφορα θέματα όπως και διαφωνίες που τυχόν προκύπτουν 114

125 κατά την επίλυση της συνεργατικής άσκησης. Οπως και η τρίτη συνεργατική διάσταση (ΣΔ3) της Ανταλλαγής Γνώσης, έτσι και η παρούσα, αποτιμάται κυρίως με ποιοτικούς τρόπους Σύνολο συσχετιζόμενων μετρικών για την ΣΔ Μη κανονικοποιημένες αποστάσεις Κανονικοποιημένες αποστάσεις Εικόνα 5-3. Άθροισμα μετρικών διαλόγου και κοινόχρηστου χώρου εργασίας που εμφανίζουν στατιστικά σημαντικές συσχετίσεις για την τρίτη συνεργατική διάσταση, ΣΔ3 ανά χρονικό παράθυρο ΜΕΤΡΙΚΕΣ ΔΙΑΛΟΓΟΥ Στη συνέχεια παρουσιάζονται οι δείκτες σημαντικών συσχετίσεων μεταξύ των αποτελεσμάτων του μοντέλου αξιολόγησης και των βαθμολογιών της ποιοτικής διαδικασίας (Πίνακας 5-9). Οι περισσότερες μετρικές του εργαλείου ανταλλαγής μηνυμάτων παρουσιάζουν στατιστικά σημαντικές συσχετίσεις σχεδόν σε όλα τα χρονικά παράθυρα ενώ μόνο οι μετρικές #CSYM και #DCTG παρουσιάζουν σποραδικές ή καμμία απολύτως συσχέτιση. Οι συσχετίσεις αυτές όμως είναι ασθενείς ή μέτριες και κινούνται στα διαστήματα τιμών: - [0.130, 0.288], για μη κανονικοποιημένες αποστάσεις - [0.131, 0.315], για κανονικοποιημένες αποστάσεις Για τις μετρικές που αφορούν σε όγκο δραστηριότητας, όπως αριθμό μηνυμάτων (#COA) και εναλλαγών ρόλων (#CALT) ο δείκτης συσχετίσεων μεγιστοποιείται κατά κύριο λόγο στα μεγάλα χρονικά παράθυρα (για κανονικοποιημένες οποιημένες αποστάσεις στο παράθυρο των 480 δευτερολέπτων,, ενώ για μη κανονικοποιημένες αποστάσεις στα παράθυρα των 60 και 480 δευτερολέπτων αντίστοιχα). Για τις υπόλοιπες μετρικές που περιγράφουν ρυθμό μεταβολής, ο δείκτης μεγιστοποιείται στα μικρά χρονικά παράθυρα (15-45 δευτερολέπτων). Γενικότερα παρατηρείται ότι κάνοντας χρήση κανονικοποιημένων αποστάσεων, οι εμφανίσεις ισχυρών συσχετίσεων (μεγάλη τιμή δείκτη συσχέτισης), μετατοπίζονται προς τα μεγαλύτερα χρονικά παράθυρα ενώ μειώνεται και ο συνολικός αριθμός εμφανιζόμενων συσχετίσεων. Χρησιμοποιώντας τις κανονικοποιημένες αποστάσεις, έναντι των μη, στον αλγόριθμο εύρεσης πλησιέστερου ομοίου οδηγούμαστε σε υψηλότερες συσχετίσεις. Ενδεχομένως κάτι τέτοιο θα 115

126 μπορούσε να οφείλεται σε τυχαιότητα, καθώς κάποιο αντίστοιχο μοτίβο δεν έχει παρατηρηθεί σε άλλη περίπτωση, και συνεπώς θα πρέπει να μελετηθεί περαιτέρω. Πίνακας 5-9. Σημαντικές συσχετίσεις ανά μετρική δραστηριότητας διαλόγου για μη κανονικοποιημένες και κανονικοποιημένες αποστάσεις και ανά χρονικό παράθυρο Μη κανονικοποιημένες αποστάσεις Κανονικοποιημένες αποστάσεις ΧΠ #COA #DCOA #CALT #DCALT #CSYM #DCSYM #CTG #COA #DCOA #CALT #DCALT #CSYM #DCSYM #CTG ΜΕΤΡΙΚΕΣ ΚΟΙΝΟΧΡΗΣΤΟΥ ΧΩΡΟΥ ΕΡΓΑΣΙΑΣ Όπως και στις προηγούμενες διαστάσεις που περιγράφουν την επικοινωνία και την ανταλλαγή πληροφοριών, οι μετρικές δραστηριότητας του κοινόχρηστου χώρου εργασίας δεν έχουν να επιδείξουν σημαντικά αποτελέσματα όσον αφορά στην ανάλυση συσχετίσεων, παρά μόνο σποραδικές συσχετίσεις κυρίως για τις μετρικές που περιγράφουν ποσότητα ενεργειών στον χώρο εργασίας (#WOA) και στον ρυθμό εναλλαγής των ρόλων (#DWALT)(Πίνακας 5-10). Τόσο για κανονικοποιημένες, όσο και μη, αποστάσεις, οι συσχετίσεις που εμφανίζονται, αν και στατιστικά σημαντικές, είναι πολύ ασθενείς και παρατηρούνται κυρίως στα μικρά παράθυρα (15-45 δευτερολέπτων). Εξαίρεση αποτελούν οι μετρικές που περιγράφουν χρόνο απόκρισης (#WTG, #DWTG) όπου οι συσχετίσεις εμφανίζονται στα μεγάλα παράθυρα, προφανώς εξαιτίας των ορίων που θέτει η κβαντοποίηση και καθώς πιθανολογείται ότι ο χρόνος απόκρισης κατά μέσον όρο θα ξεπερνά το μέγεθος των μικρών παραθύρων. Όσον αφορά στην διαδικασία κανονικοποίησης, σημειώνεται πως αν στον αλγόριθμο εύρεσης πλησιέστερου ομοίου γίνει χρήση κανονικοποιημένων αποστάσεων, αυξάνεται τόσο ο αριθμός εμφάνισης σημαντικών θετικών συσχετίσεων - αντίθετα από την περίπτωση των μετρικών διαλόγου - όπως επίσης και η τιμή του δείκτη συσχέτισης, παραπέμποντας σε ισχυρότερες συσχετίσεις. Η συμπεριφορά όμως του δείκτη εξακολουθεί να ακολουθεί το ίδιο μοτίβο και να μεγιστοποιείται στα μικρά χρονικά παράθυρα, ανεξαρτήτως κανονικοποίησης. Συνεπώς η κανονικοποίηση αποστάσεων δεν συνεισφέρει πρακτικά στην βελτίωση των αποτελεσμάτων του μοντέλου. 116

127 Πίνακας Σημαντικές συσχετίσεις ανά μετρική δραστηριότητας κοινόχρηστου χώρου εργασίας για μη κανονικοποιημένες και κανονικοποιημένες αποστάσεις και ανά χρονικό παράθυρο Μη κανονικοποιημένες αποστάσεις Κανονικοποιημένες αποστάσεις ΧΠ #WOA #WSYM #DWTG #WOA #DWALT #WTG #DWTG ΣΥΝΟΛΟ ΜΕΤΡΙΚΩΝ Συνοψίζοντας τα αποτελέσματα για την τέταρτη συνεργατική διάσταση (ΣΔ4), φαίνεται πως οι περισσότερες μετρικές συσχετίζονται θετικά, και σύμφωνα με την ποιοτική αξιολόγηση, στα μικρά χρονικά παράθυρα και μάλιστα για κανονικοποιημένες αποστάσεις (Εικόνα 5-4). Από τις δεκαέξι συνολικά μετρικές, στις επτά εμφανίστηκαν σημαντικές συσχετίσεις στο χρονικό παράθυρο των 30 δευτερολέπτων, ενώ παραπλήσια είναι τα αποτελέσματα για τα χρονικά παράθυρα των 15, 45 και 60 δευτερολέπτων, ενώ στα ίδια παράθυρα παρατηρείται και μεγιστοποίηση του δείκτη συσχετίσεων. Στην περίπτωση χρήσης μη κανονικοποιημένων αποστάσεων, τα αποτελέσματα είναι παρόμοια, με τις περισσότερες συσχετίσεις να εμφανίζοται επίσης στα μικρά χρονικά παράθυρα αλλά με τον δείκτη συσχετίσεων να κινείται σε μικρότερες τιμές. Συνολικά, οι μετρικές διαλόγου παρουσιάζουν περισσότερες και μεγαλύτερες συσχετίσεις οι οποίες κρίνονται ως μέτριες. Οι μετρικές κοινόχρηστου χώρου εργασίας, αν και παρουσιάζουν συσχετίσεις, ιδιαίτερα μετά την διαδικασία της κανονικοποίησης, αυτές είναι ιδιαίτερα ασθενείς. Λαμβάνοντας υπ όψη το γεγονός ότι η τέταρτη διάσταση παραδοσιακά μελετάται με ποιοτικές μεθόδους και η αποτίμησή της στηρίζεται κατά πολύ στην εκτίμηση του περιεχομένου του διαλόγου και του τύπου των ενεργειών που εκτελεί ο χρήστης, τότε οι ασθενείς συσχετίσεις είναι αναμενόμενες και δικαιολογημένες. Ωστόσο, ο συνδυασμός τους και η ταυτόχρονη μελέτη τους θεωρούμε ότι αξίζει να διερευνηθούν διεξοδικά, καθώς η συχνότητα εμφάνισης συσχετίσεων για το σύνολο των χρονικών παραθύρων αποτυπώνει την ύπαρξη κάποιου μοτίβου δραστηριότητας-ποιότητας συνεργασίας. 117

128 8 Σύνολο συσχετιζόμενων μετρικών για την ΣΔ4 6 4 Μη κανονικοποιημένες αποστάσεις Εικόνα 5-4. Άθροισμα μετρικών διαλόγου και κοινόχρηστου χώρου εργασίας που εμφανίζουν στατιστικά σημαντικές συσχετίσεις για την τέταρτη συνεργατική διάσταση, ΣΔ4 ανά χρονικό παράθυρο ΠΕΜΠΤΗ ΣΥΝΕΡΓΑΤΙΚΗ ΔΙΑΣΤΑΣΗ (ΣΔ5): ΔΟΜΗΣΗ ΤΗΣ ΔΙΑΔΙΚΑΣΙΑΣ ΕΠΙΛΥΣΗΣ ΠΡΟΒΛΗΜΑΤΟΣ. Η πέμπτη συνεργατική διάσταση (ΣΔ5) του Σχήματος Αξιολόγησης, που ονομάζεται Δόμηση της διαδικασίας επίλυσης του προβλήματος (Structuring the Problem Solving Process) ) περιγράφει τον συντονισμό των συνεργαζόμενων μερών στην κοινή εργασία, τόσο στον σχεδιασμό όσο και στην υλοποίησή της. Καθώς δεν πρόκειται για μια διάσταση που βασίζεται αποκλειστικά ικά στην επικοινωνία αλλά και στην συγχρονισμένη εργασία στον κοινόχρηστο χώρο, τόσο οι μετρικές του εργαλείου ανταλλαγής μηνυμάτων αλλά και η δραστηριότητα στον κοινόχρηστο χώρο εργασίας αναμένεται ότι θα συνεισφέρουν στην εκτίμηση αυτής της διάστασης και θα αποτυπώνουν ικανοποιητικά την ποιότητά της για κάθε συνεργατική συνεδρία ΜΕΤΡΙΚΕΣ ΔΙΑΛΟΓΟΥ Στην περίπτωση της πέμπτης συνεργατικής διάστασης (ΣΔ5), οι σημαντικότερες συσχετίσεις παρατηρούνται για τα μεγάλα παράθυρα ( δευτερολέπτων) και για τις μετρικές που αφορούν στον αριθμό μηνυμάτων και εναλλαγών ρόλων χρηστών (#COA, #CALT) αλλά και στον μέσο χρόνο απόκρισης (#CTG). Παρατηρείται πως οι μετρικές όγκου δραστηριότητας και εναλλαγής ενεργού ρόλου (#COA και #CALT αντίστοιχα) αποδίδουν την ποιότητα της πέμπτης συνεργατικής διάστασης καλύτερα από όλες τις μετρικές διαλόγου καθώς παρουσιάζουν στατιστικά σημαντικές συσχετίσεις σχεδόν για το σύνολο των χρονικών παραθύρων (Πίνακας 5-11). Για τις μετρικές που αναφέρονται στους ρυθμούς μεταβολής όγκου και εναλλαγής ενεργού ρόλου (#DCOA και #DCALT) αν και εμφανίζονται κάποιες συσχετίσεις για συγκεκριμένα χρονικά παράθυρα, αυτές δεν παρουσιάζουν ικανοποιητικά μεγάλες τιμές δείκτη συσχέτισης και συνεπώς δεν κρίνονται ως ικανοποιητικές. Στις μετρικές που αφορούν στην διάσταση της συμμετρίας (#CSYM, #DCSYM) εμφανίζεται και σε αυτή την 118

129 περίπτωση αρνητικός δείκτης συσχέτισης. Η κανονικοποίηση των αποστάσεων δεν προσφέρει στην βελτίωση των αποτελεσμάτων καθώς δεν οδηγούμαστε ούτε σε περισσότερες, ούτε σε ισχυρότερες συσχετίσεις. Οι τιμές του δείκτη συσχετίσεων γενικότερα κρίνονται ασθενείς ή μέτριες και κινούνται στα διαστήματα: - [0.133, 0.302], για μη κανονικοποιημένες αποστάσεις - [0.136, 0.225], για κανονικοποιημένες αποστάσεις Πίνακας Σημαντικές συσχετίσεις ανά μετρική δραστηριότητας διαλόγου για μη κανονικοποιημένες και κανονικοποιημένες αποστάσεις και ανά χρονικό παράθυρο Μη κανονικοποιημένες αποστάσεις Κανονικοποιημένες αποστάσεις ΧΠ #COA #DCOA #CALT #DCALT #DCSYM #CTG #COA #DCOA #CALT #DCALT #CSYM #DCSYM #CTG ΜΕΤΡΙΚΕΣ ΚΟΙΝΟΧΡΗΣΤΟΥ ΧΩΡΟΥ ΕΡΓΑΣΙΑΣ Για τις μετρικές του κοινόχρηστου χώρου εργασίας δεν εμφανίζονται παρά μόνο σποραδικές συσχετίσεις των οποίων ο δείκτης συσχέτισης είναι πολύ μικρής τιμής και συνεπώς οι ίδιες κρίνονται ως ασθενείς. Δεν παρουσιάζεται κάποιο ιδιαίτερο μοτίβο εμφάνισης αυτών των συσχετίσεων αναφορικά με το μέγεθος του χρονικού παραθύρου αλλά επαληθεύονται τόσο για κανονικοποιημένες, όσο και μη, αποστάσεις. Σχεδόν οι ίδιες συσχετίσεις ίδιας τάξης, στις ίδιες μετρικές και παρόμοιου μεγέθους χρονικά παράθυρα -εμφανίζονται κατά τις κανονικοποιημένες και μη αποστάσεις. Οι μετρικές που σχετίζονται με το μέγεθος της συμμετρίας (#WSYM, #DWSYM) εμφανίζουν καθόλου ή αρνητικές συσχετίσεις. Τα αποτελέσματα στην συγκεκριμένη περίπτωση δεν ήταν τα αναμενόμενα καθώς ο σωστός συντονισμός των συνεργαζόμενων μερών περιμένουμε να αποτυπώνεται στις πρακτικές που ακολουθούν οι χρήστες στον κοινόχρηστο χώρο εργασίας με πιο έντονο τρόπο που οδηγεί σε σημαντικές και ισχυρές συσχετίσεις στις μετρικές του κοινόχρηστου χώρου. Πρέπει όμως να σημειωθεί ότι στην πρώτη φάση, οι χρονοσειρές που χρησιμοποιήθηκαν ως είσοδος στο μοντέλο ήταν μονοπαραμετρικές, δηλαδή μία χρονοσειρά είχε κατασκευαστεί από μία και μόνο μία μετρική. Συνεπώς η επίδραση μίας μετρικής ή ενός τύπου ενεργειών σε άλλους και η αλληλεπίδραση των 119

130 χρηστών στην δραστηριότητα αλλά και πιθανές δυναμικές σχέσεις που αναπτύσσονται μεταξύ των διαφόρων επιμέρους ενεργειών, δεν είναι δυνατόν να εντοπιστούν με αυτόν τον τρόπο. Πίνακας Σημαντικές συσχετίσεις ανά μετρική δραστηριότητας κοινόχρηστου χώρου εργασίας για μη κανονικοποιημένες και κανονικοποιημένες αποστάσεις και ανά χρονικό παράθυρο Μη κανονικοποιημένες αποστάσεις Κανονικοποιημένες αποστάσεις ΧΠ #WOA #DWALT #DWSYM #WOA #DWALT #DWSYM #WTG ΣΥΝΟΛΟ ΜΕΤΡΙΚΩΝ Αθροιστικά για τις μετρικές δραστηριότητας του εργαλείου ανταλλαγής μηνυμάτων και του κοινόχρηστου χώρου εργασίας, οι περισσότερες συσχετίσεις μεταξύ των αποτελεσμάτων του αλγορίθμου και της ποιοτικής διαδικασίας με χρήση του σχήματος αξιολόγησης, εμφανίζονται είτε στο μικρο παράθυρο (45 δευτερολέπτων) είτε στο μεγάλο (480 και 600 δευτερολέπτων για κανονικοποιημένες αποστάσεις). Κατά την ανάλυση των αποτελεσμάτων δεν παρατηρήθηκε κάποιο μοτίβο αναφορικά με την φύση της κάθε μετρικής ή σχετικά με το μέγεθος των χρονικών παραθύρων που χρησιμοποιήθηκαν στην κατασκευή των χρονοσειρών (Εικόνα 5-5). Οι μετρικές του διαλόγου παρουσιάζουν περισσότερες σημαντικές συσχετίσεις, ως άθροισμα, και ισχυρότερες, ενώ οι μετρικές του κοινόχρηστου χώρου εργασίας δεν αποδεικνύεται ότι μπορούν να συνεισφέρουν ουσιαστικά στην εκτίμηση της ποιότητας της πέμπτης συνεργατικής διάστασης (ΣΔ5) αν χρησιμοποιηθούν μεμονωμένα και αποκομμένες από την γενική δραστηριότητα. 120

131 Σύνολο συσχετιζόμενων μετρικών για την ΣΔ Μη κανονικοποιημένες αποστάσεις Κανονικοποιημένες αποστάσεις Εικόνα 5-5. Άθροισμα μετρικών διαλόγου και κοινόχρηστου χώρου εργασίας που εμφανίζουν στατιστικά σημαντικές συσχετίσεις για την πέμπτη συνεργατική διάσταση, ΣΔ5 ανά χρονικό παράθυρο ΣΥΝΕΡΓΑΤΙΚΗ ΥΝΕΡΓΑΤΙΚΗ ΔΙΑΣΤΑΣΗ 6 ΣΔ 6: ΣΥΝΕΡΓΑΤΙΚΟΣ ΠΡΟΣΑΝΑΤΟΛΙΣΜΟΣ Η έκτη συνεργατική διάσταση (ΣΔ6) του Συνεργατικού Προσανατολισμού (Cooperative orientation) ) αναφέρεται στην διάθεση που δείχνουν οι χρήστες ως προς την συνεργασία και αποτυπώνει την θέληση που δείχνουν για να συνεργαστούν προκειμένου να επιτύχουν τον κοινό σκοπό. Για την συγκεκριμένη διάσταση αναμένεται ότι για τις μετρικές τόσο του διαλόγου όσο και του κοινόχρηστου χώρου εργασίας, και συγκεκριμένα οι μετρικές που αναφέρονται στην συμμετρία της συνεργατικής δραστηριότητας, θα παρουσιάζουν σημαντικές συσχετίσεις των αποτελεσμάτων ποιοτικής αξιολόγησης και αξιολόγησης με χρήση του προτεινόμενου μοντέλου ΜΕΤΡΙΚΕΣ ΔΙΑΛΟΓΟΥ Για τις μετρικές διαλόγου που εκφράζουν αριθμό μηνυμάτων (#COA) και εναλλαγής ρόλων στον διάλογο (#CALT) εμφανίζονται συσχετίσεις σχεδόν για όλα τα χρονικά παράθυρα, ιδιαίτερα στην περίπτωση μη κανονικοποιημένων ιημένων αποστάσεων, οι οποίες χαρακτηρίζονται ασθενείς ή μέτριες (Πίνακας 5-13). Στην αντίθετη περίπτωση (κανονικοποιημένες αποστάσεις) στατιστικά σημαντικές συσχετίσεις παρουσιάζονται κυρίως στις μετρικές εναλλαγής ενεργών ρόλων κάτι που ήταν αναμενόμενο καθώς ποιοτικά αναμένεται πως η θετική προδιάθεση δύο συνεργαζόμενων πλευρών θα οδηγεί τις συνεργαζόμενες πλευρές σε εξίσου έντονη διαλογική δραστηριότητα και συνεπώς ανταλλαγή μηνυμάτων και συνεχείς εναλλαγές στο εργαλείο ανταλλαγής μηνυμάτων. Οι μετρικές που αφορούν στην συμμετρία στον διάλογο παρουσιάζουν αρνητικές συσχετίσεις κάτι που δεν ήταν αναμενόμενο, καθώς περιμένουμε πως η μετρική της συμμετρίας στον διάλογο θα έπρεπε να αποτυπώνει ποσοτικά την παρούσα διάσταση. 121

132 Επιπλέον η μετρική που αντιπροσωπεύει τον χρόνο αντίδρασης των χρηστών (#CTG) εμφανίζει σποραδικές θετικές συσχετίσεις και μάλιστα με μικρή τιμή δείκτη συσχέτισης, κάτι που επίσης δεν ήταν αναμενόμενο καθώς ποιοτικά αναμένεται η διάσταση να εξαρτάται από τον χρόνο αντίδρασης των χρηστών. Θεωρητικά αναμένεται οι χρήστες που είναι θετικά προδιατεθειμένοι έναντι της συνεργασίας, να μην εμφανίζουν μεγάλες καθυστερήσεις στον χρόνο αντίδρασής τους. Πίνακας Σημαντικές συσχετίσεις ανά μετρική δραστηριότητας διαλόγου για μη κανονικοποιημένες και κανονικοποιημένες αποστάσεις και ανά χρονικό παράθυρο Μη κανονικοποιημένες αποστάσεις Κανονικοποιημένες αποστάσεις ΧΠ #COA #DCOA #CALT #DCALT #CSYM #DCSYM #CTG #COA #DCOA #CALT #DCALT #CSYM #DCSYM #CTG Οι συσχετίσεις συνολικά κινούνται στα εξής διαστήματα τιμών: - [0.131, 0.295], για μη κανονικοποιημένες αποστάσεις - [0.132, 0.297], για κανονικοποιημένες αποστάσεις ενώ στην γενική περίπτωση, ο δείκτης συσχέτισης μεγιστοποιείται στα χρονικά παράθυρα μικρού μεγέθους (15-45 δευτερολέπτων) για το σύνολο των μετρικών που εμφανίζονται σημαντικές, θετικές συσχετίσεις με εξαίρεση το μέγιστο χρονικό παράθυρο που παρουσιάζει εξίσου μεγάλες τιμές όταν γίνει κανονικοποίηση. Και σε αυτή την περίπτωση όμως, η κανονικοποίηση δεν επηρεάζει δραματικά τα αποτελέσματα του μοντέλου καθώς δεν αλλάζει ούτε η τάξη μεγέθους των εμφανιζομένων συσχετίσεων, ούτε η συχνότητα εμφάνισής τους ΜΕΤΡΙΚΕΣ ΚΟΙΝΟΧΡΗΣΤΟΥ ΧΩΡΟΥ ΕΡΓΑΣΙΑΣ. Για τις μετρικές δραστηριότητας του κοινόχρηστου χώρου εμφανίζονται συστηματικά συσχετίσεις μόνο για την μετρική που αποτυπώνει τον όγκο της δραστηριότητας στον κοινόχρηστο χώρο (#WOA) ενώ για τις υπόλοιπες μετρικές οι συσχετίσεις είναι σποραδικές ή ανύπαρκτες (Πίνακας 5-14). Συγκεριμένα για την πρώτη μετρική #WOA, σημαντικές συσχετίσεις εμφανίζονται κυρίως για τα μικρά παράθυρα (15-45 δευτερολέπτων) ενώ ο δείκτης συσχέτισης κυμαίνεται στο διάστημα, δηλώνοντας ασθενή συσχέτιση: 122

133 - [0.140, 0.157], για μη κανονικοποιημένες αποστάσεις - [0.133, 0.220], για κανονικοποιημένες αποστάσεις Η διαδικασία της κανονικοποίησης οδηγεί σε αύξηση της τιμής του δείκτη συσχέτισης αλλά και του συνολικού αριθμού εμφάνισης συσχετίσεων γενικά. Παρ όλα αυτά οι παρατηρήσιμες συσχετίσεις παραμένουν ασθενείς. Πίνακας Σημαντικές συσχετίσεις ανά μετρική δραστηριότητας κοινόχρηστου χώρου εργασίας για μη κανονικοποιημένες και κανονικοποιημένες αποστάσεις και ανά χρονικό παράθυρο Μη κανονικοποιημένες Κανονικοποιημένες αποστάσεις αποστάσεις ΧΠ #WOA #DWSYM #WOA #WALT #DWSYM #DWTG Για τη μετρική ρυθμού συμμετρίας (#DWSYM) οι αξιολογήσεις του μοντέλου συσχετίζονται αρνητικά με τις βαθμολογίες των αξιολογητών για την περίπτωση των χρονοσειρών όπου τα χρονικά παράθυρα είναι μικρού μεγέθους, όπως εξάλλου έχει παρατηρηθεί και για άλλες συνεργατικές διαστάσεις. Για το μέγιστο χρονικό παράθυρο παρατηρείται ακριβώς το αντίθετο, οι δύο αξιολογήσεις συσχετίζονται θετικά, αν και η συσχέτιση που εμφανίζεται είναι ασθενής. Δεδομένης της μη συστηματικής εμφάνισης συσχετίσεων για την συγκεκριμένη μετρική αλλά και για την αντίστοιχη μετρική συμμετρίας (#WSYM), αυτό το γεγονός δεν θεωρείται ένδειξη ύπαρξης κάποιου μοτίβου συμπεριφοράς αλλά είναι απαραίτητη η περαιτέρω μελέτη ΣΥΝΟΛΟ ΜΕΤΡΙΚΩΝ Για την έκτη συνεργατική διάσταση, οι περισσότερες συσχετίσεις στο σύνολο των μετρικών εμφανίζονται στο παράθυρο των 45 δευτερολέπτων και στα μεγάλα χρονικά παράθυρα ( δευτερολέπτων) στην περίπτωση των κανονικοποιημένων αποστάσεων. Στην αντίθετη περίπτωση τόσο το μικρό παράθυρο των 15 δευτερολέπτων όσο και τα μεγάλα παράθυρα ( δευτερολέπτων) εμφανίζουν την ίδια συμπεριφορά. Οι λιγότερες συσχετίσεις παρατηρούνται στην περίπτωση των παραθύρων των 10 και 60 δευτερολέπτων (Εικόνα 5-6). 123

134 Στην γενική περίπτωση, αν και τα χρονικά παράθυρα μεγάλου μεγέθους εμφανίζουν μεγάλο άθροισμα συσχετιζόμενων μετρικών, ο δείκτης συσχέτισης μεγιστοποιείται στην περίπτωση των χρονικών παραθύρων μικρού μεγέθους. Όπως και στην περίπτωση των προηγούμενων διαστάσεων, έτσι και για την έκτη συνεργατική διάσταση οι περισσότερες συσχετίσεις εμφανίστηκαν στις μετρικές που αφορούν τον διάλογο ενώ δεν παρατηρήθηκαν ιδιαίτερες συσχετίσεις, μοτίβα ή χαρακτηριστικές συμπεριφορές για την συνεργατική δραστηριότητα στον κοινόχρηστο χώρο εργασίας. 8 Σύνολο συσχετιζόμενων μετρικών για την ΣΔ Μη κανονικοποιημένες αποστάσεις Κανονικοποιημένες αποστάσεις Εικόνα 5-6. Άθροισμα μετρικών διαλόγου και κοινόχρηστου χώρου εργασίας που εμφανίζουν στατιστικά σημαντικές συσχετίσεις για την έκτη συνεργατική διάσταση, ΣΔ6 ανά χρονικό παράθυρο ΓΕΝΙΚΗ Δ ΠΤΣ ΔΙΑΣΤΑΣ Η Τ ΗΣ ΠΟΙΟΤΗΤΑΣ ΤΗΣ ΣΥΝΕΡΓΑΣΙΑΣ Η Ποιότητα της Συνεργασίας (ΠΤΣ) (Collaboration Quality Average - CQA) είναι μία διάσταση που ορίζεται ως ο μέσος όρος όλων των συνεργατικών διαστάσεων του σχήματος (ΣΔ1-ΣΔ6) ΣΔ6) και όχι ως ξεχωριστή διάσταση στο αρχικό Σχήμα Αξιολόγησης. Η τιμή που της αποδίδεται κατά την βαθμολόγηση μίας συνεργατικής συνεδρίας με χρήση του Σχήματος Αξιολόγησης, υπολογίζεται προφανώς ως ο μέσος όρος των βαθμολογιών των έξι, προαναφερθέντων διαστάσεων, αυτές έχουν αποτιμηθεί από τους έμπειρους αξιολογητές. Παρόλα αυτά εδώ την εξετάζουμε ως επιπλέον διάσταση καθώς θεωρείται ότι αποτυπώνει την συνολική εκτίμηση για την ποιότητα της συνεργασίας μίας συνεδρίας. Τα αποτελέσματα της διαδικασίας για μη κανονικοποιημένες αποστάσεις παρατίθενται στους αντίστοιχους πίνακες ενώ τα συνολικά αποτελέσματα (για κανονικοποιημένες και μη, αποστάσεις) παρατίθενται στο Παράρτημα Α ΜΕΤΡΙΚΕΣ ΔΙΑΛΟΓΟΥ. Τα αποτελέσματα των δύο διαδικασιών αξιολόγησης (με χρήση του μοντέλου και με χρήση του Σχήματος Αξιολόγησης), συσχετίζονται θετικά και σημαντικά σχεδόν για το σύνολο των χρονικών παραθύρων που εξετάστηκαν. Στην περίπτωση των μετρικών 124

135 που αφορούν στον όγκο δραστηριότητας και εναλλαγής ρόλων (#COA, #CALT) εμφανίζονται συστηματικά συσχετίσεις οι οποίες μεγιστοποιούνται στα μεγάλα χρονικά παράθυρα (300, 480 δευτερολέπτων). Αντίθετα για τις μετρικές που εκφράζουν μεταβολή όγκου ή ρυθμό εναλλαγών ρόλων (#DCOA, #DCALT), ο δείκτης συσχέτισης μεγιστοποιείται στα μικρά χρονικά παράθυρα (15, 30 δευτερολέπτων). Πίνακας Σημαντικές συσχετίσεις ανά μετρική δραστηριότητας διαλόγου για μη αποστάσεις και ανά χρονικό παράθυρο Μη κανονικοποιημένες αποστάσεις ΧΠ #COA #DCOA #CALT #DCALT #CSYM #DCSYM #CTG Επίσης σημαντικές συσχετίσεις εμφανίζει η μετρική #CTG που εκφράζει τον χρόνο απόκρισης των χρηστών. Οι μετρικές που σχετίζονται με την συμμετρία του διαλόγου (#CSYM,#DCSYM) παρουσιάζουν αρνητικές, σημαντικές συσχετίσεις στα μεγάλα χρονικά χρονικά παράθυρα ( δευτερολέπτων) όπως έχει παρατηρηθεί και στις περισσότερες από τις συνεργατικές διαστάσεις. Οι συσχετίσεις που εμφανίζονται χαρακτηρίζονται στην γενική περίπτωση ως χαμηλές ή μέτριες και ενώ οι μετρικές που εκφράζουν μεταβολή όγκου, εμφανίζονται χαμηλότερες από αυτές των αντίστοιχων μετρικών που εκφράζουν όγκο δραστηριότητας (Πίνακας 5-15). Ο δείκτης συσχέτισης κυμαίνεται στα διαστήματα: - [0.131, 0.306], για μη κανονικοποιημένες αποστάσεις - [0.108, 0.325], για κανονικοποιημένες αποστάσεις ΜΕΤΡΙΚΕΣ ΚΟΙΝΟΧΡΗΣΤΟΥ ΧΩΡΟΥ ΕΡΓΑΣΙΑΣ Από το σύνολο των μετρικών, μόνο η μετρική που εκφράζει τον όγκο δραστηριότητας στον κοινόχρηστο χώρο εργασίας παρουσιάζει συστηματικές και θετικές συσχετίσεις, ενώ οι υπόλοιπες μετρικές παρουσιάζουν σποραδικές συσχετίσεις ή καθόλου (Πίνακας 5-16). Ο δείκτης συσχέτισης για την περίπτωση της μετρικής όγκου δραστηριότητας (#WOA) μεγιστοποιείται αλλά ταυτόχρονα παρουσιάζει και ελάχιστο για τα μικρά χρονικά παράθυρα (10-45 δευτερολέπτων) τόσο όταν γίνεται χρήση μή κανονικοποιημένων αποστάσεων από τον αλγόριθμο ως μετρική ομοιότητας όσο και 125

136 στην αντίθετη περίπτωση. Τα μεγάλα χρονικά παράθυρα (300 και 480 δευτερολέπτων) δεν παρουσιάζουν καμμία συσχέτιση αποτελεσμάτων, γι αυτό και παραλείπονται (Πίνακας 5-16), ενώ το μεγαλύτερο παράθυρο παρουσιάζει χαμηλές συσχετίσεις. Οι υπόλοιπες συσχετίσεις που παρουσιάζονται είναι σποραδικές και δεν αποτελούν ενδείξεις συγκεκριμένης συπεριφοράς ή ύπαρξης σχέσεων που θα μπορούσαν να χρησιμοποιηθούν σε επόμενα βήματα. Γενικότερα, ο δείκτης συσχέτισης παίρνει τιμές μεταξύ του διαστήματος: - [0.145, 0.166], για μη κανονικοποιημένες αποστάσεις - [0.148, 0.269], για κανονικοποιημένες αποστάσεις Πίνακας Σημαντικές συσχετίσεις ανά μετρική δραστηριότητας κοινόχρηστου χώρου εργασίας για μη κανονικοποιημένες και κανονικοποιημένες αποστάσεις και ανά χρονικό παράθυρο Μη κανονικοποιημένες αποστάσεις ΧΠ #WOA #DWALT #DWSYM ΣΥΝΟΛΟ ΜΕΤΡΙΚΩΝ Το άθροισμα των μετρικών για τις οποίες εμφανίζονται σημαντικές συσχετίσεις παρουσιάζει μέγιστες τιμές για τα ακραία χρονικά παράθυρα, δηλαδή στο παράθυρο των 600 sec (οκτώ μετρικές από τις ξεκαέξι συνολικά για μη κανονικοποιημένες αποστάσεις και επτά μετρικές για κανονικοποιημένες, παρουσιάζουν σημαντικές συσχετίσεις) και ακολουθεί το χρονικό παράθυρο των 15 δευτερολέπτων (επτά και έξι μετρικές για κανονικοποιημένες και μη κανονικοποιημένες αποστάσεις αντίστοιχα) (Εικόνα 5-7). Στο χρονικό παράθυρο των 60 δευτερολέπτων μία μόλις μετρική παρουσιάζει συσχέτιση αποτελεσμάτων, στην περίπτωση που ως μετρική ομοιότητας χρησιμοποιήσουμε τις αποστάσεις που έχουν υποστεί κανονικοποίηση, ενώ για μη κανονικοποιημένες αποστάσεις, στο παράθυρο των 10 δευτερολέπτων, εμφανίζονται συσχετίσεις για τρείς μετρικές και στο παράθυρο των 480 δευτερολέπτων, για τέσσερις. Όπως και για τις προηγούμενες περιπτώσεις που παρουσιάστηκαν, έτσι και για την γενική διάσταση της Ποιότητας της Συνεργασίας, οι περισσότερες συσχετίσεις 126

137 εμφανίστηκαν κατά την χρήση χρονοσειρών που αναφέρονται στην διαλογική δραστηριότητα παρά στον κοινόχρηστο χώρο εργασίας. Οι συσχετίσεις που παρατηρούνται για τις μετρικές διαλόγου είναι κατά κύριο λόγο μέτριες ενώ σε συγκεκριμένες περιπτώσεις παρατηρούνται και ισχυρές συσχετίσεις. Αντίθετα για την δραστηριότητα στον κοινόχρηστο χώρο παρατηρούνται χαμηλές συσχετίσεις ή στην καλύτερη περίπτωση, μέτριες. 10 Σύνολο συσχετιζόμενων μετρικών για την ΠΤΣ Μη κανονικοποιημένες αποστάσεις Κανονικοποιημένες αποστάσεις Εικόνα 5-7. Άθροισμα μετρικών διαλόγου και κοινόχρηστου χώρου εργασίας που εμφανίζουν στατιστικά σημαντικές συσχετίσεις για την συνεργατική διάσταση της ποιότητας της συνεργασίας, ΠΤΣ, ανά χρονικό παράθυρο. Ενδιαφέρον είναι το γεγονός ότι όσον αφορά στην εμφάνιση των συσχετίσεων παρατηρείται ότι οι χρονοσειρές που εκφράζουν όγκο δραστηριότητας εμφανίζουν μέγιστες συσχετίσεις στα μεγάλα χρονικά παράθυρα ενώ οι χρονοσειρές που εκφράζουν ρυθμό μεταβολής δραστηριότητας παρουσιάζουν μέγιστες συσχετίσεις στα μικρά χρονικά παράθυρα. Αυτό μπορεί να εξηγηθεί αν λάβουμε υπ όψη μας πως στα μεγάλα χρονικά παράθυρα τα γεγονότα που αθροίζονται για την δημιουργία των χρονοσειρών είναι περισσότερα. Ήδη από προηγούμενες έρευνες αλλά και από την σύντομη επισκόπηση των οπτικοποιημένων χρονοσειρών (παράγραφος 4.4) έγινε φανερό πως οι καλές συνεργατικές πρακτικές συσχετίζονται με έντονη, ποσοτικά, δραστηριότητα ΣΥΝΟΛΙΚΗ ΑΠΟΤΙΜΗΣΗ ΠΡΩΤΗΣ ΠΕΙΡΑΜΑΤΙΚΗΣ ΦΑΣΗΣ (ΦΑΣΗ Α) Κατά την πρώτη φάση (Φάση Α) της διαδικασίας, εξετάστηκε πειραματικά η χρήση κάθε μετρικής διαλόγου και του κοινόχρηστου χώρου εργασίας, όπως αυτές οι μετρικές ορίστηκαν στην παράγραφο 4.3.1, ως είσοδος στο προτεινόμενο μοντέλο εκτίμησης της ποιότητας της συνεργασίας και των επί μέρους χαρακτηριστικών της. Στην συνέχεια αναλύθηκαν και αξιολογήθηκαν τα αποτελέσματα του μοντέλου, δηλαδή οι βαθμολογίες που αποδόθηκαν σε κάθε συνεργατική διάσταση και για όλες τις 127

138 συνεργατικές συνεδρίες του συνόλου δεδομένων, συσχετίζοντάς τις με υπάρχουσες βαθμολογίες/ εκτιμήσεις, όπως αυτές προέκυψαν από προηγούμενη, ποιοτική, αξιολόγηση (Kahrimanis, G. et al., 2009) (Κεφάλαιο 3). Το ζητούμενο της πρώτης πειραματικής φάσης ήταν να διαπιστωθεί κατά πόσο συγκεκριμένες χρονοσειρές οι οποίες περιγράφουν την συνεργατική δραστηριότητα κατά την εξέλιξη, εμπεριέχουν πληροφορίες που δύναται να συσχετισθούν με ποιοτικά χαρακτηριστικά της συνεργασίας και ποιες μετρικές συσχετίζονται σε μεγαλύτερο βαθμό με συγκεκριμένες ποιοτικές διαστάσεις. Επιπλέον γίνεται χρήση του προτεινόμενου μοντέλου ταξινόμησης και αξιολόγησης (Παράγραφος 4.7) για την ποσοτική αποτίμηση αυτών των χαρακτηριστικών με σκοπό την μελέτη για μετέπειτα σχεδιασμό μηχανικών και αυτόματων μεθόδων αξιολόγησης συνεργατικών δραστηριοτήτων. Κατά την πειραματική διαδικασία εξετάστηκαν οι περιπτώσεις δεκαέξι συνολικά χρονοσειρών δραστηριότητας, οι οποίες παρουσιάζονται αναλυτικά στην παράγραφο 4.3.4, για οκτώ χρονικά παράθυρα (10, 15, 30, 45, 60, 300, 480, 600 δευτερολέπτων). Κατά την ανάλυση των αποτελεσμάτων, κάθε μία από τις έξι συνεργατικές διαστάσεις όπως ορίζονται από το σχήμα αξιολόγησης, καθώς επιπλέον και η γενική διάσταση της Ποιότητας της Συνεργασίας, εξετάσθηκε ξεχωριστά. Από την ανάλυση των αποτελεσμάτων παρατηρείται πως για χρήση χρονοσειρών που εκφράζουν όγκο δραστηριότητας (#COA, #WOA)και εναλλαγής ρόλων ανά χρονικό παράθυρο (#CALT, #WALT) αλλά και τον ρυθμό μεταβολής τους (#DCOA, #DWOA, #DCALT, #DWALT) εμφανίζονται σημαντικές συσχετίσεις μεταξύ των αποτελεσμάτων των δύο διαδικασιών για την πλειοψηφία των χρονικών παραθύρων που εξετάζεται. Οι περισσότερες συσχετίσεις εμφανίζονται για τις μετρικές του διαλόγου ενώ ο δείκτης συσχετίσεων μεγιστοποιείται κυρίως στα μικρά (15, 30 δευτερολέπτων) ή στα μεγάλα (480, 600 δευτερολέπτων) χρονικά παράθυρα. Το μικρότερο παράθυρο που εξετάστηκε, των 10 δευτερολέπτων, δεν εμφανίζει σημαντικό αριθμό συσχετίσεων αλλά ακόμα και για όσες εμφανίζονται ο δείκτης συσχέτισης παρουσιάζει μικρές τιμές, υποδηλώνοντας χαμηλές συσχετίσεις. Αυτό ήταν αναμενόμενο καθώς ένα χρονικό διάστημα δέκα δευτερολέπτων θεωρείται ιδιαίτερα μικρό για την εξέλιξη τέτοιου είδους δραστηριότητας. Με αυτό το σκεπτικό το χρονικό παράθυρο των δέκα δευτερολέπτων παραλείφθηκε από τα επόμενα βήματα της πειραματικής διαδικασίας και ανάλυσης των αποτελεσμάτων. Όσον αφορά στις υπόλοιπες μετρικές, σποραδικές συσχετίσεις εμφανίζονται για την μετρική που περιγράφει απουσία δραστηριότητας (#CTG και #WTG). Στην περίπτωση των μετρικών που εκφράζουν συμμετρία, εμφανίζονται κατά κύριο λόγο αρνητικές συσχετίσεις. Σε έρευνες που προηγήθηκαν της παρούσας και που χρησιμοποιήθηκαν ως οδηγοί, οι μετρικές συμμετρίας δεν παρουσίασαν συσχετίσεις με ποιοτικές διαστάσεις της συνεργασίας. Ωστόσο στην διεθνή βιβλιογραφία, η έννοια της συμμετρίας έχει 128

139 χρησιμοποιηθεί για την κατασκευή μετρικών και αυτοματοποιημένων μεθόδων εκτίμησης συνεργατικών δραστηριοτήτων εκτενώς. Περαιτέρω έρευνα κρίνεται αναγκαία ώστε να διαπιστωθούν οι λόγοι για τους οποίους η παρούσα μετρική δεν αποδίδει όπως αναμενόταν στο συγκεκριμένο σενάριο. Επιπλέον, και εξαιτίας της φύσης του μοντέλου, οι αρνητικές συσχετίσεις που παρουσιάζονται δεν είναι δυνατόν να χρησιμοποιηθούν για την αποτίμηση συνεργατικών δραστηριοτήτων, συνεπώς οι χρονοσειρές που αφορούν στην συμμετρία συνεργατικής δραστηριότητας παραλείπονται από την μελέτη περιπτώσεων που ακολουθεί, όπως εξάλλου και οι μετρικές χρόνου απόκρισης καθώς παρουσιάζουν μόνο σποραδικές συσχετίσεις οι οποίες δεν μπορούν να θεωρηθούν ενδείξεις συγκεκριμένης συμπεριφοράς καλών ή κακών συνεργατικών πρακτικών. Εξετάζοντας τα τέσσερα βασικά χαρακτηριστικά της συνεργασίας, την επικοινωνία, την συνεργατική επεξεργασία πληροφορίας, τον συντονισμό και τη διαπροσωπική σχέση των χρηστών παρατηρούμε πως κάποιες μετρικές παρουσιάζουν περισσότερες συσχετίσεις για συγκεκριμένες διαστάσεις ή σε συγκεκριμένα χρονικά παράθυρα. Η επικοινωνία, που στο σχήμα αξιολόγησης εκτιμάται αξιολογώντας τις συνεργατικές διαστάσεις της Συνεργατικής Ροής (ΣΔ1) και της Διατήρησης Κοινής Κατανόησης (ΣΔ2) περιγράφεται καλύτερα από τις χρονοσειρές που αναπαριστούν εξέλιξη της δραστηριότητας στο εργαλείο ανταλλαγής μηνυμάτων στην διάσταση του χρόνου, είτε αυτή εκφράζει όγκο (#COA) είτε εναλλαγή ενεργών ρόλων χρηστών στον διάλογο (#CALT), αλλά επιπλέον και από τον όγκο δραστηριότητας ανά χρονικό παράθυρο στον κοινόχρηστο χώρο εργασίας (#WOA). Στην περίπτωση του διαλόγου, οι συσχετίσεις που εμφανίζονται είναι μεγαλύτερες για τα μεγαλύτερα χρονικά παράθυρα ενώ το αντίθετο συμβαίνει στην περίπτωση που εξετάζεται η δραστηριότητα στον κοινόχρηστο χώρο εργασίας. Οι συνεργατικές διαστάσεις της Ανταλλαγής Γνώσης (ΣΔ3) και της Επιχειρηματολογίας (ΣΔ4) περιγράφουν την γενικότερη έννοια της Συνεργατικής Επεξεργασίας Πληροφοριών. Σε αυτή την περίπτωση, οι μετρικές που εμφάνισαν τις σημαντικότερες και περισσότερες συσχετίσεις στο σύνολο των χρονικών παραθύρων, είναι οι μετρικές διαλόγου, και ιδιαίτερα όγκου δραστηριότητας (#COA) και εναλλαγής ενεργού ρόλου στον διάλογο (#CALT) αλλά και του ρυθμού μεταβολής τους (#DCOA, #DCALT), ενώ επίσης σημαντικές συσχετίσεις εμφανίζονται και για την μετρική όγκου δραστηριότητας, ανά χρονικό παράθυρο, κοινόχρηστου χώρου εργασίας (#WOA). Επιπλέον, σημαντικές αλλά σποραδικές συσχετίσεις εμφανίζονται και στις μετρικές συμμετρίας και χρονικής απόκρισης, ιδιαίτερα της δραστηριότητας διαλόγου. Ο δείκτης συσχέτισης στην πλειοψηφία των μετρικών αυτών μεγιστοποιείται για τα μικρά χρονικά παράθυρα (15, 30 δευτερολέπτων). Αν πραγματοποιηθεί χρήση κανονικοποιημένων αποστάσεων κατά την εκτέλεση του αλγορίθμου δυναμικής 129

140 χρονικής στρέβλωσης, τότε παρατηρείται αύξηση της τιμής του δείκτη συσχέτισης στα μεγαλύτερα χρονικά παράθυρα. Η έννοια του συντονισμού περιγράφεται από την διάσταση της Δόμησης της διαδικασίας Επίλυσης του προβλήματος (ΣΔ5). Για την παρούσα διάσταση παρουσιάζονται τα πιο «αδύνατα» αποτελέσματα ανά μετρική, με κριτήριο την εμφάνιση σημαντικών συσχετίσεων. Οι μετρικές όγκου δραστηριότητας διαλόγου και εναλλαγών ενεργού ρόλου (#COA, #CALT) εμφανίζουν τις περισσότερες σημαντικές συσχετίσεις, ειδικά στα μεγάλα χρονικά παράθυρα ( δευτερολέπτων). Σποραδικές σημαντικές συσχετίσεις εμφανίζονται και για τις άλλες μετρικές διαλόγου, η τιμή όμως του δείκτη συσχέτισης δεν αποκαλύπτει κάποια σημαντική σχέση που να μπορεί να αξιοποιηθεί περαιτέρω από το μοντέλο. Επιπλέον θα πρέπει να αναφερθεί ότι στην περίπτωση της μετρικής ρυθμού συμμετρίας, οι συσχετίσεις που εμφανίζονται είναι αρνητικές. Η κανονικοποίηση των αποστάσεων, δεν επηρεάζει ιδιαίτερα τα αποτελέσματα πέρα από μικρή αύξηση του δείκτη συσχέτισης για τα μεγάλα χρονικά παράθυρα κυρίως. Στην περίπτωση των μετρικών του κοινόχρηστου χώρου εργασίας εμφανίζονται σποραδικές σημαντικές συσχετίσεις, κυρίως για την μετρική όγκου δραστηριότητας (#WOA). Παρόλα αυτά ο δείκτης συσχέτισης κινείται σε χαμηλές τιμές (Spearman s Rho<0,172). Τέλος, η Διαπροσωπική Σχέση περιγράφεται από την έκτη συνεργατική διάσταση, του Συνεργατικού Προσανατολισμού (ΣΔ6). Από τη φύση της έκτης συνεργατικής διάστασης, αναμένεται πως οι μετρικές τόσο της εναλλαγής ενεργού ρόλου όσο και της συμμετρίας, αλλά και του χρόνου απόκρισης, θα παρουσιάζουν υψηλές συσχετίσεις στα αποτελέσματα. Αυτό επαληθεύεται εν μέρει για τις μετρικές διαλόγου και ειδικά στην περίπτωση των μεγάλων χρονικών παραθύρων για την μετρική συμμετρίας και την μετρική μεταβολής συμμετρίας ανά χρονικό παράθυρο. Οι μετρικές όγκου και εναλλαγής ρόλων αλλά και οι μετρικές ρυθμού μεταβολής τους παρουσιάζουν καλύτερα αποτελέσματα στα μικρά χρονικά παράθυρα (15-45 δευτερολέπτων). Στην περίπτωση των μετρικών του κοινόχρηστου χώρου εργασίας, η μετρική που παρουσιάζει τις περισσότερες και μεγαλύτερες συσχετίσεις είναι η μετρική όγκου δραστηριότητας (#WOA) και αυτό μάλιστα ισχύει για τα μικρά χρονικά παράθυρα. Οι υπόλοιπες συσχετίσεις που εμφανίζονται είναι σποραδικές και εμφανίζουν μικρές τιμές δείκτη συσχέτισης (Spearman s Rho<0.13), γεγονός που δηλώνει ιδιαίτερα χαμηλές συσχετίσεις. Προκειμένου να εκτιμηθεί συνολικά η ποιότητα της συνεργασίας, έγινε χρήση της γενικής διάστασης της ποιότητας της συνεργασίας (ΠΤΣ) η οποία ορίζεται ως ο μέσος όρος των έξι, προαναφερθέντων συνεργατικών διαστάσεων. Σύμφωνα με το σχήμα αξιολόγησης, η διάσταση αυτή παρέχει μια γενική εικόνα της συνεργατικής διαδικασίας ως προς την ποιότητά της, η οποία αφ ενός οφείλεται στα επιμέρους χαρακτηριστικά της συνεργασίας και αφ ετέρου μπορεί να χρησιμοποιηθεί ως ένας γενικός δείκτης 130

141 αξιολόγησής της. Από τα αποτελέσματα, οι περισσότερες μετρικές του διαλόγου παρουσιάζουν στατιστικά σημαντικές συσχετίσεις και μάλιστα με υψηλής τιμής δείκτη συσχέτισης. Οι μετρικές που εκφράζουν όγκο δραστηριότητας και αριθμό εναλλαγών ενεργού ρόλου (#COA, #CALT) παρουσιάζουν μεγιστοποίηση του δείκτη συσχέτισης στα μεγάλα χρονικά παράθυρα (300,480 δευτερολέπτων) ενώ αντίθετα, για τις μετρικές που εκφράζουν ρυθμό μεταβολής (#DCOA, #DCALT) ο δείκτης συσχέτισης μεγιστοποιείται στα μικρά χρονικά παράθυρα (15, 30 δευτερολέπτων). Αρκετά μεγάλη τιμή δείκτη συσχέτισης παρουσιάζει και η μετρική χρόνου αντίδρασης (#CTG) στο χρονικό παράθυρο των 45 δευτερολέπτων, όταν ο αλγόριθμος δεν εκτελεί κανονικοποίηση αποστάσεων, και στο μεγάλο παράθυρο των 480 δευτερολέπτων στην αντίθετη περίπτωση. Όσον αφορά στις μετρικές του κοινόχρηστου χώρου εργασίας, οι μετρικές που παρουσιάζουν σημαντικές συσχετίσεις είναι κυρίως η μετρική όγκου δραστηριότητας (#WOA) και κατά δεύτερο λόγο οι μετρικές που εκφράζουν χρόνο αντίδρασης και ρυθμό χρόνου αντίδρασης, συμμετρία και ρυθμό συμμετρίας, και ρυθμό εναλλαγής ενεργού ρόλου. Όμως οι συσχετίσεις αυτές εμφανίζονται σε συγκεκριμένα χρονικά παράθυρα και τα αποτελέσματα δεν μπορούν να γενικευτούν. Συνοψίζοντας τα αποτελέσματα του μοντέλου εκτίμησης ποιότητας της συνεργασίας, παρατηρείται ότι από τις χρονοσειρές οι οποίες χρησιμοποιήθηκαν ως είσοδοι στο μοντέλο, αυτές για τις οποίες εμφανίστηκαν στατιστικά σημαντικές συσχετίσεις ήταν όσες αναφέρονται στην δραστηριότητα του διαλόγου, δηλαδή ουσιαστικά στις μετρικές του εργαλείου ανταλλαγής μηνυμάτων. Από το σύνολο των μετρικών, τα βέλτιστα αποτελέσματα παρουσιάζονται για την μετρική όγκου δραστηριότητας (#COA), εναλλαγής ενεργού ρόλου (#CALT) και τους ρυθμούς μεταβολής των (#DCOA, #DCALT). Από τις χρονοσειρές που περιγράφουν την δραστηριότητα στον κοινόχρηστο χώρο εργασίας, οι περισσότερες και σημαντικότερες συσχετίσεις εμφανίστηκαν για την χρονοσειρά που αναφέρεται στον όγκο δραστηριότητας ανά χρονικό παράθυρο (#WOA). Άλλες στατιστικά σημαντικές συσχετίσεις που εμφανίστηκαν ήταν σποραδικές και συνήθως με δείκτη συσχέτισης μικρής τιμής. Όσον αφορά στα χρονικά παράθυρα που εξετάστηκαν κατά την πρώτη φάση, τα καλύτερα αποτελέσματα, έχοντας ως κριτήριο την τιμή του δείκτη συσχέτισης Spearman s Rho, εμφανίζονται είτε για τα μικρά (15, 30 δευτερολέπτων) είτε για τα μεγάλα (300,480 δευτερολέπτων) χρονικά παράθυρα. Το ελάχιστο χρονικό παράθυρο των 10 δευτερολέπτων παρουσιάζει ελάχιστες σημαντικές συσχετίσεις, κάτι που είναι αναμενόμενο καθώς η δραστηριότητα που εμφανίζεται και καταγράφεται μέσα σε χρονικό διάστημα δέκα δευτερολέπτων είναι ελάχιστη έως και καθόλου. Το μέγιστο παράθυρο των 600 δευτερολέπτων παρουσιάζει αρκετές σημαντικές συσχετίσεις, το μεγάλο μέγεθός του όμως είναι απαγορευτικό για ανάλυση συνεργατικών 131

142 δραστηριοτήτων με χρήση χρονοσειρών σε πραγματικό χρόνο, όταν η διάρκειά τους είναι της τάξης μίας με δύο ωρών. Τέλος, στην παρούσα φάση δοκιμάστηκε επίσης η χρήση τόσο κανονικοποιημένων, όσο και μη, αποστάσεων κατά την εύρεση πλησιέστερου ομοίου, όπως αυτή υλοποιείται από το μοντέλο. Η κανονικοποίηση έχει ως αποτέλεσμα αφενός την μετατόπιση των σημαντικών συσχετίσεων προς μεγαλύτερα χρονικά παράθυρα, αλλά και την μείωση του αριθμού εμφάνισης σημαντικών συσχετίσεων. Επιπλέον η διαδικασία της κανονικοποίησης δεν οδηγεί σε ισχυρότερες συσχετίσεις. Στους αντίστοιχους πίνακες (Πίνακας 5-17 και Πίνακας 5-18), παρουσιάζεται ο μέσος όρος του δείκτη συσχέτισης για όλες τις περιπτώσεις χρονοσειρών όπου παρουσιάστηκαν σημαντικές, θετικές συσχετίσεις και για μη κανονικοποιημένες και κανονικοποιημένες αποστάσεις αντίστοιχα. Παρατηρούμε πως στις περισσότερες περιπτώσεις, ο δεικτης συσχέτισης κινείται στην ίδια τάξη τιμών και στις ίδιες κατηγορίες, πλην ελάχιστων εξαιρέσεων. Στην γενική περίπτωση, μικρή αύξηση παρατηρείται για τα μικρά χρονικά παράθυρα και κυρίως για τις τέσσερις πρώτες διαστάσεις (ΣΔ1 ΣΔ4) ενώ για τις διαστάσεις ΣΔ5 και ΣΔ6, αλλά και για τη γενική διάσταση της Ποιότητας της Συνεργασίας (ΠΤΣ) η διαδικασία κανονικοποίησης οδηγεί σε ασθενέστερες συσχετίσεις. Στην Εικόνα 5-8, παρουσιάζεται η μεταβολή του μέσου όρου της τιμής του δείκτη συσχέτισης κατά την διαδικασία της κανονικοποίησης και για την περίπτωση της γενικής διάστασης της Ποιότητας της Συνεργασίας (ΠΤΣ). Πλην ελαχίστων εξαιρέσεων, οι συσχετίσεις οι οποίες εμφανίζονται για μη κανονικοποιημένες αποστάσεις είναι κατά μέσον όρο ισχυρότερες για τα περισσότερα χρονικά παράθυρα που εξετάστηκαν. Ακόμα όμως και στην αντίθετη περίπτωση των κανονικοποιημένων αποστάσεων, η βελτίωση είναι τόσο μικρή που ουσιαστικά το αποτέλεσμα παραμένει το ίδιο. Όπως αναφέρθηκε στην παράγραφο όπου περιγράφεται ο τρόπος λειτουργίας του αλγόριθμου δυναμικής χρονικής στρέβλωσης (DTW), η κανονικοποίηση των αποστάσεων που παράγει ως αποτέλεσμα ο αλγόριθμος DTW εισάγει επιπλέον θόρυβο στο μοντέλο. Συνεπώς οι συσχετίσεις δεν είναι αρκετό κριτήριο για την αποτελεσματικότητα του μοντέλου. Οι μετρικές σφάλματος (παράγραφος 4.8.2) θα πρέπει να εξεταστούν κατά περίπτωση και σε συνάρτηση με τον δείκτη συσχέτισης, ώστε να αποφασιστεί για ποιες παραμέτρους το μοντέλο εμφανίζει την καλύτερη συμπεριφορά. Επιπλέον, κατά την τελική αξιολόγηση των αποτελεσμάτων απαιτείται η σύγκριση με άλλα, παρόμοια, μοντέλα που έχουν αναπτυχθεί, καθώς επίσης πρέπει να ληφθούν υπ όψη κι άλλοι παράγοντες όπως η πολυπλοκότητα του μοντέλου, η ευκολία εφαρμογής αλλά και οι απαραίτητοι πόροι για την ομαλή του λειτουργία. Όλα αυτά είναι θέματα που αναλύονται στο κεφάλαιο

143 Στην συνέχεια αυτού του κεφαλαίου, περιγράφονται οι υπόλοιπες φάσεις της πειραματικής διαδικασίας και αναλύονται τα αποτελέσματά τους, με τον τρόπο που περιγράφηκε στην παράγραφο 4.8. Πίνακας Μέσος Όρος τιμών του δείκτη συσχέτισης ανά χρονικό παράθυρο και συνεργατική διάσταση, για χρήση μη κανονικοποιημένων αποστάσεων. Μη κανονικοποιημένες αποστάσεις ΧΠ ΣΔ1 ΣΔ2 ΣΔ3 ΣΔ4 ΣΔ5 ΣΔ6 ΠΤΣ Πίνακας Μέσος Όρος τιμών του δείκτη συσχέτισης ανά χρονικό παράθυρο και συνεργατική διάσταση, για χρήση κανονικοποιημένων αποστάσεων. Κανονικοποιημένες αποστάσεις ΧΠ ΣΔ1 ΣΔ2 ΣΔ3 ΣΔ4 ΣΔ5 ΣΔ6 ΠΤΣ Μέσος όρος συσχετίσεων για της διάσταση ΠΤΣ ΠΤΣ-ΜΚ ΠΤΣ-Κ Εικόνα 5-8. Μέσος όρος συσχετίσεων για την διάσταση Ποιότητας της Συνεργασίας (ΠΤΣ) και χρήση μη κανονικοποιημένων (ΠΤΣ-ΜΚ) και κανονικοποιημένων διαστάσεων (ΠΤΣ-Κ). 133

144 5.3 ΦΑΣΗ Β - ΕΦΑΡΜΟΓΗ ΑΛΓΟΡΙΘΜΟΥ ΑΝΑ ΣΥΝΔΥΑΣΜΟ ΧΡΟΝΟΣΕΙΡΩΝ - ΑΝΑΛΥΣΗ ΑΠΟΤΕΛΕΣΜΑΤΩΝ Στην δεύτερη φάση της έρευνας, συνδυάζονται οι χρονοσειρές δραστηριότητας διαλόγου και κοινόχρηστου χώρου εργασίας, προκειμένου να χρησιμοποιηθούν ως κοινή είσοδος στον αλγόριθμο εύρεσης πλησιέστερου ομοίου δείγματος. Όπως παρουσιάστηκε στο πρώτο μέρος της έρευνας (Παράγραφος 5.2) κάποιες χρονοσειρές δραστηριότητας δεν φάνηκε να συσχετίζονται σημαντικά με τις διαστάσεις της ποιότητας συνεργασίας και κάποιες άλλες δεν παρουσίασαν ικανοποιητικό βαθμό συσχέτισης. Στην παρούσα φάση παρουσιάζονται τρεις διαφορετικοί συνδυασμοί μετρικών για την κατασκευή της πολυπαραμετρικής χρονοσειράς. Η πολυπαραμετρική χρονοσειρά χρησιμοποιείται στη συνέχεια ως είσοδος στο προτεινόμενο μοντέλο ταξινόμησης και αξιολόγησης συνεργατικών δραστηριοτήτων. Οι χρονοσειρές που κατασκευάστηκαν για την περιγραφή της συνεργατικής δραστηριότητας μπορούν να χωριστούν σε δύο κατηγορίες, όπως ήδη έχει αναφερθεί σε προηγούμενες παραγράφους: (α) αυτές που περιγράφουν όγκο δραστηριότητας και (β) αυτές που περιγράφουν ρυθμό μεταβολής δραστηριότητας στον χρόνο. Στην δεύτερη φάση της πειραματικής διαδικασίας εξετάζεται ο τρόπος με τον οποίο αυτή η κατηγοριοποίηση αποτυπώνεται στα αποτελέσματα του μοντέλου αλλά και πως ο συνδυασμός διαφορετικού τύπου μετρικών επηρεάζει την απόδοσή του. Ερευνητική Υπόθεση 1 (EY1): (α) Συνδυασμός χρονοσειρών που κατασκευάστηκαν από μετρικές συνεργατικής δραστηριότητας διαφορετικού τύπου οδηγούν σε πιο ακριβή αποτελέσματα με χρήση του προτεινόμενου μοντέλου καθώς εισάγουν περισσότερη πληροφορία σχετικά με τον τρόπο που εξελίσσεται η δραστηριότητα στον χρόνο. (β) Ειδικότερα ο συνδυασμός μονοπαραμετρικών χρονοσειρών που συσχετίζονται με την ποιότητα της συνεργασίας σε μία πολυπαραμετρική χρονοσειρά, οδηγεί στα βέλτιστα αποτελέσματα. (γ) Το πλήθος των μονοπαραμετρικών χρονοσειρών που συνδυάζονται για την κατασκευή της πολυπαραμετρικής χρονοσειράς η οποία χρησιμοποιείται ως είσοδος στο μοντέλο, είναι ανάλογο της ποιότητας των αποτελεσμάτων. 134

145 Ουσιαστικά αναμένεται η συνδυαστική χρήση χρονοσειρών όγκου δραστηριότητας και ρυθμού μεταβολής δραστηριότητας σε μία πολυπαραμετρική χρονοσειρά, να οδηγεί σε πιο ακριβείς αξιολογήσεις, αυξάνοντας την απόδοση μοντέλου, συγκριτικά με αυτές που γίνονται αν χρησιμοποιηθούν χρονοσειρές όγκου δραστηριότητας ή ρυθμού μεταβολής δραστηριότητας ξεχωριστά. Η ερευνητική αυτή πρόταση βασίζεται στο σκεπτικό ότι αυξάνοντας την εισροή πληροφορίας στον αλγόριθμο του μοντέλου επιτυγχάνουμε και την βελτίωση της αποδοτικότητάς του, και τελικά τυχόν επιπρόσθετος θόρυβος που εισάγεται μαζί με την επιπλέον πληροφορία δεν θα επηρεάσει την ακρίβεια του μοντέλου. Στην δεύτερη φάση εξετάζουμε τέσσερις περιπτώσεις πολυπαραμετρικών χρονοσειρών, κατασκευασμένων από μετρικές του εργαλείου ανταλλαγής μηνυμάτων και του κοινόχρηστου χώρου εργασίας. Οι μετρικές που χρησιμοποιήθηκαν για την κατασκευή των χρονοσειρών ανά περίπτωση, είναι οι εξής: Περιπτωση Α: Χρήση μετρικών εργαλείου ανταλλαγής μηνυμάτων και κοινόχρηστου χώρου εργασίας, οι οποίες περιγράφουν τον όγκο κοινής δραστηριότητας ανά χρονική μονάδα κατά την διεξαγωγή της συνεργατικής εργασίας (#COA,#CALT,#WOA, #WALT). Περιπτωση Β: Χρήση μετρικών εργαλείου ανταλλαγής μηνυμάτων και κοινόχρηστου χώρου εργασίας, οι οποίες περιγράφουν τον ρυθμό μεταβολής ανά χρονική μονάδα του όγκου κοινής δραστηριότητας κατά την διεξαγωγή της συνεργατικής εργασίας (#DCOA,#DCALT,#DWOA,#DWALT). Περιπτωση Γ: Χρήση μετρικών εργαλείου ανταλλαγής μηνυμάτων και κοινόχρηστου χώρου εργασίας, οι οποίες περιγράφουν τον όγκο και τον ρυθμό μεταβολής του, ανά χρονική μονάδα, κοινής δραστηριότητας κατά την διεξαγωγή της συνεργατικής εργασίας (#COA, #DCOA, #CALT, #DCALT, #WOA, #DWOA, #WALT,#DWALT). Περιπτωση Δ: Χρήση μετρικών εργαλείου ανταλλαγής μηνυμάτων και κοινόχρηστου χώρου εργασίας, για τις οποίες παρουσιάστηκαν σημαντικές θετικές συσχετίσεις κατά την πρώτη φάση (Φάση Α) της παρούσας εργασίας (Παράγραφος 5.2). Στην συνέχεια παρουσιάζονται τα αποτελέσματα της δεύτερης φάσης ανά περίπτωση, και η ανάλυσή τους για επτά χρονικά παράθυρα (15, 30, 45, 60, 300, 480, 600). Και στις τέσσερις περιπτώσεις που προαναφέρονται, το μοντέλο ταξινομεί και αξιολογεί τις συνεργατικές συνεδρίες για την γενική διάσταση της Ποιότητας της Συνεργασίας (ΠΤΣ). Υπενθυμίζεται ότι η Ποιότητα της Συνεργασίας ορίζεται ως ο μέσος όρος των έξι, συνεργατικών διαστάσεων που σύμφωνα με το Σχήμα Αξιολόγησης αποτυπώνουν τα βασικά χαρακτηριστικά μιας συνεργατικής δραστηριότητας. Για την αξιολόγηση των βαθμολογιών που αποδίδει το μοντέλο εξετάζονται τόσο η συσχέτιση των αποτελεσμάτων ποιοτικής και ποσοτικής αξιολόγησης, όσο επίσης και η ακρίβεια του 135

146 μοντέλου με χρήση μετρικών σφάλματος (παράγραφος 4.8). Κατά την πειραματική διαδικασία γίνεται χρήση δύο διαφορετικών τύπων απόστασης, της Ευκλείδειας και της Manhattan, για την σύγκριση των πολυπαραμετρικών χρονοσειρών κατά τη διαδικασία ταξινόμησης που εκτελεί το μοντέλο. Σημειώνεται ότι οι μετρικές συμμετρίας, χρόνου απόκρισης αλλά και το ελάχιστο χρονικό παράθυρο των δέκα δευτερολέπτων έχουν παραλειφθεί σε αυτή τη φάση της πειραματικής διαδικασίας για λόγους που εξηγούνται στην παράγραφο Όσον αφορά στην διαδικασία κανονικοποίησης, δεν παρατηρήθηκε βελτίωση των αποτελεσμάτων του μοντέλου μετά την κανονικοποίηση, οπότε παραλείπονται από τις επόμενες παραγράφους τα αποτελέσματα και η ανάλυση για κανονικοποιημένες αποστάσεις ΠΕΡΙΠΤΩΣΗ Α: ΠΟΛΥΠΑΡΑΜΕΤΡΙΚΕΣ ΧΡΟΝΟΣΕΙΡΕΣ ΠΟΥ ΠΕΡΙΓΡΑΦΟΥΝ ΟΓΚΟ ΔΡΑΣΤΗΡΙΟΤΗΤΑΣ Στην πρώτη περίπτωση (Περίπτωση Α) γίνεται χρήση των χρονοσειρών που περιγράφουν τον όγκο κοινής δραστηριότητας και το άθροισμα εναλλαγών ενεργών ρόλων μεταξύ συνεργατών, τόσο στο εργαλείο ανταλλαγής μηνυμάτων αλλά και στον κοινόχρηστο χώρο εργασίας. Οι μετρικές που χρησιμοποιήθηκαν για την κατασκευή των αντίστοιχων χρονοσειρών είναι οι εξής: - το άθροισμα μηνυμάτων στο εργαλείο ανταλλαγής μηνυμάτων όλων των συνεργαζόμενων μελών ανά χρονικό παράθυρο (#COA) - το άθροισμα των εναλλαγών ενεργού ρόλου στον διάλογο ανά χρονικό παράθυρο (#CALT) - το άθροισμα κύριων ενεργειών στον κοινόχρηστο χώρο εργασίας όλων των συνεργαζόμενων μελών ανά χρονικό παράθυρο (#WOA) - το άθροισμα των εναλλαγών ενεργού ρόλου στον κοινόχρηστο χώρο εργασίας ανά χρονικό παράθυρο (#WALT) Στην συνέχεια παρουσιάζονται οι συσχετίσεις των αποτελεσμάτων των δύο αξιολογήσεων για την γενική διάσταση της Ποιότητας Της Συνεργασίας (ΠΤΣ) και για την περίπτωση χρήσης απόστασης Manhattan (Μ) ως μετρική ομοιότητας Α και για τα επτά χρονικά παράθυρα που εξετάστηκαν (Πίνακας 5-19). Συνολικά τα αποτελέσματα για τόσο για την χρήση Ευκλείδειας (Ε) όσο και Manhattan (Μ) απόστασης παρατίθενται στο Παράρτημα Α. Στην περίπτωση που δεν υπάρχει στατιστικά σημαντική συσχέτιση μεταξύ των αποτελεσμάτων των δύο διαδικασιών αξιολόγησης, δεν υπάρχει αντίστοιχη εγγραφή στον σχετικό πίνακα. Τα αποτελέσματα των δύο διαδικασιών αξιολόγησης (ποιοτικής από έμπειρους αξιολογητές με χρήση του Σχήματος Αξιολόγησης και αυτόματης, από το μοντέλο) συσχετίζονται σημαντικά και θετικά για την γενική διάσταση της ποιότητας της 136

147 συνεργασίας (ΠΤΣ). Επιπλέον βελτιστοποιούνται όταν γίνεται χρήση της απόστασης Manhattan και μη κανονικοποιημένων αποστάσεων ενώ στην περίπτωση που πραγματοποιείται κανονικοποίηση, τότε η Ευκλείδεια απόσταση αποδίδει καλύτερα. Συγκεκριμένα, παρατηρούνται σημαντικές συσχετίσεις για όλα τα χρονικά παράθυρα και τις δύο μετρικές απόστασης, ενώ οι συσχετίσεις μεγιστοποιούνται για τα μικρά χρονικά παράθυρα και χρήση απόστασης Manhattan. Αντίστοιχη συμπεριφορά επιδεικνύει και το μέσο απόλυτο σφάλμα ΜΑΕ, το οποίο κινείται γύρω από την τιμή 1.1 και ελαχιστοποιείται για τα μικρά χρονικά παράθυρα. Τα καλύτερα αποτελέσματα σημειώνονται στο παράθυρο των 30 δευτερολέπτων και για απόσταση Manhattan (ρ=0.297, ΜΑΕ=1.050). Στην Εικόνα 5-9 απεικονίζεται η συμπεριφορά των εμφανιζόμενων συσχετίσεων και του μέσου απόλυτου σφάλματος (ΜΑΕ) ανά χρονικό παράθυρο και μη κανονικοποιημένες αποστάσεις (Ευκλείδεια/Manhattan). Στην γενική περίπτωση ο δείκτης συσχέτισης παρουσιάζει μέγιστες τιμές για τα μικρά χρονικά παράθυρα κυρίως (των 15 και 30 δευτερολέπτων) ενώ επίσης μεγάλες τιμές εμφανίζονται και στο μέγιστο παράθυρο των 600 δευτερολέπτων. Αυτή η συμπεριφορά ενισχύεται στην περίπτωση αποστάσεων Manhattan. Επιπλέον οι δύο αποστάσεις δίνουν παρόμοια αποτελέσματα ως προς τις συσχετίσεις ανά χρονικό παράθυρο ενώ διαφοροποιούνται σημαντικά στην περίπτωση της μετρικής σφάλματος. Το σφάλμα για την περίπτωση χρήσης Ευκλείδειας απόστασης φαίνεται να έχει ομαλότερες διακυμάνσεις ανάμεσα στα χρονικά παράθυρα που εξετάστηκαν, αντίθετα από το σφάλμα για απόσταση Manhattan. Κάτι τέτοιο ήταν αναμενόμενο καθώς η Ευκλείδεια απόσταση εξ ορισμού είναι πιο ακριβής και αυστηρή. Πρέπει όμως να σημειωθεί πως για πολυπαραμετρικά δεδομένα έχει μελετηθεί πως η απόσταση Manhattan ως μετρική ομοιότητας οδηγεί σε καλύτερα αποτελέσματα (Aggarwal, C. et al., 2001; Vadivel, A. et al., 2003). Συνεπώς είναι επίσης αναμενόμενο όσο αυξάνεται η διάσταση της χρονοσειράς εισόδου στο μοντέλο, να βελτιστοποιούνται και τα αποτελέσματα για χρήση απόστασης Manhattan αντί Ευκλείδειας. 137

148 Πίνακας Συσχετίσεις και μέσο απόλυτο σφάλμα (ΜΑΕ) για την γενική διάσταση της Ποιότητας της Συνεργασίας και για χρονοσειρές που περιγράφουν όγκο δραστηριότητας, Περίπτωση Α. Manhattan Απόσταση χρονικό παράθυρο Συσχέτιση ΜΑΕ Συσχέτιση και ΜΑΕ για την διάσταση ΠΤΣ και χρήση Ευκλείδιας και Manhattan απόστασης 0,350 1,250 0,300 1,200 Δείκτης Συσχέτισης 0,250 0,200 1,150 1,100 1,050 Συσχέτιση-Ε Συσχέτιση-Μ 0,150 1,000 ΜΑΕ-Ε ΜΑΕ-Μ 0, ,950 Εικόνα 5-9. Συσχετίσεις και μέσο απόλυτο σφάλμα (ΜΑΕ) για της διάσταση ΠΤΣ και όλα τα χρονικά παράθυρα, για Ευκλείδεια και Manhattan απόσταση ΠΕΡΙΠΤΩΣΗ Β: ΧΡΟΝΟΣΕΙΡΕΣ ΠΟΥ ΠΕΡΙΓΡΑΦΟΥΝ ΡΥΘΜΟ ΜΕΤΑΒΟΛΗΣ ΟΓΚΟΥ ΔΡΑΣΤΗΡΙΟΤΗΤΑΣ ΣΤΗ ΜΟΝΑΔΑ ΤΟΥ ΧΡΟΝΟΥ. Στην παρούσα περίπτωση, γίνεται χρήση των χρονοσειρών που περιγράφουν τον ρυθμό μεταβολής, ανά μονάδα χρόνου, του όγκου κοινής δραστηριότητας αλλά και του αριθμού εναλλαγών ρόλων μεταξύ των συνεργαζόμενων μελών τόσο για το εργαλείο ανταλλαγής μηνυμάτων αλλά και για τον κοινόχρηστο χώρο εργασίας. Οι μετρικές που χρησιμοποιήθηκαν για την κατασκευή των αντίστοιχων χρονοσειρών είναι οι εξής: 138

149 - ο ρυθμός μεταβολής του αθροίσματος μηνυμάτων στο εργαλείο ανταλλαγής μηνυμάτων όλων των συνεργαζόμενων μελών ανά διαδοχικά χρονικά παράθυρα (#DCOA) - ο ρυθμός μεταβολής του αθροίσματος των εναλλαγών ενεργού ρόλου στον διάλογο ανά διαδοχικά χρονικά παράθυρα (#DCALT) - ο ρυθμός μεταβολής του αθροίσματος των κύριων ενεργειών στον κοινόχρηστο χώρο εργασίας όλων των συνεργαζόμενων μελών ανά διαδοχικά χρονικά παράθυρα (#DWOA) - ο ρυθμός μεταβολής του αθροίσματος των εναλλαγών ενεργού ρόλου στον κοινόχρηστο χώρο εργασίας ανά διαδοχικά χρονικά παράθυρα (#DWALT). Στον αντίστοιχο πίνακα (Πίνακας 5-20) παρουσιάζονται τα αποτελέσματα της πειραματικής διαδικασίας για την περίπτωση Β και για χρήση απόστασης Manhattan (Μ). Συνολικά τα αποτελέσματα για Ευκλείδεια και Manhattan αποστάσεις παρουσιάζονται στο Παράρτημα Α. Στην περίπτωση Β χρησιμοποιήθηκαν ως είσοδος στο μοντέλο, πολυπαραμετρικές χρονοσειρές που κατασκευάστηκαν από τις μετρικές ρυθμού μεταβολής όγκου δραστηριότητας. Τα αποτελέσματα του μοντέλου και της ποιοτικής αξιολόγησης από έμπειρους αξιολογητές παρουσιάζουν θετικές, σημαντικές συσχετίσεις κυρίως στα μικρά χρονικά παράθυρα όπου επιπλέον παρατηρούνται και οι μέγιστες συσχετίσεις (15, 30 δευτερολέπτων) όταν γίνεται χρήση μη κανονικοποιημένων, Manhattan αποστάσεων. Για χρήση Ευκλείδειων αποστάσεων δεν υπάρχει συστηματική εμφάνιση συσχετίσεων παρά μόνον σποραδικές, για τα μικρά παράθυρα επίσης. Το μέσο απόλυτο σφάλμα παρουσιάζει παρόμοια συμπεριφορά με τον δείκτη συσχέτισης και αυξάνεται ανάλογα με το μέγεθος του χρονικού παραθύρου. Η δεύτερη περίπτωση επιβεβαιώνει τα αποτελέσματα της πρώτης φάσης όπου παρατηρήθηκε πως οι χρονοσειρές ρυθμού μεταβολής της δραστηριότητας συσχετίζονται με την ποιότητα της συνεργασίας για τα μικρά χρονικά παράθυρα (Παράγραφος ). Οι συσχετίσεις που εμφανίζονται για την περίπτωση χρήσης Manhattan αποστάσεων θεωρούνται μέτριες ενώ το σφάλμα για τα μικρά παράθυρα υπολογίστηκε γύρω στην μονάδα. Το βέλτιστο αποτέλεσμα όσον αφορά τόσο στην συσχέτιση όσο και στο μέσο απόλυτο σφάλμα παρατηρήθηκε για το χρονικό παράθυρο των 15 δευτερολέπτων (ρ=0.278, ΜΑΕ=0.925). Η σχέση του δείκτη συσχέτισης και του μέσου απόλυτου σφάλματος ανά χρονικό παράθυρο απεικονίζεται καλύτερα στο γράφημα της Εικόνα Παρατηρείται πως καθώς το μέγεθος του χρονικού παραθύρου μεγαλώνει, αντίστοιχα μεγαλώνει και το μέσο απόλυτο σφάλμα ενώ οι συσχετίσεις εξασθενούν. 139

150 Πίνακας Συσχετίσεις και μέσο απόλυτο σφάλμα (ΜΑΕ) για την γενική διάσταση της Ποιότητας της Συνεργασίας και την Περίπτωση Β. Manhattan Απόσταση Χρονικό παράθυρο Συσχέτιση ΜΑΕ Συσχετίσεις και ΜΑΕ για την διάσταση ΠΤΣ και απόσταση Manhattan Δείκτης Συσχέτισης MAE Συσχέτιση-Μ ΜΑΕ-Μ Εικόνα Συσχετίσεις και μέσο απόλυτο σφάλμα (ΜΑΕ) για την διάσταση της ΠΤΣ και ανά χρονικό παράθυρο για απόσταση Manhattan ΠΕΡΙΠΤΩΣΗ Γ: ΧΡΟΝΟΣΕΙΡΕΣ ΠΟΥ ΠΕΡΙΓΡΑΦΟΥΝ ΡΑΦΟΥΝ ΟΓΚΟ ΔΡΑΣΤΗΡΙΟΤΗΤΑΣ ΚΑ Ι ΤΟΝ ΡΥΘΜΟ ΜΕΤΑΒΟΛΗΣ ΤΟΥ Στην παρούσα περίπτωση, γίνεται συνδυασμός των μετρικών που χρησιμοποιήθηκαν ξεχωριστά στις περιπτώσεις Α και Β και οι οποίες περιγράφουν τόσο τον όγκο δραστηριότητας αλλά και τον ρυθμό μεταβολής του, ανά χρονικό παράθυρο για την σύνθεση πολυπαραμετρικών χρονοσειρών που συνδυάζουν την δραστηριότητα των χρηστών στο εργαλείο ανταλλαγής μηνυμάτων αλλά και στον κοινόχρηστο χώρο εργασίας. Οι μετρικές δραστηριότητας που χρησιμοποιήθηκαν είναι συνολικά οκτώ - τέσσερις μετρικές για την διαλογική δραστηριότητα και τέσσερις για την δραστηριότητα στον κοινόχρηστο χώρο εργασίας : 140

151 - το άθροισμα μηνυμάτων και ο ρυθμός μεταβολής του αθροίσματος μηνυμάτων στο εργαλείο ανταλλαγής μηνυμάτων όλων των συνεργαζόμενων μελών ανά χρονικό παράθυρο (#COA,#DCOA) - το άθροισμα και ο ρυθμός μεταβολής του αθροίσματος των εναλλαγών ενεργού ρόλου στον διάλογο ανά χρονικό παράθυρο (#CALT,#DCALT) - το άθροισμα και ο ρυθμός μεταβολής του αθροίσματος των κύριων ενεργειών στον κοινόχρηστο χώρο εργασίας όλων των συνεργαζόμενων μελών ανά χρονικό παράθυρο (#WOA,#DWOA) - το άθροισμα και ο ρυθμός μεταβολής του αθροίσματος των εναλλαγών ενεργού ρόλου στον κοινόχρηστο χώρο ανά χρονικό παράθυρο (#WALT,#DWALT) Στην τρίτη Περίπτωση (Περίπτωση Γ) γίνεται συνδυαστική χρήση των μετρικών που εξετάσθηκαν στις δύο προηγούμενες περιπτώσεις (Α και Β) ώστε να εξετασθεί κατά πόσο η συνδυασμένη αυτή χρήση επηρεάζει θετικά τα αποτελέσματα του μοντέλου ή αν ο θόρυβος που εισάγεται έχει σημαντικότερο αρνητικό αντίκτυπο στην τελική εκτίμηση της αξιολόγησης της συνεργασίας. Σημαντικές, θετικές συσχετίσεις εμφανίζονται σχεδόν για το σύνολο των περιπτώσεων που εξετάστηκαν. Παρόλα αυτά, οι ισχυρότερες συσχετίσεις παρουσιάστηκαν στην περίπτωση μη κανονικοποιημένων αποστάσεων. Εδώ παρουσιάζονται τα αποτελέσματα (συσχετίσεις και το αντίστοιχο σφάλμα) για τις αξιολογήσεις του μοντέλου ανά χρονικό παράθυρο και απόσταση Manhattan (Πίνακας 5-21) ενώ τα συνολικά αποτελέσματα μπορούν να αναζητηθούν στο Παράρτημα Α. Όπως παρατηρήθηκε και στις προηγούμενες περιπτώσεις που εξετάστηκαν, η χρήση της απόστασης Manhattan ως μετρική ομοιότητας βελτιώνει κατά πολύ τα τελικά αποτελέσματα του μοντέλου, τόσο ως προς τις συσχετίσεις που ισχυροποιούνται αλλά και ως προς το σφάλμα που μειώνεται κάτω της μονάδας για τα μικρά χρονικά παράθυρα (15-60 δευτερολέπτων). Η μέγιστη συσχέτιση παρατηρήθηκε στο χρονικό παράθυρο των 60 δευτερολέπτων όπου επίσης εμφανίστηκε και το μικρότερο σφάλμα για αποστάσεις Manhattan (ρ=0.365, ΜΑΕ=0.928). Στην Εικόνα 5-11 απεικονίζονται οι συσχετίσεις και το μέσο απόλυτο σφάλμα για τα χρονικά παράθυρα και τις δύο αποστάσεις που εξετάστηκαν. Οι συσχετίσεις για τις δύο αποστάσεις παρουσιάζουν αντίθεση συμπεριφορά αναφορικά με τα χρονικά παράθυρα, ενώ το μέσο απόλυτο σφάλμα παρουσιάζει παρόμοια συμπεριφορά, με την απόσταση Manhattan να οδηγεί σε ακριβέστερα αποτελέσματα. Και για τις δύο αποστάσεις όμως τα αποτελέσματα είναι βέλτιστα για τα μικρά χρονικά παράθυρα, ενώ στα μεγάλα οι συσχετίσεις εξασθενούν και αυξάνεται το σφάλμα, όπως παρατηρήθηκε και στην περίπτωση Β. 141

152 Πίνακας Συσχετίσεις και μέσο απόλυτο σφάλμα (ΜΑΕ) για την γενική διάσταση της Ποιότητας της Συνεργασίας και για χρονοσειρές που περιγράφουν συνδυασμό όγκο και ρυθμό μεταβολής δραστηριότητας, Περίπτωση (Γ). Manhattan Απόσταση χρονικό παράθυρο Συσχέτιση ΜΑΕ ,400 Συσχέτιση και ΜΑΕ για την διάσταση ΠΤΣ και χρήση Ευκλείδιας και Manhattan απόστασης 1,400 0,350 1,200 0,300 1,000 Δείκτης Συσχετίσεων 0,250 0,200 0,150 0,100 0,050 0,800 0,600 0,400 0,200 ΜΑΕ Συσχέτιση-Ε Συσχέτιση-Μ ΜΑΕ-Ε ΜΑΕ-Μ 0, ,000 Εικόνα Συσχετίσεις και μέσο απόλυτο σφάλμα (ΜΑΕ) για την διάσταση ΠΤΣ και όλα τα χρονικά παράθυρα, για Ευκλείδεια και Manhattan απόσταση ΠΕΡΙΠΤΩΣΗ (Δ): ΧΡΟΝΟΣΕΙΡΕΣ ΣΥΣΧΕΤΙΖΟΜΕΝΕΣ ΜΕ ΤΗΝ ΠΟΙΟΤΗΤΑ ΤΗΣ ΣΥΝΕΡΓΑΣΙΑΣ Στην παράγραφο 5.2 παρουσιάστηκαν και αναλύθηκαν τα αποτελέσματα του αλγορίθμου για όλες τις χρονοσειρές δραστηριότητας και για οκτώ χρονικά παράθυρα. Κατά την διαδικασία της ανάλυσης συγκρίθηκαν τα αποτελέσματα των δύο διαδικασιών αξιολόγησης συνεργατικών συνεδριών: (α) βαθμολόγηση με χρήση του μοντέλου και (β) με χρήση του Σχήματος Αξιολόγησης από έμπειρους αξιολογητές. Οι βαθμολογίες της διάστασης της Ποιότητας της Συνεργασίας (ΠΤΣ) αλλά και των υπόλοιπων έξι συνεργατικών διαστάσεων, παρουσίασαν σημαντικές συσχετίσεις για 142

153 συγκεκριμένες χρονοσειρές. Σε αυτή την παράγραφο χρησιμοποιούμε τις χρονοσειρές που συσχετίζονται στατιστικά σημαντικά και θετικά με την ποιότητα της συνεργασίας για την κατασκευή πολυπαραμετρικών χρονοσειρών που θα παίξουν τον ρόλο εισόδου στο μοντέλο ταξινόμησης και αξιολόγησης. Το σκεπτικό πίσω από το προτεινόμενο σχήμα είναι πως η συμπεριφορά του μοντέλου ανα μετρική θα δράσει αθροιστικά και κατ επέκταση χρησιμοποιώντας τις κατάλληλες, συσχετιζόμενες μετρικές θα βελτιωθεί και η απόδοση του μοντέλου συνολικά. Οι μετρικές για τις οποίες εμφανίζονταν σημαντικές αλλά αρνητικές συσχετίσεις παραλείφθηκαν από την διαδικασία καθώς πρακτικά οι αρνητικές συσχετίσεις δεν μπορούν να χρησιμοποιηθούν στο παρόν σχήμα αξιολόγησης. Από εδώ και στο εξής όταν αναφερόμαστε σε σημαντικές συσχετίσεις θα αναφερόμαστε μόνο σε σημαντικά, θετικές συσχετίσεις. Επιπλέον, σε αυτή την φάση διερευνήθηκε η χρήση διαφορετικών τύπων αποστάσεων ως μέτρο ομοιότητας, η Ευκλείδεια και η Μανχάταν απόσταση ενώ δεν έγινε κανονικοποίηση των αποστάσεων καθώς από τις προηγούμενες φάσεις δεν φάνηκε να συμβάλλει στην βελτίωση των αποτελεσμάτων του μοντέλου ΣΥΣΧΕΤΙΣΕΙΣ ΑΝΑ ΜΕΤΡΙΚΗ ΚΑΙ ΠΟΙΟΤΗΤΑΣ ΤΗΣ ΣΥΝΕΡΓΑΣΙΑΣ Στην συνέχεια (Πίνακας 5-22) παρουσιάζονται συνοπτικά οι συσχετίσεις που εμφανίστηκαν ανά χρονοσειρά δραστηριότητας και χρονικό παράθυρο, για την γενική διάσταση της Ποιότητας της Συνεργασίας, όπως υπολογίστηκαν κατά την Φάση Α της πειραματικής διαδικασίας (Παράγραφος 5.2.7). Το χρονικό παράθυρο των 600 δευτερολέπτων παρουσιάζει τον μέγιστο αριθμό συσχετίσεων (έξι χρονοσειρές εμφάνισαν θετικές σημαντικές συσχετίσεις) ενώ ο ελάχιστος αριθμός παρατηρείται για τα χρονικά παράθυρα των 30 και των 300 δευτερολέπτων (τέσσερις χρονοσειρές συσχετίζονται θετικά με την ποιότητα της συνεργασίας). Οι μετρικές για τις οποίες εμφανίστηκαν αρνητικές ή καθόλου συσχετίσεις, έχουν παραλειφθεί από τον πίνακα. Στην τελευταία στήλη του πίνακα (#AVG_COR) παρατίθεται ο μέσος όρος όλων των συσχετίσεων ανά χρονικό παράθυρο. Ο μέσος όρος υποδηλώνει ασθενείς ή μέτριες συσχετίσεις, ενώ μεγιστοποιείται για το χρονικό παράθυρο των 480 δευτερολέπτων και ελαχιστοποιείται για το παράθυρο των 60 και των 600 δευτερολέπτων. Για τα μικρά χρονικά παράθυρα ο μέσος όρος μειώνεται όσο μεγαλώνει το μέγεθος του παραθύρου και η μέγιστη τιμή του εμφανίζεται για το παράθυρο των 15 δευτερολέπτων (Εικόνα 5-12). Για την δημιουργία κάθε πολυπαραμετρικής χρονοσειράς (μία για κάθε χρονικό παράθυρο) χρησιμοποιήθηκαν οι μονοπαραμετρικές χρονοσειρές που εμφάνισαν σημαντικές συσχετίσεις. Έτσι στην παρούσα φάση της πειραματικής διαδικασίας, ως είσοδοι στο μοντέλο ταξινόμησης και αξιολόγησης χρησιμοποιήθηκαν οι παρακάτω χρονοσειρές: 143

154 - Τ_15: [#COA, #DCOA, #CALT, #DCALT, #WOA] - Τ_30: [#COA, #DCOA, #CALT, #WOA ] - Τ_45: [#COA, #DCOA, #CALT, #DCALT, #CTG ] - Τ_60: [#COA, #DCOA, #CALT, #CTG, #DWOA] - Τ_300: [#COA, #DCOA, #CALT, #DCALT] - Τ_480: [#COA, #DCOA, #CALT, #CTG ] - Τ_600: [#COA, #DCOA, #CALT, #DCALT, #CTG,#WOA] Οι περισσότερες μονοπαραμετρικές χρονοσειρές που χρησιμοποιήθηκαν περιγράφουν διαλογική δραστηριότητα ενώ υπάρχουν περιπτώσεις χρονοσειρών (Τ_480) όπου δεν χρησιμοποιήθηκε καμμία χρονοσειρά δραστηριότητας για τον κοινόχρηστο χώρο εργασίας. Πίνακας Συσχετίσεις ανά χρονοσειρά και χρονικό παράθυρο για την διάσταση της Ποιότητας της Συνεργασίας, όπως προέκυψαν από την Φάση Α. Χρονοσειρές Κοινόχρηστου Χρονοσειρές Διαλόγου Χώρου Εργασίας ΧΠ #COA #DCOA #CALT #DCALT #CTG #WOA #DWOA Μέσος Όρος Συσχετίσεων #AVG_COR Μέσος όρος συσχετίσεων ανά χρονικό παράθυρο Εικόνα Μέσος Όρος συσχετίσεων χρονοσειρών δραστηριότητας και ποιότητας της συνεργασίας (ΠΤΣ) ανά χρονικό παράθυρο. 144

155 ΑΝΑΛΥΣΗ ΣΥΣΧΕΤΙΣΕΩΝ ΚΑΙ ΣΦΑΛΜΑΤΟΣ Ο Πίνακας 5-23 απεικονίζει μερικώς τα αποτελέσματα της τέταρτης περίπτωσης (Δ) για την δεύτερη φάση της πειραματικής διαδικασίας. Συγκεκριμένα παρουσιάζονται οι συσχετίσεις και το αντίστοιχο μέσο απόλυτο σφάλμα για την γενική διάσταση της ποιότητας της συνεργασίας (ΠΤΣ) ανά χρονικό παράθυρο και απόσταση, Ευκλείδεια και Manhattan. Στο σύνολο των αποτελεσμάτων, στατιστικά σημαντικές, θετικές συσχετίσεις εμφανίστηκαν σχεδόν για όλα τα χρονικά παράθυρα. Μοναδική εξαίρεση αποτέλεσε το παράθυρο των 60 δευτερολέπτων τόσο για χρήση Ευκλείδειας αλλά και Manhattan απόστασης, όσο και το παράθυρο των 600 δευτερολέπτων στην περίπτωση που χρησιμοποιηθεί η απόσταση Manhattan. Πρέπει να σημειωθεί πως αυτές οι δύο περιπτώσεις είχαν εμφανίσει κατά μέσο όρο τις πιο ασθενείς συσχετίσεις συγκριτικά με τα υπόλοιπα χρονικά παράθυρα που εξετάζονται (Εικόνα 5-12). Κατ αντιστοιχία αναμένεται ότι τα παράθυρα που εμφάνισαν κατά μέσο όρο τις υψηλότερες συσχετίσεις θα παρουσιάσουν επίσης τα βέλτιστα αποτελέσματα. Στην γενική περίπτωση, τα αποτελέσματα του μοντέλου ήταν καλύτερα, τόσο ως προς τις συσχετίσεις των βαθμολογιών αλλά και ως προς το σφάλμα εκτίμησης, στην περίπτωση χρήσης απόστασης Manhattan. Οι συσχετίσεις που εμφανίστηκαν είναι μέτριες ενώ το σφάλμα κινείται περίπου στη μονάδα, πλην εξαιρέσεων. Τα καλύτερα αποτελέσματα παρατηρήθηκαν για το χρονικό παράθυρο των 15 δευτερολέπτων (ρ=0.374, ΜΑΕ=1,036, απόσταση Manhattan) και για το μεγάλο παράθυρο των 480 δευτερολέπτων (ρ=0.378, ΜΑΕ=1,080, απόσταση Ευκλείδεια). Στην Εικόνα 5-13 απεικονίζονται οι συσχετίσεις και το αντίστοιχο μέσο, απόλυτο σφάλμα ανά χρονικό παράθυρο και απόσταση. Τα αποτελέσματα για τις δύο αποστάσεις παρουσιάζουν παρόμοια συμπεριφορά. Τόσο οι συσχετίσεις, όσο και το σφάλμα κινούνται με παρόμοιο τρόπο. Η χρήση της απόστασης Manhattan οδηγεί σε καλύτερα αποτελέσματα, ιδιαίτερα για τα μικρά χρονικά παράθυρα, όπου παρατηρείται τόσο αύξηση των συσχετίσεων αλλά και μικρότερο σφάλμα. Για τα μεγάλα χρονικά παράθυρα, δεν διαφαίνονται μεγάλες διαφορές για τις δύο αποστάσεις, όσον αφορά στο σφάλμα. Για το παράθυρο των 480 δευτερολέπτων πάντως, ο δείκτης συσχέτισης εμφανίζεται αρκετά μεγαλύτερος για Ευκλείδειες αποστάσεις. Θα πρέπει να σημειωθεί πως για τη χρονοσειρά του παραθύρου των 480 δευτερολέπτων (Τ_480) χρησιμοποιήθηκαν εξ ολοκληρου μετρικές του εργαλείου ανταλλαγής μηνυμάτων ενώ κατά την πρώτη φάση είχε εμφανίσει τον μέγιστο δείκτη συσχέτισης ανά μετρική κατά μέσο όρο. 145

156 Πίνακας Συσχετίσεις και μέσο απόλυτο σφάλμα (ΜΑΕ) για την γενική διάσταση της Ποιότητας της Συνεργασίας και για συσχετιζόμενες χρονοσειρές (Περίπτωση (Δ)) Manhattan Απόσταση Χρονικό παράθυρο Συσχέτιση ΜΑΕ ,400 Συσχέτιση και ΜΑΕ για την διάσταση ΠΤΣ και χρήση Ευκλείδιας και Manhattan απόστασης 1,600 Δείκτης Συσχέτισης 0,350 0,300 0,250 0,200 0,150 1,400 1,200 1,000 0,800 0,600 0,400 0,200 Συσχέτιση-Ε Συσχέτιση-Μ ΜΑΕ-Ε ΜΑΕ-Μ 0, ,000 Εικόνα Συσχετίσεις και μέσο απόλυτο σφάλμα (ΜΑΕ) για την διάσταση ΠΤΣ και όλα τα χρονικά παράθυρα, για Ευκλείδεια και Manhattan απόσταση ΣΥΝΟΛΙΚΗ ΑΠΟΤΙΜΗΣΗ ΑΠΟΤΕΛΕΣΜΑΤΩΝ ΔΕΥΤΕΡΗΣ ΦΑΣΗΣ. Στην δεύτερη φάση της πειραματικής διαδικασίας χρησιμοποιήθηκαν ως είσοδος στο μοντέλο εκτίμησης και αξιολόγησης της ποιότητας της συνεργασίας, πολυπαραμετρικές χρονοσειρές για την κατασκευή των οποίων έγινε χρήση των μετρικών δραστηριότητας της συνεργατικής εφαρμογής που υποστηρίζει την συνεργατική δραστηριότητα. Σκοπός της δεύτερης φάσης ήταν καταρχήν να διερευνηθεί κατά πόσο η περιγραφή συνεργατικών δραστηριοτήτων μέσω πολυπαραμετρικών χρονοσειρών που αντιπροσωπεύουν την εξέλιξη της διαδικασίας στην διάσταση του χρόνου είναι 146

157 επιτυχής, πώς επηρεάζει η συνδυαστική χρήση μετρικών δραστηριότητας υπό τη μορφή πολυπαραμετρικών χρονοσειρών την τελική απόδοση του μοντέλου, κατά πόσο αντικατοπτρίζει αυτή η ποσοτική προσέγγιση τα ποιοτικά χαρακτηριστικά των συνεργατικών δραστηριοτήτων που εξετάζονται και τέλος ποιες παράμετροι επηρεάζουν την απόδοση του μοντέλου και με ποιον τρόπο. Σε αυτό το πλαίσιο εξετάστηκαν τέσσερις περιπτώσεις πολυπαραμετρικών χρονοσειρών, όπως περιγράφηκαν στην παράγραφο Στην συνέχεια ακολούθησε ανάλυση των αποτελεσμάτων για κάθε μία των περιπτώσεων. Στην παρούσα παράγραφο παραθέτουμε και συγκρίνουμε συνολικά τα αποτελέσματα της δεύτερης φάσης και επιπλέον εξετάζουμε την ακρίβεια του μοντέλου και το σφάλμα αποτελεσμάτων. Στην περίπτωση Α, εξετάστηκαν πολυπαραμετρικές χρονοσειρές που κατασκευάστηκαν από μετρικές όγκου δραστηριότητας, στην περίπτωση Β χρησιμοποιήθηκαν μετρικές ρυθμού μεταβολής όγκου δραστηριότητας, στην Περίπτωση Γ έγινε συνδυαστική χρήση των μετρικών που χρησιμοποιήθηκαν στις περιπτώσεις Α και Β ενώ στην τελευταία περίπτωση, Δ, χρησιμοποιήθηκαν κατά την κατασκευή των χρονοσειρών οι μετρικές δραστηριότητας για τις οποίες εμφανίστηκαν σημαντικές, θετικές συσχετίσεις των αποτελεσμάτων των δύο διαδικασιών αξιολόγησης (παράγραφος 5.2). Συνολικά παρατηρήθηκε πως η χρήση της απόστασης Manhattan οδηγεί σε καλύτερα αποτελέσματα συγκριτικά με την Ευκλείδεια απόσταση: Υψηλότερες συσχετίσεις και μικρότερο σφάλμα, ειδικά για τα μικρά χρονικά παράθυρα (15-60 δευτερολέπτων). Αν και η Ευκλείδεια απόσταση θεωρείται πιο ακριβής και αυστηρή, η απόσταση Manhattan έχει επιβεβαιωθεί από σχετικές μελέτες πως αποδίδει καλύτερα στην περίπτωση πολυδιάστατων (multidimensional) δεδομένων, όπως στην παρούσα περίπτωση (Aggarwal, C. et al., 2001). Σύμφωνα με την ανάλυση συσχετίσεων και σφάλματος, οι τρεις πρώτες περιπτώσεις (Α, Β και Γ) ακολουθούν ένα μοτίβο συμπεριφοράς όσον αφορά στο μέγεθος των χρονικών παραθύρων που εξετάστηκαν και το οποίο είναι πιο εμφανές για την περίπτωση της απόστασης Manhattan (Εικόνα 5-14). Όσο αυξάνεται το μέγεθος του παραθύρου, αυξάνεται και η μετρική σφάλματος (ΜΑΕ) ενώ ταυτόχρονα οδηγούμαστε σε πιο ασθενείς συσχετίσεις. Η τέταρτη περίπτωση (Δ) δεν ακολουθεί την ίδια συμπεριφορά αλλά αντίθετα τα βέλτιστα αποτελέσματα παρατηρούνται για τα ακραία παράθυρα (15 και 480 δευτερολέπτων). Όσον αφορά στις συσχετίσεις, οι πιο ισχυρές παρατηρήθηκαν για την τρίτη και την τέταρτη περίπτωση (Γ και Δ) ενώ η πρώτη περίπτωση που μελετήθηκε (περίπτωση Α) παρουσίασε για τα περισσότερα παράθυρα το μεγαλύτερο σφάλμα από όλες τις περιπτώσεις ανεξαρτήτως της μετρικής ομοιότητας (Ευκλείδεια ή Manhattan). Παρομοίως μεγάλο σφάλμα σημειώθηκε και για την περίπτωση (Δ), ενώ η τρίτη περίπτωση (Γ) εμφάνισε το μικρότερο (κάτω της μονάδας στα μικρά χρονικά παράθυρα). Τα καλύτερα αποτελέσματα παρατηρήθηκαν 147

158 για την Περίπτωση (Γ) και το χρονικό παράθυρο των 60 δευτερολέπτων (ρ=0.365, ΜΑΕ=0.928). Αν και σε κάποιες περιπτώσεις εμφανίστηκε ακόμα μεγαλύτερος δείκτης συσχέτισης, το μέσο απόλυτο σφάλμα ήταν πολύ μεγαλύτερο συγκριτικά με τη βελτίωση της συσχέτισης και συνεπώς απαγορευτικό (περίπτωση (Δ), ΧΠ=15 δευτερόλεπτα, ρ=0.374, ΜΑΕ=1.036). Η μελέτη των αποτελεσμάτων των τεσσάρων περιπτώσεων που προηγήθηκε, έδειξε ότι η χρήση χρονοσειρών διαφόρων τύπων (μετρικές που εκφράζουν όγκο και μεταβολή όγκου δραστηριότητας) αλλά διαφορετικού τύπου δραστηριότητας (διαλογική, εναλλαγές ρόλων κλπ) οδηγεί σε καλύτερα αποτελέσματα εκτίμησης. Κατά κύριο λόγο σημαντικές συσχετίσεις εμφανίζονται για τις χρονοσειρές που εκφράζουν όγκο δραστηριότητας, όμως σε συνδυασμό με τις χρονοσειρές ρυθμού μεταβολής της δραστηριότητας, οι συσχετίσεις ισχυροποιούνται ενώ μειώνεται το σφάλμα εκτίμησης (Περίπτωση Γ). Από την άλλη η χρήση πολυπαραμετρικών χρονοσειρών μεγαλύτερης διάστασης, συνέβαλε επίσης σε πιο ακριβή αποτελέσματα, κάτι εξάλλου που ήταν αναμενόμενο και πειραματικά επιβεβαιωμένο και από παρόμοιες μελέτες σε άλλα πεδία (Box, G. E. P. et al., 2011).Η κατασκευή πολυπαραμετρικών χρονοσειρών αποκλειστικά και μόνο από μετρικές δραστηριότητας που συσχετίζονται με την ποιότητα της συνεργασίας (Περιπτωση Δ), αποδείχθηκε πως αφ ενός οδηγεί σε ισχυρότερες συσχετίσεις αφ ετέρου όμως το σφάλμα εκτίμησης (ΜΑΕ) είναι ιδιαίτερα μεγάλο. Κάτι επίσης ενδιαφέρον που παρατηρείται είναι η συμπεριφορά του δείκτη εμφανιζόμενων συσχετίσεων και σφάλματος ανάλογα με τα χρονικά παράθυρα που εξετάστηκαν και ανά περίπτωση. Όταν χρησιμοποιηθούν μετρικές που περιγράφουν συνολικά τη δραστηριότητα, δηλαδή τόσο μετρικές του κοινόχρηστου χώρου εργασίας αλλά και του εργαλείου ανταλλαγής μηνυμάτων, παρατηρείται πως τα μικρά χρονικά παράθυρα παρουσιάζουν τα βέλτιστα αποτελέσματα, κάτι που διαισθητικά ήταν αναμενόμενο καθώς αυτό που προσφέρει η χρήση χρονοσειρών είναι η δυνατότητα μικροανάλυσης της δραστηριότητας στο χρόνο. Από την άλλη, αν γίνει χρήση μόνο των μετρικών που εμφανίζουν σημαντικές συσχετίσεις με την ποιότητα της συνεργασίας, διακινδυνεύεται η χρήση μόνο συγκεκριμένου τύπου μετρικών (π.χ. της διαλογικής δραστηριότητας). Τελικά, αυτό μπορεί να καταλήξει σε ισχυρότερες συσχετίσεις αλλά επίσης και σε μεγαλύτερο σφάλμα εκτίμησης. Τα αποτελέσματα μάλιστα σε αυτή την περίπτωση βελτιστοποιούνται για τα ακραία χρονικά παράθυρα. Κάτι τέτοιο θεωρητικά ήταν μη αναμενόμενο καθώς τα ακραία παράθυρα συγκριτικά με τα υπόλοιπα- περιέχουν είτε ελάχιστη πληροφορία εξαιτίας του μικρού χρονικού μεγέθους, είτε υπερβολικά συμπυκνωμένη πληροφορία στην περίπτωση των μεγάλων παραθύρων. Γι αυτό το λόγο η πληροφορία για την συνδυαστική δραστηριότητα αναμενόταν να είναι πλουσιότερη και πιο χρήσιμη στα μικρά/μεσαία χρονικά παράθυρα. 148

159 0,400 0,350 Συσχετίσεις και ΜΑΕ ανά Περίπτωση και χρονικό παράθυρο Συσχετίσεις 0,300 0,250 0,200 0,150 Περίπτωση Α Περίπτωση Β Περίπτωση Γ Περίπτωση Δ 0,100 1, ΜΑΕ 1,400 1,300 1,200 1,100 1,000 0,900 Περίπτωση Α Περίπτωση Β Περίπτωση Γ Περίπτωση Δ 0, Εικόνα Συσχετίσεις και μέσο απόλυτο σφάλμα ΜΑΕ, για τις τέσσερεις περιπτώσεις που εξετάστηκαν, ανά χρονικό παράθυρο και για απόσταση Manhattan. Στην παρούσα παράγραφο χρησιμοποιήσαμε το μοντέλο ταξινόμησης και αξιολόγησης συνεργατικών δραστηριοτήτων το οποίο υλοποιεί έναν αλγόριθμο ταξινόμησης Πλησιέστερου ή αλλιώς Κοντινότερου- Γείτονα (Nearest Neighbor). Αυτό σημαίνει πως κατά την εύρεση ομοίου, ο αλγόριθμος αναζητά και αντιστοιχεί το προς ταξινόμηση δείγμα στην τάξη του πλησιέστερου γείτονα που θα βρει. Όπως είναι προφανές, η χρήση ενός τέτοιου αλγόριθμου αυξάνει την πιθανότητα σφάλματος, μειώνοντας έτσι την ακρίβεια του μοντέλου. Η χρήση περισσοτέρων του ενός, γειτόνων (Κ>1) αναμένεται να βελτιώσει τα αποτελέσματα του αλγορίθμου και συνεπώς τις εκτιμήσεις του μοντέλου. Στην συνέχεια το προτεινόμενο μοντέλο επαναχρησιμοποιείται, αυτή τη φορά για διάφορες τιμές του Κ. Επιπλέον γίνεται επαναχρησιμοποίηση του μοντέλου για τις περιπτώσεις Γ και Δ όπου παρουσιάστηκαν οι μέγιστες συσχετίσεις και συζητείται η βελτίωση που επιφέρει ο νέος αλγόριθμος στα αποτελέσματα. 149

160 5.4 ΦΑΣΗ Γ: ΕΦΑΡΜΟΓΗ ΤΟΥ ΑΛΓΟΡΙΘΜΟΥ Κ-ΠΛΗΣΙΕΣΤΕΡΩΝ ΓΕΙΤΟΝΩΝ (K-NEAREST NEIGHBORS KNN) ΣΤΟ ΠΡΟΤΕΙΝΟΜΕΝΟ ΜΟΝΤΕΛΟ Στις προηγούμενες μελέτες που παρουσιάστηκαν, η υλοποίηση του μοντέλου έκανε χρήση της απλούστερης μορφής του αλγορίθμου πλησιέστερου γείτονα (ΚΝΝ), όπου γίνεται αναζήτηση για έναν γείτονα. Προκειμένου να βελτιωθούν τα αποτελέσματα του αλγορίθμου και κατά συνέπεια του μοντέλου, προτείνεται η χρήση μεγαλύτερου αριθμού γειτόνων Κ, όπως ορίζει ο αλγόριθμος (παράγραφος 4.9.2). Η βέλτιστη τιμή της παραμέτρου Κ είναι δύσκολο να προσδιοριστεί καθώς εξαρτάται τόσο από το ερευνητικό πεδίο όσο και από την φύση των δεδομένων, ενώ συνήθως προσδιορίζεται με πειραματικές διαδικασίες. Στα πλαίσια της παρούσας εργασίας, μελετήθηκαν διάφορες τιμές της μεταβλητής Κ και η επίδρασή τους στην αποτελεσματικότητα του προτεινόμενου μοντέλου. Συγκεκριμένα ακολουθήθηκε η ίδια διαδικασία όπως περιγράφηκε και αναλύθηκε στην Φάση Β για τις δύο περιπτώσεις που παρουσίασαν τα βέλτιστα αποτελέσματα, δηλαδή τις περιπτώσεις Γ και Δ. Στην συνέχεια της παραγράφου παρουσιάζονται τα αποτελέσματα της ανάλυσης συσχετίσεων και σφάλματος για την τρίτη φάση της πειραματικής διαδικασίας ΠΕΡΙΠΤΩΣΕΙΣ (Γ) ΚΑΙ (Δ) ΑΠΟΤΕΛΕΣΜΑΤΑ ΕΦΑΡΜΟΓΗΣ ΑΛΓΟΡΙΘΜΟΥ ΚΝΝ Κατά την τρίτη φάση της πειραματικής διαδικασίας (Φάση Γ) εφαρμόστηκε ο αλγόριθμος κατηγοριοποίησης πλησιέστερων γειτόνων (ΚΝΝ) στο σύνολο δεδομένων των Περιπτώσεων Γ και Δ όπως αυτές παρουσιάστηκαν στην δεύτερη φάση (Φάση Β) και για επτά τιμές της μεταβλητής Κ: [1, 5, 10, 15, 20, 25, 30]. Ως μετρική ομοιότητας από τον αλγόριθμο Δυναμικής Χρονικής Στρέβλωσης (DTW) γίνεται χρήση της απόστασης Manhattan και επιπλέον εξετάζουμε μόνο την περίπτωση μη κανονικοποιημένων αποστάσεων καθώς κατά τις προηγούμενες φάσεις έγινε εμφανές ότι η κανονικοποίηση των αποστάσεων δεν συνεπάγεται βελτίωση των αποτελεσμάτων του προτεινόμενου μοντέλου. Στον παρακάτω πίνακα (Πίνακας 5-24) απεικονίζονται τα αποτελέσματα για την τρίτη περίπτωση (Γ) και πέντε, ενδεικτικές τιμές του Κ, Κ=(1, 10, 15, 20, 30). Οι τιμές του Κ για τις οποίες δεν παρουσιάστηκαν σημαντικές συσχετίσεις για το σύνολο των χρονικών παραθύρων έχουν παραλειφθεί από την παρούσα ανάλυση. Παρατηρούμε πως οι συσχετίσεις που εμφανίζονται είναι στο σύνολό τους μέτριες ή ισχυρές, με την μεγαλύτερη συσχέτιση να εμφανίζεται στο χρονικό παράθυρο των 30 δευτερολέπτων και για Κ=15 (ρ=0.586, ΜΑΕ=0.909). Επιπλέον το σφάλμα περιορίζεται σε τιμές 150

161 μικρότερες της μονάδας με εξαίρεση την περίπτωση που η τιμή του Κ φτάσει τους 30 γείτονες οπότε και το σφάλμα ξεπερνά την μονάδα και την περίπτωση του ενός γείτονα (Κ=1) που εξετάστηκε στην παράγραφο Αφ ενός είναι προφανές ότι η χρήση του αλγόριθμου ΚΝΝ για Κ>1 βελτιώνει θεαματικά τα αποτελέσματα του μοντέλου, τόσο ως προς το μέγεθος των συσχετίσεων όσο και ως προς το σφάλμα εκτίμησης. Παρατηρείται πως οι εμφανιζόμενες συσχετίσεις αυξάνουν έως μία ορισμένη τιμή της παραμέτρου Κ ενώ από εκεί και ύστερα παραμένουν πρακτικά σταθερές, με μικρές δηλαδή αυξομειώσεις που δεν επηρεάζουν την τάξη της συσχέτισης, ή σε μερικές περιπτώσεις παρατηρείται ακόμα και σημαντική μείωση. Η κρίσιμη αυτή τιμή για τα περισσότερα χρονικά παράθυρα υπολογίζεται ότι είναι οι 15 γείτονες (Κ=15). Παρόμοια συμπεριφορά εμφανίζει και το μέσο απόλυτο σφάλμα, που διατηρείται σε μικρές τιμές έως μία ορισμένη τιμή της μεταβλητής Κ και πέραν της οποίας αυξάνει προοδευτικά. Για τα μικρά παράθυρα η οριακή τιμή είναι 15 γείτονες ενώ για τα μεγάλα χρονικά παράθυρα το σφάλμα αυξάνει δραστικά μετά την τιμή Κ=20. Επίσης παρατηρείται πως το σφάλμα είναι αντιστρόφως ανάλογο του μέγεθους του παραθύρου, με τα μικρά παράθυρα να παρουσιάζουν μεγαλύτερο σφάλμα από τα μεγάλα, το οποίο εμφανίζεται κυρίως για τις μικρές τιμές του Κ ενώ η διαφορά αυτή ελαχιστοποιείται όσο αυξάνεται ο αριθμός των γειτόνων που χρησιμοποιεί ο αλγόριθμος ΚΝΝ. Τα χρονικά παράθυρα που εμφανίζουν την μεγαλύτερη βελτίωση είναι αυτά των 30 και 600 δευτερολέπτων ενώ το παράθυρο των 60 δευτερολέπτων που παρουσίασε τα βέλτιστα αποτελέσματα κατά τη Φάση Β, παρουσιάζει μικρότερη βελτίωση όπως και τα υπόλοιπα ενδιάμεσα παράθυρα. Για την τέταρτη περίπτωση (Δ) (Παράγραφος 5.3.4) τα αποτελέσματα από την χρήση του ΚΝΝ αλγόριθμου παρουσιάζουν ισχυρότερες συσχετίσεις συγκριτικά με την Περίπτωση (Γ) (Πίνακας 5-25). Στην γενική περίπτωση οι συσχετίσεις αυξάνονται όσο αυξάνεται και ο αριθμός των Κ γειτόνων. Η αύξηση όμως που παρατηρείται πέραν της τιμής Κ=20 είναι μικρή. Ειδικά τα χρονικά παράθυρα των 30, 45 και 60 δευτερολέπτων οπου μετά τους 20 γείτονες, οι συσχετίσεις παρουσιάζουν εξασθένηση. Το μέσο απόλυτο σφάλμα παρουσιάζει πιο ομαλή συμπεριφορά για τιμές του Κ μεγαλύτερες του 10 (Κ>10), όπου και παρουσιάζει μεγάλη μείωση. Και σε αυτή την περίπτωση, εμφανίζεται αντιστρόφως ανάλογο του μεγέθους του παραθύρου, όπου για τα μικρά παράθυρα (15, 30 δευτερολέπτων) κινείται γύρω από τη μονάδα και ελαχιστοποιείται για την περίπτωση των 480 δευτερολέπτων. Εξαίρεση αποτελούν τα παράθυρα των 45 και 60 δευτερολέπτων όπου το σφάλμα παρουσιάζεται ιδιαίτερα υψηλό. Τα βέλτιστα αποτελέσματα εμφανίζονται για τα μικρά παράθυρα στην περίπτωση των 30 δευτερολέπτων (Κ=15, ρ=0.586, ΜΑΕ=0.909) και για τα μεγάλα χρονικά παράθυρα, στην περίπτωση των 480 δευτερολέπτων (Κ=15, ρ=0.562, ΜΑΕ=0.81) 151

162 Στα γραφήματα της Εικόνα 5-15 απεικονίζονται οι συσχετίσεις και το μέσο απόλυτο σφάλμα εκτίμησης του μοντέλου για τις περιπτώσεις (Γ) και (Δ). Και στις δύο περιπτώσεις, η χρήση του αλγόριθμου κατηγοριοποίησης κοντινότερων γειτόνων (ΚΝΝ) βελτιώνει θεαματικά τα αποτελέσματα του μοντέλου, οδηγώντας σε ισχυρότερες συσχετίσεις και μείωση του σφάλματος, σχεδόν για όλες τις παραμέτρους που εξετάστηκαν. Στην περίπτωση (Δ), ο αλγόριθμος ΚΝΝ έχει μεγαλύτερη επίπτωση στα αποτελέσματα αναφορικά με το μέγεθος του παραθύρου που επιλέχθηκε κατά την κατασκευή της χρονοσειράς, κάτι που δεν παρατηρείται στην περίπτωση (Γ), όπου οι διαφορές τόσο των συσχετίσεων όσο και του σφάλματος ανά χρονικό παράθυρο δεν είναι τόσο ευδιάκριτες. Πίνακας Δείκτης Συσχέτισης και σφάλμα ΜΑΕ για την Περίπτωση (Γ), τις διάφορες τιμές Κ Γειτόνων (ΚΝ) και για όλα τα χρονικά παράθυρα που εξετάστηκαν Κ=1Ν Κ=10Ν Κ=15Ν Κ=20Ν Κ=30Ν Συσχέτιση ΜΑΕ Συσχέτιση ΜΑΕ Συσχέτιση ΜΑΕ Συσχέτιση ΜΑΕ Συσχέτιση ΜΑΕ Αυτό είναι αναμενόμενο αν λάβουμε υπόψη μας τον τρόπο που κατασκευάστηκαν οι χρονοσειρές για τις δύο περιπτώσεις. Στην περίπτωση (Γ), οι χρονοσειρές κατασκευάστηκαν από αθροίσματα των ίδιων μετρικών για όλα τα χρονικά παράθυρα, σε αντίθεση με την περίπτωση (Δ) όπου για κάθε χρονικό παράθυρο χρησιμοποιήθηκαν μόνο οι μετρικές που παρουσίασαν σημαντικές, θετικές συσχετίσεις κατά την Φάση Α της πειραματικής διαδικασίας. Έτσι στην περίπτωση (Γ), οι χρονοσειρές απαρτίζονται από γεγονότα ίδιου τύπου και το μόνο στοιχείο που τις διαφοροποιεί είναι το μέγεθος του χρονικού παραθύρου. Αντίθετα, στην περίπτωση (Δ) τόσο οι μετρικές όσο και το μέγεθος του παραθύρου διαφοροποιούνται για τις εξεταζόμενες χρονοσειρές δικαιολογώντας έτσι τις μεγαλύτερες αντιθέσεις των αποτελεσμάτων Αυτό το συμπέρασμα ενισχύεται αν ανατρέξει ο αναγνώστης στην Εικόνα 5-12 όπου παρουσιάζεται ο μέσος όρος της τιμής του δείκτη συσχέτισης ανά χρονικό παράθυρο. Ο μεγαλύτερος μέσος όρος εμφανίστηκε για το παράθυρο των 480 δευτερολέπτων ενώ ακολουθούσαν τα παράθυρα των 300, 15, 30 δευτερολέπτων. Οι μικρότεροι μέσοι όροι σημειώθηκαν για τα παράθυρα των 45, 60 και 600 δευτερολέπτων. Αντίστοιχη συμπεριφορά επιδεικνύουν οι χρονοσειρές ως προς τις συσχετίσεις και το μέσο 152

163 απόλυτο σφάλμα, όπως αυτά αποτυπώνονται στην Εικόνα Μόνη εξαίρεση αποτελεί η χρονοσειρά των 600 δευτερολέπτων, όπου όμως θα πρέπει να διευρευνηθεί περαιτέρω κατά πόσο το μεγάλο μέγεθος του παραθύρου και συνεπώς η συμπυκνωμένη πληροφορία που εμπεριέχει επηρεάζει το τελικό αποτέλεσμα. Πίνακας Δείκτης Συσχέτισης και σφάλμα ΜΑΕ για την περίπτωση (Δ), τις διάφορες τιμές Κ Γειτόνων (ΚΝ) και για όλα τα χρονικά παράθυρα που εξετάστηκαν Κ=1Ν Κ=10Ν Κ=15Ν Κ=20Ν Κ=30Ν Συσχέτιση ΜΑΕ Συσχέτιση ΜΑΕ Συσχέτιση ΜΑΕ Συσχέτιση ΜΑΕ Συσχέτιση ΜΑΕ Συσχετίσεις και μέσο απόλυτο σφάλμα (ΜΑΕ) ανά Κ-γείτονες και χρονικό παράθυρο για την περίπτωση Γ Συσχετίσεις και μέσο απόλυτο σφάλμα (ΜΑΕ) ανά Κ-γείτονες και χρονικό παράθυρο για την περίπτωση Δ 0.6 0,6 0,55 Συσχετίσεις Συσχετίσεις 0,5 0,45 0,4 0,35 0,3 0,25 0,2 0, N 15N 20N 30N 0,1 10N 15N 20N 30N , , , ΜΑΕ N 15N 20N 30N ΜΑΕ 1,200 1,100 1,000 0,900 0,800 0,700 10N 15N 20N 30N Εικόνα Συσχετίσεις και μέσο απόλυτο σφάλμα για το σύνολο των χρονικών παραθύρων που εξετάστηκαν, ανά τιμή ΚΝ (Κ Γειτόνων) για τις περιπτώσεις Γ και Δ αντίστοιχα. 153

164 5.4.2 ΒΕΛΤΙΩΣΗ ΤΩΝ ΑΠΟΤΕΛΕΣΜΑΤΩΝ ΤΟΥ ΜΟΝΤΕΛΟΥ ΑΠΟ ΤΗ ΧΡΗΣΗ ΤΟΥ ΚΝΝ ΑΛΓΟΡΙΘΜΟΥ ΣΥΓΚΡΙΣΗ ΚΑΙ ΜΕΛΕΤΗ Από τις μελέτες περίπτωσης της προηγούμενης παραγράφου είναι προφανές ότι η χρήση του αλγόριθμου κατηγοριοποίησης κοντινότερων γειτόνων-κνν, επέφερε σημαντική βελτίωση των αποτελεσμάτων του μοντέλου. Οι συσχετίσεις που παρατηρήθηκαν κατά την τρίτη φάση (φάση Γ) ήταν ισχυρότερες συγκριτικά με την δεύτερη φάση (φάση Β) και για τις δύο περιπτώσεις που εξετάστηκαν (Γ και Δ) ενώ το σφάλμα εκτίμησης βρέθηκε σημαντικά μειωμένο. Όπως ήταν αναμενόμενο, οι συσχετίσεις παρουσιάζονται όλο και πιο ισχυρές καθώς αυξάνεται και η τιμή των Κ- Γειτόνων έως μία ορισμένη, κρίσιμη τιμή. Όταν το Κ ξεπεράσει αυτή την τιμή, τότε ο δεικτης συσχέτισης σταθεροποιείται αρχικά και εν συνεχεία μειώνεται, υποδεικνύοντας ασθενέστερες συσχετίσεις. Αυτή η μείωση οφείλεται στον θόρυβο που εισάγεται στο μοντέλο από τον αυξημένο αριθμό γειτόνων που χρησιμοποιούνται για τον υπολογισμό της εκτιμώμενης τιμής ποιότητας της συνεργασίας. Αντίστοιχη συμπεριφορά παρατηρείται και για την μετρική σφάλματος ΜΑΕ. Για την πλειοψηφία των περιπτώσεων, ο δείκτης συσχέτισης μεγιστοποιείται όταν το Κ κινείται στο διάστημα τιμων [10, 20] και στις δύο περιπτώσεις που εξετάστηκαν. Όταν ο αριθμός των γειτόνων αυξάνει άνω της τιμής των 30 (Κ=30Ν) παρουσιάζεται εξασθένηση των συσχετίσεων και αύξηση της μετρικής σφάλματος τόσο για την περίπτωση (Γ) όσο και για την (Δ) περίπτωση. Για να υπολογίσουμε το ποστοστό βελτίωσης των αποτελεσμάτων του μοντέλου ως προς τις συσχετίσεις των αποτελεσμάτων και το σφάλμα εκτίμησης, συγκρίθηκαν οι τιμές συσχετίσεων και σφάλματος για Κ=1Ν και Κ=10Ν ως οριακές τιμές. Ο Πίνακας 5-26 παρουσιάζει τα ποσοστά επί τοις εκατό αυτής της σύγκρισης. Ο αλγόριθμος ΚΝΝ έχει καλύτερη απόδοση για την περίπτωση (Γ), όπου οι συσχετίσεις βελτιώνονται μέχρι και 59.75% ενώ το σφάλμα εκτίμησης μειώνεται έως 29.63%. Αντίστοιχα για την περίπτωση (Δ) η μέγιστη βελτίωση στις συσχετίσεις φτάνει το 43.55% ενώ το σφάλμα παρουσιάζει μέχρι και 32.56%μείωση. Τα μεγαλύτερα χρονικά παράθυρα παρουσιάζουν και καλύτερα ποσοστά βελτίωσης από την χρήση του αλγόριθμου ΚΝΝ. Κάτι τέτοιο όμως δεν σημαίνει πως τα μεγάλα χρονικά παράθυρα παρουσιάζουν και καλύτερα αποτελέσματα επί της απολύτου τιμής οπότε και δεν προτιμούνται τελικα στην διαδικασία της ανάλυσης. Η χρήση του αλγορίθμου ΚΝΝ, βελτιώνει τα αποτελέσματα του μοντέλου για όλα τα χρονικά παράθυρα και μειώνει τις μεταξύ τους διαφορές στις τελικές εκτιμήσεις. Αυτό είναι εμφανές ειδικά στην περίπτωση (Γ) όπου οι συσχετίσεις τείνουν να σταθεροποιηθούν για όλα τα χρονικά παράθυρα και για τιμές γειτόνων μεταξύ του διαστήματος [10, 30] σε μία τιμή για τον δείκτη συσχέτισης περί το 0.50 (ρ=0.50). Η ίδια συμπεριφορά παρατηρείται και για το σφάλμα που κινείται γύρω από το 0.95 για το 154

165 ίδιο διάστημα τιμών Κ. Πέραν της τιμής Κ=30, παύουν να εμφανίζονται στατιστικά σημαντικές συσχετίσεις για όλα τα χρονικά παράθυρα, ενώ όπου υπάρχουν είναι ασθενείς. Στην περίπτωση (Δ) παρατηρείται παρόμοια συμπεριφορά τόσο ως προς την μεταβολή των συσχετίσεων ανά αριθμό γειτόνων Κ όσο και ως προς το σφάλμα εκτίμησης. Μεταξύ των χρονικών παραθύρων όμως παρατηρούνται μεγαλύτερες διαφορές οι οποίες δεν ομαλοποιούνται από την χρήση του αλγορίθμου ΚΝΝ, όπως στην περίπτωση (Γ) αλλά αντιθέτως οξύνονται. Για να εξηγηθεί αυτή η διαφορά θα πρέπει να ανατρέξουμε στον τρόπο κατασκευής των πολυπαραμετρικών χρονοσειρών για το σύνολο δεδομένων των δύο αυτών περιπτώσεων. Στην περίπτωση (Γ) χρησιμοποιήθηκαν συγκεκριμένες μετρικές του διαλόγου και της δραστηριότητας στον κοινόχρηστο χώρο εργασίας, όπως περιγράφεται στην παράγραφο ενώ για όλα τα χρονικά παράθυρα που εξετάστηκαν χρησιμοποιήθηκαν οι ίδιες μετρικές. Καθώς η χρήση του αλγορίθμου ΚΝΝ βελτιστοποιεί τα αποτελέσματα του μοντέλου, είναι αναμενόμενο να έχει την ίδια επίδραση σε όλα τα χρονικά παράθυρα αφού κάνουν χρήση των ίδιων μετρικών και κατά συνέπεια τα αποτελέσματά τελικά να συγκλίνουν. Αντίθετα, στην περίπτωση (Δ) (Παράγραφος5.3.4) χρησιμοποιήθηκαν συγκεκριμένες μετρικές, για τις οποίες προέκυπταν στατιστικά σημαντικές και θετικές συσχετίσεις κατά την πρώτη πειραματική φάση (Φάση Α, Παράγραφος 5.2). Αυτό προφανώς σημαίνει ότι η πολυπαραμετρική χρονοσειρά κάθε χρονικού παραθύρου κατασκευάστηκε τόσο από διαφορετικό αριθμό μετρικών δραστηριότητας αλλά και από διαφορετικές μετρικές. Επιπλέον, αυτές οι μετρικές συσχετίζονται με την γενική διάσταση της ποιότητας της συνεργασίας σε διαφορετικό βαθμό. Κάποια χρονικά παράθυρα ενδέχεται να περιγράφονται από μεγαλύτερο πλήθος μετρικών συγκριτικά με άλλα, αλλά ο μέσος όρος των συσχετίσεών τους να είναι χαμηλότερος (η ανάλυση παρουσιάζεται στην Παράγραφο ). Συνεπώς η χρήση του αλγορίθμου ΚΝΝ αφ ενός δρα βελτιωτικά για κάθε μετρική αλλά το ποσοστό αυτής τη βελτίωσης είναι διαφορετικό για κάθε χρονικό παράθυρο. Παρατηρώντας τους μέσους όρους του δείκτη συσχέτισης ανά χρονικό παράθυρο (Πίνακας 5-22, Εικόνα 5-12) διαπιστώνεται πως για τα χρονικά παράθυρα με τους μεγαλύτερους μέσους όρους παρατηρείται αντίστοιχα και μεγαλύτερη βελτίωση από την χρήση του αλγόριθμου ΚΝΝ. Αυτό φυσικά είναι αναμενόμενο καθώς η μεγάλη τιμή συσχέτισης ανά μέσο όρο υποδεικνύει πως οι μετρικές που επιλέχθηκαν για την κατασκευή των χρονοσειρών είναι καταλληλότερες συγκριτικά με άλλες περιπτώσεις. Από την ανάλυση συσχετίσεων και σφάλματος εκτίμησης που διενεργήθηκε κατά την τέταρτη φάση της πειραματικής διαδικασίας (Φάση Δ) προκύπτει ότι για τις περιπτώσεις (Γ) και (Δ) που εξετάστηκαν, η χρήση του αλγορίθμου βελτιώνει σημαντικά τα αποτελέσματα του μοντέλου, κάνοντας απαραίτητη την χρήση του. Η κρίσιμη τιμή της μεταβλητής Κ που υποδηλώνει τον αριθμό των γειτόνων που χρησιμοποιεί ο 155

166 αλγόριθμος, υπολογίστηκε και στις δύο περιπτώσεις ίση περίπου με δεκαπέντε (15) γείτονες. Η τιμή αυτή ενδέχεται να διαφοροποιείται ελαφρά ανάλογα με το χρονικό παράθυρο που εξετάζουμε, κινείται όμως εντός του διαστήματος δέκα με είκοσι γειτόνων ( Κ Є [10, 20]). Τα καλύτερα αποτελέσματα (μέγιστος δείκτης συσχέτισης και ελάχιστο σφάλμα εκτίμησης) σημειώθηκαν για την περίπτωση (Γ) και το χρονικό παράθυρο των 30 δευτερολέπτων (ρ=0.586, ΜΑΕ=0.909, Κ=15). Για την περίπτωση (Δ) η μεγαλύτερη συσχέτιση εμφανίστηκε στο παράθυρο των 480 δευτερολέπτων (ρ=0.562, ΜΑΕ=0.81, Κ=15Ν) όπου εμφανίστηκε και το μικρότερο μέσο απόλυτο σφάλμα όλων των περιπτώσεων που εξετάστηκαν. Όσον αφορά στο μέγεθος του χρονικού παραθύρου, η περίπτωση (Γ) εμφανίζει καλύτερα αποτελέσματα για τα μικρά χρονικά παράθυρα, ως προς τον δείκτη συσχέτισης και το σφάλμα εκτίμησης, ενώ για τα μεγαλύτερα χρονικά παράθυρα οι μεγαλύτερες συσχετίσεις συνοδευόμενες από ελάχιστο σφάλμα εμφανίζονται στην περίπτωση (Δ). Πίνακας Βελτίωση των συσχετίσεων και του σφάλματος εκτίμησης του μοντέλου (%) για Κ=10Ν γείτονες και για τις περιπτώσεις (Γ) και (Δ). Για τις περιπτώσεις παραθύρων όπου απουσιάζουν οι στατιστικά σημαντικές συσχετίσεις, δεν υπάρχει αντίστοιχη τιμή. (Γ) (Δ) ΧΠ Συσχέτιση(%) ΜΑΕ(%) Συσχέτιση(%) ΜΑΕ(%) Αν και σύμφωνα με τις μετρικές σφάλματος που ορίστηκαν για το μοντέλο, η περίπτωση (Δ) παρουσιάζει καλύτερα αποτελέσματα, πρέπει να σημειωθεί ότι στην περίπτωση (Γ) το μοντέλο παρουσιάζει πιο σταθερή απόδοση καθώς στατιστικά σημαντικές συσχετίσεις εμφανίζονται για όλα τα χρονικά παράθυρα που εξετάστηκαν, οι διαφορές που εμφανίζονται είναι μικρότερες και συνεπώς το μοντέλο εμφανίζει σταθερότερη συμπεριφορά. Επιπλέον η απόδοση του μοντέλου εξαρτάται κατά μεγάλο βαθμό από το μέγεθος του χρονικού παραθύρου, το οποίο είναι άμεση συνάρτηση της δραστηριότητας που εξετάζεται. Για την παρούσα περίπτωση, όπου η πλειοψηφία των δραστηριοτήτων παρουσιάζει διάρκεια μίας και μισής με δύο ωρών, το χρονικό παράθυρο των 480 δευτερολέπτων (που παρουσιασε και τα καλύτερα αποτελέσματα) θεωρητικά είναι αρκετά μεγάλο καθώς επιτρέπει δώδεκα με δεκαπέντε παρατηρήσεις (δειγματοληψίες) στη διάρκεια της συνεργατικής συνεδρίας. Συνεπώς 156

167 για μία μικρότερη χρονικά, δραστηριότητα θα πρέπει να επιλεχθεί μικρότερο παράθυρο. Αυτό επηρεάζει την τελική επιλογή των χρονοσειρών που θα χρησιμοποιηθούν ως είσοδοι στο μοντέλο. Τέλος θα πρέπει να σημειωθεί ότι για την περίπτωση (Δ) επιβάλλεται η διερεύνηση των μετρικών δραστηριότητας και η σχέση τους με το μοντέλο πριν την κατασκευή της τελικής, πολυπαραμετρικής χρονοσειράς. Στην αντίθετη περίπτωση, ο θόρυβος που θα εισαχθεί στο μοντέλο ενδέχεται να επηρεάσει αρνητικά τα τελικά αποτελέσματα, σε βαθμό που η απόδοσή του να είναι μη ικανοποιητική. Αυτή η διαδικασία απουσιάζει από την πειραματική διάταξη της Περίπτωσης Γ, κάτι που απλουστεύει την διαδικασία. 5.5 ΦΑΣΗ Δ: ΓΕΝΙΚΕΥΣΗ ΤΗΣ ΧΡΗΣΗΣ ΤΟΥ ΜΟΝΤΕΛΟΥ ΓΙΑ ΤΟ ΣΥΝΟΛΟ ΤΩΝ ΣΥΝΕΡΓΑΤΙΚΩΝ ΔΙΑΣΤΑΣΕΩΝ Κατά την δεύτερη και τρίτη φάση της πειραματικής διαδικασίας (Φάση Β, Φάση Γ) εξετάστηκε η χρήση του προτεινόμενου μοντέλου ταξινόμησης και αξιολόγησης συνεργατικών δραστηριοτήτων για την αποτίμηση της γενικής ποιότητας της συνεργασίας (ΠτΣ), η οποία ορίζεται ως ο μέσος όρος των έξι συνεργατικών διαστάσεων του Σχήματος Αξιολόγησης. Θα ήταν όμως ιδιαίτερης σημασίας, αν η χρήση του μοντέλου μπορούσε επιπλέον να παρέχει εκτιμήσεις και σε ένα δεύτερο, βαθύτερο επίπεδο, όχι μόνο για την γενική διάσταση της ποιότητας αλλά για τις επιμέρους συνεργατικές διαστάσεις που εκφράζουν τους τέσσερεις, γενικούς άξονες της συνεργασίας: Επικοινωνία, Κοινή Επεξεργασία Πληροφορίας, Συντονισμός, Διαπροσωπική Σχέση (Πίνακας 5-1). Με αυτόν τον τρόπο, ο αξιολογητής θα είναι σε θέση να γνωρίζει όχι απλά πως μία συνεργατική δραστηριότητα αντιμετωπίζει προβλήματα στον παρόντα χρόνο ή στην εξέλιξή της, αλλά επακριβώς ποια συνεργατική διάσταση εξελίσσεται με τρόπο ανεπιθύμητο ή προβληματικό. Τότε ο αξιολογητής, είτε πρόκειται για δάσκαλο είτε γενικά για τον συντονιστή της δραστηριότητας, μπορεί να επέμβει με τρόπο συγκεκριμένο και κατάλληλο ώστε να διορθώσει τον τομέα στον οποίο πάσχει η συγκεκριμένη πρακτική. Στην παρούσα παράγραφο εξετάζεται η χρήση του μοντέλου για τις δύο βέλτιστες περιπτώσεις που εντοπίστηκαν κατά την Φάση Γ και για την αξιολόγηση των επί μέρους συνεργατικών διαστάσεων. Αρχικά εξετάζεται η περίπτωση όπου ως είσοδος στο μοντέλο χρησιμοποιείται μία πολυπαραμετρική σειρά κατασκευασμένη από συνδυασμό μετρικών αθροίσματος και ρυθμού μεταβολής της συνεργατικής δραστηριότητας, όπως αυτές που χρησιμοποιήθηκαν στην περίπτωση Γ. Ως χρονικό παράθυρο έχει επιλεγεί το μικρό χρονικό παράθυρο των 30 δευτερολέπτων, για το οποίο παρατηρήθηκαν τα βέλτιστα αποτελέσματα. Από εδώ και στο εξής θα αναφερόμαστε σε αυτή την περίπτωση ως: Περίπτωση Γ.30.Ν15.Μ, (χρονοσειρές δραστηριότητας όπως στην περίπτωση Γ, χρονικό παράθυρο

168 δευτερολέπτων, μετρική ομοιότητας απόσταση Manhattan, αριθμός πλησιέστερων γειτόνων 15). Στην συνέχεια εξετάζεται η περίπτωση ενός μεγάλου χρονικού παραθύρου (480 δευτερολέπτων) για την χρήση πολυπαραμετρικών χρονοσειρών κατασκευασμένων από μονοπαραμετρικές χρονοσειρές σημαντικά συσχετιζόμενες με την ποιότητα της συνεργασίας (ΠτΣ) (Περίπτωση Δ). Από εδώ και στο εξής θα αναφερόμαστε σε αυτή την περίπτωση ως: Περίπτωση Δ.480.Ν15.Μ, (χρονοσειρές δραστηριότητας όπως στην περίπτωση Δ, χρονικό παράθυρο 480 δευτερολέπτων, μετρική ομοιότητας απόσταση Manhattan, αριθμός πλησιέστερων γειτόνων 15). Και για τις δύο περιπτώσεις χρησιμοποιήθηκε ο αλγόριθμος εύρεσης πλησιέστερων γειτόνων ΚΝΝ για την κατάταξη των άγνωστων δειγμάτων, με παράμετρο Κ=15Ν, δηλαδή για αριθμό πλησιέστερων γειτόνων 15. Επιπλέον, ως μετρική ομοιότητας κατά την εύρεση της απόστασης DTW χρησιμοποιήθηκε η απόσταση Manhattan. Και σε αυτή την περίπτωση έγινε ανάλυση συσχετίσεων και σφάλματος εκτίμησης για να εκτιμηθεί η αποτελεσματικότητα του μοντέλου. Τα αποτελέσματα παρουσιάζονται αναλυτικά στη συνέχεια ΠΕΡΙΠΤΩΣΗ ΜΙΚΡΟΥ ΧΡΟΝΙΚΟΥ ΠΑΡΑΘΥΡΟΥ ΓΙΑ ΣΥΓΚΕΚΡΙΜΕΝΟ ΣΥΝΔΥΑΣΜΟ ΜΕΤΡΙΚΩΝ ΔΡΑΣΤΗΡΙΟΤΗΤΑΣ - ΠΕΡΙΠΤΩΣΗ Γ.30.Ν15.Μ Για την Περίπτωση Γ.30.Ν15.Μ, το μοντέλο TSCMoCA χρησιμοποιήθηκε για την αξιολόγηση όλων των συνεργατικών διαστάσεων, όπως αυτές ορίζονται από το σχήμα αξιολόγησης βάσει του οποίου έμπειροι αξιολογητές βαθμολόγησαν το σύνολο δεδομένων των συνεργατικών δραστηριοτήτων της παρούσας εργασίας (Πίνακας 5-1). Για την αξιολόγηση ακολουθήθηκε επακριβώς η διαδικασία μελέτης συσχετίσεων και μετρικών σφάλματος. Αντί της γενικής συνεργατικής διάστασης ΠΤΣ, στην παρούσα φάση αξιολογήθηκε κάθε μία των έξι επί μέρους συνεργατικών διαστάσεων του σχήματος. Στον αντίστοιχο πίνακα (Πίνακας 5-27) παρουσιάζονται οι συσχετίσεις και το σφάλμα που παρουσιάζουν τα αποτελέσματα της χρήσης του μοντέλου και των βαθμολογιών όπως αποδόθηκαν από τους έμπειρους αξιολογητές από προηγούμενη εργασία. Οι συσχετίσεις των αποτελεσμάτων για το σύνολο των συνεργατικών διαστάσεων χαρακτηρίζονται μέτριες έως υψηλές, με τον δείκτη συσχέτισης να κυμαίνεται μεταξύ του διαστήματος τιμών ρ Є [0.373, 0.458]. Ιδιαίτερα υψηλές συσχετίσεις εμφανίζονται για τις συνεργατικές διαστάσεις που εκφράζουν Κοινή Επεξεργασία Πληροφορίας εκ μέρους των συνεργατών, δηλαδή για την τρίτη και τέταρτη συνεργατική διάσταση (Ανταλλαγή Γνώσης και Επιχειρηματολογία). Η πιο ασθενής συσχέτιση συναντάται στην περίπτωση της πέμπτης συνεργατικής διάστασης (Δόμηση της Διαδικασίας Επίλυσης του Προβλήματος). Το μέσο απόλυτο σφάλμα υπολογίζεται γύρω της μονάδας, παρουσιάζοντας μείωση για τις πρώτες συνεργατικές διαστάσεις, ενώ μεγιστοποιείται 158

169 για τις δύο τελευταίες. Το μέγιστο σφάλμα παρατηρείται και πάλι στην περίπτωση της πέμπτης συνεργατικής διάστασης. Στην Εικόνα 5-16, παρουσιάζονται οι συσχετίσεις και το σφάλμα των αποτελεσμάτων του μοντέλου συγκριτικά με τις βαθμολογίες των αξιολογητών, για όλες τις συνεργατικές διαστάσεις και ομαδοποιημένες στους τέσσερις βασικούς άξονες της συνεργασίας: Επικοινωνία, Κοινή Επεξεργασία Πληροφορίας, Συντονισμός, Διαπροσωπική Σχέση. Οι διαστάσεις που περιγράφουν την Επικοινωνία και την Κοινή Επεξεργασία Πληροφορίας αξιολογούνται με μεγαλύτερη αποτελεσματικότητα και ακρίβεια από το μοντέλο συγκριτικά με τους άξονες του Συντονισμού και της Διαπροσωπικής Σχέσης. Αυτά τα αποτελέσματα επιβεβαιώνουν και τις παρατηρήσεις και αποτελέσματα της πρώτης φάσης της πειραματικής διαδικασίας (Φάση Α - Παράγραφος 5.2) όπου επίσης το μοντέλο παρουσίασε καλύτερα αποτελέσματα για τις διαστάσεις που εκφράζουν τους δύο πρώτους συνεργατικούς άξονες, αλλά και άλλες σχετικές εργασίες, όπου οι συγκεκριμένες μετρικές δραστηριότητας που χρησιμοποιήθηκαν για την κατασκευή των χρονοσειρών συσχετίζονται σε μεγαλύτερο βαθμό με τις διαστάσεις που εκφράζουν επικοινωνία και επεξεργασία πληροφορίας (Kahrimanis, G., 2010). Στην αντίστοιχη περίπτωση όπου η υπό αξιολόγηση διάσταση ήταν η γενική διάσταση της Ποιότητας της Συνεργασίας (ΠτΣ) και που παρουσιάστηκε σε προηγούμενη παράγραφο (Παράγραφος 5.4), οι αξιολογήσεις του μοντέλου και των έμπειρων αξιολογητών παρουσίασαν ισχυρές συσχετίσεις (ρ=0.586) ενώ το μέσο απόλυτο σφάλμα υπολογίστηκε περί της μονάδας (ΜΑΕ=0.909). Συνεπώς παρατηρείται πως το μοντέλο έχει καλύτερη απόδοση κατά την αξιολόγηση της γενικής διάστασης παρά των επί μέρους, κάτι που ήταν αναμενόμενο καθώς η αξιολόγηση της κάθε συνεργατικής διάστασης βασίζεται κυρίως στην ποιοτική ανάλυση των συνεργατικών πρακτικών καθώς και σε αξιολόγηση επί μέρους στιγμιότυπων ή λεπτομερειών που παρουσιάζονται και τα οποία δεν δύναται να εντοπιστούν και να απομονωθούν με χρήση αυτόματων μεθόδων αξιολόγησης. Πίνακας Συσχέτιση και Σφάλμα των αξιολογήσεων από έμπειρους αξιολογητές και από την χρήση του μοντέλου για όλες τις συνεργατικές διαστάσεις και για την Περίπτωση Γ.30.Ν15.Μ Συνεργατική Διάσταση Συσχέτιση Σφάλμα ΣΔ ΣΔ ΣΔ ΣΔ ΣΔ ΣΔ

170 Συσχετίσεις αποτελεσμάτων μοντέλου και αξιολογητών ανά Συνεργατική Διάσταση Σφάλμα αποτελεσμάτων μοντέλου και αξιολογητών ανά Συνεργατική Διάσταση 0,500 0,450 0,400 0,350 0,300 0,250 0,200 ΣΔ 1 ΣΔ 3 ΣΔ 2 ΣΔ 4 ΣΔ 5 ΣΔ 6 1,200 1,150 1,100 1,050 1,000 ΣΔ 1 ΣΔ 2 ΣΔ 3 ΣΔ 5 ΣΔ 6 ΣΔ 4 0,150 0,100 0,050 0,950 0,900 0,000 Επικοινωνία Κοινή Επεξεργασία Πληροφορίας Συντονισμός Διαπροσωπική Σχέση 0,850 Επικοινωνία Κοινή Επεξεργασία Πληροφορίας Συντονισμός Διαπροσωπική Σχέση Εικόνα Συσχετίσεις και Σφάλμα αποτελεσμάτων αξιολογήσεων με χρήση του μοντέλου και από έμπειρους αξιολογητές για κάθε μία από τις έξι συνεργατικές διαστάσεις του σχήματος αξιολόγησης, για την περίπτωση μικρού χρονικού παραθύρου Γ.30.Ν15.Μ ΠΕΡΙΠΤΩΣΗ ΜΕΓΑΛΟΥ ΧΡΟΝΙΚΟΥ ΠΑΡΑΘΥΡΟΥ ΓΙΑ ΣΥΓΚΕΚΡΙΜΕΝΟ ΣΥΝΔΥΑΣΜΟ ΜΕΤΡΙΚΩΝ ΔΡΑΣΤΗΡΙΟΤΗΤΑΣ - ΠΕΡΙΠΤΩΣΗ Δ.480.Ν15.Μ Στην παρούσα παράγραφο εξετάζεται η χρήση του μοντέλου αξιολόγησης με χρήση χρονοσειρών, για την περίπτωση υψηλά συσχετιζόμενων μετρικών δραστηριότητας (όπως διαπιστώθηκε κατά την Φάση Α της πειραματικής διαδικασίας Παράγραφος 5.2) και για μεγάλο χρονικό παράθυρο (χρονικό παράθυρο 480 δευτερολέπτων). Κατά την αντίστοιχη περίπτωση όπου το μοντέλο χρησιμοποιήθηκε για την αποτίμηση της γενικής συνεργατικής διάστασης της Ποιότητας της Συνεργασίας (ΠτΣ), όπως παρουσιάστηκε στην παράγραφο 5.4, οι αξιολογήσεις του μοντέλου βρέθηκαν να συσχετίζονται υψηλά με τις αξιολογήσεις των έμπειρων αξιολογητών, ενώ το σφάλμα υπολογίστηκε μικρότερο της μονάδας (ρ=0.562, ΜΑΕ=0.81). Ακολουθώντας την ίδια διαδικασία, το μοντέλο χρησιμοποιήθηκε για την αξιολόγηση των έξι επί μέρους συνεργατικών διαστάσεων του σχήματος αξιολόγησης (Πίνακας 5-1). Τα αποτελέσματα της Ανάλυσης Συσχετίσεων και Σφάλματος παρουσιάζονται στον αντίστοιχο πίνακα (Πίνακας 5-28). Για το σύνολο των συνεργατικών διαστάσεων παρατηρήθηκαν ισχυρές συσχετίσεις με τον δείκτη συσχέτισης να κυμαίνεται στο διάστημα ρ Є [0.415, 0.522]. Το σφάλμα εκτίμησης υπολογίζεται περίπου ίσο με τη μονάδα για τις περισσότερες συνεργατικές διαστάσεις, ενώ σε μεμονωμένες περιπτώσεις (πρώτη συνεργατική διάσταση Συνεργατικής Ροής) υπολογίστηκε μικρότερο της μονάδας. Όπως και στην περίπτωση του μικρού χρονικού παραθύρου που εξετάστηκε σε προηγούμενη παράγραφο (Παράγραφος 5.5.1), η χρήση του μοντέλου παρατηρείται αποδοτικότερη για τις διαστάσεις που εκφράζουν Επικοινωνία και Κοινή Επεξεργασία Πληροφορίας. Η ασθενέστερη συσχέτιση, καθώς επίσης και το 160

171 μέγιστο σφάλμα παρατηρούνται για την πέμπτη συνεργατική διάσταση (Δόμηση της Διαδικασίας Επίλυσης του Προβλήματος). Τα συνολικά αποτελέσματα της Ανάλυσης Συσχέτισης και Σφάλματος παρουσιάζονται στην Εικόνα Και στην παρούσα περίπτωση επιβεβαιώνονται τα αποτελέσματα της πρώτης φάσης (Φάση Α), το μοντέλο αξιολογεί ακριβέστερα τις διαστάσεις που σχετίζονται με τον γενικό άξονα της επικοινωνίας. Αυτό είναι ιδιαίτερα εμφανές στις μετρικές σφάλματος εκτίμησης αλλά και στον δείκτη συσχέτισης, όπου τα αποτελέσματα είναι άμεσα συγκρίσιμα με τα αποτελέσματα του μοντέλου για την περίπτωση της αξιολόγησης της γενικής διάστασης της ΠτΣ. Πίνακας Συσχέτιση και Σφάλμα των αξιολογήσεων από έμπειρους αξιολογητές και από την χρήση του μοντέλου για όλες τις συνεργατικές διαστάσεις και για την Περίπτωση Δ.480.Ν15.Μ Συνεργατική Διάσταση Συσχέτιση Σφάλμα ΣΔ ΣΔ ΣΔ ΣΔ ΣΔ ΣΔ Για τις δύο περιπτώσεις που εξετάστηκαν, του μικρού και μεγάλου χρονικού παραθύρου για συγκεκριμένο συνδυασμό χρονοσειρών δραστηριότητας αλλά και μετρικών δραστηριότητας που συσχετίζονται υψηλά με τις διαστάσεις τις ποιότητας της συνεργασίας, τα αποτελέσματα του μοντέλου είναι ικανοποιητικά καθώς οι συσχετίσεις που εμφανίζονται από την σύγκριση με τις αξιολογήσεις έμπειρων αξιολογητών, είναι υψηλές και επιπλέον το σφάλμα εκτίμησης του μοντέλου κινείται στην γενική περίπτωση περί της μονάδας. Οι δύο περιπτώσεις δεν παρουσιάζουν μεγάλη απόκλιση αποτελεσμάτων, ενώ τα βέλτιστα αποτελέσματα παρουσιάζονται για την περίπτωση του μεγάλου χρονικού παραθύρου. Παρόλα αυτά δεν πρέπει να παραβλεφθεί το γεγονός ότι στην περίπτωση αυτή έγινε χρήση μετρικών που είχαν συσχετισθεί σε προηγούμενη φάση με τις συνεργατικές διαστάσεις, κάτι που αυξάνει την πολυπλοκότητα του μοντέλου ενώ τελικά δεν βελτιώνει σε τόσο μεγάλο βαθμό τα τελικά αποτελέσματα. 161

172 Συσχετίσεις αποτελεσμάτων μοντέλου και αξιολογητών ανά Συνεργατική Διάσταση Σφάλμα αποτελεσμάτων μοντέλου και αξιολογητών ανά Συνεργατική Διάσταση 0,600 0,500 0,400 ΣΔ 1 ΣΔ 2 ΣΔ 3 ΣΔ 4 ΣΔ 5 ΣΔ 6 1,100 1,050 1,000 ΣΔ 2 ΣΔ 3 ΣΔ 4 ΣΔ 5 ΣΔ 6 0,300 0,950 0,900 ΣΔ 1 0,200 0,850 0,100 0,800 0,000 Επικοινωνία Κοινή Επεξεργασία Πληροφορίας Συντονισμός Διαπροσωπική Σχέση 0,750 Επικοινωνία Κοινή Επεξεργασία Πληροφορίας Συντονισμός Διαπροσωπική Σχέση Εικόνα Συσχετίσεις και Σφάλμα αποτελεσμάτων αξιολογήσεων με χρήση του μοντέλου και από έμπειρους αξιολογητές για κάθε μία από τις έξι συνεργατικές διαστάσεις του σχήματος αξιολόγησης, για την περίπτωση μεγάλου χρονικού παραθύρου Δ.480.Ν15.Μ. Το μοντέλο αξιολόγησης της συνεργασίας TSCMoCA, παρουσίασε παρόμοια αποτελέσματα ως προς την αξιολόγηση των έξι επιμέρους συνεργατικών διαστάσεων και για τις δύο περιπτώσεις που εξετάστηκαν. Οι διαστάσεις που εκφράζουν τους κύριους άξονες τις Επικοινωνίας και της Κοινής Επεξεργασίας Πληροφορίας αξιολογήθηκαν ακριβέστερα από το μοντέλο ενώ για τον άξονας του Συντονισμού που αποτυπώνεται από την συνεργατική διάσταση της Δόμησης της Διαδικασίας Επίλυσης του Προβλήματος, παρουσίασε τις μεγαλύτερες δυσκολίες. Αυτή η γενική διαπίστωση έρχεται σε συμφωνία τόσο με τα αποτελέσματα της πρώτης φάσης της πειραματικής διαδικασίας αλλά και με προηγούμενες μελέτες (Kahrimanis, G., 2010). 5.6 ΕΠΙΛΟΓΟΣ ΚΕΦΑΛΑΙΟΥ Στο παρόν κεφάλαιο παρουσιάστηκαν τα αποτελέσματα της πειραματικής διαδικασίας όπως αυτή περιγράφηκε στο Κεφάλαιο 4. Κατά την πειραματική διαδικασία έγινε χρήση του μοντέλου ταξινόμησης και αξιολόγησης συνεργατικών δραστηριοτήτων (TSCMoCA) για την ταξινόμηση και αξιολόγηση εκπαιδευτικών συνεργατικών δραστηριοτήτων με κριτήριο την ποιότητα της συνεργασίας (ΠτΣ), όπως αυτή ορίζεται από το σχήμα αξιολόγησης των Kahrimani, Meier (Kahrimanis, G. et al., 2009) και παρουσιαστηκε στο κεφάλαιο 3. Το σύνολο δεδομένων που χρησιμοποιήθηκε αποτελείται από πραγματικές εκπαιδευτικές δραστηριότητες. Αυτές οι δραστηριότητες έχουν αναλυθεί και αξιολογηθεί ως προς την ποιότητα της συνεργασίας, στα πλαίσια προηγούμενων ερευνων από έμπειρους αξιολογητές, με χρήση σχήματος αξιολόγησης (κεφάλαιο 3). Στην παρούσα πειραματική διαδικασία, έγινε χρήση αυτού του συνόλου δεδομένων και των εκτιμήσεων των αξιολογητών, προκειμένου να διαπιστωθεί η αποτελεσματικότητα του προτεινόμενου μοντέλου. 162

173 Συγκεκριμένα, στα πλαίσια της πειραματικής διαδικασίας εξετάζονται χρονοσειρές διαφόρων τύπων και ο τρόπος που επηρεάζουν την λειτουργία και τα αποτελέσματα του μοντέλου ταξινόμησης και αξιολόγησης συνεργατικών δραστηριοτήτων. Η πειραματική διαδικασία διαιρέθηκε σε τρείς φάσεις ανάλογα με τον τύπο χρονοσειρών που χρησιμοποιήθηκαν ως είσοδοι στο μοντέλο. Συνοπτικά και περιληπτικά οι φάσεις αυτές είναι οι εξής: Φάση Α: Εξετάστηκε η χρήση μονοπαραμετρικών χρονοσειρών που κατασκευάστηκαν από μεμονωμένες μετρικές δραστηριότητας και εξετάστηκε η συσχέτισή τους τόσο με τις έξι συνεργατικές διαστάσεις, όπως αυτές ορίζονται από το Σχήμα Αξιολόγησης αλλά και με την γενική διάσταση της Ποιότητας της Συνεργασίας (ΠτΣ). Φάση Β: Εξετάστηκε η χρήση πολυπαραμετρικών χρονοσειρών για την κατασκευή των οποίων έγινε συνδυαστική χρήση μετρικών της συνεργασίας. Στην συνέχεια εξετάστηκε η συσχέτισή τους με την γενική διάσταση της Ποιότητας της Συνεργασίας. Στην Φάση Β εξετάζονται τέσσερις περιπτώσεις πολυπαραμετρικών τύπων, ανάλογα με τον τύπο μετρικών δραστηριότητας από τις οποίες κατασκευάζονται: o Περίπτωση Α: Μετρικές δραστηριότητας τόσο στο εργαλείο ανταλλαγής μηνυμάτων όσο και στον κοινόχρηστο χώρο εργασίας αθροισμένες ανά χρονικό παράθυρο o Περίπτωση Β: Μετρικές μεταβολής δραστηριότητας στο εργαλείο ανταλλαγής μηνυμάτων και στον κοινόχρηστο χώρο εργασίας ανά χρονικό παράθυρο o Περίπτωση Γ: Συνδυαστική χρήση μετρικών των περιπτώσεων Α και Β. o Περίπτωση Δ: Συνδυαστική χρήση των μετρικών για τις οποίες παρουσιάστηκαν στατιστικά σημαντικές και θετικές συσχετίσεις για την Ποιότητα της Συνεργασίας κατά την Φάση Α. Φάση Γ: Εφαρμογή του αλγορίθμου Εύρεσης Κοντινότερων Γειτόνων (ΚΝΝ) κατά τη διαδικασία ταξινόμησης με σκοπό την βελτίωση των αποτελεσμάτων του προτεινόμενου μοντέλου. Στην παρούσα φάση, οι βέλτιστες εκ των προηγουμένων περιπτώσεων που εξετάστηκαν, και συγκεκριμένα οι περιπτώσεις Γ και Δ επανεξετάστηκαν, αυτή τη φορά με την επιπρόσθετη χρήση του αλγορίθμου Εύρεσης Κοντινότερων Γειτόνων, κατά την διαδικασία ταξινόμησης του υπό αξιολόγηση, άγνωστου δείγματος συνεργατικής δραστηριότητας. Φάση Δ: Γενίκευση της χρήσης του μοντέλου για το σύνολο των συνεργατικών διαστάσεων. Κατά την παρούσα φάση, η χρήση του μοντέλου αξιολόγησης της συνεργασίας TSCMoCA, γενικεύθηκε με σκοπό και την 163

174 αξιολόγηση των επί μέρους συνεργατικών διαστάσεων, όπως αυτές ορίζονται στο σχήμα αξιολόγησης των (Kahrimanis, Meier, et.al, 2009). Από την ανάλυση που προηγήθηκε συμπεραίνουμε πως οι χρονοσειρές που αποτυπώνουν την συνεργατική δραστηριότητα κάνοντας συνδυαστική χρήση γενικών μετρικών δραστηριότητας του διαλόγου και του κοινόχρηστου χώρου εργασίας και οι οποίες επίσης κατασκευάζονται με μικρή περίοδο δειγματοληψίας (30-60 δευτερόλεπτα) παρουσιάζουν βέλτιστα αποτελέσματα για την γενική διάσταση της Ποιότητας της Συνεργασίας ως προς την συσχέτισή τους με τις αξιολογήσεις που έκαναν έμπειροι αξιολογητές. Η εισαγωγή του αλγορίθμου KNN (k>1) βελτιώνει τα αποτελέσματα του μοντέλου τόσο ως προς τις συσχετίσεις όσο και ως προς το σφάλμα. Για τις επιμέρους συνεργατικές διαστάσεις τα αποτελέσματα από την αυτόματη αξιολόγηση του μοντέλου δεν είναι το ίδιο ικανοποιητικά καθώς το σφάλμα υπερβαίνει την μονάδα στην πλειοψηφία των περιπτώσεων ενώ οι συσχετίσεις αν και στατιστικά σημαντικές είναι μέτριες. Η απόφαση ως προς το τελικό μοντέλο και κατάλληλες παραμέτρους, οι οποίες προτείνονται για χρήση στο συγκεκριμένο πεδίο (μέγεθος χρονικού παραθύρου, αριθμός γειτόνων, τύπος χρονοσειρών κλπ) επηρεάζεται από πολλές παραμέτρους, οι οποίες θα πρέπει να ερευνηθούν και να αναλυθούν περαιτέρω και μάλιστα σε συνδυασμό με τα αποτελέσματα άλλων παρόμοιων μοντέλων και μελετών. Αυτή ακριβώς την ανάλυση πραγματεύεται το επόμενο κεφάλαιο. Στο κεφάλαιο 6 γίνεται συνολική αξιολόγηση της μεθοδολογίας ενώ τα αποτελέσματα αντιπαρατίθενται με άλλα παρόμοια μοντέλα αυτόματης αξιολόγησης. 164

175 6 ΚΕΦΑΛΑΙΟ 6. ΑΞΙΟΛΟΓΗΣΗ ΤΗΣ ΜΕΘΟΔΟΥ 6.1 ΕΙΣΑΓΩΓΗ Στο Κεφάλαιο 5, έγινε παρουσίαση της πειραματικής φάσης που έλαβε χώρα στα πλαίσια της παρούσας διδακτορικής διατριβής. Κατά την πειραματική φάση η προτεινόμενη μέθοδος που βασίζεται στο μοντέλο μηχανικής μάθησης TSCMoCA, όπως περιγράφηκε στο Κεφάλαιο 4, χρησιμοποιήθηκε για την ταξινόμηση και αξιολόγηση νέων, μη αξιολογημένων, συνεργατικών συνεδριών, εξετάζοντας ταυτόχρονα διάφορες παραμέτρους του μοντέλου. Τα αποτελέσματα της αυτοματοποιημένης ταξινόμησης και αξιολόγησης αντιπαρατέθηκαν με τις αξιολογήσεις έμπειρων αξιολογητών. Για την πληρέστερη σύγκριση των δύο διαδικασιών έγινε Ανάλυση Συσχετίσεων και Σφάλματος στις βαθμολογίες επί συνόλου δεδομένων που προέκυψαν από τις δύο διαδικασίες αξιολόγησης. Αυτά τα αποτελέσματα αναλύθηκαν και παρουσιάστηκαν σε τέσσερις φάσεις, όπως περιγράφει εκτενώς το Κεφάλαιο 5, και σε σχέση με την παραμετροποίηση του μοντέλου ώστε να διερευνηθεί πειραματικά και πλήρως η χρήση της προτεινόμενης μεθόδου σε σύνολο δεδομένων που προέρχεται από πραγματικές συνεργατικές, εκπαιδευτικές δραστηριότητες. Στο παρόν κεφάλαιο αναλύονται τα αποτελέσματα του μοντέλου ποιοτικά και μέσα στα πλαίσια του ερευνητικού πεδίου της Υπολογιστικά Υποστηριζόμενης Συνεργατικής Μάθησης (CSCL). Επιπλέον γίνεται σύγκριση του μοντέλου με άλλα μεθοδολογικά πλαίσια ανάλυσης της συνεργασίας καθώς και αναλύεται ο τρόπος χρήσης της προτεινόμενης μεθοδολογίας σε πραγματικές συνθήκες εργασίας. Τέλος, διατυπώνονται τα συμπεράσματα από το σύνολο της παρούσας μελέτης και οι απαντήσεις στα ερευνητικά ερωτήματα που τέθηκαν κατά τον σχεδιασμό της. 6.2 ΑΞΙΟΛΟΓΗΣΗ ΜΕΘΟΔΟΥ Στόχος της παρούσας μελέτης ήταν η πρόταση ενός νέου τρόπου ανάλυσης και αξιολόγησης υπολογιστικά υποστηριζόμενων συνεργατικών δραστηριοτήτων που θα εκμεταλλεύεται την πληροφορία η οποία βρίσκεται αποθηκευμένη σε αρχεία καταγραφής. Επιπλέον, στα πλαίσια της έρευνας, σχεδιάστηκε και προτάθηκε αυτοματοποιημένη μέθοδος ταξινόμησης και αξιολόγησης συνεργατικών δραστηριοτήτων με χρήση μοντέλου μηχανικής μάθησης και χρονοσειρών. Απαραίτητες προϋποθέσεις που απαιτείται να πληροί η μέθοδος είναι: 165

176 1. Αποτελεσματικότητα και ακρίβεια τουλάχιστον της ίδιας τάξης μεγέθους με άλλες παρόμοιες αυτοματοποιημένες μεθόδους και επιπρόσθετη αξία 2. Ευκολία τόσο στην διαδικασία εκτέλεσης της μεθόδου όσο και στην ανάγνωση και ερμηνεία των αποτελεσμάτων 3. Μικρό κόστος ως προς τους υπολογιστικούς αλλά και ανθρώπινους πόρους 4. Ευκολία προσαρμογής της μεθόδου σε διαφορετικά συνεργατικά πλαίσια, χωρίς να απαιτούνται σημαντικές δομικές αλλαγές Στην συνέχεια αναλύεται και αξιολογείται η προτεινόμενη μέθοδος με βάση αυτούς τους άξονες. Η αξιολόγηση γίνεται αναφορικά με τις περιπτώσεις και παραμέτρους που μελετήθηκαν και παρουσιάστηκαν στο Κεφάλαιο 5 ενώ στο τέλος του παρόντος κεφαλαίου γίνεται σύγκριση της μεθόδου με άλλες αυτοματοποιημένες μεθόδους ανάλυσης και αξιολόγησης συνεργατικών δραστηριοτήτων. 6.3 ΑΞΙΟΛΟΓΗΣΗ ΜΟΝΤΕΛΟΥ ΤΑΞΙΝΟΜΗΣΗΣ ΚΑΙ ΑΞΙΟΛΟΓΗΣΗΣ ΣΥΝΕΡΓΑΤΙΚΩΝ ΔΡΑΣΤΗΡΙΟΤΗΤΩΝ TSCMOCA Το μοντέλο αξιολογήθηκε για την ποιότητα των αποτελεσμάτων σε έναν αριθμό αξόνων όπως την αποδοτικότητα (efficiency), την ακρίβεια (accuracy), την εγκυρότητα (validity), την συνοχή -ή συμβατότητα- (consistency) και την αξιοπιστία (reliability). Για την αξιολόγηση χρησιμοποιήθηκαν στατιστικοί δείκτες και μέθοδοι ευρέως διαδεδομένες στο πεδίο της Υπολογιστικά Υποστηριζόμενης Συνεργατικής Μάθησης, οι οποίοι δύνανται να χρησιμοποιηθούν και κατά την συγκριτική αξιολόγηση της μεθόδου με άλλες. Ήδη στο Κεφάλαιο 5 παρουσιάστηκε η μελέτη των αποτελεσμάτων με χρήση της Ανάλυσης Συσχετίσεων και Σφάλματος (Correlation and Error Analysis). Η ανάλυση συσχετίσεων επιτρέπει τον εντοπισμό σχέσεων μεταξύ των υπό μελέτη μεγεθών αλλά όχι σχέση αιτιότητας (causal), κάτι το οποίο δεν αφορά στην συγκεκριμένη εργασία. Για τα μοντέλα πρόβλεψης ή ταξινόμησης και για την παρούσα περίπτωση, η συσχέτιση αποτελεί ένδειξη της εγκυρότητας των αποτελεσμάτων της διαδικασίας πρόβλεψης/ταξινόμησης. Η τιμή του δείκτη συσχέτισης είναι αυτή που καθορίζει την δύναμη της συσχέτισης και το κατά πόσον ικανοποιητικά κρίνονται τα αποτελέσματα. Η βιβλιογραφία ορίζει ότι για μεθόδους/όργανα/μοντέλα που παρουσιάζουν συσχετίσεις μεγαλύτερες του 0.5, τα αποτελέσματα κρίνονται ως εξαιρετικά, για τιμές μεγαλύτερες του 0.3 από επαρκή έως ικανοποιητικά ενώ για τιμές μικρότερες του 0.3 ως μη ικανοποιητικά (Messick, S., 1995). Για να εκτιμηθεί η ακρίβεια του μοντέλου χρησιμοποιήθηκαν μετρικές σφάλματος όπως το μέσο απόλυτο σφάλμα (mean absolute error, MAE) και η ρίζα του μέσου 166

177 τετραγωνικού σφάλματος (root mean square error, RMSE). Για τις μετρικές σφάλματος δεν υπάρχει γενικευμένος κανόνας που να ορίζει επιτρεπτά ή αποδεκτά όρια καθώς αφ ενός οι μετρικές αυτές είναι άμεσα εξαρτώμενες από τα όρια τιμών μέσα στα οποία κινούνται τα υπό μελέτη μεγέθη και μεταβλητές και αφ ετέρου ο τύπος του συνόλου δεδομένων αλλά και του ερευνητικού πεδίου παίζουν σημαντικό ρόλο στον καθορισμό του «αποδεκτού» σφάλματος. Στην παρούσα περίπτωση, για το πεδίο της Υπολογιστικά Υποστηριζόμενης Συνεργατικής Μάθησης και τα αυτοματοποιημένα μοντέλα ανάλυσης και εκτίμησης, το μέσο απόλυτο σφάλμα μικρότερο της μονάδας θεωρείται αποδεκτή τιμή σφάλματος για κλίμακα βαθμολόγησης πέντε βαθμίδων (Kahrimanis, G., 2010). Για την αξιολόγηση της εσωτερικής συνοχής (internal consistency) χρησιμοποιήθηκε ο δείκτης Cronbach s alpha, ο οποίος αποτιμά την αξιοπιστία εργαλείων μέτρησης και την ομοιογένεια μίας κλίμακας Ως ικανοποιητικές τιμές για τον δείκτη Cronbach s alpha θεωρούνται όσες ξεπερνούν την τιμή 0.7 (Cronbach s alpha>0.7) ενώ όσο μεγαλύτερη είναι η τιμή του δείκτη, τόσο πιο αξιόπιστο θεωρείται το εργαλείο μέτρησης (Cronbach, L. J., 1951; Litwin, M. S., 1995). Όπως προαναφέρθηκε, για την αξιολόγηση της προτεινόμενης μεθοδολογίας έγινε σύγκριση των αποτελεσμάτων του μοντέλου TSCMoCA με τις αξιολογήσεις έμπειρων αξιολογητών. Η αξιολόγηση του ίδιου δείγματος από διαφορετικούς κριτές υπαγορεύει την ανάγκη ελέγχου της αξιοπιστίας των κρίσεων (inter-rater reliability) προκειμένου να διαπιστωθεί κατά πόσον οι εκτιμήσεις των κριτών για τα ίδια αντικείμενα συμπίπτουν. Για τον λόγο αυτό έγινε χρήση του δείκτη ενδοσυσχέτισης ICC (Intraclass Correlation Coefficient). Τυπικά αν ο δείκτης ενδοσυσχέτισης κινείται σε ένα εύρος τιμών [0.40, 0.74] τότε η αξιοπιστία της αξιολόγησης θεωρείται επαρκής, και συνεπώς αποδεκτή, ενώ για τιμές άνω του 0.74 θεωρείται εξαιρετική (Fisher, S. R. A. et al., 1970; Portney, L. G. & Watkins, M. P., 1993). Στο Κεφάλαιο 5 παρουσιάστηκαν τα αποτελέσματα από τη χρήση του μοντέλου υπό διαφορετικές συνθήκες χρήσης και για διάφορες παραμέτρους. Όπως διαπιστώθηκε από την ανάλυση που ακολούθησε, η βέλτιστη απόδοση δηλαδή αυτή που προσομοιάζει με τον πλησιέστερο τρόπο την αξιολόγηση από έμπειρους αξιολογητές παρατηρείται όταν γίνεται χρήση χρονοσειρών με περίοδο δειγματοληψίας τα 30 δευτερόλεπτα για συγκεκριμένο τύπο και αριθμό μετρικών δραστηριότητας, ενώ στην περίπτωση που γίνεται εξειδικευμένη χρήση μετρικών δραστηριότητας τα βέλτιστα αποτελέσματα παρουσιάζονται για το χρονικό παράθυρο των 480 δευτερολέπτων. Όπως εξηγήθηκε και στο πέμπτο κεφάλαιο, η εξειδικευμένη χρήση μετρικών δραστηριότητας - διαφορετικών ανάλογα με τη συχνότητα δειγματοληψίας - αυξάνει την πολυπλοκότητα της προτεινόμενης μεθοδολογίας, κάτι που έρχεται σε αντίθεση με τα βασικά πλεονεκτήματα της μεθόδου και τους λόγους για τους οποίους προτάθηκε εξ αρχής η συγκεκριμένη προσέγγιση. Ο επαναπροσδιορισμός των μετρικών 167

178 δραστηριότητας που αποτελούν τα δομικά στοιχεία των χρονοσειρών δραστηριότητας, όχι μόνο προϋποθέτει την εκ νέου μελέτη της συμπεριφοράς του μοντέλου για κάθε μία μετρική αλλά επιπλέον απαιτεί και την ανακατασκευή όλων των χρονοσειρών, των υπό εξέταση αλλά και του συνόλου δεδομένων που απαρτίζει τη μνήμη του μοντέλου. Επιπλέον το χρονικό παράθυρο των 480 δευτερολέπτων (8 λεπτά) κρίνεται πολύ μεγάλο για τον εντοπισμό κρίσιμων στιγμιότυπων ή επεισοδίων που υποδεικνύουν την ποιότητα συνεργασίας ή την επιτυχή συνεργατική πρακτική/δραστηριότητα. Συνεπώς στο παρόν κεφάλαιο εξετάζουμε την συμπεριφορά του μοντέλου και αξιολογούμε τα αποτελέσματα από την εφαρμογή της μεθόδου για χρήση μετρικών συγκεκριμένων δραστηριότητας διαλόγου και κοινόχρηστου χώρου εργασίας και για την ανάλυση με περίοδο δειγματοληψίας σ.σ. χρονικό παράθυρο- 30 δευτερολέπτων (παράγραφος 5.3.3, 5.4.1) ΥΠΟΘΕΤΙΚΑ ΣΕΝΑΡΙΑ ΧΡΗΣΗΣ ΜΕ ΧΡΗΣΗ ΜΕΘΟΔΩΝ ΔΙΑΣΤΑΥΡΩΜΕΝΗΣ ΕΠΙΚΥΡΩΣΗΣ Για την πληρότητα της μελέτης, το σύνολο δεδομένων που χρησιμοποιήθηκε στην παρούσα μελέτη χωρίστηκε σε υποσύνολα και χρησιμοποιήθηκε για την αξιολόγηση της μεθοδολογίας σε υποθετικά σενάρια χρήσης. Με αυτόν τον τρόπο το μοντέλο εκλαμβάνεται ως «αυτόματος αξιολογητής» και στη συνέχεια εξετάζεται η αξιοπιστία της μεθοδολογίας (reliability analysis) σε αντιπαράθεση με την απόδοση πραγματικών αξιολογητών. Στην παρούσα παράγραφο περιγράφονται τα αποτελέσματα τριών μεθόδων διασταυρωμένης επικύρωσης (cross validation): τη μέθοδο «μίας παράλειψης» (Leave-One-Out), τη μέθοδο k-παραλείψεων (k-fold) και την μέθοδο του «ενός τρίτου». Στη συνέχεια κάθε μία μέθοδος διασταυρωμένης επικύρωσης καθώς και τα αποτελέσματα της ανάλυσης αξιοπιστίας παρουσιάζονται αναλυτικά ΜΕΘΟΔΟΣ ΜΙΑΣ ΠΑΡΑΛΕΙΨΗΣ (LEAVE ONE OUT) Η μέθοδος της μίας παράλειψης απαιτεί την χρήση ενός δείγματος από το σύνολο δεδομένων, που στην συγκεκριμένη περίπτωση ταυτίζεται με μία συνεργατική συνεδρία, ως σύνολο ελέγχων (test set) ενώ τα υπόλοιπα δείγματα που παραμένουν στο σύνολο δεδομένων χρησιμοποιούνται στο σύνολο εκμάθησης (training test) που απαρτίζει τη μνήμη του μοντέλου μηχανικής μάθησης. Η διαδικασία είναι επαναληπτική και σε κάθε επανάληψη το δείγμα που χρησιμοποιήθηκε στο σύνολο ελέγχων επανατοποθετείται στο σύνολο εκμάθησης ενώ ένα νέο δείγμα επιλέγεται για το σύνολο ελέγχων. Η διαδικασία ολοκληρώνεται όταν όλα τα δείγματα του συνόλου δεδομένων χρησιμοποιηθούν μία φορά ΜΕΘΟΔΟΣ K-ΠΑΡΑΛΕΙΨΕΩΝ (K- FOLD) Στην μέθοδος των k-παραλείψεων, το αρχικό σύνολο δεδομένων χωρίζεται τυχαία σε k υποσύνολα που απαρτίζονται από ίσο αριθμό δειγμάτων το κάθε ένα. Σε μία 168

179 επαναληπτική διαδικασία, ένα υποσύνολο χρησιμοποιείται ως σύνολο ελέγχων ενώ τα υπόλοιπα δομούν το σύνολο εκμάθησης. Η διαδικασία ολοκληρώνεται μετά από k επαναλήψεις. Στην παρούσα εργασία επιλέχθηκε ο χωρισμός του συνόλου δεδομένων σε δέκα υποσύνολα καθώς μελέτες αναφέρουν πως για k=10 έχουν παρατηρηθεί τα βέλτιστα αποτελέσματα κατά την διασταυρωμένη επικύρωση (Stefanowski, J., 2008) ΜΕΘΟΔΟΣ ΤΟΥ ΕΝΟΣ ΤΡΙΤΟΥ Σε αυτή τη μέθοδο διασταυρωμένης επικύρωσης, το σύνολο δεδομένων χωρίζεται με τυχαίο τρόπο σε τρία ίσα μέρη. Τα δύο τρίτα χρησιμοποιούνται για τη δημιουργία του συνόλου εκμάθησης του μοντέλου ενώ το ένα τρίτο χρησιμοποιείται για το σύνολο ελέγχων ΑΝΑΛΥΣΗ ΑΞΙΟΠΙΣΤΙΑΣ Για τα υποθετικά σενάρια που αναφέρθηκαν στην προηγούμενη παράγραφο, πραγματοποιήθηκε μελέτη και ανάλυση της αξιοπιστίας του προτεινόμενου μοντέλου. Τα αποτελέσματα της ανάλυσης αξιοπιστίας ανά περίπτωση και για τους δείκτες Cronbach s alpha και ICC και για την αξιολόγηση της γενικής διάστασης της Ποιότητας της Συνεργασίας ΠτΣ, παρατίθενται στον σχετικό πίνακα (Πίνακας 6-1). Πίνακας 6-1. Αποτελέσματα της Ανάλυσης Αξιοπιστίας του μοντέλου με χρήση των δεικτών Cronbach s alpha και ICC και για τρεις περιπτώσεις διασταυρωμένης επικύρωσης. Cross Validation Cases Leave-One-Out 10-Fold One-Third Cronbach's alpha ICC Spearman's ρ Προκειμένου να χρησιμοποιηθεί το ίδιο σύνολο δεδομένων και για τις τρεις περιπτώσεις διασταυρωμένης επικύρωσης, χρησιμοποιήθηκαν από το σύνολο των 228 συνεργατικών συνεδριών οι 210. Κατά τον επαναπροσδιορισμό του συνόλου δεδομένων, αποκλείστηκαν δεκαοκτώ συνεργατικές συνεδρίες, οι οποίες αναγνωρίστηκαν ως ακραίες περιπτώσεις (outliers). Για τη μέθοδο της μίας παράλειψης το σύνολο εκμάθησης αποτελείται από 209 συνεργατικές συνεδρίες σε κάθε επανάληψη. Για τη μέθοδο των k-παραλείψεων (όπου k=10) το σύνολο δεδομένων χωρίστηκε σε δέκα υποσύνολα, με το κάθε υποσύνολο να αποτελείται από 21 συνεργατικές συνεδρίες. Σε κάθε επανάληψη ένα υποσύνολο χρησιμοποιήθηκε ως σύνολο ελέγχων ενώ οι υπόλοιπες συνεδρίες απαρτίζουν το σύνολο εκμάθησης που τελικά περιλαμβάνει 189 συνεδρίες. Για την μέθοδο του ενός τρίτου, το σύνολο 169

180 δεδομένων χωρίστηκε σε τρία, ίσα υποσύνολα που κάθε ένα απαρτίζεται από 70 συνεδρίες. Το ένα υποσύνολο χρησιμοποιήθηκε ως σύνολο ελέγχων ενώ οι 140 εναπομείνασες συνεδρίες χρησιμοποιήθηκαν ως σύνολο εκμάθησης από το μοντέλο. Σύμφωνα με την βιβλιογραφία, οι τιμές που προέκυψαν για όλα τα υποθετικά σενάρια θεωρούνται οριακά αποδεκτές, τόσο για τον δείκτη Cronbach s alpha όσο και για τον δείκτη ICC. Όπως ήδη προαναφέρθηκε, με βάση εμπειρικούς κανόνες και μελέτες, τιμές μεγαλύτερες του 0.4 και του 0.7 για τον δείκτη ICC και για τον δείκτη Cronbach s alpha κατ αντιστοιχία θεωρούνται ότι υποδεικνύουν την αποδεκτή ή επαρκή αξιοπιστία μίας μεθόδου. Από την άλλη, ο δείκτης συσχέτισης Spearman s Rho υποδηλώνει ισχυρές θετικές συσχετίσεις μεταξύ των βαθμολογιών του μοντέλου, όταν θεωρηθεί ως αυτόματος βαθμολογητής, και των βαθμολογιών που έδωσαν οι πραγματικοί αξιολογητές. Όπως ήταν αναμενόμενο, τα αποτελέσματα βελτιώνονται όσο πληθαίνει ο αριθμός των δειγμάτων στο σύνολο εκμάθησης που χρησιμοποιείται από το μοντέλο. Συνεπώς τα βέλτιστα αποτελέσματα παρατηρούνται στην περίπτωση που η μνήμη του μοντέλου, και κατά συνέπεια το σύνολο εκμάθησης, περιέχει τον μέγιστο αριθμό δειγμάτων, δηλαδή στην περίπτωση διασταυρωμένης επικύρωσης με τη μέθοδο της «μίας παράλειψης». Ωστόσο οι επιδόσεις του μοντέλου είναι επαρκείς και αποδεκτές για όλες τις μεθόδους διασταυρωμένης επικύρωσης που εξετάστηκαν. 6.4 ΣΥΓΚΡΙΣΗ ΜΕΘΟΔΟΛΟΓΙΑΣ ΜΕ ΑΛΛΑ ΜΟΝΤΕΛΑ ΑΥΤΟΜΑΤΗΣ ΑΞΙΟΛΟΓΗΣΗΣ ΚΑΙ ΜΕ ΕΜΠΕΙΡΟΥΣ ΑΞΙΟΛΟΓΗΤΕΣ. Η παρούσα εργασία αποτελεί μέρος μακροχρόνιας μελέτης στο πεδίο της Υπολογιστικά Υποστηριζόμενης Συνεργατικής Μάθησης. Στα πλαίσια αυτής της έρευνας έχουν αναπτυχθεί αντίστοιχα μεθοδολογικά πλαίσια και εργαλεία για την αξιολόγηση συνεργατικών δραστηριοτήτων. Στην συγκεκριμένη παράγραφο, παρουσιάζεται η σύγκριση της προτεινόμενης μεθοδολογίας με αντίστοιχη μέθοδο αυτόματης αξιολόγησης η οποία αποτελεί μέρος προηγούμενης διδακτορικής διατριβής (Kahrimanis, G., 2010). Η μέθοδος που αντιπαρατίθεται εξετάζει τη μελέτη και χρήση αυτόματων μετρικών δραστηριότητας για την κατασκευή ενός μοντέλου με την τεχνική της παλινδρόμησης μερικών ελαχίστων τετραγώνων (Partial Least Squares Regression, PLS) το οποίο αποσκοπεί στην αξιολόγηση της ποιότητας της συνεργασίας εκπαιδευτικών συνεργατικών δραστηριοτήτων σε βαθμολογημένη κλίμακα. Για την αξιολόγηση του μοντέλου αυτού έγινε χρήση του Σχήματος Αξιολόγησης που χρησιμοποιήθηκε και στην παρούσα εργασία (Kahrimanis, G. et al., 2009). Η PLSR συχνά προτιμάται σε σύγκριση με παρόμοιες τεχνικές μοντελοποίησης λόγω μεθοδολογικών πλεονεκτημάτων που προσφέρει αλλά και τις λίγες προϋποθέσεις που πρέπει να 170

181 πληρούνται. Επιπλέον θεωρείται ότι επιτυγχάνει υψηλή ακρίβεια πρόβλεψης, αποτίμησης, ή επεξήγησης (Abdi, H., 2003). Από την άλλη πλευρά, για τους μη-εξοικειωμένους με τεχνικές παλινδρόμησης (regression) και πολλαπλής γραμμικής παλινδρόμησης (multiple linear regression), η PLSR δεν παύει να αποτελεί μία πολύπλοκη μέθοδο που αφ ενός είναι δύσκολο κάποιος να κατανοήσει την λειτουργία και να εξηγήσει τα αποτελέσματά της και αφ ετέρου είναι δύσκολο να την αναπαράγει σε άλλες συνθήκες ή με άλλα δεδομένα. Όπως για κάθε μοντέλο παλινδρόμησης (regression), η φάση εκπαίδευσης και επικύρωσης για την εξαγωγή των παραμέτρων και των συνιστωσών της εξίσωσης του μοντέλου είναι χρονοβόρα ενώ αποτελεί απαραίτητο κομμάτι που δε μπορεί να παραλειφθεί. Η φύση του συνόλου δεδομένων είναι ιδιαίτερης σημασίας και τυχόν αλλαγές στην συνεργατική δραστηριότητα (π.χ. διαφορετικό θέμα, αλλαγή διάρκειας κλπ) ενδέχεται να παρουσιάσουν σημαντικά την απόδοσή της μεθόδου. Αυτό σημαίνει πως το μοντέλο θα πρέπει να ελέγχεται και να επανεξετάζεται η ισχύς του πριν την χρήση του. Συνολικά, η χρήση των Μερικών Ελαχίστων Τετραγώνων (PLS) θεωρείται ιδανική για προβλεπτικά μοντέλα και όχι για την επεξήγηση σχέσεων που ενδέχεται να υπάρχουν μεταξύ των μεταβλητών και να χαρακτηρίζουν τα δεδομένα (Henseler, J., Ringle, C., & Sinkovics, R., 2009). Ένα ακόμα σημείο που αξίζει να αναφερθεί είναι πως κατά την διαδικασία της ανάπτυξης και δοκιμής του PLSR μοντέλου, το σύνολο δεδομένων που χρησιμοποιήθηκε είχε ελεγχθεί και είχαν απομακρυνθεί όλες οι ακραίες περιπτώσεις. Αυτό σημαίνει πως η συμπεριφορά του μοντέλου σε ακραίες περιπτώσεις δεν έχει ελεγχθεί και συνεπώς δεν γνωρίζουμε κατά πόσο η παρουσία τους θα αλλοίωνε την απόδοση του μοντέλου και σε ποιο βαθμό. Κατά συνέπεια το υπό αξιολόγηση δείγμα θα πρέπει να ελέγχεται και οι περιπτώσεις που κρίνονται ως «ακραίες» θα πρέπει να αφαιρούνται. Στο μοντέλο TSCMoCA που προτείνεται και μελετάται στην παρούσα εργασία, οι ακραίες περιπτώσεις δεν έχουν αφαιρεθεί από το ευρύτερο σύνολο δεδομένων και συνεπώς αναμένεται αυτές οι ακραίες περιπτώσεις να επηρεάζουν αρνητικά την απόδοσή του, παρά μόνο στην συγκριτική μελέτη με άλλα παρόμοια αυτόματα μοντέλα. Η μη αναγκαιότητα ανίχνευσης και απομάκρυνσης αυτών των περιπτώσεων θεωρείται ότι είναι ένα πλεονέκτημα της προτεινόμενης μεθόδου. Ο χρήστης/αξιολογητής δεν καλείται να αποφασίσει ποιες περιπτώσεις του συνόλου δεδομένων συμπεριφέρονται ως «ακραίες» και απαλλάσσεται από την εργασία που απαιτείται για τον καθαρισμό του συνόλου δεδομένων. Επιπλέον, τα δεδομένα που συμπεριλαμβάνουν ακραίες περιπτώσεις αποτυπώνουν μία ρεαλιστική εικόνα συνεργατικών δραστηριοτήτων που αντικατοπτρίζει σε μεγαλύτερο βαθμό την εικόνα μιας πραγματικής τάξης. 171

182 Τέλος, το μοντέλο PLSR θέτει ως προαπαιτούμενο την ολοκλήρωση της δραστηριότητας και την αξιολόγησή της σε «νεκρό» χρόνο και αφού γίνει η εξαγωγή των στατιστικών δραστηριότητας από τα αρχεία δεδομένων. Αυτό είναι απαγορευτικό αν το ζητούμενο είναι η παροχή ανάδρασης στις συνεργαζόμενες ομάδες σε πραγματικό χρόνο, κάτι στο οποίο στοχεύει η παρούσα μεθοδολογία. Οι ποιοτικές παράμετροι του μοντέλου αξιολόγησης που αναπτύχθηκε στα πλαίσια της διδακτορικής διατριβής του κ. Καχριμάνη Γεώργιου (Πίνακας 6-2). Οι τιμές αυτές αναφέρονται στην περίπτωση αξιολόγησης της γενικής συνεργατικής διάστασης της Ποιότητας της Συνεργασίας ΠτΣ, όπως αυτή ορίστηκε στο Κεφάλαιο 3. Το μοντέλο PLSR κάνει χρήση οκτώ αυτόματων μετρικών δραστηριότητας, οι οποίες απαρτίζουν την εξίσωση του μοντέλου. Οι μετρικές αυτές είναι ο αριθμός εναλλαγών ρόλων στον διάλογο, ο μέσος χρόνος απόκρισης στον διάλογο, ο αριθμός των μηνυμάτων στο εργαλείο ανταλλαγής μέσα σε χρονικό διάστημα 17.5 δευτερολέπτων, η μέση τιμή του χρόνου απόκρισης στον διάλογο, η συμμετρία στο σύνολο των ενεργειών των χρηστών (εργαλείο ανταλλαγής μηνυμάτων και κοινόχρηστος χώρος εργασίας), συμμετρία αλλαγών περιεχομένου (κειμένου) των αντικειμένων του χώρου εργασίας, αριθμός ενεργειών στον κοινόχρηστο χώρο, μέσος όρος χρόνος απόκρισης στον κοινόχρηστο χώρο. Οι μετρικές που χρησιμοποιεί το μοντέλο PLSR έχουν προέλθει μετά από «λεπτομερείς εξετάσεις των συσχετίσεων μεταξύ μετρικών της αλληλεπίδρασης και διαστάσεων της ποιότητας συνεργασίας. Έτσι, το αρχικό σύνολο μεταβλητών για τη διαμόρφωση κάθε μοντέλου ήταν ήδη ενημερωμένο από την προηγούμενη μελέτη» (Kahrimanis, G., 2010) ενώ είναι τόσο εξειδικευμένες που αφ ενός καθιστούν δύσκολη την χρήση του μοντέλου σε άλλο περιβάλλον συνεργασίας και αφ ετέρου εγείρονται ερωτηματικά στο κατά πόσο αποδοτικό θα είναι το μοντέλο αν το θέμα της συνεργατικής δραστηριότητας αλλάξει έστω και κατ ελάχιστο. Το μοντέλο TSCMoCA λαμβάνοντας υπόψη αυτούς τους περιορισμούς, κάνει χρήση οκτώ γενικών μετρικών δραστηριότητας ανεξαρτήτως της θεματολογίας, οι οποίες συναντώνται σε όλα τα εργαλεία υποστήριξης της συνεργασίας που προσφέρουν εργαλείο ανταλλαγής μηνυμάτων και κοινόχρηστο χώρο εργασίας. Οι μετρικές αυτές δραστηριότητας είναι (Παράγραφος 5.3.3) : - το άθροισμα μηνυμάτων και ο ρυθμός μεταβολής του αθροίσματος μηνυμάτων στο εργαλείο ανταλλαγής μηνυμάτων όλων των συνεργαζόμενων μελών ανά χρονικό παράθυρο (#COA,#DCOA) - το άθροισμα και ο ρυθμός μεταβολής του αθροίσματος των εναλλαγών ενεργού ρόλου στον διάλογο ανά χρονικό παράθυρο (#CALT,#DCALT) 172

183 - το άθροισμα και ο ρυθμός μεταβολής του αθροίσματος των κύριων ενεργειών στον κοινόχρηστο χώρο εργασίας όλων των συνεργαζόμενων μελών ανά χρονικό παράθυρο (#WOA,#DWOA) - το άθροισμα και ο ρυθμός μεταβολής του αθροίσματος των εναλλαγών ενεργού ρόλου στον κοινόχρηστο χώρο ανά χρονικό παράθυρο (#WALT, #DWALT) Πίνακας 6-2. Ποιοτικές παράμετροι εκτίμησης του μοντέλου αξιολόγησης της ποιότητας της συνεργασίας με χρήση τεχνικής PLSR Μετρική Μέσο κατάλοιπο απόλυτο Τιμή (absolute residual mean) R 2 Y Το μέσο απόλυτο κατάλοιπο (absolute residual mean) εκφράζει το σφάλμα με το οποίο το μοντέλο PLSR υπολογίζει την τιμή της διάστασης της Ποιότητας της Συνεργασίας ΠτΣ συγκριτικά με την βαθμολογία των έμπειρων αξιολογητών ενώ ο δείκτης R 2 Y εκφράζει την τιμή της διακύμανσης των κύριων συνιστωσών με τις εξαρτημένες μεταβλητές, ενώ είναι το ποιοτικό αντίστοιχο του συντελεστή προσδιορισμού R 2 (coefficient of determination) της πολλαπλής γραμμικής παλινδρόμησης που εκτιμά πόσο καλά προσαρμόζονται ή ταιριάζουν (fit) τα δεδομένα πάνω σε μία γραμμή ή καμπύλη. Σε πρώτη προσέγγιση η απευθείας σύγκριση των δύο μοντέλων δεν είναι εφικτή καθώς οι παράμετροι εκτίμησης της αποδοτικότητας και αξιοπιστίας του μοντέλου παλινδρόμησης που παρέχονται δεν έρχονται σε απευθείας αντιστοιχία με τις ποιοτικές παραμέτρους του μοντέλου TSCMoCA. Αν παρ όλα αυτά επιχειρήσουμε την ποιοτική, κατά προσέγγιση, σύγκριση τότε μπορούμε να παραλληλίσουμε το μέσο απόλυτο κατάλοιπο με το μέσο απόλυτο σφάλμα ΜΑΕ και τον συντελεστή προσδιορισμού R 2 με το τετράγωνο του συντελεστή συσχέτισης ρ (MathBits.com). Η σύγκριση των ποιοτικών χαρακτηριστικών των δύο μοντέλων παρέχεται στον σχετικό πίνακα (Πίνακας 6-3) και αντιστοιχεί στην περίπτωση διασταυρωμένης επικύρωσης της «μίας παράλειψης». Τα μεγέθη που παρατίθενται με πλάγια γράμματα δεν αντιστοιχούν απευθείας στο κάθε μοντέλο αλλά αποτελούν θεωρητικές προσεγγίσεις που γίνονται χάριν σύγκρισης. Όπως φαίνεται και στον πίνακα, το μοντέλο παλινδρόμησης παρουσιάζεται οριακά καλύτερο ενώ τόσο ο δείκτης συσχέτισης όσο και το σφάλμα είναι της ίδιας τάξης για τα δύο μοντέλα. 173

184 Πίνακας 6-3 Ποιοτική σύγκριση των χαρακτηριστικών των δύο αυτόματων μοντέλων, με χρήση τεχνικής παλινδρόμησης και του προτεινόμενου μοντέλου TSCMoCA ρ R 2 ΜΑΕ PLSR TSCMoCA Στην συνέχεια (Πίνακας 6-4) παρατίθενται οι τιμές για τους δείκτες εγκυρότητας και αξιοπιστίας όπως αυτοί παρουσιάστηκαν στην παράγραφο 6.3. Για τα δύο μοντέλα αυτόματης αξιολόγησης οι τιμές των υπό μελέτη δεικτών είναι της ίδιας τάξης. Το μοντέλο παλινδρόμησης PLSR εμφανίζει καλύτερα αποτελέσματα όσον αφορά στο μέσο απόλυτο σφάλμα και, κατά συνέπεια, την ακρίβεια πρόβλεψης ενώ το μοντέλο TSCMoCA παρουσιάζει οριακά καλύτερα αποτελέσματα ως προς τον δείκτη Cronbach s alpha, τον δείκτη συσχέτισης ρ και τον δείκτη ενδοσυσχέτισης ΙCC. Πρέπει εδώ να σημειωθεί πως ο δείκτης Cronbach s alpha χρησιμοποιείται για να αποτιμήσει την εσωτερική συνοχή των αποτελεσμάτων, δηλαδή κατά πόσον τα αποτελέσματα αναφέρονται σε αυτό που σκοπεύει η μέτρηση, ενώ ο δείκτης ενδοσυσχέτισης ICC αναφέρεται στην συμφωνία μεταξύ διαφορετικών αξιολογητών ως προς την βαθμολόγηση. Συνεπώς η διαφορά των δύο μοντέλων στους δείκτες που χρησιμοποιήθηκαν για τη συγκριτική μελέτη μπορεί να δικαιολογηθεί από την φύση και τα χαρακτηριστικά τους. Οι αξιολογήσεις του μοντέλου παλινδρόμησης PLSR αναμένεται να είναι πιο ακριβείς συγκριτικά με τις βαθμολογήσεις των έμπειρων αξιολογητών καθώς τα μοντέλα παλινδρόμησης θεωρούνται ότι προσφέρουν προβλέψεις μεγάλης ακρίβειας ενώ ο τρόπος λειτουργίας του μοντέλου TSCMoCA, όπου οι αξιολογήσεις γίνονται με βάση την ομοιότητα των δειγμάτων, δικαιολογεί την μεγάλη εσωτερική συνοχή των αποτελεσμάτων. Στην τρίτη στήλη του σχετικού πίνακα (Πίνακας 6-4) παρατίθενται τα αποτελέσματα για τους αντίστοιχους δείκτες εγκυρότητας και αξιοπιστίας για την περίπτωση που τα δείγματα του συνόλου δεδομένων αξιολογούνται από δύο έμπειρους αξιολογητές. Αυτή η διαδικασία αξιολόγησης ήταν αντικείμενο μελέτης προηγούμενων ερευνών (Kahrimanis, G. et al., 2009) κατά την δημιουργία και εφαρμογή του Σχήματος Αξιολόγησης που περιγράφεται στο κεφάλαιο 3. Δύο αξιολογητές πέρασαν από φάση εκπαίδευσης και με την χρήση σχετικού εγχειριδίου οδηγιών, βαθμολόγησαν συνεργατικές δραστηριότητες μερικές εκ των οποίων αποτελούν το σύνολο δεδομένων της παρούσας εργασίας. Οι τιμές όλων των υπό εξέταση δεικτών είναι πολύ υψηλοί για την διαδικασία αξιολόγησης από έμπειρους αξιολογητές σε σύγκριση με τις τιμές των αυτόματων μοντέλων αξιολόγησης. Έτσι επιβεβαιώνεται η θέση ότι η χρήση αυτόματου βαθμολογητή μπορεί να υποβοηθήσει αλλά δεν μπορεί να 174

185 αντικαταστήσει τον άνθρωπο στην διαδικασία αξιολόγησης παρά μόνο διακινδυνεύοντας σε μεγάλο βαθμό την αξιοπιστία των τελικών αποτελεσμάτων. Πίνακας 6-4 Τιμές δεικτών αξιοπιστίας για το σενάριο υποθετικής χρήσης «μίας παράλειψης» όπου τα αυτόματα μοντέλα TSCMoCA και παλινδρόμησης χρησιμοποιούνται ως αυτόματοι αξιολογητές σε αντιπαράθεση με την διαδικασία με χρήση πραγματικών Αξιοπιστία µοντέλου TSCMoCA Αξιοπιστία µοντέλου παλινδρόµησης PLSR Αξιοπιστία µεταξύ Έµπειρων Αξιολογητών ICC ρ α Στην Εικόνα 6-1 παρουσιάζεται η κατανομή των αξιολογήσεων για την περίπτωση όπου το σύνολο δεδομένων αξιολογήθηκε από έμπειρους αξιολογητές (CQA_Eval) αλλά και για την περίπτωση όπου το μοντέλο μηχανικής μάθησης TSCMoCA χρησιμοποιήθηκε ως αυτόματος αξιολογητής (CQA_TSCMoCA). Οι κατανομές των βαθμολογιών τόσο των έμπειρων αξιολογητών όσο και του μοντέλου TSCMoCA δεν ακολουθούν κανονική κατανομή όπως αποδεικνύει τόσο η οπτική επισκόπηση των κατανομών αλλά και πλήθος διαγνωστικών μεθόδων (Jarque, C. M. & Bera, A. K., 1980; Shapiro, S. S. & Wilk, M. B., 1964). Οι βαθμολογίες των αξιολογητών παρουσιάζουν αρνητική ασυμμετρία (skewness = ), δηλαδή οι βαθμολογίες για την διάσταση της Ποιότητας της Συνεργασίας παρουσιάζουν θετική τάση. Αντίθετα οι βαθμολογίες που αποδίδει το μοντέλο παρουσιάζουν θετική ασυμμετρία, δηλαδή το μοντέλο επιδεικνύει αρνητική τάση στις βαθμολογίες που αποδίδει (skewness = 0.277). Εικόνα 6-1. Οι κατανομές των αξιολογήσεων για την διάσταση της Ποιότητας της Συνεργασίας (CQA) όπως αποδόθηκαν από τους έμπειρους αξιολογητές (CQA_Eval) και από το μοντέλο TSCMoCA (CQA_TSCMoca) 175

186 Στην Εικόνα 6-2 παρουσιάζεται το διάγραμμα διασποράς των βαθμολογιών για την γενική διάσταση της Ποιότητας της Συνεργασίας (CQA). Ο οριζόντιος άξονας αναφέρεται στις βαθμολογίες όπως αποδόθηκαν από έμπειρους αξιολογητές (CQA_Observed) ενώ ο κάθετος άξονας αναπαριστά τις βαθμολογίες του μοντέλου TSCMoCA (CQA_Estimated). Η διακεκομμένη γραμμή μοναδιαίας κλίσης αναπαριστά την γραμμή παλινδρόμησης (regression line). Στην περίπτωση του ιδανικού μοντέλου με μοναδιαίο συντελεστή προσδιορισμού (R 2 Y=1), όλα τα σημεία θα συνέπιπταν με αυτή τη γραμμή. Η έλλειψη (confidence ellipse) αναφέρεται στην συσχέτιση μεταξύ των δύο μεταβλητών που αντιπαρατίθενται: έντονα κυκλικές ελλείψεις υποδηλώνουν μικρότερη συσχέτιση των υπό εξέταση μεταβλητών. Η θετική ασυμμετρία στην κατανομή των βαθμολογιών του μοντέλου παρατηρείται και στο διάγραμμα διασποράς του μοντέλου σε αντίθεση με την αρνητική ασυμμετρία που παρατηρείται για την περίπτωση του μοντέλου παλινδρόμησης PLSR (Εικόνα 6-3) CQA_Observed CQA_Estimated Εικόνα 6-2. Διάγραμμα διασποράς των τιμών αξιολόγησης για την γενική διάσταση της Ποιότητας της Συνεργασίας όπως αυτές αποδόθηκαν από το μοντέλο μηχανικής μάθησης TSCMoCA (CQA_Estimated) σε αντιπαράσταση με τις βαθμολογίες έμπειρων αξιολογητών (CQA_Observed). 176

187 Observed vs. Estimated CQ average 3 Observed (collaboration quality avg) Estimated(collaboration quality avg) Εικόνα 6-3. Διάγραμμα διασποράς των τιμών αξιολόγησης για την γενική διάσταση της Ποιότητας της Συνεργασίας όπως αυτές αποδόθηκαν από το μοντέλο παλινδρόμησης PLSR (CQA_Estimated) σε αντιπαράσταση με τις βαθμολογίες έμπειρων αξιολογητών (CQA_Observed). Μία ακόμα μετρική για την αξιολόγηση της ακρίβειας της μεθόδου είναι τα ποσοστά επιτυχίας πρόβλεψης του μοντέλου. Στον αντίστοιχο πίνακα (Πίνακας 6-5) παρουσιάζονται τα επί τοις εκατό ποσοστά των περιπτώσεων που αξιολογήθηκαν με σφάλμα εντός συγκεκριμένου ορίου για το εκάστοτε μοντέλο (TSCMoCA ή PLSR). Από την σύγκριση των δύο αυτοματοποιημένων μεθόδων επιβεβαιώνεται πως το μοντέλο PLSR παρέχει μεγαλύτερη ακρίβεια πρόβλεψης, ιδιαίτερα για μικρές τιμές απόλυτου σφάλματος. Παρατηρείται όμως πως το μοντέλο TSCMoCA δεν παρουσιάζει τιμές απόλυτου σφάλματος μεγαλύτερες του 2 ενώ για το μοντέλο παλινδρόμησης PLSR εμφανίζονται μέχρι και τιμές σφάλματος που κινούνται στο εύρος [2.5, 2,75]. Στην Εικόνα 6-4 παρατίθενται τα ιστογράμματα σφάλματος (error) και απόλυτου σφάλματος για το μοντέλο TSCMoCA ενώ στην Εικόνα 6-5 παρουσιάζεται το γράφημα πλαισίου (boxplot) για το σφάλμα και το απόλυτο σφάλμα πρόβλεψης που δίνει γενικότερη εικόνα για την κατανομή των μετρικών σφάλματος. Γενικότερα το σφάλμα κινείται στο εύρος τιμών [-1.96, +1.85], ενώ ο μέσος όρος εμφανίζεται αρνητικός (mean=-0.400, stdev=0.919). Η κατανομή του σφάλματος παρουσιάζει αρνητική ασυμμετρία (skewness) και κύρτωση (kurtosis) κατά και αντίστοιχα. Όσον αφορά στην κατανομή του σφάλματος κατά απόλυτη τιμή, παρατηρούμε πως κυμαίνεται στο εύρος τιμών [0, +1.95] με αρνητική επίσης ασυμμετρία (skewness = 0.132) και μεγαλύτερη, απόλυτη τιμή κύρτωσης (kurtosis = ), ενώ η μέση τιμή του απόλυτου σφάλματος υπολογίστηκε ίση με Ο Πίνακας 6-6 παρουσιάζει τα στατιστικά χαρακτηριστικά των κατανομών απόλυτου σφάλματος και σφάλματος. Και 177

188 στις δύο περιπτώσεις, το σφάλμα δεν ακολουθεί την κανονική κατανομή, όπως είναι φανερό και από τα αντίστοιχα ιστογράμματα (Εικόνα 6-4). Πίνακας 6-5. Ποσοστά επιτυχίας ανά απόλυτη τιμή σφάλματος για την αξιολόγηση της διάστασης της Ποιότητας της Συνεργασίας για τα μοντέλα μηχανικής μάθησης TSCMoCA και PLSR. Άνω Όριο Σφάλματος Ποσοστό Επιτυχίας TSCMoCA(%) Ποσοστό Επιτυχίας PLSR(%) Όπως αναφέρθηκε στην αρχή της παραγράφου, η διαδικασία αξιολόγησης των αποτελεσμάτων της προτεινόμενης μεθοδολογίας έγινε για την περίπτωση που ήταν υπό αξιολόγηση η γενική διάσταση της Ποιότητας της Συνεργασίας. Στον Πίνακα 6-6 παρουσιάζονται οι τιμές για τους δείκτες εγκυρότητας και αξιοπιστίας για τις επί μέρους συνεργατικές διαστάσεις του Σχήματος Αξιολόγησης (Κεφάλαιο 3) και σε σύγκριση με το μοντέλο παλινδρόμησης PLSR αλλά και για την περίπτωση αξιολόγησης συνεργατικών δραστηριοτήτων από έμπειρους αξιολογητές (Evaluators). Στην παρούσα εργασία δεν επιχειρείται η αξιολόγηση του μοντέλου ως ταξινομητής (classifier) με χρήση πίνακα ασάφειας (confusion matrix) ή άλλων μεθόδων. Οι κλασικοί ταξινομητές αποδίδουν τιμή ή αξία στο υπό-κατάταξη δείγμα χρησιμοποιώντας ένα πεπερασμένο πλήθος τάξεων (classes) ή τιμών. Κατά συνέπεια η ταξινόμηση θεωρείται σωστή η λανθασμένη αν η τάξη έχει προβλεφθεί σωστά. Στην συγκεκριμένη περίπτωση όμως η ταξινόμηση είναι σχετική και όχι απόλυτη. Η βαθμολογία που αποδίδεται στην συνεδρία δεν προέρχεται από μία συγκεκριμένη πλειάδα τιμών αλλά υπολογίζεται μέσω αλγορίθμου μέσα σε ένα διάστημα συνεχών τιμών. Επιπλέον η χρήση μετρικών όπως η ακρίβεια ταξινόμησης ή οι πίνακες ασάφειας προϋποθέτουν ομοιόμορφη κατανομή των τάξεων, κάτι που δεν ισχύει για το παρόν δείγμα. 178

189 Πίνακας 6-6. Χαρακτηριστικά των κατανομών σφάλματος και απόλυτου σφάλματος για την αξιολόγηση της Ποιότητας της Συνεργασίας με χρήση του μοντέλου TSCMoCA Absolute Error Error Mean,851 -,400 Std. Error of Mean,0364,0634 Median,832 -,570 Std. Deviation,527,919 Variance,278,845 Skewness,132,508 Std. Error of Skewness,168,168 Kurtosis -1,051 -,537 Std. Error of Kurtosis,334,334 Minimum,000-1,953 Maximum 1,953 1,856 Εικόνα 6-4. Ιστογράμματα σφάλματος και απόλυτου σφάλματος πρόβλεψης για το μοντέλο TSCMoCA και για τη μέθοδο διασταυρωμένης επικύρωσης της μίας παράλειψης. Όπως παρατηρήθηκε και στον προηγούμενο πίνακα (Πίνακας 6-4) όπου παρουσιάστηκαν τα αποτελέσματα της αξιολόγησης αξιοπιστίας για την διάσταση της Ποιότητας της Συνεργασίας, έτσι και στην περίπτωση των επί μέρους συνεργατικών διαστάσεων οι τιμές των δεικτών για τα μοντέλα αυτόματης αξιολόγησης είναι παρόμοιοι και κατά πολύ μικρότεροι συγκριτικά με τους δείκτες αξιοπιστίας για τη διαδικασία βαθμολόγησης από έμπειρους αξιολογητές. Συγκεκριμένα, το μοντέλο παλινδρόμησης PLSR παρουσίασε οριακά μεγαλύτερες τιμές δείκτη συσχέτισης και ICC ενώ ο δείκτης Cronbach s alpha κυμάνθηκε στις ίδιες τιμές και για τα δύο μοντέλα. Το μοντέλο TSCMoCA το οποίο προτείνεται στην παρούσα εργασία, παρουσίασε τιμές αποδεκτές για την πρώτη, τρίτη και έκτη συνεργατική διάσταση όσον αφορά στον δείκτη ενδοσυσχέτισης ICC (ICC>0.4), τιμές οριακά αποδεκτές για τον δείκτη Cronbach s alpha για όλες τις συνεργατικές διαστάσεις πλην της πέμπτης (α>0.6) και τιμές που υποδηλώνουν μέτριες προς υψηλές συσχετίσεις επίσης για όλες τις διαστάσεις πλην της πέμπτης (0.4<ρ<0.5). 179

190 Box plot (Error) Box plot (Absolute Error) Error Absolute Error Εικόνα 6-5. Γράφημα πλαισίου (boxplot) του απόλυτου σφάλματος πρόβλεψης για το μοντέλο TSCMoCA Αυτή η συμπεριφορά του μοντέλου και τα αποτελέσματα ανά συνεργατική διάσταση ήταν αναμενόμενα καθώς η ταξινόμηση και κατόπιν η αξιολόγηση του άγνωστου δείγματος συνεργατικής δραστηριότητας έγινε με βάση την γενική διάσταση της Ποιότητας της Συνεργασίας. Όπως εξάλλου προέκυψε και κατά την ανάλυση των αποτελεσμάτων στο κεφάλαιο 5, η ακρίβεια και επιτυχία βαθμολόγησης του μοντέλου για τις επιμέρους συνεργατικές διαστάσεις ήταν μικρότερη απ ότι στην περίπτωση της γενικής διάστασης της Ποιότητας της Συνεργασίας. Εξετάζοντας τους ποιοτικούς δείκτες ανά συνεργατική διάσταση παρατηρούμε ομοιότητα στα αποτελέσματα των δύο μοντέλων. Οι συνεργατικές διαστάσεις που αφορούν στην επικοινωνία μεταξύ των συνεργατών και στην από κοινού επεξεργασία γνώσης παρουσιάζουν καλύτερα αποτελέσματα και είναι ευκολότερο να αξιολογηθούν σωστά από τα μοντέλα αυτόματης αξιολόγησης. Αντίθετα για τις διαστάσεις που εκφράζουν σύνθετες διεργασίες και πολύπλοκες δομές όπως η πέμπτη διάσταση που αφορά στον συντονισμό, τα μοντέλα αυτόματης αξιολόγησης έχουν φτωχή απόδοση. Αυτό αφ ενός μπορεί να αποδοθεί στην φύση των αυτόματων μετρικών και αφ ετέρου στην πληροφορία πολύ χαμηλού επιπέδου την οποία χρησιμοποιούν. Προφανώς οι απλές μετρικές που αφορούν στην λογιστική και στατιστική επεξεργασία γεγονότων δεν είναι ικανές να περιγράψουν με επάρκεια τους πολύπλοκους μηχανισμούς με βάση τους οποίους εξελίσσονται οι συνεργατικές, εκπαιδευτικές δραστηριότητες και οι οποίοι ενδεχομένως να λαμβάνουν χώρα και σε άλλες διαστάσεις ή τρόπους πέραν αυτών που καταγράφονται από την εφαρμογή που τις διαμεσολαβεί. 180

191 Πίνακας 6-7 Τιμές δεικτών αξιοπιστίας για το υποθετικό σενάριο όπου τα μοντέλα αυτόματης αξιολόγησης TSCMoCA και PLSR χρησιμοποιούνται ως αυτόματοι βαθμολογητές σε σύγκριση με πραγματικούς αξιολογητές. Οι τιμές των δεικτών υπολογίζονται για όλες τις συνεργατικές διαστάσεις του Σχήματος Αξιολόγησης και για τη μέθοδο διασταυρωμένης επικύρωσης της μίας παράλειψης Δείκτης Ενδοσυσχέτισης ICC Συνεργατική TSCMoCA PLSR Evaluators Διάσταση ΣΔ ΣΔ ΣΔ ΣΔ ΣΔ ΣΔ Cronbach's alpha Συνεργατική TSCMoCA PLSR Evaluators Διάσταση ΣΔ ΣΔ ΣΔ ΣΔ ΣΔ ΣΔ Συσχέτιση ρ Συνεργατική TSCMoCA PLSR Evaluators Διάσταση ΣΔ ΣΔ ΣΔ ΣΔ ΣΔ ΣΔ Έχοντας μία εικόνα για την απόδοση των δύο μοντέλων, επιβάλλεται και η συνολικότερη μελέτη τους από πλευράς ευκολίας υλοποίησης, πόρων που απαιτούνται για την χρήση τους και ευκολίας προσαρμογής τους σε άλλου τύπου σενάρια και ερευνητικά πεδία. 181

192 6.5 ΜΕΛΕΤΗ ΤΩΝ ΑΠΟΤΕΛΕΣΜΑΤΩΝ ΤΟΥ ΜΟΝΤΕΛΟΥ ΩΣ ΠΡΟΣ ΤΟ ΜΑΘΗΣΙΑΚΟ ΑΠΟΤΕΛΕΣΜΑ Κατά τη διαδικασία βαθμολόγησης του συνόλου δεδομένων, οι συνεργατικές συνεδρίες βαθμολογήθηκαν και για την ποιότητα λύσης που έδωσαν οι συνεργαζόμενες ομάδες φοιτητών στο αρχικό εκπαιδευτικό ερώτημα. Οι συνεργατικές δραστηριότητες, οι οποίες αποσκοπούσαν στην δημιουργία και κατανόηση των διαγραμμάτων ροής αλγόριθμων, αξιολογήθηκαν ως προς το μαθησιακό αποτέλεσμα από τους εκπαιδευτικούς που ήταν υπεύθυνοι για τα αντίστοιχα εργαστήρια και βαθμολογήθηκαν σε μία κλίμακα από 0 έως 10, με άριστα το 10. Κάθε συνεργατική συνεδρία βαθμολογήθηκε ως προς την ποιότητα λύσης από δύο αξιολογητές. Στην παρούσα παράγραφο εξετάζεται κατά πόσο η προτεινόμενη μεθοδολογία αυτόματης ταξινόμησης και αξιολόγησης αντικατοπτρίζει πέραν της ποιότητας της συνεργασίας και την ποιότητα λύσης που τα συνεργαζόμενα μέρη παρέχουν ως πρακτικό αποτέλεσμα της διαδικασίας, όπως αυτή αξιολογείται από τους υπεύθυνους εκπαιδευτές. Στα πλαίσια αυτής της μελέτης, το μοντέλο TSCMoCA χρησιμοποιήθηκε για την αξιολόγηση της ποιότητας λύσης του συνόλου δεδομένων, όπου με βάση την ταξινόμησή τους, αποδόθηκαν βαθμολογίες στην κλίμακα Στην συνέχεια τα αποτελέσματα μελετήθηκαν ως προς την συσχέτισή τους με τις βαθμολογίες που είχαν αποδώσει οι εκπαιδευτικοί σε προηγούμενη φάση, ενώ δεν προέκυψαν στατιστικά σημαντικές συσχετίσεις. Κατά την διεξαγωγή μελετών των περιπτώσεων χρήσης του μοντέλου όπως αυτές περιγράφονται στο Κεφάλαιο 5, σποραδικές συσχετίσεις των βαθμολογιών ποιότητας λύσης εμφανίστηκαν ανά περίπτωση, οι οποίες όμως ήταν πολύ χαμηλές. Αυτό επιβεβαιώνει τα αποτελέσματα προηγούμενων ερευνών στο ίδιο ερευνητικό αντικείμενο (Kahrimanis, G., 2010; Kahrimanis, G. et al., 2009) όπου τα μοντέλα αυτόματης αξιολόγησης της ποιότητας της συνεργασίας με χρήση μετρικών δραστηριότητας δεν μπορούν να χρησιμοποιηθούν επιτυχώς για την αξιολόγηση του μαθησιακού αποτελέσματος (Voyiatzaki, E., 2012). 6.6 ΑΞΙΟΛΟΓΗΣΗ ΤΗΣ ΜΕΘΟΔΟΛΟΓΙΑΣ ΓΙΑ ΧΡΗΣΗ ΣΕ ΠΡΑΓΜΑΤΙΚΟ ΧΡΟΝΟ. Η προτεινόμενη μεθοδολογία αναπτύχθηκε με απώτερο σκοπό τη δυνατότητα κατάταξης και αξιολόγησης συνεργατικών συνεδριών χωρίς να απαιτείται η ολοκλήρωσή τους. Η αξιολόγηση συνεργατικών δραστηριοτήτων ταυτόχρονα με την εξέλιξή τους είναι ιδιαίτερης σημασίας καθώς με αυτόν τον τρόπο γίνεται εφικτή η παροχή ανάδρασης από τον συντονιστή προς τα συνεργαζόμενα μέρη, σε πραγματικό χρόνο, με σκοπό την διόρθωση τυχόν προβλημάτων ή εμποδίων στην εξέλιξη της δραστηριότητας. Η χρήση του μοντέλου TSCMoCA για την αξιολόγηση συνεργατικών δραστηριοτήτων διερευνήθηκε στατιστικά ως προς την αποτελεσματικότητα και την 182

193 αξιοπιστία του αλλά και ποιοτικά, ως προς την ενσωμάτωσή του για την υποστήριξη του καθηγητή μέσα σε τάξη ΑΞΙΟΛΟΓΗΣΗ ΣΥΝΕΡΓΑΤΙΚΗΣ ΔΡΑΣΤΗΡΙΟΤΗΤΑΣ ΣΕ ΠΡΑΓΜΑΤΙΚΟ ΧΡΟΝΟ Η χρήση του μοντέλου TSCMoCA σε υποθετικό σενάριο υποστήριξης συνεργατικής δραστηριότητας σε πραγματικό χρόνο παρουσιάζεται σχηματικά στην συνέχεια. Στην Εικόνα 6-6 παρουσιάζεται η περίπτωση συνεργατικής δραστηριότητας ΣΔ της οποίας την εξέλιξη παρακολουθεί ο συντονιστής μέσω εργαλείου παρακολούθησης που υποστηρίζει την χρήση του μοντέλου TSCMoCA. Σε χρόνο t i, ο συντονιστής ελέγχει την πορεία της διαδικασίας μέσω του μοντέλου TSCMoCA που καλείται κατ απαίτησή του. Η εξέλιξη της συνεδρίας όπως εκφράζεται από την χρονοσειρά συνεργατικής δραστηριότητας αποτελεί την είσοδο του μοντέλου που την ταξινομεί και την αξιολογεί σε σύγκριση με ένα προ-βαθμολογημένο σύνολο παρόμοιων δραστηριοτήτων. Η εκτίμηση του μοντέλου για την ποιότητα της δραστηριότητας όσον αφορά στην συνεργασία προωθείται στον συντονιστή ο οποίος αποφασίζει να παράσχει, αν και εφόσον χρειάζεται, ανάδραση για να υποστηρίξει τα συνεργαζόμενα μέρη. Σημειώνεται πως η ανάδραση που παρέχει ο συντονιστής μπορεί να γίνει λεπτομερής, συγκεκριμένη και επικεντρωμένη σε συγκεκριμένες πτυχές της συνεργασίας αν το μοντέλο επεκταθεί με στόχο την ικανοποιητική αξιολόγηση επιμέρους συνεργατικών διαστάσεων, όπως παραδείγματος χάριν, αυτές που ορίζει το Σχήμα Αξιολόγησης. Προκειμένου να μελετηθεί η αποδοτικότητα του μοντέλου σε τέτοιου είδους υποθετικό σενάριο, επιχειρήθηκε η αξιολόγηση συνεργατικών συνεδριών σε ενδιάμεσους χρόνους της συνολικής διάρκειάς τους. Στην παρούσα παράγραφο παρουσιάζονται τα αποτελέσματα της αυτόματης αξιολόγησης των συνεργατικών συνεδριών που απαρτίζουν το σύνολο δεδομένων σε δύο ενδιάμεσους χρόνους: στα 25 και στα 40 λεπτά της συνεργατικής δραστηριότητας. Σημειώνεται πως η διάρκεια των συνεδριών κυμαίνεται γύρω στα 90 λεπτά και κατά συνέπεια η ανάγκη αξιολόγησης μίας δραστηριότητας στο μέσο της αποτελεί ένα ρεαλιστικό σενάριο. Στον Πίνακα 6-7 παρουσιάζονται τα αποτελέσματα της ανάλυσης της χρήσης της προτεινόμενης μεθοδολογίας όταν σαν είσοδος στο μοντέλο TSCMoCA χρησιμοποιούνται συνεργατικές δραστηριότητες υπό εξέλιξη, δηλαδή πριν την ολοκλήρωσή τους. Και για τις δύο περιπτώσεις, παρουσιάζονται στατιστικά σημαντικές συσχετίσεις των αξιολογήσεων με χρήση του μοντέλου με τις βαθμολογίες που αποδίδονται από τους έμπειρους αξιολογητές. Τα αποτελέσματα βελτιώνονται θεαματικά με την πάροδο του χρόνου και για την επανάληψη της διαδικασίας ταξινόμησης μετά την πάροδο 40 λεπτών, δηλαδή περίπου στο μέσο - κατά προσέγγιση - της δραστηριότητας και είναι αποδεκτά σύμφωνα με τους δείκτες και τους εμπειρικούς κανόνες που παρουσιάστηκαν στην παράγραφο 6.3. Μεταξύ των 183

194 βαθμολογιών του μοντέλου και των αξιολογητών εμφανίζεται ισχυρή συσχέτιση (ρ=0.506), ο δείκτης ενδοσυσχέτισης ICC είναι επίσης ικανοποιητικός όπως και το Cronbach s alpha (ICC=0.508, Cronbach s a=0.67). Το μέσο απόλυτο σφάλμα, αν και αρκετά μεγάλο, παραμένει κάτω από τη μονάδα (ΜΑΕ=0.945). Εικόνα 6-6. Υποθετικό σενάριο χρήσης του μοντέλου TSCMoCA για την αξιολόγηση συνεργατικής δραστηριότητας και την παροχή ανάδρασης από τον συντονιστή σε πραγματικό χρόνο. Πίνακας 6-8. Ποιοτικές μετρικές απόδοσης, αξιοπιστίας και σφάλματος για τα αποτελέσματα του μοντέλου σε ενδιάμεσους χρόνους της διάρκειας συνεργατικών δραστηριοτήτων, για την περίπτωση αξιολόγησης της γενικής διάστασης της Ποιότητας της Συνεργασίας Διάρκεια (λεπτά) Συσχέτιση ρ ICC Cronbach's a MAE Στην συνέχεια (Πίνακας 6-9) παρουσιάζονται οι ποιοτικές μετρικές απόδοσης, αξιοπιστίας και σφάλματος για την χρήση του μοντέλου στα 40 λεπτά συνεργατικής δραστηριότητας και ενώ αυτή βρίσκεται σε εξέλιξη για τις έξι συνεργατικές διαστάσεις που ορίζει το Σχήμα Αξιολόγησης. Συγκεκριμένα παρουσιάζονται τα αποτελέσματα από την ανάλυση συσχετίσεων και σφάλματος, ο δείκτης ενδοσυσχέτισης και ο δείκτης Cronbach s alpha. Οι τιμές των μετρικών για την πλειοψηφία των διαστάσεων είναι 184

195 ικανοποιητικές, πλην του μέσου απόλυτου σφάλματος που στο σύνολο των συνεργατικών διαστάσεων, πλην της πρώτης, εμφανίζει τιμές μεγαλύτερες της μονάδας. Σε σύγκριση με τα αποτελέσματα της διαδικασίας για το σύνολο της συνεργατικής δραστηριότητας όπως αυτά παρουσιάστηκαν στις παραγράφους 6.3 και 6.4, το μοντέλο παρουσιάζει σχεδόν παρόμοια αποτελέσματα (της ίδιας τάξης μεγέθους) για την περίπτωση που η μεθοδολογία χρησιμοποιείται για την αξιολόγησης της γενικής διάστασης της Ποιότητας της Συνεργασίας. Η ίδια εικόνα ισχύει και στην περίπτωση των επιμέρους συνεργατικών διαστάσεων, όπου επιπλέον σε μερικές περιπτώσεις εμφανίζονται δείκτες με ελαφρώς βελτιωμένες τιμές, κυρίως για τις διαστάσεις που υπολείπονται σε αποτελέσματα στην περίπτωση μελέτης για την συνολική διάρκεια των συνεδριών. Μία τέτοια συμπεριφορά είναι εύκολο να αιτιολογηθεί αν λάβουμε υπόψη μας πως όσο μεγαλώνει η διάρκεια της συνεργατικής δραστηριότητας, μεγαλώνει και το μέγεθος της συνεργατικής χρονοσειράς που την περιγράφει. Αφ ενός αυτό αυξάνει την πολυπλοκότητα σύγκρισης και αφ ετέρου είναι δυσκολότερο να βρεθεί κοντινότερος γείτονας που να πλησιάζει όσο το δυνατόν περισσότερο σε ομοιότητα την προς ταξινόμηση χρονοσειρά δραστηριότητας, κάτι που αυξάνει το ποσοστό θορύβου τόσο στην λειτουργία του αλγόριθμου σύγκρισης με δυναμική χρονική στρέβλωση (DTW) αλλά και στην λειτουργία του αλγόριθμου ταξινόμησης Κ-κοντινότερων γειτόνων (KNN). Από την άλλη πλευρά, όσο μεγαλώνει το μέγεθος της χρονοσειράς που περιγράφει την συνεργατική δραστηριότητα έχουμε εισαγωγή νέας πληροφορίας για την εξέλιξη της διαδικασίας αυτής, που βοηθά στην καλύτερη ταξινόμησή της σε υψηλότερο επίπεδο, δηλαδή ως προς την γενική εικόνα που περιγράφει η Ποιότητα της Συνεργασίας, ΠτΣ. Παρ όλα αυτά, τα αποτελέσματα αυτής της πρώτης προσέγγισης λειτουργίας του μοντέλου σε πραγματικό χρόνο, υποδηλώνει ότι τα αποτελέσματά του μπορούν να παρέχουν γενικές εκτιμήσεις στον συντονιστή για την εξέλιξη μίας συνεργατικής δραστηριότητας. Συνολικά οι διαστάσεις που εκφράζουν πτυχές της επικοινωνίας και της από κοινού επεξεργασίας της πληροφορίας, και πιο συγκεκριμένα αυτές που αφορούν σε νοηματικές δομές που μπορούν να εκφραστούν μέσα από ακολουθίες ενεργειών χαμηλού επιπέδου των χρηστών, όπως η συνεργατική ροή και η ανταλλαγή γνώσης, εμφανίζουν ικανοποιητικά αποτελέσματα. Για πιο σύνθετες δομές, όπως αυτές του Συντονισμού ή του Συνεργατικού Προσανατολισμού, τα αποτελέσματα του μοντέλου δεν είναι τόσο ικανοποιητικά όπως για προηγούμενες διαστάσεις. 185

196 Πίνακας 6-9. Ποιοτικές μετρικές απόδοσης, αξιοπιστίας και σφάλματος για τα αποτελέσματα του μοντέλου στα 40 λεπτά συνεργατικής δραστηριότητας, για τις επιμέρους συνεργατικές διαστάσεις που ορίζει το Σχήμα Αξιολόγησης Συνεργατική Διάσταση Συσχέτιση ρ Ενδοσυσχέτιση ICC Cronbach's a Μέσο Απόλυτο Σφάλμα MAE ΣΔ ΣΔ ΣΔ ΣΔ ΣΔ ΣΔ Ένας αριθμός παραγόντων πρέπει να ληφθεί υπόψη κατά την ανάλυση των αποτελεσμάτων, όπως το είδος των ενεργειών χρήστη που χρησιμοποιούνται για την κατασκευή των χρονοσειρών δραστηριότητας και η καταλληλότητά τους να περιγράψουν την συνεργατική δραστηριότητα ανά συνεργατική διάσταση, το μέγεθος του χρονικού παραθύρου στο οποίο γίνεται η δειγματοληψία κατά την κατασκευή της χρονοσειράς δραστηριότητας και η φύση της συνεργατικής διάστασης προς αξιολόγηση. Για τις διαστάσεις της επικοινωνίας και της από κοινού επεξεργασίας της πληροφορίας, παραδείγματος χάριν, μία συχνή ποιοτική και ποσοτική μετρική που χρησιμοποιείται είναι ο ρυθμός των μηνυμάτων που ανταλλάσσεται μεταξύ των συνεργατών, η συμμετρία του διαλόγου και όχι μόνο το περιεχόμενό τους. Από την άλλη, για διαστάσεις υψηλού επιπέδου όπως ο συντονισμός και η δόμηση της διαδικασίας επίλυσης του προβλήματος, οι αξιολογητές καταφεύγουν σε ανάλυση του περιεχομένου των μηνυμάτων που ανταλλάσσουν οι χρήστες, ή σε ανάλυση της ακολουθίας σε συνάρτηση με τον τύπο ενεργειών και πάντα κατ αντιπαράσταση με τον διάλογο και σε βάθος χρόνου. Αυτή η ποιοτική και σε βάθος ανάλυση είναι φυσικά πολύ δύσκολο να αντικατασταθεί από μετρικές. Επιπλέον η μικρή συχνότητα δειγματοληψίας κάνει απαγορευτική την ανίχνευση αλυσίδων χαρακτηριστικών ενεργειών. Συνεπώς διαστάσεις υψηλού επιπέδου είναι δυσκολότερο να αξιολογηθούν επαρκώς ΥΛΟΠΟΙΗΣΗ ΤΗΣ ΜΕΘΟΔΟΥ ΩΣ ΑΥΤΟΜΑΤΟΣ ΑΞΙΟΛΟΓΗΤΗΣ ΓΙΑ ΤΗΝ ΥΠΟΣΤΗΡΙΞΗ ΤΟΥ ΚΑΘΗΓΗΤΗ Η προτεινόμενη μέθοδος έχει ως στόχο την υποστήριξη του καθηγητή σε πραγματικό χρόνο. Για τον λόγο αυτό, η μέθοδος ενσωματώθηκε ως επέκταση σε εφαρμογή παρακολούθησης τάξης (class monitoring) που χρησιμοποιείται από καθηγητές που συντονίζουν συνεργατικές δραστηριότητες είτε σε φυσικές τάξεις είτε από απόσταση. 186

197 Η εφαρμογή που χρησιμοποιήθηκε είναι το Synergo Supervisor (Voyiatzaki, E. & Avouris, N., 2014; Voyiatzaki, E., Polyzos, P., & Avouris, N., 2008) το οποίο αποτελεί μέρος της συλλογής συνεργατικών εφαρμογής Synergo. Το Synergo Supervisor έχει υλοποιηθεί σε Java και προσφέρει στον δάσκαλο εικόνες και στατιστικές πληροφορίες για την δραστηριότητα που εξελίσσεται σε πραγματικό χρόνο, τόσο σε επίπεδο τάξης, ομάδας και ατόμου. Το μοντέλο TSCMoCA υλοποιήθηκε σε R (RCoreTeam, 2013) και η σύνδεσή του με την κυρίως εφαρμογή έγινε μέσω ενός Java Interface. Η αρχιτεκτονική της σουίτας Synergo και η ενσωμάτωση του μοντέλου TSCMoCA παρουσιάζεται στην Εικόνα 6-7. Εικόνα 6-7. Η αρχιτεκτονική της συλλογής συνεργατικών εφαρμογών Synergo και η ενσωμάτωση του μοντέλου TSCMoCA ως μέρος του Synergo Supervisor Η αξιολόγηση δραστηριότητας γίνεται κατ απαίτηση του καθηγητή και σε επίπεδο ομάδας. Τα αποτελέσματα που εμφανίζονται αφορούν τόσο στην γενική διάσταση της Ποιότητας της Συνεργασίας όσο και στις επί μέρους συνεργατικές διαστάσεις του σχήματος αξιολόγησης. Η κλίμακα στην οποία παρουσιάζονται τα αποτελέσματα έχει διατηρηθεί όπως και στο σχήμα αξιολόγησης, δηλαδή [-2, +2] για λόγους συνοχής αφού στην εφαρμογή Supervisor υπάρχει ήδη ενσωματωμένο το σχήμα αξιολόγησης με τη μορφή πρόχειρου βαθμολογίου προς συμπλήρωση. Στην διεπιφάνεια χρήσης του TSCMoCA έχει τηρηθεί χρωματικός κώδικας που διαφοροποιείται ανάλογα με τα αποτελέσματα, δηλαδή οι καλές βαθμολογίες υποσημειώνονται με πράσινο χρώμα, οι αρνητικές με κόκκινο και οι ουδέτερες με γκρι. Επίσης παρέχονται επιγραμματικά πληροφορίες για τις συνεργατικές διαστάσεις. Η διεπιφάνεια χρήστη μέσω της οποίας γίνεται η επικοινωνία του μοντέλου με την εφαρμογή παρουσιάζεται στην Εικόνα

198 Εικόνα 6-8. Διεπιφάνεια χρήστη της μεθόδου TSCMoCA όπως ενσωματώθηκε στην εφαρμογή Synergo Supervisor Προκειμένου να μελετηθεί η χρήση της μεθόδου από τους πραγματικούς χρήστες για τους οποίους προορίζεται, πραγματοποιήθηκε μία μελέτη μικρής κλίμακας. Στην μελέτη αυτή, δύο καθηγητές με εμπειρία στην διδασκαλία αλγόριθμων κλήθηκαν να παρακολουθήσουν την συνεργατική δραστηριότητα ομάδων σε εξομοιωμένη τάξη. Για την εξομοίωση της τάξης σε πραγματικό χρόνο χρησιμοποιήθηκαν συνεργατικές δραστηριότητες δυάδων που είχαν ως στόχο την κατασκευή διαγράμματος ροής αλγορίθμου και οι οποίες δεν είχαν χρησιμοποιηθεί σε προηγούμενη φάση της παρούσας μελέτης. Οι καθηγητές παρακολούθησαν παρουσίαση της συνεργατικής εφαρμογής, του αυτόματου αξιολογητή TSCMoCA και είχαν την ευκαιρία να εξοικειωθούν με την λειτουργία του προ της μελέτης. Επιπλέον τους δόθηκε η εκφώνηση της άσκησης και ενδεικτική λύση της. Η μελέτη χωρίστηκε σε δύο φάσεις προκειμένου να διερευνηθεί η συμπεριφορά και πρακτική των καθηγητών σε συνάρτηση με το μέγεθος της τάξης. Η υπόθεση εργασίας ήταν πως με την αύξηση του μεγέθους της τάξης θα αυξάνεται ο όγκος πληροφορίας και συνεπώς το γνωσιακό φορτίο του καθηγητή. Αυτό θα δυσχεράνει το έργο του και συνεπώς η ανάγκη για αυτοματοποιημένα εργαλεία θα είναι μεγαλύτερη. Κάτι τέτοιο αναμένεται να παρατηρηθεί πιο έντονα στην περίπτωση που ο καθηγητής δεν έχει φυσική παρουσία στην τάξη αλλά η δραστηριότητα λαμβάνει χώρα δικτυακά. Στην πρώτη φάση (Φάση Α) ο καθηγητής καλείται να συντονίσει μία τάξη τεσσάρων ατόμων που σχηματίζουν δύο δυάδες. Στην δεύτερη φάση (Φάση Β) διπλασιάσαμε το μέγεθος της τάξης σε οκτώ άτομα που σχηματίζουν τέσσερεις δυάδες. Η δραστηριότητα των καθηγητών μαγνητοσκοπήθηκε σε αρχεία βίντεο ενώ επίσης καταγράφηκε από συσκευή eye tracking. Παράλληλα ζητήθηκε από τους καθηγητές να χρησιμοποιούν think aloud πρωτόκολλο, δηλαδή να αφηγούνται μεγαλόφωνα τις αντιδράσεις και τις ενέργειές τους. Στο τέλος της μελέτης πάρθηκαν συνεντεύξεις σχετικά με την εμπειρία τους. 188

199 Φάση Α. Στην πρώτη φάση, οι καθηγητές κατάφεραν να παρακολουθήσουν και να συντονίσουν την τάξη χωρίς προβλήματα. Επικεντρώθηκαν κυρίως στην ανάγνωση των διαλόγων των μαθητών και στην επισκόπηση των κοινόχρηστων χώρων εργασίας τους. Μικρότερη χρήση έκαναν στα στατιστικά της δραστηριότητας που τους παρέχει η εφαρμογή ενώ δεν χρησιμοποίησαν τον αυτόματο αξιολογητή παρά μόνο λίγο πριν το τέλος της δραστηριότητας. Ο πρώτος καθηγητής ανέφερε ότι χρησιμοποίησε τον αξιολογητή για να διασταυρώσει αν η αξιολόγηση συμφωνεί με την άποψη που είχε διαμορφώσει ο ίδιος ενώ ο δεύτερος καθηγητής ανέφερε ότι το χρησιμοποίησε μόνο από περιέργεια. Και οι δύο καθηγητές διασταύρωσαν τα αποτελέσματα της αξιολόγησης επιστρέφοντας στον διάλογο εκ νέου παρόλο που όπως δήλωσαν συμφωνούσαν με αυτά. Ο αξιολογητής δεν χρησιμοποιήθηκε ξανά μέχρι το τέλος της δραστηριότητας. Ο ένας καθηγητής δήλωσε πως ο αξιολογητής δυσχέραινε το έργο του γιατί δεν τον εμπιστευόταν και έπρεπε να επιβεβαιώνει τα αποτελέσματα της αξιολόγησης ενώ ο δεύτερος καθηγητής δήλωσε πως δεν θα το χρησιμοποιούσε γιατί δεν του χρειαζόταν. Φάση Β. Στην δεύτερη φάση διπλασιάσαμε το μέγεθος της τάξης και ζητήσαμε από τους καθηγητές να συντονίσουν την τάξη εκ νέου. Στην αρχή της δραστηριότητας και οι δύο καθηγητές ξεκίνησαν την επισκόπηση της τάξης παρακολουθώντας τον διάλογο κάθε ομάδας και διατηρώντας μία συγκεκριμένη σειρά. Όπως δήλωσαν, θεώρησαν πως η ύπαρξη ενός νοητού ίχνους θα τους βοηθούσε να θυμηθούν ευκολότερα την δραστηριότητα κάθε ομάδας. Καθώς η ώρα προχωρούσε και η εισροή πληροφορίας άρχισε να αυξάνεται, οι καθηγητές παρατήρησαν πως τους ήταν δύσκολο να θυμόνται επακριβώς την κατάσταση κάθε ομάδας ενώ τους ήταν ιδιαίτερα επίπονο να ανατρέχουν στο ιστορικό. Θεώρησαν μάλιστα πως ήταν πρακτικά αδύνατο να είναι σίγουρη για την καλή εξέλιξη της δραστηριότητας όλων των ομάδων. Λίγο πριν το μέσο της δραστηριότητας ανέτρεξαν και οι δύο στον αυτόματο αξιολογητή προκειμένου να πάρουν μία ένδειξη ανά ομάδα. Συνέχισαν να χρησιμοποιούν τον αξιολογητή ανά τακτά χρονικά διαστήματα και ιδιαίτερα πριν επικεντρωθούν στην πρακτική συγκεκριμένης ομάδας. Ο πρώτος καθηγητής ανέφερε πως ο αξιολογητής αποτελεί χρήσιμη ένδειξη ενώ ο δεύτερος σημείωσε πως του δίνει μία αίσθηση ασφάλειας καθώς σε περίπτωση δικού του σφάλματος ο αξιολογητής μπορεί να εντοπίσει το σφάλμα αυτό. Γενικά Σχόλια Κατά την διαδικασία της παρακολούθησης μίας τάξης στα πλαίσια συνεργατικών εκπαιδευτικών δραστηριοτήτων, οι καθηγητές που συντονίζουν την δραστηριότητα ακολουθούν συγκεκριμένες πρακτικές που μπορούν να συνοψιστούν σε τέσσερα, κύρια στάδια: το στάδιο της απλής επισκόπησης, το στάδιο της ανίχνευσης 189

200 προβλήματος, το στάδιο της επικοινωνίας με τον μαθητή και το στάδιο της παροχής ανάδρασης (Voyiatzaki, E. & Avouris, N., 2014). Όπως παρατηρήθηκε στην μελέτη μικρής κλίμακας που παρουσιάστηκε, οι πρακτικές των καθηγητών είναι παρόμοιες και αυτά τα στάδια, και ειδικά το στάδιο της απλής επισκόπησης και το στάδιο της ανίχνευσης προβλήματος επηρεάζονται άμεσα από το μέγεθος της τάξης. Για να αντιμετωπίσει τον μεγάλο όγκο πληροφορίας ο καθηγητής μίας φυσικής τάξης συνήθως περιδιαβαίνει ανάμεσα στους μαθητές ενώ η οπτική επαφή που έχει τον βοηθά στην απομνημόνευση πληροφοριών. Στην περίπτωση όμως μίας εικονικής τάξης που αποτελείται από εκπαιδευόμενους που συνεργάζονται δικτυακά, ο καθηγητής δεν έχει το πλεονέκτημα της οπτικής επαφής ή της άμεσης επικοινωνίας. Αντ αυτού περιορίζεται στην πληροφορία που του προσφέρεται μέσω υπολογιστή. Αυτό δυσχεραίνει την εργασία της παρακολούθησης και του συντονισμού. Συνήθως οι δάσκαλοι επικεντρώνονται στον διάλογο μεταξύ των χρηστών ως ένδειξη της ποιότητας της συνεργασίας, κάτι που γίνεται ιδιαίτερα περίπλοκο όταν αυξάνεται το μέγεθος της τάξης και ο χρόνος της δραστηριότητας. Όπως φάνηκε στην μελέτη, οι καθηγητές καταφεύγουν στην χρήση των αυτόματων εργαλείων όταν αισθάνονται πως αρχίζουν να χάνουν τον έλεγχο της δραστηριότητας. Στην ουσία δηλαδή, καταφεύγουν στην χρήση των εργαλείων όταν τα χρειάζονται πραγματικά. Σε αντίθετη περίπτωση η ύπαρξη των εργαλείων τους προκαλεί δυσαρέσκεια. Αυτό ενδυναμώνει τη θέση μας, πως τα αυτόματα εργαλεία πρέπει να παρέχονται στους χρήστες ύστερα από απαίτησή τους ενώ δεν πρέπει να αποσκοπούν στην αντικατάσταση της κρίσης τους αλλά στην υποστήριξη της εργασίας τους. 6.7 ΠΟΙΟΤΙΚΗ ΑΝΑΛΥΣΗ ΤΗΣ ΔΡΑΣΤΗΡΙΟΤΗΤΑΣ Για την επαρκή κατανόηση των μηχανισμών και στρατηγικών αλληλεπίδρασης που αναπτύσσουν μεταξύ τους οι χρήστες, είναι σκόπιμο να αναλυθεί σε βάθος και ποιοτικά η δραστηριότητα των χρηστών, οι ενέργειες που εκτελούν για να πετύχουν τον σκοπό τους και ο τρόπος που επικοινωνούν μεταξύ τους στο επίπεδο του χρονικού παραθύρου της χρονοσειράς δραστηριότητας. Με αυτό το σκεπτικό στην παρούσα παράγραφο παρουσιάζονται οι ενέργειες των συνεργαζόμενων μερών που λαμβάνουν χώρα εντός διάφορων χρονικών παραθύρων όπως αυτά εξετάστηκαν διεξοδικά στο Κεφάλαιο 5. Εκτός των άλλων, σκοπός αυτής της ανάλυσης είναι η αναζήτηση ενεργειών ή ακολουθιών ενεργειών που να υποδηλώνουν την ύπαρξη ουσιαστικής ή σημαντικής αλληλεπίδρασης μεταξύ δύο μαθητών που συνεργάζονται. Συγκεκριμένα παρουσιάζεται η ανάλυση της δραστηριότητας για ένα μικρό και ένα μεγάλο χρονικό παράθυρο, δηλαδή για τα χρονικά παράθυρα των 30 και 480 δευτερολέπτων για τα οποία παρατηρήθηκαν τα βέλτιστα αποτελέσματα μετά την εφαρμογή του αλγόριθμου ΚΝΝ. 190

201 Από το σύνολο των μετρικών που μελετήθηκαν στην πειραματική φάση εξετάζουμε τις μετρικές που απέδωσαν τα βέλτιστα αποτελέσματα αξιολόγησης, όπως περιγράφονται στην παράγραφο (Φάση Γ, Παράγραφος 5.3). Αυτές οι μετρικές δραστηριότητας επιγραμματικά είναι: αριθμός μηνυμάτων (COA), εναλλαγή ρόλων στο εργαλείο ανταλλαγής μηνυμάτων (CALT), αριθμός ενεργειών στον κοινόχρηστο χώρο εργασίας (WOA), εναλλαγή ρόλων στον κοινόχρηστο χώρο εργασίας (WALT), οι μεταβολές μεταξύ διαδοχικών χρονικών παραθύρων για τις προαναφερθείσες μετρικές (DCOA, DCALT, DWOA, DWALT). Αναλυτικά οι μετρικές δραστηριότητας περιγράφονται στην παράγραφο 5.2 και στον πίνακα 5.2. Στον Πίνακα 6-9 παρουσιάζεται ο μέσος όρος των γεγονότων (events) ανά χρονικό παράθυρο, παραδείγματος χάριν ο μέσος όρος μηνυμάτων που ανταλλάσσουν οι χρήστες σε μία περίοδο τριάντα δευτερολέπτων, πόσες φορές αλλάζει κατά μέσο όρο ο αποστολέας του μηνύματος και ούτω καθεξής. Για τα μικρά χρονικά παράθυρα, η δραστηριότητα είναι παρόμοια. Οι ενέργειες των χρηστών στο εργαλείο ανταλλαγής μηνυμάτων έχουν παρόμοια συμπεριφορά κατά μέσον όρο ενώ στον κοινόχρηστο χώρο εργασίας η δραστηριότητα είναι ελαφρώς πιο έντονη όσον αφορά στον όγκο ενεργειών των χρηστών. Κάτι τέτοιο είναι αναμενόμενο καθώς η αύξηση της διαλογικής δραστηριότητας απαιτεί και αύξηση του γνωσιακού φορτίου των χρηστών μέσα στα πλαίσια της διαδικασίας ερωτ-απαντήσεων, κάτι που απαιτεί περισσότερο από 30 δευτερόλεπτα (διαφορά μεταξύ των δύο χρονικών παραθύρων) για να εξελιχθεί. Επιπλέον δεν πρέπει να ξεχνάμε τους χρονικούς περιορισμούς που θέτει και η διαδικασία πληκτρολόγησης μηνύματος, αν και οι χρήστες είναι πλέον εξοικειωμένοι με περιβάλλοντα που υποστηρίζουν αυτόματη ανταλλαγή μηνυμάτων. Αντίθετα η κίνηση ενός χρήστη στον κοινόχρηστο χώρο εργασίας είναι πολύ πιο εύκολη και γρήγορη καθώς οι ενέργειες εκτελούνται με τον κλασικό τρόπο (κίνηση ποντικιού, δεξί/αριστερό κλικ) και αποτελούν αυτοματοποιημένες κινήσεις για τους περισσότερους χρήστες. Για το μεγάλο χρονικό παράθυρο, η δραστηριότητα των χρηστών όσον αφορά στον διάλογο έχει πενταπλασιαστεί τόσο ως προς τον αριθμό των μηνυμάτων που ανταλλάσουν τα συνεργαζόμενα μέρη όσο και ως προς τις εναλλαγές στον ρόλο του αποστολέα των μηνυμάτων, κρατώντας έτσι σταθερό τον λόγο (αριθμός μηνυμάτων)/(αριθμός εναλλαγών αποστολέα). Η δραστηριότητα στον κοινόχρηστο χώρο εργασίας έχει επίσης αυξηθεί, ο αριθμός ενεργειών υπολογίστηκε περίπου έντεκα φορές μεγαλύτερος συγκριτικά με το μικρό παράθυρο ενώ οι εναλλαγές ρόλων εννεαπλασιάστηκαν, αυξάνοντας έτσι και την αναλογία του αριθμού ενεργειών ανά χρήστη. Η αναλογία του αριθμού μηνυμάτων ανά χρήστη, είναι ενδεικτικό στοιχείο της ισορροπίας στον διάλογο που υποδηλώνει την επιτυχή και ουσιώδη επικοινωνία μεταξύ των συνεργατών. Από την άλλη ο αριθμός εναλλαγής χρηστών στον ρόλο του 191

202 αποστολέα περιγράφει την συμμετρία που χαρακτηρίζει τον διάλογο και κατά συνέπεια την ύπαρξη καλής συνεργατικής πρακτικής. Για τα μικρά χρονικά παράθυρα παρατηρούνται κατά μέσο όρο δύο μηνύματα και μία εναλλαγή στον ρόλο αποστολέα μέσα σε ένα χρονικό παράθυρο, υποδηλώνοντας μία διαδικασία ερωτ-απόκρισης ή ανταλλαγής πληροφορίας όπου ο Χρήστης Α κάνει μία ερώτηση (μήνυμα πρώτο) και ο Χρήστης Β απαντά (μήνυμα δεύτερο και εναλλαγή στον ρόλο του αποστολέα από τον Χρήστη Α στον Χρήστη Β). Στην Εικόνα 6-9 παρουσιάζεται σχηματικά αυτή η διαδικασία μέσω διαγράμματος περιπτώσεων χρήσης (use case diagram), όπως επίσης και το αντίστοιχο στιγμιότυπο όπως αποτυπώνεται στην συνεργατική εφαρμογή που διαμεσολαβεί την δραστηριότητα. Για τα μεγάλα χρονικά παράθυρα, ο λόγος αριθμού μηνυμάτων ανά χρήστη διατηρείται σταθερός ενώ δεν παρατηρείται υπερβολικά μεγάλη αύξηση των μεγεθών. Συνεπώς οι μετρικές διαλόγου εμφανίζονται το ίδιο αποδοτικές για τα μικρά όσο και για τα μεγάλα χρονικά παράθυρα, δίνοντας την ευκαιρία να αναγνωριστούν ανισορροπίες και προβληματικές πρακτικές στην εξέλιξη του διαλόγου. Παρόμοια συμπεριφορά παρατηρείται και για τις μετρικές μεταβολής του αριθμού μηνυμάτων και εναλλαγών ρόλων μεταξύ διαδοχικών παραθύρων. Για τα μικρά χρονικά παράθυρα, παρατηρείται πως ο αριθμός μηνυμάτων μεταβάλλεται κατά ±2 μηνύματα ενώ ο αριθμός εναλλαγών ρόλων μεταβάλλεται κατά ±1 εναλλαγή, διατηρώντας έτσι την αναλογία (αριθμός μηνυμάτων)/(αριθμός εναλλαγών αποστολέα) σταθερή. Για παράδειγμα, έτσι θα καταγραφόταν ως χρονοσειρά μία ακολουθία διαλογικής δραστηριότητας όπως παρουσιάζεται στην περίπτωση που περιγράφει η Εικόνα 6-9, όταν ακολουθεί μια παύση ίση με ένα χρονικό παράθυρο στον διάλογο όπου ο χρήστης σκέφτεται την απάντηση που πρέπει να δώσει ή εργάζεται στον κοινόχρηστο χώρο ακολουθώντας κάποια υπόδειξη που έγινε σε προηγούμενο μήνυμα. Τέτοιες συμπεριφορές που αποτυπώνουν αλυσιδωτές αντιδράσεις χρηστών οι οποίες μπορούν και να συσχετιστούν ως ενέργειες αιτίας-αποτελέσματος θεωρούνται ιδιαίτερα σημαντικές και βασικά συστατικά μίας επιτυχούς συνεργατικής πρακτικής καθώς είναι ο πυρήνας της από κοινού δομημένης γνώσης (Meier, A. et al., 2007; Spada, H. et al., 2005; Stahl, G. et al., 2006). Για τα μεγάλα χρονικά παράθυρα οι μετρικές διαφοράς αυξάνονται επίσης, όχι όμως με τον ίδιο ρυθμό μεταβάλλοντας ελάχιστα την αναλογία μηνυμάτων ανά χρήστη. Παρόλα αυτά ο αυξανόμενος όγκος πληροφορίας, δηλαδή η αύξηση στον αριθμό των μηνυμάτων αλλά και οι εναλλαγές δεν μπορούν να αποδοθούν αποκλειστικά και μόνο σε δομημένο διάλογο καθώς είναι αναμενόμενο με την αύξηση της πληροφορίας να έχουμε και εισαγωγή θορύβου. 192

203 Πίνακας Μέσος όρος αριθμός γεγονότων/ενεργειών που λαμβάνουν χώρα μέσα σε ένα χρονικό παράθυρο και που περιγράφουν τις χρονοσειρές δραστηριότητας, για τρία χαρακτηριστικά χρονικά παράθυρα. Χρονικό Παράθυρο Μετρική 30 sec 60 sec 480 sec COA CALT WOA WALT DCOA DCALT DWOA DWALT Παραδείγματος χάριν, αυξάνεται η πιθανότητα δύο διαδοχικά μηνύματα να μην αναφέρονται στο ίδιο αντικείμενο και συνεπώς να μην χαρακτηρίζονται από σχέση αιτίας-αποτελέσματος αποτελέσματος ή να αποτελούν στιγμιότυπα διαφορετικών επεισοδίων και τα λοιπά. Σε αυτή την περίπτωση τα δύο χρονικά παράθυρα (μικρά, μεγάλα) έχουν αριθμητικά παρόμοιες περιγραφές, ποιοτικά όμως δεν αποτυπώνουν το ίδιο πράγμα και σύμφωνα με τα αποτελέσματα του μοντέλου όπως περιγράφονται στο Κεφάλαιο 5, επηρεάζει την απόδοση της μεθόδου. Εικόνα 6-9. Στιγμιότυπο ανταλλαγής μηνυμάτων και εναλλαγής ρόλων μεταξύ δύο χρηστών στην διαλογική διαδικασία. Για την δραστηριότητα στον κοινόχρηστο χώρο εργασίας παρατηρείται πολύ μεγάλη διαφορά μεταξύ των δύο χρονικών παραθύρων ως προς των όγκο των ενεργειών που λαμβάνουν χώρα, η οποία όμως δεν ακολουθείται από αντίστοιχη συμπεριφορά στην εναλλαγή ρόλων. Έτσι για το μικρό χρονικό παράθυρο των 30 δευτερολέπτων 193

204 υπολογίστηκε πως κατά μέσον όρο εκτελούνται τέσσερις ενέργειες ενώ υπάρχει μία εναλλαγή στον ενεργό ρόλο του. Κάθε χρήστης συνεπώς εκτελεί δύο διαδοχικές ενέργειες κατά μέσο όρο σε διάστημα 30 δευτερολέπτων. Εξετάζοντας τα αρχεία δεδομένων παρατηρείται ότι μία τέτοια συμπεριφορά αντιστοιχεί συχνά σε περιπτώσεις όπου δύο χρήστες εργάζονται πάνω στο ίδιο αντικείμενο όπως για παράδειγμα ένας χρήστης εισάγει ένα νέο αντικείμενο στον κοινό χώρο προσδίδοντάς του και κάποιο κωδικοποιημένο όνομα ενώ ο συνεργάτης του το συνδέει με μία ήδη υπάρχουσα δομή ή το μετακινεί σε νέα θέση. Ακόμα όμως και όταν δεν έχουμε τέτοια περίπτωση αποτύπωσης συνεργατικής πρακτικής και οι χρήστες εργάζονται σε διαφορετικά αντικείμενα, οι μετρικές χαρακτηρίζονται από συμμετρία και ισορροπία. Στην περίπτωση που υπάρχει ανισοκατανομή της εργασίας στον κοινόχρηστο χώρο μεταξύ των χρηστών, το μέγεθος του χρονικού παραθύρου επιτρέπει τον εντοπισμό και την καταγραφή της. Αντίθετα για τα μεγάλα χρονικά παράθυρα ο όγκος των ενεργειών ανά χρήστη είναι τόσο μεγάλος που κάνει πρακτικά αδύνατη την ανίχνευση στιγμιότυπων πραγματικής συνεργατικής δραστηριότητας. Έτσι για το παράθυρο των 480 δευτερολέπτων που εξετάζεται εδώ, καταγράφονται κατά μέσο όρο 44 ενέργειες και 9 εναλλαγές ρόλων οδηγώντας σε λόγο σχεδόν πέντε ενεργειών ανά χρήστη, με παρόμοια συμπεριφορά για τις μετρικές που εκφράζουν μεταβολή μεταξύ διαδοχικών χρονικών παραθύρων. Ο μεγάλος όγκος πληροφορίας που εισάγεται στο μοντέλο οδηγεί στο συμπέρασμα πως επιτρέπει και την εισαγωγή θορύβου ενώ ο μεγάλος όγκος ενεργειών επισκιάζει τον ρόλο που παίζει η μεταβολή της δραστηριότητας ανάμεσα στα χρονικά παράθυρα. Είναι προφανές παραδείγματος χάριν, πως μία μεταβολή της δραστηριότητας από πέντε ενέργειες σε καμία έχει μεγαλύτερο βάρος από την μεταβολή από 45 ενέργειες σε 40 ή 35. Με αυτόν τον τρόπο οι μικρές διαφορές εξαλείφονται ενώ στην πραγματικότητα το μοντέλο βασίζεται στην ανίχνευση αυτών των μικροδιαφορών στην τακτική και πρακτική των χρηστών. Για τα μικρά χρονικά παράθυρα, οι μετρικές διαλόγου και κοινόχρηστου χώρου εργασίας κινούνται στο ίδιο εύρος τιμών. Για παράδειγμα, δύο μηνύματα και μία εναλλαγή ρόλου κατά μέσο όρο για το εργαλείο ανταλλαγής μηνυμάτων έναντι τεσσάρων ενεργειών και μίας εναλλαγής ρόλου για τον κοινόχρηστο χώρο εργασίας. Αντίθετα αυτή η αναλογία χάνεται όσο μεγαλώνει το χρονικό παράθυρο όπου ο αριθμός ενεργειών και οι εναλλαγές ρόλων αυξάνονται και μάλιστα δυσανάλογα. Στο χρονικό παράθυρο των 480 δευτερολέπτων υπολογίστηκαν δέκα μηνύματα και πέντε εναλλαγές έναντι 44 ενεργειών και εννέα εναλλαγών που αντιστοιχούν στον κοινόχρηστο χώρο. Αυτή η δυσανάλογη αύξηση της δραστηριότητας στον κοινόχρηστο χώρο στα πλαίσια ενός χρονικού παραθύρου έναντι της δραστηριότητας στο εργαλείο ανταλλαγής μηνυμάτων υποδηλώνει πως τα μεγάλα χρονικά παράθυρα δεν είναι κατάλληλα για την περιγραφή της αλληλεπίδρασης μεταξύ του διαλόγου και του 194

205 κοινόχρηστου χώρου. Σημειώνεται πως η συνδυαστική χρήση χρονοσειρών δραστηριότητας του κοινόχρηστου χώρου και του διαλόγου προτάθηκε εξ αρχής προκειμένου να αποτυπωθεί η πιθανή συσχέτιση της ταυτόχρονης δραστηριότητας αυτών των δύο καναλιών επικοινωνίας. Συνεπώς όταν ο όγκος ενεργειών στο ένα μέσο είναι δεκαπλάσιος του άλλου, τότε ο εντοπισμός σχέσεων και αντιστοιχίσεων είναι σχεδόν αδύνατος καθώς η μία δραστηριότητα επισκιάζει πλήρως την άλλη. Αντίθετα, τα μικρά χρονικά παράθυρα διασφαλίζουν ότι η δραστηριότητα θα είναι συγκρίσιμου μεγέθους και συνεπώς θα υπάρχει ισορροπία στην χρήση των κοινόχρηστων πόρων και της ταυτόχρονης δραστηριότητας. Αυτή η θεωρητική, ποιοτική προσέγγιση επιβεβαιώνεται από τα αποτελέσματα του μοντέλου τα οποία έρχονται σε συμφωνία με αντίστοιχες μελέτες του ερευνητικού πεδίου της Υπολογιστικά Υποστηριζόμενης Συνεργατικής Μάθησης. Οι μελέτες αυτές έχουν ως στόχο τους την αναζήτηση μοτίβων σε συνεργατικές δραστηριότητες, οι οποίες να αποκαλύπτουν σχέσεις αιτίας-αποτελέσματος ή δράσης-αντίδρασης, καθώς μέσα από τέτοιες συμπεριφορές επιτυγχάνεται το από-κοινού «κτίσιμο» και η ανταλλαγή γνώσης και ενεργοποιούνται οι γνωσιακοί μηχανισμοί που είναι απαραίτητοι για την επιτυχή έκβαση συνεργατικών, εκπαιδευτικών δραστηριοτήτων ενώ εξετάζεται διεξοδικά η χρονική σχετικότητα των ενεργειών των χρηστών (Suthers, D. D. et al., 2010). Θεωρητικά όσο πιο κοντά χρονικά είναι δύο (ή περισσότερες) ενέργειες τόσο πιο συσχετισμένες αναμένεται να είναι. Ο ακριβής προσδιορισμός όμως αυτού του χρονικού διαστήματος-κατωφλίου που ορίζεται ως «κοντά» είναι εξαιρετικά δύσκολος καθώς εξαρτάται άμεσα και σε μεγάλο βαθμό από την εργασία, τον τύπο επικοινωνίας μεταξύ των χρηστών, την εφαρμογή που υποστηρίζει την δραστηριότητα αλλά και τους ίδιους τους χρήστες. Σε έρευνες με θέμα την συνεργατική επίλυση γρίφων με σύγχρονη επικοινωνία, το χρονικό παράθυρο μέσα στο οποίο λαμβάνουν χώρα συσχετισμένες μεταξύ τους ενέργειες υπολογίστηκε πειραματικά ίσο με 25 δευτερόλεπτα (Schümmer, T. et al., 2005). Από την άλλη, για ασύγχρονη επικοινωνία μέσω κοινόχρηστου χώρου εργασίας, ο αντίστοιχος χρόνος υπολογίστηκε ίσος με δύο λεπτά (Suthers, D. D. et al., 2010). Τα αποτελέσματα αυτά έρχονται σε άμεση συμφωνία με τα αποτελέσματα του μοντέλου που βελτιστοποιούνται για τα μικρά χρονικά παράθυρα,και συγκεκριμένα για το παράθυρο των 30 δευτερολέπτων. Είναι συνεπώς ασφαλές να συμπεράνουμε πως για το συγκεκριμένο σκηνικό (εργασία, τρόπο επικοινωνίας, τύπο ομάδας κλπ) οι σημαντικές και ουσιώδεις αλληλεπιδράσεις που οδηγούν σε επιθυμητά αποτελέσματα, εξελίσσονται σε χρονικά διαστήματα περίπου των 30 δευτερολέπτων και μικρότερα του ενός λεπτού. Κατά την πρώτη πειραματική φάση, πριν εφαρμοστεί ο εξελιγμένος αλγόριθμος ταξινόμησης κοντινότερου γείτονα KNN, το μοντέλο μηχανικής μάθησης είχε την βέλτιστη απόδοση για το χρονικό παράθυρο των εξήντα δευτερολέπτων, κάτι που άλλαξε με την εφαρμογή του αλγορίθμου. Αυτή η μεταβολή θεωρείται ότι 195

206 οφείλεται κατά κύριο λόγο στο ότι το παράθυρο του ενός λεπτού είναι στα όρια της καλής λειτουργίας του αλγορίθμου και αφ ετέρου στον ίδιο τον αλγόριθμο ΚΝΝ και την παρούσα υλοποίησή του. Μία υλοποίηση με χρήση διαφορετικών βαρών ή άλλων εξελιγμένων τεχνικών ταξινόμησης αναμένεται να αμβλύνει αυτές τις διαφορές. 6.8 ΕΠΙΛΟΓΟΣ ΚΕΦΑΛΑΙΟΥ Στον παρόν κεφάλαιο παρουσιάστηκε η αξιολόγηση της προτεινόμενης μεθοδολογίας με βάση ποιοτικούς και ποσοτικούς δείκτες (Παράγραφος 6.2, 6.3). Γι αυτό το σκοπό χρησιμοποιήθηκαν δημοφιλείς και πιστοποιημένες τεχνικές διασταυρωμένης επικύρωσης (cross validation) που χρησιμοποιήθηκαν στη μελέτη της συμπεριφοράς του μοντέλου όταν χρησιμοποιείται ως αυτόματος αξιολογητής σε υποθετικά σενάρια χρήσης. Η απόδοση του μοντέλου και η εγκυρότητα των αποτελεσμάτων του εξετάστηκαν ενδελεχώς ενώ η μέθοδος κρίθηκε επαρκής με βάση τα κριτήρια που θέτει η διεθνής βιβλιογραφία για τις τρεις περιπτώσεις διασταυρωμένης επικύρωσης που εξετάστηκαν. Στη συνέχεια έγινε σύγκριση του μοντέλου με άλλα παραδείγματα αυτόματων τεχνικών αξιολόγησης συνεργατικών δραστηριοτήτων και εξετάστηκαν σε παρόμοια σύνολα δεδομένων. Συγκεκριμένα, έγινε σύγκριση του μοντέλου TSCMoCA με μοντέλο αυτόματης αξιολόγησης που κατασκευάστηκε με τεχνικές παλινδρόμησης (PLSR) και με την περίπτωση βαθμολόγησης από έμπειρους αξιολογητές με χρήση Σχήματος Αξιολόγησης. Τα δύο μοντέλα μηχανικής μάθησης παρουσίασαν παρόμοια απόδοση αλλά πολύ κατώτερη όσον αφορά στην αξιοπιστία των αποτελεσμάτων συγκριτικά με την χρήση των έμπειρων αξιολογητών επιβεβαιώνοντας το συμπέρασμα ότι αν και η χρήση των αυτοματοποιημένων μεθοδολογιών μπορεί να υποβοηθήσει τον αξιολογητή, ο άνθρωπος ως τελικός κριτής δεν δύναται να αντικατασταθεί ολοκληρωτικά (Παράγραφος 6.4). Το μοντέλο PLSR παρουσίασε μεγαλύτερη ακρίβεια αποτελεσμάτων, κάτι που ήταν αναμενόμενο καθώς η υψηλή ακρίβεια είναι εγγενές χαρακτηριστικό μοντέλων αυτού του τύπου, όμως το μοντέλο TSCMoCA κρίνεται πολύ πιο απλό στην υλοποίησή του καθώς δεν απαιτεί ειδική φάση εκπαίδευσης ή προσαρμογής. Επίσης το μεγάλο πλεονέκτημα του μοντέλου TSCMoCA είναι η δυνατότητα χρήσης του σε πραγματικό χρόνο καθώς δεν απαιτεί την ολοκλήρωση της συνεργατικής διαδικασίας, αλλά μπορεί να εκτελείται ταυτόχρονα με την εξέλιξή της. Με αυτόν τον τρόπο γίνεται εφικτή και η υποστήριξη του μαθητή/χρήστη από τον συντονιστή της διαδικασίας με παροχή επιτόπου ανάδρασης (Παράγραφος 6.6). Τέλος πραγματοποιήθηκε ποιοτική ανάλυση της δραστηριότητας όσον αφορά στην συμπεριφορά των μετρικών δραστηριότητας που χρησιμοποιεί η μεθοδολογία και την περίοδο δειγματοληψίας που εκτελεί το μοντέλο. Η διάσταση του χρόνου παίζει τον σημαντικότερο ρόλο στην παρούσα προσέγγιση και συνεπώς κρίθηκε απαραίτητο να 196

207 γίνει αποδόμηση και ανάλυση της δραστηριότητας σε επίπεδο ενεργειών που λαμβάνουν χώρα μέσα σε συγκεκριμένα χρονικά παράθυρα. Απώτερος στόχος ήταν να μελετηθεί πώς μεταβάλλεται ο όγκος της δραστηριότητας και πώς διαφοροποιείται η συμπεριφορά των μετρικών ανάμεσα στα διάφορα χρονικά παράθυρα που μελετήθηκαν καθώς με βάση τα αποτελέσματα τα μικρά χρονικά παράθυρα φάνηκε να αποτυπώνουν καλύτερα την συνεργατική ποιότητα έναντι των μεγαλυτέρων. Η ανάλυση που προηγήθηκε έδειξε πως για τα μικρά χρονικά παράθυρα, οι μετρικές που χρησιμοποιήθηκαν για την δημιουργία των χρονοσειρών δραστηριότητας διατηρούν μία ισορροπία και αναλογία μεταξύ τους ενώ ταυτόχρονα επιτρέπουν σε επεισόδια που θεωρούνται ενδείξεις καλής συνεργατικής πρακτικής να αποτυπωθούν ευδιάκριτα ως γεγονότα με χρονική αλληλουχία και πιθανή σχέση αιτίαςαποτελέσματος. Στα μεγαλύτερα χρονικά παράθυρα, ο μεγάλος όγκος δραστηριότητας έκανε αδύνατη την ανίχνευση τέτοιων μοτίβων αλλά επίσης επέτρεπε και την καταγραφή γεγονότων και ενεργειών ασύνδετων μεταξύ τους που λειτουργούσαν ως θόρυβος για το μοντέλο. Αυτό το συμπέρασμα έρχεται σε απόλυτη συμφωνία με παρόμοιες έρευνες που διαπιστώνουν ότι οι ουσιώδεις και επιθυμητές αλληλεπιδράσεις χρηστών που συνεργάζονται για την επίτευξη κοινού στόχου, συμβαίνουν μεταξύ των στενών χρονικών ορίων των δευτερολέπτων. Κατά τον σχεδιασμό της μεθοδολογίας, ιδιαίτερο μέλημα ήταν η διατήρηση της δομικής απλότητας του, η ευκολία κατανόησης των αποτελεσμάτων, η λειτουργία του προτεινόμενου μοντέλου σε πραγματικό χρόνο και η όσο το δυνατόν απλούστερη «μεταφερσιμότητά» του σε άλλες συνθήκες συνεργασίας. Αυτοί οι περιορισμοί είχαν επίπτωση στην ακρίβεια των αποτελεσμάτων σε πολλές περιπτώσεις. Παρόλα αυτά, λήφθηκαν υπόψη τα μαθήματα προηγούμενων μελετών που δείχνουν ότι η ανθρώπινη κρίση είναι αναντικατάστατη και έτσι προτιμήθηκε να διατηρηθεί η απλότητα σε βάρος της ακρίβειας. Η παρούσα μεθοδολογία δεν φιλοδοξεί συνεπώς να αντικαταστήσει τον άνθρωπο, απλώς να τον υποβοηθήσει σε περιπτώσεις περιορισμένου χρόνου ή εκτεταμένου φόρτου εργασίας ενώ κρίνεται απαραίτητη η συνδυαστική χρήση της με άλλα μεθοδολογικά πλαίσια, ποιοτικά και ποσοτικά, για εξαγωγή εμπεριστατωμένων συμπερασμάτων. 197

208 7 ΚΕΦΑΛΑΙΟ 7. ΣΥΜΠΕΡΑΣΜΑΤΑ ΚΑΙ ΜΕΛΛΟΝΤΙΚΕΣ ΠΡΟΕΚΤΑΣΕΙΣ 7.1 ΕΙΣΑΓΩΓΗ Η παρούσα διδακτορική διατριβή πραγματεύεται την διαδικασία της ανάλυσης και αξιολόγησης συνεργατικών, εκπαιδευτικών δραστηριοτήτων οι οποίες υποστηρίζονται από υπολογιστή. Η σημασία της ανάλυσης και αξιολόγησης της ποιότητας τέτοιων δραστηριοτήτων παρουσιάστηκε στο κεφάλαιο της Βιβλιογραφικής Έρευνας (Κεφάλαιο 2) όπου επίσης παρουσιάστηκαν αντίστοιχες μελέτες στο πεδίο της Υποστηριζόμενης Υπολογιστικά Συνεργατικής Μάθησης (ΥΥΣΜ CSCL) καθώς επίσης και η θέση αυτής της μελέτης στο ερευνητικό πεδίο. Ο στόχος της εργασίας, όπως παρουσιάστηκε στο πρώτο κεφάλαιο, είναι η ανάπτυξη μίας μεθόδου αυτοματοποιημένης ανάλυσης, ταξινόμησης και αξιολόγησης της ποιότητας συνεργατικών δραστηριοτήτων η οποία να μπορεί να χρησιμοποιηθεί τόσο μετά το πέρας των δραστηριοτήτων όσο και κατά τη διάρκεια της εξέλιξής τους. Η αποτίμηση αυτή κρίθηκε σκόπιμο να γίνεται με βάση ποιοτικούς άξονες που τέθηκαν σε προηγούμενες εργασίες (Kahrimanis, G. et al., 2009; Meier, A. et al., 2007; Spada, H. et al., 2005) και αποτέλεσαν το έναυσμα της εργασίας (Κεφάλαιο 3). Η περιγραφή της μεθόδου, τα τυπικά σενάρια χρήσης της αλλά και η πειραματική διαδικασία που ακολουθήθηκε περιγράφονται αναλυτικά στο Κεφάλαιο 4. Τα αποτελέσματα της μεθόδου μετά από χρήση της σε σύνολο δεδομένων υπό πραγματικές συνθήκες παρατίθενται στο Κεφάλαιο 5 ενώ στο Κεφάλαιο 6 η μέθοδος αξιολογείται με βάση ποιοτικά κριτήρια, μεθόδους επικυρωμένης διασταύρωσης αλλά και σε αντιπαράθεση με παρόμοιες μεθοδολογίες. Στο παρόν κεφάλαιο παρατίθενται τα συμπεράσματα τα οποία εξάγονται από το σύνολο της μελέτης καθώς επίσης και οι μελλοντικές, ερευνητικές προεκτάσεις. 7.2 ΣΥΜΠΕΡΑΣΜΑΤΑ Η ερευνητική υπόθεση που εξετάζεται και στην οποία βασίζεται η προτεινόμενη μέθοδος είναι ότι συνεργατικές δραστηριότητες που περιγράφονται από παρόμοιες χρονοσειρές δραστηριότητας θα παρουσιάζουν παρόμοια ποιοτικά χαρακτηριστικά και συνεπώς θα αξιολογούνται παρόμοια. Για την μελέτη της ερευνητικής υπόθεσης, ένα σύνολο δεδομένων συνεργατικών δραστηριοτήτων (συνολικά 228 συνεδρίες) αξιολογήθηκε με χρήση της μεθόδου ως προς την ποιότητα της συνεργασίας αλλά και ως προς τους επί μέρους άξονές της, 198

209 όπως η επικοινωνία, ο συντονισμός και η κοινή επεξεργασία πληροφορίας. Τα αποτελέσματα της μεθόδου αντιπαρατέθηκαν με άλλα μοντέλα αυτόματης αξιολόγησης καθώς επίσης και με κρίσεις έμπειρων αξιολογητών ΑΠΟΤΕΛΕΣΜΑΤΙΚΟΤΗΤΑ ΤΗΣ ΠΡΟΤΕΙΝΟΜΕΝΗΣ ΜΕΘΟΔΟΥ Όπως φάνηκε από την ανάλυση των αποτελεσμάτων και την αξιολόγηση της μεθόδου (κεφάλαια 5 και 6 αντίστοιχα), η ποιότητα της συνεργασίας και των ιδιαίτερων χαρακτηριστικών της αποτυπώνεται στον τρόπο που κατανέμεται η συνεργατική δραστηριότητα στον χρόνο. Τόσο η χρήση χρονοσειρών δραστηριότητας για την ταξινόμηση και αξιολόγηση συνεργατικών συνεδριών όσο και η ποιοτική μελέτη της αλληλεπίδρασης των χρηστών μέσα σε συγκεκριμένα, τακτά χρονικά διαστήματα επιβεβαίωσαν την ερευνητική υπόθεση ενώ επιπλέον επιβεβαιώνουν παρόμοιες μελέτες στον χώρο της ΥΥΣΜ (Schümmer, T. et al., 2005; Suthers, D. & Medina, R., 2011; Suthers, D. D. et al., 2010). Η μέθοδος ταξινόμησης και αξιολόγησης συνεργατικών δραστηριοτήτων που προτάθηκε στην εργασία και υποστηρίζεται από την χρήση ενός μοντέλου μηχανικής μάθησης παρουσιάζει παρόμοια αποτελέσματα όσον αφορά στην εγκυρότητα των αξιολογήσεων με άλλα μοντέλα αυτόματης αξιολόγησης. Αν και πρέπει να σημειωθεί πως υπολείπεται ως προς την ακρίβεια πρόβλεψης αν συγκριθεί με PLSR μοντέλα. Η διαφορά του σφάλματος μεταξύ των δύο μεθόδων είναι της τάξης του 0.1 σε μία κλίμακα πέντε βημάτων και για μη κανονικές κατανομές. Η προτεινόμενη μέθοδος πλεονεκτεί ως προς την απλότητα κατασκευής και λειτουργίας (Παράγραφος 6.6.3). Επιπλέον ο τρόπος λειτουργίας της μεθόδου δεν απαιτεί την ολοκλήρωση της δραστηριότητας αλλά ενδείκνυται και για την αξιολόγησή της σε πραγματικό χρόνο (Παράγραφος 6.4). Συγκεκριμένα μελετήθηκε η απόδοση της μεθόδου ανά χρονικές στιγμές κατά την εξέλιξη της δραστηριότητας. Αναλύοντας τις αξιολογήσεις του μοντέλου ως προς την συσχέτιση και το σφάλμα που παρουσιάζεται κατά τη σύγκριση με τις βαθμολογίες έμπειρων αξιολογητών παρατηρήθηκε πως η μέθοδος αποδίδει ικανοποιητικά αν εφαρμοστεί στο ήμισυ και πέραν της δραστηριότητας. Κάτι τέτοιο είναι ιδιαίτερα σημαντικό καθώς δίνει τη δυνατότητα στον συντονιστή/δάσκαλο να παρακολουθεί μία δραστηριότητα κατά την εξέλιξή της αλλά και να έχει μία κατά προσέγγιση εκτίμηση για το αποτέλεσμα, έτσι ώστε να επέμβει διορθωτικά αν και εφόσον χρειάζεται. Η υποστήριξη παροχής ανάδρασης σε πραγματικό χρόνο στις συνεργαζόμενες ομάδες αποτελεί ένα σημαντικό ερευνητικό κομμάτι της έρευνας στο πεδίο της ΥΥΣΜ. Για την επαρκή υποστήριξη και τη βελτιστοποίηση των αποτελεσμάτων απαιτείται η κατά το δυνατόν λεπτομερέστερη περιγραφή του προβλήματος έτσι ώστε να προκύπτουν σαφείς και ξεκάθαρες οδηγίες προς τα συνεργαζόμενα μέρη (Voyiatzaki, E., 2012). Η προτεινόμενη μέθοδος εξετάστηκε ως προς την ικανότητά της να παρέχει εκτιμήσεις 199

210 για την εξέλιξη των δραστηριοτήτων ανά συνεργατικό άξονα (Παράγραφος 5.5). Από την εκτενή μελέτη που προηγήθηκε, φαίνεται πως οι χρονοσειρές δραστηριότητας περιγράφουν ικανοποιητικά βασικές συνεργατικές διαστάσεις που ορίζονται ως «χαμηλού επιπέδου» όπως η Επικοινωνία και η Κοινή Επεξεργασία Πληροφορίας και οι οποίες θεωρείται ότι αντικατοπτρίζονται ιδιαίτερα στην διαλογική δραστηριότητα που εκτυλίσσεται μεταξύ των συνεργατών. Από την άλλη, για διαστάσεις ανωτέρου επιπέδου που αντιπροσωπεύονται από πιο περίπλοκες δομές αλληλεπίδρασης, όπως για παράδειγμα ο Συντονισμός και η Διαπροσωπική Σχέση μεταξύ συνεργαζόμενων μερών, οι χρονοσειρές δραστηριότητας δεν καταφέρνουν να τις αποτυπώσουν ικανοποιητικά. Αυτό είναι κάτι που παρατηρείται γενικότερα στις αυτοματοποιημένες μεθόδους αξιολόγησης. Μας οδηγεί δε στο συμπέρασμα ότι γενικά οι μετρικές δραστηριότητας όπως υπολογίζονται από τα αρχεία καταγραφής, δεν είναι αρκετές να αποτυπώσουν εξ ολοκλήρου ή τουλάχιστον σε ικανοποιητικό βαθμό ποιοτικά γνωρίσματα ανωτέρου επιπέδου. Η προτεινόμενη μέθοδος επιχειρεί να περιγράψει το «παιχνίδι» και την αλληλεπίδραση των χρηστών μέσα από τη σύγχρονη δραστηριότητά τους σε διαφορετικούς αλλά κοινόχρηστους χώρους, κάνοντας χρήση διαφορετικών μετρικών δραστηριότητας και συνδυάζοντας αυτές σε μία χρονοσειρά (πολυπαραμετρική). Ειδικά στο κεφάλαιο 5 εξετάστηκαν διάφοροι συνδυασμοί μετρικών και ο τρόπος που οι συνδυασμοί αυτοί επιδρούν στην απόδοση της μεθόδου. Αποδείχθηκε στατιστικά πως η συνδυαστική και ταυτόχρονη χρήση βασικών μετρικών δραστηριότητας όπως τα αθροίσματα ενεργειών και ο ρυθμός μεταβολής τους, βελτιστοποιούν τα αποτελέσματα της μεθόδου. Για τη δημιουργία χρονοσειρών δραστηριότητας χρησιμοποιείται μία σταθερή περίοδος δειγματοληψίας η οποία αποδείχθηκε πως παρέχει τα καλύτερα αποτελέσματα όταν είναι μικρότερη του ενός λεπτού (συγκεκριμένα για Τ δειγματοληψίας =30 δευτερόλεπτα). Είναι ασφαλές να συμπεράνουμε πως για σύγχρονες συνεργατικές, εκπαιδευτικές δραστηριότητες επίλυσης προβλήματος, οι ουσιαστικές αλληλεπιδράσεις μεταξύ των χρηστών που υποδηλώνουν μεταφορά και οικοδόμηση κοινής γνώσης και κοινού τόπου επικοινωνίας αλλά και σχέσεις αιτιότητας, συμβαίνουν μέσα σε χρονικά παράθυρα τέτοιου μεγέθους. Από την άλλη όμως, οι σύνθετες δομές που αποτυπώνουν τη δημιουργία στρατηγικής προσέγγισης ή διαμοιρασμού χώρου και χρόνου και απαιτούν μεγαλύτερους χρόνους εξέλιξης, δεν είναι δυνατόν να αποτυπωθούν με αυτήν την προσέγγιση. Συνεπώς, ανώτερες συνεργατικές διαστάσεις, όπως ο Συντονισμός, που εξελίσσονται σε μεγάλα χρονικά διαστήματα είναι αναμενόμενο να μην αξιολογούνται ικανοποιητικά. Στην παράγραφο επιχειρήθηκε η σύγκριση της μεθόδου, κατά την χρήση της ως αυτόματος αξιολογητής, με την διαδικασία αξιολόγησης από ανθρώπους-αξιολογητές με χρήση σχήματος αξιολόγησης. Αν και η απόδοση της μεθόδου κρίνεται 200

211 ικανοποιητική συγκριτικά με άλλα μεθοδολογικά πλαίσια, η διαφορά τόσο στην ακρίβεια όσο και στην εγκυρότητα από τις ανθρώπινες αξιολογήσεις κάνει προφανές ότι δεν δύναται να αντικαταστήσει τον άνθρωπο χωρίς να διακινδυνεύεται σημαντικά η αξιοπιστία των αποτελεσμάτων. Κατ επέκταση, η προτεινόμενη μέθοδος προτείνεται για την παροχή βοήθειας και διευκόλυνσης του συντονιστή/αναλυτή ή αξιολογητή συνεργατικών δραστηριοτήτων και όχι ως υποκατάστατό του ΟΠΤΙΚΟΠΟΙΗΣΗ ΑΠΟΤΕΛΕΣΜΑΤΩΝ Η προτεινόμενη προσέγγιση βασίστηκε στην ερευνητική υπόθεση πως ο τρόπος που κατανέμεται η συνεργατική δραστηριότητα στον χρόνο είναι ενδεικτικός της ποιότητας της συνεργασίας, αφού οι σημαντικές και ουσιώδεις αλληλεπιδράσεις των χρηστών διακρίνονται από χρονική εγγύτητα. Η χρήση χρονοσειρών κάνει εφικτή την αποτύπωση αυτών των αλληλεπιδράσεων ενώ στην παρούσα εργασία χρησιμοποιήθηκαν μαθηματικές μέθοδοι για την επεξεργασία αυτής της πληροφορίας. Αρχικά, επιχειρήθηκε οπτικοποίηση των χρονοσειρών δραστηριότητας, ώστε να επιτευχθεί η χαρτογράφηση χρήσιμων μοτίβων αλληλεπίδρασης. Η πολυπλοκότητα όμως της προσέγγισης κάνει ιδιαίτερα δύσκολη την οπτική επισκόπηση των χρονοσειρων, όπως παρουσιάστηκε στην Παράγραφο 4.4. Υποστηρίζουμε όμως πως με χρήση κατάλληλων μεθόδων οπτικοποίησης οι αλληλεπιδράσεις αυτές είναι δυνατόν να αποτυπωθούν γραφικά και να δώσουν τη δυνατότητα εύκολης και γρήγορης ποιοτικής εκτίμησης. Προκειμένου να υποστηρίξουμε τον ισχυρισμό μας, δοκιμάσαμε τεχνικές οπτικής απεικόνισης που χρησιμοποιούνται στην Ανάλυση Κοινωνικών Δικτύων (Social Network Analysis, SNA) σε ένα δείγμα συνεργατικών δραστηριοτήτων. Για τον σκοπό αυτό χρησιμοποιήθηκε η δικτυακή εφαρμογή Ανάλυσης Κοινωνικών Δικτύων SiSOB Workbench ( ) που έχει αναπτυχθεί από την ομάδα Collide του πανεπιστημίου Duisburg-Essen και έχει χρησιμοποιηθεί σε πλήθος εργασιών (Göhnert, T., Harrer, A., Hecking, T., & Hoppe, H. U., 2013; Hecking, T., Göhnert, T., Zeini, S., & Hoppe, U., 2013). Από το σύνολο των συνεργατικών δραστηριοτήτων που έχουμε στη διάθεσή μας, επιλέχθηκε περιορισμένος αριθμός συνεδριών (συνολικά δέκα συνεδρίες) οι οποίες είχαν αξιολογηθεί θετικά και αρνητικά ως προς την ποιότητα της συνεργασίας. Στη συνέχεια οι δραστηριότητες αυτές μετασχηματίστηκαν κατάλληλα ώστε να μπορούν να αναπαρασταθούν ως κοινωνικά δίκτυα. Κατόπιν προχωρήσαμε στην απεικόνιση των δικτύων αυτών ως γράφων, όπου οι ενέργειες των χρηστών στους κοινόχρηστους χώρους αποτελούν τους κόμβους του γράφου. Προκειμένου να διατηρηθεί η χρονική ακολουθία που χαρακτηρίζει την παρούσα προσέγγιση με χρονοσειρές, οι ακμές του γράφου αναπαριστούν την χρονική εγγύτητα μεταξύ δύο ενεργειών διαφορετικών χρηστών. Λαμβάνοντας υπόψη τα αποτελέσματα της 201

212 παρούσας εργασίας, ως ανώτερο χρονικό όριο τέθηκαν τα 30 δευτερόλεπτα. Δηλαδή ενέργειες που χρονικά απέχουν περισσότερο των 30 δευτερολέπτων θεωρούνται μησυσχετιζόμενες. Στην συνέχεια παρουσιάζονται παραδείγματα των γράφων που σχηματίστηκαν και αναπαριστούν «καλές» και «κακές» συνεργατικές δραστηριότητες. Στην Εικόνα 7-1 παρουσιάζονται παραδείγματα καλών συνεργατικών συνεδριών ενώ στην Εικόνα 7-2 απεικονίζονται στιγμιότυπα από κακές ποιοτικά συνεδρίες. Οι ακμές αναπαριστούν τις αλληλεπιδράσεις που λαμβάνουν χώρα σε χρονικά διαστήματα μικρότερα των 30 δευτερολέπτων και συνεπώς υποδεικνύουν συσχετιζόμενες ενέργειες χρηστών (κόμβοι). Οπτικά παρατηρούμε πως οι συνεδρίες που έχουν βαθμολογηθεί θετικά παρουσιάζουν διαφορετική δομή από τις συνεδρίες που έχουν βαθμολογηθεί αρνητικά. Χαρακτηρίζονται από την ύπαρξη ενεργειών που προκαλούν «αντιδράσεις», δηλαδή ακολουθούνται από ενέργειες που παρουσιάζουν χρονική εγγύτητα και σχηματίζουν ομάδες. Αντίθετα, οι συνεδρίες που χαρακτηρίζονται αρνητικά ως προς την ποιότητά της συνεργασίας δεν εμφανίζουν ανάλογες αστεροειδείς δομές. Κυρίως χαρακτηρίζονται από ζεύγη ενεργειών χρονικά κοντινών που δεν αναπτύσσονται περαιτέρω μέσα σε χρονικό διάστημα 30 δευτερολέπτων. Παρόμοιες παρατηρήσεις έχουν γίνει σε ανάλογες εργασίες που αφορούν στην συνεργασία μεγαλύτερων ομάδων (Hoppe, H. U. et al., 2012; Ifenthaler, D., Masduki, I., & Seel, N. M., 2011). Εικόνα 7-1. Παραδείγματα γράφων συνεργατικών δραστηριοτήτων οι οποίες αναπαριστώνται ως δίκτυα και έχουν αξιολογηθεί θετικά ως προς την Ποιότητα της Συνεργασίας. 202

213 Εικόνα 7-2. Παραδείγματα γράφων συνεργατικών δραστηριοτήτων οι οποίες αναπαριστώνται ως δίκτυα και έχουν αξιολογηθεί αρνητικά ως προς την Ποιότητα της Συνεργασίας ΑΝΑΛΥΣΗ ΠΕΡΙΕΧΟΜΕΝΟΥ Στην παρούσα εργασία χρησιμοποιήθηκαν μαθηματικές μέθοδοι μηχανικής μάθησης και ανάλυσης χρονοσειρών για την εξαγωγή χρήσιμης πληροφορίας από συνεργατικές συνεδρίες. Στην συγκεκριμένη προσέγγιση δεν επιχειρήθηκε η συσχέτιση ενεργειών με βάση των τύπο τους ή το περιεχόμενο. Τεχνικές αναγνώρισης μοτίβων ή ανάλυσης περιεχομένου μπορούν να συνεισφέρουν στην εννοιολογική ανάλυση της δραστηριότητας, συσχετίζοντας το περιεχόμενο του διαλόγου με ενέργειες του κοινόχρηστου χώρου και αντίστροφα. Η ανάλυση διαλόγου με χρήση ποιοτικών μεθόδων ανάλυσης ή τεχνικών επεξεργασίας φυσικού λόγου (natural language processing) χρησιμοποιείται συχνά στο πεδίο της Υπολογιστικά Υποστηριζόμενης Συνεργατικής Μάθησης (De Wever, B. et al., 2006; Strijbos, J.-W., Martens, R. L., Prins, F. J., & Jochems, W. M., 2006) με στόχο την εξαγωγή νοήματος από γλωσσικά δεδομένα, όπως τα μηνύματα κειμένου ή το περιεχόμενο αντικειμένων (artifacts), την ανάδειξη σχέσεων μεταξύ ενεργειών και την κατηγοριοποίηση γραπτών πράξεων. Η επεξεργασία κειμένου και η ανάλυση περιεχομένου κρίνεται απαραίτητη, όπως έγινε εμφανές και στην παρούσα εργασία, αν επιθυμούμε να έχουμε ολοκληρωμένη εικόνα μίας συνεργατικής δραστηριότητας. Εν προκειμένω, η επεξεργασία των περιεχομένων του διαλόγου σε συνδυασμό με τα περιεχόμενα του κοινόχρηστου χώρου εργασίας (λεζάντες ή ετικέτες των κοινόχρηστων αντικειμένων ή σημειώσεις επί του κοινόχρηστου χώρου) αναμένεται να συνεισφέρει στην αποτύπωση των σχέσεων και συσχετίσεων των ενεργειών που εκτυλίσσονται σε διαφορετικούς κοινόχρηστους χώρους αλλά και να «χρωματίσουν» τις αλληλεπιδράσεις των χρηστών. 203

214 7.3 ΜΕΛΛΟΝΤΙΚΕΣ ΠΡΟΕΚΤΑΣΕΙΣ Η παρούσα ερευνητική εργασία παρουσίασε μία πρωτότυπη μέθοδο για την αυτόματη ανάλυση, ταξινόμηση και αξιολόγηση συνεργατικών δραστηριοτήτων. Η μέθοδος μελετά τον τρόπο κατά τον οποίο εξελίσσεται μία συνεργατική δραστηριότητα στο χρόνο λαμβάνοντας υπόψη τη γενικά αποδεκτή άποψη ότι ο χρόνος είναι ένας από τους τρεις κύριους άξονες που διαμορφώνουν και επηρεάζουν την συνεργατική εργασία, μαζί με το μέγεθος της ομάδας και τον τύπο της δραστηριότητας (Persico, D. & Pozzi, F., 2011b; Pozzi, F. & Persico, D., 2013; Reimann, P., 2009). Οι χρονοσειρές δραστηριότητας που χρησιμοποιούνται για την ανάπτυξη της μεθόδου βρίσκουν εφαρμογές σε πολλά ερευνητικά πεδία αλλά έως τώρα δεν συναντώνται στην Υπολογιστικά Υποστηριζόμενη Συνεργατική Μάθηση. Το γεγονός αυτό δίνει τη δυνατότητα υιοθέτησης πλήθους τεχνικών και μεθόδων που εφαρμόζονται επιτυχώς σε άλλα πεδία για τους σκοπούς της ΥΥΣΜ. Η ανάλυση της συνεργατικής δραστηριότητας στον χρόνο μπορεί να συνδυαστεί με την ανίχνευση μοτίβων δραστηριότητας καθώς και οι δύο προσεγγίσεις μελετούν τη συνεργασία ως ακολουθιακή διαδικασία ενώ το παρόν σχήμα αξιολόγησης μπορεί να εμπλουτιστεί με επιπλέον ή διαφορετικού τύπου μετρικές δραστηριότητας ή ανώτερες τεχνικές ταξινόμησης και ομαδοποίησης. Ακόμη η μαθηματική προσέγγιση συνεργατικών δραστηριοτήτων με χρήση χρονοσειρών επιτρέπει την οπτικοποίηση της αλληλεπίδρασης χρηστών και της συμμετοχής τους με νέους τρόπους που δύνανται να συνεισφέρουν στο πεδίο της ΥΥΣΜ (Janssen, J. et al., 2007a; Janssen, J., Erkens, G., Kanselaar, G., & Jaspers, J., 2007b; Medina, R. & Suthers, D., 2009). Η οπτικοποίηση των δεδομένων με χρήση τεχνικών ανάλυσης κοινωνικών δικτύων είναι μία από τις πολλές μεθόδους που δύνανται να χρησιμοποιηθούν για την ανάδειξη χρήσιμων πληροφοριών σχετικά με την φύση και την ποιότητα συνεργατικών δραστηριοτήτων, όπως παρουσιάστηκε σε προηγούμενη παράγραφο (Παράγραφος 7.2.2). Η χρήση χρονοσειρών στην παρούσα εργασία κάνει ενδιαφέρουσα την διαδικασία οπτικοποίησης η οποία αποτελεί εξ ολοκλήρου ένα ξεχωριστό ερευνητικό πεδίο. Μέθοδοι όπως των παράλληλων συντεταγμένων (parallel coordinates) αποτελούν δημοφιλείς προσεγγίσεις, ιδιαίτερα στην περίπτωση που γίνεται χρήση χρονοσειρών ή πολυπαραμετρικών δεδομένων (Shenghui, C., Zhifang, J., Qi, Q., Li, S., & Meng, X., 2012; Walker, J., Geng, Z., Jones, M., & Laramee, R. S., 2012) και προσφέρουν πεδίο πρόσφορο για μελλοντικές έρευνες. Εξ ίσου ενδιαφέρουσα μελλοντική εργασία μπορεί να αποτελέσει η μελέτη της συνεργατικής δραστηριότητας από την σκοπιά της ερευνητικής περιοχής της Επεξεργασίας Σήματος (Signal Processing). Στην παρούσα εργασία προτάθηκε η αποτύπωση και η μελέτη της συνεργατικής δραστηριότητας ως χρονική ακολουθία. Μία τέτοια χρονική ακολουθία, με τον τρόπο που δημιουργήθηκε και χρησιμοποιήθηκε στην προκειμένη περίπτωση, μπορεί να γίνει αντιληπτή και ως 204

215 σήμα διακριτού χρόνου. Κατά συνέπεια είναι δυνατή η χρήση τεχνικών επεξεργασίας σήματος για την ανάλυση συνεργατικών δραστηριοτήτων. Ακόμα πιο ενδιαφέρουσα είναι η προοπτική της μεταφοράς της μελέτης και ανάλυσης της συνεργασίας από το πεδίο του χρόνου στο πεδίο της συχνότητας και με ποιόν τρόπο είναι δυνατόν να αποτυπωθούν έννοιες όπως «δόμηση κοινής γνώσης», «αλληλεπίδραση», «αμοιβαία συνεισφορά» κτλ. Ο διάλογος αλλά και το περιεχόμενο συνεργατικών πράξεων και ενεργειών εμπεριέχουν σημαντική πληροφορία για συνεργατικές διαστάσεις ανώτερου επιπέδου που δεν αποτυπώνεται από μετρικές χαμηλού επιπέδου. Γι αυτό το λόγο θεωρούμε πως είναι σημαντική η χρήση μεθόδων ανάλυσης περιεχομένου για μία πιο ολοκληρωμένη αποτίμηση της ποιότητας της συνεργασίας. Παραδείγματος χάριν, χρήσιμες πληροφορίες για την αλληλεπίδραση των χρηστών και τους γνωσιακούς μηχανισμούς που ενεργοποιούνται κατά την διάρκεια μίας συνεργατικής δραστηριότητας, μπορούν να αντληθούν με τεχνικές ανάλυσης διαλόγου (discourse analysis) ενώ η συντακτική ανάλυση (parsing) δύναται να συνεισφέρει τόσο στην εξαγωγή νοήματος όσο και στον καθορισμό σημασιολογικών συσχετίσεων μεταξύ αντικειμένων (artifacts) ή μηνυμάτων κειμένου. Τέλος, τεχνικές ανάλυσης συναισθήματος (sentiment analysis) μπορούν να χρησιμοποιηθούν για τον προσδιορισμό της συμπεριφοράς ενός χρήστη όσον αφορά είτε στην ίδια τη δραστηριότητα είτε γενικότερα στην συνεργασία. Σε γενικότερο επίπεδο, η μέθοδος είναι σκόπιμο να μελετηθεί και σε άλλα συνεργατικά πλαίσια, για ομάδες περισσότερων συμμετεχόντων, για την περίπτωση ασύγχρονης συνεργασίας αλλά και για μη-εκπαιδευτικές δραστηριότητες. Η γενικότητα της μεθόδου επιτρέπει την εύκολη υιοθέτησή της σε άλλα πλαίσια ενώ θεωρείται πως η απόδοσή της θα παραμείνει ανεπηρέαστη, κάτι όμως που μένει να διαπιστωθεί. Ιδιαίτερα ενδιαφέρουσα θεωρείται η χρήση χρονοσειρών για την αναπαράσταση των αλληλεπιδράσεων χρηστών μέσω κοινωνικών δικτύων καθώς ο όγκος δραστηριότητας είναι αρκετά μεγάλος για να αναλυθεί με ποιοτικές μεθόδους και τα αρχεία καταγραφής περιέχουν πλούτο πληροφορίας. Επιπλέον με χρήση της μεθόδου θα μπορεί να υποστηριχθεί η ομαδοποίηση των χρηστών σύμφωνα με το προφίλ τους, κάτι που εκμεταλλεύονται κατά κόρον τα συστήματα συστάσεων (recommendation systems), ή η συμπεριφορά ομάδων χρηστών σε μελέτες εξόρυξης και διαχείρισης γνώμης (opinion mining). 205

216 8 ΑΝΑΦΟΡΕΣ ΔΙΑΤΡΙΒΗΣ Abdi, H. (2003). Partial least square regression (PLS regression): Thousand Oaks, CA: Sage. Aggarwal, C., Hinneburg, A., & Keim, D. (2001). On the surprising behavior of distance metrics in high dimensional space. Database Theory ICDT 2001, Allan, G. (2003). A critique of using grounded theory as a research method. Electronic Journal of Business Research Methods, 2(1), Antunes, P., Herskovic, V., Ochoa, S. F., & Pino, J. A. (2012). Structuring dimensions for collaborative systems evaluation. ACM Computing Surveys (CSUR), 44(2), 8. Avouris, N., Dimitracopoulou, A., & Komis, V. (2003). On analysis of collaborative problem solving: An object-oriented approach. Computers in Human Behavior, 19(2), Avouris, N., Komis, V., Fiotakis, G., Margaritis, M., & Voyiatzaki, E. (2005). Logging of fingertip actions is not enough for analysis of learning activities. Paper presented at the AIED 05 workshop on Usage analysis in learning systems. Avouris, N., Margaritis, M., & Komis, V. (2004). Modelling Interaction during small-group Synchronous problem solving activities: the Synergo approach. Paper presented at the 2nd International Workshop on Designing Computational Models of Collaborative Learning Interaction, ITS2004, 7th Conference on Intelligent Tutoring Systems, Maceio, Brasil. Avouris, N. M., Dimitracopoulou, A., Komis, V., & Fidas, C. (2002). OCAF: an object-oriented model of analysis of collaborative problem solving. Paper presented at the Proceedings of the Conference on Computer Support for Collaborative Learning: Foundations for a CSCL Community, Boulder, Colorado. Baeza Yates, R., & Pino, J. A. (2006). Towards formal evaluation of collaborative work. INFORMATION RESEARCH-AN INTERNATIONAL ELECTRONIC JOURNAL, 11(4). Bamberger, J., & Schön, D. A. (1983). Learning as reflective conversation with materials: Notes from work in progress. Art Education, 36(2), Barnett, V., & Lewis, T. (1994). Outliers in statistical data (Vol. 3): Wiley New York. Barros, B., Verdejo, M., Read, T., & Mizoguchi, R. (2002). Applications of a collaborative learning ontology MICAI 2002: Advances in Artificial Intelligence (pp ): Springer. Benbunan-Fich, R., & Hiltz, S. R. (1999). Impacts of asynchronous learning networks on individual and group problem solving: A field experiment. Group decision and Negotiation, 8(5), Bentz, V. M., & Shapiro, J. J. (1998). Mindful inquiry in social research: Sage. Bohannan, P. (1953). Concepts of time among the Tiv of Nigeria. Southwestern Journal of Anthropology, Bourguin, G., & Derycke, A. (2000). A reflective CSCL environment with foundations based on the activity theory. Paper presented at the Intelligent Tutoring Systems. Box, G. E. P., Jenkins, G. M., & Reinsel, G. C. (2011). Time series analysis: forecasting and control (Vol. 734): Wiley. Brandes, U., Kenis, P., Lerner, J., & van Raaij, D. (2009). Network analysis of collaboration structure in Wikipedia. Paper presented at the Proceedings of the 18th international conference on World wide web. Bratitsis, T., Dimitracopoulou, A., Martínez-Monés, A., Marcos, J. A., & Dimitriadis, Y. (2008). Supporting members of a learning community using Interaction Analysis tools: The example of the Kaleidoscope NoE scientific network. Paper presented at the Advanced Learning Technologies, ICALT'08. Eighth IEEE International Conference on. Bravo, C., Redondo, M. A., Verdejo, M. F., & Ortega, M. (2008). A framework for process solution analysis in collaborative learning environments. International Journal of Human-Computer Studies, 66(11), Buisine, S., Besacier, G., Aoussat, A., & Vernier, F. (2012). How do interactive tabletop systems influence collaboration? Computers in Human Behavior, 28(1), Çakır, M. P., Zemel, A., & Stahl, G. (2009). The joint organization of interaction within a multimodal CSCL medium. International Journal of Computer-Supported Collaborative Learning, 4(2),

217 Carroll, J. B. (1984). The model of school learning: Progress of an idea. In L. W. Anderson (Ed.), Time and School Learning (pp ). Chambers, J. A., & Sprecher, J. W. (1983). Computer-assisted instruction: Its use in the classroom: Prentice-Hall Englewood Cliffs (NJ). Chao, S., Wong, F., Lam, H. L., & Vai, M. I. (2011). Blind biosignal classification framework based on DTW algorithm. Paper presented at the Machine Learning and Cybernetics (ICMLC), 2011 International Conference on. Chatfield, C. (2003). Analysis of Time Series: An Introduction: CRC press. Chounta, I.-A., & Avouris, N. (2012). Time Series Analysis of Collaborative Activities. In V. Herskovic, H. U. Hoppe, M. Jansen & J. Ziegler (Eds.), Collaboration and Technology (Vol. 7493, pp ): Springer Berlin Heidelberg. Chounta, I.-A., Sintoris, C., Masoura, M., Yiannoutsou, N., & Avouris, N. (2013). The good, the bad and the neutral: an analysis of team-gaming activity. Paper presented at the ECTEL meets ECSCW 2013: Workshop on Collaborative Technologies for Working and Learning, Paphos, Cyprus. Clarà, M. (2012). Time in e-learning Research: A Qualitative Review of the Empirical Consideration of Time in Research into e-learning. ISRN Education, Clark, H. H. (1996). Using language (Vol. 4): Cambridge University Press Cambridge. Cohen, J. (1988). Statistical power analysis for the behavioral sciences (2nd ed.): New Jersey: Lawrence Erlbaum. Cohen, L., Manion, L., & Morrison, K. (2011). Research methods in education: Routledge. Collis, B., & Margaryan, A. (2004). Applying activity theory to computer-supported collaborative learning and work-based activities in corporate settings. Educational Technology Research and Development, 52(4), Cousins, J. B., & Whitmore, E. (1998). Framing participatory evaluation. New directions for evaluation, 1998(80), Cronbach, L. J. (1951). Coefficient alpha and the internal structure of tests. Psychometrika, 16(3), Crook, C. (1994). Computers And the Collaborative Experience of Learning: London, UK: Routledge. Crook, C. (1998). Children as computer users: The case of collaborative learning. Computers & Education, 30(3-4), D Andrea, A., Ferri, F., & Grifoni, P. (2010). An overview of methods for virtual social networks analysis Computational Social Network Analysis (pp. 3-25): Springer. De Wever, B., Schellens, T., Valcke, M., & Van Keer, H. (2006). Content analysis schemes to analyze transcripts of online asynchronous discussion groups: A review. Computers & Education, 46(1), Deng, K., Moore, A. W., & Nechyba, M. C. (1997). Learning to recognize time series: Combining arma models with memory-based learning. Dillenbourg, P. (1999). What do you mean by collaborative learning? Collaborative-learning: Cognitive and computational approaches., Dillenbourg, P., Baker, M. J., Blaye, A., & O'Malley, C. (1996). The evolution of research on collaborative learning. Learning in Humans and Machine: Towards an interdisciplinary learning science., Dubinskas, F. A. (1988). Making time: Ethnographies of high-technology organizations: Temple University Press Philadelphia. Duda, R. O., Hart, P. E., & Stork, D. G. (2012). Pattern classification: John Wiley & Sons. Duque, R., Bravo, C., & Ortega, M. (2012). An ontological approach to automating collaboration and interaction analysis in groupware systems. Knowledge-Based Systems. Duque, R., Noguera, M., Bravo, C., Garrido, J. L., & Rodríguez, M. L. (2009). Construction of interaction observation systems for collaboration analysis in groupware applications. Advances in Engineering Software, 40(12), Dyke, G., Lund, K., & Girardot, J.-J. (2009). Tatiana: an environment to support the CSCL analysis process. Paper presented at the Proceedings of the 9th international conference on Computer supported collaborative learning-volume 1. El Helou, S. (2010). The 3A Interaction Model and Relation-Based Recommender System: Adopting Social Media Paradigms in Designing Personal Learning Environments. ÉCOLE POLYTECHNIQUE FÉDÉRALE DE LAUSANNE. 207

218 Epperson, T. W. (2006). Toward a critical ethnography of librarian-supported collaborative learning. Library Philosophy and Practice, 9(1), 7. Erickson, F. (1992). They know all the lines: Rhythmic organization and contextualization in a conversational listing routine. The contextualization of language, Erkens, G., & Janssen, J. (2008). Automatic coding of dialogue acts in collaboration protocols. International Journal of Computer-Supported Collaborative Learning, 3(4), Everitt, B. S., Landau, S., Leese, M., & Stahl, D. (2011). Miscellaneous Clustering Methods. Fabian, J. (2002). Time and the other: How anthropology makes its object: Columbia University Press. Fawcett, L. M., & Garton, A. F. (2005). The effect of peer collaboration on children's problem-solving ability. British Journal of Educational Psychology, 75(2), Fisher, S. R. A., Genetiker, S., Fisher, R. A., Genetician, S., Britain, G., & Généticien, S. (1970). Statistical methods for research workers (Vol. 14): Oliver and Boyd Edinburgh. Gallardo, J., Bravo, C., & Redondo, M. A. (2012). A model-driven development method for collaborative modeling tools. Journal of Network and Computer Applications, 35(3), Garfinkel, H. (1967). Studies in ethnomethodology: Englewood Cliffs NJ. Garfinkel, H. (1996). Ethnomethodology's program. Social Psychology Quarterly, 59(1), Geertz, C. (1994). Thick description: Toward an interpretive theory of culture. Readings in the philosophy of social science, Giorgino, T. (2009). Computing and visualizing dynamic time warping alignments in R: The dtw package. Journal of Statistical Software, 31(7), Glaser, B. G., & Strauss, A. L. (2009). The discovery of grounded theory: Strategies for qualitative research: Transaction Books. Goggins, S., Laffey, J., & Amelung, C. (2011). Context aware CSCL: moving toward contextualized analysis. Paper presented at the Proceedings from CSCL. Göhnert, T., Harrer, A., Hecking, T., & Hoppe, H. U. (2013). A workbench to construct and re-use network analysis workflows: concept, implementation, and example case. Paper presented at the Proceedings of the 2013 IEEE/ACM International Conference on Advances in Social Networks Analysis and Mining. Goodwin, C. (2000). Practices of seeing: Visual analysis: An ethnomethodological approach. Handbook of visual analysis, Gruber, T. R. (1993). A translation approach to portable ontology specifications. Knowledge acquisition, 5(2), Gunawardena, C. N., Lowe, C. A., & Anderson, T. (1997). Analysis of a global online debate and the development of an interaction analysis model for examining social construction of knowledge in computer conferencing. Journal of Educational Computing Research, 17(4), Guribye, F., & Wasson, B. (2002). The ethnography of distributed collaborative learning. Paper presented at the Proceedings of the Conference on Computer Support for Collaborative Learning: Foundations for a CSCL Community. Halatchliyski, I., Hecking, T., Göhnert, T., & Hoppe, H. U. (2013). Analyzing the flow of ideas and profiles of contributors in an open learning community. Paper presented at the Proceedings of the Third International Conference on Learning Analytics and Knowledge. Hämäläinen, W., Suhonen, J., Sutinen, E., & Toivonen, H. (2004). Data mining in personalizing distance education courses. Paper presented at the Proceedings of the 21st ICDE World Conference on Open Learning and Distance Education. Hamilton, M. (1999). Software Development: A Guide to Building Reliable Systems: Prentice Hall Professional. Harasim, L. (1993). Collaborating in cyberspace: Using computer conferences as a group learning environment. Interactive Learning Environments, 3(2), Harper, R. H. R. (2000). The organisation in ethnography a discussion of ethnographic fieldwork programs in CSCW. Computer Supported Cooperative Work (CSCW), 9(2), Harrer, A., Zeini, S., Kahrimanis, G., Avouris, N., Marcos, J. A., Martínez-Mones, A.,... Spada, H. (2007). Towards a flexible model for computer-based analysis and visualization of collaborative learning activities. Paper presented at the Proceedings of the 8th iternational conference on Computer supported collaborative learning. 208

219 Hecking, T., Göhnert, T., Zeini, S., & Hoppe, U. (2013). Task and Time Aware Community Detection in Dynamically Evolving Social Networks. Procedia Computer Science, 18, Henseler, J., Ringle, C., & Sinkovics, R. (2009). The use of partial least squares path modeling in international marketing. Advances in International Marketing (AIM), 20, Hill, T., & Lewicki, P. (2006). Statistics: methods and applications: a comprehensive reference for science, industry, and data mining: StatSoft, Inc. Hine, C. (2008). Virtual ethnography: Modes, varieties, affordances. The SAGE handbook of online research methods, Hmelo-Silver, C. E. (2003). Analyzing collaborative knowledge construction: multiple methods for integrated understanding. Computers & Education, 41(4), Hmelo-Silver, C. E. (2006). Analyzing collaborative learning: Multiple approaches to understanding processes and outcomes. Paper presented at the Proceedings of the 7th international conference on Learning sciences. Hopkins, W. (2009). A new view of statistics: A scale of magnitudes for effect statistics. Retrieved July, 16, Hoppe, H. U., Engler, J., & Weinbrenner, S. (2012, 07/2012). The Impact of Structural Characteristics of Concept Maps on Automatic Quality Measurement. Paper presented at the International Conference of the Learning Sciences (ICLS 2012), Sydney, Australia. Ifenthaler, D., Masduki, I., & Seel, N. M. (2011). The mystery of cognitive structure and how we can detect it: tracking the development of cognitive structures over time. Instructional Science, 39(1), Inaba, A., Supnithi, T., Ikeda, M., Mizoguchi, R., & Toyoda, J. i. (2000). An overview of" learning goal ontology. Paper presented at the Proceedings of the Workshop Analysis and Modelling of Collaborative Learning Interactions at the European Conference on Artificial Intelligence ECAI Berlin, Germany. ISO. (1985). Information processing -- Documentation symbols and conventions for data, program and system flowcharts, program network charts and system resources charts ISO 5807:1985. Janssen, J., Erkens, G., & Kanselaar, G. (2007a). Visualization of agreement and discussion processes during computer-supported collaborative learning. Computers in Human Behavior, 23(3), Janssen, J., Erkens, G., Kanselaar, G., & Jaspers, J. (2007b). Visualization of participation: Does it contribute to successful computer-supported collaborative learning? Computers & Education, 49(4), Jarque, C. M., & Bera, A. K. (1980). Efficient tests for normality, homoscedasticity and serial independence of regression residuals. Economics Letters, 6(3), doi: Jasper, R., & Uschold, M. (1999). A framework for understanding and classifying ontology applications. Paper presented at the Proceedings 12th Int. Workshop on Knowledge Acquisition, Modelling, and Management KAW. Jeong, H., & Hmelo-Silver, C. E. (2010). An overview of CSCL methodologies. Paper presented at the Proceedings of the 9th International Conference of the Learning Sciences-Volume 1. Jermann, P., & Dillenbourg, P. (2008). Group mirrors to support interaction regulation in collaborative problem solving. Computers & Education, 51(1), Johnson, R. B., & Onwuegbuzie, A. J. (2004). Mixed methods research: A research paradigm whose time has come. Educational researcher, 33(7), Jordan, B., & Henderson, A. (1995). Interaction analysis: Foundations and practice. The Journal of the Learning Sciences, 4(1), Kahrimanis, G. (2010). Computer Supported Collaborative Learning: Models and Tools Supporting Evaluation. University of Patras. Kahrimanis, G., Chounta, I.-A., & Avouris, N. (2012). Validating Empirically a Rating Approach for Quantifying the Quality of Collaboration. In T. Daradoumis, S. N. Demetriadis & F. Xhafa (Eds.), Intelligent Adaptation and Personalization Techniques in Computer-Supported Collaborative Learning (Vol. 408, pp ): Springer Berlin / Heidelberg. Kahrimanis, G., Chounta, I. A., & Avouris, N. (2010). Study of correlations between logfile-based metrics of interaction and the quality of synchronous collaboration. Paper presented at the 209

220 9th International Conference on the Design of Cooperative Systems, Workshop on Analysing the quality of collaboration, Aix en Provence. Kahrimanis, G., Chounta, I. A., & Avouris, N. (2011). Rating dimensions of collaboration quality in synchronous collaborating dyads: findings and interpretations. Paper presented at the 9th International Conference on Computer Supported Collaborative Learning (CSCL 2011), Hong Kong, China. Kahrimanis, G., Meier, A., Chounta, I.-A., Voyiatzaki, E., Spada, H., Rummel, N., & Avouris, N. (2009). Assessing collaboration quality in synchronous CSCL problem-solving activities: Adaptation and empirical evaluation of a rating scheme Learning in the Synergy of Multiple Disciplines (Vol. 5794, pp ): Springer. Kapur, M., Voiklis, J., & Kinzer, C. K. (2005). Problem solving as a complex, evolutionary activity: a methodological framework for analyzing problem-solving processes in a computer-supported collaborative environment. Paper presented at the Proceedings of th 2005 conference on Computer support for collaborative learning: learning 2005: the next 10 years! Kendon, A. (1992). 13 The negotiation of context in face-to-face interaction. Rethinking context: Language as an interactive phenomenon, 11, 323. Kirschner, P. A., & Erkens, G. (2013). Toward a framework for CSCL research. Educational Psychologist, 48(1), 1-8. Koch, G. G. (1982). Intraclass correlation coefficient. Encyclopedia of statistical sciences, 4, Koschmann, T. (1994). Toward a theory of computer support for collaborative learning. The Journal of the Learning Sciences, 3(3), Koschmann, T., Stahl, G., & Zemel, A. (2004). The video analyst's manifesto:(or the implications of Garfinkel's policies for the development of a program of video analytic research within the learning sciences). Paper presented at the Proceedings of the 6th international conference on Learning sciences. Kothari, C. (2004). Research methodology: methods and techniques: New Age International. Kumar, V. S., Gress, C. L., Hadwin, A. F., & Winne, P. H. (2010). Assessing process in CSCL: An ontological approach. Computers in Human Behavior, 26(5), Larkin, J. H., & Chabay, R. W. (1992). Computer-Assisted Instruction and Intelligent Tutoring Systems: Shared Goals and Complementary Approaches. Technology in Education Series: ERIC. Likert, R. (1932). A technique for the measurement of attitudes. Archives of psychology. Lipponen, L. (2002). Exploring foundations for computer-supported collaborative learning. Paper presented at the Proceedings of the Conference on Computer Support for Collaborative Learning: Foundations for a CSCL Community. Lipponen, L., Rahikainen, M., Lallimo, J., & Hakkarainen, K. (2003). Patterns of participation and discourse in elementary students computer-supported collaborative learning. Learning and instruction, 13(5), Litwin, M. S. (1995). How to measure survey reliability and validity (Vol. 7): Sage. Lonchamp, J. (2008). Interaction analysis supporting participants self-regulation in a generic CSCL system Times of Convergence. Technologies Across Learning Contexts (pp ): Springer. Lotte, F., Congedo, M., Lécuyer, A., Lamarche, F., & Arnaldi, B. (2007). A review of classification algorithms for EEG-based brain computer interfaces. Journal of neural engineering, 4. Lund, K. (2011). Analytical frameworks for group interactions in CSCL systems Analyzing Interactions in CSCL (pp ): Springer. Marcos-García, J. A., Martínez-Monés, A., Dimitriadis, Y., Anguita-Martínez, R., Ruiz-Requies, I., & Rubia-Avi, B. (2009). Detecting and solving negative situations in real CSCL experiences with a Role-based Interaction Analysis approach Intelligent Collaborative E-Learning Systems and Applications (pp ): Springer. Marcos-Garcıa, J. A., Martınez-Monés, A., Dimitriadis, Y., & Rodrıguez-Triana, M. J. (2008). Role- AdaptIA: A role-based adaptive tool for interaction analysis. Margaritis, M. (2006). Ανάλυση και υποστήριξη της συνεργασίας μικρών ομάδων με χρήση διαγραμματικών αναπαραστάσεων. Πανεπιστήμιο Πατρών, Πάτρα. Retrieved from Marra, R. M., Moore, J. L., & Klimczak, A. K. (2004). Content analysis of online discussion forums: A comparative analysis of protocols. Educational Technology Research and Development, 52(2),

221 Marshall, P., Hornecker, E., Morris, R., Dalton, S., & Rogers, Y. (2008). When the fingers do the talking: A study of group participation for different kinds of shareable surfaces. Martin, P. Y., & Turner, B. A. (1986). Grounded theory and organizational research. The Journal of Applied Behavioral Science, 22(2), Martínez-Monés, A., Harrer, A., & Dimitriadis, Y. (2011). An interaction-aware design process for the integration of interaction analysis into mainstream CSCL practices Analyzing Interactions in CSCL (pp ): Springer. Martinez, A., Dimitriadis, Y., & De La Fuente, P. (2003). Towards an xml-based representation of collaborative action. Paper presented at the International Conference on Computer Support for Collaborative Learning, Bergen, Norway. Martınez, A., Dimitriadis, Y., Rubia, B., Gómez, E., & De La Fuente, P. (2003). Combining qualitative evaluation and social network analysis for the study of classroom social interactions. Computers & Education, 41(4), MathBits.com. Retrieved 14/10/2013, 2013, from Medina, R., & Suthers, D. (2009). Using a contingency graph to discover representational practices in an online collaborative environment. Research and Practice in Technology Enhanced Learning, 4(03), Meier, A., Spada, H., & Rummel, N. (2007). A rating scheme for assessing the quality of computersupported collaboration processes. International Journal of Computer-Supported Collaborative Learning, 2(1), Mercer, N. (2008). The seeds of time: Why classroom dialogue needs a temporal analysis. The Journal of the Learning Sciences, 17(1), Messick, S. (1995). Standards of validity and the validity of standards in performance asessment. Educational Measurement: Issues and Practice, 14(4), 5-8. Mitchell, T. M. (1999). Machine learning and data mining. Communications of the ACM, 42(11), Murray, T. (1999). Authoring intelligent tutoring systems: An analysis of the state of the art. International Journal of Artificial Intelligence in Education (IJAIED), 10, Nardi, B. A. (1996). Context and consciousness: Activity theory and human computer interaction: The MIT Press. Nardi, B. A. (2005). Objects of desire: Power and passion in collaborative activity. Mind, Culture, and Activity, 12(1), Nguyen, L. T., Wu, P., Chan, W., Peng, W., & Zhang, Y. (2012). Predicting collective sentiment dynamics from time-series social media. Paper presented at the Proceedings of the First International Workshop on Issues of Sentiment Discovery and Opinion Mining. Nickerson, R. S. (1999). How we know and sometimes misjudge what others know: Imputing one's own knowledge to others. Psychological bulletin, 125(6), 737. Noguera, M., Hurtado, M. V., Rodríguez, M. L., Chung, L., & Garrido, J. L. (2010). Ontology-driven analysis of UML-based collaborative processes using OWL-DL and CPN. Science of Computer Programming, 75(8), O'Neill, J., & Martin, D. (2003). Text chat in action. Paper presented at the Proceedings of the 2003 international ACM SIGGROUP conference on Supporting group work. Olson, G. M., Herbsleb, J. D., & Rueter, H. H. (1994). Characterizing the sequential structure of interactive behaviors through statistical and grammatical techniques. Human-Computer Interaction, 9(4), Osborne, J. W., & Overbay, A. (2004). The power of outliers (and why researchers should always check for them). Practical assessment, research & evaluation, 9(6), Pea, R. D. (1994). Seeing what we build together: Distributed multimedia learning environments for transformative communications. The Journal of the Learning Sciences, 3(3), Persico, D., & Pozzi, F. (2011a). Task, Teams and Time: three Ts to structure CSCL processes. Techniques for fostering collaboration in online learning communities: Theoretical and practical perspectives, Persico, D., & Pozzi, F. (2011b). Task, Teams and Time: three Ts to structure CSCL processes Techniques for fostering collaboration in online learning communities: Theoretical and practical perspectives (pp. 1-14). Piaget, J., Elkind, D., & Tenzer, A. (1967). Six psychological studies: Random House New York. 211

222 Portney, L. G., & Watkins, M. P. (1993). Foundations of clinical research: Pearson/Prentice Hall. Pozzi, F., & Persico, D. (2013). Sustaining learning design and pedagogical planning in CSCL. Research in Learning Technology, 21. Psotka, J., Massey, L. D., & Mutter, S. A. (1988). Intelligent tutoring systems: Lessons learned: Routledge. RCoreTeam. (2013). R: A language and environment for statistical computing. Vienna, Austria: R Foundation for Statistical Computing. Retrieved from Rebedea, T., Dascalu, M., Trausan-Matu, S., Banica, D., Gartner, A., Chiru, C., & Mihaila, D. (2010). Overview and preliminary results of using polycafe for collaboration analysis and feedback generation Sustaining TEL: From Innovation to Learning and Practice (pp ): Springer. Reffay, C., & Chanier, T. (2003). How social network analysis can help to measure cohesion in collaborative distance-learning. Paper presented at the proceeding of Computer Supported Collaborative Learning conference (CSCL'2003). Reimann, P. (2009). Time is precious: Variable-and event-centred approaches to process analysis in CSCL research. International Journal of Computer-Supported Collaborative Learning, 4(3), Romero, C., & Ventura, S. (2007). Educational data mining: A survey from 1995 to Expert Systems with Applications, 33(1), Roschelle, J., & Teasley, S. D. (1995). The construction of shared knowledge in collaborative problem solving. Paper presented at the Computer supported collaborative learning. Rosé, C., Wang, Y.-C., Cui, Y., Arguello, J., Stegmann, K., Weinberger, A., & Fischer, F. (2008). Analyzing collaborative learning processes automatically: Exploiting the advances of computational linguistics in computer-supported collaborative learning. International Journal of Computer- Supported Collaborative Learning, 3(3), Rummel, N., & Spada, H. (2004). Cracking the nut: but which nutcracker to use? diversity in approaches to analyzing collaborative processes in technology-supported settings. Paper presented at the Proceedings of the 6th international conference on Learning sciences. Rummel, N., & Spada, H. (2005). Learning to collaborate: An instructional approach to promoting collaborative problem solving in computer-mediated settings. The Journal of the Learning Sciences, 14(2), Sacks, H., Jefferson, G., & Schegloff, E. A. (1992). Lectures on conversation (Vol. 1): Blackwell Oxford. Sanderson, P., Scott, J., Johnston, T., Mainzer, J., Watanabe, L., & James, J. (1994). MacSHAPA and the enterprise of exploratory sequential data analysis (ESDA). International Journal of Human- Computer Studies, 41(5), Sanderson, P. M., & Fisher, C. (1994). Exploratory sequential data analysis: Foundations. Human Computer Interaction, 9(3-4), Schümmer, T., Strijbos, J. W., & Berkel, T. (2005). A new direction for log file analysis in CSCL: Experiences with a spatio-temporal metric. Paper presented at the 2005 Conference on Computer Supported Collaborative Learning (CSCL'05). Schellens, T., & Valcke, M. (2005). Collaborative learning in asynchronous discussion groups: What about the impact on cognitive processing? Computers in Human Behavior, 21(6), Scott, J. (2000). Social network analysis: A handbook: Sage Publications Limited. Senin, P. (2008). Dynamic time warping algorithm review. Information and Computer Science Department University of Hawaii at Manoa Honolulu, USA, Shapiro, S. S., & Wilk, M. B. (1964). An analysis of variance test for normality(complete samples). Shellman, S. M. (2004). Time series intervals and statistical inference: The effects of temporal aggregation on event data analysis. Political Analysis, 12(1), Shen, H.-B., Yang, J., & Chou, K.-C. (2006). Fuzzy KNN for predicting membrane protein types from pseudo-amino acid composition. Journal of theoretical biology, 240(1), Shenghui, C., Zhifang, J., Qi, Q., Li, S., & Meng, X. (2012). The Polar Parallel Coordinates Method for Time-Series Data Visualization. Paper presented at the Computational and Information Sciences (ICCIS), 2012 Fourth International Conference on. Siegel, S., & Castellan, N. J. J.(1988). Nonparametric Statistics for the Behavioral Sciences. McGraw- HiU Book Company, New York. Skinner, B. F. (1968). The technology of teaching. 212

223 Soller, A., Martínez, A., Jermann, P., & Muehlenbrock, M. (2005). From mirroring to guiding: A review of state of the art technology for supporting collaborative learning. International Journal of Artificial Intelligence in Education, 15(4), Spada, H., Meier, A., Rummel, N., & Hauser, S. (2005). A new method to assess the quality of collaborative process in CSCL. Paper presented at the Proceedings of th 2005 conference on Computer support for collaborative learning: learning 2005: the next 10 years! Stahl, G. (2002a). Contributions to a theoretical framework for CSCL. Paper presented at the Proceedings of the Conference on Computer Support for Collaborative Learning: Foundations for a CSCL Community. Stahl, G. (2002b). Rediscovering CSCL. Paper presented at the CSCL 2: Carrying forward the conversation. Stahl, G. (2004). Building collaborative knowing What we know about CSCL (pp ): Springer. Stahl, G., Koschmann, T., & Suthers, D. (2006). Computer-supported collaborative learning: An historical perspective. Cambridge handbook of the learning sciences, Stefan, A., Athitsos, V., & Das, G. (2012). The move-split-merge metric for time series. Stefanowski, J. (2008). Data Mining - Evaluation of Classifiers. Poznan, Poland: Poznan University of Technology. Streeck, J., & Mehus, S. (2005). Microethnography: The study of practices. Handbook of language and social interaction, Strijbos, J.-W., Martens, R. L., Prins, F. J., & Jochems, W. M. (2006). Content analysis: What are they talking about? Computers & Education, 46(1), Suthers, D., Dwyer, N., Medina, R., & Vatrapu, R. (2007). A framework for eclectic analysis of collaborative interaction. Paper presented at the Proceedings of the 8th iternational conference on Computer supported collaborative learning. Suthers, D., Dwyer, N., Vatrapu, R., & Medina, R. (2007). An abstract transcript notation for analyzing interactional construction of meaning in online learning. Paper presented at the System Sciences, HICSS th Annual Hawaii International Conference on. Suthers, D., & Medina, R. (2011). Tracing interaction in distributed collaborative learning Analyzing Interactions in CSCL (pp ): Springer. Suthers, D. D. (2006a). A qualitative analysis of collaborative knowledge construction through shared representations. Research and Practice in Technology Enhanced Learning, 1(02), Suthers, D. D. (2006b). Technology affordances for intersubjective meaning making: A research agenda for CSCL. International Journal of Computer-Supported Collaborative Learning, 1(3), Suthers, D. D., Dwyer, N., Medina, R., & Vatrapu, R. (2010). A framework for conceptualizing, representing, and analyzing distributed interaction. International Journal of Computer- Supported Collaborative Learning, 5(1), Suthers, D. D., Lund, K., Rosé, C. P., & Teplovs, C. (2013). Achieving productive multivocality in the analysis of group interactions Productive multivocality in the analysis of group interactions (pp ): Springer. Tang, T. Y., & McCalla, G. (2002). Student modeling for a web-based learning environment: a data mining approach. Paper presented at the AAAI/IAAI. Tashakkori, A., & Teddlie, C. (2003). Handbook of mixed methods in social & behavioral research: Sage. Ten Have, P. (2007). Doing conversation analysis: Sage. Teplovs, C., & Scardamalia, M. (2007). Visualizations for knowledge building assessment. Paper presented at the AgileViz workshop, CSCL. Vadivel, A., Majumdar, A., & Sural, S. (2003). Performance comparison of distance metrics in contentbased image retrieval applications. Paper presented at the Proc. of Internat. Conf. on Information Technology, Bhubaneswar, India. Valsiner, J., & Van der Veer, R. (2000). The social mind: Construction of the idea: Cambridge University Press. Vasileiadou, E. (2009). Stabilisation operationalised: Using time series analysis to understand the dynamics of research collaboration. Journal of Informetrics, 3(1), Veerman, A., & Veldhuis-Diermanse, E. (2001). Collaborative learning through computer-mediated communication in academic education. 213

224 Vlachos, M., Hadjieleftheriou, M., Gunopulos, D., & Keogh, E. (2003). Indexing multi-dimensional timeseries with support for multiple distance measures. Paper presented at the Proceedings of the ninth ACM SIGKDD international conference on Knowledge discovery and data mining. Vlachos, M., Kollios, G., & Gunopulos, D. (2002). Discovering similar multidimensional trajectories. Paper presented at the Data Engineering, Proceedings. 18th International Conference on. Voyiatzaki, E. (2012). Μελέτη και ανάλυση περιβάλλοντος υποστήριξης καθηγητή για την επίβλεψη συνεργασίας μικρών ομάδων. Πανεπιστήμιο Πατρών, Πάτρα. Retrieved from Voyiatzaki, E., & Avouris, N. (2014). Support for the teacher in technology-enhanced collaborative classroom. Education and Information Technologies, 19(1), doi: /s Voyiatzaki, E., Polyzos, P., & Avouris, N. (2008). Teacher tools in a networked learning classroom: monitor, view and interpret interaction data. Paper presented at the Networked Learning Conference, Halkidiki, Greece. Vygotskiĭ, L. S. (1997). The collected works of LS Vygotsky (Vol. 3): Springer. W3C. (2012). OWL 2 Web Ontology Language Document Overview (Second Edition) Retrieved 26/12/2013, from Walker, J., Geng, Z., Jones, M., & Laramee, R. S. (2012). Visualization of large, time-dependent, abstract data with integrated spherical and parallel coordinates. EuroVis Short Papers, Warren Liao, T. (2005). Clustering of time series data a survey. Pattern Recognition, 38(11), Wasserman, S. (1994). Social network analysis: Methods and applications (Vol. 8): Cambridge university press. Wegner, D. M. (1987). Transactive memory: A contemporary analysis of the group mind Theories of group behavior (pp ): Springer. Weinberger, A., & Fischer, F. (2006). A framework to analyze argumentative knowledge construction in computer-supported collaborative learning. Computers & Education, 46(1), Wellman, B., Salaff, J., Dimitrova, D., Garton, L., Gulia, M., & Haythornthwaite, C. (1996). Computer networks as social networks: Collaborative work, telework, and virtual community. Annual review of sociology, Zeini, S., Gohnert, T., Hoppe, U., & Krempel, L. (2012). The impact of measurement time on subgroup detection in online communities. Paper presented at the Proceedings of the 2012 International Conference on Advances in Social Networks Analysis and Mining (ASONAM 2012). Zerubaval, E. (1985). Hidden Rhythms: schedules and calendars in social life: University of California Pr. Zerubavel, E. (1979). Patterns of time in hospital life: University of Chicago Press Chicago. Zurita, G., & Nussbaum, M. (2007). A conceptual framework based on activity theory for mobile CSCL. British Journal of Educational Technology, 38(2),

225 9 ΔΗΜΟΣΙΕΥΣΕΙΣ Διεθνή και Ελληνικά Συνέδρια [c1] Kahrimanis, G., Meier, A., Chounta, I.A., Voyiatzaki, E., Spada, H., Rummel, N., Avouris, N. (2009). Assessing collaboration quality in synchronous CSCL problemsolving activities: Adaptation and empirical evaluation of a rating scheme. In EC-TEL 2009, LNCS, vol. 5794, October 2009, Springer-Verlag, pp [c2] Chounta, I.A., Avouris, N. (2009). Heuristic Evaluation of an Argumentation Tool used by Communities of Practice. In EC-TEL 2009 Workshop: "TEL-CoPs'09: 3rd International Workshop on Building Technology Enhanced Learning solutions for Communities of Practice" [c3] Kahrimanis, G., Chounta, I.A., Avouris, N., (2010). Study of correlations between logfile-based metrics of interaction and the quality of synchronous collaboration, 9th International Conference on the Design of Cooperative Systems, Workshop on Analysing the quality of collaboration, Aix en Provence, May Published in International Reports on Socio-Informatics (IRSI), 7(1), [c4] Kahrimanis G., Chounta I.A., Avouris N., (2010) Determining relations between core dimensions of collaboration quality - A multidimensional scaling approach, In the 2nd International Conference on Intelligent Networking and Collaborative Systems (INCoS 2010) (INCoS 2010 Proceedings, pp , ISBN: /10, 2010 IEEE, DOI: /INCOS ) [c5] Chounta I.A., Avouris N., Study of the effect of awareness on synchronous collaborative problem-solving, In the 2nd International Conference on Intelligent Networking and Collaborative systems (INCoS 2010) (INCoS 2010 Proceedings, pp , ISBN: /10, 2010 IEEE, DOI: /INCOS ). [c6] Katsini C., Raptis G., Chounta I-A., (2010). Synergo v.5: A collaborative application for Tablets, In Proceedings of the 4th Conference of Electrical and Computer Engineering Students, Demonstrations Section, Patras, Greece (in Greek) [c7] Chounta, I.A., Avouris, N. Groupware Evaluation: An Overview. In 1st European Workshop on HCI Design and Evaluation: The influence of domains. Limassol, Cyprus, April 8th, 2011 [c8] Chounta, I.A., Avouris, N. A case study: Tablets in orchestrated, collaborative activities. In 2nd STELLARnet Alpine Rendez-Vous, Workshop 4: Structuring online collaboration through 3 Ts: task time & teams. France, March 27-31,

226 [c9] Kahrimanis G., Chounta I.A., Avouris N., (2011),"Rating dimensions of collaboration quality in synchronous collaborating dyads: findings and interpretations", in Connecting Computer-Supported Collaborative Learning to Policy and Practice: CSCL2011 Conference Proceedings. Volume I Long Papers, International Society of the Learning Sciences, Spada, H., Stahl, G., Miyake, N., Law, N. (Eds.) (2011). 9th International Conference on Computer Supported Collaborative Learning (CSCL 2011). Hong Kong, China, pp [c10] Chounta, I.A., and N. Avouris, (2012). Time Series Analysis of Collaborative Activities, In Collaboration and Technology, edited by V. Herskovic, H. Hoppe, M. Jansen, and J. Ziegler, 7493: Lecture Notes in Computer Science. Springer Berlin / Heidelberg, [c11] Chounta, Irene-Angelica; Sintoris, Christos; Masoura, Melpomeni; Yiannoutsou, Nikoleta; Avouris, Nikolaos (2013). The good, the bad and the neutral: an analysis of team-gaming activity. In: EC-TEL meets ECSCW: Workshop on Collaborative Technologies for Working and Learning, Paphos, Cyprus [c12] Chounta, Irene-Angelica, Avouris Nikolaos, It s all about time: towards the realtime evaluation of collaborative activities, The 14th IEEE International Conference on Advanced Learning Technologies - ICALT2014, Advanced Technologies for Supporting Open Access to Formal and Informal Learning, July 7-9, 2014 (to appear) [c13] Chounta, I.A., Hecking, T., Hoppe, H.U., Avouris, N.(2014) Two make a network: using network graphs to assess the quality of collaboration of dyads, CRIWG 2014, Chile (to appear) [c14] Chounta, I.A., Giemza, A., Hoppe, H.U.(2014). Multilevel analysis of Collaborative Activities based on a Mobile Learning Scenario for Real Classrooms, Collabtech 2014, Chile (to appear) Κεφάλαια Βιβλίων [v1] Kahrimanis, G., I.A. Chounta, and N. Avouris, (2012). Validating Empirically a Rating Approach for Quantifying the Quality of Collaboration. In Intelligent Adaptation and Personalization Techniques in Computer-Supported Collaborative Learning, edited by T. Daradoumis, et al., 408: Studies in Computational Intelligence. Springer Berlin / Heidelberg, Περιοδικά [j1] Chounta Irene-Angelica, Avouris Nikolaos: Towards a time series approach for the classification and evaluation of collaborative activities. In: Journal of Computing and Informatics (to appear) 216

227 [j2] Chounta, I.A. and Avouris, N. (2014). Towards the real-time evaluation of collaborative activities: Integration of an automatic rater in the classroom from the teacher s perspective, In: Education and Information Technologies Journal, Springer (submitted) 217

228 218

229 10 ΠΑΡΑΡΤΗΜΑ Α Συνολικά Αποτελέσματα Πειραματικής Διαδικασίας Στο παρόν παράρτημα παρουσιάζονται συνολικά τα αποτελέσματα της πειραματικής διαδικασίας. Η πειραματική διαδικασία περιγράφεται στο Κεφάλαιο 4 της διδακτορικής διατριβής ενώ τα κυριότερα αποτελέσματα παρουσιάζονται στο Κεφάλαιο 5. Στους πίνακες που παρατίθενται στη συνέχεια παρουσιάζονται τα αποτελέσματα της διαδικασίας για το σύνολο των παραμέτρων που εξετάστηκαν στα πλαίσια της εργασίας και που παραλείπονται από το κυρίως κείμενο της διατριβής. Η παρουσίαση των αποτελεσμάτων ακολουθεί τη σειρά του Κεφαλαίου 5. Α.1.Αποτελέσματα Α Φάσης - Γενική Διάσταση της Ποιότητας της Συνεργασίας ΠΤΣ Πίνακας 11. Σημαντικές συσχετίσεις ανά μετρική δραστηριότητας διαλόγου για μη κανονικοποιημένες και κανονικοποιημένες αποστάσεις και ανά χρονικό παράθυρο Μη κανονικοποιημένες αποστάσεις ΧΠ #COA #DCOA #CALT #DCALT #CSYM #DCSYM #CTG Κανονικοποιημένες αποστάσεις ΧΠ #COA #DCOA #CALT #DCALT #CSYM #DCSYM #CTG Πίνακας 12. Σημαντικές συσχετίσεις ανά μετρική δραστηριότητας κοινόχρηστου χώρου εργασίας για μη κανονικοποιημένες και κανονικοποιημένες αποστάσεις και ανά χρονικό παράθυρο 219

230 Μη κανονικοποιημένες αποστάσεις Κανονικοποιημένες αποστάσεις ΧΠ #WOA #DWALT #DWSYM #WOA #WSYM #DWSYM #WTG #DWTG Α.2. Αποτελέσματα Φάσης Β - Περίπτωση Α: Πολυπαραμετρικές χρονοσειρές που περιγράφουν όγκο δραστηριότητας Πίνακας 13. Συσχετίσεις και μέσο απόλυτο σφάλμα (ΜΑΕ) για την γενική διάσταση της Ποιότητας της Συνεργασίας και για χρονοσειρές που περιγράφουν όγκο δραστηριότητας, Περίπτωση Α. Ευκλείδεια Απόσταση Manhattan Απόσταση χρονικό παράθυρο Συσχέτιση ΜΑΕ Συσχέτιση ΜΑΕ Α.3. Αποτελέσματα Φάσης Β - Περίπτωση Β: Χρονοσειρές που περιγράφουν ρυθμό μεταβολής όγκου δραστηριότητας στη μονάδα του χρόνου. Πίνακας 14. Συσχετίσεις και μέσο απόλυτο σφάλμα (ΜΑΕ) για την γενική διάσταση της Ποιότητας της Συνεργασίας και την Περίπτωση Β. Ευκλείδεια Απόσταση Manhattan Απόσταση Χρονικό παράθυρο Συσχέτιση ΜΑΕ Συσχέτιση ΜΑΕ

231 Α.4. Αποτελέσματα Φάσης Β - Περίπτωση Γ: Χρονοσειρές που περιγράφουν όγκο δραστηριότητας και τον ρυθμό μεταβολής του, στη μονάδα του χρόνου. Πίνακας 15. Συσχετίσεις και μέσο απόλυτο σφάλμα (ΜΑΕ) για την γενική διάσταση της Ποιότητας της Συνεργασίας και για χρονοσειρές που περιγράφουν συνδυασμό όγκο και ρυθμό μεταβολής δραστηριότητας, Περίπτωση (Γ). χρονικό Ευκλείδεια Απόσταση Manhattan Απόσταση παράθυρο Συσχέτιση ΜΑΕ Συσχέτιση ΜΑΕ Α.5. Αποτελέσματα Φάσης Β - Περίπτωση (Δ): Χρονοσειρές συσχετιζόμενες με την Ποιότητα της Συνεργασίας Πίνακας 16. Συσχετίσεις και μέσο απόλυτο σφάλμα (ΜΑΕ) για την γενική διάσταση της Ποιότητας της Συνεργασίας και για συσχετιζόμενες χρονοσειρές (Περίπτωση (Δ)) Χρονικό Ευκλείδεια Απόσταση Manhattan Απόσταση παράθυρο Συσχέτιση ΜΑΕ Συσχέτιση ΜΑΕ Α.6. Φάση Γ: Εφαρμογή του αλγορίθμου Κ-Πλησιέστερων Γειτόνων (K-Nearest Neighbors KNN) στο προτεινόμενο μοντέλο Πίνακας 17. Δείκτης Συσχέτισης και σφάλμα ΜΑΕ για την Περίπτωση (Γ), τις διάφορες τιμές Κ Γειτόνων (ΚΝ) και για όλα τα χρονικά παράθυρα που εξετάστηκαν 221

232 Κ=1Ν Συσχέτιση ΜΑΕ Συσχέτιση ΜΑΕ Συσχέτιση ΜΑΕ Συσχέτιση ΜΑΕ Συσχέτιση ΜΑΕ Πίνακας 18. Δείκτης Συσχέτισης και σφάλμα ΜΑΕ για την περίπτωση (Δ), τις διάφορες τιμές Κ Γειτόνων (ΚΝ) και για όλα τα χρονικά παράθυρα που εξετάστηκαν Κ=1Ν Κ=10Ν Κ=15Ν Κ=20Ν Κ=30Ν Συσχέτιση ΜΑΕ Συσχέτιση ΜΑΕ Συσχέτιση ΜΑΕ Συσχέτιση ΜΑΕ Συσχέτιση ΜΑΕ Α.7. Φάση Δ: Γενίκευση της χρήσης του μοντέλου για το σύνολο των συνεργατικών διαστάσεων Πίνακας 19. Συσχέτιση και Σφάλμα των αξιολογήσεων από έμπειρους αξιολογητές και από την χρήση του μοντέλου για όλες τις συνεργατικές διαστάσεις και για τις πειραματικές μελέτες Γ.30.Ν15.Μ και Δ.480.Ν15.Μ Συνεργατική Διάσταση Γ.30.Ν15.Μ Συσχέτιση Σφάλμα Συνεργατική Διάσταση Δ.480.Ν15.Μ Συσχέτιση Σφάλμα ΣΔ ΣΔ ΣΔ ΣΔ ΣΔ ΣΔ ΣΔ ΣΔ ΣΔ ΣΔ ΣΔ ΣΔ

233 11 ΠΑΡΑΡΤΗΜΑ Β Γραφικές Αναπαραστάσεις των βασικών Χρονοσειρών Δραστηριότητας, όπως χρησιμοποιήθηκαν στην παρούσα εργασία, για το χρονικό παράθυρο 30 δευτερολέπτων. Στα γραφήματα παρουσιάζονται συγκριτικά πέντε χρονοσειρές δραστηριότητας που έχουν εξαχθεί από συνεργατικές συνεδρίες θετικής ποιότητας και πέντε χρονοσειρές δραστηριότητας συνεδριών αρνητικής ποιότητας συνεργασίας. Η σύγκριση των συνεδριών συνολικά παρουσιάστηκε στο τέταρτο κεφάλαιο της διδακτορικής διατριβής. Β1. Αριθμός Μηνυμάτων (COA - #Chat) ανά χρονικό παράθυρο και Διαφορά αριθμού μηνυμάτων (#DCOA) ανά διαδοχικά χρονικά παράθυρα 223

234 Β2. Αριθμός Εναλλαγών Χρηστών στον ρόλο του αποστολέα γραπτών μηνυμάτων ανά χρονικό παράθυρο (#CALT) και διαφορά στις εναλλαγές χρηστών ανά διαδοχικά χρονικά παράθυρα (#DCALT) 224

235 Β3. Αριθμός Ενεργειών στον Κοινόχρηστο Χώρο Εργασίας ανά χρονικό παράθυρο (#WOA) και διαφορά αριθμού ενεργειών του κοινόχρηστου χώρου ανά διαδοχικά χρονικά παράθυρα (#DWOA) 225

236 Β4. Αριθμός Εναλλαγών στον ενεργό ρόλο χρήστη στον Κοινόχρηστο χώρο εργασίας ανά χρονικό παράθυρο (#WALT) και διαφορά στις εναλλαγές ενεργού ρόλου για τον κοινόχρηστο χώρο εργασίας (#DWALT) 226