Αλληλεπιδραστική Εξιστόρηση

Transcript

1 Interactive storytelling Αλληλεπιδραστική Εξιστόρηση Ευτυχία Γιαννάκη Ενότητα: ΓΤΠ-61 (Πολυμέσα)

2 Αλληλεπιδραστική Εξιστόρηση interactive storytelling Εισαγωγή και ιστορικό υπόβαθρο Υβριδική Προσέγγιση Αρχιτεκτονική της Αλληλεπιδραστικής Μηχανής Εξιστόρησης Κωδικοποίηση και Αξιολόγηση των Τμημάτων της Ιστορίας Παράδειγμα Ιστορίας Κριτήρια Αξιολόγησης και Συμπεράσματα.

3 Αλληλεπιδραστική Εξιστόρηση interactive storytelling Εισαγωγή και ιστορικό υπόβαθρο Υβριδική προσέγγιση Αρχιτεκτονική της Αλληλεπιδραστικής Μηχανής Εξιστόρησης Κωδικοποίηση και Αξιολόγηση των Τμημάτων της Ιστορίας Παράδειγμα Ιστορίας Κριτήρια Αξιολόγησης και Συμπεράσματα.

4 Εισαγωγή Οι ιστορίες, οι μύθοι, τα παραμύθια, οι παραβολές χρησιμοποιούνταν ανέκαθεν για τη μεταφορά πληροφορίας, πολιτισμικών στοιχείων και εμπειριών. Οι νέες τεχνολογίες στις μέρες μας προσφέρουν πιο σύνθετους και ελκυστικούς τρόπους στην εξιστόρηση. Η τάση για σύγκλιση της τεχνολογίας, της διασκέδασης, της τέχνης και της πληροφορικής είναι κυρίαρχη. Η τέχνη της εξιστόρησης μπορεί να χρησιμοποιηθεί ώστε να μεταβιβάσει αποτελεσματικά την πληροφορία σε έναν κόσμο όπου οι υπολογιστές κυριαρχούν.

5 Ιστορικό Υπόβαθρο Η αλληλεπιδραστική εξιστόρηση αποτελεί τομέα ερευνητικής δράσης Πολλές προσεγγίσεις έχουν χρησιμοποιηθεί: Εξιστόρηση σε εμβυθιζόμενο περιβάλλον- Immersive storytelling Αναδυόμενη εξιστόρηση - Emergent storytelling Συστήματα βασισμένα στην πλοκή - Plot-based systems Συστήματα βασισμένα στους χαρακτήρες - Character-based systems Αυτές οι προσεγγίσεις διαφοροποιούνται ως προς τις τεχνικές λύσεις και τα σχεδιαστικά παραδείγματα.

6 Εξιστόρηση σε εμβυθιζόμενο περιβάλλον Immersive storytelling interactive storytelling Σε αυτό το μοντέλο ο χρήστης εμβυθίζεται με τον κατάλληλο εξοπλισμό σε περιβάλλον Virtual Reality -VR

7 Αναδυόμενη εξιστόρηση Emergent storytelling interactive storytelling Σε αυτή την περίπτωση δεν υπάρχει προσχεδιασμένη πλοκή ή χαρακτήρες

8 Συστήματα βασισμένα στην πλοκή Plot-based systems interactive storytelling Αυτά τα συστήματα χρησιμοποιούν δενδροειδείς γράφους στους οποίους αναπαρίστανται τα τμήματα στα οποία διαιρείται η ιστορία. Η πολλαπλές συνδέσεις των τμημάτων παρέχουν και τις εναλλακτικές εκδοχές της ιστορίας που μπορεί να δει ο χρήστης ανάλογα με τις επιλογές του.

9 Συστήματα βασισμένα σε χαρακτήρες Character-based systems interactive storytelling Εδώ ο χρήστης λειτουργεί ως ανεξάρτητος εικονικός ηθοποιός και καθορίζει την εξέλιξη της εφαρμογής

10 Ερευνητικό Υπόβαθρο Οι προσεγγίσεις που χρησιμοποιούνται στη δυναμική εξιστόρηση εμπλέκουν τον τομέα της Αφηγηματικής Νοημοσύνης Η Αφηγηματική Νοημοσύνη αφορά την έρευνα σχετικά με την ανθρώπινη αφηγηματική και εξιστόρηση και τις σχετικές τεχνολογίες. Σχετικά ερευνητικά προγράμματα είναι: CHOROS (N. M. Sgouros) Fuzzy Cognitive Maps (FCM) (E. Maffre) HyperSoap (J. Dakss) Terminal Time (M. Mataes)

11 Αλληλεπιδραστική Εξιστόρηση interactive storytelling Εισαγωγή και ιστορικό υπόβαθρο Υβριδική προσέγγιση Αρχιτεκτονική της Αλληλεπιδραστικής Μηχανής Εξιστόρησης Κωδικοποίηση και Αξιολόγηση των Τμημάτων της Ιστορίας Παράδειγμα Ιστορίας Κριτήρια Αξιολόγησης και Συμπεράσματα.

12 Προσεγγίσεις Καθεμιά από τις διαφορετικές προσεγγίσεις που παρουσιάστηκαν νωρίτερα χρησιμοποιείται στη δυναμική εξιστόρηση έχει τα πλεονεκτήματα και τις αδυναμίες της. Μια υβριδική προσέγγιση αυτών είναι ίσως η καλύτερη λύση για την αξιοποίηση των σχετικών πλεονεκτημάτων και την εξάλειψη των αντίστοιχων αδυναμιών.

13 Αλληλεπιδραστική εξιστόρηση σε περιβάλλον μικτής πραγματικότητας interactive storytelling

14 Υβριδική προσέγγιση Η υβριδική προσέγγιση χρησιμοποιεί έναν γενετικό αλγόριθμο καθώς και περιγράμματα ιστοριών ώστε να κατασκευαστούν τα διάφορα τμήματα της ιστορίας Οι τρέχουσες καταστάσεις αυτών των συστημάτων και η αλληλεπίδραση με τους κανόνες ασαφούς λογικής (fuzzy logic) επιβάλλουν περιορισμούς, τροποποιήσεις και αξιολογήσεις των στοιχείων της ιστορίας που παράγονται από τον γενετικό αλγόριθμο Το τελικό αποτέλεσμα είναι μια μηχανή εξιστόρησης βασισμένη σε περιγράμματα που παρέχει ευελιξία και συνέπεια στην εξιστόρηση.

16 Αρχιτεκτονική του συστήματος Συγγραφείς - αλληλεπιδρώντες Εξελικτικό προγραμματιστικό υποσύστημα (EPS) Ολοκληρωμένο περιβάλλον συγγραφής (IAE) Αξιολογεί / τροποποιεί τις παραμέτρους Παράγει τμήματα ιστορίας Βάση Γνώσης αλληλεπιδράσεις χρήστη Μετατροπή οδηγιών Υποσύστημα βασισμένο σε ασαφείς αποφάσεις (FDBS) Παρακολουθεί / τροποποιεί τις παραμέτρους των κανόνων Στέλνει συνδυασμένες εξόδους Βιβλιοθήκη αντικειμένων / γραφικών (GOL)

17 Αλληλεπιδραστική μηχανή εξιστόρησης Συνδυάζει την έρευνα και τα σύγχρονα χαρακτηριστικά του εξελικτικού προγραμματισμού και της ασαφούς λογικής για την παραγωγή των τμημάτων των ιστοριών. Η λύση μπορεί να είναι οποιοσδήποτε έγκυρος συνδυασμός των τμημάτων της ιστορίας σύμφωνα με τους κανόνες του συγγραφέα, τις δηλώσεις του συστήματος και τα γενικά περιγράμματα. Τα περιγράμματα χρησιμοποιούνται για την περιγραφή των τμημάτων της ιστορίας και την εγκυρότητα συνάφεια των συνόλων ενεργειών, σεναρίων, αντικειμένων και πρακτόρων της εφαρμογής.

18 Αλληλεπιδραστική μηχανή εξιστόρησης Τα Τμήματα της Ιστορίας είναι η αναπαράσταση ενός συγκεκριμένου χρονικού βήματος της ιστορίας. Διευκολύνουν τη διαδικασία κωδικοποίησης του Εξελικτικού Προγραμματιστικού Υποσυστήματος (Evolutionary Programming Subsystem - EPS). Τα Συναφή Σύνολα χρησιμοποιούνται για την κατηγοριοποίηση διαφόρων μονάδων πλοκής, γεγονότων, σεναρίων, ενεργειών και χαρακτήρων στο πλαίσιο των τμημάτων ιστορίας. Ο Εξελικτικός Αλγόριθμος ερευνά το χώρο του προβλήματος χρησιμοποιώντας στιγμιότυπα λύσης κάποιου συγκεκριμένου τμήματος της ιστορίας. Το Βασισμένο σε Ασαφείς Αποφάσεις Υποσύστημα (Fuzzy Decision Based Subsystem - FDBS) επιβάλλει περιορισμούς και αξιολογήσεις στα στιγμιότυπα λύσεων με κανόνες και μεταβλητές της Βάσης Γνώσης.

19 Αλληλεπιδραστική μηχανή εξιστόρησης (συνέχεια) interactive storytelling Η Βάση Γνώσης αποθηκεύει τις αλληλεπιδράσεις του χρήστη, γεγονότα, κανόνες ασαφούς λογικής, συγκεκριμένους κανόνες και διάφορες μεταβλητές που επιτρέπουν την παρακολούθηση της εξέλιξης της ιστορίας. Προκειμένου να διασφαλιστεί η σωστή ανάπτυξη και ολοκλήρωση της ιστορίας πρέπει να δημιουργούνται συγκεκριμένα νήματα εξέλιξης της ιστορίας από τον συγγραφέα που λειτουργούν ως οδηγοί για τη μηχανή. Αυτά τα νήματα εξέλιξης της ιστορίας κωδικοποιούνται ως τμήματα της ιστορίας έτσι ώστε τα στιγμιότυπα λύσεων που παράγονται από το EPS να μπορούν να αξιολογηθούν από το FDBS.

20 Ολοκληρωμένο Σύστημα Συγγραφής Integrated Authoring Environment (IAE) interactive storytelling Πρόκειται για μια συλλογή εργαλείων και διεπαφών που χρησιμοποιούνται από συγγραφείς που δημιουργούν αλληλεπιδραστικές ιστορίες. Η συλλογή των εργαλείων σύνταξης και των βιβλιοθηκών περιλαμβάνει: Εργαλεία Σύνταξης - Editing Tools Χαρακτήρες Πράκτορες Σενάρια Ενεργειών Τμήματα Ιστορίας Το EPS (Εξελικτικό προγραμματιστικό υποσύστημα) Το FDBS (Υποσύστημα βασισμένο σε ασαφείς αποφάσεις) Βιβλιοθήκη - Library Βιβλιοθήκη Αντικειμένων / Γραφικών (GOL)

22 Παραγωγή Ιστορίας : Βήμα 1 interactive storytelling Αλληλεπιδρά Τροποποιεί / καταγράφει την αλληλεπίδραση του χρήστη Ολοκληρωμένο Περιβάλλον Συγγραφής (IAE) Βάση Γνώσης Χρήστης Οχρήστης αλληλεπιδρά με την ιστορία Η Βάση Γνώσης καταγράφει τις αλληλεπιδράσεις του χρήστη

23 Παραγωγή Ιστορίας : Βήμα 2 Αποθηκεύει παραμέτρους από προηγούμενες εκτελέσεις Εξελικτικό Προγραμματιστικό Υποσύστημα (EPS) Βάση Γνώσης Η Βάση Γνώσης αποθηκεύει παραμέτρους από προηγούμενη εκτέλεση του EPS

24 Παραγωγή Ιστορίας : Βήμα 3 Παρέχει κανόνες / παραμέτρους για συγχωνεύσεις και έλεγχο Βάση Γνώσης Υποσύστημα Βασισμένο σε Ασαφείς Αποφάσεις (FDBS) Η Βάση Γνώσης παρέχει διάφορες πληροφορίες και κανόνες για το FDBS Η έξοδος του FDBS καθορίζει τη δύναμη των διαφόρων κανόνων ασαφούς λογικής.

25 Παραγωγή Ιστορίας : Βήμα 4 Υποσύστημα Βασισμένο σε Ασαφείς Αποφάσεις (FDBS) Παρέχει παραμέτρους και πληροφορίες από κανόνες για να παραχθούν τμήματα ιστορίας από τα περιγράμματα Εξελικτικό Προγραμματιστικό Υποσύστημα (EPS) Βάση Γνώσης Παρέχει περιγράμματα και σύνολα συνάφειας που χρησιμοποιούνται για τη δημιουργία των τμημάτων της ιστορίας Η πληροφορία από την Βάση Γνώσης και το FDBS συνενώνονται από το EPS για την παραγωγή νέων τμημάτων ιστορίας

26 Παραγωγή Ιστορίας : Βήμα 5 Αποθηκεύει τμήματα ιστορίας και λοιπή απαραίτητη πληροφορία για ιστορική καταγραφή Εξελικτικό Προγραμματιστικό Υποσύστημα (EPS) Βάση Γνώσης Πληροφορίες κατάστασης του συστήματος αποθηκεύονται στη Βάση Γνώσης ώστε να επιτρέπεται στον χρήστη η επιστροφή σε μια συγκεκριμένη σκηνή της ιστορίας

27 Παραγωγή Ιστορίας : Βήμα 6 Δίνει το τμήμα της ιστορίας διερμηνευμένο με τις κατάλληλες εντολές Βάση Γνώσης Βιβλιοθήκη αντικειμένων / γραφικών (GOL) Το τμήμα της ιστορίας που προκύπτει ως αποτέλεσμα στέλνεται στη GOL προκειμένου να διερμηνευτεί ως μια ακολουθία εντολών

28 Παραγωγή Ιστορίας : Βήμα 7 Βιβλιοθήκη αντικειμένων / γραφικών (GOL) Μετατρέπει διάφορα γραφικά αντικείμενα και πράκτορες Ολοκληρωμένο Περιβάλλον Συγγραφής (IAE) Διάφορα αντικείμενα και πράκτορες παρουσιάζονται στο IAE με βάση τις εντολές που έχουν προκύψει από το προηγούμενο βήμα Αυτά τα βήματα επαναλαμβάνονται μέχρι να ολοκληρωθεί η ιστορία

29 Αρχιτεκτονική του συστήματος Συγγραφείς - αλληλεπιδρώντες Εξελικτικό προγραμματιστικό υποσύστημα (EPS) Ολοκληρωμένο περιβάλλον συγγραφής (IAE) Αξιολογεί / τροποποιεί τις παραμέτρους Παράγει τμήματα ιστορίας Βάση Γνώσης αλληλεπιδράσεις χρήστη Μετατροπή οδηγιών Υποσύστημα βασισμένο σε ασαφείς αποφάσεις (FDBS) Παρακολουθεί / τροποποιεί τις παραμέτρους των κανόνων Στέλνει συνδυασμένες εξόδους Βιβλιοθήκη αντικειμένων / γραφικών (GOL)

31 Κωδικοποιώντας τις παραμέτρους των λειτουργιών με αριθμούς κινητής υποδιαστολής Format κινητής υποδιαστολής Κάθε αριθμός κινητής υποδιαστολής αντιπροσωπεύει ένα γονίδιο σε κάποιο χρωμόσωμα. Έτσι μπορούν να κωδικοποιηθούν οι άγνωστες μεταβλητές μιας διαδικασίας (z = v + w + x) ή μέρη των τμημάτων κάποιας ιστορίας

32 Κωδικοποιώντας τα χρωμοσώματα interactive storytelling Format κινητής υποδιαστολής Τα χρωμοσώματα παράγονται με αλυσιδωτή σύνδεση των αριθμών κινητής υποδιαστολής Για το EPS, ένα χρωμόσωμα αποτελείται από μια σειρά αριθμών κινητής υποδιαστολής Κάθε αριθμός κινητής υποδιαστολής αντιπροσωπεύει μια συγκεκριμένη ακολουθία της ιστορίας σε ένα περίγραμμα.

33 Διασταύρωση Επιλεγμένο σημείο διασταύρωσης Χρωμόσωμα A Χρωμόσωμα B Χρωμόσωμα A* Χρωμόσωμα B* Ο διαχειριστής διασταυρώσεων επιτρέπει στα χρωμοσώματα να ανταλλάσσουν γονίδια Διασταυρώσεις ενός ή περισσοτέρων σημείων υποστηρίζονται από το EPS

34 Μετάλλαξη Σε αυτό το γονίδιο θα συμβεί μετάλλαξη Χρωμόσωμα A Μετά τη μετάλλαξη Χρωμόσωμα A* Ο διαχειριστής μεταλλάξεων τυχαία αλλάζει ένα γονίδιο μέσα στο χρωμόσωμα Εισάγονται με αυτόν τον τρόπο παραλλαγές στον πληθυσμό.

35 Αξιολόγηση καταλληλότητας Χρωμόσωμα στον πληθυσμό Νήμα ιστορίας που έχει δοθεί από τον συγγραφέα και δείχνει ορισμένες προτιμήσεις ή αποφυγή κάποιων ενεργειών ή στιγμιοτύπων αντικειμένων Τα τμήματα της ιστορίας αξιολογούνται σε σχέση με το νήμα ιστορίας που έχει δοθεί από τον συγγραφέα

37 Η ιστορία με τα τρία γουρουνάκια Η γλώσσα StoryML (βασίζεται στην XML) είναι μια από τις γλώσσες κατασκευής αλληλεπιδραστικών ιστοριών που διαχειρίζεται αναπαραστάσεις αλληλεπιδραστικών και κατανεμημένων μέσων. <storyline> <timestep order="1" name="introduction" sequence="and"> <set type="introduction" pickatmost="1"> <element name="act_10" addfitness="1"/> </set> </timestep> <timestep order="2" name="wolf threat" sequence="and"> <set type="wolf threat" pickatmost="1"/> </timestep> <timestep order="3" name="wolf attack" sequence="and"> <set type="wolf attack" pickatmost="2" placement="remove"/> </timestep>

38 «Τα τρία γουρουνάκια» Εισαγωγή Ηαπειλή του λύκου Ηεπίθεση του λύκου Το σχέδιο κατά του λύκου Συμπέρασμα Παρέχει την περιγραφή του υποβάθρου της ιστορίας στον αναγνώστη. Επιπλέον, καθορίζει το σύνολο των περιγραμμάτων που θα χρησιμοποιηθούν στο υπόλοιπο της ιστορίας, επιλέγοντας μια συγκεκριμένη παραλλαγή. Οηθοποιός Λύκος εμφανίζεται. Ανάλογα με την αντίδραση από τα γουρουνάκια, διάφορα στιγμιότυπα ενεργειών μπορούν να υποδείξουν ότι τα γουρουνάκια έχουν παγώσει από το φόβο τους και ότι εφόσον θα φαγωθούν από τον Λύκο η ιστορία θα τελειώσει Όσο ο Λύκος είναι ακόμη ζωντανός ή έστω και ένα γουρουνάκι είναι διαθέσιμο στον Λύκο, αυτό το σύνολο περιγραμμάτων παρέχει διάφορες εναλλακτικές που φέρνουν τον Λύκο να επιτίθεται στα γουρουνάκια και αυτά να αμύνονται με διάφορους τρόπους στις επιθέσεις του. ΟΛύκος μπορεί να σκοτώθηκε ή να εκδιώχθηκε από ένα από τα γουρουνάκια, ή όλα τα γουρουνάκια να φαγώθηκαν από τον λύκο οδηγώντας την ιστορία στο τέλος της.

39 Ξανά με τα χρωμοσώματα interactive storytelling

40 Αλληλεπιδραστική Εξιστόρηση interactive storytelling Εισαγωγή και ιστορικό υπόβαθρο Υβριδική Προσέγγιση Αρχιτεκτονική της Αλληλεπιδραστικής Μηχανής Εξιστόρησης Κωδικοποίηση και Αξιολόγηση των Τμημάτων της Ιστορίας Παράδειγμα Ιστορίας Κριτήρια Αξιολόγησης και Συμπεράσματα

41 Κριτήρια Αξιολόγησης Μηχανής Εξιστόρησης Η ποιότητα της ιστορίας βασίζεται στην αξιολόγηση των γεγονότων από τον χρήστη, στις παραβάσεις σε σχέση με το νήμα ιστορίας που έχει προτείνει ο συγγραφέας Η ταχύτητα επεξεργασίας της μηχανής, η ταχύτητα απόκρισης και εκτέλεσης Η σταθερότητα και η συνέπεια της Βάσης Γνώσης.

42 Συμπεράσματα - Εφαρμογές Ο σχεδιασμός απλού και ολοκληρωμένου περιβάλλοντος εξιστόρησης είναι χρήσιμο εργαλείο για συγγραφείς που θέλουν να δημιουργήσουν αλληλεπιδραστικές ιστορίες (παιχνίδια, εκπαιδευτικό λογισμικό, εξομοιωτές, αλληλεπιδραστική τέχνη, αλληλεπιδραστικά περιβάλλοντα VR ή mixed reality κ.λπ.) Υλικό που έχει χρησιμοποιηθεί σε μια ιστορία μπορεί να επαναχρησιμοποιηθεί σε άλλες σχετικές ιστορίες. Κάποια υπομονάδα μιας μηχανής ηλεκτρονικού παιχνιδιού μπορεί να παράγει αυτόματα δυναμικά σενάρια ιστοριών ως μηχανή εξιστόρησης. Το μυστήριο π.χ. μιας δολοφονίας μπορεί να οδηγήσει σε διαφορετικά συμπεράσματα εξαρτώμενα από την αλληλεπίδραση του χρήστη με τους «πράκτορες» του προγράμματος, χρησιμοποιώντας τμήματα ιστορίας τα οποία παράγονται δυναμικά

43 Εκπαιδευτικές Εφαρμογές Μπορεί να αποδειχθεί χρήσιμο εκπαιδευτικό εργαλείο όταν οι κανόνες ολοκληρώνονται στην μηχανή με τρόπο ώστε να αντανακλούν συγκεκριμένα φυσικά ή κοινωνικά φαινόμενα. Ένα αλληλεπιδραστικό περιβάλλον μάθησης που παρουσιάζει ιδέες με αφηγηματική σειρά και ενσωματώνει ανασυνδυασμούς και ασάφεια. Πολλαπλές εμπειρίες (απόψεις) μέσω μεταβαλλόμενης πλοκής, αφηγηματικών γραμμών, σχέσεων χαρακτήρων σε αντίθεση με την ύπαρξη μιας και μόνης δυνατής εξέλιξης. Ενεργοποίηση και ανάμιξη του μαθητή στο ξεδίπλωμα της ιστορίας με την αλληλεπιδραστική εξερεύνηση εναλλακτικών επιλογών και υιοθέτησης ρόλων. Ενθάρρυνση προσωποποίησης της ιστορίας. Παιδιά ως συγγραφείς της δικής τους ιστορίας.

44 Interactive storytelling Αλληλεπιδραστική Εξιστόρηση Τέλος Ενότητα: ΓΤΠ-61 (Πολυμέσα)