ΠΑΝΕΠΙΣΤΗΜΙΟ ΑΙΓΑΙΟΥ ΤΜΗΜΑ ΜΗΧΑΝΙΚΩΝ ΣΧΕΔΙΑΣΗΣ ΠΡΟΪΟΝΤΩΝ ΚΑΙ ΣΥΣΤΗΜΑΤΩΝ

Transcript

1 ΠΑΝΕΠΙΣΤΗΜΙΟ ΑΙΓΑΙΟΥ ΤΜΗΜΑ ΜΗΧΑΝΙΚΩΝ ΣΧΕΔΙΑΣΗΣ ΠΡΟΪΟΝΤΩΝ ΚΑΙ ΣΥΣΤΗΜΑΤΩΝ Spyractable: A Tangible User Interface Modular Synthesizer Μελέτη και ανάπτυξη πρωτότυπου συνθέτη ήχων (synthesizer) σε πλαίσιο χρήσης Πολυαπτικής Διεπιφάνειας χρήστη. Ποτίδης Σπυρίδων AM: 511/ /2/2014 [Πληκτρολογήστε το απόσπασμα του εγγράφου εδώ. Το απόσπασμα είναι συνήθως μια σύντομη σύνοψη των περιεχομένων του εγγράφου. Πληκτρολογήστε το απόσπασμα του εγγράφου εδώ. Το απόσπασμα είναι συνήθως μια σύντομη σύνοψη των περιεχομένων του εγγράφου.]

2 Spyractable: A Tangible User Interface Modular Synthesizer Μελέτη και ανάπτυξη πρωτότυπου συνθέτη ήχων (synthesizer) σε πλαίσιο χρήσης Πολυαπτικής Διεπιφάνειας Χρήστη. Διπλωματική Εργασία: Ποτίδης Σπυρίδων (ΑΜ: 511/ ) Υπεύθυνος Καθηγητής: Μέλη επιτροπής: Θωμάς Σπύρου Κουτσαμπάσης Παναγιώτης Βοσινάκης Σπυρίδων

3 Περιεχόμενα Εισαγωγή... 7 Δομή εργασίας:... 9 Κεφάλαιο 1 ο : Κυματική, φυσιολογία του ήχου και διαμόρφωση αυτού. Synthesizers: Αρχές λειτουργίας, κυκλώματα και αρχιτεκτονικές (μέθοδοι) σύνθεσης ήχων Κεφάλαιο 2 ο : Tangible User Interface. Βασικές αρχές. Χαρακτηριστικά και πλεονεκτήματα / Παραδείγματα εφαρμογής Κεφάλαιο 3 ο : Μελέτη περίπτωσης :«reactable». Όργανο παιχνίδι τεχνολογία Κεφάλαιο 4 ο : Spyractable Ανάπτυξη πρωτότυπου synthesizer Κεφάλαιο 5 ο : Αξιολόγηση και προτάσεις περεταίρω ανάπτυξης Ήχος, μορφή και σύνθεση Ήχος Τι είναι ο «ήχος»; Είδη ήχων Χαρακτηριστικά του ήχου Synthesizer ή Συνθέτης (Συντόμως synth ) Τι είναι το Synthesizer; Βασικά στοιχεία / κυκλώματα Synthesizer Μέθοδοι Σύνθεσης Πρωτόκολλα επικοινωνίας Ηλεκτρονικών / Ψηφιακών οργάνων Πολυαπτική διεπιφάνεια χρήστη Tangible ( ~/ Graspable / Physical / Embodied) User Interfaces (TUI) Τι είναι η πολυαπτική διεπιφάνεια χρήστη (Tangible User Interface); Πλεονεκτήματα των πολυαπτικών επιφανειών χρήστη: Χαρακτηριστικά και Ιδιότητες των TUI GUI vs TUI Συνεισφορά TUI συστημάτων στην εκπαίδευση Γιατί θεωρούμε ότι θα μπορούσε να συνεισφέρει ένα τέτοιο σύστημα στην εκπαίδευση; Πως όμως πρέπει να σχεδιαστεί ένα σύστημα για να λειτουργεί εκπαιδευτικά; Παραδείγματα TUI διατάξεων Χρήση σε ποικίλα πλαίσια χρήσης Συστήματα TUI που χρησιμοποιούνται σε μουσικές εφαρμογές Τομείς που μπορούν να χρησιμοποιηθούν TUI συστήματα (35): Προσφορά TUI συστημάτων στην μουσική και δυνατότητες που εγείρει (35): reactable* Τι είναι το reactable;... 89

4 Reactable και χρήστες Πρωτότυπος χειρισμός Ιστορία Βασικές αρχές λειτουργίας και χειρισμού Το τραπέζι (hardware) Patches Fiducials Επιφάνεια τραπεζιού (οθόνη) ReacTIVision (Computer Vision Software) ΤUIO (Tangible User Interface communication protocol) Connection Manager Συνθέτης ήχου Συνθέτης εικόνας Διαστάσεις του Reactable Reactable & μουσική παιδεία Συνεργατική μουσική Επιπρόσθετα και Επεκτάσεις ScoreTable The new Tonalizer & Sequencer Extending Physical Computing On The Reactable Spyractable Πρωτότυπο synthesizer με χρήση πολυαπτικής επιφάνειας χρήστη (TUI) Στόχοι και βασικοί άξονες ανάπτυξης της εφαρμογής Χρήστες Σενάρια χρήσης Σχεδιαστικές προδιαγραφές Ιδεασμός Χειρισμός: Πρωτότυπο λογισμικό λειτουργίας: Συνθέτης ήχου: Συνθέτης γραφικών: Επιλογές τρόπου σύνθεσης: Επιμερισμός αντικειμενικών, όπως αυτές συναντώνται στα TUI συστήματα και κυρίως στο Reactable (ελεγκτές, χειρισμός, αλληλεπίδραση): Τρόπος τοποθέτησης τρόπος αλληλεπίδρασης των patches

5 Χωρική διαχείριση των patches Διαχείριση της επιφάνειας εφαρμογής Τρόπος διαχείρισης χειρονομιών (touch & gesture λειτουργίες) Γραφικοί ελεγκτές Γραφικές οθόνες Γραφική ανάδραση Μηνύματα κειμένου Έλεγχος ύψους Interface ελέγχου λογική σύνδεσης Ολοκλήρωση προσθετικής σύνθεσης (additive synthesizer) Ολοκλήρωση αφαιρετικής σύνθεσης (subtractive synthesizer) Ολοκλήρωση σύνθετη με χρήση μουσικών δειγμάτων (sample based synthesizer) Ολοκλήρωση κυκλώματος εφέ ήχου Ολοκλήρωση κυκλώματος ενισχυτή ήχου Ολοκλήρωση κυκλώματος φίλτρου ήχου Ολοκλήρωση κυκλώματος μικροταλαντωτή ήχου (lfo) Επιλογή Ιδεών και ανάπτυξη Μηχανή ήχου Interface ελέγχου Αντικείμενα ελέγχου ύψους και δυναμικής Αντικείμενα σύνθεσης και διαμόρφωσης ήχων Επιπλέον αντικείμενα Ανάπτυξη Λογισμικό Υλικό Processing Pd vanilla portaudio JACK Audio Connection Kit TUIO simulator reactivision Ολοκλήρωση Περιγραφή ανεπτυγμένου λογισμικού συστήματος Βασική διάρθρωση Διαχειριστής Σύνδεσης (connection manager) Συνθέτης γραφικών

6 Συνθέτης ήχου Λογισμικό πρόγραμμα διεπαφής Αξιολόγηση και επανασχεδίαση Αποτελέσματα αξιολόγησης Hardware Τελικό Αντικείμενο Αξιολόγηση, συμπεράσματα και προτάσεις για μελλοντική ανάπτυξη Αξιολόγηση Επισκόπηση Μέθοδος Χρήστες / Συμμετέχοντες Διαδικασία Αποτελέσματα Αξιολόγησης Αξιολόγηση διάδρασης Αξιολόγηση λογικής λειτουργίας Συμπέρασμα και προτάσεις για περεταίρω ανάπτυξη και έρευνα Σε επίπεδο διάδρασης: Σε επίπεδο λειτουργίας: Σε επίπεδο hardware:

7 Εισαγωγή Στην εργασία αυτή ερευνούμε τον χώρο του tangible user interface (πολυαπτική επιφάνεια χρήστη)και την χρήση αυτής στην μουσική, και ειδικότερα στον χειρισμό των synthesizers (συνθετών ήχου). Ξεκινώντας την μελέτη από τον χώρο του ήχου και αναλύοντας τη μορφή του, τις φυσικές του ιδιότητες και τα στοιχεία που τον διαμορφώνουν, ο άνθρωπος κατάφερε να δημιουργήσει ειδικές συσκευές, τα synthesizers, οι οποίες με αναλογικό ή ψηφιακό τρόπο καταφέρνουν τόσο να δημιουργήσουν νέο πρωτότυπο ήχο, που δεν υπάρχει στο φυσικό του περιβάλλον, όσο και να μιμηθούν τους υπάρχοντες ήχους του φυσικού περιβάλλοντος, ελέγχοντας πλήρως τα στοιχεία που τους διαμορφώνουν και δημιουργώντας τις ανάλογες αιτίες παραγωγής τους. Τα synthesizer ξεκίνησαν ως ηλεκτρικές / ηλεκτρονικές συσκευές οι οποίες διαμορφώνουν το ηλεκτρικό σήμα με ειδικά κυκλώματα, έτσι ώστε να συντονίζει την ταλάντωση ενός ηχείου και να δημιουργεί τον επιθυμητό ήχο, μιμούμενο τον φυσικό τρόπο δημιουργίας του ήχου. Τα στοιχεία και οι παράμετροι των κυκλωμάτων ελέγχονται από κουμπιά, ποτενσιόμετρα και ροοστάτες, ενώ η χρήση και τα όρια αυτών είναι προκαθορισμένα από τους κατασκευαστές των synthesizer και περιορίζονται από τις λειτουργίες και τον αριθμό των κυκλωμάτων που περιέχουν και τις φυσικές τους ιδιότητες (όγκος, θερμοκρασίες αντοχής, χωρητικότητες πηνίων κλπ.). Στην συνέχεια, και με την ανάπτυξη της τεχνολογίας, χρησιμοποίησαν την ψηφιακή επεξεργασία και τα ηλεκτρικά σήματα αντικαταστάθηκαν από τα ψηφιακά καθώς και τα ηλεκτρονικά κυκλώματα από ψηφιακής επεξεργασίας πλακέτες, που συνήθως μιμούνται τα ηλεκτρικά κυκλώματα ή υλοποιούν μη υλοποιήσιμα (λόγω περιορισμών) κυκλώματα. Τα διάφορα στοιχεία και μεγέθη ελέγχονται εξίσου από ροοστάτες, κουμπιά και παρόμοια στοιχεία ελέγχου, μόνο που πλέον έχουν μεγαλώσει τα διάφορα όρια και έχουν πολλαπλασιαστεί οι διάφοροι παράμετροι καθορισμού του ήχου, ενώ έχει μειωθεί ο όγκος. Η επανάσταση των υπολογιστών και του ψηφιακού κόσμου, μετέτρεψε όλα τα φυσικά μεγέθη του ήχου καθώς και των αιτιών δημιουργίας του σε μαθηματικά δεδομένα. Έτσι μπορούμε να δημιουργήσουμε ήχο από ροές αριθμών που στην συνέχεια συντάσσουν ηχητικό σήμα (από ψηφιακό σε ηλεκτρικό και από τα ηχεία σε ηχητικό). Η συσκευή του synthesizer πλέον αντικαταστάθηκε από προγράμματα υπολογιστών, ενώ τα δεδομένα καθορισμού και ελέγχου του ήχου περιορίζονται πλέον μόνο από το μέγεθος της οθόνης. Ο αριθμός όλων αυτών των στοιχείων και παραμέτρων καθορισμού του ήχου μπορεί να αυξάνεται επ άπειρον, καθώς και ανάλογα με τις διάφορες αρχιτεκτονικές σύνθεσης του ήχου, μπορούμε να χρησιμοποιήσουμε άπειρα στοιχεία ελέγχου (τα παλιά κυκλώματα). Ο τρόπος καθορισμού των τιμών αυτών, επίσης μπορεί να ποικίλει. Από την χρήση του ποντικιού και του πληκτρολόγιου ώστε να ελέγξουμε σειριακά όλες τις τιμές, έως την χρήση ηλεκτρονικών ποτενσιόμετρων και κουμπιών που τους έχουν ανατεθεί διάφορες τιμές και παράμετροι ελέγχου. Δεδομένου ότι φτάσαμε στο επίπεδο του να μην μας απασχολεί πώς θα δημιουργήσουμε και θα καθορίσουμε τον οποιονδήποτε ήχο, ερχόμαστε στο επόμενο ζήτημα: Πώς θα ελέγξουμε όλα αυτά τα στοιχεία και τις παραμέτρους καθορισμού του ήχου. Η χρήση πληκτρολόγιου και ποντικιού αποδεικνύεται ιδιαίτερα δύσχρηστη, καθώς καλείται ο χρήστης να καθορίσει έναν έναν όλους τους παράγοντες και τις παραμέτρους του ήχου. Η κατάσταση θα γίνει ακόμα πιο δύσκολη και χρονοβόρα στην περίπτωση που θέλει ο χρήστης να «πειραματιστεί» με τα διάφορα αυτά στοιχεία. Η χρήση των προαναφερθέντων παραδοσιακών ελεγκτών (ποτενσιόμετρα, ροοστάτες, κουμπιά κλπ.) μάχεται μεταξύ του αριθμού τους, που σε περίπτωση που είναι πολύ μεγάλος τα θέτει δύσχρηστα, ενώ στην περίπτωση που περιορίσουμε τον αριθμό τους τότε η μόνη λύση είναι κάθε φόρα αυτά να καθορίζουν και να ελέγχουν συγκεκριμένες ομάδες παραμέτρων του ήχου, που εναλλάσσονται με κάποιο τρόπο. Ακόμα και αυτή η λύση

8 περιορίζει την χρήση όλων των δυνατοτήτων του synthesizer καθώς ομαδοποιεί τους ελεγκτές και τους βάζει σε σειριακό χειρισμό. Ταυτόχρονα ζητείται από τον χρήστη να έχει πλήρη εικόνα των επιλογών που έκανε έτσι ώστε να σχηματίσει τον ήχο, όπως και των δυνατών επιλογών που έχει έτσι ώστε να τον μεταβάλει. Με την αύξηση της υπολογιστικής ισχύος, η παλαιά tangible user interface βρήκε πάτημα για να αναπτυχθεί. Η πολυαπτική επιφάνεια χρήστη, χρησιμοποιεί τόσο φυσικά αντικείμενα, όσο και δάχτυλα καθώς και χειρονομίες για τον έλεγχο ηλεκτρονικών παραμέτρων και συνακολούθως τον χειρισμό ηλεκτρονικών συσκευών, με αφετηρία τους ηλεκτρονικούς υπολογιστές. Το πρώτο βασικό στοιχείο αυτού του είδους της επικοινωνίας ανθρώπου μηχανής, είναι ότι ο χειρισμός πραγματοποιείται παράλληλα στον χώρο, μέσω κουμπιών, ροοστατών και άλλων ελεγκτών, και περιορίζεται από αυτόν (space multiplexed), σε αντίθεση με τον χρονικό -γραμμικό- χειρισμό (πχ. ποντίκι) που γίνεται σειριακά στον χρόνο και αντιστοίχως περιορίζεται από αυτόν. Το δεύτερο στοιχείο είναι η χρήση απτών αντικειμένων και φυσικών χειρονομιών, γεγονός που προσδίδει επιπλέον ιδιότητες στις εφαρμογές που χρησιμοποιούν tangible user interface, καθώς διευκολύνουν τον χειρισμό και επιταχύνουν την διαδικασία εκμάθησης και ενσωμάτωσης του χειρισμού από τον χρήστη. Τα tangible interface συστήματα δεν βασίζονται σε περιορισμένου είδους ελεγκτές ή τεχνολογίες (εν αντιθέσει με τα Graphical Interface συστήματα που χρησιμοποιούν ως επί των πλείστων ποντίκι ή άλλους παρεμφερείς ελεγκτές) αλλά συνήθως αναπτύσσουν δικούς τους, αποκλειστικούς ελεγκτές και αποτελούν και μέρος του συστήματος. Μπορούν να έχουν οποιαδήποτε μορφή και χρήση καθώς περιορίζονται μόνο από την φαντασία του σχεδιαστή. Σκοπός αυτής της εργασίας είναι η κατανόηση της φυσιολογίας τoυ ήχου και των στοιχείων που τον καθορίζουν. Πώς παράγεται και γίνεται αντιληπτός στην φύση και ποια φυσικά μεγέθη τον διαμορφώνουν. Πληροφορία που θα μας βοηθήσει να αντιληφτούμε πως μπορούμε να μετατρέψουμε το ηλεκτρικό / ψηφιακό σήμα σε ηχητικό κύμα και με ποιον τρόπο θα τον δημιουργήσουμε την μορφή που θέλουμε. Η ανάλυση της λειτουργίας των αρχιτεκτονικών της σύνθεσης ήχου θα μας εξηγήσει πώς μπορούμε μέσα από τις διάφορες τεχνικές επεξεργασίας του σήματος να καθορίσουμε τις φυσικές ιδιότητες του ήχου. Επιπλέον θα γνωρίσουμε την tangible user interface τεχνολογία και τα προτερήματα που προσφέρει σε σχέση με τους παραδοσιακούς τρόπους ελέγχου των ηλεκτρονικών συσκευών και των ηλεκτρονικών υπολογιστών. Όλες οι παραπάνω γνώσεις θα χρησιμοποιηθούν για την δημιουργία ενός πρότυπου synthesizer το οποίο με την χρήση tangible user interface θα μπορεί να καθορίζει γρήγορα απλά και κατανοητά όλους τους δυνατούς παράγοντες διαμόρφωσης του ήχου, που θέλει ο χρήστης να ελέγχει, παράλληλα στον χρόνο. Ταυτόχρονα θα παρουσιάζεται η δόμηση του ήχου, βήμα βήμα, έτσι ώστε να κατανοεί ο χρήστη του, τόσο πώς λειτουργούν τα synthesizer και πως επιδρούν στον ήχο τα διάφορα κυκλώματα που ελέγχει, όσο και το πώς διαμορφώνεται ο ήχος στον χώρο (με γραφικό ανάλογο). Η δημιουργία αυτού του synthesizer θα βασίζεται και θα υποστηρίζεται από free open source λογισμικά, καθώς πρέπει να είναι α) δωρεάν προς οποιονδήποτε χρήστη και β) εύκολα μετατρέψιμη και προσαρμόσιμη στις ανάγκες και τις επιθυμίες του εκάστοτε χρήστη καθώς οι δυνατότητες του δεν μπορούν και ούτε πρέπει να περιοριστούν από την μονοδιάστατη χρήση του synthesizer, που εξυπηρετεί τις δικιές μας ανάγκες. Τέλος θα μελετηθεί κατά πόσο η χρήση της tangible user interface τεχνολογίας εξυπηρετεί τους αναμενόμενους στόχους της εφαρμογής, δηλαδή εύκολος και γρήγορος χειρισμός των παραμέτρων με ευκολία στην μάθηση ελέγχου του και ολοκληρωτική καθαρή εικόνα των στοιχείων που συνθέτουν τον εκάστοτε ήχο, καθώς και το κατά πόσο η νέα επιφάνεια χρήστη, διευκολύνει την κατανόηση της φυσιολογίας του ήχου και τον τρόπο διαμόρφωσής του με την χρήση της τεχνολογίας.

9 Δομή εργασίας: Κεφάλαιο 1 ο : Κυματική, φυσιολογία του ήχου και διαμόρφωση αυτού. Synthesizers: Αρχές λειτουργίας, κυκλώματα και αρχιτεκτονικές (μέθοδοι) σύνθεσης ήχων. Στο πρώτο κεφάλαιο αναλύεται ο ήχος. Παρουσιάζεται η πραγματική μορφή του, πώς παράγεται στην φύση και πώς γίνεται αντιληπτός από τον άνθρωπο. Στην συνέχεια παρουσιάζονται τα χαρακτηριστικά του ήχου και αναλύεται πώς αυτά επηρεάζουν την ακουστική αντίληψη του από τον άνθρωπο. Στο δεύτερο μέρος του παρουσιάζονται τα synthesizers. Εξηγείται ποια είναι τα βασικά τους κυκλώματα, πώς λειτουργούν και πώς επηρεάζουν τον ήχο. Εξηγούνται οι βασικές μέθοδοι σύνθεσης ήχων (αναφέρονται και ως αρχιτεκτονικές synthesizer), πώς διαρθρώνονται τα διάφορα κυκλώματα που χρησιμοποιούν και πως τελικά αυτά διαμορφώνουν τον επιθυμητό ήχο. Κεφάλαιο 2 ο : Tangible User Interface. Βασικές αρχές. Χαρακτηριστικά και πλεονεκτήματα / Παραδείγματα εφαρμογής. Στο δεύτερο κεφάλαιο αναλύουμε τη tangible user interface (πολυαπτική διεπιφάνεια χρήστη). Παρουσιάζουμε τις βασικές της αρχές της, τα χαρακτηριστικά και τις ιδιότητες της φυσιολογίας της. Αναλύουμε τι σχέση της με την εκπαίδευση και πώς την εξυπηρετεί. Κλείνουμε με μια διεξοδική ανάλυση παραδειγμάτων χρήσης της tangible user interface τεχνολογίας, τόσο στον χώρο της μουσικής, όσο και στον χώρο της επιστημονικής ανάλυσης παρουσίασης, της πληροφορικής, του παιχνιδιού και της εκπαίδευσης, παρουσιάζοντας πολλές πιθανές μορφές και χρήσεις, ώστε να γίνει πιο εύκολα κατανοητή η μορφολογία της και η συνεισφορά της. Κεφάλαιο 3 ο : Μελέτη περίπτωσης :«reactable». Όργανο παιχνίδι τεχνολογία. Στο τρίτο κεφάλαιο, λαμβάνουμε σαν μελέτη περίπτωσης το «reactable». Ένα πρότυπο όργανο παιχνίδι που δεν χρησιμοποίησε απλά tangible user interface έλεγχο, αλλά συνέβαλε στην ανάπτυξη της τεχνολογίας αυτής, την γνώρισε στο ευρύ κοινό τόσο των απλών χρηστών όσο και των προγραμματιστών / σχεδιαστών και συνείσφερε δραστικά στην εξάπλωσή της. Το ίδιο το όργανο παρουσιάζει μία αξιοπρόσεχτη μορφολογία καθώς καταφέρνει να χρησιμοποιεί την σύγχρονη τεχνολογία με απλές αρχές αρχιτεκτονικής, τόσο ως προς την χρήση του (αρχές σύνθεσης ήχου και παρουσίασης της πληροφορίας) όσο και στην υλοποίησή του υπολογιστικά. Στο σύγγραμμα, παρουσιάζεται το όργανο και οι βασικές αρχές λειτουργίας του και χειρισμού. Αναλύεται τόσο το υλικό ολοκλήρωσης (hardware) όσο και το λογισμικό (software) που χρησιμοποιήθηκε και αναπτύχθηκε για την υλοποίησή του. Παρουσιάζεται η ροή της πληροφορίας από τον φυσικό κόσμο του hardware στον ψηφιακό του software, οι λογικές πράξεις / τρόπος λειτουργίας του λογισμικού βήμα βήμα μέχρι αυτό να μεταφερθεί πάλι πίσω στον φυσικό κόσμο ως εικόνα και ήχος. Τέλος εξηγούνται οι πιθανοί τρόποι συνεργατικού παιξίματός του, καθώς και περιπτώσεις που επεκτάθηκε όσων αφορά τις λειτουργίες του ή τροποποιήθηκε για νέες εφαρμογές, τόσο σε επίπεδο υλικού, όσο και σε επίπεδο λογισμικού. Κεφάλαιο 4 ο : Spyractable Ανάπτυξη πρωτότυπου synthesizer. Στο τέταρτο κεφάλαιο περιγράφουμε την ανάπτυξη ενός πρωτότυπου synthesizer, που χρησιμοποιεί tangible user interface, αναπτυγμένο με ελεύθερα λογισμικά ανοικτού κώδικα. Στόχος του είναι η υλοποίηση ενός synthesizer, στα πρότυπα του reactable, που χρησιμοποιεί όσο το δυνατόν περισσότερες μεθόδους σύνθεσης ήχου, με βασικούς στόχους την α) παραγωγή ήχου και β) την αυτόματη επεξήγηση της διαδικασίας μορφοποίησης του ήχου βήμα βήμα, και κατ επαγωγή τον τρόπο λειτουργίας / σύνθεσης οποιουδήποτε ήχου. Επεξηγείται πώς χτίστηκε το λογισμικό και πώς λειτουργεί αναλυτικά, καθώς και με ποιο τρόπο μπορεί κάποιος να το επεκτείνει.

10 Κεφάλαιο 5 ο : Αξιολόγηση και προτάσεις περεταίρω ανάπτυξης Στο τελευταίο κεφάλαιο γίνεται η αξιολόγηση του synthesizer που αναπτύξαμε στο προηγούμενο κεφάλαιο. Κρίνεται με βάση το κατά πόσο πετυχαίνει τους στόχους σε επίπεδο μουσικό, εκπαιδευτικό και σχεδιαστικό. Βάση των αποτελεσμάτων γίνονται συστάσεις για διορθώσεις και προτάσεις για περεταίρω έρευνα και ανάπτυξη.

11 Ήχος, μορφή και σύνθεση Ήχος Τι είναι ο «ήχος»; Ήχος είναι το αποτέλεσμα που επιφέρει η διάδοση ενός κύματος στο αισθητήριο όργανο της ακοής η ερμηνεία που δίνει ο εγκέφαλος στην αντίληψη ενός ορισμένου τύπου φυσικού ερεθίσματος. Για να κατανοήσουμε καλύτερα την έννοιά του, την διαιρούμε σε τρεις λογικές διεργασίες οι οποίες τον δίνουν σαν αποτέλεσμα. Το είδος του ερεθίσματος, όπως αυτό γίνεται αντιληπτό και υπάρχει / δημιουργείται στην φύση, στα χαρακτηριστικά του αυτιού σαν μετατροπέα του ερεθίσματος και τέλος, στην ψυχοακουστική της ακοής, δηλαδή τον τρόπο που ο εγκέφαλος αντιλαμβάνεται και ερμηνεύει το ερέθισμα του ήχου (1) (2). Στην φύση ο ήχος αποτελεί την διάδοση περιοδικών μεταβολών της ατμοσφαιρικής πίεσης με την μορφή κύματος και παράγεται όταν ο αέρας, ή όποιο μέσω τον μεταφέρει, αρχίζει να δονείται. Η πηγή του ήχου (δηλαδή της δόνησης) μπορεί να είναι σε στερεή, υγρή ή αέρια μορφή. Η δόνηση της πηγής, όπως και αν προκύψει (θεμιτά ή αθέμιτα) μεταφέρει ενέργεια στο περιβάλλον της που αποδίδεται με περιοδικές μεταβολές της ατμοσφαιρικής πίεσης που διαδίδεται από την πηγή του ήχου λόγω των «ελαστικών» δεσμών που έχουν μεταξύ τους τα μόρια του μέσου. Οι μεταβολές αυτές έχουν την μορφή πυκνωμάτων και αραιωμάτων των μορίων του μέσου που μπορούμε να αναπαραστήσουμε με τη μορφή κύματος (Ηχητικό κύμα). Η γραφική παράσταση του κύματος μας παρουσιάζει το κύμα ως ένα, συνεχόμενο στον χρόνο (χ χ άξονας), «ποσό» έντασης (ψ ψ άξονας) που στις μέγιστες τιμές του υπάρχει υψηλή ατμοσφαιρική πίεση (πυκνώματα) και στις χαμηλότερες τιμές του, χαμηλή ατμοσφαιρική πίεση (αραιώματα). Η τιμή έντασης ίση με μηδέν (0) αντιστοιχεί στην φυσιολογική τιμή ατμοσφαιρικής πίεσης του περιβάλλοντος μετάδοσης του κύματος (κατάσταση ηρεμίας). Τα ηχητικά κύματα δεν αποτελούν ξεχωριστή φύση από τα υπόλοιπα κύματα που μάθαμε στο μάθημα της φυσικής του σχολείου, αντιθέτως όλα τα κύματα ορίζονται με τον προαναφερθέντα τρόπο και διαφοροποιούνται από τις τιμές των χαρακτηριστικών τους (πχ. τα ηχητικά κύματα διακρίνονται στις συχνότητες Hz διότι αυτά τα κύματα γίνονται αντιληπτά από τον άνθρωπο ως ήχοι. Γεγονός που όμως δεν ισχύει για όλα τα ζώα της φύσης!) (1) (2). Σχήμα 1: Μια ηχητική πηγή εκπέμπει ημιτονικό κύμα σταθερής συχνότητας το οποίο μεταδίδεται μέσω των πυκνωμάτων (Π)-περιοχές υψηλής πίεσης και αραιωμάτων (Α) - περιοχές χαμηλής πίεσης. Το ανθρώπινο αυτί αποτελεί έναν ευαίσθητο μετατροπέα κωδικοποιητή ο οποίος δέχεται τα ηχητικά κύματα και με την βοήθεια των διαφόρων ακουστικών οργάνων που περιέχει το αυτί, μετατρέπονται σε σήματα που μεταφέρονται μέσω των ακουστικών νεύρων στον εγκέφαλο (2).

12 Τα ηχητικά κύματα που φθάνουν στον ακροατή, συλλέγονται στο κανάλι του αυτιού, από τον δρόμο του εξωτερικού πτερυγίου του αυτιού και μετά κατευθύνονται στο τύμπανο του αυτιού που είναι ουσιαστικά μια ευαίσθητη τεντωμένη μεμβράνη. Το τύμπανο μετατρέπει τα κύματα σε μηχανικές δονήσεις οι οποίες μεταφέρονται στο εσωτερικό αυτί με την βοήθεια τριών οστών, τη «σφύρα», τον «άκμονα» και τον «αναβολέα». Αυτά τα οστά δρουν και σαν ενισχυτής (πολλαπλασιάζοντας τις δονήσεις) και σαν προστατευτικός μηχανισμός (μειώνοντας την ένταση δυνατών ήχων). Οι δονήσεις μετά τροφοδοτούνται στο εσωτερικό αυτί «κοχλίας», ο οποίος είναι ένα σωληνοειδές, αναδιπλωμένο σαν σαλιγκάρι, και περιέχει δύο υγρούς θαλάμους. Μέσα σε αυτούς τους θαλάμους υπάρχουν μικροσκοπικά τριχίδια που με την σειρά τους καταλήγουν στα ακουστικά νεύρα. Οι δονήσεις μεταφέρονται σε αυτά τα τριχίδια, τα οποία με τη σειρά τους, και ανάλογα με την θέση που βρίσκονται μέσα στο όργανο, ανταποκρίνονται σε πολύ συγκεκριμένες συχνότητες που μετατρέπονται σε σήματα προς τον εγκέφαλο. Αυτό εξηγεί και γιατί η σταδιακή κώφωση / απώλεια της ακοής γίνεται με απώλεια λίγο λίγο συγκεκριμένων συχνοτήτων, καθώς οφείλεται στην σταδιακή καταστροφή ή αποδυνάμωση των αντίστοιχων τριχιδίων (1) (2). Εικόνα 1: Το εσωτερικό του ανθρώπινου αισθητήριου οργάνου του ήχου (αυτί). Η Ψυχοακουστική είναι ένας σχετικά νέος επιστημονικός κλάδος με αντικείμενο τη μελέτη της (ψυχολογικής) αντίδρασης του ανθρώπου στα ηχητικά φαινόμενα και ειδικότερα στη μουσική. Το αντικείμενο μελέτης της στρέφεται, τόσο στη διερεύνηση χαρακτηριστικών φυσιολογικών/νοητικών διεργασιών που εντοπίζονται κατά την πρόσληψη και νοητική επεξεργασία των ηχητικών/μουσικών ερεθισμάτων, όσο και στον τρόπο με τον οποίο οι διεργασίες αυτές σχετίζονται με γενικότερες γνωστικές λειτουργίες (αντίληψη, μνήμη, προσοχή, σκέψη, γλώσσα), δηλαδή το πώς ο εκάστοτε άνθρωπος ως οργανισμός και ξεχωριστή προσωπικότητα, ερμηνεύει τους ήχους και κατ επέκταση τη μουσική ή επιλέγει να τους αγνοεί ορίζοντας κατ αυτόν τον τρόπο και τη φυσιολογία του (πχ. ο εγκέφαλος θα επιλέξει να αγνοήσει τον ήχο του ψυγείου ως πληροφορία την ώρα του ύπνου αλλά όχι και ένα ξυπνητήρι σε κάποιο διπλανό δωμάτιο!) (2). Η αντίληψη των ήχων λοιπόν έχει να κάνει τόσο με τα χαρακτηριστικά του κύματος, όσο και με την ανθρώπινη φυσιολογία, να μπορεί μηχανικά να μετατρέπει συγκεκριμένα κύματα σε σήματα καθώς και να τα αποκωδικοποιεί σαν ερέθισμα ή να τα αγνοεί σαν άχρηστη πληροφορία, κατά τρόπο που εξετάζουμε στην συνέχεια (1) (2). Είδη ήχων Οι ήχοι διακρίνονται σε (1) (2) (3): Απλοί ήχοι ή τόνοι (πχ. ήχος διαπασών): Η κυματομορφή τους είναι περιοδική και ημιτονοειδής. Αποτελούν τα βασικά «συστατικά» των περισσότερων ήχων.

13 Σύνθετοι ήχοι ή τόνοι: Αποτελούνται από την σύνθεση πολλών απλών ήχων. Η κυματομορφή τους είναι μεν περιοδική αλλά το σχήμα της ποικίλει και εξαρτάται από το σχήμα των ήχων που συνθέτουν τον ήχο, καθώς και τον τρόπο με τον οποίο οι συστατικοί ήχοι συνδυάζονται. Η ημιτονοειδής μορφή εξ ορισμού αποκλείεται. Θόρυβοι: Ήχοι που αντιστοιχούν σε μη περιοδικά κύματα. Το γεγονός αυτό κάνει δυσδιάκριτη ή και απροσδιόριστη τη συχνότητα, άρα και το ύψος τους. Κρότοι: Απότομοι θόρυβοι μικρής χρονικής διάρκειας. (Άρα εξορισμού δυσδιάκριτοι και απροσδιόριστοι όπως όλοι οι θόρυβοι). Διάγραμμα 1: Διαγράμματα μετάδοσης διάφορων ήχων στην μονάδα του χρόνου. Χαρακτηριστικά του ήχου Ένας ήχος μπορεί να προσδιοριστεί με φυσικά μεγέθη, εφόσον έχει αναπαρασταθεί ως ένα κύμα, φέροντας τα μετρήσιμα χαρακτηριστικά του κύματος αυτού. Αυτό περιλαμβάνει τη συχνότητα, την ένταση, το φάσμα συχνοτήτων (καθορίζει το σχήμα της τελικής κυματομορφή) καθώς και τη διάρκεια του. Σε δευτερεύοντα ρόλο ορίζουμε τη φάση του κύματος, τη ταχύτητα, το μήκος κύματος και τη δυναμική του ανάπτυξη. Αυτά τα κριτήρια ονομάζονται και «αντικειμενικά κριτήρια του ήχου» καθώς προσδιορίζουν την φυσική κατάσταση του (1) (2). Επιπλέον ορίζονται τα υποκειμενικά χαρακτηριστικά του ήχου που έχουν να κάνουν με την αντίληψη των βασικών αντικειμενικών κριτηρίων του από τον άνθρωπο. Αυτά είναι το ύψος που σχετίζεται με την συχνότητα, η ακουστικότητα που αντιστοιχίζεται στην ένταση του ήχου και η χροιά που αποτελεί την αντίληψη του φάσματος συχνοτήτων. Εν συντομία η συχνότητα είναι υπεύθυνη για την αντίληψη του ύψους των νοτών (πόσο μπάσα ή πρίμα ακούγεται) άρα και τον ορισμό των νοτών, η ένταση δημιουργεί την αίσθηση της ακουστικότητας, δηλαδή πόσο δυνατά ή χαμηλά ακούγεται κάποια νότα (το γνωστό volume των ηχητικών πηγών) και το φάσμα συχνοτήτων την χροιά δηλαδή το «χρώμα» του ήχου (1) (2).

14 Συχνότητα (frequency) / ύψος (pitch) Για να ορίσουμε τη συχνότητα θα μελετήσουμε αρχικά μια τη κυματομορφή ενός απλού ήχου που αποτελείται από μία και μόνο συχνότητα απλής ημιτονοειδούς ταλάντωσης και δεν μπορεί να αναλυθεί σε απλούστερες. Στην συνέχεια θα επεκταθούμε στους σύνθετους ήχους (1) (2) (3). Διάγραμμα 2: Διάδοση κύματος απλού ήχου. Τα διαστήματα ΑΒ και Α'Β' αποτελούν περιόδους (Τ), διαφορετικής φάσης του ίδιου κύματος. Στο διάγραμμα 2 παρατηρούμε την κυματομορφή ενός απλού ήχου (ημιτονοειδής μορφή). Ο χρόνος που διανύεται από το σημείο Α μέχρι το σημείο Β, όπου το κύμα αρχίζει να «επαναλαμβάνεται» λέγεται περίοδος της ταλάντωσης ή κύκλος του κύματος και συμβολίζεται με το γράμμα Τ και έχει μονάδα μέτρησης τα δευτερόλεπτα (seconds). Ο κύκλος μπορεί να ξεκινήσει από οποιοδήποτε σημείο του κύματος ( Α μέχρι το Β ) αλλά για να είναι πλήρης πρέπει να περάσει διαμέσου της γραμμής του 0 και να καταλήξει σε ένα σημείο μετακινούμενο προς την ίδια κατεύθυνση (θετική ή αρνητική) η οποία έχει την ίδια τιμή όπως το σημείο έναρξης (1) (2). Ο αριθμός των περιόδων που παράγονται μέσα σε ένα δευτερόλεπτο (1 sec.) ονομάζεται συχνότητα της ταλάντωσης. Συμβολίζεται με το γράμμα f και μετράται σε κύκλους ανά δευτερόλεπτο ή Hertz (Hz). πχ. η συχνότητα 1 Hz σημαίνει ότι η περίοδος της ταλάντωσης (ολοκλήρωση ενός κύκλου) διαρκεί 1 δευτερόλεπτο, ενώ o κύκλος συχνότητας 1000 Hz (1 khz) ολοκληρώνεται σε 1/1000 του δευτερολέπτου (1 msec) (1) (2). Διάγραμμα 3: Διάδοση κύματος σύνθετου ήχου. Τα διαστήματα ΓΔ και Γ'Δ' αποτελούν περιόδους (Τ), διαφορετικής φάσης του ίδιου κύματος. Στο διάγραμμα 3 βλέπουμε την περίοδο ενός σύνθετου ήχου, που είναι μεν περιοδικός αλλά έχει πιο σύνθετη κυματομορφή. Ο κύκλος του εικονίζεται είτε στο διάστημα Γ έως Δ είτε σε οποιοδήποτε άλλο διάστημα Γ Δ (εξαρτάται από το σημείο έναρξης της μέτρησης) (2). Αντίληψη της συχνότητας ύψους (Pitch) Η συχνότητα ενός ήχου γίνεται αντιληπτή ως ύψος (pitch). Δεν μπορούμε να ισχυριστούμε ότι συχνότητα και το ύψος είναι το ίδιο. Συσχετίζονται, αλλά όχι με γραμμικό τρόπο. Το ύψος είναι ένας υποκειμενικός όρος, o οποίος εξαρτάται εκτός από την συχνότητα και από το επίπεδο της πίεσης του ήχου. Η μονάδα μέτρησης του είναι το mel, ένα ύψος 1000 mels ορίζεται ως το ύψος ενός ήχου στα 1000 Ηz με πίεση 60 db. Οι ήχοι με μεγάλη (υψηλή) συχνότητα γίνονται αντιληπτοί ως ήχοι με μεγάλο ύψος ενώ οι ήχοι με μικρή (χαμηλή) συχνότητα γίνονται αντιληπτοί ως ήχοι με

15 χαμηλό ύψος. Όταν η συχνότητα ενός ήχου διπλασιάζεται την αντιλαμβανόμαστε ως διπλασιασμό του ύψους. Χάριν ευκολίας θεωρούμε ότι το ύψος καθορίζεται άρα και αντιστοιχίζεται από την συχνότητα άρα αποτελεί το χαρακτηριστικό γνώρισμα βάση του οποίου οι ήχοι μπορούν να διαταχθούν σε μια κλίμακα από τις πιο μπάσες (χαμηλές) μέχρι τις πιο πρίμες (υψηλές) νότες. Οι περισσότεροι ήχοι της φύσης, άρα και των μουσικών οργάνων, είναι σύνθετοι. Στους σύνθετους ήχους, από το άθροισμα των πολλών συχνοτήτων, διακρίνεται και κυριαρχεί μία, που συνήθως είναι και μεγαλύτερης έντασης και ονομάζεται βασική ή θεμελιώδης συχνότητα. Τη συχνότητα αυτή διακρίνει το ανθρώπινο αυτί για να προσδιορίσει το ύψος της γενικότερης συχνότητας (νότα). Παραδείγματος χάριν το μεσαίο ΛΑ του πενταγράμμου στο κλειδί του Σολ μετριέται στα 440 Hz. Το μεσαίο (πρώτο) ΝΤΟ στα 261,6 Hz. Η χαμηλότερη νότα του πιάνου είναι το ΛΑ των 27,5 Hz ενώ η υψηλότερη το ΝΤΟ των 4186 Hz (2). Το ανθρώπινο αυτί μπορεί να αντιληφθεί κατά μέσο όρο τις συχνότητες που βρίσκονται ανάμεσα στο διάστημα από 16 Hz έως 20 khz. Ένα ευαίσθητο ή ένα «εξασκημένο» αυτί μπορεί να διευρύνει το φάσμα αυτό σε διάστημα μεταξύ 12 Hz και 25 khz, ενώσω γεράζουμε το ανώτερο όριο αρχίζει να μικραίνει μέχρι και τα 8 έως 12 khz. Ήχοι κάτω των 16Hz ονομάζονται υπόηχοι και ήχοι πάνω των 25kHz ονομάζονται υπέρηχοι (1) (2) (4). Δύο διαφορετικής συχνότητας ήχοι γίνονται αντιληπτοί με τρόπο σχετικό δηλαδή σε σύγκριση μεταξύ τους. Χαμηλής συχνότητας ήχοι γίνονται αντιληπτοί ως μπάσοι και υψηλής ως πρίμοι (οξείς ήχοι). Ένα «εξασκημένο» αυτί είναι δυνατό να μπορεί να προσδιορίσει την αντιστοιχία συχνότητας νότας αλλά η κυρίως αντίληψη γίνεται συγκριτικά με κάποιον άλλη συχνότητα. Ένας ήχος είναι πιο μπάσος ή πιο πρίμος από έναν άλλο, που είτε μόλις ακούσαμε, είτε έχουμε αποθηκεύσει σαν μνήμη στον εγκέφαλό μας (2). Οι θόρυβοι και οι κρότοι είναι δυνατόν να δίνουν την αίσθηση του ύψους δηλαδή κάποιας θεμελιώδους συχνότητας καθώς ενδέχεται κάποια συχνότητα να κυριαρχεί σε ένταση των άλλων. Επίσης ήχοι χαμηλών συχνοτήτων γίνονται αντιληπτοί σαν κρότοι και υψηλών σαν θόρυβοι συριγμοί (2). Ένας ήχος πρέπει να διαρκέσει κάποιο ορισμένο χρονικό διάστημα για να γίνει αντιληπτό το ύψος του. Αν διαρκεί ελάχιστα (πχ. 1 msec.) τότε ακούγεται σαν ένα απλό κλικ. Αν διαρκεί παραπάνω τότε μπορεί να γίνει αντιληπτός σαν θόρυβος με κάποια «ίχνη» ύψους (2). Ένας ήχος συχνότητας 50 Hz πρέπει να διαρκέσει περίπου 3 περιόδους, που αντιστοιχίζονται σε 60 ms, ώστε να γίνει το ύψος του αντιληπτό. Ήχοι υψηλοτέρων συχνοτήτων πρέπει να διαρκούν περισσότερες περιόδους, όπως είναι φυσικό μιας και ο κύκλος τους ολοκληρώνεται πολύ πιο γρήγορα, έτσι ο ήχος συχνότητας 800 khz χρειάζεται 10 περιόδους (περίπου 13 msec), ο ήχος συχνότητας 2 khz 25 περιόδους (περίπου 13 msec) και ο ήχος συχνότητας 8 khz 150 περιόδους (περίπου 18 msec) (2). Όταν η ένταση ενός ήχου αυξάνεται, ενώ η συχνότητά του παραμένει σταθερή, δίνεται τότε στον ακροατή η εντύπωση ότι το ύψος του ήχου αλλάζει. Συγκεκριμένα, σε ήχους συχνοτήτων κάτω από 1 khz, η αύξηση της έντασης προκαλεί την αίσθηση ότι το ύψος πέφτει, δηλαδή ο ήχος γίνεται πιo μπάσος, ενώ σε ήχους πάνω από 2 khz η αύξηση της έντασης δημιουργεί την αίσθηση ότι το ύψος ανεβαίνει, δηλαδή ο ήχος γίνεται πιο πρίμος. Μόνο η περιοχή μεταξύ των 1 και 2 khz είναι σχεδόν ανεξάρτητη των μεταβολών της έντασης. Πρόκειται για ένα «ξεγέλασμα» του αυτιού που οφείλεται στην διαφορετική ευαισθησία που έχει για να αντιλαμβάνεται σε διάφορες εντάσεις στάθμες ηχητικών πιέσεων την εκάστοτε συχνότητα, όπως θα εξηγήσουμε στην συνέχεια (2). Μουσικό διάστημα και νότες διάκριση υψών στη μουσική. Όπως και προαναφέραμε, η αντίληψη της διαφοράς δύο συχνοτήτων γίνεται αναφορικά η μία σε σχέση με την άλλη (..είναι πιο μπάσα ή πιο πρίμα..). Η ελάχιστη διαφοροποίηση που μπορεί να αντιληφθεί ένα ανθρώπινο αυτί λέγεται διάκριση ύψους. Για να εξηγήσουμε την διάκριση αυτή θα χρησιμοποιήσουμε το βασικότερο διάστημα της δυτικής

16 μουσικής, που έχει καθορίσει και τη παγκόσμια μουσική γραφή, την οκτάβα. Μια συχνότητα «ανεβαίνει» ακουστικά μια οκτάβα όταν διπλασιάζεται η συχνότητά της. Έτσι στο πιάνο το πρώτο και πιο μπάσο ΛΑ έχει συχνότητα 27,5 Hz. Το επόμενο ΛΑ στα πλήκτρα έχει συχνότητα 55 Hz, το τρίτο 110 Hz, το τέταρτο 220 Hz κ.ο.κ. Όπως γίνεται αντιληπτό, στις μπάσες συχνότητες μια οκτάβα μπορεί να έχει απόσταση 16 Hz (η πρώτη συχνότητα που εντοπίζει ένα κοινό αυτί), ενώ στις πρίμες συχνότητες μπορεί αυτή η διάκριση υψών να έχει απόσταση Hz. Όπως είναι λοιπόν λογικό, το ανθρώπινο αυτί αντιλαμβάνεται πολύ πιο εύκολα τη διαφορά των υψών στις υψηλές συχνότητες από ότι στις χαμηλές. Η διαφορά των 8 Hz του ενός τόνου από το ΝΤΟ των 65,4 Hz στο ΡΕ των 73,4 Hz στην επόμενη οκτάδα γίνεται διαφορά ημιτονίου, δηλαδή από το ΝΤΟ των 130,8 Hz πηγαίνουμε κοντά στο ΝΤΟ# των 138,6 Hz, και όσο ανεβαίνουμε στις συχνότητες οι διαφοροποιήσεις των τόνων μεγαλώνουν και το φάσμα των αντιληπτών συχνοτήτων πληθαίνει. Έτσι στη χαμηλή οκτάβα (65 ~ 125 Hz) αντιλαμβανόμαστε 30 διαφορετικά ύψη, ενώ στην υψηλότερη οκτάβα (1 ~ 2 khz) αντιλαμβανόμαστε 280 διαφορετικά ύψη. Σε όλο το ακουστικό φάσμα (16 Hz ~ 20 khz) διακρίνουμε περίπου 1400 ύψη (εν αντιθέσει με τη δυτική μουσική γραφή που αξιοποιεί μόνο τις 88 συχνότητες) (2) (4). Το ανθρώπινο αυτί αντιλαμβάνεται τις διαφορές των συχνοτήτων κατά τρόπο που σχετίζεται άμεσα με τη θέση τους στο ακουστικό φάσμα. Πρόκειται για μια μη γραμμική λειτουργία του αυτιού στην αντίληψη του ύψους, η οποία κατ' επέκταση προκαλεί «πύκνωση ή συμπίεση» της περιοχής των διακριτών υψών ή των τόνων στις υψηλές συχνότητες πάνω από 1 khz. Γι' αυτό ένα μουσικό διάστημα που παράγεται από υψηλές νότες "ακούγεται" μικρότερο από ένα ίδιο διάστημα που παράγεται από χαμηλές νότες. Τρεις νότες στην χαμηλή οκτάβα του πιάνου ακούγονται καθαρά και ευδιάκριτα τα μεταξύ τους διαστήματα αν παιχτούν οι ίδιες στην «πάνω» οκτάβα, τα διαστήματά τους τείνουν να γίνουν αντιληπτά ως μικρότερα (πχ. η διαφορά ενός τόνου μπορεί να γίνει αντιληπτή σαν ημιτόνιο στην πάνω οκτάβα) (2). Διακρότημα Όταν δύο τόνοι με ίδιες συχνότητες ηχήσουν ταυτόχρονα, τότε αντιλαμβανόμαστε έναν ήχο αυτής της συχνότητας αλλά δυνατότερης έντασης, καθώς οι εντάσεις τους προστίθενται. Στην περίπτωση που οι δύο τόνοι δεν έχουν την ίδια συχνότητα αλλά πολύ κοντινές τότε παρατηρείται ένα φαινόμενο που ονομάζεται διακρότημα. Κατά το διακρότημα εάν, επί παραδείγματι, έχουμε δύο τόνους f1 = 100 Hz και f2 = 104 Hz τότε ακούγεται ένας νέος τόνος με συχνότητα ίση με τον μέσο όρο των συχνοτήτων τους, δηλαδή fs = (f1+f2)/2 = 102 Hz. Ταυτόχρονα διαπιστώνεται μια αυξομείωση στην ένταση του με περιοδικότητα ίση με την διαφορά των συχνοτήτων τους f1 - f2=2 Hz (δηλαδή μέσα σε 1 δευτερόλεπτο η ένταση έχει αυξομειωθεί 2 φορές), που ονομάζεται «συχνότητα διακροτήματος». Στην περίπτωση που η συχνότητα διακροτήματος ξεπεράσει τα 16 Hz, τότε το διακρότημα γίνεται αισθητό όχι σαν αυξομείωση της έντασης αλλά σαν ένας καινούριος σύνθετος τόνος (2) (3). Συνήχηση Όταν δύο τόνοι διαφορετικού ύψους ηχούν ταυτόχρονα και η συνήχηση είναι ευχάριστη, τότε το ηχητικό αποτέλεσμα χαρακτηρίζεται σαν «συμφωνία» (consonance) και το μουσικό διάστημα που σχηματίζεται ονομάζεται σύμφωνο ή εύφωνο. Αν αντίθετα η συνήχηση παράγει μια δυσάρεστη αίσθηση, τότε το αποτέλεσμα χαρακτηρίζεται σαν «διαφωνία» (dissonance) και το αντίστοιχο μουσικό διάστημα ονομάζεται διάφωνο. Κατά τη δυτική μουσική θεωρία της αρμονίας τα πιο σύμφωνα μουσικά διαστήματα είναι η ταυτοφωνία και η οκτάβα. Λιγότερο σύμφωνα διαστήματα είναι κατά σειρά η καθαρή πέμπτη και η τέταρτη, ακολουθεί η μεγάλη τρίτη και η έκτη κ.ο.κ. Το ημιτόνιο είναι το πιο διάφωνο διάστημα, ενώ ο τόνος είναι λιγότερο διάφωνος του ημιτονίου. Άλλες μουσικές θεωρίες παρουσιάζουν διαφορετικές κλίμακες με διαφορετικά διαστήματα και αποδέχονται σύμφωνα διαστήματα και αρμονικές αλληλουχίες που η κλασσική δυτική μουσική απορρίπτει, χωρίς αυτές να απορρίπτουν την κλασσική θεωρία. Για την ερμηνεία της συμφωνίας ή διαφωνίας έχουν αναπτυχθεί διάφορες θεωρίες μέθοδοι, όπως η θεωρία των κλασμάτων ακέραιων αριθμών του Πυθαγόρα, η θεωρία των διακροτημάτων του Helmholtz, η θεωρία

17 της κρίσιμης ζώνης των Plomp - Levelt. Επί παραδείγματι, στη θεωρία του Helmholtz (που είναι η επικρατέστερη αποδεκτή πλέον) το κριτήριο της συμφωνίας ή διαφωνίας εξαρτάται από το αρμονικό περιεχόμενο των τόνων και την παραγωγή διακροτημάτων μεταξύ των αρμονικών τους, δηλαδή μία συγχορδία σε «συμφωνία» παιγμένη από πιάνο, ακούγεται σε «διαφωνία» παιγμένη από φλάουτο καθώς εκτός από την θεμελιώδη νότα συχνότητα, γεννιούνται και άλλες συχνότητες οι αρμονικές (όπως θα δούμε και στην συνέχεια)- οι οποίες καθορίζουν τον ήχο. H θεωρία της κρίσιμης ζώνης των Plomp και Levelt, υποστηρίζει, χωρίς να αντιμάχεται τη θεωρία του Helmholtz, ότι η συμφωνία ή η διαφωνία εξαρτάται από τη θέση των συχνοτήτων των τόνων στο ακουστικό φάσμα, καθώς από κάθε συχνότητα προκύπτει μια «κρίσιμη ζώνη» δηλαδή μια περιοχή όπου το κάθε διάστημα κρίνεται αν είναι σύμφωνο ή διάφωνο. Αυτό σημαίνει ότι μια σύμφωνη συγχορδία, παιγμένη στη χαμηλή οκτάβα του πιάνου, μπορεί να ακουστεί διάφωνη στην υψηλή οκτάβα. Επιπλέον από εποχή σε εποχή κάποιοι κανόνες αυτών των θεωριών τείνουν να καταργούνται ή να προσθέτουν εξαιρέσεις, γεγονός που μας προσθέτει την πιθανότητα η διάκριση συμφωνίας ή διαφωνίας να είναι καθαρά εμπειρικό φαινόμενο, χωρίς καθαρή επιστημονική εξήγηση (2) (3) (5) (6). Διάγραμμα 4: Διάγραμμα κρίσιμης ζώνης συμφωνίας και διαφωνίας (Plomp, Levet). Τόνοι διαφοράς και αθροίσματος συχνοτήτων Όταν δύο τόνοι συνηχούν (πχ f1 και f2), ένα έμπειρο αυτί διακρίνει ένα επιπλέον αριθμό συχνοτήτων, που δεν υπάρχουν στον χώρο αλλά είναι απόρροια της μη γραμμικής λειτουργίας του αυτιού. Ο Γενικός μαθηματικός τύπος που μας δίνει τα προϊόντα των συνδυασμών αυτών των συχνοτήτων (ή προϊόντα ενδοδιαμόρφωσης ) είναι: α f1 ± β f2 (όπου α και β είναι ακέραιοι αριθμοί (0, 1,2,3, )). Παράδειγμα: Η συνήχηση του ΝΤΟ των 130,8 Hz και του ΣΟΛ των 196 Hz παράγει τον ήχο του ΝΤΟ των 65,2 Hz δηλαδή της διαφοράς των συχνοτήτων τους (2). Περιοχή συχνοτήτων μουσικών οργάνων Περιοχή συχνοτήτων ενός μουσικού οργάνου (ή μιας οποιασδήποτε πηγής παραγωγής εύρους συχνοτήτων, όπως η ανθρώπινη φωνή) ονομάζεται το εύρος των συχνοτήτων που μπορεί να παράγει ένα όργανο, δηλαδή από τη μικρότερη δυνατή (μπάσα) μέχρι τη υψηλότερη δυνατή (πρίμα) μετρημένη συχνότητα (1) (2).

18 Διάγραμμα 5: Περιοχή συχνοτήτων διαφορών μουσικών οργάνων. Ένταση Η παραγωγή ενός ήχου πηγάζει από τη δόνηση της πηγής του. Για να αρχίσει τη δόνηση μια πηγή πρέπει να δεχτεί την ενέργεια μιας δύναμης που θα τη θέσει σε κίνηση, πχ. το κτύπημα μιας χορδής έτσι ώστε να αρχίσει αυτή να ταλαντώνεται. Η ταλάντωση αυτή εξασθενεί με την πάροδο του χρόνου καθώς κάποιο μέρος της ενέργειας χάνεται με τις τριβές και το υπόλοιπο μεταφέρεται μέσω των ηχητικών κυμάτων. Η ενέργεια αυτή ονομάζεται ακουστική ενέργεια. Ομοίως ορίζεται και η ακουστική ισχύς δηλαδή το ποσό της ενέργειας που μεταφέρεται σε ένα δευτερόλεπτο (1 sec) (1) (2) (3). Η ένταση του ήχου σε κάποιο σημείο του χώρου και για μια δεδομένη κατεύθυνση διάδοσής του, είναι η ακουστική ισχύς, που διαπερνά μια επιφάνεια ενός τετραγωνικού μέτρου (m2) κάθετη στην κατεύθυνση διάδοσης και μετράται σε Watts / m2. Η ένταση του ήχου μειώνεται, όσο αυξάνεται η απόσταση του σημείου που κάνουμε τη μέτρηση από την ηχητική πηγή. Επειδή όμως η ένταση του ήχου είναι δύσκολο να μετρηθεί επιλέγουμε να μετράμε τις μεταβολές της πίεσης του ατμοσφαιρικού αέρα, που δημιουργούνται από τα πυκνώματα και αραιώματα του ηχητικού κύματος, μέσω ενός μικροφώνου. Αυτό το μέγεθος ονομάζεται ακουστική πίεση και περιγράφει τις διακυμάνσεις της πίεσης γύρω από την κανονική πίεση που έχει ο ατμοσφαιρικός αέρας τη δεδομένη στιγμή, δηλαδή όταν δεν διαταράσσεται από ένα ηχητικό κύμα. Η ακουστική πίεση μετράται σε Newton/ m2 ή dynes/cm2. Στην συνέχεια υπολογίζουμε την ένταση από την σχέση: I = Ρ2/ρ υ (όπου I η ένταση του ήχου, Ρ η rms τιμή της ακουστικής πίεσης, ρ η πυκνότητα του μέσου διάδοσης (π.χ. ατμοσφαιρικός αέρας) και υ η ταχύτητα του ήχου σ' αυτό το μέσο). Μέτρηση έντασης και ακουστικής πίεσης Ο απόλυτος τρόπος μέτρησης των μεγεθών ένταση και ακουστική πίεση με μονάδες Watt/m2 και Newton/m2 αντίστοιχα, δεν είναι πολύ πρακτικός ειδικά για τους μουσικούς. Έτσι αναπτύχθηκε ένας «σχετικός» τρόπος, μέσω του

19 οποίου όλες οι εντάσεις ή οι ακουστικές πιέσεις μετρώνται έμμεσα συγκρινόμενες με μια κατώτατη ένταση ή ακουστική πίεση που χρησιμοποιείται σαν αναφορά. Επειδή η απόκριση του αυτιού στην ένταση του ήχου, όπως θα αναφερθούμε και παρακάτω, εξαρτάται από τη συχνότητα, έχει επιλεχθεί η συχνότητα των 1000 Hz, σαν βασική συχνότητα αναφοράς για πάρα πολλές μετρήσεις ακουστικής (1) (2). Μετά από πολλά πειράματα σε ακροατές βρέθηκε ότι ένας απλός τόνος (ημιτονοειδούς μορφής ηχητικό κύμα) συχνότητας 1000 Hz, γίνεται μόλις αντιληπτός, όταν η έντασή του κυμαίνεται περίπου στα Watts/m2. Ορίστηκε έτσι μια κατώτατη ένταση (ένταση κατωφλίου ή όριο ακουστικότητας ή Threshold of hearing ) που αντιστοιχεί στην τιμή των 10-12Watts/m2 και αποτελεί το σημείο αναφοράς για τη μέτρηση των εντάσεων (1) (2). Εν συνεχεία, ορίζεται το μέγεθος στάθμη έντασης (Intensity level) που συμβολίζεται με το L και ισούται με: L = 10 log(i/i0) (όπου I είναι η προς μέτρηση ένταση ήχου και Ι0 είναι η ένταση κατωφλίου). Η λογαριθμική μονάδα μέτρησης της στάθμης έντασης είναι το Decibel (db). Έτσι, όταν ο ήχος έχει την κατώτατη ένταση, δηλαδή ΙΟ-12 Watts/m2, τότε η στάθμη έντασής του είναι 0 db. Ένας ήχος 10 φορές ισχυρότερος (10-11 Watts/m2) έχει στάθμη 10 db, 100 φορές ισχυρότερος (ΙΟ-10 Watts/m2) έχει 20 db, 1000 φορές έχει 30 db κ.ο.κ (1) (2). Στην περιοχή των πολύ ισχυρών ήχων από πειράματα προέκυψε ότι ήχοι έντασης πάνω από 1 Watt/m2 προκαλούν την αίσθηση του πόνου (όριο πόνου ή Threashold of Pain). Αυτή η ένταση είναι ΙΟ12 φορές ισχυρότερη της έντασης κατωφλίου, η στάθμη της βρίσκεται στα 120 db και θεωρείται το όριο ανεκτικότητας της ακοής (1) (2). Με παρόμοιο τρόπο ορίζεται και το μέγεθος στάθμη ακουστικής πίεσης (Sound Pressure Level ή SPL) και ισούται με: 20-log(P/P0) (όπου Ρ είναι η προς μέτρηση rms τιμή της πίεσης, Ρ0 είναι η rms τιμή της ακουστικής πίεσης, που αντιστοιχεί στην ένταση κατωφλίου και έχει την τιμή των 2 ΙΟ-5 Newtons/m2 ή 2 x ΙΟ-4 dynes/cm2). Για ένα ηχητικό κύμα που διαδίδεται προς μια κατεύθυνση, η στάθμη έντασης και η στάθμη ακουστικής πίεσης είναι σχεδόν ίδιες. Σε κλειστούς χώρους όμως που υπάρχουν ανακλάσεις, τα δύο αυτά μεγέθη δεν είναι απαραίτητα ίδια. Βέβαια στις περισσότερες περιπτώσεις μετρήσεων, οι διαφορά τους είναι μικρή έως αμελητέα (2). Παραδείγματα ηχητικών πηγών Στάθμη της έντασης σε db ή SPL Ακουστική πίεση N/m2 = Pa Ένταση I Watts/m2 Αεροσκάφος σε 50 μέτρα απόσταση Όριο πόνου όριο ενόχλησης Ηλεκτρικό πριόνι σε 1μέτρο απόσταση

20 Ηχείο νυχτερινού κέντρου σε 1 μέτρο απόσταση Φορτηγό σε 10 μέτρα απόσταση Πεζοδρόμιο δρόμου με κίνηση σε απόσταση 5 μέτρων Ηλεκτρική σκούπα σε 1μέτρο απόσταση Συζήτηση σε 1μέτρο απόσταση Μέσος θόρυβος σπιτιού Ήσυχη βιβλιοθήκη Ήσυχο δωμάτιο τη νύχτα Μονωμένη αίθουσα ηχοληψίας Θρόισμα φύλλων σε απόσταση Όριο ακουστικότητας Ακουστικότητα μέτρηση της ακουστικότητας Η ακουστικότητα ενός ήχου είναι το μέγεθος που μας δείχνει πόσο δυνατά ή χαμηλά αντιλαμβανόμαστε την ένταση του ήχου (μέγεθος της ακουστική αντίληψη της έντασης από τον ακροατή). Η ακουστότητα είναι η υποκειμενική αντίληψη της έντασης. Υπάρχει σημαντική διαφορά μεταξύ έντασης (ή και ακουστικής πίεσης) και ακουστικότητας, η οποία φαίνεται στο διάγραμμα των καμπυλών ίσης ακουστότητας (equal loudness contours) που συνέταξαν οι Fletcher-Munson και βελτίωσαν οι Robinson-Dοdson (2) (3). Διάγραμμα 6: Ακουστικότητα διαφόρων συχνοτήτων.

21 Στο διάγραμμα 6 φαίνεται ότι η ακουστότητα ενός ήχου εξαρτάται από τη συχνότητά του. Δύο ή περισσότεροι ήχοι ίδιας έντασης ή ακουστικής πίεσης, αλλά διαφορετικής συχνότητας, έχουν διαφορετική ακουστότητα. Η ελάχιστα αντιληπτή στάθμη ακουστικής πίεσης ενός τόνου συχνότητας 3000 Hz είναι περίπου 0 db, ενώ για να ακουστεί ένας άλλος τόνος συχνότητας 50 Hz χρειάζεται στάθμη πίεσης τουλάχιστον 43dB. Το αυτί λοιπόν, δεν είναι το ίδιο ευαίσθητο σ' όλες τις συχνότητες. Κάτω από τα 1000 Hz όπως και πάνω από τα 6000 Hz η ευαισθησία του μειώνεται αρκετά. Αντίθετα στην περιοχή των 3000 έως 4000 Hz έχει τη μέγιστη ευαισθησία. Η χαμηλότερη καμπύλη του διαγράμματος είναι το κατώφλι ακουστότητας για όλες τις συχνότητες, ενώ η υψηλότερη είναι το όριο πόνου (2). Η μονάδα της στάθμης ακουστότητας είναι το phon. Στη συχνότητα αναφοράς του 1 khz, εξ' ορισμού, η στάθμη ακουστότητας είναι ίση με τη στάθμη ακουστικής πίεσης (ή έντασης) και το 1 phon αντιστοιχεί σε 1 db. Σ' οποιαδήποτε άλλη συχνότητα η ακουστότητα είναι διαφορετική από την ακουστική πίεση. Π.χ. στάθμη ακουστικής πίεσης 50 db αντιστοιχεί για έναν τόνο συχνότητας 50 Hz σε στάθμη ακουστότητας περίπου 20 phons, και για τόνο συχνότητας 3000 Hz σε ακουστότητα περίπου 60 phons και για τόνο συχνότητας Hz σε ακουστότητα περίπου 46 phons (2). Η "αναισθησία" του αυτιού στις πολύ χαμηλές συχνότητες αναπτύχθηκε πιθανότατα, για να μην ενοχλείται η ακοή από εσωτερικούς χαμηλής συχνότητας ήχους, που παράγουν οι ρυθμοί της καρδιάς, η κίνηση του αίματος στα αγγεία κ.λπ. (2) Οι καμπύλες ίσης ακουστότητας και η μονάδα phon δεν δίνουν πληροφορίες για την πραγματικά υποκειμενική αντίληψη της ακουστότητας, δηλαδή την αίσθηση του "πότε ένας ήχος είναι σε ένταση διπλάσιος ή μισός από κάποιον άλλο", έτσι δημιουργήθηκε μια νέα μονάδα ακουστότητας, το sone. Σύμφωνα με αυτήν τη μέθοδο μέτρησης τα 2 sones ηχούν με διπλάσια ακουστότητα απ' ότι το 1 sone, τα 20 sones επίσης διπλάσια από τα 10 sones κ.ο.κ. Οι ακουστότητες (σε sones) μεμονωμένων ήχων μπορούν, κάτω από ορισμένες προϋποθέσεις, να προστεθούν για να βρεθεί η ακουστότητα του αθροίσματος - συνήχησής των. Το 1 sone εξ' ορισμού είναι η ακουστότητα που παράγει ένας απλός τόνος (ημιτονοειδούς μορφής ηχητικό κύμα) συχνότητας 1 khz με στάθμη 40 phons (ή 40 db). Η ένταση 2 sones είναι διπλάσια του ενός sone και είναι ισοδύναμη με ένταση στάθμης 50 db στο 1 khz. Το ημιτονοειδές κύμα είναι καθορισμένο και η ένταση εξαρτάται και από την συχνότητα και από την πολυπλοκότητα της κυματομορφής (2). Επειδή το phon είναι μονάδα στάθμης ακουστότητας, θα μπορούσε να χαρακτηριστεί σαν αντικειμενική μονάδα ακουστότητας, ενώ το sone είναι μια καθαρά υποκειμενική μονάδα. Η σχέση μεταξύ της υποκειμενικής ακουστότητας σε sones και της αντικειμενικής στάθμης ακουστότητας σε phons φαίνεται στο επόμενο διάγραμμα (διάγραμμα 7) (2). Διάγραμμα 7: Σχέση ακουστικότητας μετρημένη σε sones και phons.

22 Διάκριση ήχων διαφορετικής ακουστότητας Η ελάχιστη αντιληπτή αλλαγή στη στάθμη της ακουστικότητας, την οποία μπορεί το αυτί να ανιχνεύσει, εξαρτάται από τη συχνότητα και ακολουθεί την ευαισθησία του αυτιού. Έτσι, στην περιοχή μεγίστης ευαισθησίας, το αυτί μπορεί να διακρίνει περίπου 375 διαφορετικές στάθμες ακουστικότητας, ενώ στις χαμηλές ή πολύ υψηλές συχνότητες οι διακριτές στάθμες μειώνονται κατά πολύ. Πχ. στα 60 Hz διακρίνονται μόνο 45 περίπου διαφορετικές στάθμες, στα 250 Hz 170 στάθμες, στα 500 Hz 260 στάθμες, στα 8 khz 150 στάθμες κλπ. Συνεπώς, με δεδομένο ότι η περιοχή αντιληπτών εντάσεων ήχου έχει εύρος περίπου 120 db, τότε το αυτί μπορεί να διακρίνει μεταβολές έντασης περίπου 0,5 db στην περιοχή μεγίστης ευαισθησίας του. Η ικανότητα διάκρισης εξαρτάται και από τη στάθμη έντασης του ήχου και βελτιώνεται όσο η στάθμη αυξάνεται μέχρις ενός ορίου (2). Δυναμική περιοχή Η δυναμική περιοχή ενός οργάνου είναι η μέτρηση της απόστασης μεταξύ των χαμηλότερων και δυνατότερων ήχων που είναι ικανό να παράγει. Όροι όπως πολύ χαμηλά (pianissimo), μέτρια δυνατά (mezzofode) και πολύ δυνατά (fortissimo) χρησιμοποιούνται για να περιγράψουν την σχετική ένταση της νότας που παράγεται ή να ορίσουμε την ένταση που θέλουμε να παραχθεί. Παραδείγματος χάριν η δυναμική περιοχή της ανθρώπινης φωνής μπορεί να εκτείνεται από ένα χαμηλό ψίθυρο έως μια δυνατή κραυγή (1) (2). Απόκριση συχνότητας ενός μηχανήματος (πχ. ενισχυτής, ηχείο, μικρόφωνο κ.α.) Πρόκειται για το διάγραμμα που μας υποδεικνύει την ένταση που αποδίδεται σε κάθε συχνότητα από ένα μηχάνημα. Στο διάγραμμα που ακολουθεί ο Υ - άξονας αντιπροσωπεύει το μέσο όρο εύρους έντασης του σήματος στην έξοδο του μηχανήματος και ο Χ - άξονας αντιπροσωπεύει την συχνότητα του σήματος. Αν η είσοδος του μηχανήματος τροφοδοτηθεί με ένα σταθερό εύρος σήματος το οποίο αυξάνει από τις χαμηλές ως τις υψηλές συχνότητες, η γραφική παράσταση θα μας δείξει πως το εύρος έντασης του σήματος της εξόδου του μηχανήματος αλλάζει καθώς η συχνότητα του σήματος στην είσοδο του αλλάζει. Αν η έξοδος είναι η ίδια σε όλες τις συχνότητες, τότε η καμπύλη θα είναι μια οριζόντια ευθεία γραμμή από τ' αριστερά στα δεξιά. Αυτό λέγεται flat frequency response και δείχνει ότι το μηχάνημα παράγει όλες τις συχνότητες στην ίδια ένταση. Καμία συχνότητα δεν τονίζεται περισσότερο ή λιγότερο από τις άλλες. Αν η καμπύλη κατεβαίνει σε μερικές συχνότητες θα ξέρουμε ότι αυτές οι συχνότητες έχουν χαμηλότερο εύρος απ ότι οι άλλες συχνότητες. Η καμπύλη απόκρισης συχνότητας δείχνει το αποτέλεσμα που έχει ένα μηχάνημα με τη χροιά ενός οργάνου (1).. Διάγραμμα 8: Διάγραμμα απόκρισης συχνότητας. Επιπλέον ορίζουμε το εύρος συχνοτήτων ενός ενισχυτή (Amplifier bandwidth), την απόσταση των χαμηλότερων και υψηλότερων συχνοτήτων, που μπορεί να αναπαραγάγει, οι οποίες δεν είναι περισσότερο από 3 db κάτω από την στάθμη της απόκρισης συχνότητας (θεωρώντας ότι ο ενισχυτής αποδίδει σε flat frequency response) (1).

23 Διάγραμμα 9: Διάγραμμα εύρους συχνοτήτων Ένταση και Χρόνος Δυναμική ανάπτυξη του ήχου - Περιβάλλουσα (Time Envelope ή απλά Envelope) Η ένταση ενός ήχου (π.χ. που παράγεται από ένα μουσικό όργανο) μεταβάλλεται καθ' όλη τη διάρκεια της εξέλιξής του. Παραδείγματος χάριν όταν πατάμε το πλήκτρο ενός πιάνου ο ήχος ακούγεται απότομα δυνατά και ανάλογα αν κρατήσουμε το πλήκτρο πατημένο ή το αφήσουμε αμέσως, τότε ο ήχος ακούγεται να «σβήνει» σιγά - σιγά ή απότομα («στακάτο») αντιστοίχως (1) (2) (3) (4). Από τη στιγμή που παράγεται ένας ήχος έως τη στιγμή που θα σιγήσει ολοκληρωτικά, το πλάτος της κυματομορφής, δηλαδή η ένταση του ηχητικού κύματος, ακολουθεί μια πορεία / καμπύλη στον χρόνο που δείχνει σχηματικά ακριβώς αυτή τη μεταβολή στην ένταση, στην μονάδα του χρόνου ή αλλιώς την «δυναμική ανάπτυξη της έντασης ενός ήχου». Αυτή η καμπύλη ονομάζεται περιβάλλουσα (time envelope) και απεικονίζεται στο παρακάτω σχήμα (σχήμα 2) με την έντονη συνεχή καμπύλη (1) (2). Σχήμα 2: Η περιβάλλουσα στην γενική της μορφή. Στο σχήμα 2 εμφανίζεται μια περιβάλλουσα στην πιο γενική της μορφή. Αυτή αποτελείται από τέσσερα μέρη - φάσεις (1) (2) (3) (4): (Α) Την αρχική και ανάλογα με το μουσικό όργανο γρήγορη ή αργή αύξηση της έντασης /ανάκρουση ή μέτωπο ή ατάκα (Attack). (Β) Την αρχή της μείωσης της έντασης αμέσως μετά το μέτωπο / εξασθένηση ή πτώση (Decay). (Γ) Τη διατήρηση μιας μέτριας (ή μέσης) έντασης / διατήρηση ή διάρκεια (Sustain).

24 (Δ) Τη δραστική μείωση και μηδενισμό του ήχου /απελευθέρωση ή αποδέσμευση (Release). Πρόκειται για την πορεία της έντασης αφότου πάψει ο μουσικώς να ασκεί οποιαδήποτε δύναμη / ενέργεια στο μουσικό όργανο (πχ. το άφημα του πλήκτρου ενός πιάνου, η παύση φυσήματος σε ένα πνευστό κ.ο.κ). Η περιβάλλουσα πολλές φορές συμβολίζεται με τα "αρχικά" των τεσσάρων φάσεων, δηλαδή ADSR. Ο ήχος παράγεται τη χρονική στιγμή Α και σιγεί στη Β. Υποτίθεται επίσης ότι είναι απλός τόνος, γι' αυτό η κυματομορφή του είναι ημιτονοειδής (2). Το σχήμα της περιβάλλουσας εξαρτάται από το είδος του μουσικού οργάνου καθώς και από τον τρόπο που το παίζει ο μουσικός. Για παράδειγμα, τα πνευστά έχουν αργό μέτωπο (attack), δηλαδή η έντασή τους αργεί να αυξηθεί, ενώ η κιθάρα και τα κρουστά έχουν ταχύ μέτωπο ή γρήγορο - έντονο attack, διότι η έντασή τους παίρνει απότομα μεγάλες τιμές. Όσο πιο δυνατά χτυπηθούν οι χορδές ή τα κρουστά, τόσο πιο έντονο (ταχύ) είναι το attack. Στη συνέχεια, ενώ στην κιθάρα ή τα κρουστά ο ήχος εξασθενεί γρήγορα και διαρκεί πολύ λίγο, στα πνευστά διαρκεί πολύ περισσότερο (επειδή ο μουσικός συνεχίζει να φυσά) μέχρι να σταματήσει όπου κόβεται και απότομα ο ήχος (σχεδόν μηδενικό release) (2). Σχήμα 3: Περιβάλλουσες οργάνων: 1) Ακουστική κιθάρα, 2) ηλεκτρική κιθάρα, 3) οργάνου (organ), 4) Πιάνου Στο σχήμα 3 εμφανίζονται οι περιβάλλουσες μερικών οργάνων. Ο ήχος από τη χορδή της κιθάρας εμφανίζεται να έχει μόνο μέτωπο και πτώση, δηλαδή μετά την έντονη ατάκα φθίνει γρήγορα και ενώ η χορδή για αρκετό χρόνο συνεχίζει να ταλαντώνει ασθενώς, ο ήχος είναι ουσιαστικά μη αισθητός. Στην ηλεκτρική κιθάρα, με την παρεμβολή ενός συμπιεστή, ενισχύεται η διάρκεια (Sustain) και ο ήχος γίνεται επαρκώς ακουστός εκεί που πριν ήταν ελάχιστα αντιληπτός. Είναι προφανές, ότι στην κιθάρα η "φάση" αποδέσμευσης δεν υπάρχει. Ο ήχος του οργάνου (Pipe Organ) έχει μεγάλους χρόνους μετώπου και αποδέσμευσης, ενώ ο ήχος του πιάνου έχει ταχύ μέτωπο αλλά αργή πτώση (2). Η σημαντικότητα του ελέγχου της περιβάλλουσας φαίνεται στο γεγονός ότι έχουν εφευρεθεί ειδικές συσκευές που ανιχνεύουν και παράγουν την περιβάλλουσα ενός ήχου (ανιχνευτές περιβάλλουσας envelope detectors ή envelope followers).επιπλέον έχουν αναπτυχτεί κατάλληλα κυκλώματα (envelope generators ή EG s) μέσω των οποίων μπορούν να ελεγχθούν οι παράγοντες ADSR και να αλλάξει το σχήμα της περιβάλλουσας των ήχων που παράγουν. Υπάρχουν επίσης επεξεργαστές ακουστικών σημάτων - ηλεκτρονικά εφέ που μπορούν να αλλοιώσουν και να μετασχηματίσουν την περιβάλλουσα των ήχων που παράγει ένα οποιοδήποτε όργανο. Ταυτόχρονα την ιδέα της περιβάλλουσας χρόνου, δηλαδή τη ποσοτική μεταβολή ενός μεγέθους (εδώ ένταση) στο χρόνο, με τη μορφή της

25 περιβάλλουσας καμπύλης στο σχετικό διάγραμμα, χρησιμοποιείται στα συνθεσάιζερ ώστε να μεταβάλλονται και άλλα μεγέθη (πχ. τα όρια συχνοτήτων που επιτρέπει ένα φίλτρο συχνοτήτων να διαπερνούν στην μονάδα του χρόνου, μεταβολή του ύψους (pitch) ενός οργάνου, το ποσοστό συμμετοχής ενός εφέ στον τελικό ήχο κλπ.) (2). Ταχύτητα του ήχου (Velocity) Η ταχύτητα ενός κύματος είναι εκείνη με την οποία αυτό ταξιδεύει μέσα από κάποιο μέσο (υλικό) και δίνεται από την εξίσωση: V=d / ( t2 t1 ) (όπου: V = ταχύτητα διάδοσης, d = απόσταση από την πηγή, t = χρόνος σε sec.). Για χα ηχητικά κύματα, το μέσο είναι τα μόρια του αέρα, για τον ηλεκτρισμό το μέσο είναι τα ηλεκτρόνια. Η ταχύτητα του κύματος προσδιορίζει πόσο γρήγορα ένας κύκλος ενός κύματος θα ταξιδέψει μια ορισμένη απόσταση. Σε 70 F, η ταχύτητα των ηχητικών κυμάτων στον αέρα είναι περίπου μέτρα ανά δευτερόλεπτο. Αυτή η ταχύτητα εξαρτάται από την θερμοκρασία και αυξάνει σε αναλογία 0,34 μέτρα ανά δευτερόλεπτο για κάθε βαθμό Φαρενάιτ που αυξάνει η θερμοκρασία (1) (2). Μήκος κύματος (Wavelength) Το μήκος κύματος (λ) είναι η πραγματική απόσταση στο μέσο μεταξύ της αρχής και του τέλους ενός κύκλου, ή μεταξύ αντιστοίχων σημείων σε προσκείμενους κύκλους και είναι ισοδύναμο με: λ = V/f (όπου λ = είναι το μήκος κύματος στο μέσο, V= είναι η ταχύτητα στο μέσο, f = συχνότητα σε Hertz). Για να επεξηγήσουμε ένα ηχητικό κύμα 30 Hz συμπληρώνει 30 κύκλους κάθε δευτερόλεπτο, ή 1 κύκλο κάθε 1/30 του δευτερολέπτου (περίπου κάθε 0,0333 δευτερόλεπτο) (1) (2). Ο χρόνος που χρειάζεται για να συμπληρώσει ένας κύκλος ονομάζεται περίοδος του κύματος και εκφράζεται χρησιμοποιώντας το σύμβολο Τ=1/f όπου Τ είναι ο αριθμός των δευτερολέπτων ανά κύκλο. Αφού η ταχύτητα στον αέρα είναι σταθερή, η συχνότητα και το μήκος κύματος αλλάζουν αντίστροφα το ένα με το άλλο. Όσο μεγαλύτερη είναι η συχνότητα τόσο μικρότερο είναι το μήκος κύματος (1) (2). Έτσι για ένα τόνο 40 Hz έχουμε: λ = 1130/40 = 28,25 1 khz έχουμε: λ = 1130/1000 = 1,13 20 khz έχουμε: λ = 1130/20000 = 0,0565

26 Σχήμα 4: Η σχέση των μηκών κύματος συχνότητας 30Hz και 300Hz είναι αντιστρόφως ανάλογη των συχνοτήτων τους. Συχνότητα και φάση (Phase) Για να αντιληφθούμε την έννοια της φάσης, θα πρέπει να μελετήσουμε το διάγραμμα του κύκλου μιας απλής ημιτονοειδούς συχνότητας και να λάβουμε υπόψη μας ότι συμβολίζει μεταβολές ατμοσφαιρικής πίεσης (1) (2). Φάση καλείται η «στιγμιαία κατάσταση» στην οποία βρίσκεται μια αναπτυσσόμενη και περιοδικά μεταβαλλόμενη κυματομορφή (1). Αφού ένας κύκλος μπορεί ν' αρχίσει από οποιοδήποτε σημείο τη κυματομορφής, είναι δυνατόν να έχουμε, δύο παραγωγούς κυμάτων (oscillators) οι οποίο παράγουν ημιτονοειδή κύματα της ίδιας συχνότητας και εύρους, τα οποία όμως θα έχουν διαφορετικές τιμές έντασης (εύρη) στα σημεία του χρόνου. Αυτά τα κύματα λέμε ότι είναι εκτός φάσης (out of phase) το ένα με το άλλο ή έχουν «διαφορά φάσης» (2). Η φάση μετριέται σε μοίρες ( ), εφόσον συμβολίζει μια στιγμή του χρονικού κύκλου του κύματος, άρα και διαιρείται σε 360. Ένα ημιτονοειδές κύμα συνήθως ξεκινά από τις 0 με αντίστοιχο εύρος ίσο με μηδέν (0), και μετά αυξάνει στο θετικό μέγιστο σημείο (peak) στις 90, μειώνεται στο 0 στις 180, μειώνεται στην ελάχιστη τιμή (trough) στις 270, και ολοκληρώνει τον κύκλο του πίσω στη τιμή μηδέν (0) στις 360 (ή αρχή στις 0 του επόμενου κύκλου). Το πρώτο κύμα (Α) του σχήματος 5 μπορεί να θεωρηθεί σαν καμπύλη αναφοράς. Η δεύτερη κυματομορφή (Β) φθάνει στο μέγιστο θετικό εύρος της 90 πριν το πρώτο και είναι εκτός φάσης με το πρώτο γιατί προηγείται αυτού κατά 90. Σε αυτή τη περίπτωση λέγεται ότι τα δύο ημίτονα έχουν διαφορά φάσης 90. Η τρίτη κυματομορφή (Γ) αρχίζει ελαττώνοντας από το μηδέν 180 πριν από το πρώτο και είναι 180 εκτός φάσης (ή διαφορά φάσης 180 ). Η τέταρτη (Δ) προηγείται του πρώτου κατά 270 και είναι επίσης εκτός φάσης (διαφορά φάσης 270 ).

27 Σχήμα 5: Διαφορά φάσης 4 κυμάτων που ξεκίνησαν από διαφορετικό σημείο. Υποτίθεται ότι τα κύματα ξεκινούν στις 0. Αν κάποιο από πχ. δύο κύματα (α και β), ίδιας συχνότητας (άρα και περιόδου (Τ), καθώς και μήκους κύματος (λ), εφόσον μεταδίδονται στο ίδιο μέσο), είχε ξεκινήσει νωρίτερα στην μονάδα του χρόνου, πχ. κατά Τ/2 τότε τη τυχαία χρονική στιγμή t που το Α θα ήταν στο μέγιστο πλάτος του (peak), το β θα ήταν στο ελάχιστο πλάτος του (trough) οπότε και θα είχαν διαφορά φάσης 180. Αναλόγως αν είχαν αναπαραχθεί με διαφορά Τ/4 θα είχαν 90, σε 3Τ/4 θα είχαν 270 κ.ο.κ. (2) Σχήμα 6: Ίδια κύματα (α & β) που ξεκινούν με διαφορά φάσης χρονικής περιόδου t. Επιπλέον μπορεί να ξεκινούσαν να αναπαράγονται την ίδια χρονική στιγμή αλλά με πηγές σε απόσταση η μία από την άλλη πχ. λ/2. Σε αυτή την περίσταση σε ένα σημείο του χώρου, σε μια συγκεκριμένη στιγμή t, όταν το κύμα α θα ήταν

28 πχ. στο μέγιστο πλάτος του, το β θα βρίσκονταν στο ελάχιστο πλάτος του οπότε πάλι θα είχαμε διαφορά φάσης 180 και αντίστοιχα σε απόσταση λ/4 θα είχαμε διαφορά φάσης 90 και σε 3λ/4 270 κ.ο.κ. Τέλος υπάρχει και το ενδεχόμενο τα δύο κύματα να έχουν διαφορά φάσης ακέραιου πολλαπλάσιου των 360 ή χρονική διαφορά αναπαραγωγής ακέραιου πολλαπλάσιου της περιόδου Τ sec. ή απόσταση ακέραιου πολλαπλάσιου του μήκους κύματος λ. Σε όλες αυτές τις περιπτώσεις τα δύο κύματα εξακολουθούν να βρίσκονται σε φάση. Από αυτό γίνεται κατανοητό ότι η διαφορά φάσης μπορεί να οφείλεται σε πολλούς λόγους. Παρόλα αυτά πάντα ενεργεί με ίδιο τρόπο στο τελικό αποτέλεσμα, όπως περιγράφουμε στην συνέχεια (2). Σχήμα 7: Ίδια κύματα (α & β), που ξεκινούν από πηγές με διάφορες αποστάσεις. Πρόσθεση Συνήχηση δύο ή περισσότερων συχνοτήτων Όταν δύο ή περισσότερες συχνότητες συνηχούν, τότε το αποτέλεσμα είναι ένας νέος ήχος που τα χαρακτηριστικά του καθορίζονται από τα χαρακτηριστικά των εκάστοτε κυμάτων που τον συγκροτούν. Επειδή όμως μιλάμε ουσιαστικά για μεταφορά ενέργειας μέσω πυκνωμάτων και αραιωμάτων της ατμόσφαιρας, είναι επόμενο ότι ουσιαστικά ο ήχος που ακούμε να είναι τη πίεση που προκαλούν οι πηγές ήχου στο περιβάλλον και πως αυτές αλληλεπιδρούν. Τη στιγμή που σε ένα σημείο του χώρου η πηγή Α δημιουργεί πύκνωμα της ατμόσφαιρας, είναι πολύ πιθανό μία πηγή Β να προκαλεί αραίωμα. Και οι δύο μαζί όμως θα διαμορφώσουν τελικά την ατμοσφαιρική πίεση του σημείου αυτού και όπως είναι λογικό, εάν η μία προκαλεί πύκνωμα που ασκεί πίεση μεγέθους ά μπορεί μία δεύτερη να προκαλεί αραίωμα επίσης μεγέθους ά δηλαδή τιμή μεγέθους ά. Το φυσικό αποτέλεσμα είναι να αλληλοεξουδετερώνονται οι δυνάμεις και τελικά το σημείο να βρίσκεται σε σημείο ισορροπίας άρα και δεν ακούγεται κανένας ήχος. Αντιστοίχως μπορεί να ενώσουν τις ενέργειές τους και να έχουμε διπλάσιας έντασης ήχο. Για να το δούμε πώς ακριβώς αλληλεπιδρούν οι δυνάμεις αυτές, θα πρέπει να εξετάσουμε τις φυσικές ιδιότητες των κυμάτων. Χρησιμοποιούμε το απλούστερο παράδειγμα δύο απλών ημιτονοειδών κυμάτων (Α και Β) που έχουν την ίδια ακριβώς συχνότητα f και μέγιστο πλάτος Α. Η συνάρτηση που μας δείχνει το πλάτος του κύματος είναι: y( x, t) A sin( t kx ) (Όπου Α η μέγιστη τιμή πλάτους ταλάντωσης, t το χρονικό σημείο που εξετάζουμε μετά την έναρξη του ήχου, x η απόσταση από τη πηγή, παράγοντας k = 2π/λ (λ: μήκος κύματος), φ είναιη φάση έναρξης του κύματος). Το κομμάτι της συνάρτησης (ωt kx +φ) είναι η «φάση» του κύματος. Όταν έχουμε δύο κύματα τότε το κοινό κύμα είναι το άθροισμά τους, δηλαδή:

29 2 2 y( x, x, t) A sin( t x ) A sin( t x ) a b a a a a a Αν θεωρήσουμε περίπτωση α) ότι οι δύο πηγές βρίσκονται στο ίδιο σημείο του χώρου x και έχουν ίδια συχνότητα (άρα και μήκος κύματος λ και παράγοντα k) και μέγιστο πλάτος Α, τότε για δεδομένη χρονική στιγμή t η παραπάνω συνάρτηση παίρνει τη μορφή: y( x, t) A sin( t kx ) A sin( t kx ) ( t kx ) ( t kx ) ( t kx ) ( t kx ) y( x, t) A 2 sin cos 2 2 2( t kx) y( x, t) 2 A sin cos 2 2 Στην περίπτωση που τα δύο κύματα βρίσκονται στην ίδια φάση (φα = φβ = φ) τότε τα κύματα είναι ολόιδια με γενική μορφή συνάρτησης y(t) = A*sin(ωt+φ), ενώ η παραπάνω εξίσωση γίνεται: 2( t kx ) y( x, t) 2A sin cos(0) 2 y( x, t) 2A sin t kx 1 y( x, t) 2 [ A sin( t kx )] δηλαδή παίρνουμε ένα ίδιου σχήματος, συχνότητας και φάσης κύμα αλλά διπλάσιας έντασης (1) (2). Στην περίπτωση που τα δύο κύματα βρίσκονται τελείως εκτός φάσης (δηλαδή φα-φβ = φα+ φβ =π) η παραπάνω εξίσωση γίνεται: 2 t kx y( x, t) 2A sin cos t kx y( x, t) 2A sin 0 2 y( x, t) 0

30 Δηλαδή το ένα κύμα αναιρεί το άλλο, οπότε δεν έχουμε ήχο! (1) (2) Σχήμα 8: Πρόσθεση κυμάτων με διαφορά φάσης 0 (..σε φάση), 180 (..εκτός φάσης) και 90 (..μερικώς εκτός φάσης). Στην ενδιάμεση περίπτωση όπου τα κύματα είναι μερικώς εκτός φάσης (ούτε είναι σε φάση ΔΦ=0, ούτε είναι τελείως εκτός φάσης ΔΦ = 180 ή =π), τότε η επίδραση του ενός κύματος προς το άλλο είναι είτε όταν βρίσκονται και τα δύο σε κοινή κατάσταση, δηλαδή είτε σε πύκνωμα (πλάτος κύματος/ ένταση > 0) είτε σε αραίωμα (πλάτος κύματος/ ένταση <0) τότε το πλάτος ενισχύεται (είτε με θετικό πρόσημο, είτε με αρνητικό) ενώ άμα έχουν διαφορετικό πρόσημο τα πλάτη τους, τότε το πλάτος μειώνεται (2). Σχήμα 9: Πρόσθεση κυμάτων διαφορετικής συχνότητας. Τα κύματα μπορούμε να πούμε ότι είναι σε φάση ή αλληλένδετα στα σημεία όπου οι ενδείξεις είναι ίδιες και εκτός φάσης ή μη αλληλοσυνδεόμενα όπου οι ενδείξεις είναι αντίθετες (2). Φάσμα συχνοτήτων αρμονικός όγκος Μέχρι τώρα είδαμε τις ιδιότητες των ήχων βάση τον απλούστερο ήχο, που αναπαρίσταται από την ημιτονοειδή συνάρτηση. Επίσης είδαμε ότι μπορούμε να δημιουργήσουμε έναν ήχο προσθέτοντας κύματα σε διάφορες φάσεις, με διάφορες συχνότητες σε ποικίλες εντάσεις και με διαφορετικά σχήματα. Από τον παραπάνω συλλογισμό μπορούμε να ορίσουμε τον απλό τόνο (ημιτονοειδής) ως την βασική μονάδα / συστατικό ενός ήχου. Επιπλέον, η αλήθεια είναι ότι η πλειοψηφία των μουσικών οργάνων παράγουν σύνθετους ήχους, καθώς σύνθετοι είναι και οι περισσότεροι ήχοι που ακούμε στην φύση. Ο άνθρωπος, για να μιμηθεί ή να αναλύσει αυτούς τους ήχους έχει δημιουργήσει ειδικά όργανα, τους φασματογράφους, οι οποίοι αναλύουν τους ήχους στα απλούστερα συστατικά τους, δηλαδή σε απλούς τόνους και τους παρουσιάζουν (συνήθως σε διάγραμμα Fourier που θα συναντήσουμε και

31 στην συνέχεια) στις συχνότητές τους, με τις εντάσεις τους και τη φάση που βρίσκονται. Το σύνολο των απλών τόνων που απαρτίζουν έναν σύνθετο ήχο ονομάζεται φάσμα συχνοτήτων ή αρμονικός όγκος (1) (2) (3) (6). Ουσιαστικά το φάσμα συχνοτήτων είναι το χαρακτηριστικό γνώρισμα που κάνει δύο ήχους, δύο διαφορετικών οργάνων αλλά ίδιας συχνότητας, να διαφέρουν μεταξύ τους. Ουσιαστικά εμείς προκαλούμε τη συχνότητα που θέλουμε να ακουστεί -θεμελιώδης συχνότητα (πχ. παίζουμε τη μεσαία ΝΤΟ του πενταγράμμου) και το όργανο, βάσει των φυσικών του ιδιοτήτων, θα δημιουργήσει τις «επιπλέον» συχνότητες που θα συναποτελέσουν το φάσμα συχνοτήτων. Οι παράγωγες (και όπως θα δούμε υπό-παράγωγες) συχνότητες συνδέονται με μαθηματικό τρόπο με τη θεμελιώδη συχνότητα και αυτό μας προσφέρει τη δυνατότητα τόσο να αναλύουμε ήχους, όσο και να μιμούμαστε υπάρχοντες ή να δημιουργούμε καινούργιους με ακουστική συνοχή (1) (2). Η θεμελιώδης είναι συνήθως η χαμηλότερη συχνότητα στο φάσμα ενός σύνθετου ήχου και καθορίζει το ύψος του ήχου. Έχει συνήθως τη μεγαλύτερη ένταση από όλες τις συχνότητες. Υπάρχουν όμως και μουσικά όργανα στα οποία η θεμελιώδης είναι ασθενέστερη από κάποιες παράγωγες συχνότητες (1) (2) (6). Διάγραμμα 10: Διάγραμμα συχνότητας της νότας Ρε παιγμένης από φλάουτο. Στην (α) εικόνα παρουσιάζεται μορφολογικά και στην (β) παρουσιάζονται οι συστατικές τις συχνότητες (αρμονικές). Για να εξηγήσουμε πώς γεννιούνται οι παράγωγες συχνότητες, θα εξετάσουμε τι γίνεται όταν ταλαντώνεται μια χορδή ενός οργάνου (πιάνο, κιθάρα, βιολί). Όταν λοιπόν μία χορδή διεγείρεται, τότε αρχίζει να πάλλεται με διάφορους τρόπους που φαίνονται παρακάτω στο σχήμα 10. Έτσι ταλαντώνεται ταυτόχρονα και ως προς το αρχικό της μήκος και ως προς το μισό της και το 1/3 του μήκους της, το 1/4, το 1/5 κλπ. κάθε φορά σε διαφορετική ένταση (πλάτος ταλάντωσης), παράγοντας αντίστοιχα τη θεμελιώδη συχνότητα, την 1η παράγωγο, την 2η, την 3η, την 4η κλπ. στις αντίστοιχες εντάσεις (2). Σχήμα 10: Ταλάντωση χορδής και παραγωγή αρμονικών συχνοτήτων.

32 Διάγραμμα 11: Διάγραμμα Fourier της ταλάντωσης χορδής του σχήματος 10. Άμα λάβουμε υπόψη μας και το γεγονός ότι οι αντηχήσεις από τα ηχεία των οργάνων θέτουν σε μικρότερες ταλαντώσεις (συντονίζουν) και τόσο τη χορδή που ταλαντώσαμε, όσο και τις υπόλοιπες, καθώς επίσης το ίδιο κάνουν και οι ταλαντευόμενες χορδές μεταξύ τους, δημιουργώντας πολλές μικρότερης έντασης συχνότητές που είτε μπαίνουν στο φάσμα συχνοτήτων είτε επηρεάζουν τις εντάσεις των υπαρχόντων(πχ. ίδια συχνότητα σε άλλη φάση), τότε καταλαβαίνουμε πώς κάθε όργανο βγάζει μοναδικό ήχο (2). Οι συχνότητες που παρουσιάζονται στον ήχο, πέραν της θεμελιώδους, ονομάζονται μερικές ή partials. Από αυτές που είναι υψηλότερες από τη θεμελιώδη καλούνται upper partials ή overtones. Οι συχνότητες overtones που είναι ακέραια πολλαπλάσια της θεμελιώδους ονομάζονται αρμονικές ή harmonics. Συνήθως η θεμελιώδης συχνότητα ονομάζεται και 1η αρμονική. Αν λοιπόν η θεμελιώδης συχνότητα ταλάντωσης της χορδής είναι πχ. 100 Hz, τότε οι παράγωγες 200 Hz, 300 Hz, 400 Hz κ.ο.κ. ονομάζονται αντίστοιχα 2η αρμονική, 3η αρμονική, 4η αρμονική κ.ο.κ. Η σειρά αρίθμησης των παραγώγων δεν είναι ίδια με τη σειρά των αρμονικών (π.χ. η 1η παράγωγος της χορδής αντιστοιχεί στη 2η αρμονική) (1). Διάγραμμα 12: Οι τρεις πρώτες αρμονικές συχνότητες. Εκείνες οι παράγωγες που η συχνότητά τους δεν είναι ακέραιο πολλαπλάσιο της θεμελιώδους, χαρακτηρίζονται σαν μη-αρμονικές συχνότητες (inharmonics). Αν στο προηγούμενο παράδειγμα εμφανιζόταν μια παράγωγος συχνότητα π.χ. 122 Hz ή 345 Hz, τότε αυτή θεωρείται μη-αρμονική. Εκτός από τις αρμονικές και τις μη-αρμονικές, μερικές φορές συναντάται ο όρος υποαρμονικές (subharmonics). Πρόκειται για έναν όρο που εφευρέθηκε για να εκφράσει τη σχέση μιας συχνότητας f1 με μια άλλη f2 που προηγείται αυτής, σε μια δεδομένη σειρά αρμονικών συχνοτήτων ανιούσας φοράς. Π.χ. το χαμηλότερο ΦΑ του πιάνου στα 43,6 Hz είναι η 3η υποαρμονική του ΝΤΟ των 130,8 Hz της τρίτης οκτάβας, ενώ το ΝΤΟ των 65,4 Hz της δεύτερης οκτάβας είναι η 2η υποαρμονική του προηγουμένου ΝΤΟ. Οι

33 υποαρμονικές είναι λοιπόν ακέραια υποπολλαπλάσια, δηλαδή το 1/2, 1/3, 1/4 κ.ο.κ. μιας θεμελιώδους συχνότητας (1) (2). Οι φυσικοί ήχοι των ακουστικών οργάνων συνήθως δεν περιέχουν υποαρμονικές συχνότητες, με εξαίρεση την παραγωγή υποαρμονικών λόγω ενδοδιαμόρφωσης (τόνοι διαφοράς και αθροίσματος κατά Helmholtz),καθώς και υποαρμονικές που γεννώνται κατά τη διαδικασία διέγερσης ενός οργάνου. (π.χ. το χτύπημα του σφυριού στις μεταλλικές ράβδους του ηλεκτρικού πιάνου Fender Rhodes γεννά υπο-παράγωγες συχνότητες στην περιοχή περίπου των 100 Hz.) (2). Τεχνητή παραγωγή υποαρμονικών μπορεί να γίνει από ειδικά ηλεκτρονικά κυκλώματα (sound effects) όπως το Octaver ή το Whammy, ή παράγονται από τα synthesizers συνθέτες, δηλαδή όργανα που παράγουν συχνότητες με ηλεκτρικά ή ηλεκτρονικά μέσα για να μιμηθούν ήχους πραγματικών οργάνων ή να παράγουν πρωτότυπους. Θα ασχοληθούμε στην συνέχεια της εργασίας εκτενώς με αυτά (4). Μουσικές κυματομορφές Οι μουσικές κυματομορφές μπορούν να διαιρεθούν σε δύο μεγάλες κατηγορίες : απλά και σύνθετα κύματα. Τετράγωνα (square waveforms), τρίγωνα (triangle waveforms), και οδοντωτά (saw waveforms) κύματα είναι παραδείγματα απλών κυμάτων περιλαμβάνοντας και αρμονικές (σχήμα 8). Αυτές οι κυματομορφές λέγονται "απλές" διότι είναι συνεχείς και επαναλαμβανόμενες. Ένας κύκλος ενός τετράγωνου κύματος είναι ακριβώς ίδιος με τον επόμενο και είναι όλοι συμμετρικοί με την γραμμή της μηδενικής συχνότητας (1). Τα σύνθετα κύματα, από την άλλη πλευρά, είναι κύματα τα οποία δεν είναι απαραίτητο να επαναληφθούν και τα οποία δεν είναι συμμετρικά ως προς την γραμμή μηδενικής συχνότητας (σχήμα 8) (1). Σχήμα 11: Παραδείγματα απλών και σύνθετης κυματομορφών.

34 Ανεξάρτητα από το σχήμα και την συνεκτικότητα των κυματομορφών φθάνοντας στο τύμπανο του αυτιού, το εσωτερικό αυτί χωρίζει τον ήχο στα συστατικά (αρμονικό φάσμα) του δηλαδή σε ημιτονοειδείς συχνότητες, πριν μεταδώσει τον ερεθισμό στον εγκέφαλο. Γι' αυτό τον λόγο, δεν είναι το σχήμα της κυματομορφής που μας ενδιαφέρει όσο τα συστατικά που δημιουργούν το σχήμα αυτό Τα συστατικά αυτά προσδιορίζουν τον χαρακτήρα του ήχου που ο εγκέφαλος αισθάνεται (2). Διάγραμμα 13: Σύνθετη κυματομορφή νότας Σολ (196 Hz). Παρουσιάζονται οι κυματομορφές που το συνθέτουν (αρμονικές) σε συσχετισμό μεταξύ τους (α) και σε διάγραμμα Furrier (β). Σχήμα 12: Σύνθεση τετραγωνικής κυματομορφής από ημιτονοειδή κύματα σε διάφορα ύψη, κατά βήματα.

35 Χροιά Η χροιά ή ηχόχρωμα είναι η υποκειμενική αντίληψη του αρμονικού περιεχομένου του ήχου. Πρόκειται για το χαρακτηριστικό του ήχου που μας κάνει να τον αντιλαμβανόμαστε και να τον ξεχωρίζουμε από έναν άλλο ήχο και να τον αποδίδουμε στην πηγή του (ο ήχος του πιάνου είναι διαφορετικός από του βιολιού καθώς και οι φωνές δύο ανθρώπων διαφέρουν μεταξύ τους). Η αίσθηση της χροιάς ενός ήχου, εξαρτάται από τον αριθμό των παραγώγων συχνοτήτων που περιέχει, την αρμονική ή μη-αρμονική σχέση τους με τη θεμελιώδη, την κατανομή τους, τη σχετική ανάπτυξη της έντασή τους στο χρόνο, τη θεμελιώδη και τη συνολική ένταση. Η ποσότητα των παραγώγων συχνοτήτων καθορίζει το πόσο «πλούσιος» ακούγεται ένας ήχος. Ένας απλός τόνος ακούγεται «λιτός», ενώ όσο περισσότερες παράγωγες περιέχει τόσο πιο εμπλουτισμένος γίνεται (2) (3). Οι αρμονικές παράγωγες συχνότητες δημιουργούν με τη θεμελιώδη αλλά και μεταξύ τους «σύμφωνα» ή εύφωνα μουσικά διαστήματα. Π.χ. η 2η και 4η αρμονική απέχουν από τη θεμελιώδη μια και δύο οκτάβες αντίστοιχα, η 3η και η 6η απέχουν διάστημα πέμπτης καθαρό, ενώ η 5η και η 10η απέχουν διάστημα τρίτης μεγάλο. Αρκετοί τόνοι διαφοράς, που δημιουργούνται από τους συνδυασμούς των αρμονικών, έχουν συχνότητα ίση με τη θεμελιώδη (η ταυτόχρονη παρουσία των αρμονικών ισοδυναμεί με τη συνήχησή τους και την ως εκ τούτου δημιουργία νέων τόνων). Γι' αυτούς τους λόγους η ύπαρξη αρμονικών συχνοτήτων σ' έναν ήχο διατηρεί και ενισχύει την αίσθηση του ύψους (τονικότητας) (1) (2). Αντίθετα οι μη-αρμονικές συχνότητες σχηματίζουν με τη θεμελιώδη και μεταξύ τους «διάφωνα» μουσικά διαστήματα. Οι τόνοι διαφοράς δεν έχουν συχνότητες ίσες με την θεμελιώδη. Γι' αυτό η ύπαρξη μη αρμονικών σ' έναν ήχο τείνει να εξαφανίσει την αίσθηση του ύψους. Μικρή ποσότητα βέβαια μη-αρμονικού περιεχομένου σε κάποιο ήχο μπορεί να είναι χρήσιμη για τον εμπλουτισμό του (2). Στα παρακάτω διαγράμματα (διάγραμμα 14) παρατηρούμε τα διαγράμματα Fourier με τις αρμονικές συχνότητες ενός βιολιού και μιας βιόλας, που παίζουν τη νότα Λα (440 Hz) και ενόσω φαίνονται εξωτερικά ίδια όργανα σε άλλο μέγεθος, ο ήχος τους διαφέρει δραστικά, ορίζοντας και άλλη τεχνική παιξίματος των οργάνων. Παρατηρούμε ότι το βιολί διαφέρει στις αρμονικές τόσο ως προς την βαθμίδα, όσο και ως προς την ένταση κάθε αρμονικής από την βιόλα. Οι παρούσες αρμονικές και σχετικές τους εντάσεις προσδιορίζουν τα χαρακτηριστικά του ήχου κάθε οργάνου (χροιά του). Αν αλλάξει η ισορροπία των αρμονικών θ' αλλάξουν και τα χαρακτηριστικά του ήχου του οργάνου. Για παράδειγμα, αν η ένταση των αρμονικών του βιολιού από 4η μέχρι 10η μειωθεί και οι αρμονικές πάνω από την δέκατη εξαλειφθούν, το βιολί θα ηχεί όπως ακριβώς ηχεί και η βιόλα (2). Διάγραμμα 14: Η ανάλυση Furrier της νότας Λα (440 Hz) παιγμένη από (Α) βιολί και (Β) βιόλα.

36 Τα πρωταρχικά χαρακτηριστικά ενός οργάνου προσδιορίζονται από την ισχύ των πρώτων αρμονικών. Κάθε μία από τις χαμηλότερες αρμονικές παράγει τα δικά της χαρακτηριστικά αποτελέσματα όταν επικρατεί ή ν αλλάξει το αποτέλεσμα μιας δεσπόζουσας αρμονικής αν αυτή διακρίνεται. Η ψυχοακουστική προσδιορίζει ότι (2): Στην απλούστατη ταξινόμηση, οι χαμηλότερες αρμονικές διαιρούνται σε τονικές ομάδες. Οι περιττές (μονές) αρμονικές (3η, 5η) παράγουν ένα «στιγμιαίο ή καλυμμένο» ήχο, οι ζυγές αρμονικές (2η, 4η, 6η ) παράγουν έναν «χορωδιακό ή τραγουδιστικό» ήχο. Μουσικά, η 2η αρμονική, είναι μια οκτάβα πάνω από την θεμελιώδη και είναι συχνά μη ακουστή. Η 3η αρμονική παράγει έναν ήχο που πολλοί μουσικοί τον αναφέρουν σαν «συγκαλυπτόμενο». Αντί να κάνει τον τόνο γεμάτο, μια δυνατή 3η πραγματικά κάνει τον τόνο μαλακότερο. Προσθέτοντας μια 5η σε μια δυνατή 3η δημιουργείται ένας μεταλλικός ήχος ο οποίος είναι ενοχλητικός στα χαρακτηριστικά καθώς αυξάνεται το εύρος του. Μια δυνατή 2η με μια δυνατή 3η τείνουν ν' ανοίξουν το «καλυμμένο» αποτέλεσμα. Οι υψηλότερες αρμονικές πάνω από την 7η δίνουν έναν τόνο «με κόψη» ή «τσιμπημένο». Συμπεραίνουμε ότι οι ζυγές αρμονικές «ανοίγουν» ή «γεμίζουν» τον ήχο και τον κάνουν πιο «οξύ», ενώ οι μονές αρμονικές «κλείνουν» ή «φράζουν» τον ήχο αλλά τον κάνουν πιο «ζεστό». Γενικεύοντας θα λέγαμε ότι ο σημαντικότερος παράγοντας που καθορίζει αν ο ήχος είναι πράγματι «ωραίος» ή όχι, είναι η κατανομή των αρμονικών (και μη) συχνοτήτων στο ακουστικό φάσμα. Το ότι ένας ήχος έχει πολλές αρμονικές δεν σημαίνει απαραίτητα ότι είναι και «ωραίος». Παράδειγμα το βιολί Stradivarius, το οποίο έχει ομοιόμορφα κατανεμημένες τις αρμονικές του στην περιοχή 3 έως 5 khz, ηχεί υπέροχα, ενώ ένα συμβατικό βιολί ηχεί μέτρια, στην ίδια περιοχή (2). Η σχετική ισχύς των αρμονικών είναι ένας δεύτερος παράγοντας που καθορίζει την ποιότητα του ήχου, όπως επίσης και η ισχύς της θεμελιώδους, η οποία είναι σημαντικότατο χαρακτηριστικό σε αρκετά όργανα, ενώ η συνολική ισχύς του ήχου επηρεάζει τη χροιά και από την πλευρά του οργάνου (κατασκευαστικά) και του ακροατή (τρόπος παιξίματος του οργάνου). Όσο πιο έντονα διεγείρεται και δονείται το όργανο, τόσο περισσότερες αρμονικές (και μη) συχνότητες παράγονται. Επιπλέον, συνέπεια αυτού είναι ακόμα περισσότεροι τόνοι αθροίσματος και διαφοράς να γίνονται αντιληπτοί από το αυτί και έτσι να εμπλουτίζεται ή και να αλλοιώνεται η χροιά του ήχου (2). Στα ακουστικά μουσικά όργανα η συνεισφορά του σώματος του οργάνου (π.χ. ηχείο) είναι πολύ σημαντική για το τελικά παραγόμενο και εκπεμπόμενο αρμονικό φάσμα (2). Τα κρουστά είναι τα κατ' εξοχήν όργανα με φάσμα συχνοτήτων που περιέχει πολλές μη-αρμονικές συχνότητες, γι' αυτό το ύψος τους είναι δυσδιάκριτο. Η ισορροπία μεταξύ αρμονικών και μη συχνοτήτων μπορεί εκ κατασκευής να ρυθμιστεί σε κάποιο κρουστό με σκοπό τη διατήρηση της αίσθησης του ύψους. Υπάρχουν δύο μεγάλες κατηγορίες κρουστών: τα καθορισμένου ύψους όπως ξυλόφωνο, marimba, celesta κ.ά., και τα ακαθορίστου ύψους όπως τύμπανα, τρίγωνο, πιατίνια, ταμπούρο, μπότα κ.ά. (2) Όλα τα υπόλοιπα μουσικά όργανα παράγουν ήχους που περιέχουν κυρίως αρμονικές συχνότητες. Μικρό ποσοστό μηαρμονικών συχνοτήτων υπάρχει στους περισσότερους «φυσικά» παραγόμενους ήχους και οφείλεται στις ιδιαιτερότητες του ταλαντωμένου στοιχείου. Σαν παράδειγμα αναφέρουμε τη χορδή της κιθάρας, όπου οι αρμονικές συχνότητες που παράγονται είναι ανάλογες του μήκους της χορδής. Επειδή η χορδή κατά τη διέγερσή της στιγμιαία επιμηκύνεται, οι παράγωγες που εμφανίζονται εκείνη τη στιγμή, δεν είναι αρμονικές ανάλογες του κανονικού της μήκους (φαινόμενο μη-αρμονικότητας σε έγχορδα). Τα υλικά και ο τρόπος σχεδίασης,και κατασκευής του οργάνου διαμορφώνουν το αρμονικό περιεχόμενο που παράγεται από το ταλαντωμένο στοιχείο (π.χ. χορδή, αέρας, δέρμα).

37 Έτσι, κάποιες αρμονικές «ευνοούνται» από το σώμα του οργάνου, ενώ κάποιες άλλες «εξασθενούν», ενώ καθοριστικό ρόλο παίζει και η προσέγγιση του οργάνου από τον μουσικό (2). Αρμονικό περιεχόμενο Η χροιά σε σχέση με τον χρόνο Το αρμονικό περιεχόμενο του ήχου από ένα μουσικό όργανο δεν παραμένει σταθερό καθ' όλη τη διάρκεια του ήχου. Οι εντάσεις των αρμονικών, από τη γέννηση έως την παύση του ήχου, δεν ακολουθούν την ίδια πορεία μεταβολής, δηλαδή στην αρχή να είναι όλες εξ' ίσου ισχυρές, κατόπιν να φθίνουν ομοιόμορφα και τέλος να μηδενίζονται όλες ταυτόχρονα. Αντίθετα, η κάθε αρμονική ακολουθεί τη δική της περιβάλλουσα (έρευνα του J.C. Risset, 1965) (2). Παραδείγματος χάριν στο πιάνο, επειδή οι υψηλές αρμονικές φθίνουν γρηγορότερα από τις χαμηλές, ο ήχος είναι λαμπρός στην αρχή (attack) λόγω των υψηλών αρμονικών που έχουν αρκετή ισχύ, ενώ κατόπιν (decay - sustain) γίνεται πιο θαμπός και μπάσος (2). Στο σχήμα 10 φαίνονται σε τρισδιάστατο διάγραμμα οι περιβάλλουσες των αρμονικών δύο ήχων. Μελετώντας την περίπτωση (Α) έχουμε το γράφημα ενός ήχου από χάλκινο πνευστό. Οι υψηλές αρμονικές έχουν ισχύ μόνο στο μέσο του τόνου, ενώ στην αρχή (attack) και στο τέλος (release) είναι τελείως εξασθενημένες. Στην (Β) περίπτωση έχουμε την ανάλυση ήχου δομημένου σε synthesizer. Αυτό μας δίνει την δυνατότητα να προκαθορίσουμε την περιβάλλουσα (παράγοντες ADSR) κάθε αρμονικής ξεχωριστά (2). Σχήμα 13: Δυναμική ανάπτυξη αρμονικών στον χρόνο από (α) φυσικό όργανο και (β) από κατασκευασμένη κυματομορφή με προκαθορισμένες γεν. περιβάλλουσας κάθε αρμονικής. Η πραγματική φύση των αρμονικών Απεικονίζοντας ένα διάγραμμα Fourier, κάθε αρμονική αντιστοιχίζεται σε μία γραμμή που ανάλογα με τη θέση της δείχνει ποια συχνότητα είναι στο αρμονικό φάσμα και τι ένταση έχει. Στην πραγματικότητα ο συμβολισμός αυτός γίνεται χάριν απλούστευσης της παράσταση και η κάθε παράγωγος δεν αντιστοιχεί σε μια μόνο συχνότητα, αλλά σε μια μικρή ομάδα γειτονικών συχνοτήτων, με επικρατούσα λόγο έντασης την παραστάμενη. Αν θυμηθούμε το παράδειγμα της χορδής, οι παράγωγες «γεννώνται» από τις δονήσεις των μερών της δονούμενης χορδής. Εξ' αιτίας των υλικών από τα οποία έχει κατασκευαστεί η χορδή, το κάθε μέρος του, που αντιστοιχεί σε μια παράγωγο, ταλαντώνεται σε περισσότερες από μια γειτονικές συχνότητες. Γι' αυτό η κατακόρυφη γραμμή που συμβολίζει μια παράγωγο (αρμονική ή όχι), στην πραγματικότητα καλύπτει μια ευρύτερη περιοχή συχνοτήτων γύρω από τη γραμμή συμβολισμού που φθίνουν καθώς απομακρύνονται από τη κεντρική συχνότητα. Η "ευρύτητα" της περιοχής δείχνει την «καθαρότητα» της παραγώγου. Όσο πιο στενή είναι, τείνοντας σε μια γραμμή, τόσο πιο καθαρή είναι η παράγωγος και τείνει σε μια μόνο συχνότητα. Ενώ όσο ευρύτερη γίνεται, τόσο περισσότερες γειτονικές συχνότητες περιλαμβάνει (2).

38 Σχήμα 14: Πραγματική φύση των αρμονικών συχνοτήτων. Ένας άλλος σημαντικός παράγοντας που όμως για λόγους απλούστευσης δεν λαμβάνεται συχνά υπ' όψη, αφορά τις αρμονικές συχνότητες των ήχων μουσικών οργάνων, και το κατά πόσο είναι ακέραια πολλαπλάσια της θεμελιώδους (2). Ακριβείς φασματικές αναλύσεις ήχων απέδειξαν ότι υπάρχουν σημαντικές διακυμάνσεις στην αρμονική σχέση των παραγώγων. Για παράδειγμα, σε μια τρομπέτα η 3η αρμονική μπορεί να είναι 1 με 2 Hz πιο πάνω από το τριπλάσιο της θεμελιώδους συχνότητας (δηλ. αν η θεμελιώδης είναι στα 100 Hz, τότε η 3η αρμονική βρίσκεται στα 302 Hz και όχι στα 300 Hz). Επίσης, η 10η αρμονική ενός σωλήνα εκκλησιαστικού οργάνου μπορεί να έχει διαφορά 15 Hz ή και περισσότερο από το δεκαπλάσιο της θεμελιώδους (δηλαδή με θεμελιώδη στα 100 Hz η 10η αρμονική να βρίσκεται στα 1015 Hz). Αυτή η διαφορά μεταξύ αρμονικής και ακεραίου πολλαπλασίου αυξάνεται με την τάξη των αρμονικών (2). Το σημαντικό συμπέρασμα που προκύπτει από όλα τα παραπάνω, είναι ότι το αρμονικό φάσμα των ακουστικών οργάνων αλλάζει συνεχώς, μερικές φορές αργά (όπως στην κιθάρα) και άλλες φορές πιο γρήγορα (όπως στο βιολί ή στην τρομπέτα), και η αντίληψη που δημιουργούμε για τη χροιά τους εξαρτάται από το πως γίνονται αυτές οι αλλαγές (2).

39 Synthesizer ή Συνθέτης (Συντόμως synth ) Τι είναι το Synthesizer; Το synthesizer είναι ένα μουσικό όργανο, αποτελούμενο από ένα σύνολο κυκλωμάτων, το οποίο επεξεργάζεται με διάφορες τεχνικές (αναφέρονται ως αρχιτεκτονικές στην συνέχεια) σήματα (ηλεκτρικά / αναλογικά ή ψηφιακά ανάλογα την αρχιτεκτονική και την τεχνολογία) ώστε να συνθέτει / παράγει ποικίλα ηχοχρώματα (ήχους) σε διάφορες τονικότητες. Αυτοί οι ήχοι μπορεί να είναι μιμήσεις υπαρχόντων οργάνων (από πιάνο και κιθάρα έως ανθρώπινες φωνές), φυσικοί ήχοι (θρόισμα φύλλων, περπάτημα, ήχος εξάτμισης κλπ.) καθώς και μη υπαρκτοί στη φύση ήχοι (ηλεκτρονικοί ήχοι ή ήχοι που είναι αδύνατο να υπάρξουν στην φύση). Το synthesizer αποτελείται από 3 μέρη: τον ελεγκτή, τη γεννήτρια και τα ηχεία που συνήθως τα συναντάμε ενσωματωμένα σε μία συσκευή. Ο ελεγκτής και τα ηχεία είναι στη πραγματικότητα περιφερειακά της γεννήτριας, αλλά απαραίτητα για να πάρουμε τον ήχο που θέλουμε (2) (3) (4). Εικόνα 2: Synthesizers με διακριτά μέρη, εικονικό και συμπαγές όργανο. Ο ελεγκτής, συνήθως έχει τη μορφή κλαβιέ (πλήκτρα πιάνου), αλλά δεν είναι απολύτως απαραίτητο. Ως ελεγκτής μπορεί να χρησιμοποιηθεί και μια κιθάρα ή οποιοδήποτε μουσικό όργανο, ή ένας υπολογιστής (με τα στοιχεία ελέγχου του ποντίκι, πληκτρολόγια κλπ.) καθώς και πρωτότυποι τρόποι διάδρασης όπως ηλεκτρονικά γάντια, επιφάνειες αφής κα. Ο ελεγκτής πρέπει να έχει τη δυνατότητα να καθορίζει την τονικότητα καθώς και να ελέγχει τις παραμέτρους προγραμματισμού του synthesizer (τρόπος επεξεργασίας σημάτων, παράμετροι ADSR, παράμετροι ενισχυτή και άλλα που θα δούμε στην συνέχεια) οπότε θεωρείται απαραίτητο να διαθέτει επιπλέον κουμπιά, διακόπτες, ροδέλες, ροοστάτες ή οτιδήποτε τρόπο ρυθμίσεως τιμών ηλεκτρικών ή ηλεκτρονικών συσκευών. Όλες τις παραπάνω ρυθμίσεις ο ελεγκτής τις στέλνει στη γεννήτρια για να καθορίσει τον ήχο που θα παραχθεί (2) (3) (4). Η γεννήτρια είναι το «κουτί» όπου παράγεται ο ήχος. Περιέχει τα κυκλώματα που επεξεργάζονται τα αναλογικά (ηλεκτρικά) ή ηλεκτρονικά (ψηφιακά) σήματα ώστε να παράγεται ο ήχος που στην συνέχεια τον «οδηγεί» στα ηχεία τα οποία θα τον καταστήσουν υπαρκτό. Λογικό είναι να αντιληφθούμε ότι υπάρχουν αναλογικά και ηλεκτρονικά synthesizers (συνθέτες) το καθένα με τα πλεονεκτήματα και τα μειονεκτήματα της τεχνολογίας του. Αρχικά τα ηλεκτρονικά synthesizers μιμούνταν την αρχιτεκτονική των αναλογικών, αλλά η ανάπτυξη των ηλεκτρονικών υπολογιστών (χρησιμοποιούν διάφορα προγράμματα, που καλούνται Virtual Studio Technology Synthesizers ή VST synths, δηλαδή εικονικοί συνθέτες, και λειτουργούν ως γεννήτριες synthesizer) επέτρεψε να αναπτυχθούν και αρχιτεκτονικές που είναι αδύνατο να «ολοκληρωθούν» αναλογικά (2) (3) (4).

40 Τα ηχεία (ακουστικά, μόνιτορ κλπ) είναι οι συσκευές που δίνουν ζωή στον ήχο «αποκωδικοποιώντας» το τελικό σήμα της γεννήτριας (2) (3). Βασικά στοιχεία / κυκλώματα Synthesizer Oscillator ή ταλαντωτής: Κύκλωμα που τροφοδοτείται με ισχύ από πηγή συνεχούς τάσης και παράγει εναλλασσόμενο σήμα (περιοδική και κυκλικής μεταβολής κυματομορφή όπως η ημιτονοειδής, και με πιο διαδεδομένους ταλαντωτές αυτούς που παράγουν ημιτονοειδή κυματομορφή, τριγωνική, τετραγωνική και πριονωτή). Ο ταλαντωτής κατασκευάζεται συνήθως από τρανζίστορ ή ολοκληρωμένα κυκλώματα. Μπορεί να παράγει μεγάλο εύρος συχνοτήτων, που καλύπτουν από υπόηχους μέχρι και υπέρηχους ανάλογα με το σκοπό της λειτουργίας του. Στα synthesizer συναντάμε 2 ειδών ταλαντωτές: Αυτούς που παράγουν το σήμα του ήχου δηλαδή συχνότητες στο φάσμα του ήχου (VCO και DCO) και ταλαντωτές που χρησιμοποιούνται για την διαμόρφωση της μορφής του ήχου, που παράγουν χαμηλές συχνότητες (LFO s). Ουσιαστικά πρόκειται για τα κυκλώματα που παράγουν το σήμα τάσης ή ψηφιακό σήμα, ανάλογο της επιθυμητής σχηματιζόμενης κυματομορφής, το οποίο θα θέσει στη σωστή ταλάντωση το ηχείο που θα παράγει τον ήχο (2) (3). VCO (Voltage Controlled Oscillator / Ταλαντωτής Ελεγχόμενος από Τάση) : Παράγει συχνότητα η οποία μεταβάλλεται / ελέγχεται από τον έλεγχο της τάσης στην είσοδο του κυκλώματος. Πχ. Σε κάποιον ταλαντωτή αν εφαρμόσουμε τάση 5V παράγει συχνότητα 1000 Hz ενώ τάση 6V παράγει συχνότητα 1200 Hz. Κάθε ταλαντωτής έχει την δικιά του αναλογία τάσης συχνότητας (εδώ 200Hz/V) (2) (3). DCO (Digital Controlled Oscillator / Ψηφιακά ελεγχόμενος Ταλαντωτής): Κύκλωμα που είτε παράγει ψηφιακά την εξαγόμενη κυματομορφή, είτε ελέγχει ψηφιακά έναν VCO. Ο τρόπος λειτουργίας του βασίζεται στην ψηφιοποίηση του σήματος (ακριβώς όπως και με τα cd), μέσω ADC (Analog to Digital Converters / μετατροπείς σήματος) συσκευών, σε μίας μεγάλης ακρίβειας παλμοσειρά (συνεχής παλμική συχνότητα), για την πρώτη περίπτωση, ενώ στη δεύτερη η ψηφιακή εντολή, που καθορίζει το είδος της συχνότητας, αποκωδικοποιείται σε αναλογική, με την αντίστροφη διαδικασία έτσι ώστε να παραχθεί το αναλογικό σήμα (2) (3). Χάριν ευκολίας οι VCO και DCO στη συνέχεια θα αναφέρονται απλά ως Oscillators ή συντόμως Osc. LFO (Low Frequency Oscillator ή Ταλαντωτής Χαμηλής Συχνότητας): Κύκλωμα ή μονάδα του Synthesizer που παράγει μια μη-ακουστική περιοδική τάση, κυρίως ημίτονης, τριγωνικής ή πριονωτής κυματομορφής, από 0,1 Hz έως 35 Hz, επηρεάζοντας το κυρίως ακουστικό σήμα, ασκούμενο όπου υπάρχει έλεγχος από τάση, όπως στις μονάδες VCO και VCA αλλά και σε άλλα κυκλώματα. Δεν παράγει ήχο αλλά διαμορφώνει το τελικό του αποτέλεσμα, αναλόγως το που εφαρμόζεται. (πχ. Στη μονάδα του ενισχυτή επηρεάζει το gain παράγοντας tremolo, στον ταλαντωτή επηρεάζει τη περίοδο συχνότητας προκαλώντας vibrato ενώ χρησιμοποιείται και σε άλλα κυκλώματα όπως τα φίλτρα (filters) για την παραγωγή διαφόρων εφέ (2) (3). Amplifier (ενισχυτής): Κύκλωμα - μονάδα που μεταβάλει το μέγεθος ενίσχυσης (κέρδος / gain) της εξόδου του ακουστικού σήματος. Ουσιαστικά μεταβάλει το πλάτος ταλάντωσης άρα και της έντασης. Κατασκευάζεται από λυχνίες, τρανζίστορ ή ολοκληρωμένα κυκλώματα. Οι ενισχυτές συνήθως ελέγχονται από LFO s και Envelope Generators. Ενισχυτές χρησιμοποιούνται και για τη «διαμόρφωση πλάτους» (Amplitude Modulation ή AM), όταν το σήμα τους οδηγείται από ένα άλλο σήμα σχήμα 15. Στα synthesizers απαντάμε 2 ειδών ενισχυτές τους VCA και τους DCA (2) (3).

41 Σχήμα 15: Διαμόρφωση πλάτους. Το πλάτος της συχνότητας του διαμορφωτή (πάνω κυματομορφή) καθορίζει το πλάτος ταλάντωσης του φορέα (μεσαία κυματομορφή) έχοντας ως αποτέλεσμα την κάτω κυματομορφή. VCA (Voltage Controlled Amplifier ή Ενισχυτής Ελεγχόμενος από Τάση): Το μέγεθος ενίσχυσης ελέγχεται από ηλεκτρικό σήμα διαφοράς τάσης σε κάποια είσοδο του ενισχυτή (3). DCA (Digital Controlled Amplifier ή Ψηφιακά Ελεγχόμενος Ενισχυτής): Το μέγεθος ενίσχυσης ελέγχεται από ψηφιακό σήμα σε κάποια είσοδο του ενισχυτή (3). Για χάρη ευκολίας οι VCΑ και DCΑ στη συνέχεια θα αναφέρονται απλά ως Amp. Envelope Generator (γεννήτρια περιβάλλουσας): Κύκλωμα που παράγει ηλεκτρονική τάση ελέγχου ή σύνολο ψηφιακών εντολών / πληροφορίας (ανάλογα αν έχουμε να κάνουμε με αναλογική ή ψηφιακή γεννήτρια περιβάλλουσας) που καθορίζουν την μορφή της περιβάλλουσας, τόσο για τις τιμές των παραγόντων ADSR όσο και για την καμπύλη μετάβασης από τον ένα παράγοντα στον άλλο (ανάλογα το είδος και το επίπεδο ελέγχου που προσφέρει κατασκευαστικά η εκάστοτε γεννήτρια). Επηρεάζει τόσο την ένταση, όσο και το ποσοστό συμμετοχής στο ποσό που επηρεάζει το κύκλωμα που εφαρμόζεται. Αν και αρχικά δημιουργήθηκε για να ελέγχει την ένταση (πλάτος ταλάντωσης) του ήχου στην μονάδα του χρόνου, χρησιμοποιείται εξίσου για να ελέγξει και άλλες παραμέτρους των διάφορων κυκλωμάτων, όπως τη συχνότητα του κύματος, τη συχνότητα αποκοπής του φίλτρου, το ποσοστό συμμετοχής ενός εφέ στον ήχο κλπ. Εφαρμόζεται ξεχωριστά στα διάφορα μέρη του synthesizer όπως σε φίλτρα, ενισχυτές, ταλαντωτές. Αναφέρεται ως Time Envelope, ENV ή EG (2) (3) (4). Filters (φίλτρα): Κύκλωμα που αποκόπτει ή διαμορφώνει ή επιτρέπει (εξαιρώντας τα υπόλοιπα) τμήματα ενός σήματος. Στα synthesizer αναφερόμαστε στο ακουστικό σήμα όπου αποκόπτουν περιοχές συχνοτήτων. Τα τμήματα που αποκόβονται είτε εξασθενούν δραστικά, είτε αποκόβονται τελείως. Οι συχνότητες που βρίσκονται στα όρια των περιοχών αποκοπής καθώς και οι περιοχές συχνοτήτων που θεωρούνται ότι αποκόβονται, συμβολίζονται συνήθως με το σύμβολο fc και οριοθετούνται από την διαφορά 3 db από την ένταση του αρχικού σήματος (3). Υπάρχουν 4 είδη φίλτρων (2) (3): Low-Pass filters (Κατωδιαβατά ή LPF): Επιτρέπουν την διέλευση χαμηλών συχνοτήτων. Band-Pass filters (ζωνοδιαβατά ή συντονισμένα ή BPF): Επιτρέπουν μια συγκεκριμένη ζώνη συχνοτήτων. Band-Reject filters (αποκοπής ζώνης ή Notch Filters): Φίλτρα που αποκόβουν μια συγκεκριμένη περιοχή συχνοτήτων επιτρέποντας τη διέλευση όλων των υπόλοιπων συχνοτήτων. High-Pass filters (ανωδιαβατά ή HPF): Επιτρέπουν την διέλευση υψηλών συχνοτήτων.

42 Διάγραμμα 15: Ζώνες αποκοπής συχνοτήτων, ανά είδος φίλτρου. Άλλες κατηγοριοποιήσεις των φίλτρων είναι σε παθητικά (μόνο εξασθενούν συχνότητες) και ενεργά (εξασθενούν αλλά και ενισχύουν συχνότητες), σε Ελεγχόμενα από Τάση Φίλτρα (Voltage Controlled Filter ή VCF) και Ψηφιακά Ελεγχόμενα Φίλτρα (Digital Controlled Filter ή DCF) καθώς και κατηγοριοποίηση βάση του τρόπου σχεδιασμού τους (Butterworth, Chebyshev και ελλειπτικό φίλτρο). Επιπλέον, τα φίλτρα μπορούν να κατηγοριοποιηθούν βάση του «πόσο απότομα» αποκόπτεται ή εξασθενεί ο ήχος - ρυθμός εξασθένησης. Ο ρυθμός αυτός μετριέται σε db ανά οκτάβα. Όσο πιο απότομα κόβεται ο ήχος, τόσο μεγαλύτερης τάξης είναι το φίλτρο (σημείωση: τα παθητικά είναι μόνο 1ης τάξης). Εκτός από την τάξη ρόλο στον ρυθμό αποκοπής παίζει και ο τύπος του φίλτρου (2) (3).

43 Μια παρενέργεια των φίλτρων είναι η καθυστέρηση φάσης (group delay) που έχει ως αποτέλεσμα την παραμόρφωση του ήχου και είναι ανάλογη της «τάξης» του φίλτρου (2) (2). Το τελικό «σχήμα» αποκοπής ενός φίλτρου μπορεί να διαμορφώνεται στην μονάδα του χρόνου από Low Frequency Oscillators καθώς και Envelope Generators (2). Effect Processors (εφέ): Κυκλώματα που τροποποιούν το ακουστικό σήμα με τρόπο που σχετίζεται με την συμπεριφορά στον χώρο. Τροποποιούν κάποια στοιχεία του ήχου επεμβαίνοντας στο σήμα του. Πχ. Αλλάζοντας τη φάση της συχνότητας (phase shifter προκαλεί το εφέ phasing), δημιουργώντας χρονοκαθυστέρηση (Delay Line), αναστρέφοντας το σήμα (Inverter) κ.α. Αναφέρονται ως FX (2) (3). Μείκτης (Audio Mixer): Κύκλωμα που προσθέτει ακουστικά σήματα με διαφορετικό και απόλυτα ελεγχόμενο βάρος χαρακτηριστικών (όπως η ένταση) και δίνει στην έξοδό του το άθροισμα αυτό, χωρίς παραμόρφωση (3). Διαμορφωτής (Modulator): Η διαμόρφωση είναι μια διαδικασία κατά την οποία κάποια χαρακτηριστικά ενός σήματος (που αναφέρεται ο ταλαντωτής του ως φορέας ή carrier), όπως συχνότητα, η φάση, το πλάτος, το αρμονικό περιεχόμενο κ.α., μεταβάλλονται σύμφωνα με ένα άλλο σήμα (που αναφέρεται ο ταλαντωτής του ως διαμορφωτής ή modulator). Η διαδικασία αυτή γίνεται είτε «ηλεκτρικά» μέσω κυκλωμάτων, είτε ψηφιακά. Παραδείγματα αυτής της διαδικασίας είναι ο ενισχυτής που διαμορφώνει το πλάτος του ηχητικού σήματος σύμφωνα με τις υποδείξεις που δέχεται για το gain. Διαμόρφωση ασκούμε και στα πλάτη ενός κύματος (Amplitude Modulation ή AM). Επίσης διαμορφώνοντας τη συχνότητα μπορούμε να παράγουμε όλο το φάσμα συχνοτήτων. Αυτή η διαδικασία λέγεται «Διαμόρφωση Συχνότητας» και χρησιμοποιείται ως τρόπος σύνθεσης ήχων (Frequency Modulation ή FM Synthesis), που θα συναντήσουμε παρακάτω. Έχουμε επίσης διαμορφωτές Φάσης ενώ στη «διαμόρφωση» στηρίζεται και η λειτουργία των Oscillators καθώς και των LFO s. Τον διαμορφωτή δεν το συναντάμε σαν ξεχωριστό κύκλωμα στα Synthesizers αλλά σαν βασικό κομμάτι πολλών κυκλωμάτων (2) (3). Sequencer ή διαδοχέας: Δεν πρόκειται για τυποποιημένο κύκλωμα που χρησιμοποιείται στα synthesizers, αλλά για μια ξεχωριστή συσκευή που τείνει να ενσωματώνεται σε κάθε ολοκληρωμένο synthesizer (2). Ο «διαδοχέας» για μία μονάδα η οποία συγκρατεί στη μνήμη της, σε ψηφιακή μορφή, μουσικά γεγονότα (event). Εμφανίστηκε για πρώτη φορά ως ξεχωριστή εξωτερική μονάδα (hardware / module) στα αναλογικά synthesizer. Με την ανάπτυξη όμως των υπολογιστών αναπτύχθηκαν και software προγράμματα sequencer, με πολλές και διαφορετικές δυνατότητες το καθένα, ανάλογα με τον κατασκευαστή, ωστόσο οι αρχές λειτουργίας παραμένουν ίδιες (2) (3). Ως μουσικά γεγονότα (events) ορίζουμε τα διάφορα είδη πληροφορίας που δημιουργούνται από τους ελεγκτές και τις γεννήτριες και αφορούν την παραγόμενη μουσική. Τέτοια μπορούν να είναι οι νότες, οι χρονικές αξίες των νοτών, τα παραπάνω στην αλληλουχία τους δηλαδή μια μελωδία, η δυναμική που παίχτηκαν, ο ρυθμός (tempo), τα κανάλια, οι εντάσεις των παραπάνω κ.α (2) (3). Το sequencer περιέχει μία σειρά από λειτουργίες, οι οποίες μπορούν να επαναπροσδιορίσουν τις τιμές των events. Στη πραγματικότητα λειτουργεί σαν ένα πολυκάναλο μαγνητόφωνο, που όμως με την βοήθεια της ψηφιακής τεχνολογίας μπορεί να αποθηκεύσει τα στοιχεία σε μορφή πληροφορίας και όχι μιας απλής κυματομορφής σε ταινία. Αυτό που συμβαίνει είναι ότι ηχογραφεί με ακρίβεια ψηφιακά τα μουσικά γεγονότα, κατά τη διάρκεια εκτέλεσης από έναν χρήστη αλλά όχι και τους ήχους. Κατά την αναπαραγωγή, ο sequencer τροφοδοτεί μέσω MIDI τεχνολογίας (ή αναλόγων πρωτοκόλλων) την παραπάνω πληροφορία σε ένα ψηφιακό ηλεκτρονικό όργανο, ικανό να τη μεταφράσει. Έτσι μας δίνεται η δυνατότητα να διορθώσουμε ένα μουσικό κομμάτι που γράψαμε μόνο στα σημεία που κάναμε λάθος, να αναθεωρήσουμε τις αρχικές εντάσεις της μελωδίας, να κόψουμε και να ράψουμε ή να αντιγράψουμε

44 μουσικά μέρη αντί να τα παίζουμε συνέχεια ή να τα μεταφέρουμε σε άλλο κομμάτι, να ορίσουμε μέσω του synthesizer ποια μέρη της μελωδίας θα παίζει τι όργανο και ποια ένα άλλο όργανο (ασχέτως αν αρχικά παίχτηκαν από κάποιο τρίτο όργανο), να μεταφέρουμε ψηφιακά τις παραπάνω πληροφορίες και άλλες πολλές δυνατότητες ανάλογα του κατασκευαστή του sequencer (2). Μέθοδοι Σύνθεσης Υπάρχουν 9 βασικές μέθοδοι σύνθεσης που είναι και οι πιο διαδεδομένες. Τα VST Synths ωστόσο βοήθησαν στο να αναπτυχθούν και πολλά υβρίδια αυτών που βασίζονται στη μίξη των τεχνικών αυτών. 1. Subtractive σύνθεση (αφαιρετική) 2. Additive σύνθεση (προσθετική μέθοδος) 3. Physical Modeling (Φυσικής προσομοίωσης) 4. Sample Based Synthesis (συνθέτης που χρησιμοποιεί ηχητικά δείγματα) 5. LA σύνθεση (γραμμική αριθμητική σύνθεση) 6. Wavetable σύνθεση 7. Frequency Modulation [FM] ή διαμόρφωσης συχνότητας σύνθεση 8. Phase distortion ή phase modulation ή διαμόρφωσης φάσης σύνθεση 9. Granular σύνθεση Subtractive ή αφαιρετική σύνθεση Βασική μέθοδος αναλογικής σύνθεσης. Σε αυτή την μέθοδο χρησιμοποιούνται ένας ή δύο ταλαντωτές που παράγουν τις βασικές μορφές κυματομορφών (ημίτονο, τριγωνικές, πριονωτές, τετραγωνικές και τετραγωνικές παλμικές), καθώς και ταλαντωτές θορύβου (περιέχει όλες τις συχνότητες σε εντάσεις ανάλογες του είδους του). Ένας μείκτης προσθέτει, στην περίπτωση των δύο ταλαντωτών, τα δύο σήματα ώστε να παράγει μία πιο σύνθετη κυματομορφή. Στην συνέχεια το σήμα «φιλτράρεται» (με φίλτρα φυσικά) ώστε να αφαιρεθούν ή να εξασθενήσουν κάποιες ανεπιθύμητες αρμονικές συχνότητες από το σήμα ώστε να αποκτήσει το επιθυμητό αρμονικό περιεχόμενο. Το σήμα οδηγείται σε έναν ενισχυτή ώστε να αποκτήσει την επιθυμητή ένταση και μετά προστίθεται τα εφέ που θα δώσουν το τελικό «χαρακτήρα» του ήχου. LFO s διαμορφώνουν τόσο το σήμα των ταλαντωτών, όσο και το σήμα του ενισχυτή, ενώ γεννήτριες περιβάλλουσας μαζί με LFO s ρυθμίζουν τα φίλτρα ώστε να αποδίδουν το επιθυμητό αποτέλεσμα. Γεννήτρια περιβάλλουσας μπορεί να ρυθμίζει και το σήμα του ενισχυτή επίσης. Όλα τα προαναφερθέντα στοιχεία ρυθμίζονται από τον χρήστη μέσο «ελεγκτών» ενώ το τελικό σήμα στέλνεται σε ηχεία (3) (4) (7) (8). Παρακάτω βλέπουμε τη βασική διάταξη της «γεννήτριας του ήχου» όπου τα βασικά στοιχεία κυκλώματα παρουσιάζονται σαν κουτιά. Μπορούν να προστεθούν φίλτρα σε διάφορες διατάξεις αναμεταξύ των (αλλά πάντα μετά τον μείκτη και πριν τον ενισχυτή), ενώ σε VST Synthesizers οι ταλαντωτές μπορούν να παράγουν πολύ πιο πολύπλοκες κυματομορφές ή να είναι περισσότεροι σε αριθμό (4). Εικόνα 3: Αρχιτεκτονική σύνδεσης αφαιρετικής μεθόδου σύνθεσης (Subtractive Synthesis).

45 Additive ή προσθετική σύνθεση Αποτελεί μίμηση της φυσικής του ηχοχρώματος και μία από τις πιο δύσκολες μεθόδους σύνθεσης ήχων, αλλά αποδίδει πολύ καλύτερα τους φυσικούς ήχους. Στην προσθετική μέθοδο η βασική ιδέα είναι να παράγουμε τις συστατικές αρμονικές συχνότητες ενός ήχου έτσι ώστε στον συνδυασμό τους να δώσουν τον ήχο αυτό. Γι αυτό τον λόγο χρησιμοποιούνται πολλοί (όσοι είναι απαραίτητοι) ταλαντωτές που παράγουν την απλούστερη μορφή κυματομορφής, δηλαδή ημιτονοειδές σήμα. Στην συνέχεια με γεννήτριες περιβάλλουσας δίνουμε το επιθυμητό «σχήμα» στην κάθε αρμονική και έπειτα την ρυθμίζουμε στη σωστή ένταση με «ατομικό» ενισχυτή για την κάθε συχνότητα. Στην συνέχεια οι αρμονικές προστίθενται με έναν μείκτη που θα δώσει μια σύνθετη συχνότητα με τις προκαθορισμένες αρμονικές. Το τελικό σήμα μπορεί να ελεγχτεί - ρυθμιστεί με φίλτρα και αφού ενισχυθεί το σήμα από τον ενισχυτή, προσθέτουμε και τα εφέ που θα μας δώσουν τον τελικό ήχο. Μεικτης φίλτρα και ενισχυτής διαμορφώνουν το σήμα και με την επιρροή LFO s αλλά και με την ρύθμιση μέσω γεννητριών περιβάλλουσας (φίλτρα και ενισχυτής) (3) (4) (9) (10). Παρακάτω βλέπουμε την βασική διάταξη της γεννήτριας ήχου ενός προσθετικής μεθόδου synthesizer καθώς και την ανάλυση Fourier των προς μίξη αρμονικών, μετά την επιρροή των γεννητριών περιβάλλουσας και των ενισχυτών. Παρατηρήστε πως όσο μεγαλώνει σε απόσταση από τη θεμελιώδη (Βασική Συχνότητα) η αρμονική τόσο πέφτει σε ύψος η ένταση της κάθε χρονική στιγμή γενικά, αλλά ανάλογα και με την περιβάλλουσα της φθίνει ή κορυφώνεται πιο αργά ή πιο γρήγορα (πχ. η 3η παράγωγος σε σχέση με τη 4η παρατηρούμε ότι σε κάποια χρονική στιγμή ή 4η ακούγεται πιο δυνατά (ισχυρό Attack), καθώς και η 2η σε σχέση με τη 3η και τη 4η σβήνει πολύ πιο γρήγορα αν και ακούγεται πολύ πιο δυνατά) (3) (4) (10). Εικόνα 4: Αρχιτεκτονική σύνδεσης προσθετικής μεθόδου σύνθεσης (Additive Synthesis). Physical Modeling ή Φυσικής Προσομοίωσης σύνθεση. Όπως μαρτυρά και το όνομα, αυτή η μέθοδος χρησιμοποιεί μαθηματικούς αλγόριθμους και συναρτήσεις ώστε να προσομοιώσει τις φυσικούς ήχους. Κεντρική ιδέα δεν είναι το synthesizer να μιμηθεί παραδείγματος χάριν το πιάνο, αλλά το αποτέλεσμα που επιφέρει στο περιβάλλον ένα ξύλινο σφυράκι που βαράει μεταλλική χορδή μέσα σε ξύλινο κουτί, ή το αποτέλεσμα της δόνησης μιας μεταλλικής χορδής συγκεκριμένου μήκους με συγκεκριμένη δύναμη και τρόπο, και την αντήχηση της δόνησης σε συγκεκριμένου σχήματος ηχείο (μίμηση της κιθάρας). Έτσι οι αλγόριθμοι αυξομειώνουν σε μαθηματικά μοντέλα, που «κυνηγούν» την ακουστική ενέργεια (από πού προέρχεται; Πως διανέμεται; κλπ.), χρησιμοποιώντας αυτά τα δεδομένα και αφού καταλήξουν στη μαθηματική παράσταση του κύματος, ο ταλαντωτής το αναπαράγει. Τέτοιου είδους υπολογισμοί απαιτούν υψηλής επεξεργαστικής ισχύος CPU καθώς και ανάπτυξη μαθηματικών μοντέλων υψηλής ακρίβειας προσομοίωσης. Γι αυτό τον λόγο και δεν έχει

46 αναπτυχθεί ακόμα πολύ. Ωστόσο καθώς η τεχνολογία αναπτύσσεται, η Physical Modeling σύνθεση θα κερδίζει έδαφος καθώς παρέχει ακρίβεια στην μίμηση των φυσικών ήχων. Το σημαντικό πλεονέκτημα, πέραν της ακρίβειας μίμησης των φυσικών ήχων, είναι η προσομοίωση φυσικών ήχων που παράγονται από αδύνατου κατασκευής όργανα (πχ. Ήχος πιάνου με ουρά 50m,κιθάρα με ταστιέρα 100m κλπ.) Επιπλέον πλεονέκτημα αποτελεί το γεγονός ότι ο ταλαντωτής παράγει απευθείας τον επιθυμητό ήχο οπότε το μόνο που μας μένει είναι η τελική του διαμόρφωση. Έτσι η γεννήτρια σύνθεσης, μετά τον ταλαντωτή, παρέχει τα βασικά κυκλώματα διαμόρφωσης που απαιτούν απλούς χειρισμούς (3) (7) (11) (12). Εικόνα 5: Αρχιτεκτονική σύνδεσης μεθόδου φυσικής προσομοίωσης σύνθεσης (Physical Modeling Synthesis). Sample Based Synthesis ή Σύνθεση με χρήση ηχητικών δειγμάτων Σε αυτή την μέθοδο οι ταλαντωτές (ένας ή δύο) αναπαράγουν μουσικά δείγματα (Samples και Multisamples). Μουσικό δείγμα ή Sample καλείται ένας ψηφιακά ηχογραφημένος ήχος μίας τονικότητας πχ. το Λα 440Hz ενός πιάνου. Multisample καλείται ένα σύνολο μουσικών δειγμάτων του ίδιου ήχου αλλά διαφορετική τονικότητας πχ. όλες οι νότες ενός πιάνου σε σειρά που στο synthesizer αντιστοιχίζονται στα αντίστοιχα πλήκτρα του κλαβιέ, (κατά κανόνα αντιστοιχίζονται στις τονικότητες των νοτών του πενταγράμμου). Χάριν ευκολίας τα καλούμε και αυτά samples. Τα samples μέσω ενός χάρτη (map) κατανέμονται στα πλήκτρα του κλαβιέ, ή τα κουμπιά (Pads) του ελεγκτή (ή στις όποιες ενέργειες ελέγχου του εκάστοτε ελεγκτή). Ανάλογα τις δυνατότητες του synthesizer, μπορούμε να «φορτώνουμε» πολλαπλά samples σε έναν ταλαντωτή τα οποία πρώτα προστίθεται σε μια κοινή κυματομορφή. Ο τρόπος χειρισμού και διαμόρφωσης των samples μέσω του μείκτη, των φίλτρων, του ενισχυτή και των εφέ, ρυθμιζόμενα από LFO s και γεννήτριες περιβάλλουσας, θα μας δώσει το τελικό ήχο. Θεωρητικά μπορεί η διάταξη να χρησιμοποιηθεί για additive και subtractive σύνθεση, χρησιμοποιώντας απλές κυματομορφές για δείγματα, αλλά πρακτικά οι απαιτήσεις ρύθμισης των παραπάνω μεθόδων είναι αρκετά υψηλές για να διεκπεραιώνονται από ένα Sample Based Synthesis όργανο. Επιπλέον απαιτεί μεγάλο χώρο RAM μνήμης για να φορτώνει τα δείγματα (αναλόγως και του bitrate τους) καθώς και σκληρού δίσκου όπου φυλάσσονται τα δείγματα και επιπλέον δεν παρέχει άμεσος έλεγχος στις παραμέτρους του οργάνου. Παρόλα αυτά παρέχει υψηλή πιστότητα και ρεαλισμό στους φυσικούς ήχους καθώς και σχετικά πιο εύκολο χειρισμό, σε σχέση με τις άλλες μεθόδους (3) (7) (13).

47 Εικόνα 6: Αρχιτεκτονική σύνδεσης μεθόδου σύνθεσης με χρήση ηχητικών δειγμάτων (Sample Based synthesis). Linear Arithmetic (LA) ή γραμμική αριθμητική σύνθεση Όπως μαρτυρά και το όνομα της (Linear διότι είναι ψηφιακή και Arithmetic διότι κάνει «πρόσθεση» σημάτων) πρόκειται για μια μέθοδο σύνθεσης που αναπτύχθηκε για να αντιμετωπίσει τα μειονεκτήματα της Subtractive και της Sample based σύνθεσης, συνδυάζοντας τις δύο αυτές μεθόδους μεταξύ τους και παράγοντας μία νέα! Έτσι κρατάει τον ρεαλισμό της Sample based για να συνθέσει το προβληματικό Attack της Subtractive μεθόδου και να ενισχύσει το «σώμα» του ήχου, και εκμεταλλεύεται τον άμεσο έλεγχο στις παραμέτρους του οργάνου που προσφέρει η subtractive μέθοδος. Για να γίνει αυτό, η γεννήτρια του ήχου χρησιμοποιεί την εξής μέθοδο: Χωρίζει τον ήχο σε δύο βασικά τμήματα, τα «partials». Υπάρχει το «partial S», που αντιστοιχίζεται στη αφαιρετική μηχανή, και το «partial P», που αντιστοιχίζεται στη Sample Based μηχανή. Τα δύο partials όταν συνδυαστούν μας δίνουν ένα τόνο (Tone). Δύο τόνοι συνδυασμένοι μας δίνουν ένα patch που αποτελεί τη βασική μονάδα ενός προγραμματισμένου ήχου. Στο partial S συντίθεται το Subtractive μέρος του ήχου. Αυτό αποτελείται από βασική δομή που περιλαμβάνει έναν ψηφιακό ταλαντωτή (DCO) που στέλνει το σήμα του σε ένα Time Variant Filter (ή TVF =φίλτρο που αλλάζει τις ρυθμίσεις του σε σχέση με τη χρονική στιγμή) το οποίο δυναμικά αποκόβει τις ανεπιθύμητες συχνότητες (όπως στην αφαιρετική μέθοδο). Στην συνέχεια το σήμα οδηγείται σε έναν Time Variant Amplifier (ή TVA =ενισχυτής που, όπως και το φίλτρο, αλλάζει τις ρυθμίσεις του ανάλογα τη χρονική στιγμή, ενώ τεχνολογικά μπορεί και να ενσωματώνει και φίλτρα με γεννήτρια περιβάλλουσας), όπου θα το ενισχύσει στο επιθυμητό πλάτος πριν το προσφέρει στο μείκτη του tone στο οποίο ανήκει. Το σήμα του ταλαντωτή διαμορφώνεται από ένα κοινό με το P-partial LFO, ενώ το φίλτρο και ο ενισχυτής διαμορφώνουν το σήμα τους με «ατομικά» LFO s και γεννήτριες περιβάλλουσας. Στο partial P συντίθεται το Sample Based μέρος του ήχου. Αυτό αποτελείται από έναν Pulse Code Modulator ( ή PCM =Ταλαντωτής που παράγει κυματομορφές μουσικών δειγμάτων Samples) που παράγει ένα σήμα το οποίο ενισχύεται από ένα TVA και στην συνέχεια οδηγείται στον μείκτη του tone στο οποίο ανήκει. Το σήμα του ταλαντωτή διαμορφώνεται από ένα κοινό με το S- partial LFO ενώ ο ενισχυτής ρυθμίζεται από γεννήτρια περιβάλλουσας. Τα σήματα των δύο partials ενώνονται στον μείκτη αναλογικά με τον χρόνο, έτσι ώστε να χρησιμοποιείται το Attack του P- partial και το Decay, Sustain και Release του S- Partial. Για ακόμα πιο σύνθετους και όμορφους ήχους, προαιρετικά προστίθεται στο σύνολο του ήχου άλλος ένας Sample ήχος, κυματομορφής μονού κύκλου (παλμός), σε loop (επανάληψη αναπαραγωγής) για όσο κρατάει το «σώμα» του ήχου (Decay-Sustain-Release). Το σύνολο του αθροίσματος των partials αναδιαμορφώνεται περνώντας μέσα από ρυθμιζόμενα φίλτρα (με LFO s και Γεν. περιβάλλουσας) και εφέ για να δώσει το τελικό σήμα του tone. Αυτό το σήμα θα αναμειχτεί με το σήμα του 2ου tone (εάν υφίσταται) και αφού δεχτεί την τελική αναδιαμόρφωση και ενίσχυση οδηγείται στα ηχεία (3) (4) (14).

48 Εικόνα 7:Αρχιτεκτονική σύνδεσης γραμμικής αριθμητικής σύνθεσης (Linear Arithmetic). Wavetable σύνθεση Πρόκειται για ψηφιακή μέθοδο. Θυμίζει μείγμα προσθετικής με LA σύνθεσης, και αυτό γιατί ουσιαστικά αυτό που κάνει είναι να σαρώνει, τυχαία ή προγραμματισμένα, έναν «πίνακα» με samples μονού κύκλου και να τα ενώνει με additive τρόπο σε πραγματικό χρόνο αλλά και να ορίζει ποια κυματομορφή θα χρησιμοποιηθεί για Attack και Decay (μαζί), Sustain και ποια για Release. Η κυματομορφή του Sustain επαναπαράγεται (looped) για όσο ορίζουμε μέσω του ελεγκτή και μέχρι να απελευθερώσουμε τον ήχο, όπου θα ακουστεί το release και θα σβήσει (εικόνα 8). Για να παιχτούν νότες (διαφορετικά ύψη) είτε χρησιμοποιούνται multisamples είτε αναπαράγεται το sample σε διαφορετική ταχύτητα. Τέλος χρησιμοποιούνται διαμορφωτές κυματομορφών (modulators: LFO s, γεννήτριες περιβάλλουσας, διαμορφωτές φάσης και εφέ) που μεταβάλουν τον ήχο ώσπου να αποκτήσει την επιθυμητή μορφή (3) (7) (15) (16). Εικόνα 8: Τρόπος παραγωγής ήχου μέσω της Wavetable σύνθεσης. Frequency Modulation (FM) ή διαμόρφωσης συχνότητας σύνθεση Η FM αποτελεί την πιο δύσκολη αλλά και η πιο ευέλικτη μέθοδο καθώς μπορεί να δημιουργήσει όλους τους δυνατούς ήχους (φυσικούς και σύνθετους) του ακουστικού φάσματος. Οι δυνατότητες της μπορούν να γίνουν απεριόριστες εφόσον η ικανότητα σύνθεσης ήχων με VST synthesizer είναι ανάλογη της συνεχώς αυξανομένης υπολογιστικής ισχύος (απαιτήσεις ψηφιακού χώρου και μνήμης) (3) (7) (17) (18). Σε αυτή τη μέθοδο χρησιμοποιούνται το λιγότερο δύο operators. Ο operator είναι μονάδα που περιλαμβάνει ένα ταλαντωτή, συνήθως ημιτονοειδούς σήματος χωρίς να είναι απαραίτητο, που ρυθμίζεται από μία γεννήτρια περιβάλλουσας και ενισχύεται από έναν ενισχυτή. Ο χειριστής μπορεί να ρυθμίσει τη συχνότητα, την ένταση και τις παραμέτρους της περιβάλλουσας. Ο πρώτος operator καλείται carrier ή «φέρων». Ο δεύτερος modulator ή διαμορφωτής. Αυτό που συμβαίνει είναι ότι το σήμα του carrier περνά μέσα από τον modulator όπου με το σήμα του διαμορφώνει την συχνότητα του carrier. Ουσιαστικά ο carrier ορίζει τον τόνο και ο Modulator τις παραγόμενες πλευρικές συχνότητες ή Sidebands, σε σχέση με την συχνότητα του carrier, που μπορούν να είναι αρμονικές, μηαρμονικές και υποαρμονικές σε σχέση με αυτές του carrier. Ο αριθμός των παραγόμενων αρμονικών εξαρτάται από

49 τον λόγο των συχνοτήτων του carrier (fc) ως προς του modulator (fm) [fc/fm]. Όσο αυτός ο λόγος μεγαλώνει τόσο περισσότερες παραγόμενες συχνότητες αποκτά ο ήχος. Αυτό όμως δεν αρκεί. Για να αποκτήσει αρμονικότητα ο ήχος πρέπει οι παραγόμενες συχνότητες να είναι ακέραια πολλαπλάσια και υποπολλαπλάσια της θεμελιώδους συχνότητας του carrier. Αυτό αποκτά ως ζητούμενο η σχέση συχνοτήτων fc/fm να είναι σχέση Ν/Μ όπου Ν και Μ είναι ακέραιοι αριθμοί. Όσο αυτός ο λόγος μεγαλώνει τόσο περισσότερες υψηλές αρμονικές έχει ο ήχος και αντίστροφα. Επιπλέον της σχέσης συχνοτήτων ρόλο παίζει και η σχέση έντασης του carrier (Vc) προς την ένταση του modulator (Vm) [Vc/Vm] που αποκτά τιμές από μηδέν μέχρι ένα (0~1). Όσο ο αριθμός αυτής της σχέσης μεγαλώνει τόσο πιο δυνατά ακούγονται οι προαναφερθέντες παραγόμενες συχνότητες. Στη FM σύνθεση ουσιαστικά παράγουμε τις αρμονικές συχνότητες του ήχου σε προκαθορισμένες εντάσεις διαμορφώνοντας έτσι το φάσμα συχνοτήτων του ήχου) (3) (7) (17) (19) (20). Διάγραμμα 16: Διαμόρφωση συχνότητας. Το σήμα του διαμορφωτή (κύμα με τη μικρή κεντρική συχνότητα του διαγράμματος), καθορίζει τη συχνότητα του φορέα (μεγάλη - μεταβαλλόμενη συχνότητα διαγράμματος). Παρατηρούμε ότι όταν η τιμή πλάτους του διαμορφωτή αυξάνεται, η συχνότητα του φορέα μικραίνει και ανάποδα. Εικόνα 9: Παράδειγμα διάταξης Frequency modulation synthesizer. Ο ελεγκτής (κλαβιέ) ελέγχει τη συχνότητα του ταλαντωτή - διαμορφωτή, του ταλαντωτή - φορέα καθώς επίσης και τις γεννήτριες περιβάλλουσας των ενισχυτών των δύο ταλαντωτών. Το επιπλέον πλεονέκτημα αυτής της μεθόδου είναι ότι μπορούν να χρησιμοποιούνται ταυτόχρονα άπειροι operators, σε οποιαδήποτε διάταξη θέλουμε, παράγοντας άπειρους ήχους (προσφορά των VST synthesizers που προαναφέρθηκε) (17) (19).

50 εικόνα 10: Διάφορες πιθανές αρχιτεκτονικές διατάξεις σύνθεσης με Διαμόρφωση συχνότητας (Frequency Modulation Synthesis). Αρχές Λειτουργίας FM σύνθεσης. Οι συχνότητες που παράγονται (Sidebands) πηγάζουν από την εξής σχέση: Διάγραμμα 17: Διάγραμμα αρμονικών συχνοτήτων με Διαμόρφωση Συχνότητας. Η μπλε συχνότητα είναι η συχνότητα του φορέα και οι κόκκινες ορίζονται από τον διαμορφωτή, σε συσχέτιση με τον φορέα. όπου fsb είναι η συχνότητα των sidebands, fc είναι η συχνότητα του Carrier, fm είναι η συχνότητα του Modulator και n είναι ακέραιος αριθμός μεγαλύτερος ή ίσος του μηδέν (n 0). Αυτό σημαίνει ότι τα Sidebands εκτίνονται γύρω από τη συχνότητα του Carrier δηλαδή σε μικρότερες και μεγαλύτερες συχνότητες (δεξιά και αριστερά σε ανάλυση Fourier) που επιπλέον είναι ακέραια πολλαπλάσια της συχνότητας του Modulator. Αν η συχνότητα του Modulator είναι ίση ή πολλαπλάσια του Carrier, τότε οι συχνότητες που παράγονται είναι αρμονικές (17) (19). Η ένταση των συχνοτήτων εξαρτάται από το κέρδος (gain) των ενισχυτών των Operators και επιπλέον από την αναλογία των εντάσεών τους (παράγοντας β ή Modulation Index): Όπου Δfc είναι η μεταβολή στην συχνότητα του Carrier που σχετίζεται άμεσα με την ένταση της ενίσχυσης του Modulator. Όσο μεγαλώνει το β τόσο πιο δυνατά ακούγονται τα sidebands. Η έκταση των sidebands μας δείχνει και το bandwidth του ήχου. Αυτό μπορεί εύκολα να υπολογιστεί από τον τύπο:

51 Διάγραμμα 18: αναλύσεις Furrier για διάφορα modulation indices (παράγοντας β), για συγκεκριμένη συχνότητα διαμορφωτή (αριστερή περίπτωση) και συγκεκριμένη διαφορά συχνοτήτων φορέα - διαμοεφωτή (συχνότητα απόκλισης). Στην μαθηματική εξήγηση η γενική εξίσωση που περιγράφει τη στιγμιαία/ -ες ένταση/-εις, τη χρονική στιγμή t μίας συχνότητας (fc)που διαμορφώνεται από μία δεύτερη (fm) είναι η εξής (17) (19): Όπου Α είναι η μέγιστη τιμή έντασης, και εφόσον fc και fm είναι οι συχνότητες των Carrier και modulator αντίστοιχα, τότε 2π fc=ωc είναι η γωνιακή συχνότητα του Carrier και 2π fm=ωm είναι η γωνιακή συχνότητα του Modulator. Έτσι η παραπάνω σχέση γράφεται και Ο σταθερός παράγοντας Α εκφράζει τη μέγιστη ένταση, ενώ το χρονικά μεταβλητό μέρος [(ωc t)+β sin(ωm t)] δείχνει την συνάρτηση της φάσης της κυματομορφής. Αν η παραπάνω σχέση εκφραστεί με συνάρτηση Bessel θα πάρει τη μορφή: Το μέρος {J0(β) sin(ωc t) } μας φανερώνει τη ένταση του Carrier { J0(β) } στη συχνότητά του [ sin(ωc t) ]. Το δεύτερο μέρος [ μας φανερώνει τα Sidebands στην έντασή τους [ Jk(b) ] (17) (19) (20).

52 Δεδομένου ότι οι Sidebands συχνότητες είναι άπειρες [ k ] και είναι προφανές ότι δεν ακούγονται όλες, αντιλαμβανόμαστε ότι το modulation Index (β) είναι αυτό που καθορίζει την έντασή τους [ J0(β) & Jk(b) ] (17) (19). Για να δούμε ποια είναι τα sidebands αναλύουμε το μέρος της εξίσωσης που μας τα δίνει και παρατηρούμε ότι πρόκειται για τo αποτέλεσμα της πρόσθεσης συχνοτήτων sin((fc+k fm )2πt) ± sin((fc-k fm)2πt). (18) Μία τέτοια ανάλυση μας δίνει έναν διάγραμμα Fourier (διάγραμμα 19) με άπειρες συχνότητες (λόγο k) που όμως στην πραγματικότητα η κάθε μία έχει τη δικιά της ένταση και από ένα σημείο και μετά η ένταση γίνεται, από αδύνατη να ακουστεί έως μηδενική, οπότε δεν υφίστανται όλες οι παραπάνω συχνότητες αλλά μόνο ένας αριθμός τους που σχηματίζει το ηχόχρωμα. Οι αρνητικές συχνότητες συμβαίνουν στην γραφική ανάλυση (διάγραμμα 19). Στην πραγματικότητα είναι συχνότητες με αναστροφή φάσης 180ο. Στο ακουστικό κομμάτι αποτελούν αντικατοπτρίσεις ως προς τον άξονα ψ ψ στην θετική πλευρά, αλγεβρικά προστιθέμενες στις υπάρχουσες με αναστραμμένο πρόσημο. Το πραγματικό αποτέλεσμα φαίνεται βήμα βήμα στο διάγραμμα 20 (18). Διάγραμμα 19: Διάγραμμα όλων των παραγόμενων αρμονικών κατά τη διαμόρφωση συχνότητας.

53 Διάγραμμα 20: Οι αρνητικές συχνότητες που παράγονται κατά την FM σύνθεση, αποτελούν ουσιαστικά αρμονικές και υποαρμονικές με διαφορά φάσης (180 ). Η πραγματική τους διάσταση θα δοθεί, μόλις προσθέσουμε τις δύο φάσεις της αρμονικής στην ένταση την οποία παράγονται. Phase Distortion ή Phase modulation Synthesis ή διαμόρφωσης φάσης σύνθεση Μέθοδος που ορίζει τη μορφή της κυματομορφής διαταράσσοντας τη φάση του κύματος δυναμικά. Βασικό κομμάτι της λειτουργίας της είναι η χρήση των DDS (Direct Digital Synthesis) ταλαντωτών. Βασικό εξάρτημα λειτουργίας αυτών των ταλαντωτών είναι ο «Συσσωρευτής Φάσης» που δεν είναι τίποτα άλλο από έναν ψηφιακό μετρητή που όσο γρήγορα ανεβαίνει η τιμή του, τόσο γρήγορα ανεβαίνει και η τιμή της φάσης. Αν θεωρήσουμε ότι παίρνει τιμές πχ. από ένα έως εκατό (1~100) τότε ανάλογα παίρνει τιμές και η φάση από μηδέν έως τριακόσιες εξήντα μοίρες (0ο~360ο). Με το που φτάσει στη τιμή 100 ο ψηφιακός μετρητής, ξαναρχίζει το μέτρημα από το ένα κυκλικά. Ανάλογα με τη τιμή της φάσης, λοιπόν, διαμορφώνεται και η κυματομορφή της συχνότητας. Αν ο μετρητής ανεβαίνει δύο δύο τις τιμές τότε ο κύκλος θα ολοκληρωθεί πιο γρήγορα άρα το αποτέλεσμα θα είναι μια κυματομορφή μεγαλύτερης συχνότητας (3) (21) (22) (23). Διάγραμμα 21: Διάγραμμα διαμόρφωσης φάσης. Ο συσσωρευτής φάσης παίρνει συνεχώς τιμές από 0 έως Max (πράσινο). Κάθε φορά που ολοκληρώνεται ένας τέτοιος κύκλος, ταυτόχρονα ολοκληρώνεται και η περίοδος του παραγόμενου κύματος (κόκκινο).

54 Σχήμα 16: Εάν διαμορφώσουμε τη συχνότητα (μεσαίο διάγραμμα) με τον συσσωρευτή τάσης του πρώτου διαγράμματος, τότε το αποτέλεσμα θα είναι ο διπλασιασμός της συχνότητας αυτής. Ο τρόπος διαμόρφωσης της φάσης γίνεται ως εξής. Αν επηρεάσουμε το «σχήμα» της φάσης (ή τη γωνία όπως λέγεται), επιταχύνοντας ή επιβραδύνοντας τον συσσωρευτή τάσης, τότε θα διαταραχθεί αναλόγως και η κυματομορφή (21) (23). Σχήμα 17: Παραγωγή κυματομορφών με phase modulation. (α) οδοντωτό κύμα, (β) Τετραγωνικό κύμα και (γ) Σταδιακή διαμόρφωση μίας συχνότητας. Σχήμα 18: Διαμόρφωση φάσης 3 διαφορετικών κυματομορφών. Στην πρώτη γραμμή παρατηρούμε διαμόρφωση ημιτονοειδούς ήχου, στην δεύτερη οδοντωτού και στην τρίτη τριγωνικού. Granular σύνθεση Ψηφιακή μέθοδος σύνθεσης ηλεκτρονικών ήχων που εφευρέθηκε από τον Γιάννη Ξενάκη το Η λογική της θυμίζει τη sample based σύνθεση, μόνο που εδώ, αντί για συνεχή δείγματα ήχων, έχουμε «κόκκους» ήχου (grains εξού και granular ) που είναι δείγματα τα οποία διαρκούν από ένα έως πενήντα χιλιοστά του δευτερολέπτου (1~50 ms.)! Αυτοί οι κόκκοι ήχου συνθέτουν ηχητικά «σύννεφα» δηλαδή ηχητικά περιβάλλοντα όπου τα δείγματα αυτά μπαίνουν σε σειρές (όπως το σώμα της Linear Arithmetic σύνθεσης) δημιουργώντας πολύπλοκες συνεχείς συχνότητες, οι οποίες στην συνέχεια μπορούν να συνθέσουν και νέους ήχους πχ. με additive ή Subtractive μέθοδο καθώς και να «μεταλλαχθούν» μέσω φίλτρων, LFO s, γεννητριών περιβάλλουσας, εφέ και ρυθμίσεις του ενισχυτή. Συγκεκριμένη

55 μέθοδος Granular σύνθεσης δεν υπάρχει. Αντιθέτως έχουν αναπτυχθεί πολλοί τρόποι διαχείρισης των ακουστικών κόκκων μεθόδους από τις μπορούμε να αναφέρουμε κάποιες βασικές όπως η μέθοδος «οθόνων» ( screens ) του Γιάννη Ξενάκη, τη Pitch-Synchronous Granular σύνθεση, τη Quasi-Synchronous Granular σύνθεση, την Asynchronous Granular σύνθεση καθώς και την Granular Additive σύνθεση, ενώ ταυτόχρονα υπάρχουν πολλές μείξεις των διάφορων μεθόδων αναμεταξύ τους (3) (24) (25). Διάγραμμα 22: Διαγράμματα ηχητικών σύννεφων Granular σύνθεσης. Modular Synthesis Η modular Synthesis γεννήθηκε με το πρώτο synthesizer που φτιάχτηκε ποτέ («Moog» από τους Robert Moog και Herb Deutsch). Πρόκειται για την μέθοδο σύνθεσης που δεν έχει συγκεκριμένη αρχιτεκτονική σύνδεση, αλλά ορίζει όλες τις μεθόδους. Υπ αυτήν την μέθοδο, ο συνθέτης του ήχου χρησιμοποιεί όσα στοιχεία του synthesizer θέλει (oscillators διαφόρων κυματομορφών, lfo s, effects, filters κλπ.) με τη σειρά που θέλει για να επιτελέσει τον σκοπό του. Αυτό γίνεται οδηγώντας το σήμα του ελεγκτή (πχ. keyboard, κιθάρα κλπ), μέσα από κάθε στοιχείο ενώνοντάς τα με καλώδια σε σειρά, μέχρι την τελική έξοδο στα ηχεία. Έτσι για παράδειγμα, έναν ταλαντωτή (osc) μπορείς να τον χρησιμοποιήσεις τόσο για να αναπαράγεις μία κυματομορφή, ενώνοντάς το με τον ελεγκτή ύψους και στην συνέχεια στα ηχεία, όσο και για να διαμορφώσεις μία άλλη κυματομορφή, ενώνοντάς το στην σχετική είσοδο του δεύτερου (φέρων) ταλαντωτή και τον φέρων ταλαντωτή στα ηχεία. Ένα δεύτερο παραπλήσιο παράδειγμα είναι ο τρόπος που ενώνουν τα «πετάλια τους οι οργανοπαίχτες ηλεκτρικής κιθάρας ώστε να διαμορφώσουν τον τελικό τους ήχο. Το πλεονέκτημα αυτήν της μεθόδου είναι ότι μπορείς να χρησιμοποιήσεις όλους τους τρόπους σύνθεσης (πέραν αυτών της καθαρά ψηφιακής επεξεργασίας), για να διαμορφώσεις τον ήχο που επιθυμείς, ενώ προσφέρεται για περίτεχνους πειραματισμούς. Το μειονέκτημα είναι ο αργός και περίπλοκος τρόπος ένωσης των στοιχείων σε σωστή σειρά, είτε αναλογικά με καλώδια, είτε ψηφιακά με ίδιες λογικές σύνδεσης των στοιχείων (με εικονικά καλώδια ή «διευθύνσεις» μεταβίβασης σήματος, και οι περιορισμένες δυνατότητες περεταίρω χρήσης μιας επιλεγμένης μεθόδου σύνθεσης λόγω σχεδιασμού, καθώς αναλογικά έχουμε πεπερασμένο αριθμό στοιχείων και όσο τα αυξάνουμε, αυξάνουμε και

56 την περιπλοκότητα του οργάνου, ενώ ηλεκτρονικά έχουμε επίσης τον περιορισμένο χώρο,λόγω οθόνης και τον σειριακό τρόπο εισαγωγής δεδομένων μέσω κυρίως του mouse (3) (26) (27) (28). Εικόνα 11: Wendy Carlos Modular Moog Εικόνα 12: Interface εικονικών (VSyths) modular Synthesizers. Πρωτόκολλα επικοινωνίας Ηλεκτρονικών / Ψηφιακών οργάνων Στα πρώτα synthesizers γεννήτρια και ελεγκτής συνδέονταν άμεσα με καλώδια μεταφοράς των διάφορων πληροφοριών (νότα (pitch), δυναμική (velocity), ένταση (volume) κλπ. ). Από ένα σημείο όμως και μετά αναπτύχθηκε η ανάγκη ένας ελεγκτής να μπορεί να ελέγχει οποιαδήποτε συσκευή ανεξαρτήτου εταιρίας, ή ακόμα και δύο συσκευές μαζί για ακόμα πιο σύνθετο ήχο. Ακόμα περισσότερο από αυτό, υπήρξε η ανάγκη να επικοινωνεί το κάθε synthesizer με μια πλειάδα άλλων συσκευών, όπως sequencers, drum machines, samplers, Η.Υ. κ.α., να ανταλλάσουν δεδομένα και να αλληλοελέγχονται, ανεξαρτήτως εταιρίας και έκδοσης. Αυτή η ανάγκη οδήγησε στην ανάπτυξη σχετικών πρωτόκολλων επικοινωνίας που θα έπρεπε να υποστηρίζονται από όλους τους κατασκευαστές, έτσι ώστε να αναπτυχθεί σωστά και χωρίς προβλήματα ο τομέας των ψηφιακών μουσικών οργάνων. Τα πιο διαδεδομένα από αυτά είναι το MIDI και το OSC, ενώ εταιρίες έχουν αναπτύξει και δικά τους πρωτόκολλα επικοινωνίας, όπως το mlan της ΥΑΜΑΗΑ, για αποτελεσματικότερο έλεγχο των συσκευών τους, χωρίς να παραβλέπουν την χρήση και των ευρέως διαδεδομένων (2) (4). MIDI (Musical Instrument Digital Interface) Το πρώτο τέτοιο πρωτόκολλο δημιουργήθηκε το 1982 και ονομάστηκε MIDI, που στα ελληνικά σημαίνει «ψηφιακή διασύνδεση μουσικών οργάνων». Όπως μαρτυρά και το όνομά του πρόκειται για ένα πρωτόκολλο που στόχο είχε να συνδέσει όλα τα ψηφιακά μουσικά όργανα και περιφερειακά αναμεταξύ τους (2) (4) (29).

57 Μία MIDI σύνδεση μπορεί να διαθέτει μέχρι 16 κανάλια μεταφοράς πληροφορίας, που το καθένα να απευθύνεται σε διαφορετική συσκευή. Οι πληροφορίες που μεταφέρει χωρίζονται σε μηνύματα συμβάντων (event message), όπως για το ποια νότα παίχτηκε (pitch), με πόση δύναμη (velocity), πότε πατήθηκε (note on), πότε αφέθηκε (note off) κ.α., και σε σήματα ελέγχου (control signals), που αφορούν τις τιμές παραμέτρων όπως της έντασης (volume), της ισορροπίας καναλιών ήχου (panning), τη συχνότητα του τρέμολου (vibrato) καθώς και το σήμα του εσωτερικού ρολογιού ώστε να συγχρονίζονται οι συσκευές μεταξύ τους (29) (30). Το MIDI χρησιμοποιείται τόσο για το live παίξιμο και έλεγχο των διάφορων συμβαλλόμενων συσκευών, όσο και τη μουσική γραφή και αποθήκευση του ήχου. Διαθέτει δικό ψηφιακό αρχειακό σύστημα, το SMF (Standard Midi File), ώστε να μπορούν να αποθηκεύονται οι διάφορες επιλογές. Το SMF δεν αποθηκεύει νότες και μουσική σημειολογία, αλλά MIDI επιλογές, δηλαδή χρονικά ταξινομημένες πληροφορίες για τη κατάσταση των διαφόρων συσκευών (πχ. στην χρονική στιγμή 1, το κανάλι 1 μετέφερε την πληροφορία παιξίματος της νότας pitch:64, σε ένταση velocity:125, ενώ το κανάλι 2 μετέφερε πληροφορία ισορροπίας pan:l75. Τη χρονική στιγμή 2 το κανάλι 1 κλπ.). Αυτό μας δίνει την δυνατότητα τόσο να αποθηκεύουμε τις επιλογές μας την στιγμή που παίζουμε (οπότε μπορούμε με κάποιο λογισμικό αργότερα να τις μετατρέψουμε σε παρτιτούρα), όσο και να τις διαφοροποιήσουμε μετά, αλλάζοντας πχ. εντάσεις, όργανα ανά κανάλι, διάρκειες νοτών, τη μίξη του ήχου κλπ. οπότε και διευκολύνεται η ηχοληψία και η μουσική παραγωγή. Αναπτύσσονται τα sequencers, τα samplers και άλλες συσκευές διαχείρισης ήχου, ενώ οι υπολογιστές γίνονται ενεργά μουσικά όργανα. Επιπλέον χρησιμοποιείται η MIDI τεχνολογία και σε νέους τομείς όπως τα παιχνίδια υπολογιστών, για την παραγωγή των ήχων, αλλά και στον έλεγχο συσκευών φωτισμού και video! Παρόλα αυτά ο αριθμός, το είδος και το μέγεθος των MIDI εντολών και μηνυμάτων είναι πεπερασμένος και πολύ συγκεκριμένος, γεγονός που κάνει τη χρήση του πέραν των συσκευών αυτών να είναι πολύ περιορισμένη, ενώ περιορίζεται ακόμα περισσότερο από την ταχύτητα μεταφοράς της πληροφορίας που σταθεροποιείται στα kbit/s (με τον κοινότυπο τρόπο σύνδεσης που θέλει συγκεκριμένο καλώδιο) (29) (30). Η MIDI σύνδεση χρησιμοποιεί συγκεκριμένου τύπου καλώδια (βύσμα 180 DIN 5 ακίδων). Επειδή δεν χρησιμοποιείται bit ελέγχου, το καλώδια σύνδεσης επιτρέπεται να είναι μέχρι 15 μέτρα. Μεταγενέστερες εκδόσεις του MIDI και παραλλαγές χρησιμοποιούν και καλώδια ethernet, USB και FireWire που βελτιώνουν την ταχύτητα μεταφοράς δεδομένων. Παρόλα αυτά η μορφή παραμένει η ίδια (29) (30). Εικόνα 13: Midi βύσματα. Μία συσκευή συνδέεται με τρεις τρόπους και διαθέτει αντιστοίχως τρεις διαφορετικές θύρες: MIDI-IN θύρα, για την λήψη των MIDI μηνυμάτων και εντολών από άλλες συσκευές. MIDI-OUT θύρα, για αποστολή MIDI μηνυμάτων και εντολών προς άλλες συσκευές. MIDI-THRU θύρα, για λήψη των MIDI μηνυμάτων και εντολών από άλλες συσκευές και προώθησή τους στην συνέχεια σε άλλες συσκευές.

58 Εικόνα 14: Κλασικές midi είσοδοι / έξοδοι συσκευών. Δεδομένης της ανάπτυξης της τεχνολογίας και των απαιτήσεων των μουσικών το MIDI πρωτόκολλο έχει βελτιστοποιηθεί με τον καιρό (MIDI 2.0, wireless MIDI κα.) και παραμένει το πιο διαδεδομένο μέχρι τώρα (30). OSC (Open Sound Control) Πρόκειται για ένα πρωτόκολλο που δεν περιορίζεται στην επικοινωνία των μουσικών συσκευών, αλλά αναπτύχθηκε ώστε να ανταλλάσουν πληροφορίες όλες οι σύγχρονες πολυμεσικές συσκευές που χρησιμοποιούν την σύγχρονη δικτύωση. Πρόκειται για ένα πρωτόκολλο που αναπτύχθηκε λαμβάνοντας υπόψη τη συνεχή βελτιστοποίηση των τεχνολογιών και των τεχνολογικών απαιτήσεων προσφέροντας έναν πιο γρήγορο (10+ Megabit/sec), ασφαλή, και αυθαίρετο (οπότε και προσαρμόσιμο στις εκάστοτε ανάγκες) τρόπο μεταφοράς της πληροφορίας (31) (32). Η πληροφορία οργανώνεται σε «πακέτα» μεταφοράς δεδομένων (TCP ή UDP) που μεταφέρονται με μεγαλύτερη χρονική ακρίβεια και ρυθμό, Αυτό προσφέρει την δυνατότητα οι διάφορες συσκευές να δέχονται περισσότερη πληροφορία που αφορά μικρότερη μονάδα χρόνου, έτσι ώστε να την επεξεργάζονται πιο άμεσα πετυχαίνοντας ακόμα ρεαλιστικότερο αποτέλεσμα (real time αναπαραγωγή), ενώ μεγαλύτερες και πολυπλοκότερες πληροφορίες, που οργανώνονται σε περισσότερα πακέτα, έχουν την δυνατότητα να συνδεθούν στην συνέχεια (31) (32). Η τεχνολογία OSC επιτρέπει τον «διάλογο» ανάμεσα σε δύο συσκευές, οπότε πληροφορίες που δεν χρειάζεται να υπενθυμίζονται ανά τακτά χρονικά διαστήματα με αποστολή μηνυμάτων, αποφεύγονται καθώς η συσκευή «δέκτης» μπορεί να στείλει αίτημα αποστολής πληροφορίας (request) και η συσκευή «πομπός» να του απαντήσει την χαμένη πληροφορία. Ταυτόχρονα οι πληροφορίες που είναι σημαντικές και πρέπει να υπενθυμίζονται, περιέχονται σε κάθε πακέτο, οπότε σε περίπτωση λάθους ή χαμένου πακέτου, το επόμενο θα επαναφέρει το σύστημα στην επιθυμητή κατάσταση (31). Για να μεταφέρεται αποτελεσματικά και γρήγορα η πληροφορία από τα δίκτυα, η OSC συστήνει έναν τρόπο γραφής των δεδομένων, σύμφωνο με τη σύνταξη της URL διευθυνσιοδότησης του διαδικτύου, ενώ ειδικά σύμβολα επιταχύνουν τις διαδικασίες, ενώ με ίδιο τρόπο μπορεί να συντάσσει και MIDI πληροφορίες:

59 Εικόνα 15: Παραδείγματα OSC μηνυμάτων. Εικόνα 16: Σύγκριση όγκου της ίδιας εντολής πληροφορίας ανάμεσα σε OSC, MIDI και XML. Εφαρμογές που χρησιμοποιούν OSC ποικίλουν από μουσικά προγραμματιστικά περιβάλλοντα (MAX/MSP, SuperCollider, Open Sound World, Pure Data, Virtual Sound Server, Csound, Ardour, Ventuz Presentations κα.) και εικονικά synthesizer (Grainwave, Reactor κα.) μέχρι προγράμματα γραφικών ( Flash, Director κα.) και συσκευές και λογισμικά αναγνώρισης χειρονομιών και computer vision αντικειμένων και βιβλιοθήκες (Kroonde, Toaster, MATRIX, AtoMIC PRO, reactivision, CCV, JazzMutant, IRCAM Ethersense, Smart Controller, Gluion κα), ενώ έχουν υπάρξει και διαδικτυακές εφαρμογές που χρησιμοποίησαν OSC για την υλοποίησή τους (Meta-Orchestra Project, Circular Optical Object Locator, Listening Post, Tgarden project κα.). Η OSC υποστηρίζεται από τις περισσότερες γλώσσες προγραμματισμού (Python, C/C++, C#, Java, Squeak, MATLAB, PHP, Perl κα.) και αυτό την κάνει ακόμα πιο εύχρηστη στην χρήση της για ανάπτυξη πολυμεσικών εφαρμογών (33). Τα OSC πακέτα μπορούν να ταξιδεύουν μέσα από οποιοδήποτε καλώδιο δικτύου (Ethernet, USB, FireWire) και ασύρματα (Wi-Fi) καθώς έχουν την τυπική μορφή πληροφορίας που υπάρχει στο διαδίκτυο (31) (32).

60 Πολυαπτική διεπιφάνεια χρήστη Tangible ( ~/ Graspable / Physical / Embodied) User Interfaces (TUI) Τι είναι η πολυαπτική διεπιφάνεια χρήστη (Tangible User Interface); Με τον όρο Tangible User interfaces αναφερόμαστε σε ένα είδος διεπιφάνειας χρήστη όπου η αλληλεπίδραση ανθρώπου μηχανής μεταφέρεται από το εικονικό στο φυσικό περιβάλλον. Αυτό επιτυγχάνεται με τη χρησιμοποίηση φυσικών ενεργειών και φυσικών αντικειμένων στο φυσικό περιβάλλον ώστε να χειριστούμε το εικονικό περιβάλλον μιας εφαρμογής (εισαγωγή πληροφοριών και δεδομένων, εντολή ενεργειών κλπ.). Εκτός του TUI, για αυτό τον σκοπό, έχουν αναπτυχθεί και άλλα είδη διεπιφανειών χρήστη όπως η graspable, η physical, η embodied και άλλες user interfaces που ωστόσο έχουν κοινό αντικείμενο ενδιαφέροντος, με μερικές διαφοροποιήσεις στα όριά τους, αλλά όλα αυτά επαφίενται στον θεωρητικό ορισμό τους. Στην πραγματικότητα λειτουργούν όλες με τον ίδιο τρόπο και γι αυτό θα τις θεωρήσουμε ως ένα είδος. Στις μέρες μας έχει επικρατήσει η Tangible User Interface. Στην συνέχεια της Δ.Ε. είτε αναφερόμαστε σε tangible και TUI, είτε σε graspable και Gr.UI, είτε σε οποιαδήποτε από τις προαναφερθείσες ονομασίες, απευθυνόμαστε συνολικά στην ίδια κατηγορία διεπιφάνειας χρήστη, όπως την ορίσαμε παραπάνω. Δεν υιοθετείται μία κοινή ονομασία για να μην περιφράσσονται οι διατυπώσεις των διαφόρων ερευνητών που αναφέρονται. Στην πιο απλουστευμένο ορισμό, ο G. W. Fitzmaurice χαρακτηρίζει ότι μία «Graspable» διεπιφάνεια χρήστη είναι ένα φυσικό εργαλείο για μια εικονική λειτουργία, όπου το εργαλείο χρησιμοποιείται αποκλειστικά για την διεκπεραίωση αυτής της λειτουργίας. Ο όρος αναφέρεται τόσο στην ικανότητα, του να μπορείς να πιάσεις με τα χέρια σου( grasp ) ένα αντικείμενο, όσο και στην κατανόησή του ( grasp μεταφορικά), δηλαδή στον τρόπο που συνδέεται με το εικονικό περιβάλλον ώστε να κατανοήσουμε τις παρεχόμενες δυνατότητες του. Στο ελάχιστο δυνατό, τα Graspable UIs μπορούν να λειτουργούν σαν φυσικές αναπαραστάσεις κοινών γραφικών στοιχείων και στοιχείων επιφανειών χρηστή (όπως εικονίδια φακέλων, παράθυρα, μενού, κουμπιά κα.). Επιπλέον προσφέρουν την δυνατότητα να βοηθούν τον χρήστη στο χειρισμό αφηρημένων αναπαραστάσεων από αντικείμενα ή λειτουργίες μίας αναπαράστασης (34). Κατά τους Ullmer & Ishii, γενικά, οι Graspable και οι Tangible επιφάνειες χρήστη είναι συστήματα που σχετίζονται με τη χρήση φυσικών αντικειμένων (ειδικά κατασκευασμένων) ως αναπαραστάσεις, και ταυτόχρονα χειριστές ψηφιακής πληροφορίας. Το βασικό χαρακτηριστικό μιας tangible επιφάνειας χρήστη είναι η μονοκόμματη ολοκλήρωση της αναπαράστασης και του ελέγχου, με τα φυσικά αντικείμενα να είναι και αναπαράσταση της πληροφορίας και φυσικός ελεγκτής για άμεση διαχείριση των υφιστάμενων συσχετίσεων φυσικού εικονικού αντικειμένου ταυτόχρονα. Είσοδος και έξοδος πληροφορίας (input & output) γίνονται ένα (35) (36). Πλεονεκτήματα των πολυαπτικών επιφανειών χρήστη: Μια σημαντική πτυχή των TUI συστημάτων είναι ότι μπορούν να υπάρχουν περισσότεροι από ένας ελεγκτές (συσκευές εισόδου στοιχείων και πληροφοριών / input device, πχ. πολλά κουμπιά, ροοστάτες, ενεργά αντικείμενα γενικότερα). Ως εκ τούτου ο έλεγχος εισόδου μπορεί τότε να χαρακτηριστεί «space-multiplexed».1 Αυτό σημαίνει ότι 1

61 διαφορετικές συσκευές μπορούν να προσαρτηθούν σε διαφορετικές λειτουργίες, καθεμία ανεξάρτητα (αλλά ενδεχομένως ταυτόχρονα) προσβάσιμη. Πιο απλά, πολλές συσκευές χειρίζονται πολλές λειτουργίες σε αντιστοιχία και ανεξάρτητα η μία από την άλλη, σε αντιπαράθεση με τους time multiplexed ελεγκτές όπου οι εντολές χειρισμού γίνονται με χρονική αλληλουχία (πρώτα θα κάνω αυτό, μετά το επόμενο κ.ο.κ., πχ. ποντίκι υπολογιστή). Το γεγονός αυτό μας παρέχει τη δυνατότητα να επωφεληθούμε από το σχήμα, διαστάσεις και τη θέση του φυσικού αντικειμένου - ελεγκτή για να αυξήσουμε τη λειτουργικότητα και να μειώσουμε τη πολυπλοκότητα. Αυτό σημαίνει επίσης ότι ενδεχόμενη άμεση σύνδεση/εξάρτηση μιας συσκευής με μία λειτουργία μπορεί να αυξήσει την ικανότητα ελέγχου. Με την χρήση απτών αντικειμένων προσφέρεται η δυνατότητα στον χρήστη να επιστρατεύει ένα ευρύτερο φάσμα κινήσεων και τρόπων που τα μεταχειρίζεται. Επιπλέον αυτό του επιτρέπει την αποτελεσματικότερη αξιοποίηση της έμφυτης αντίληψής του χώρου και της εμπειρίας του σε σχέση με τον χειρισμό των αντικειμένων της καθημερινότητας του. (34) (37) Τα πλεονεκτήματα των TUI συστημάτων είναι πολλά καθώς η πολυαπτική διεπιφάνεια χρήστη (38): Ενθαρρύνει την ανάπτυξη συστημάτων που χρησιμοποιούν και τα δύο χέρια στον χειρισμό τους. Επιτρέπει την ανάπτυξη πιο εξειδικευμένων ελεγκτών για τον έλεγχο της εκάστοτε TUI διάταξης. Εκμεταλλεύεται προς όφελος του χρήστη την ενστικτώδη ικανότητα χειρισμού των απτών αντικειμένων. Εξωτερικεύει τις παραδοσιακές εσωτερικές αναπαραστάσεις των υπολογιστών, κάνοντάς τες πιο προσιτές. Διευκολύνει τις αλληλεπιδράσεις κάνοντάς τα στοιχεία ελέγχου πιο άμεσα και ευκόλως διατηρήσιμα, χρησιμοποιώντας απτά αντικείμενα. Εκμεταλλεύεται την ενστικτώδη ικανότητα αντίληψης του χώρου και δράσης σε αυτόν. Προσφέρει ένα space multiplexed σχεδιασμό με μία προς μία αντιστοιχίσεις ελεγκτών και παραμέτρων. Επιτρέπει τον συνεργατικό χειρισμό, αφού πλέον μπορεί να γίνει από περισσότερα από ένα άτομα. Χαρακτηριστικά και Ιδιότητες των TUI Ως προς την αναπαράσταση και τον έλεγχο αναγνωρίζονται τέσσερα χαρακτηριστικά (35) (36): Οι φυσικές αναπαραστάσεις αντιστοιχίζονται μέσω υπολογιστή σε υφιστάμενη ψηφιακή πληροφορία. Οι φυσικές αναπαραστάσεις ενσωματώνουν μηχανισμούς για διαδραστικό έλεγχο, καθώς επίσης λειτουργούν σαν διαδραστικοί φυσικοί ελεγκτές, με κίνηση στον χώρο, περιστροφή, τσούγκρισμα μεταξύ τους και άλλους τρόπους, αποτελούν τους βασικούς τρόπους έλεγχου του συστήματος. Οι φυσικές αναπαραστάσεις αντιληπτικά αντιστοιχίζονται σε ενεργές ψηφιακές αναπαραστάσεις που παρεμβάλλονται μεταξύ φυσικού αντικειμένου και υπολογιστή (εικονική ανάδραση μέσω προβολών, ήχων κλπ.). Οι tangible επιφάνειες χρήστη βασίζονται σε μία ισορροπία ανάμεσα στη φυσική και στη ψηφιακή αναπαράσταση. Ενώ τα φυσικά στοιχεία παίζουν ένα κεντρικό και καθορισμένο ρόλο στην αναπαράσταση και τον έλεγχο των TUIs, οι ψηφιακές αναπαραστάσεις, ειδικά τα γραφικά και ο ήχος, συχνά παρουσιάζουν πολύ από τη δυναμική πληροφορία που παράγεται από το υπολογιστικό σύστημα. Μία βασική διαφοροποίηση του τρόπου εισόδου δεδομένων, σε ένα υπολογιστικά σύστημα, που θα μας απασχολήσει σε αυτό το κεφάλαιο είναι ο διαχωρισμός space multiplexed και time multiplexed ελεγκτών. Συσκευές εισόδου που σχεδιάζονται για πολλαπλές λειτουργίες οι οποίες εκτελούνται σε χρονική συνέχεια (μία μία με την σειρά τους), ονομάζονται time multiplexed. Πχ. το ποντίκι. Συσκευές εισόδου που ελέγχουν ομαδικά τις λειτουργίες ενός προγράμματος, αλλά κάθε μία έχει μία και μόνο μία λειτουργία να επιτελέσει και έχει σχεδιαστεί γι αυτήν, αλλά όλες μπορούν να γίνουν και ταυτόχρονα (όπως σε ένα αυτοκίνητο το τιμόνι μόνο στρίβει το αυτοκίνητο, το φρένο μόνο φρενάρει αλλά πρέπει να χρησιμοποιούμε και τα δύο ταυτόχρονα για να οδηγήσουμε).

62 Η φυσική κατάσταση των TUI s ενσωματώνει βασικές και σημαντικές πτυχές της ψηφιακής κατάστασης του συστήματος. Ακόμα και με κλειστό το σύστημα τα αντικείμενα αντικατοπτρίζουν τις ψηφιακές δυνατότητές τους. Ταυτόχρονα όμως η ψηφιακή κατάσταση αποτυπώνεται άμεσα από το σύνολο των εμπλεκόμενων φυσικών ελεγκτών, που μη ξεχνάμε ότι άνθρωπος και μηχανή διαβάζουν ακριβώς το ίδιο πράγμα από αυτούς, οπότε δεν επιτρέπεται ο αυθόρμητος και δίχως λόγο τυχαίος χειρισμών των ελεγκτών καθώς θα μεταβάλει άμεσα το σύστημα. (Εν αντιθέσει με τα GUI συστήματα όπου και να ανοίξουμε ή διπλασιάσουμε ένα παράθυρο, δεν επηρεάζει το σύστημα). Ο Shneiderman περιγράφει τις άμεσου χειρισμού διεπιφάνειες χρήστη να έχουν τις τρεις παρακάτω ιδιότητες (34): Συνεχής αναπαράσταση του αντικειμένου του ενδιαφέροντος μας. Φυσικές δράσεις ή κουμπιά και ελεγκτές που αντιστοιχίζονται σε μία συγκεκριμένη λειτουργία το καθένα, αντί ενός πολύπλοκου συντακτικού. Δυνατότητα άμεσων και γρήγορων χειρισμών αναθεώρησης που ο αντίκτυπός τους (feedback) είναι άμεσα ορατός στο αντικείμενο του ενδιαφέροντός. Τέλος, για να οριστεί ένα σύστημα Tangible User Interface, πρέπει να φέρει τα εξής χαρακτηριστικά (34): Space multiplexed input / output: Η βασική αρχή των Graspable συστημάτων είναι η χρήση του Space multiplexed input και output. Αυτό σημαίνει ότι προσφέρετε η δυνατότητα για πολλαπλές εισόδους σήματος (πληροφορία, εντολή ενέργειας και γενικότερα χειρισμούς) ταυτόχρονα καθώς και εξόδους (απεικόνιση / παρουσίαση του αποτελέσματος της εισόδου,ανάδραση),που αντιστοιχίζονται στις ενέργειες εισόδου. Αυτή η ιδιότητα έχει τις εξής επιπτώσεις: Παρέχει τη δυνατότητα να τρέχουμε και να χειριζόμαστε βασικές λειτουργίες προγραμμάτων άμεσα όπως τον χειρισμό scroll bars που σε GUI περιπτώσεις (περίπτωση time multiplexed που αναλύεται πιο διεξοδικά παρακάτω) θα απαιτούσαν στόχευση με το ποντίκι καθώς και πολύτιμο χώρο από την οθόνη. Ανάγκη σωστής αρχικοποίηση των αντικειμένων χειρισμού. Ποια στοιχεία αντιστοιχίζονται στις φυσικές παραμέτρους που ελέγχει το κάθε φυσικό αντικείμενο χειρισμού, ώστε η χρήση του αντικειμένου να είναι η καλύτερη δυνατή; Η εμπειρία από τη συνεχή χρήση φυσικών αντικειμένων, όπως συμβαίνει με όλα τα εργαλεία, προσφέρει, χρόνο με τον χρόνο, μία εξοικείωση που αντικατοπτρίζεται σε πιο εύκολο και γρήγορο χειρισμό μέσω ασυναίσθητων μηχανικών κινήσεων. Αποτέλεσμα που κάνει ευκολότερη τη ζωή του χρήστη. Ο χρήστης καλείται να χειριστεί πολλά φυσικά αντικείμενα (input devices). Δημιουργείται έτσι η ανάγκη ανάθεσης μερικών σταθερών λειτουργιών σε κάποια αντικείμενα για ευκολότερη χρήση των Gr.UI. Το γεγονός αυτό κάνει πιο άμεση την επιλογή ενεργειών ή αντικειμένων καθώς και δυνατότητα ταυτόχρονης πολλαπλής επιλογής, περίπτωση η οποία σε GUI περιβάλλον θα έπρεπε να γίνει γραμμικά με μία προς μία τις επιλογές. Συγχρονισμός: Εφόσον μας προσφέρεται η δυνατότητα για πολλαπλούς ταυτόχρονους χειρισμούς (spacemultiplex), πρέπει και να αναπτύξουμε προγράμματα που θα εκμεταλλεύονται αυτή την ικανότητα. Αυστηρά Συγκεκριμένες Λειτουργίες: Στα κλασσικά GUI περιβάλλοντα υπάρχει μία γενική Input συσκευή, το ποντίκι, το οποίο επιτελεί τη πλειοψηφία των ενεργειών ελέγχου. Στην περίπτωση όμως του Gr. UI περιβάλλοντος χρησιμοποιούμε πολλά αντικείμενα ελέγχου, τα οποία το καθένα επιτελεί κάποιες λειτουργίες πολύ διεξοδικά και συγκεκριμένα. Το γεγονός αυτό βέβαια αφαιρεί κάποιες δυνατότητες από τον γενικό έλεγχο καθώς το αντικείμενο ελέγχου θα δυσκολευτεί να επιτελέσει κάποιες απλές μεν αλλά γενικές λειτουργίες για τις οποίες όμως δεν σχεδιάστηκε καταλλήλως.

63 Spatially aware computational devices: Συσκευές που γνωρίζουν το χωρικό περιβάλλον. Είναι σημαντικό να μπορούν τα προγράμματα Gr. UI να ελέγχουν το χωρικό περιβάλλον των διαφόρων αντικειμένων ελέγχου (προσανατολισμός στο χώρο, γειτνίαση, επικάλυψη κλπ.) και να το ενσωματώνουν στις λειτουργίες τους. Spatial reconfigurability of devices: Οι tangible χειριστές δρουν μέσα σε ένα πραγματικό χωρικό πλαίσιο που ορίζεται και ελέγχεται από την εφαρμογή και συμβάλει στον τελικό χειρισμό, είτε αυτό είναι ένα κουτί, είτε μία επιφάνεια, είτε ένα δωμάτιο, είτε χώρος που ορίζεται από τους ίδιους τους χειριστές, οι χειριστές παρέχουν δεδομένα σε συσχέτιση με τον χώρο και τους εαυτούς τους. Ακόμα και τα μη χρησιμοποιούμενα αντικείμενα ελέγχου που είναι στο περιβάλλον του χρήστη, μπορεί να μην συμμετέχουν κάποια δεδομένη στιγμή σε κάποια λειτουργία / εργασία του χρήστη αλλά, 1ον θυμίζουν συνεχώς, δια της προφανούς παρουσίας τους στον χώρο, τι λειτουργίες μπορούν να προσφέρουν και 2ον μπορούν ανά πάσα στιγμή να προσφέρουν τη λειτουργία για την οποία σχεδιάστηκαν άμεσα απλά «πιάνοντάς τα και πετώντας τα στο παιχνίδι» και ο υπολογιστής αυτόματα ενεργοποιείται χωρίς περεταίρω δράσεις. Από τις παραπάνω ιδιότητες η πρώτη (space-multiplex input) αποτελεί βασική ιδιότητα όλων των Graspable προγραμμάτων. Οι υπόλοιπες τέσσερις προέρχονται από την πρώτη και είναι πιθανό να μην είναι όλες απαραίτητες για τη λειτουργικότητα ενός προγράμματος, ανάλογα πάντα με την εφαρμογή ή την εργασία που επιτελεί το πρόγραμμα. GUI vs TUI Πριν αναλύσουμε τις βασικές διαφορές των δύο διεπιφανειών χρήστη, θα πρέπει να εξηγήσουμε τι κάνει έναν ελεγκτή να χαρακτηρίζεται GUI. Γι αυτό τον λόγο θα αναλύσουμε και θα κρίνουμε τις διάφορες συσκευές και μεθόδους εισόδου που υπάρχουν. Δεν υποστηρίζουμε ότι δεν μπορούν να αποτελούν εξίσου ικανούς ελεγκτές με τους πολυαπτικής διεπιφάνειας χρήστη, αλλά εξηγούμε γιατί δεν εντάσσονται σε TUI περιβάλλον: (34) Φωνητικές εντολές: Εξ ορισμού δεν μπορούν να αποτελούν TUI χειριστή καθώς δεν είναι «απτή» μέθοδος εισόδου, δεν υπάρχει χωρική επίγνωση (το μέγιστο να μπορεί να εντοπιστεί χωρικά η ηχητική πηγή) και δεν δρα σε συσχέτιση με το περιβάλλον. Eye tracking: Ισχύει ότι και για τις φωνητικές εντολές. Trackball: Δεδομένου ότι γνωρίζουμε την θέση του και είναι απτό αντικείμενο, εν δυνάμει μπορεί να αποτελέσει ελεγκτή TUI, όπως και οι υπόλοιποι απτοί ελεγκτές. Αυτό καθορίζεται από το πλαίσιο χρήσης του σε σχέση με τις παροχές του. Πχ. στην περίπτωση του trackball αν χρησιμοποιηθεί σε εφαρμογή που ζητά σαν δεδομένο εισόδου μία και μόνο κατεύθυνση δισδιάστατου χώρου (πχ. παιχνίδι pacman), τότε αποτελεί TUI ελεγκτή. Για προγράμματα όμως πιο απαιτητικά με σίγουρα παραπάνω από μία λειτουργίες, η χρήση του trackball όπως αυτή γίνεται, αποτελεί μία time multiplexed διεργασία άρα και όχι TUI. Ποντίκι: Θεωρητικά μπορεί να αποτελέσει συσκευή TUI έλεγχου καθώς είναι απτή, μπορεί παροδικά (πχ. με κράτημα του κουμπιού) να ενσωματωθεί σε γραφικά αντικείμενα και έχει κάποια «συναίσθηση» του χώρου εφόσον εντοπίζεται σχετικά και ανάλογα την κίνησή του στο επίπεδο. Παρόλα αυτά δεν το θεωρούμε TUI ελεγκτή καθώς δεν εντάσσεται σε κάποιο σχετικό χωρικό πλαίσιο λειτουργίας (πχ. δεν γνωρίζει εάν βρίσκεται αριστερά ή δεξιά του πληκτρολογίου και αντιστοίχως να λειτουργεί για δεξιόχειρες ή αριστερόχειρες, είτε να εντοπίζει την ακριβή του θέση σε σχέση με κάποιο σημείο, πέραν του ακριβώς προηγούμενου κατά την χρήση του (αν σηκωθεί και αφεθεί σε άλλο σημείο, γραφικά θα συνεχίσει από το ίδιο σημείο. Επιπλέον δεν έχει σχεδιαστεί για time multiplexed χρήση και όχι space multiplexed.

64 Πληκτρολόγιο: Παρουσιάζει έναν σχετικό TUI χαρακτήρα, καθώς είναι απτό αντικείμενο, με space multiplexed λειτουργία και κάποια σχετική χωρική οργάνωση (θέσεις κουμπιών) που επιτρέπει χειρισμούς που απελευθερώνουν τα μάτια και γίνονται αυτόματα σε κάποιο βαθμό ενστικτώδους χρήσης (τα δάχτυλα της δαχτυλογράφου λειτουργούν «αυτόματα» κατά την πληκτρολόγηση. Παρόλα αυτά δεν μπορεί επίσης να θεωρηθεί TUI ελεγκτής καθώς παρέχει ουσιαστικά μία λειτουργική πράξη (πάτημα κουμπιών) χωρίς την παροχή οποιασδήποτε άλλης λειτουργίας. Χωρικά τα κουμπιά είναι προκαθορισμένα και χωρίς δυνατότητα μεταβολής που συνιστά και χρήση. Ταυτόχρονα δεν υπάρχει γραφική αντιστοίχιση, τόσο κάποιου γραφικού αντικειμένου ως προς το αντικείμενο πληκτρολόγιο, ούτε ως προς τα δεδομένα εισόδου, καθώς αποτελούν απλή αλληλουχία συμβόλων σε χρονικές στιγμές και όχι στον υπαρκτό χώρο. Γενικεύοντας θα μπορούσαμε να συνοψίσουμε τις εξής διαφορές ανά κάποιες κατηγορίες (34) (35) (38) Ως προς τις συσκευές εισόδου: GUI: Χρησιμοποιεί, συνήθως μία, time multiplexed συσκευή /-ές που βρίσκεται /-ονται σε συνεχή και αδιάκοπη επικοινωνία / έλεγχο με την γραφική αναπαράσταση. Έχει γενική χρήση και μπορεί να ελέγχει πολλές διαφορετικές λειτουργίες. TUI: Χρησιμοποιεί space multiplexed συσκευές που αλληλεπιδρούν υπό συνθήκες με συγκεκριμένα γραφικά στοιχεία, παράλληλα στον χρόνο και αντλούν πλεονεκτήματα από το σχήμα, το μέγεθος και τη θέση τους στον χώρο, για τον βέλτιστο δυνατό έλεγχο. Ως προς τα στάδια ολοκλήρωσης του ελέγχου: GUI: Η αλληλεπίδραση ολοκληρώνεται σε τρία στάδια: 1) Πιάνουμε τον φυσικό ελεγκτή (πχ. Ποντίκι), 2) Εντοπίζουμε την εικονική «λογική» συσκευή (πχ. Πιάσιμο του scrollbar ή του πινέλου με το ποντίκι) και 3) Χειριζόμαστε με ενέργειες τη εικονική συσκευή (κατεβάζουμε το scrollbar ή βάφουμε). ΤUI: το ενδιάμεσο στάδιο δεν υφίσταται, απλά 1) Πιάνουμε τον φυσικό ελεγκτή (το ειδικό αντικείμενο ελέγχου) και 2) Χειριζόμαστε με ενέργειες τη εικονική συσκευή. Το γεγονός αυτό επαφίεται στο γεγονός ότι το graspable αντικείμενο ελέγχου έχει ανατεθειμένες τις ακριβείς λειτουργίες του. Ως προς την σχέση εισόδου εξόδου: GUI ος δεδομένων. TUI Ως προς την χρήση υπολογιστικών πόρων: GUI: Αλγόριθμοι που εκτελούν σειριακά πράξεις άρα απαιτούν λιγότερη υπολογιστική μνήμη αλλά και βάθος χρόνου. TUI: Αλγόριθμοι που εκτελούν πολλές πράξεις σε λίγο χρόνο, άρα και απαιτούν περισσότερη υπολογιστική μνήμη. Ως προς την αναπαράσταση και τον έλεγχο της πληροφορίας: GUI: Γραφικές αναπαραστάσεις της λειτουργίας του προγράμματος. Τα GUI συστήματα παρουσιάζουν γραφικά τις πράξεις ελέγχου που κάνει ο χρήστης στον πραγματικό κόσμο. Η χρήση των ελεγκτών είναι κοινή και δεν αποτυπώνει τίποτα αισθητικά στον χρήστη, παρά μόνο κατά την γραφική αναπαράσταση. TUI: Γραφικές αναπαραστάσεις της λειτουργίας του προγράμματος αλλά και φυσικές αναπαραστάσεις. Τα TUI συστήματα ενσωματώνουν μέρος της λειτουργίας τους, στους ελεγκτές τους, παρέχοντας εξειδικευμένη και διαισθητική χρήση. Τόσο η θέση τους και η οπτική τους στο χώρο αποτελεί ανάδραση της λειτουργίας, όσο και η ίδια τους η μορφή μπορεί να προδίδει τον χειρισμό και να κλιμακώνει ξεχωριστά την ρύθμιση των ελεγχόμενων παραμέτρων.

65 Ως προς τον χειρισμό (ανατομικά): GUI: Περιορισμένη χρήση ταυτόχρονα των δύο χεριών. Γενικευμένα δύο χέρια χρησιμοποιούμε κατά την πληκτρολόγηση κυρίως ή χρήση πληκτρολογίου και ποντικιού μαζί. Ταυτόχρονα περιορίζονται χωρικά από τις θέσεις αυτών ενώ δυσχεραίνει η χρήση από δύο και παραπάνω άτομα. TUI: Συνήθως απαίτηση η χρήση και των δύο χεριών με πολλές και διαφορετικές δυνατότητες κίνησης ή και εκτέλεσης μίας λειτουργίας. Δεν χρειάζεται να περιορίζεται σε χρήση μόνο από ένα άτομο, αλλά συμβάλει στην συνεργατικότητα, ενώ δεν είναι απαραίτητο να περιοριζόμαστε στα χέρια, εφόσον μπορεί και είναι θεμιτή, η χρήση και των ποδιών.. Συνεισφορά TUI συστημάτων στην εκπαίδευση Σημαντική έρευνα έχει γίνει για να αντιληφθούμε αν ένα πολυαπτικής διεπιφάνειας χρήστη σύστημα (TUI) μπορεί να συνεισφέρει στην μάθηση και πώς. Ποια είναι τα στοιχεία που το χρήζουν κατάλληλο ή ακατάλληλο για εκπαιδευτικούς σκοπούς; Πως πρέπει να είναι σχεδιασμένο; Γιατί θεωρούμε ότι θα μπορούσε να συνεισφέρει ένα τέτοιο σύστημα στην εκπαίδευση; Γνωρίζουμε από την γνωστική επιστήμη ότι υπάρχουν δεσμοί ανάμεσα στη φυσική δραστηριότητα και τη νόηση. Επιπλέον η ψυχολογία υποστηρίζει ότι τα φυσικά υλικά και τα «χειροπιαστά» αντικείμενα παίζουν ρόλο στην υποβοήθηση της μάθησης. Λογικό συμπέρασμα αυτών είναι ότι η TUI τεχνολογία μπορεί να βοηθήσει στην εκπαιδευτική διαδικασία. Εφόσον η αντίληψη / συναίσθηση του περιβάλλοντος έχει άμεση σχέση με τη διανοητική διεργασία και αντίληψη της πληροφορίας, τότε τα φυσικά αντικείμενα μπορούν να αλλάξουν ή να ορίσουν τη «φύση» της γνώσης που προσφέρουν. Ένα απτό αντικείμενο γοητεύει πιο πολύ τα παιδιά και τα απορροφά, έτσι μας δίνεται η δυνατότητα για μάθηση μέσω παιχνιδιού. Ένα εκπαιδευτικό παιχνίδι μπορεί να είναι πιο αποτελεσματικό για παιδιά με μαθησιακές δυσκολίες. Πειραματικές μελέτες έχουν δείξει ότι μέσω συνεργασίας και πειραματισμού με απτά αντικείμενα, γίνεται πιο εύκολη και κατανοητή η παρουσιαζόμενη πληροφορία καθώς όλοι μαζί προσπαθούν να ερμηνεύσουν το αποτέλεσμα των πράξεων καθενός ξεχωριστά, ενισχύοντας τον διάλογο και την ομαδικότητα για να φτάσουν στο κοινό επιθυμητό αποτέλεσμα, την κατανόηση του συστήματος και την χρησιμοποίησή του, άρα κατάκτηση της παρεχόμενης γνώσης. (39) Τα TUI συστήματα χρησιμοποιούνται πετυχημένα ήδη σε κάποιους επιστημονικούς τομείς για εκπαιδευτικούς σκοπούς, σε μερικά σε πρώιμο στάδιο, αλλά η ενίσχυση των συστημάτων αυτών ίσως επιφέρει ακόμα καλύτερα αποτελέσματα. Επί παραδείγματι, ένα διήγημα, που περιγράφει μια σειρά προσωρινών χρονικών γεγονότων και πράξεων, χρησιμοποιούνται χωρικά μοντέλα αναπαράστασης όπως οργανογράμματα και διαγράμματα ροής για να εξηγήσουν τη ροή των γεγονότων και των καταστάσεων. Στο αντικειμενοστραφή προγραμματισμό μπορούν να χρησιμοποιηθούν αντικείμενα για να αναπαραστήσουν στοιχεία της δομής του προγράμματος και να ξεχωρίσουν από τα δεδομένα. Στη μοριακή βιολογία και χημεία χρησιμοποιούνται επί δεκαετίες τρισδιάστατα αντικείμενα και μοντέλα για να αναπαριστούν δομές, ενώ TUI συστήματα χρησιμοποιούνται για να περιγράψουν δυναμικά συστήματα, όπως τον κύκλος ζωής των προϊόντων ή τον κύκλο του νερού. (39) Παρόλα αυτά δεν έχει διευκρινιστεί εάν και κατά πόσο παραπάνω μπορούν να συνεισφέρουν τα τρισδιάστατα αντικείμενα στη μάθηση σε σχέση με δυσδιάστατα μοντέλα παρουσίασης της πληροφορίας, εφόσον δεν περιέχουν περισσότερη πληροφορία. Από την άλλη μεριά, υπάρχουν περιπτώσεις όπου η φόρμα και η αλληλεπίδραση των απτών αντικειμένων αντιστοιχίζεται σε φυσικά ανάλογα της πληροφορίας που θέλουν να παρέχουν (πχ. μοριακά

66 μοντέλα, υφές κα.), περιπτώσεις όπου η αφή συνεισφέρει επιπλέον στην κατανόηση της παρεχόμενης πληροφορίας. Επιπλέον έχει παρατηρηθεί ότι TUI συστήματα που λειτουργούν συνεργατικά για την άντληση της πληροφορίας από τους χρήστες τους, διευκολύνουν πολύ περισσότερο την συνεργασία, σε σχέση με αντίστοιχα GUI συστήματα, καθώς δημιουργούν συγκεκριμένο χωρικό περιβάλλον αλληλεπίδρασης, διαμοιρασμό ρόλων και τελικά συγκέντρωσης των χρηστών στο στόχο, αποκλείοντας το υπόλοιπο πραγματικό περιβάλλον από τη σκέψη τους, δημιουργώντας έναν ξεχωριστό κόσμο. (39) (40) (41) Εικόνα 17: Το προτζεκτ "DeTaLe", πολυαπτικό τραπέζι για εκπαιδευτικούς σκοπούς ανεπτυγμένο στο London Knowledge Lab. Ένα tangible σύστημα μπορεί να ενισχύσει τους διάφορους τρόπους έκφρασης και να εκπαιδεύσει ένα παιδί. Αν μέσω ενός εργαστηριακού πειράματος γίνεται πιο εύκολα αντιληπτή η γνώση τότε μπορούμε να τον προσομοιάσουμε, ώστε να λάβουμε τη γνώση εν τη γενέσει της. Αυτό συμβάλει και στο εξής: αν η γνώση κερδίζεται μέσω της αλληλεπίδρασης με τα φυσικά αντικείμενα, τότε μπορούμε να παράγουμε γνώση και για άλλους τομείς πέραν αυτού που εκείνη την ώρα εκπαιδευόμαστε, εφόσον θα είναι τα συμπεράσματα της διερεύνησης, λαμβάνοντας ενεργητική και παθητική μάθηση ταυτόχρονα (39). Επιπλέον, tangible εργαλεία μπορούν να συμβάλουν και στην αναπαράσταση μιας ιδέας την ώρα που αυτή εκφράζεται. Έτσι θα μπορεί να την αναπαραστήσει τη σκέψη του και να χτίσει μοντέλα τα οποία μπορεί να χρησιμοποιήσει είτε ως αναπαράσταση της ιδέας του, είτε ως κοντινούς συγγενείς αυτής και απτή βάση για να εξηγήσει καλύτερα ότι θέλει. Όσο οι εκπαιδευόμενοι καταλαμβάνουν τον χώρο του TUI συστήματος τους δύνεται η δυνατότητα, να το χρησιμοποιούν ασυναίσθητα και διαισθητικά (όπως τους μαρκαδόρους για να ζωγραφίσουν), ώστε να μεταδώσουν την ιδέα τους, χωρίς καν να την εκφράσουν. Δίνει επίσης τη δυνατότητα στον χρήστη να αναπτύξει κατασκευές που στον απόλυτα φυσικό κόσμο δεν θα μπορούσε (39). Εικόνα 18: Διατάξεις tangible user interface μεγαλύτερης κλίμακας, ανεπτυγμένες για εκπαιδευτικούς σκοπούς. Πως όμως πρέπει να σχεδιαστεί ένα σύστημα για να λειτουργεί εκπαιδευτικά; Απαραίτητο στοιχείο για να βοηθήσει στη μάθηση ένα αντικείμενο, είναι το περιεχόμενό του (μορφή, χρήση κλπ.) να είναι εκπαιδευτικό. Πέραν τούτου ο σχεδιαστής καλείται να διαλέξει το ποσοστό που θα συμμετέχουν τα αντικείμενα, ως απτά αντικείμενα στον χώρο και το ποσοστό που θα συμμετέχει η ψηφιακή ανάδραση που θα δέχεται ο χρήστης.

67 Πειραματικές μελέτες έχουν δείξει ότι εκπαιδευτικά συστήματα που συγκροτούνται μόνο από αντικείμενα αλληλεπίδρασης χωρίς ψηφιακά γραφικά στοιχεία (GUI) δεν δίνουν καλύτερα αποτελέσματα στην ευκολία μάθησης συγκριτικά με τα αποκλειστικά γραφικά περιβάλλοντα (GUI), αλλά ο συνδυασμός τους είναι πολύ πιο αποτελεσματικός. Αυτό μας κάνει να συμπεραίνουμε ότι η φυσικότητα των υλικών των tangible αντικειμένων δεν αποδεικνύεται να διευκολύνει τη μάθηση αλλά χρειάζεται περεταίρω εμπειρική έρευνα για να βρεθούν, αν υπάρχουν, τομείς που ίσως συνεισφέρει εν τέλει. (39) Άλλες έρευνες έχουν αποδείξει ότι όταν σημείο αναφοράς του συστήματος είναι το ίδιο το αντικείμενο (αντικειμενοστραφής σχεδίαση), είτε λειτουργεί με την δομή του (υλικό, βάρος, υφή και δομική ανάδραση), είτε σαν αντικείμενο χειρισμού της ανάδρασης (feedback) που δέχεται ο χρήστης, φέρει καλύτερα αποτελέσματα, όσον αφορά την διευκόλυνση της μάθησης, από όταν σημείο αναφοράς είναι ο χειρισμός του tangible αντικειμένου (υποκειμενοστραφής σχεδίαση), δηλαδή όταν σχεδιάζεται η αλληλεπίδραση του αντικειμένου με τον χρήστη και καλείται ο χρήστης να το αντιμετωπίσει σαν εργαλείο ελέγχου της ανάδρασης και όχι σαν μέρος αυτής. Σε αυτήν την περίπτωση σημαντικό είναι, να έχει την ικανότητα το σύστημα να κατακερματίζεται σε μικρές λογικές βαθμίδες, ώστε να γίνεται κατανοητό κομμάτι κομμάτι σε σταθερά βήματα, αλλιώς θα υπάρξει σύγχυση της αλληλεπίδρασης και άρα λάθος πόρισμα της λειτουργίας. Ο χρήστης πρέπει να έχει χρόνο να προσυλλογιστεί τόσο τη πράξη του, όσο και το αποτέλεσμα που αυτή επίφερε στο σύστημα, να μπορεί να κάνει απλούς χειρισμούς και σε περίπτωση λάθους (μην επιθυμητή κατάσταση του συστήματος για τον χρήστη), τότε να μπορεί να τους διορθώσει και να τους επαναλάβει. Σαν τρίτη επιλογή η μίξη και των δύο αυτών στοιχείων πρέπει να αποφεύγεται καθώς μπορεί να προκαλέσει σύγχυση, όσον αφορά στο πως επιδρά, άρα και λειτουργεί το σύστημα. Τέλος, σε κάθε περίπτωση όμως τόσο το αντικείμενο, όσο και όλο το σύστημα ανάδρασης που βασίζεται σε αυτό, θα πρέπει να επικεντρώνει μόνο και μόνο στην πληροφορία, αλλιώς κινδυνεύει να γίνει αόριστο παιχνίδι και να απομακρύνει την συγκέντρωση του χρήστη από τον επιθυμητό στόχο (39) (40). Ένας τρίτος τομέας που πρέπει να επικεντρώσει ο σχεδιαστής είναι στην κατεύθυνση του ενδιαφέροντος του χρήστη / -ων του TUI συστήματος. Κάθε TUI σύστημα περιλαμβάνει μια φυσική και μία εικονική πράξη: Την δράση του χρήστη και την απόκριση του συστήματος. Ταυτόχρονα όμως απόκριση μπορεί να περιέχεται και στο ίδιο το απτό αντικείμενο, βάση της θέσης του στον χώρο ή της φυσικής του κατάστασης. Παρόλα αυτά παρατηρείται μία τάση για συγκέντρωση του ενδιαφέροντος στη εικονική ανάδραση. Ο σχεδιαστής οφείλει να αναπτύξει το σύστημα ώστε η εικονική ανάδραση να αντικατοπτρίζει το περιεχόμενο των πράξεων. Σε αυτό το σημείο πρέπει να διακρίνουμε τρεις βασικές συνδέσεις μεταξύ δράσης με φυσικό αντικείμενο και αναπαράστασης: Η 1η είναι η προαισθητική, δηλαδή το ίδιο το αντικείμενο να δημιουργεί μια αναμενόμενη αντίληψη για την ανάδραση που μπορεί να επιφέρει. Η 2η είναι η συμπεριφερσιακή, δηλαδή να υπάρχει λογική σύνδεση μεταξύ του χειρισμού του φυσικού αντικειμένου και της ανάδρασής του. Τέλος διακρίνουμε 3η την σημασιολογική σχέση που έχει να κάνει με την σύνδεση της πληροφορίας που φέρει το ίδιο το αντικείμενο σε σχέση με την πληροφορία που θα επιστρέψει η εικονική ανάδραση. Τέλος θα πρέπει να είναι πολύ προσεχτικός σε περίπτωση που αναπτύσσει σύστημα για πολλούς χρήστες. Στα TUI εκπαιδευτικά συστήματα παρατηρείται η ανάγκη κάθε χρήστη να έχει πλήρη εικόνα του τι συμβαίνει τόσο στον φυσικό, όσο και στον ψηφιακό κόσμο, ώστε να προβεί σε συμπεράσματα. Σε ομαδικά TUI συστήματα λοιπόν, καλό είναι το σύστημα να συγκεντρώνει την προσοχή των χρηστών στο ίδιο σημείο και να είναι εμφανείς σε όλους τους χρήστες και στον ίδιο βαθμό οι φυσικές τους δράσεις και οι αποκρίσεις του συστήματος. Τέτοια συστήματα διευκολύνουν την επικοινωνία των χρηστών και την ανάπτυξη ερμηνειών για το τι συμβαίνει (40). Συνοψίζοντας, ένα σύστημα TUI μπορεί να συνεισφέρει εκπαιδευτικά με πολλούς και διάφορους τρόπους, που αντιστοιχίζονται τόσο στο είδος της γνώσης που θέλουμε να παρέχουμε όσο και στον τρόπο που αυτό μπορεί να τους μεταδώσει. Το σύστημα μπορεί να είναι το κεντρικό σημείο όπου οι χρήστες θα το εξερευνήσουν, θα το ερμηνεύσουν και θα ανακαλύψουν μόνοι τους τη γνώση, είτε θα είναι το εργαλείο για να τους δοθεί με πιο κατανοητό τρόπο. Το

68 θετικό είναι ότι εντάσσει στην εκπαιδευτική διαδικασία την επικοινωνία, το παιχνίδι και την θέληση για μάθηση ενώ η γνώση έρχεται στην πιο κατανοητή μορφή της με τον πιο εύκολο και σίγουρο τρόπο (υποσυνείδητα και συμπερασματικά), πράγματα που είναι ζητούμενα στις σχολικές αίθουσες. Το αρνητικό είναι ότι μπορεί πολύ εύκολα να αποτελέσει ένα χαζό παιχνίδι ευχάριστων εντυπώσεων χωρίς κανένα εκπαιδευτικό όφελος. Εικόνα 19: Πειραματική διαδικασία για την ανάπτυξη TUI διάταξης. Ο χρήστης δεν πρέπει να προσπερνά μέσα από την τριβή με το interface, τον πραγματικό σκοπό ανάπτυξής του, που είναι η μάθηση. Παραδείγματα TUI διατάξεων Χρήση σε ποικίλα πλαίσια χρήσης MediaBlocks (1998) Τα φυσικά αντικείμενα χειριστές ή tangibles εφεξής, είναι «τουβλάκια» που αποθηκεύουν και διαχειρίζονται ψηφιακά αντικείμενα ή λίστες ψηφιακών αντικειμένων όπως βίντεο, φωτογραφίες, data, κλπ. Η χρήση τους θυμίζει τον τρόπο που χρησιμοποιούμε τα φλασάκια αποθήκευσης πληροφορίας (flash discs) αυτή την εποχή. Εικόνα 20: Media Blocks, Κάθε ένα από τα στοιβαγμένα ξύλινα τουβλάκι αντιστοιχίζεται σε ένα αρχείο της οθόνης, ενώ το τουβλάκι πάνω στον χάρακα επιλέγει το αρχείο. Πιο συγκεκριμένα διάφορες συσκευές χωρίς να χρειάζεται να είναι συνδεδεμένες με υπολογιστή, όπως εκτυπωτές, κάμερες, οθόνες, πίνακες, υπολογιστές κ.α. φέρουν μια ειδική σχισμή ανάγνωσης όπου βάζουμε το mediablock. Αν πχ. Το βάλουμε στον ειδικό πίνακα και γράψουμε κάτι με μαρκαδόρο, αυτή η πληροφορία εγγράφεται μέσα στο mediablock ως πληροφορία εικόνας και βίντεο. Αν τώρα αυτό το mediablock το βάλουμε στην σχισμή του εκτυπωτή, αυτός θα εκτυπώσει αυτό που ζωγραφίσαμε, αν το βάλουμε στη σχισμή της οθόνης, αυτή θα αναπαράγει σε βίντεο αυτό που ζωγραφίσαμε, με την ακριβή σειρά σημείων που σχηματίσαμε πάνω στον πίνακα. Αν το βάλουμε στη κάμερα θα εγγράψει σε μορφή βίντεο αυτό που τραβάει η κάμερα, ενώ αν το βάλουμε στον υπολογιστή θα παρουσιαστούν με την μορφή αρχείων τα περιεχόμενά του. Επιπλέον έχει κατασκευαστεί άλλη μία συσκευή, ο Media Sequencer, όπου μπορούμε να διαχειριστούμε την πληροφορία που φέρουν τα διάφορα τουβλάκια. Αν παραδείγματος χάριν βάλουμε τρία τουβλάκια σε μια σειρά, θα φτιαχτεί μία λίστα αναπαραγωγής αυτής της πληροφορίας. Αν τους αλλάξουμε τη σειρά, θα αλλάξει και η σειρά στην λίστα. Επιπλέον μπορούμε να μεταφέρουμε

69 ή να αντιγράφουμε αρχεία και λίστες από ένα τουβλάκι σε ένα άλλο ή να φτιάχνουμε νέες λίστες και να τις φορτώνουμε σε νέο τουβλάκι (37). Εικόνα 21: Το medio block, αποθηκεύει πληροφορία από έναν διαδραστικό πίνακα και μεταφέρει την πληροφορία του σε εκτυπωτή. URP (Urban Planning) (1999) Σύστημα TUI που αναπτύχθηκε για να προσομοιώνει πολεοδομικά σχέδια. Τα tangibles εδώ είναι ένα σύνολο κτηρίων, κατασκευασμένα έτσι ώστε να μπορούν να αυξομειώνουν τις διαστάσεις τους σε επιθυμητά επίπεδα και ένα σύνολο εργαλείων για τη σωστή «δόμηση» του χώρου και εργαλεία προσομοίωσης. Η εφαρμογή συμπληρώνεται από την επιφάνεια όπου ακουμπάμε τα tangibles και ένα σύστημα με προτζέκτορες. Εικόνα 22: Urban Planning. Ο χρήστης τοποθετεί κτήρια συγκεκριμένου σχήματος στον χώρο. με τα διάφορα εργαλεία ορίζει κατεύθυνση και δύναμη αέρα και το Urban Planning του σχεδιάζει την ροή του αέρα ανάμεσα από τα κτήρια, καθώς και τη σκιά που θα δημιουργεί ο ήλιος σε διάφορες ώρες της ημέρας. Ουσιαστικά, με την βοήθεια ενός tangible εργαλείου «μετρήσεων απόστασης», στήνουμε τα κτήρια σε αποστάσεις και διαστάσεις που σκοπεύουμε να τα χτίσουμε. Με τη βοήθεια ενός tangible εργαλείου «υλικών» ντύνουμε τα κτήρια με τα υλικά που σκοπεύουμε να τα κατασκευάσουμε, πχ. τσιμέντο, γυαλί (για εξωτερική κάλυψη) κλπ. Στην συνέχεια χρησιμοποιούμε τα tangibles εργαλεία προσομοίωσης ώστε να προσομοιώσουμε αντανακλάσεις του φωτός από τα κτήρια (αναλόγως του υλικού) και σκιές, σε οποιαδήποτε ώρα της ημέρας, καθώς και τη ροή του αέρα ανάμεσα από τα κτήρια ερχόμενος από διάφορες κατευθύνσεις και με διάφορες ταχύτητες. Όλα τα προαναφερθέντα δεδομένα (μέγεθος κτηρίων, σχετικές θέσεις κτηρίων και προσανατολισμός, ταχύτητα και φορά του αέρα, ώρα της μέρας, υλικά των κτηρίων) μπορούν να μεταβληθούν δυναμικά αλλάζοντας τη θέση των tangible κτηρίων και εργαλείων πάνω στην ειδική επιφάνεια και η προβολές σκιάς και ροής αέρα αλλάζουν αυτόματα (35) (42)

70 Συστήματα TUI που χρησιμοποιούνται σε μουσικές εφαρμογές. Audio D-Touch (Augmented Musical Stave, Tangible Drum Machine, Physical Sequencer) (2003) Πρόκειται για μια απλή διάταξη η οποία παρουσιάζει 3 διαφορετικές υλοποιήσεις που αφορούν την παραγωγή μουσικής. Η διάταξή αυτή, χρησιμοποιεί ένα σύνολο από διαδραστικά τουβλάκια (τα tangibles της περίστασης), μία web camera υπολογιστή, έναν υπολογιστή με κάρτα ήχου, ηχεία και μία οριοθετημένη επιφάνεια λειτουργίας. Που μπορεί να είναι ένα φύλλο Α4. Αρχή λειτουργίας : Κάθε τουβλάκι (tangible) φέρει μία ειδική ζωγραφιά, ένα «καθοδηγητικό σημάδι» που ονομάζεται fiducial marker. Με τέσσερα ζωγραφισμένα σταθερά fiducials στις τέσσερις γωνίες οριοθετείται η επιφάνεια εργασίας. Η κάμερα (που στην φωτογραφία στηρίζεται πάνω σε ένα πορτατίφ) μεταφέρει την εικόνα στον υπολογιστή. Εκεί ειδικό λογισμικό αναγνωρίζει τη θέση του κάθε fiducial ξεχωριστά στον αξονικό χώρο καθώς και σε σχέση με τη σχετική θέση του αναφορικά με τα υπόλοιπα (εξ ου και η οριοθέτηση τις επιφάνειας εργασίας από τέσσερα Fiducials). Επιπλέον κάθε fiducial αντιστοιχίζεται σε μια συγκεκριμένη πληροφορία ή εντολή ενέργειας. Οι σχετικές θέσεις μεταξύ των tangibles καθώς και σε σχέση με την επιφάνεια εργασίας πυροδοτεί κάποιο συγκεκριμένο μουσικό αποτέλεσμα σε σχέση με τη δράση, αναλόγως της υλοποίησης που επιλέξαμε. Το αποτέλεσμα γίνεται αμέσως αντιληπτό από τα ηχεία. Δεν χρειάζεται ούτε οθόνη ούτε ποντίκι ούτε πληκτρολόγιο για τον έλεγχο της εφαρμογής, καθώς το αποτέλεσμα των επιλογών αντικατοπτρίζεται τόσο από τη μουσική που παράγεται, όσο και από τις θέσεις των tangibles στην επιφάνεια εργασίας (43). Εικόνα 23: Διάταξη Audio D-Touch. Τα τουβλάκια με τα fiducial markers βρίσκονται τοποθετημένα και οριοθετημένα άνω σε ένα σημαδεμένο χαρτί, ενώ τα διαβάζει η κάμερα που έχει τοποθετηθεί πάνω στο πορτατίφ, ενώ η ανάδρασή τους ακούγεται από τα ηχεία. Augmented Musical Stave: Κατά αυτήν την υλοποίηση η επιφάνεια εργασίας λειτουργεί σαν πεντάγραμμο και τα tangibles σαν χρονικές αξίες νοτών, παύσεις και σημεία στίξης της μουσικής. Για μεγαλύτερη ευκολία ζωγραφίζουμε και το αντίστοιχο χώρο (εικόνα 6). Ο υπολογιστής διαβάζει το πεντάγραμμο σαν κανονική παρτιτούρα και μόλις τελειώσει ξαναρχίζει από την αρχή την ανάγνωση. Ο χρήστης κινεί δυναμικά τα tangibles στην επιφάνεια χρήστη και «γράφει» συνεχώς μουσική. Όπως και στην κανονική παρτιτούρα η κάθετη θέση ορίζει το ύψος της νότας και η οριζόντια την σειρά που θα ακουστεί. Έχει εμπλουτιστεί δε με τη δυνατότητα να χρησιμοποιούμε δύο tangibles ίσης χρονικής αξίας να μπορούν να σχηματίσουν συγχορδία (44).

71 Εικόνα 24: Audio D-Touch / Augmented Musical Stave: δυναμική μουσική σημειογραφία. Τα fiducial markers χρησιμοποιούνται ως χρονικές αξίες και ανάλογα το ύψος τους στο πεντάγραμμο αναπαράγουν την σχηματιζόμενη μουσική. Tangible Drum Machine: Αυτή η υλοποίηση ολοκληρώνει μια διάταξη drum machine. Λίγο πολύ λειτουργεί όπως και το Αugmented Musical Stave, καθώς η διάταξη επίσης διαβάζεται από τα αριστερά προς τα δεξιά και μόλις φτάσει στο τέλος αρχίζει από την αρχή. Εδώ όμως η επιφάνεια εργασίας είναι ένα πλέγμα όπου οι κάθετες γραμμές σηματοδοτούν το σταθερό beat (πχ. τη χρονική αξία του τετάρτου) ενώ οι οριζόντιες διαφορετικούς drum ήχους. Τα διάφορα tangibles αντιστοιχίζονται σε χτύπους κάποιας συγκεκριμένης έντασης (για να υπάρχει και ποικιλία στις εντάσεις), έτσι, ανάλογα την κάθετη θέση του, κάθε tangible αντιστοιχίζεται σε έναν ήχο και ανάλογα την οριζόντια θέση του ακούγεται στο beat (44). Εικόνα 25: Audio D-Touch / Tangible Drum Machine: Drum machine με τα fiducial markers να ορίζουν χρονική αξία και με τη θέση τους αντίστοιχο κρουστό. Physical Sequencer: Πρόκειται για μια πιο σύνθετη ολοκλήρωση του Audio D-Touch. Η περιοχή ελέγχου του χρήστη χωρίζεται σε τρία μέρη: Δύο track areas δηλαδή δύο κανάλια όπου αναπαράγονται τα μουσικά δείγματα (samples) που θα χειριζόμαστε, και μια περιοχή για ειδικές λειτουργίες. Στην αρχικοποίηση των fiducials φορτώνουμε ή ηχογραφούμε μέσω του υπολογιστή και της κάρτας ήχου ένα ηχητικό κομμάτι (sample) σε κάθε tangible. Μπορούμε να φορτώσουμε τον ίδιο ήχο σε πολλά tangibles αναλόγως του τι θέλουμε να κάνουμε. Τοποθετώντας κάποιο τουβλάκι σε ένα από τα δύο tracks, αρχίζει η ανάγνωση / αναπαραγωγή του, η οποία γίνεται σε λούπα, δηλαδή μόλις αναγνωστούν όλα τα samples στην περιοχή εργασίας αρχίζει η αναπαραγωγή από την αρχή, όπως και στις προηγούμενες δύο υλοποιήσεις. Η κάθετη θέση του κάθε tangible σε κάθε κανάλι, ορίζει το ύψος της έντασης του sample και η οριζόντια θέση ορίζει την σειρά με την οποία θα ακουστεί (ανάγνωση όπως και προηγουμένως από αριστερά προς τα δεξιά). Έτσι με τα δύο tracks μας δίνεται η δυνατότητα να αναπαράγουμε ταυτόχρονα δύο διαφορετικά samples στην ίδια ένταση καθώς και άλλες πολλές δυνατότητες (αναπαραγωγή ίδιου sample με διαφορά φάσης κ.α.). Επιπλέον στην περιοχή ειδικών λειτουργιών μπορούμε απλά βάζοντας στην αντίστοιχη περιοχή κάποιο tangible, να του προσδώσουμε κάποιο εφέ ή να το αφαιρέσουμε καθώς και να ηχογραφήσουμε το αποτέλεσμα του sequencer που παίζει εκείνη τη στιγμή σε ένα νέο tangible (44).

72 Εικόνα 26:Audio D-Touch / Physical Sequencer: μια πιο πολύπλοκη διάταξη, που περιέχει περιοχές ανάγνωσης και περιοχές ελέγχου. Audiopad (2003) Μουσική πλατφόρμα που παράγει ηλεκτρονική μουσική με χρήση sample loops (μουσικά δείγματα ή μέρη μουσικών δειγμάτων σε συνεχή αναπαραγωγή). Γι αυτό το σκοπό χρησιμοποιήθηκε η μηχανή της μουσικής πλατφόρμας Ableton s Live. Πρόκειται για ένα πρόγραμμα που χρησιμοποιεί sample loops, που οργανώνονται σε λίστες οι οποίες ονομάζονται tracks, και τα αναπαράγει με τυχαίο τρόπο, συγχρονίζοντας τα πάντα στον ίδιο ρυθμό, ώστε να φτιαχτεί ένα ηλεκτρονικό μουσικό μοτίβο που με τον έλεγχο του χρήστη γίνεται μουσικό κομμάτι (45). Εικόνα 27: Το interface του AudioPad. Το Audiopad χρησιμοποιεί μια επιφάνεια χειρισμού με ηλεκτρομαγνητικούς ανιχνευτές σήματος, ένα προτζέκτορα, ο οποίος προβάλει πάνω στην επιφάνεια εργασίας το feedback των ενεργειών του και τις επιλογές του ταυτόχρονα και τα tangibles, που στην προκειμένη περίπτωση ο σχεδιαστής τα καλεί pucks. Υπάρχουν δύο ειδών pucks. Τα track pucks (puck μουσικού κομματιού) και τα select pucks (puck επιλογής). Τα track pucks έχουν σχήμα δίσκου και φέρουν δύο πομπούς RF σήματος εκ των οποίων ο ένας απενεργοποιείται με ένα κουμπί που βρίσκεται στο πάνω μέρος τους. Η χρήση τους γίνεται για το φόρτωμα των εκάστοτε tracks (μια λίστα από looped samples) και την ρύθμιση διάφορων παραμέτρων τους (ένταση, φίλτρα, εφέ κλπ. που θα αναφέρονται όλα ως εφέ στη συνέχεια). Το select puck έχει σχήμα «αστερία» και φέρει έναν πομπό RF σήματος και χρησιμεύει για την επιλογή των samples μέσα από τα τη λίστα του track. Το σήμα του κάθε πομπού RF έχει μοναδική συχνότητα, γεγονός που τον καθιστά αναγνωρίσιμο, ενώ η θέση του πάνω στην επιφάνεια χειρισμού γίνεται με τριγωνομετρικούς αλγόριθμους σύμφωνα με το σήμα Μέθοδος που προσφέρει ακρίβεια θέσεις σε καρτεσιανές συντεταγμένες της τάξεως των 4 χιλιοστόμετρων (4mm). Ταυτόχρονα το πρόγραμμα μεταφράζει τις θέσεις και τις κινήσεις των pucks σε midi εντολές, που στέλνονται προς την μηχανή σύνθεσης του ήχου, και πληροφορία, για τη σύνθεση του γραφικού feedback. Η χρήση διπλών πομπών σε ένα puck προσφέρει τη δυνατότητα να εντοπίζεται τόσο η θέση του πάνω στην επιφάνεια εργασίας και η κίνησή του στο

73 επίπεδο, όσο και η περιστροφή του. Επιπλέον χρησιμοποιώντας τον διακόπτη που απενεργοποιεί τον ένα πομπό, προσδίδουμε στο puck νέες λειτουργίες που ισχύουν μόνο για αυτήν την περίπτωση. Για τον χειρισμό σέρνουμε τα pucks πάνω στην επιφάνεια εργασίας και ενεργούμε βάση των προβαλλόμενων επιλογών (45) (46). Εικόνα 28: Τα αντικείμενα ελέγχου του Audiopad, συγκρινόμενα με ένα νόμισμα (αριστερά) και σε χρήση (δεξιά). 1η υλοποίηση Ξεκινώντας, βλέπουμε στο δεξιό μέρος της επιφάνειας εργασίας μία περιοχή με κυψέλες (track manager). Σε κάθε κυψέλη υπάρχει ένα truck, ενώ υπάρχουν και κενές κυψέλες. Για να φορτώσουμε ένα truck σε ένα puck, οδηγούμε το track puck μέσα στην αντίστοιχη κυψέλη. Για να το ξεφορτώσουμε το οδηγούμε σε κενή κυψέλη. Για να αρχίσει η αναπαραγωγή το φέρνουμε στον κύριο χώρο εργασίας. Αν τοποθετήσουμε το select puck πάνω από το track puck προβάλλεται ένα δέντρο με samples τακτοποιημένα ανά λογικές ομάδες (synths, κιθάρες, τύμπανα κλπ.). Κάθε κλαδί είναι ένα sample. Τοποθετώντας το select puck πάνω σε ένα sample, αυτό αρχίζει να αναπαράγεται στη θέση του προηγούμενου και πάντα συγχρονισμένα για να μην διακόπτεται η μουσική ροή. Μόλις γίνει η επιλογή, το δέντρο εξαφανίζεται ενώ το όνομα του αναπαραγόμενου sample εμφανίζεται πάνω από το track puck. Για να αυξομειώσουμε την ένταση απλά περιστρέφουμε το track puck, ενώ υπάρχει και σχετική ένδειξη του ποσού της έντασης στα αριστερά του track puck. Για να ανοίξουμε τις επιλογές τροποποίησης των υπολοίπων παραμέτρων του ήχου (ισορροπία καναλιών (pan), φίλτρα και εφέ), απλά πατάμε το κουμπί που απενεργοποιεί τον ένα RF πομπό. Το κάθε track περιέχει ένα σύνολο από εφέ που ρυθμίζονται ταυτόχρονα. Αυτό γίνεται απομακρύνοντας προς τον κενό χώρο και προς όλες τις δυνατές κατευθύνσεις το track puck από την αρχική του θέση, αυξομειώνοντας έτσι τα διάφορα «ποσά» των εφέ. Η αρχική θέση του track puck καθώς και τα όρια που παίρνουν τιμές τα εφέ αναπαρίστανται γραφικά από τον προτζέκτορα. Αν ξαναπατήσουμε το κουμπί και ενεργοποιήσουμε τον δεύτερο RF πομπό, αυτομάτως «κλείνει» και η λίστα. Μπορούμε να χρησιμοποιούμε ταυτόχρονα πολλά track pucks. Πολλά track pucks σημαίνει περισσότερα δείγματα στο μουσικό μοτίβο άρα και περισσότερος πειραματισμός και τυχαίες μίξεις, που αποτελεί και ένα από τα βασικά στοιχεία αυτής της μουσικής μηχανής. Μία από τις σχεδιαστικές επιλογές που πρέπει να σημειωθεί είναι ότι το μενού καθώς και λοιπά σχετικά γραφικά στοιχεία που αντιστοιχίζονται σε κάθε track puck το ακολουθούν και εμφανίζονται τριγύρω του στις προκαθορισμένες θέσεις όπου και αν το τοποθετήσουμε ή μεταφέρουμε στην επιφάνεια εργασίας ώστε να διαχειριζόμαστε πιο εύκολα τον χώρο (στοιχείο σημαντικό καθώς παίζουμε με πολλά pucks ταυτόχρονα) (45).

74 Εικόνα 29: Χειρισμός του Audiopad. 2η υλοποίηση Μια πιο σύγχρονη έκδοση του Audiopad που αφαιρεί το κουμπί από το truck puck, δίνει περισσότερες ενέργειες στο select puck και εισαγάγει το volume puck, ενώ το γραφικό περιβάλλον γίνεται πιο παιχνιδιάρικο και πιο συμμετοχικό στην διαδικασία της σύνθεσης. Σε αυτήν την υλοποίηση οι επιλογές των samples γίνονται όπως και πριν τοποθετώντας το select puck πάνω από το track puck ώστε να ανοίξει το δέντρο των επιλογών. Τώρα με τον ίδιο τρόπο αλλά τοποθετώντας το select puck κάτω από το track puck «ανοίγει» ο έλεγχος των διάφορων εφέ. Ο τρόπος ρύθμισης είναι ο ίδιος με την πρώτη υλοποίηση μόνο που γίνεται με το select puck (45). Εικόνα 30: 2ος τρόπος χειρισμού του Audiopad. Νέα στοιχεία: Η ρύθμιση της έντασης δεν γίνεται πλέον με περιστροφή του puck καθώς αυτό αφενός μας περιόριζε στο να ρυθμίζουμε ταυτόχρονα εφέ και ένταση και αφετέρου σε μία διάταξη που σέρνουμε συνεχώς τα pucks είναι πολύ εύκολο να απορυθμιστεί από κάποιο λάθος. Γι αυτούς τους λόγους δημιουργήθηκε το microphone. Πρόκειται για ένα puck που ρυθμίζει το μέγεθος της έντασης μέσω απόστασης γειτνίασης από το track puck, δηλαδή όσο πιο κοντά βρίσκεται σε ένα track puck, τόσο πιο δυνατά ακούγετε αυτό. Έτσι μας προσφέρονται δύο τρόποι ρύθμισης: είτε πλησιάζοντας ή απομακρύνοντας το track puck προς το microphone, είτε ανάποδα πλησιάζοντας το microphone στο track puck (45).

75 Εικόνα 31: Το Audiopad χειριζόμενο από δύο χρήστες. Προστέθηκε και ρύθμιση του tempo (ταχύτητα αναπαραγωγής των samples). Για να αυξήσουμε το tempo απλά «ζωγραφίζουμε» κύκλους δεξιόστροφης φοράς με το select puck γύρω από το microphone, ενώ άμα θέλουμε να το μειώσουμε, τους ζωγραφίζουμε αριστερόστροφα. Το δεύτερο νέο στοιχείο είναι μία «αλυσίδα» από παρόμοιους με τον αναπαραγόμενο ήχους, που εμφανίζεται να τέμνει το track puck. Κινώντας το track puck πάνω σε αυτήν την αλυσίδα ( ουσιαστικά μια καμπύλη γραμμή με σημεία, όπου κάθε σημείο αντιστοιχίζεται σε έναν ήχο) μεταβαίνουμε στους διάφορους προτεινόμενους ήχους και όπου το αφήσουμε, αυτομάτως αναπαράγεται αυτός ο ήχος (45). Βελτιώθηκαν τα γραφικά και προστέθηκε το γραφικό της απεικόνισης του κύκλου αναπαραγωγής του sample και μαζί του ρυθμού. Επιπλέον τα σταθερά λειτουργικά γραφικά, όπως η αλυσίδα παρόμοιων ήχων, αλλάζουν θέση δυναμικά, ανάλογα με τις θέσεις των pucks καθώς αυτές αλλάζουν κατά τη διάρκεια της χρήσης. Το software πρόγραμμα του Audiopad γράφτηκε σε γλώσσες C, C++ και Python, ενώ για τα γραφικά στοιχεία χρησιμοποιείται η γλώσσα OpenGL (45). Block Jam (2001) Μουσικό παιχνίδι - εφαρμογή που επιτρέπει στους χρήστες του να ελέγχουν ένα sequencer δημιουργώντας μουσική, ενώ χειρίζονται ηλεκτρονικά κυβάκια που ονομάζονται blocks (τα tangibles της εφαρμογής). Ο χρήστης ενώνει τα blocks στις τέσσερις πλάγιες πλευρές τους και ελέγχει τη μουσική απόκριση μέσω των ψηφιακών ελεγκτών στο πάνω μέρος των blocks. Μπορεί να σχηματίζει σειρές ή πίνακες και να ορίζει διάφορες διαδρομές που δημιουργούν μουσικά μοτίβα.

76 Εικόνα 32: Η συσκευή Block Jam. Η διάταξη περιλαμβάνει δύο ειδών blocks, τα play blocks και τα path blocks. Ένα εκ των play blocks που ονομάζεται mother block συνδέεται σε υπολογιστή όπου τρέχει το λογισμικό ελέγχου του Block Jam. Κάθε block παίζει έναν ήχο, ξεκινώντας πάντα από ένα play block, ο κάθε ήχος του κάθε block αναπαράγεται με τη σειρά που έχουν ενωθεί τα διάφορα blocks αναμεταξύ των. Τα path blocks είναι αυτά που ορίζουν ουσιαστικά την διαδρομή του σήματος που τα ενεργοποιεί, δηλαδή το κάθε βήμα. Δεδομένου ότι μπορούμε να φτιάξουμε πολλές διαφορετικές διατάξεις, μπορούμε να έχουμε και πολλές διαφορετικές διαδρομές που μπορούν και αλλάζουν δυναμικά, καθώς και να προσθαφαιρούμε διαδρομές μέσω πολλαπλών play blocks στην διάταξη (47). Τα blocks Τα Blocks είναι κύβοι με ψηφιακές λειτουργίες για τον έλεγχο της μουσικής παραγωγής. Το κουτί τους (άσπρο) παρασκευάζεται από ABS ρητίνη και φέρει σε κάθε πλάγια πλευρά του τρεις συνδέσμους από όπου μεταφέρονται ψηφιακά σήματα και πληροφορίες ανάμεσα στα blocks και από και προς τον υπολογιστή. Το πάνω μέρος τους (μαύρο) είναι ακρυλικό και φέρει ένα πίνακα με LED ενδείξεις για την οπτική ανάδραση (optical feedback). Επιπλέον αποτελεί κουμπί ελέγχου και με αισθητήρες αντιλαμβάνεται τη κυκλική κίνηση (δεξιόστροφη και αριστερόστροφη), επίσης για τον έλεγχο των διαφόρων παραμέτρων (47). Εικόνα 33: Ανάπτυγμα της βασικής μονάδας του block Jam. Τα play blocks τοποθετούνται μόνο στην αρχή κάποιας σειράς ή τυχαίας διάταξης (δεν αποτελούν είσοδο σήματος). Το πρώτο play block που χρησιμοποιείται είναι το mother block που είναι συνδεδεμένο και με το υπολογιστικό σύστημα που υποστηρίζει την εφαρμογή. Η LED οθόνη σηματοδοτεί τα play blocks με το σύμβολο του play (τριγωνικό βελάκι) που δείχνει και τη κατεύθυνση όπου ξεκινάει το πρώτο βήμα της μουσικής ακολουθίας. Για να ξεκινήσει λοιπόν η μουσική, πατάμε το κουμπί του play block. Ανάλογα με την διάρκεια που θα το κρατήσουμε πατημένο, ρυθμίζεται αντιστοίχως και η ταχύτητα του ρυθμού (beat/sec.). Υπάρχουν τρεις ταχύτητες ρυθμού προκαθορισμένες. Αν το πάτημα διαρκέσει λιγότερο από 1sec (κλικ) τότε το τραγούδι έχει γρήγορο ρυθμό, αν διαρκέσει από 1 έως 2 sec.

77 Τότε έχει πιο αργό ρυθμό (στο μισό beat/sec από πριν) και άμα διαρκέσει περισσότερο από 2 sec. Τότε ο ρυθμός είναι ακόμα πιο αργός (στο μισό της προηγούμενης ταχύτητας επίσης). Όταν ξαναπατήσουμε το κουμπί, η παραγόμενη μουσική ακολουθία που προέρχονταν από το συγκεκριμένο play block σταματάει. Τα βήματα της μουσικής ακολουθίας οδηγούνται από την διαδρομή που ορίζουν τα path blocks. Αν αυτή καταλήξει στο τελευταίο path block (δηλαδή το επόμενο βήμα είναι αδιέξοδο) τότε αναπαράγεται από την αρχή, δηλαδή το επόμενο βήμα είναι ο ήχος του αρχικού play block. Στην περίπτωση που μετά το τελευταίο path block ακολουθεί ένα άλλο play block, η πορεία αντιστρέφεται και γυρνάει προς τα πίσω μέχρι να καταλήξει στο play block που την ξεκίνησε (47). Εικόνα 34 : Σύμβολα πορίας και διάδρασης του Block Jam. 1) play blocks (αριστερά). 2) path blocks (δεξιά). Τα path blocks τοποθετούνται στο ενδιάμεσο ή στο τέλος μιας διάταξης. Είναι αυτά που ορίζουν την διαδρομή που θα ακολουθηθεί βήμα βήμα για να σχηματιστεί η μουσική. Υπάρχουν τρία είδη διαδρομών, που το καθένα έχει το δικό του σύμβολο, που δείχνει και την διαδρομή, στην LED οθόνη. Η ευθεία διαδρομή, όπου το βήμα αν έρχεται παραδείγματος χάριν από τα αριστερά, όπως βλέπουμε την διάταξη, θα συνεχίσει στο δεξιό του block και αν έρχεται από πάνω θα συνεχίσει στο από κάτω (και ανάποδα). Οι γωνίες κατεύθυνσης που συνδέει είτε την από αριστερά με την άνω και την από δεξιά με την κάτω πορεία, είτε την από αριστερά με την κάτω και την από δεξιά με την πάνω πορεία. Οι πύλες κατεύθυνσης που από όπου και αν έρχεται το βήμα της μουσικής, ορίζουν οποιαδήποτε κατεύθυνση θα ακολουθήσει μετά (μόνο προς πάνω ή κάτω ή αριστερά ή δεξιά (47). Εικόνα 35: Οι "πορείες" μιας τυχαίας σύνδεσης του Block Jam. Ήχοι Υπάρχουν τρεις ομάδες ήχων που αντιστοιχίζονται στις τρεις ταχύτητες. Κάθε ομάδα περιέχει δεκαπέντε (15) ήχους ταξινομημένους σε τρεις υποκατηγορίες, ανάλογα με το είδος τους. Η κάθε υποκατηγορία έχει και ένα χρώμα ένδειξης που «βάφουν» τις διάφορες ενδείξεις των LED. Οι πρώτοι 5 ήχοι αντιστοιχίζονται στο κόκκινο χρώμα, οι ήχοι 6 έως 10 στο πορτοκαλί και οι πέντε τελευταίοι στο πράσινο. Για να αλλάξουμε ήχο διαγράφουμε μία περιστροφική κίνηση, στο σχετικό αυλάκι στο πάνω μέρος του block, με το δάχτυλό μας. Αυτομάτως η LED οθόνη μας δείχνει σε ποιο νούμερο ήχου βρισκόμαστε, άρα και επιλέγουμε. Οι ήχοι αριθμούνται από το ένα έως το δεκαπέντε (1~15) ενώ ο αριθμός μηδέν (0) είναι παύση. Με δεξιόστροφη κίνηση ανεβαίνουμε έναν έναν τους ήχους, με αριστερόστροφή τους

78 κατεβαίνουμε. Το σύστημα αυτό μας προσφέρει σαράντα πέντε (45) διαφορετικούς ήχους, που όμως συνδυάζονται μόνο συγκεκριμένοι δεκαπέντε (15) ήχοι κάθε φορά ανάλογα με την επιλεγμένη ταχύτητα (47). Εικόνα 36: Διάδραση με το Block Jam. Σύστημα Το κάθε block ενώνεται με τα άλλα και διατηρεί σταθερή τη δομή του μέσω δύο κρυφών μαγνητών που περιέχει σε κάθε πλευρά του. Το καθένα έχει μια μοναδική ταυτότητα - σήμα για να αναγνωρίζεται ξεχωριστά, έτσι τους δύνεται η δυνατότητα να μεταφέρουν εντολές, σήματα και πληροφορίες σε ένα κοινό κανάλι. Η πληροφορία και τα σήματα μεταφέρονται από block σε block μέσω των συνδέσεων τριών σημείων που φέρουν στα πλάγια. Κάθε block στέλνει σήμα αν έχει συνδεθεί ή αποσυνδεθεί σε αυτό κάποιο άλλο block. Όλα τα σήματα περνάν από το mother block και καταλήγουν στον υπολογιστή. Εκεί το λογισμικό ορίζει τους ήχους και συνθέτει τη μουσική, αναλόγως του σήματος που έχει δεχτεί, και επιστρέφει τις ενδείξεις που θα πρέπει να δείχνουν οι LED οθόνες. Επιπλέον, σύμφωνα με τα ορίσματα, συνθέτεται η μουσική ακολουθία (sequence). Η μουσική μηχανή που τρέχει στον υπολογιστή είναι το Reason 2 virtual sound studio and software synthesizer καθώς διαθέτει όλα τα εχέγγυα για να υποστήριξη της απαιτούμενης πολυμορφικότητας της διάταξης και της άμεσης μεταβλητότητας των ήχων (σειρά αναπαραγωγής, είδος ακόμα και ύπαρξη ή μη) σε αναπαραγωγή σε πραγματικό χρόνο (47). Σύνοψη Το block jam είναι ένα παιχνίδι εφαρμογή που αναπτύχθηκε στα εργαστήρια της Sony με στόχο οι χειριστές του να συνεργάζονται για την σύνθεση του ίδιου μουσικού κομματιού ταυτόχρονα, αλλά και ο καθένας να έχει ένα ξεχωριστό ρόλο ή να έχουν τον ίδιο ρόλο ανάλογα τις «ορέξεις» τους, ενώ το μουσικό μέρος που παράγεται να μπορεί να κάτι παραπάνω από πεταμένους ήχους, δηλαδή μια πραγματική μουσική σύνθεση που ταυτόχρονα φέρει την ικανότητα να είναι πάντα συνεχής και ανοιχτή σε αλλαγές και πειραματισμούς και όλα αυτά μέσα από την απλούστερη δυνατή διάταξη. Αποτελεί ένα μίγμα tangible εφαρμογής και hardware φυσικής συσκευής καθώς τα tangibles αποτελούν εκτός από φυσικούς ελεγκτές, λόγω δομής και τρόπου χρήσης, και ψηφιακούς ρυθμιστές της εφαρμογής, που επίσης υπόκεινται σε tangible λογική εφόσον έχουν συγκεκριμένη προκαθορισμένη λειτουργία. Beat Blocks (2006) Τα beatblocks είναι μία tangible εφαρμογή που υλοποιεί ένα ρυθμικό sequencer (drum machine). Ο χρήστης διατάσσοντας και αναδιατάσσοντας ξύλινα κυβάκια (τα tangibles της περίστασης) σε μία ξύλινη βάση που ορίζει ένα πλέγμα 4Χ4, δημιουργεί και ελέγχει μία ρυθμική λούπα που περιέχει ήχους drums. Το beatblocks έχουν εύκολο και απλό χειρισμό καθώς δεν χρειάζονται ούτε γνώσεις μουσικής, ούτε χειρισμό κάποιου περίπλοκου interface (δεν διαθέτει καν εγχειρίδιο!) και προσφέρει ικανοποιητικό αποτέλεσμα τόσο σε τυχαίες συνθέσεις -τυχαίους συνδυασμούς - των κύβων, όσο και σε πιο εκλεπτυσμένες διατάξεις προσδιορισμένες από μουσικούς (48).

79 Εικόνα 37: Διάταξη του Beat Blocks. Το sequencer τρέχει σε ανάλυση τάξης 1/16ου (που σημαίνει ότι επιτρέπει 4 παλμούς «χτυπήματα» στην μουσική γλώσσα των τυμπάνων - στη διάρκεια της χρονικής αξίας του τέταρτου. Αν θεωρήσουμε ότι μια ακολουθία διαρκεί έναν «ολόκληρο» χρόνο τότε αυτό μας δίνει 16 «χτυπήματα» χρονικής αξίας του 1/4ου ή 8 της χρονικής αξίας του μισού κλπ.). Κάθε κύβος φέρει μια παράσταση από κάθετες ρίγες που αντιπροσωπεύουν μια ακολουθία από χτυπήματα τυμπάνων χρονικής διάρκειας του 1/4ου (δηλαδή 16 «χτυπήματα» στο μέγιστο δυνατό). Η ακολουθία αναπαράγεται σε μια συνεχιζόμενη λούπα και ανανεώνεται άμεσα καθώς αναδιατάσσουμε ή προσθαφαιρούμε κύβους, με συνέπεια μια διαδραστική σχέση μεταξύ χρήστη και συστήματος καθώς η σύνθεση εξελίσσεται (48). Εικόνα 38: Το πλέγμα του Beat Blocks. Χρήση Το πλέγμα ορίζει στις οριζόντιες θέσεις του τέσσερις χρόνους του 1/4ου, δηλαδή έναν για κάθε θέση και τέσσερις ήχους στις τέσσερις κάθετες θέσεις του. Ταυτόχρονα τα κυβάκια διαθέτουν συνδυασμούς από κάθετες ρίγες, που είναι μέχρι τέσσερις ανά κύβο. Έτσι κάθε κύβος μπορεί να ορίζει από ένα μέχρι τέσσερα χτυπήματα σε διάφορους συνδυασμούς, λαμβάνοντας υπόψη και τις παύσεις (τέσσερις παύσεις ή κανένα χτύπημα είναι περιττό να υπάρχει αφού μπορούμε απλά να μην βάλουμε κύβο στην αντίστοιχη θέση ). Η παύση ορίζεται με απουσία ρίγας στο σχετικό χωρικό σημείο του χτυπήματος. Αυτό μας δίνει 15 σχηματικές αναπαραστάσεις { [ ], [ _], [ ], [_ ], [_ _ ], [_ _],[_ ], [ ], [ ], [ _ _], [ _ ],[ ], [ _ ],[ _], [ ]}( εικόνες 37 και 38). Τοποθετώντας κάποιο κύβο σε μία θέση του πλέγματος το sequencer αρχίζει να λειτουργεί και όταν θα αναγνωστεί ο κύβος, στην χρονική σειρά του, τότε θα ακουστεί ο ήχος της αντίστοιχης κάθετης θέσης. Διατίθενται επιπλέον έλεγχος του ήχου ανά κανάλι με τη χρήση ποτενσιόμετρων, διακόπτης παραλλαγής του ρυθμού για πιο περίπλοκο μέτρο, διακόπτης On / off και pause καθώς και ένας ολισθαίνων ρυθμιστής (slider switch) για αυξομείωση του ρυθμού (tempo).

80 Εικόνα 39: Είσοδοι / έξοδοι και διακόπτες του Beat Blocks. Λειτουργία Ο κάθε κύβος φέρει δύο αντιστάτες που σηματοδοτούν μία ταυτότητα που αντιστοιχίζεται στην παράστασή τους. Το πλέγμα σε κάθε θέση φέρει δύο μαγνητικές επαφές που, αφενός αντιλαμβάνονται την παρουσία κύβου, αφετέρου διαβάζουν την ταυτότητα του κύβου άρα και το μοτίβο του. Το σύστημα στην συνέχεια δημιουργεί μηνύματα MIDI (λειτουργεί ως εναλλακτικός MIDI controller) που μπορούν να σταλούν σε ένα drum machine, ένα sampler ή έναν υπολογιστή. Αυτό μας προσφέρει επιπλέον την επιλογή να μην αναθέσουμε ήχους drums στα κανάλια αλλά οποιουσδήποτε άλλους ήχους θέλουμε (48). Augmented Groove (2000) Πρόκειται για μία μουσική εφαρμογή κατά την οποία ένας ή περισσότεροι χρήστες χειρίζονται πάνω σε ένα τραπέζι κάποιες κάρτες (τα tangibles της περίστασης), οι οποίες φέρουν ένα ειδικό σύμβολο ζωγραφιά, ώστε να αναγνωρίζονται από τον υπολογιστή. Έτσι ο χρήστης ή οι χρήστες, ανάλογα την περίσταση, αλλάζουν τη θέση των καρτών και τις μετακινούν πάνω στο τραπέζι, δημιουργώντας μουσικές ακολουθίες και φράσεις και επεμβαίνοντας σε αυτές αλλάζοντας τον ήχο του οργάνου, τον ρυθμό, αλλάζοντας τις παραμέτρους των εφέ, των διάφορων φίλτρων κλπ., καθώς όλα επιβλέπονται από τον υπολογιστή που παράγει τη μουσική, για ένα ευχάριστο μουσικό αποτέλεσμα. Ταυτόχρονα, πάνω στις ειδικές ζωγραφιές σύμβολα των καρτών, μέσω augment reality τεχνολογίας, εμφανίζονται, με χρήση ειδικών γυαλιών καθώς και σε οθόνες, τρισδιάστατες παραστάσεις - οπτικό feedback, που αλλάζει χρώμα, σχήμα, θέση κ.α., σύμφωνα με τους χειρισμούς του χρήστη, άρα και ανάλογα και με τη μουσική. Επιπλέον, η εφαρμογή προσφέρει συνεργασία με «κλασικούς ελεγκτές» (πχ. κλαβιέ πιάνου), έτσι ώστε να επιτρέπεται και η συνεργασία με μουσικούς που ελέγχουν απόλυτα το αποτέλεσμα των ενεργειών τους, έτσι ώστε να επιτυγχάνεται ακόμα καλύτερο μουσικό αποτέλεσμα (49). Εικόνα 40: Απόψεις διάδρασης με το Augmented Groove.

81 The Music Table (2003) Πρόκειται για την συνέχεια του Augmented Groove, καθλως χρησιμοποιεί την ίδια διάταξη, με τον ίδιο έλεγχο, δηλαδή κάρτες που παράγουν ανάλογα τη θέση τους μουσική και ταυτόχρονα μέσω augment reality τεχνολογίας, εμφανίζονται τρισδιάστατα γραφικά πάνω στις κάρτες, που έχουν άμεση σχέση με τη παραγόμενη μουσική. Η διαφορά τους εγγυάται στην χρήση, καθώς το Augmented Groove παράγει ακαθόριστα ηλεκτρονική μουσική, ενώ το Music Table έχει ως σκοπό την σύνθεση (50). Audiocubes (2004) Εικόνα 41: Χρήση και προβολή διάδρασης του The Music Table. Εικόνα 42: AudioCubes Τα Audiocubes είναι ένα σετ από πλαστικούς, αυτοφωτιζόμενους κύβους οι οποίοι, ανάλογα τη θέση τους και τη κίνησή τους από το χρήστη στον χώρο παράγουν μουσικές λούπες (loops) καθώς και ρυθμίζουν τις διάφορες παραμέτρους της παραγόμενης μουσικής. Αυτό συμβαίνει ως εξής: Καταρχήν κάθε κύβος φέρει μπαταρία και είναι από μόνος του μία συσκευή παραγωγής ή επεξεργασίας ή ελέγχου ήχου και μουσικών λούπων (loops). Όταν βρίσκεται στον χώρο έχει προσανατολισμό, δηλαδή μία πάνω άρα και μία κάτω πλευρά, και τέσσερεις πλάγιες. Στην κάτω πλευρά υπάρχει κουμπί on / off. Στις τέσσερις πλάγιες υπάρχουν σε καθεμία ένας αισθητήρας απόστασης, ενώ κάποια φέρει θύρα usb για σύνδεση με υπολογιστή και φόρτιση των μπαταριών τους, και μία άλλη αναλογική θύρα εισόδου / εξόδου σήματος, τύπου jack. Η πάνω πλευρά είναι ανενεργή. Κάθε κύβος στο εσωτερικό του φέρει επιπλέον δέκτες και αποστολείς σήματος, καθώς και επεξεργαστή σήματος (51).

82 Εικόνα 43: Ανάπτυγμα βασικής μονάδας του AudioCubes. Κάθε πλευρά διαθέτει διαφορετική λειτουργία, έτσι τοποθετώντας τα audiocubes με όποιον προσανατολισμό, δημιουργούμε αλυσίδες ακουστικού σήματος, που σχηματίζουν και ελέγχουν μουσικά τοπία και λούπες, τα οποία ελέγχονται από την απόσταση και τη σχετική θέση των κύβων μεταξύ τους καθώς και το «είδος» των πλάγιων πλευρών των κύβων που αντικρίζονται. Μπορούμε επιπλέον να ελέγχουμε παραμέτρους της μουσικής με τα χέρια, πλησιάζοντας τα προς και απομακρύνοντας τα από τους κύβους. Εικόνα 44 : Διάδραση με υο AudioCubes. Τέλος, η εταιρία που τα παράγει από το 2007 (Percussa) παρέχει εκτός του λογισμικού παραγωγής της μουσικής, επιπλέον λογισμικό έτσι ώστε κάθε κύβος να ορίζεται πλήρως από τον χρήστη για το τι λειτουργία θα επιτελεί καθώς και το οπτικό feedback που θα παρέχει στον χρήστη, καθώς και λογισμικό ώστε τα audiocubes να χρησιμοποιούνται ως tangible χειριστές άλλων μουσικών προγραμμάτων, μέσω midi εντολών, όπως το Ableton Live, το MAX/MSP, pure data κ.α. (52). Συμπερασματικά θα λέγαμε ότι είναι ένα βελτιωμένο και ταυτόχρονα πιο αυθαίρετο blockjam, με πολλές περισσότερες δυνατότητες. Smallfish (1999) Το Smallfish είναι μια εφαρμογή που προσπαθεί να συνδυάσει / ενώσει τη αφηρημένη μουσική του Schoenberg με την αφηρημένη ζωγραφική του Kandinsky. Πρόκειται για ένα εγχείρημα που σκοπός του δεν είναι να αποτελέσει ένα μουσικό όργανο ή ένα καλοκουρδισμένο sequencer, αλλά με τη χρήση αφηρημένων ζωγραφιών - σχημάτων, σταθερών και κινητών, να συνδυάσει μουσικά μοτίβα και να ελέγξει τις παραμέτρους αυτών, σε κάποιο βαθμό, έτσι ώστε να σχηματίσει μουσική μέσα από τη ζωγραφική. Η επιφάνεια εφαρμογής μπορεί να ποικίλει σε μέγεθος από ένα τραπεζάκι, έως ένα ολόκληρο δωμάτιο. Ο χρήστης μετακινεί πάνω στον «καμβά» κάποια γεωμετρικά σχήματα (tangibles) που ο υπολογιστής τα δέχεται ως ζωγραφικά αντικείμενα και τα προβάλει μέσω προτζέκτορα στον καμβά (53) (54).

83 Εικόνα 45: Διάδραση με το Smallfish και διάφορες προβολές διάδρασης που υλοποιεί. Clownsparcles Πειραματική εφαρμογή που αναπτύχτηκε από το STEIM (Studio foe Electro Instrumental Music). Τα tangibles αυτής της εφαρμογής είναι καθημερινά ρούχα και αξεσουάρ (καπέλο, τιράντες, τσάντα, φόρεμα, ομπρέλα κ.α.) που με διάφορους κρυφούς αισθητήρες κίνησης, φωτός, ταχύτητας, απόστασης κλπ. παράγουν διάφορους ήχους. Τα tangibles είναι αφημένα σε ένα θέατρο όπου μικρά παιδιά καλούνται να αλληλεπιδράσουν με αυτά, παράλληλα με άλλες ασχολίες διασκέδασης, όπως χορός και ζωγραφική. Στόχος του Clownsparcles είναι αφενός να διασκεδάσουν τα παιδιά με πρωτότυπα παιχνίδια και αφετέρου, εξερευνώντας τους διάφορους τρόπους αλληλεπίδρασης να διευρύνουν την δημιουργικότητά και την συνεργατικότητά τους (55). Εικόνα 46: Οι χρήστες του ClownSparcles αλληλεπιδρούν μαζί του!

84 Jam - O Drum (1998) Εικόνα 47: Το Jam - O - Drum. Το Jam-o-Drum θα μπορούσε να χαρακτηριστεί ως «μουσική παιχνιδομηχανή»! Αρχικός σκοπός της δημιουργίας του ήταν να δημιουργηθεί μία πρωτότυπη διεπιφάνεια χρήστη στην οποία πολλοί χρήστες θα μπορούσαν να εξερευνήσουν τη μουσική και τα κινούμενα γραφικά, να αποκτήσουν την εμπειρία της μουσικής δημιουργίας -μη σχετικοί με τη μουσικοί- χρήστες, να εξερευνήσουν ποικίλους μουσικούς ρυθμούς και είδη μέσα από πολλά διαφορετικά γραφικά και προκλήσεις, να αναπτύξουν τη συνεργασία μέσα από την μουσική δημιουργία και να αφεθούν στην αυθόρμητη κίνηση του σώματος, για να δημιουργήσουν μουσική, παρά να είναι το παράγωγο μιας διανοητικής διεργασίας (56) Για να επιτευχθεί αυτό, αναπτύχθηκε μια επίπεδη πλατφόρμα, που αρχικά είχε έξι χρήστες και στην συνέχεια τέσσερις. Η πλατφόρμα αποτελείται από ένα στρογγυλό τραπέζι που στην περιφέρεια του φέρει συμμετρικά τους χειριστές της, άρα και τις θέσεις των παιχτών. Ο χειριστής κάθε παίχτη είναι μία στρογγυλή επιφάνεια με αισθητήρες κίνησης και δύναμης, έτσι δύνεται input στην εφαρμογή αν ο χρήστης κάνει περιστροφική κίνηση ή βαράει τον χειριστή. Ο τρόπος αλληλεπίδρασης με τον χειριστή, είναι ο ίδιος τρόπος χρήσης ενός τύμπανου. Μπορεί να μην περιλαμβάνει κάποιο κινούμενο αντικείμενο στον χώρο, αλλά παρόλα αυτά θεωρούμε ότι ανήκει στον tangible χώρο των επιφανειών χρήστη, αφενός διότι ο χρήστης αγγίζει και χειρίζεται μέσω αφής την εφαρμογή και αφετέρου διότι η όλη χρήση βασίζεται στον τρόπο χρήσης υπαρκτών αντικειμένων, με την αναφορική χρήση που γίνεται σε αυτά τα αντικείμενα (ο χειριστής θυμίζει μεμβράνη τυμπάνου, το «χτυπάμε» όπως την μεμβράνη τυμπάνου και το τελικό ηχητικό αποτέλεσμα σχετίζεται άμεσα με τον τρόπο που το χρησιμοποιήσαμε) (56) (57).

85 Εικόνα 48: Ανάπτυγμα του Jam-O-Drum Πάνω στο τραπέζι, αλλά και στους χειριστές προβάλλεται μέσω προτζέκτορα το οπτικό feedback, ενώ τα ακουστικό feedback δίνεται στους χρήστες με ενσωματωμένα ηχεία που υπάρχουν μπροστά από κάθε θέση χρήστη. Έχουν αναπτυχθεί πολλές διαφορετικές εφαρμογές για το Drum-o-Jam ώστε να ερευνηθεί ο τρόπος αλληλεπίδρασης του χρήστη με την εφαρμογή και να κριθεί σε τη βαθμό επιτυγχάνει τους στόχους της, αλλά και για να έχουν και οι χρήστες ποικίλες εφαρμογές για να παίξουν. Έτσι υπάρχουν εφαρμογές όπου το Jam-o-Drum οργανώνει, μέσω του οπτικού μέρους, την ορχήστρα των χρηστών σε ένα παιχνίδι όπου ορίζει την σειρά και τον τρόπο που θα πρέπει ο κάθε χρήστης να χτυπήσει το τύμπανό του ώστε να δημιουργηθεί ένα συνολικό μουσικό αποτέλεσμα. Άλλες εφαρμογές υλοποιούν μουσικό παιχνίδι όπου οι χρηστές δεν παράγουν ήχους αλλά διαχειρίζονται το οπτικό feedback το οποίο εν τέλει δημιουργεί την μουσική, ενώ υπάρχουν εφαρμογές όπου η μουσική που δημιουργούν μέσω της άμεσης χρήσης των χειριστών, δημιουργεί αυθαίρετα, αλλά εντυπωσιακά ζωγραφικά μοτίβα, τα οποία ορίζονται μέσω τω διάφορών παραμέτρων της μουσικής, έτσι ώστε οι χρήστες να χρειάζεται να κατευθύνουν την μουσική που δημιουργούν προς το ζωγραφικό αποτέλεσμα που επιθυμούν (56). Εικόνα 49: Διάδραση με το Jam-o-Drum. Η δυνατότητα που διαθέτει το Jam-o-Drum να διαχειρίζεται τόσο μουσική όσο και γραφικά με έναν τόσο ευχάριστο και πρωτότυπο τρόπο, του έδωσε την δυνατότητα να χρησιμοποιηθεί ως ξεχωριστή πλατφόρμα διάδρασης και συνεργατικού παιξίματος ώστε στην συνέχεια να αναπτυχτούν πολλά πρωτότυπα παιχνίδια, πέραν από τους αρχικούς σκοπούς της δημιουργίας του! (58)

86 Εικόνα 50: Χρήση του το Jam-o-Drum πέραν της μουσικής. ReacTable Το ReacTable είναι ένα μουσικό όργανο που σκοπό έχει ο / οι χρήστης ες του, μέσα από το παιχνίδι και τη συνεργασία, α) να κατανοήσουν την modular σύνθεση και τον τρόπο λειτουργίας της, χωρίς να χρειάζεται να ξέρουν μουσική, αλλά απλά μέσα από δοκιμές και παιχνίδι να αντιληφτούν τις αρχές της και να δημιουργήσουν μουσική, και β) Εάν γνωρίζουν μουσική, να εκτοξεύσουν τις δυνατότητές τους, αφού τους δύνεται ένας πολύ πιο γρήγορος και άμεσος τρόπος ελέγχου των παραμέτρων της σύνθεσης τόσο των ήχων όσο και της μουσικής (59). Εικόνα 51: Το reactable (αριστερά) και η επιφάνεια εφαρμογής του (δεξιά). Για να επιτευχθεί αυτό, το reactable διαθέτει στους χρήστες του μία φωτιζόμενη στρογγυλή επιφάνεια όπου ο χρήστης εναποθέτει πάνω της αντικείμενα σε κωδικοποιημένα σχήματα που στο κάτω μέρος τους φέρουν μια ειδικά κωδικοποιημένη ζωγραφιά (fiducial - ακριβώς όπως το Audio D-Touch) που αντιστοιχίζεται σε κάποιο στοιχείο, κύκλωμα ή λειτουργία ενός synthesizer. Βασική αρχή είναι ότι υπάρχει ένα σημείο φυγής στο κέντρο του τραπεζιού και κάθε αντικείμενο «στέλνει» το σήμα του κατά εκεί. Οι διάφορες ροές σημάτων αλληλεπιδρούν σύμφωνα με αρχές γειτνίασης και παρεμβολής στο σήμα των tangibles. Το κάθε σήμα δίνεται σαν οπτικό feedback πίσω στον χρήστη με την μορφή της σχηματιζόμενης κυματομορφής που ο χρήστης ορίζει. Έτσι, αν τοποθετήσουμε ένα ημιτονοειδή ταλαντωτή στην άκρη του τραπεζιού, θα δούμε μία ημιτονοειδή κυματομορφή να ξεκινά από το tangible αντικείμενό μας και να καταλήγει στο κέντρο του τραπεζιού, ενώ ταυτόχρονα ακούμε έναν συνεχή ημιτονοειδή τόνο. Αν ακουμπήσουμε ένα άλλο tangible αντικείμενο που υλοποιεί ένα sequencer στην αντίπερα πλευρά του πρώτου αντικειμένου που τοποθετήσαμε, δεν θα γίνει τίποτα. Μόλις όμως το σύρουμε και το πλησιάσουμε κοντά στο «ημιτονοειδή ταλαντωτή», τότε δεχόμαστε οπτικό feedback την αποστολή των διάφορων τόνων της αποθηκευμένης μελωδίας του sequencer από το ένα tangible στο άλλο, και ταυτόχρονα ακούμε την μελωδία του με τον ήχο του ταλαντωτή. Το δε οπτικό feedback που ενώνει το ταλαντωτή με το κέντρο του τραπεζιού ανασχεδιάζεται κάθε φορά ώστε να εικονίζει την συχνότητα που ακούγεται. Τέλος, αν πλησιάσουμε προς ή ανακόψουμε το οπτικό feedback της κυματομορφής με ένα τρίτο tangible που πχ. αντιστοιχίζεται στο εφέ flanger, τότε θα ακούμε την μελωδία με flanger εφέ και σαν οπτικό feedback θα ζωγραφίζεται η προηγούμενη κυματομορφή της ημιτονοειδούς μελωδίας από τον

87 «ταλαντωτή» μέχρι το «flanger» και από το «flanger» μέχρι το κέντρο θα σχηματίζεται η κυματομορφή με την τροποποίηση που φέρει το εφέ στην μορφή της και που ταυτόχρονα αντιστοιχεί στον ήχο που ακούγεται. Ο χειρισμός των διάφορων παραμέτρων γίνεται με την τοποθέτηση των διάφορων tangible αντικειμένων πάνω στο τραπέζι οθόνη, με την περιστροφή του ίδιου του tangible πάνω στο τραπέζι, καθώς και με σταθερά, αλλά και δυναμικά εμφανιζόμενα, GUI στοιχεία που σχηματίζονται και ακολουθούν τα tangibles στο χώρο, των οπίων η χρήση γίνεται με την αφή του σημείου από τον χρήστη (60). Εικόνα 52: Διάδραση με το reactable. Το Reactable έρχεται σε δύο κύριες εκδόσεις, μία για ιδιωτική χρήση και μία για εκθεσιακούς σκοπούς, με τα αντίστοιχα tangibles και τις ελευθερίες ή περιορισμούς που χρειάζεται. Δίδονται πολλά sequencers, λούπες (loops), ρυθμοί (beats) και εφέ, έτσι ώστε να έχουμε γρήγορα μια σχηματιζόμενη μελωδία ως αρχή για πειραματισμό, ενώ ο χρήστης μπορεί να αποθηκεύσει χροιές και ακολουθίες που έχει δημιουργήσει σε κενά tangible sequencer και ταλαντωτές αντικείμενα, καθώς και να στείλει το δημιούργημα του σε άλλο Reactable μέσω δικτύου ή να ορίζει δεδομένα ύψους μέσω κλαβιέ πιάνου ή άλλων οργάνων ελεγκτών (59) (61). Τομείς που μπορούν να χρησιμοποιηθούν TUI συστήματα (35): Φύλαξη, διαχείριση και ανταλλαγή πληροφορίας. Ένας από τους μεγαλύτερους τομείς που μπορεί να χρησιμοποιηθεί η TUI τεχνολογία είναι η χρήση των tangibles σαν σώματα που περιέχουν πληροφορία (πχ. Media blocks). Επιπλέον πιθανή χρήση τέτοιας εφαρμογής μέσω διαδικτύου εγείρει μεγάλες δυνατότητες στην ανταλλαγή πληροφορίας. Παρουσίαση πληροφορίας. Εφόσον τα TUI συστήματα βρίσκονται ανάμεσα στην υπολογιστική ολοκλήρωση και την φυσική αντίληψη που βρίσκουν κοινό έδαφος στην απεικόνιση παρουσίαση της πληροφορίας, τότε είναι ιδανικά για την πολύτροπη παρουσίαση μιας πολύπλοκης πληροφορίας. Μοντελισμός και προσομοίωση. Μία από τις πρώτες χρήσεις για τις οποίες αναπτύχθηκε αυτή η τεχνολογία αφορά την προσομοίωση φυσικών και ψηφιακών συστημάτων (πχ. Bricks). Διαχείριση, διαμόρφωση και έλεγχος συστημάτων. Διάφορα TUI συστήματα επιδεικνύουν την ευρεία ικανότητα για γρήγορη και εμφανή διαχείριση, διαμόρφωση και έλεγχο πολύπλοκων συστημάτων όπως video networks, βιομηχανικά σχέδια κ.α. (πχ. Mediablocks). Επιμορφωτικά, ψυχαγωγικά και προγραμματιστικά συστήματα. Προσφορά TUI συστημάτων στην μουσική και δυνατότητες που εγείρει (35): Μέσω της TUI τεχνολογίας μας δύνεται η δυνατότητα να αναπτύξουμε νέα πρωτότυπα ηλεκτρονικά όργανα και να ορίσουμε τον παραγόμενο ήχο μέσω ενστικτώδους χρήσης όπως γίνεται με όλα τα «φυσικά» όργανα. Ταυτόχρονα δημιουργούνται όργανα που για να παράγουν ήχο ή μουσική απαιτείται η συνεργασία δύο ή περισσότερων ατόμων, πέρα από την έννοια της μπάντας, αφού όλοι συνεισφέρουν ταυτόχρονα στο τελικό αποτέλεσμα και όχι προσθετικά

88 ως ξεχωριστές οντότητες, γεγονός που ανοίγει νέους ορίζοντες και λογικές στο ότι ξέραμε μέχρι τώρα για την μουσική. Η έννοια της εικόνα και του ήχου συγκλίνουν ώστε να αναπτυχτούν νέες λογικές που αντιλαμβανόμαστε τον ήχο μέσω της εικόνας (αν και επιστημονική σύνδεση δεν έχει ανακαλυφθεί ακόμα). Αποτέλεσμα που προσφέρει τόσο στην κατανόηση της μουσικής, όσο και στην διεύρυνση της φαντασίας για το πώς οι δύο αισθήσεις μπορούν να συνδυαστούν για ένα καλαίσθητο αποτέλεσμα. Στην συνέχεια της Δ.Ε. επιλέγουμε να μελετήσουμε διεξοδικά το Reactable διότι βασίζεται στις σταθερές αρχές της modular σύνθεσης, χωρίς να αφαιρεί το κομμάτι της τυχαίας σύνθεσης μουσικής και της χρήσης της φαντασίας, ενώ ταυτόχρονα διατηρεί όλες τις δυνατότητες που προσφέρουν τα TUI συστήματα.

89 reactable* Τι είναι το reactable; Το Reactable είναι ένα σχετικά νέο μουσικό όργανο, καθώς παρουσιάστηκε το 2005 στο κοινό, και αποτελεί μία καινοτόμα αρχή στον τρόπο που χειριζόμαστε τα ηλεκτρονικά μουσικά όργανα μέχρι τώρα. Προσφέρει λειτουργίες σύνθεσης κυματομορφών και αναπαραγωγής μουσικών δειγμάτων (samples) και ρυθμικών σχημάτων (beats). Επιτελεί τις βασικές λειτουργίες ενός workstation (ηλεκτρονικό μουσικό όργανο με πλήκτρα το οποίο διαθέτει λειτουργίες σύνθεσης ήχων, δημιουργίας, εγγραφής και αναπαραγωγής μουσικών δειγμάτων και κομματιών (sampler και sequencer) και μεθόδους σύνθεσης και αναπαραγωγής συνοδευτικών μουσικών σχημάτων (μελωδικών και ρυθμικών). Παρόλα αυτά δεν αποτελεί workstation καθώς η χρήση του και ο χειρισμός του, εξ' αρχής, έχουν σκοπό, την περισσότερο τυχαία, μουσική διερεύνηση και κατανόησης της, χωρίς τη πραγματική γνώση μουσικής. Έτσι πλησιάζει περισσότερο στα μουσικά παιχνίδια που αναφέραμε σε προηγούμενο κεφάλαιο (Audiocubes, audio d- Touch, Block-jam, augmented groove κλπ.) κάνοντας ταυτόχρονα την σύνδεση με τον μουσικό τρόπο που αυτά παράγουν μουσική. Επιπλέον επιτρέπει την σύνδεση μουσικών ελεγκτών (πχ. Κλαβιέ πιάνου ή κιθάρα) για τον έλεγχο των μουσικών τόνων (59) (62). Πρόκειται για ένα απλό στην χρήση όργανο, όπου ο χειριστής ή οι χειριστές του μπορούν να παράγουν μουσική χωρίς την χρήση time multiplexed ελεγκτών (πχ. ποντίκι και πληκτρολόγιο) και χωρίς περιορισμό κινήσεων μέσω καλωδίων και «φορετών» ελεγκτών (πχ. γάντια). Ταυτόχρονα δίνεται η δυνατότητα συνεργατικού παιξίματος είτε στο ίδιο όργανο, είτε από διαφορετικά που συνδέονται μέσω δικτύου. Το Reactable χρησιμοποιεί ένα σύνολο tangible αντικειμένων, που αποκαλούνται patches (patch καλείται στον χώρο των synthesizer η συνδεσμολογία που δίνει έναν ολοκληρωμένο ήχο, δηλαδή το σύνολο των ρυθμίσεων των ταλαντωτών, των γεν. περιβάλλουσας, των φίλτρων κλπ. καθώς και της σειράς και τρόπου σύνδεσης αυτών, ώστε να έχουμε το τελικό ηχητικό αποτέλεσμα. Παρόλα αυτά, καθώς τα πρώτα synthesizer βασίζονταν σε modular σύνθεση όπου με καλώδια, ροοστάτες και κουμπιά διαμορφώνονταν τα διάφορα patches καθιερώθηκε και ο όρος patchable synthesizer, όπου με τον καιρό αφομοιώθηκε ως patch να καλείται το κάθε κύκλωμα ξεχωριστά. Όταν αναπτύχθηκαν τα πρώτα ψηφιακά synthesizers και λογισμικά παραγωγής ήχου, που χρησιμοποιούσαν γραφικά κυκλώματα, ο όρος patch ταυτίστηκε με το εκάστοτε γραφικό κύκλωμα. Έτσι και το reactable δανείζεται αυτήν την ερμηνεία του patch για κάθε tangible αντικείμενο που αντιπροσωπεύει κάποιο κύκλωμα synthesizer). Τα patches γίνονται ενεργά όταν τοποθετούνται πάνω σε ένα ειδικό τραπέζι. Ο χρήστης / -ες περιστρέφουν και μετακινούν τα patches πάνω στην επιφάνεια του τραπεζιού ή την αγγίζουν (λειτουργεί και ως «touch screen» ) για να παίξουν με το Reactable, ενώ ταυτόχρονα προβάλλεται πάνω στην επιφάνεια του, οπτικό feedback των ενεργειών των χρηστών, καθώς και οι εκάστοτε επιλογές χειρισμού. Δεν αποτελεί το πρώτο tangible user interface μουσικό τραπέζι, καθώς έχουν προηγηθεί και άλλα όπως το Jam-O-drum ή το Audiopad, το οποίο μάλιστα επηρέασε σημαντικά τους εφευρέτες του Reactable, αλλά αποτελεί σταθμό στην ιστορία των μουσικών οργάνων καθώς αφενός κατάφερε να περάσει από τη ερευνητική πρωτοτυποποίηση σε εμπορικό μουσικό όργανο και αφετέρου να βρει τεράστια ανταπόκριση από το κοινό. Επιτυχία που οφείλεται στο γεγονός ότι προσφέρει τις πολύπλοκες λειτουργίες ενός workstation ή μουσικού λογισμικού, με πολύ απλή και πρωτότυπη χρήση ώστε να είναι κοινά αποδεκτό τόσο από απαιτητικούς μουσικός, όσο και από χρήστες χωρίς καμία γνώση μουσικής. Το λογισμικό του βασίζεται τόσο σε προϋπάρχοντα ανοικτού λογισμικού προγράμματα και γλώσσες προγραμματισμού, (Java, C, C++, SuperCollider, και Pure Data), όσο και σε πρωτότυπα λογισμικά και προγράμματα

90 που αναπτύχθηκαν για να πετύχουν τους σκοπούς του reactable (reactivision, TUIO), αλλά δόθηκαν ελεύθερα και ανοιχτά στο κοινό, με μορφή ώστε να εξυπηρετούν τον ευρύτερο τομέα των TUI εφαρμογών και διατάξεων. Ο τρόπος αλληλεπίδρασης των προγραμμάτων αυτών παραμένει κρυφός για λόγους εμπορικών και πνευματικών δικαιωμάτων, παρόλα αυτά έχουν γίνει προσπάθειες ανάπτυξης ή και αντιγραφής του reactable, γεγονός που μαρτυρά και την μεγάλη επίδραση που έχει στο ευρύτερο κοινό (59) (62) (63) (64) (65). Εικόνα 53: Συνεργατική αλληλεπίδραση με το Reactable. Reactable και χρήστες Η χρήση του είναι απλή και διαισθητική. Δεν παρέχονται κανενός είδους οδηγίες χρήσης (manual), εκπαιδευτικά σεμινάρια (tutorials) ή συμβουλές παρά μόνο κάποιου είδους, προαιρετικό για τη χρήση, παράρτημα, που περιέχει τα σύμβολα των patches με τις αντιστοιχούσες λειτουργίες που παρέχουν. Παρόλα αυτά, γίνεται εύκολα αντιληπτή η χρήση και ο τρόπος λειτουργίας του, μόνο και μόνο με την απλή αλληλεπίδραση μαζί του. Ο χρήστης μπορεί πολύ εύκολα να αλλάζει ταυτόχρονα πολλά δεδομένα και παραμέτρους της παραγόμενης μουσικής ή ήχων. Η χρήση έτοιμων ρυθμικών σχημάτων (beats) καθώς και μουσικών ακολουθιών (sequences) δίνει τη δυνατότητα σε άπειρους χρήστες να συνθέσουν άμεσα ηλεκτρονική μουσική και να πειραματιστούν με τα διάφορα συνθετικά στοιχεία της, ενώ η λογική σύνθεσης των ήχων, που βασίζεται στις αρχές των αναλογικών αρχιτεκτονικών σύνθεσης (modular synthesis principals), δηλαδή αντιστοίχιση των patches με βασικά κυκλώματα όπως ταλαντωτές, ενισχυτές, φίλτρα, LFO s κλπ., δίνει την δυνατότητα στους πιο έμπειρους χρήστες synthesizer και ηλεκτρονικών οργάνων να εντρυφήσουν στις δυνατότητες ενός τέτοιου οργάνου και να επωφεληθούν από τους νέους τρόπους ελέγχου που τους παρέχονται. Μπορεί να χρησιμοποιηθεί είτε σαν ξεχωριστό όργανο μίας μπάντας με διακεκριμένα μουσικά μέρη, είτε σαν ένα σύστημα δημιουργίας ολοκληρωμένων μουσικών κομματιών, χωρίς εξάρτηση από άλλα όργανα. Στόχος των δημιουργών του ήταν να διατηρεί το ενδιαφέρον του χρήστη του αμείωτο ε ιτε γνωρίζοντας τι κάνει, είτε όχι. Γι αυτό το λόγο φρόντισαν έτσι ώστε να είναι πάντα έτοιμο να παράγει μουσική και να προκαλεί τον χρήστη του να αλληλεπιδράση μαζί του με τον τρόπο λειτουργίας του, την οπτική ανάδραση και την άμεση μουσική παραγωγή από την πρώτη επαφή του χρήστη μαζί του, από την πρώτη επιλογή που κάνει, όποια και αν είναι αυτή. Το Reactable μετατρέπει τη μουσική σύνθεση σε μία νέα εμπειρία ενεργοποιώντας με μοναδικό τρόπο τις αισθήσεις των χρηστών

91 καθώς χρησιμοποιεί με πρωτοτυπία την αφή μαζί με την όραση στην διαμόρφωση του ακουστικού αποτελέσματος (59) (60) (64) (66). Αν και δεν υπάρχουν σοβαρές και οργανωμένες έρευνες με χρήστες του Reactable, εντούτοις έχει διαπιστωθεί στις διάφορες εκθέσεις, που αναφέρθηκαν στο τέλος της προηγούμενης παραγράφου, ότι ένας οποιοσδήποτε χρήστης χρειάζεται περίπου 10 με 15 λεπτά, χωρίς να του έχουν δοθεί οδηγίες, για να αντιληφθεί τις βασικές αρχές του, ενώ παίζει ευχάριστα με αυτό. Επιπλέον έχει παρατηρηθεί ότι μετά από 5 λεπτά αλληλεπίδρασης με το όργανο, ο χρήστης «εθίζεται» σε αυτό και είναι πολύ πιθανό να ξαναδοκιμάσει να βρει λίγο χρόνο «μόνος» με αυτό ή να το επισκέπτεται ξανά και ξανά. Αυτό συμβαίνει διότι το Reactable δίνει πολύ χώρο για αυτοσχεδιασμό στον χρήστη του καθώς παράγει εύκολα και γρήγορα μουσικές ακολουθίες που σε ένα ελεγχόμενο περιβάλλον (όπως αυτό του Reactable experience) διορθώνει ή περιορίζει τα μουσικά «λάθη» (τονικά και χρονικά), δημιουργώντας ένα ευχάριστο αποτέλεσμα, ενώ ταυτόχρονα, απλά και μόνο η αλληλεπίδραση μέσω της tangible τεχνολογίας, σε συνδυασμό το οπτικό και ακουστικό feedback του οργάνου, εντυπωσιάζει τους χρήστες που το συναντάνε πρώτη φορά (60) (64). Εικόνα 54: Αλληλεπιδρώντας με το reactable. Πρωτότυπος χειρισμός Το Reactable προσφέρει ένα εντελώς νέο τρόπο αντιμετώπισης των synthesizer καθώς πρωτοτυπεί σε τεχνικές αρχικοποίησης, παιξίματος και ελέγχου. Μέχρι πρότινος ο βασικός τρόπος που παίζονταν ένα synthesizer περιελάμβανε μία αρχική προετοιμασία που απαιτούσε «κατασκευή» του ήχου μέσω ορισμού και ρύθμισης των παραμέτρων των διάφορων κυκλωμάτων (ταλαντωτές, φίλτρα, ενισχυτές, εφέ κλπ.) και των μεταξύ τους σχέσεων, ανάθεση σε διάφορους ελεγκτές (ροοστάτες, διακόπτες, κουμπιά, πετάλια κ.α.) ορισμένων από τις παραμέτρους του ήχου για διαμόρφωση του ήχου κατά τη διάρκεια του ζωντανού παιξίματος του οργάνου ( ο τόνος συνήθως ελέγχεται από κλαβιέ πιάνου), ενώ το sequencer σαφώς και απαιτούσε μεγάλη προεργασία για την εγγραφή μιας μουσικής ακολουθίας, που αργότερα θα χρησιμοποιούταν στο παίξιμο του οργάνου. Το reactable αναιρεί όλη την παραπάνω διαδικασία καθώς ο ορισμός και η ρύθμιση των κυκλωμάτων - μερών του synthesizer αποτελεί και μέρος του παιξίματός του. Ο ήχος χτίζεται και διαμορφώνεται καθώς παίζουμε με αυτό και τοποθετούμε τα διάφορα patches πάνω στο τραπέζι. Ταυτόχρονα γίνεται και η ρύθμισή τους, που αποτελεί μία εύκολη διαδικασία. Κάθε patch εξορισμού με τη θέση του και τον προσανατολισμό του πάνω στο τραπέζι ελέγχει 3 παραμέτρους του, δηλαδή την ώρα του παιξίματος του οργάνου ο χρήστης μπορεί να ελέγχει μέχρι 6 παραμέτρους ταυτόχρονα με τα δύο του χέρια, ενώ πολύ εύκολα και άμεσα μπορούμε να αλλάξουμε και τις υπόλοιπες μέσα από το drop-down μενού του εκάστοτε patch. Ο έλεγχος της τονικότητας (παίξιμο μουσικών νότων) στο Reactable έχει έρθει σε δεύτερη μοίρα, ως απόρροια

92 των σχεδιαστικών επιλογών των δημιουργών του, αλλά δεν είναι μηδενική. Ο χρήστης μπορεί να παίξει μελωδία είτε περιστρέφοντας τα patches των παραγωγών ήχου (ταλαντωτές, samples κλπ.), είτε ανοίγοντας το εικονικό κλαβιέ πιάνου πάνω στο τραπέζι, είτε συνδέοντας μέσο midi connection, ένα midi όργανο (κλαβιέ, κιθάρα κλπ.) καθώς και γράφοντας μία μελωδία στο sequencer. Το sequencer μπορεί επίσης να χρησιμοποιηθεί και να ρυθμιστεί την ώρα που παίζεται το όργανο. Έχει απλή και εύκολη χρήση και μπορεί επίσης να αναπρογραμματίζεται συνεχώς. Όσων αφορά τον τρόπο παιξίματος, το Reactable χρησιμοποιεί μία πλειάδα χειρονομιών πέραν από τον χειρισμό των patches, που περιλαμβάνουν επιλογές με το δάχτυλο, ζωγραφική πάνω στο τραπέζι με το δάχτυλο, κινήσεις «καράτε», που προσφέρουν στον χρήστη έλεγχο της ροής του ήχου και των συσχετισμών ανάμεσα στα διάφορα αντικείμενα κυκλώματα, αυτόματη σίγηση και επαναφορά του ήχου, ορισμό κλιμάκων και κυματομορφών και άλλες πολλές λειτουργίες. Τέλος πολλαπλοί «οργανοπαίχτες» μπορούν συνεργατικά να συνθέτουν μουσική είτε αλληλεπιδρώντας πάνω από το ίδιο τραπέζι, είτε επικοινωνώντας μέσω διαφορετικών τραπεζιών σε δίκτυο όπου ο καθένας δέχεται το feedback από τους χειρισμούς όλων των συμβαλλόμενων (60) (62) (64). Ιστορία Πρόγονος του Reactable είναι το FMOL, ένα λογισμικό μουσικής σύνθεσης που δημιούργησε ένας από τους εμπνευστές του reactable, ο Sergi Jordà με στόχο την δημιουργία ενός προγράμματος δημιουργίας και εξερεύνησης της ηλεκτρονικής μουσικής, με δυνατότητα συνεργατικής σύνθεσης. Στους στόχους του ήταν να μπορεί να χρησιμοποιηθεί τόσο από χρήστες που γνωρίζουν πως παράγεται η ηλεκτρονική μουσική, όσο και από χρήστες που έρχονται πρώτη φορά σε επαφή με αυτόν τον κόσμο της μουσικής. Επιπλέον ήταν αναγκαίο να μπορεί να ελέγχει από το διαδίκτυο άρα να είναι ελεγχόμενο με mouse. Έτσι γεννήθηκε και η ιδέα της οπτικής ανάδρασης που καθοδηγεί τον χρήστη και φανερώνει τον τρόπο λειτουργίας του, αυξάνοντας το ενδιαφέρον του, όσο περνά ο χρόνος και κατανοεί την λειτουργία του. Χαρακτηρίστηκα που κληροδότησε στο reactable (62). Εικόνα 55: Το visual interface του FMOL. Η ιδέα του Reactable ξεκίνησε να αναπτύσσεται το 2003 από μια ερευνητική ομάδα του Pompeu Farba πανεπιστήμιου που εδρεύει στη Βαρκελώνη. Οι Sergi Jordà, Martin Kaltenbrunner, Günter Geiger και ο Marcos Alonso είχααν την τρομερή ιδέα να συνδυάσουν τις νέες τεχνολογίες διεπαφών χρήστη (TUI) και έχοντας πρότυπο τη διεπαφή του Jam-O-Drum (όπως το γνωρίσαμε στο προηγούμενο κεφάλαιο) με την χρήση της patchable λογικής σύνθεσης της γλώσσας Max (αποτελεί εμπορικό πρόγονο της Pure Data που θα γνωρίσουμε στην συνέχεια) ολοκληρώνοντας τους βασικούς στόχους του FMOL. Το reactable παρουσιάστηκε για πρώτη φορά στο κοινό, με συναυλία στο διεθνές συνέδριο International Computer Music Conference (ICMC) που πραγματοποιήθηκε στην Βαρκελώνη το Μετά από την πετυχημένη παρουσίαση του στην επιστημονική και ερευνητική κοινότητα, το όργανο απέκτησε μεγάλη δημοσιότητα όταν δημοσιευτήκαν βίντεο που το παρουσιάζουν στο youtube, στα τέλη του

93 2006, όπου έχουν αναπαραχθεί παραπάνω από φορές από χρήστες του διαδικτύου. Το 2007 χρησιμοποιήθηκε από την διάσημη ιρλανδή συνθέτη και τραγουδίστρια Bjork στην παγκόσμια περιοδεία της, που διήρκησε σχεδόν δύο χρόνια και χρησιμοποιήθηκε σε περίπου ογδόντα συναυλίες, για την προώθηση του άλμπουμ της Volta. Ταυτόχρονα τα τελευταία χρόνια έχουν γίνει πάνω από διακόσιες παρουσιάσεις και συναυλίες σε περισσότερες από τριάντα χώρες. Η ανταπόκριση του κοινού ήταν τόσο μεγάλη ενώσω γίνονταν θέμα σε περιοδικά και τηλεοπτικές εκπομπές, ενώ ανακηρύχτηκε ως το πιο διάσημο όργανο του 21ου αιώνα, καθώς το πιο «Καυτό» όργανο της χρονιάς (2007) από το διεθνούς φήμης μουσικό περιοδικό «Rolling Stone». Επιπλέον της δημοτικότητας του στο κοινό, το Reatable αποκόμισε πολλά βραβεία διεθνούς κύρους όπως το «Prix Ars Electronica Golden Nica for Digital Musics» (2008), δύο «D&AD Yellow Pencil Awards» (2008),το «MIDEM Hottest Music Biz Start-Up Award» (2008)και το «Ciutat de Barcelona» βραβείο (2007). (64) (66) Το 2009 οι δημιουργοί του ίδρυσαν την εταιρία «Reactable Systems» ( που ασχολείται με τη βελτίωση και προώθηση του Reactable. Στα τέλη του 2010 δόθηκε στην αγορά η έκδοση προσομοίωσης του Reactable για i-pad (reactable mobile) και έκτοτε αναβαθμίστηκε και αναπρογραμματίστηκε ώστε να τρέχει τόσο σε i- phone και i-pod (ios λειτουργικό), όσο και σε οποιαδήποτε touch screen συσκευή που χρησιμοποιεί λειτουργικό android. Στην ολοκληρωμένη μορφή του (όργανο) έρχεται σε δύο εκδόσεις : Το «τραπέζι συναυλίας» (Concert Table ή reactable live) το οποίο προσφέρει ένα εξεζητημένο και με ακρίβεια στο χειρισμό synthesizer για επαγγελματίες μουσικούς. Πρόκειται για την έκδοση του πρώτου τραπεζιού που χρησιμοποιήθηκε σε συναυλία. Η δεύτερη έκδοσή του (reactable experience) έχει διαμορφωθεί για χρήση από ένα ευρύτερο κοινό σε διάφορες εκθέσεις, συνέδρια τεχνολογίας και μουσικής και θεματικά τεχνολογικά πάρκα, και περιέχει μια πιο περιορισμένη στο χειρισμό έκδοση με πιο «παιχνιδιάρικο» synthesizer που διαμορφώθηκε για ψυχαγωγικούς και εκπαιδευτικούς σκοπούς (67). Εικόνα 56: Το Reactable σε i-pod και i-pad. Βασικές αρχές λειτουργίας και χειρισμού Το τραπέζι (hardware) Το τραπέζι επιμερίζεται σε τέσσερα βασικά λειτουργικά μέρη. Την επιφάνεια εφαρμογής / οθόνη του τραπεζιού, τη κάμερα, τον υπολογιστή, που επιτελεί επίσης τέσσερις λειτουργίες σε επίπεδο προγραμμάτων, και τα ηχεία με τον προτζέκτορα, που δίνουν το ηχητικό και οπτικό αποτέλεσμα των επιλογών μας. Σε γενικές γραμμές ο κύκλος της διάδρασης γίνεται με την εξής σειρά: Τοποθετούμε το patch πάνω στο τραπέζι ή το μετακινούμε, εάν βρίσκεται ήδη πάνω. Η κάμερα «διαβάζει» την επιφάνεια του τραπεζιού και στέλνει την εικόνα στον υπολογιστή. Ο υπολογιστής α) μεταφράζει την εικόνα σε μαθηματικά δεδομένα θέσης και προσανατολισμού, β) μεταφέρει τα δεδομένα στην γλώσσα των προγραμμάτων σύνθεσης εικόνας και ήχου, γ) δημιουργεί τον ήχο και δ) ζωγραφίζει το οπτικό feedback. Στην συνέχεια ο προτζέκτορας προβάλει το οπτικό feedback στην επιφάνεια του τραπεζιού, με τη βοήθεια ενός καθρέπτη, ενώ ταυτόχρονα ακούμε τον σχετικό ήχο. Για να γίνει πιο κατανοητός αυτός ο κύκλος της λειτουργίας του

94 Reactable, θα χρησιμοποιήσουμε ένα σενάριο τυχαίας χρήσης και θα περιγράψουμε τον κύκλο της πληροφορίας από την είσοδο (input) έως την έξοδο (output / feedback) (59) (64). Εικόνα 57: Διάρθρωση λειτουργίας του Reactable. Patches Βρισκόμαστε μπροστά στο τραπέζι του reactable. Στις άκρες του παρατηρούμε κάποια γεωμετρικά αντικείμενα που όλα φέρουν σε κάποια πλευρά τους μια περίεργη ζωγραφιά σε σχήμα αμοιβάδας. Όλες οι «ζωγραφιές» μοιάζουν μεταξύ τους, αλλά όλες είναι διαφορετικές. Αυτή η ζωγραφιά λέγεται fiducial marker ή απλά fiducial (=έμπιστο σημάδι) και συμβολίζει ένα σύνθετο διάδικο δέντρο, με τρόπο που θα δούμε αργότερα, και ουσιαστικά λειτουργεί σαν barcode που ορίζει ένα μοναδικό διάνυσμα στον επίπεδο χώρο. Επιπλέον παρατηρούμε ότι τα αντικείμενα είναι ομαδοποιημένα κατά σχήματα και φέρουν και μια επιπλέον εικόνα ζωγραφιά από την αντίθετη πλευρά από αυτή του fiducial που προδίδει κάποια λειτουργία (λειτουργούν διαισθητικά όπως οι ταμπέλες) (60) (64). Εικόνα 58: Άποψη του reactable.

95 Τα σχήματα (τετράγωνα, τετράγωνα με στρογγυλοποιημένες γωνίες, αστέρια, πεντάγωνα κ.α.) ομαδοποιούν τις λειτουργίες κυκλωμάτων που σηματοδοτούν τα fiducials. Πχ. τα τετράγωνα παράγουν ήχο (ταλαντωτές, ρυθμικές λούπες, μουσικά δείγματα, input μικροφώνου κα.), τα αστεροειδή σχήματα είναι γενικές λειτουργίες (master volume, tempo κ.α.) και τα «στρογγυλοποιημένα» τετράγωνα σηματοδοτούν εφέ (flanger, delay, φίλτρο κα.). Οι ζωγραφιές πάνω στα αντικείμενα σηματοδοτούν την ακριβή λειτουργία, πχ. μια καμπύλη που έχει το σχήμα μιας περιόδου ημιτονοειδούς κύματος σε τετράγωνο αντικείμενο, σηματοδοτεί ότι το αντικείμενο αυτό θα έχει ως αποτέλεσμα την παραγωγή έναν ημιτονοειδούς (και όχι μόνο, τελικά) τόνου (60) (64). Εικόνα 59: Patches και Σύμβολα λειτουργίας του Reactable. Fiducials Τα fiducials συμβολίζουν, όπως προαναφέραμε, ένα δυαδικό δέντρο. Το δέντρο αυτό κωδικοποιείται σύμφωνα με τα φύλλα του, το χρώμα τους και το βάθος του, και λειτουργεί σαν barcode. Κάθε fiducial είναι μοναδικό άρα και αντιστοιχίζεται σε ένα δέντρο, μία μοναδική ταυτότητα. Ταυτόχρονα κάθε fiducial περιέχει, κρυμμένο στην ζωγραφιά του, ένα διάνυσμα, που μας επιτρέπει να προσανατολίζουμε το patch πάνω στο τραπέζι, ως προς κάποιο νοητό άξονα. Το διάνυσμα αυτό ξεκινάει από το κέντρο βάρους όλων των τελείων της διάταξης και τελειώνει στο κέντρο βάρους των μαύρων τελείων. Η μορφολογία και η ανάπτυξή τους έγινε αποκλειστικά για το reactable, βασιζόμενο στα fiducials του Audio D-Touch. Αναπτύχθηκαν, εν παραλληλία με το πρόγραμμα ανάγνωσής τους (reactivision), με έναν αλγόριθμο βελτιστοποίησης, από υπολογιστή, με σκοπό να επιτυγχάνεται ο βέλτιστος αριθμός φύλλων και βάθους δέντρου, που επιτρέπει γρήγορη ανάγνωση του fiducial με την ελάχιστη χρήση υπολογιστικών πόρων (CPU Usage) και τα λιγότερα δυνατά λάθη αναγνώρισης, ενώ ταυτόχρονα τοποθετεί την αρχή του διανύσματος σχεδόν στο κέντρο του fiducial, και το τέλος του σε κάποιο άλλο σημείο, έτσι ώστε όλα τα διανύσματα να έχουν σχεδόν το ίδιο μήκος (64) (68) (69) (70).

96 Εικόνα 60: Κωδικοποίηση των fiducials σε δέντρο. Εικόνα 61: Κωδικοποίηση διανύσματος στρέψης των fiducials. Διαλέγουμε λοιπόν τυχαία ένα patch. Μόλις το τοποθετήσουμε πάνω στην επιφάνεια του τραπεζιού η κάμερα θα στείλει την εικόνα στον υπολογιστή. To ειδικό λογισμικό reactivision, που αναπτύχθηκε ειδικά για το Reactable και τα fiducials του, θα διαβάσει το patch, θα επεξεργαστεί τα δεδομένα, θα τα μετατρέψει σε Open Sound Control (OSC) πακέτα και θα τα διοχετεύσει σε επιλεγμένες θύρες εισόδου δεδομένων του ίδιου υπολογιστή, ή κάποιου άλλου, σε καθορισμένο URL (68) (69) (70). Επιφάνεια τραπεζιού (οθόνη) Η διαμέτρου 90cm επιφάνεια εφαρμογής (επιφάνεια τραπεζιού) είναι κατασκευασμένη κατά τρόπο έτσι ώστε να φαίνονται στην κάμερα μόνο και μόνο τα αντικείμενα που ακουμπούν στο τραπέζι και όχι ότι «αιωρείται» από πάνω του, ενώ ταυτόχρονα φαίνεται η προβολή που γίνεται από το κάτω μέρος της επιφάνειας. Για να επιτευχθεί αυτό χρησιμοποιείται η μέθοδος Rare Diffused Illumination (διάχυτος οπίσθιος φωτισμός), για φωτισμό πολυαπτικής επιφάνειας. Κατά αυτή την μέθοδο η επιφάνεια φωτίζεται μέσα από το κουτί (κάτω όψη επιφάνειας) με υπέρυθρο φως. Η επιφάνεια αποτελείται από μία ακρυλική διαφανή επιφάνεια και ένα ημιδιαφανές πολυεστερικό φύλλο (BoPET), που χρησιμοποιείται ως διαχυτής. Η διαφανής επιφάνεια διατηρεί την γεωμετρία της επιφάνειας χωρίς να επηρεάζει την οπτική και η ημιδιαφανής επιφάνεια αφενός κάνει ορατό ότι ακουμπά πάνω της, από την άλλη πλευρά της (δάχτυλα και fiducials) και αφετέρου κάνει ορατή την προβολή του προτζέκτορα. Επιπλέον χρησιμοποιείται κάμερα που έχει αφαιρεθεί το φίλτρο υπέρυθρων. Αυτό έχει ως αποτέλεσμα: 1ον Οι άσπρες περιοχές να φωτίζονται και να αντανακλούν το υπέρυθρο φως προς την κάμερα. Στην περίπτωσή μας είναι ότι ακουμπά πάνω στο τραπέζι και δεν απορροφά τις υπέρυθρες ακτίνες (μαύρες περιοχές του fiducial). 2ον Το υπέρυθρο φως δεν επηρεάζει τη προβολή καθώς είναι αόρατο στο ανθρώπινο μάτι. 3ον Η κάμερα δεν μπορεί να δει την προβολή του προτζέκτορα καθώς έχει αφαιρεθεί το φίλτρο υπέρυθρου φωτός και έχει προστεθεί φίλτρο ορατού φωτός στο φακό της κάμερας, Αυτό έχει ως αποτέλεσμα την όραση μόνο των υπέρυθρων ακτινών φωτός που κατευθύνονται προς την κάμερα από τον αντικατοπτρισμό στην επιφάνεια του τραπεζιού (61) (66) (71).

97 Εικόνα 62: Διάταξη λειτουργίας της μεθόδου Διάχυτου Οπίσθιου Φωτισμού, για τον φωτισμό επιφάνειας αφής. ReacTIVision (Computer Vision Software) ΤUIO (Tangible User Interface communication protocol) Μόλις ακουμπήσουμε λοιπόν το patch στο τραπέζι, το πρόγραμμα reactivision, που αναπτύχθηκε μαζί με τα fiducials ειδικά για το reactable, θα αποκωδικοποιήσει τα tangible αντικείμενα της επιφάνειας (fiducials, δάχτυλα και blobs[=αναγνωρισμένος μη κωδικοποιημένος όγκος / σχήμα, δεν μας απασχολεί καθόλου στο reactable]), θα επεξεργαστεί τα δεδομένα, θα τα μετατρέψει σε TUIO εντολές και θα τα στείλει στην θύρα εισόδου δεδομένων που του ορίσαμε (68) (69) (70). Το TUIO είναι ένα πρωτόκολλο επικοινωνίας, στο πρότυπο του Open Sound Control πρωτοκόλλου (υποκατηγορία του κατά κάποιο τρόπο), που αναπτύχθηκε για το reactable. Στέλνει δεδομένα σε πακέτα UDP από προεπιλογή και σε TCP μέσω επαναπρογραμματισμού. Δημιουργεί δύο ειδών πακέτα εντολών. Τα πακέτα ορισμού (set messages), που ορίζουν τα δεδομένα του κάθε αναγνωρισμένου tangible αντικειμένου, και τα πακέτα ανανέωσης (alive messages), που στόχο έχουν να υπενθυμίσουν ποια tangible αντικείμενα είναι ακόμα ενεργά (βρίσκονται πάνω στο τραπέζι). Όποτε αποστέλλονται, συνοδεύονται από ένα τρίτο είδος (fseq messages) που ορίζει την χρονική σειρά αποστολής των πακέτων για λόγους ταξινόμησης και ασφαλούς ανάγνωσης της σειράς εντολών. Τα πακέτα περιέχουν πληροφορίες που αφορούν τον αύξοντα αριθμό χρονικής εμφάνισης (Session_ID) του κάθε tangible αντικειμένου που τοποθετήθηκε πάνω στο τραπέζι (διατηρείται μέχρι να απομακρυνθεί), την ταυτότητα του tangible αντικειμένου (τον μοναδικό αριθμό του fiducial ή την πληροφορία ότι πρόκειται για δάχτυλο), το διάνυσμα θέσης αυτού στον τρισδιάστατο χώρο, την γωνία τοποθέτησης ανά άξονα, το μέγεθος της εσωτερικής έλλειψης του περιβάλλοντος ορθογωνίου (bounding box) του αντικειμένου (σε περίπτωση blob), την επιφάνεια του, τον όγκο του, το διανύσματα ταχύτητας και γωνιακής ταχύτητας καθώς και τιμές επιτάχυνσης και γωνιακής επιτάχυνσης λόγω στρέψης, ενώ αφήνει και μία ανοιχτή παράμετρο που ορίζεται μέσω από το συντακτικό του OSC. Τα δεδομένα συντάσσονται, αναλόγως την εφαρμογή, σε πακέτα που αφορούν 2D, 2.5D και 3D χώρους ώστε να μην μεταφέρεται περιττή πληροφορία. Παρατηρούμε ότι το TUIO, αν και αναπτύχθηκε για το reactable, έχει τη δυνατότητα να μεταφέρει πολύ περισσότερες πληροφορίες από αυτές που χρειάζεται (όπως πληροφορίες blob, πληροφορίες που αφορούν και τη διάσταση του ύψους κα.). Με αυτό τον τρόπο λαμβάνονται υπόψη και πληροφορίες που εξυπηρετούν άλλου είδους εφαρμογές που χρησιμοποιούν πολυαπτικές επιφάνειες χρήστη (Tangible User Interface), γεγονός που το κάνει πιο δημοφιλές, ώστε να καθιερωθεί, ενώ ταυτόχρονα βγάζει από τη δύσκολη θέση τους υπόλοιπους προγραμματιστές TUI εφαρμογών. Ο κώδικάς του είναι ανοιχτός (open source) έτσι ώστε να μπορεί να δέχεται τροποποιήσεις και βελτιστοποιήσεις αναλόγως την εφαρμογή που χρησιμοποιείται (59) (68) (70). Το reactivision, είναι πρόγραμμα της οικογένειας των Computer Vision λογισμικών. Σαν συσκευή εισόδου χρησιμοποιεί μία κάμερα η οποία διαβάζει την επιφάνεια εφαρμογής και την παραμετροποιεί ως προς το κάδρο της. Η παραμετροποίηση γίνεται με τιμές οθόνης, οπότε ξεκινά από την πάνω αριστερά γωνία του κάδρου της εισερχόμενης εικόνας και εκτείνεται προς τα δεξιά από 0 έως 1, και προς τα κάτω, επίσης από 0 έως 1. Δεν υπάρχει συμμετρία μήκους - ύψους καθώς αυτή ορίζεται από την ανάλυση της κάμερας (πχ. εάν είναι 800Χ600 τότε το μήκος έχει 1/800 pixels ανά μονάδα μήκους και το πλάτος 1/600 pixels ανά μονάδα ύψους ). Το πρόγραμμα αναγνωρίζει την ταυτότητα (αριθμό) του κάθε fiducial και υπολογίζει την θέση του κέντρου του fiducial στην επιφάνεια της οθόνης και τη γωνία του διανύσματος στρέψης, ως προς τον κάθετο άξονα, μετρημένη δεξιόστροφα. Ακολούθως, βάζοντας στην εξίσωση και τον χρόνο, μπορεί να υπολογίσει την ταχύτητα και επιτάχυνση μετακίνησης πάνω στην οθόνη, καθώς και την γωνιακή ταχύτητα και επιτάχυνση περιστροφής (ποσά που περιορίζονται από το frame Rate της κάμερας). Εάν ακουμπήσουμε το δάχτυλό μας, αυτό αρχικά διαβάζεται ως μοναδιαίο δέντρο (χωρίς κόμβους και φύλλα) και αντιστοιχίζεται σε κέρσορα, υπολογίζοντας θέση, ταχύτητα και επιτάχυνση. Η εικόνα, η πιθανή παραμόρφωση της και η καθαρότητα της, εξαρτώνται τόσο από την γεωμετρία της κατασκευής και την γωνία θέασης της κάμερας, όσο και

98 από το είδος του φωτισμού. Γι αυτό το λόγο παρέχονται εργαλεία ρύθμισης των παραπάνω παραμέτρων. Τα δεδομένα μετατρέπονται σε TUIO πακέτα, που περιέχουν τις παραπάνω πληροφορίες και αποστέλλονται στην θύρα εισόδου δεδομένων του υπολογιστή που είναι εγκατεστημένο το reactivision. Παρόλα αυτά μπορούμε να αλλάξουμε τόσο την θύρα (προκαθορισμένη η 3333) όσο και να ορίσουμε το URL που βρίσκεται κάποιος άλλος υπολογιστής (προκαθορισμένο localhost). Επιπλέον μπορούμε να αλλάξουμε το είδος των μηνυμάτων από OSC σε MIDI μηνύματα, αναλόγως την εφαρμογή που έχουμε αναπτύξει (63). Εικόνα 63: Τι βλέπει το reactivision... Connection Manager Τα δεδομένα του patch παραλαμβάνονται από την θύρα εισόδου από ένα πρόγραμμα, που θα αναλάβει την διαχείριση της σύνδεσης (connection manager). Αυτό θα αναλάβει να χρησιμοποιήσει τα δεδομένα εισόδου ώστε να κάνει τις σχετικές αντιστοιχίες και συνδέσεις που υπαγορεύονται από το είδος και τη θέση των patches πάνω στο τραπέζι. Θα κάνει πράξεις και συγκρίσεις και θα δημιουργήσει τις εντολές που θα σταλούν στον συνθέτη του ήχου, που αφορούν κυρίως την ροή του διαμορφούμενου ηχητικού σήματος, και τις εντολές που θα σταλούν στον συνθέτη των γραφικών και έχουν να κάνουν με τη θέση των αντικειμένων και τη μορφή της ροής δεδομένων και των αντίστοιχων συνδέσεων (κυματομορφές από στοιχείο σε στοιχείο), καθώς και την παρουσίαση των GUI στοιχείων (εικονικά κουμπιά και pop up οθόνες), ανάλογα το patch. Για την σωστή παρουσίαση των κυματομορφών ο διαχειριστής συνδέσεων αντλεί δεδομένα από τον συνθέτη ήχου και τα διοχετεύει στον συνθέτη γραφικών. Ο ακριβής τρόπος σύνδεσης του διαχειριστή σύνδεσης με τους συνθέτες δεν είναι γνωστός όπως και το υπόλοιπο μείγμα του κώδικα, για λόγους που προαναφέραμε. Παρόλα αυτά μπορούμε να περιγράψουμε ξεχωριστά τα μέρη του, έτσι ώστε να αντιληφθούμε τον τρόπο λειτουργίας του (59). Συνθέτης ήχου Το reactable αναπτύχθηκε ώστε να είναι σχετικά ανοιχτό σε νεωτερισμούς. Γι αυτό τον λόγο επιλέχτηκαν να χρησιμοποιηθούν προγράμματα σύνθεσης ήχων που λειτουργούν περισσότερο σαν γλώσσες προγραμματισμού, παρά προγράμματα σύνθεσης ήχων. Η βασική διαφορά είναι ότι οι «γλώσσες» ήχου (πχ. SuperCollider, Pure Data, Max MSP, Csound κα.) υλοποιούν απλά κυκλώματα και στοιχεία synthesizer, όπως ταλαντωτές διαφόρων κυματομορφών, φίλτρα, εφέ, sequencers, samplers, απλούς αλγόριθμους σύνθεσης κλπ., αλλά και πιο περίπλοκα συστήματα, όπως εξεζητημένους ρυθμούς και γεννήτριες μελωδιών που βασίζονται σε αυθαίρετες λογικές, σε σχέση με τη μουσική, χαοτικές γεννήτριες, αλγόριθμους διόρθωσης ρυθμού, ύψους και μελωδίας (σύμφωνα με κλίμακες) κλπ. Με αυτές τις γλώσσες ο χρήστης μπορεί να θέτει τους δικούς του κανόνες δημιουργίας τόσο των ήχων όσο και της μουσικής, αφού σχεδιάζει ουσιαστικά ροές δεδομένων ψηφιακού σήματος και τις διαμορφώνει με μαθηματικές

99 λογικές που είτε βασίζονται στην γνωστή modular σύνθεση (μουσικές λογικές), είτε σε δικές του αυθαίρετες επιλογές (πχ. συχνότητες που πηγάζουν από συχνότητες χρωμάτων και παράγουν μουσικά σχήματα αναλόγως της φωτεινότητας του χώρου και της θέσης του ποντικιού?!). Η αρχική έκδοση του reactable βασίζονταν σε ήχους που παράγονταν από τα ελεύθερα προγράμματα ανοιχτού λογισμικού (open source) SuperCollider και Pure Data (59) (68). SuperCollider Η SuperCollider, δημιουργήθηκε από τον James McCartney και αποτελεί απόγονο / υβρίδιο του Synth-O-Matic και του Pyrite (αντικείμενο της MAX γλώσσας). Αναπτύχθηκε αρχικά για Macintosh αλλά πλέον εκτελείται και σε Windows και Linux λειτουργικά. Υλοποιεί ένα γραμμικό προγραμματιστικό περιβάλλον και ταυτόχρονα αποτελεί γλώσσα προγραμματισμού, για σύνθεση ήχου και αλγόριθμων ήχου και ελέγχου σε πραγματικό χρόνο. Πρόκειται για μια αντικειμενοστραφή γλώσσα προγραμματισμού που λειτουργεί σαν «πελάτης» δικτύου (network server) όπου ο πάροχος (server) είναι ένας συνθέτης ήχων πραγματικού χρόνου. Ουσιαστικά πρόκειται για μια γραμμική γλώσσα προγραμματισμού που χρησιμοποιεί δικά της αντικείμενα / κλάσεις (πχ. ταλαντωτής), μεθόδους (πχ..play(); ) και συντακτικό, καθώς και δυνατότητα δημιουργίας μεθόδων και κλάσεων, όπως λειτουργεί παραδείγματος χάριν η Java, ενώ βιβλιοθήκες κλάσεων (libraries) και επεκτάσεις (plug ins) διευκολύνουν την ανάπτυξη εφαρμογών. Ο ήχος παράγεται μόλις ανοίξουμε (boot) έναν εικονικό server ήχου ο οποίος διαβάζει το «κείμενο» που γράψαμε με τις εντολές και τις μεθόδους δημιουργίας και ελέγχου του ήχου. Όπως και οι υπόλοιπες γλώσσες, μπορεί να δέχεται δεδομένα εισόδου από διάφορους ελεγκτές (πχ. ποντίκι, πληκτρολόγιο κλπ) ώστε να αναδιαμορφώνει το προϊόν της (ήχος), αλλά και μέσω παρεχόμενης επέκτασης (plug-in) μπορεί ο χρήστης να φτιάξει τα δικά του GUI στοιχεία ελέγχου. Εκτός του ήχου, η SuperCollider παράγει διαγράμματα και γραφικές παραστάσεις των δομούμενων κυματομορφών (72). Εικόνα 64: Πεδία γραφής και παράθυρο λειτουργίας της SuperCollider

100 Εικόνα 65: Επιπρόσθετες οθόνες της SuperCollider Pure Data Η Pure Data (ή Pd) είναι μια οπτική γλώσσα προγραμματισμού που αναπτύχθηκε από τον Miller Puckette για τη δημιουργία αλληλεπιδραστικής μουσικής μέσω υπολογιστή και έργων πολυμέσων. Ουσιαστικά πρόκειται για την ελεύθερη και ανοιχτού λογισμικού έκδοση της Max/MSP, δημιούργημα επίσης του Puckette από τη γλώσσα Max, και αυτό έχει σαν αποτέλεσμα, αφενός οι δύο γλώσσες να επικοινωνούν και να ανταλλάζουν κομμάτια κώδικα και αφετέρου η Pure Data, όντας ανοιχτού λογισμικού, να επεκτείνεται και να γιγαντώνεται ανεξάρτητα της Max/MSP και σε άλλους τομείς. Η μορφή της είναι λίγο περίεργη και ξεχωριστή από τις συνήθεις γραμμικές γλώσσες προγραμματισμού καθώς ανήκει στην οικογένεια των Patcher γλωσσών (δημιουργούν οντότητες patch). Εκτελείται σε λειτουργικά προγράμματα GNU/Linux, Mac OS X, iphoneos, Android και Windows ενώ παλιότερες εκδόσεις τρέχουν σε FreeBSD και IRIX (73) (74). Το κάθε patch είναι ένας «καμβάς» (όπως λέμε σελίδα) κώδικα. Πάνω στο κάθε patch ο προγραμματιστής στήνει κάτι ειδικά «κουτιά» με εισόδους και εξόδους δεδομένων και τα ενώνει με γραμμές ή «ασύρματα», δημιουργώντας ροές δεδομένων (όπως τα διαγράμματα ροών). Υπάρχουν τριών ειδών «κουτιά» : Άτομα (atoms), που είναι οι βασικές μονάδες δεδομένων μιας γλώσσας προγραμματισμού (αριθμοί, χαρακτήρες, λέξεις και δείκτες), τα Αντικείμενα (Objects) που αποτελούν συναρτήσεις / κλάσεις αντικειμένων με ικανότητα αλλαγής κάποιων από τις τιμές αρχικοποίησης, ενώ κάποια αντικείμενα αποτελούν στοιχεία GUI ελέγχου (sliders, radio Buttons κα.). Μηνύματα, που αποτελούν εντολές προς τα αντικείμενα. Επιπλέον μπορούν να τοποθετηθούν σχόλια. Υπάρχουν δύο ειδών δεδομένα: Δεδομένα σήματος (signal rate) και δεδομένα ελέγχου (control rate). Αντιστοίχως υπάρχουν και συναρτήσεις σήματος και ελέγχου. Κάθε αντικείμενο ορίζει μέσα στο κουτί του το είδος του με το όνομά του, τις αρχικές τιμές του και αν πρόκειται για συνάρτηση σήματος ή ελέγχου. Ένα patch μπορεί να υλοποιεί ένα ολοκληρωμένο πρόγραμμα ή μια περίπλοκη συνάρτηση. Σε κάθε είσοδο ενός pd-patch μπορούμε να στείλουμε παραπάνω από μία ροές δεδομένων. Σε αυτή την περίπτωση αν πρόκειται για σήμα, τότε οι τιμές του αθροίζονται αλγεβρικά, ενώ αν πρόκειται για δεδομένα ελέγχου τότε επικρατεί η τελευταία εισερχόμενη τιμή. Τα Pd-patches που βρίσκονται στον ίδιο φάκελο μπορούν να επικοινωνούν μεταξύ τους, για αποσυμφόρηση του κώδικα ενός patch καθώς και για εύκολη επέκταση ενός προγράμματος. Η Pure Data έχει επίσης την δυνατότητα να επεκτείνεται με βιβλιοθήκες από patches, κάποιες από τις οποίες πολλαπλασιάζουν τις δυνατότητές της, όπως η GEM που χειρίζεται Open GL δομές και έτσι προσφέρει την δυνατότητα δημιουργίας και χειρισμού τρισδιάστατων γραφικών, ενώ άλλα αντικείμενα παρέχουν αναλύσεις furrier, καταγραφή δεδομένων, απεικόνιση κυματομορφών σε διαγράμματα κα. Επιπλέον τα αντικείμενα είναι γραμμένα σε γλώσσα C++, γεγονός που προσφέρει την δυνατότητα δημιουργίας πρωτότυπων αντικειμένων και βιβλιοθηκών (73) (75).

101 Εικόνα 66: Πεδία γραφής και παράθυρο λειτουργίας της Pure Data. Εικόνα 67: Παράδειγμα ενός pd-patch. Συνθέτης εικόνας Η σύνθεση της εικόνας περιλαμβάνει τα GUI touch screen στοιχεία του patch που συνήθως χωρίζονται σε τρία μέρη περιμετρικά του αντικειμένου. Το δεξιό μέρος κατά βάση ελέγχει το βάρος της συμμετοχής του στοιχείου στον ήχο, οπότε αν πρόκειται για γεννήτρια ελέγχει το ύψος της φωνής (volume), αν πρόκειται για εφέ το βάρος συμμετοχής ή το ποσοστό παραμόρφωσης του ήχου (amount). Το αριστερό μέρος ελέγχει τη βασική παράμετρο του στοιχείου και μπορεί να συνδέεται με την περιστροφή του αντικειμένου, δηλαδή να έχει διπλό έλεγχο. Εάν πρόκειται για ταλαντωτή μπορεί να ελέγχει το ύψος (pitch), αν πρόκειται για looper τις λούπες (loops) που θα ακούγονται, για φίλτρα την συχνότητα αποκοπής κλπ. Στο κάτω μέρος του αντικειμένου τοποθετείται ένα σύμβολο κουμπί που θα ανοίξει το drop-down μενού του στοιχείου ώστε να ρυθμίσουμε δευτερεύουσες παραμέτρους του στοιχείου (58).

102 Εικόνα 68: Σύμβολα λειτουργιών των patch του reactable και προβαλλόμενες επιλογές αφής. Το sequencer του reactable. Επιπλέον ο συνθέτης εικόνας αναλαμβάνει να δείξει γραφικά τις συνδέσεις ροές σήματος και πληροφορίας (πχ. τις νότες του sequencer που οδεύουν στον ταλαντωτή) καθώς και οτιδήποτε επηρεάζει τον ήχο (πχ. τέμπο, μετρονόμος κ.α.), καθώς και το πραγματικό αποτέλεσμα της modular σύνθεσης. Έτσι ζωγραφίζει την κάθε κυματομορφή, όπως διαμορφώνεται από ένα στοιχείο, να οδεύει στο επόμενο που διαμορφώνει τον ήχο, μέχρι την τελική έξοδο που είναι το κέντρο του τραπεζιού. Επιπλέον ζώνες επιρροής, ροές πληροφορίας και χρονικά στοιχεία ζωγραφίζονται με τρόπο απλό και διαισθητικό έτσι ώστε να γίνεται άμεσα αντιληπτή η σύνδεση των γραφικών με τον ήχο και το αντικείμενο ελέγχου (58). Εικόνα 69: Στιγμιότυπα χρήσης του reactable. C και OpenGL Τα γραφικά σχεδιάζονται σε πραγματικό χρόνο με την βιβλιοθήκη OpenGL (Open Graphics Library), πιθανότατα γραμμένη σε «C» γλώσσα προγραμματισμού. Πρόκειται για μία βιβλιοθήκη γραφικών που λειτουργεί με όλες τις πλατφόρμες και τα λειτουργικά, ενώ μπορεί να χρησιμοποιηθεί από τις περισσότερες γλώσσες προγραμματισμού (C++, C, JavaScript, Java). Η δομή της περιέχει εντολές και συναρτήσεις που εκτελούνται απευθείας στην κάρτα γραφικών, έτσι ανάλογα το λειτουργικό, το πρόγραμμα και την κάρτα γραφικών (ελέγχει την έκδοση της OpenGL ώστε να είναι εκτελέσιμη), ο προγραμματιστής γράφει τον κώδικά του στην γλωσσά που επέλεξε και υποστηρίζει OpenGL φυσικά) περιλαμβάνοντας και τις αντίστοιχες εντολές γραφικής σύνθεσης. Η OpenGL χρησιμοποιείται για ανωτέρου επιπέδου γραφικά από προγράμματα εικονικής πραγματικότητας, συστήματα CAD, τρισδιάστατα βιντεοπαιχνίδια, προσομοιωτές πτήσεων κα. (76). Διαστάσεις του Reactable Reactable & μουσική παιδεία Έχουμε λοιπόν το πρώτο αντικείμενο στο τραπέζι, με το πρώτο οπτικό αποτέλεσμα και ίσως ήχο, ίσως όχι, ανάλογα το αντικείμενο που επιλέξαμε. Στην συνέχεια τοποθετούμε και άλλα αντικείμενα ώσπου παίρνουμε ήχο και ταυτόχρονα πιο ζωηρά γραφικά. Σηκώνουμε τα αντικείμενα από το τραπέζι και παύουν να επιδρούν, τα ανατοποθετούμε, τα μετακινούμε τα περιστρέφουμε, πατάμε με τα δάχτυλα μας τις γραφικές επιλογές και σιγά σιγά αντιλαμβανόμαστε πως λειτουργεί, βάση γειτνίασης και απόστασης από το κέντρο, η σύνδεση των αντικειμένων, καθώς και την

103 συμμετοχή του κάθε αντικειμένου στον ήχο (αυτό θα επηρεαστεί τόσο από τον αριθμό των χρηστών, όσο και από τον αριθμό των αντικειμένων που βρίσκονται πάνω στ τραπέζι). Η ύπαρξη πολλών αντικειμένων με λούπες και τα αντικείμενα sequencer θα συμβάλλουν δυναμικά στο να παραχθεί μουσική (ηλεκτρονικού ήχου), την οποία, οι χρήστες ξέρουν πως κάπως την ελέγχουν και θα είναι πολύ χαρούμενοι να βρουν το πώς το κάνουν και τι άλλο μπορούν να κάνουν, ώστε να νιώσουν τη χαρά της δημιουργίας και ταυτόχρονα της συνεργατικής αυθόρμητης μουσικής σύνθεσης (Jam) (63). Με το πέρασμα του χρόνου και «κατακτώντας» τον έλεγχο του reactable, ο χρήστης καταφέρνει να εκφραστεί μουσικά, δηλαδή να το χρησιμοποιεί σαν οποιοδήποτε όργανο. Να σημειώσουμε ότι η μουσική έκφραση μέσα από την χρήση ενός μουσικού οργάνου δεν προϋποθέτει σε κανένα βαθμό τη γνώση της μουσικής θεωρίας, γραφής και κανόνων αλλά την αίσθηση της καλλιτεχνικής δημιουργίας. Πολλοί μεγάλοι και διάσημοι μουσικοί δεν έμαθαν ποτέ τους νότες, αλλά ξεκίνησαν με ένα μουσικό όργανο στα χέρια τους σαν παιχνίδι, (βεβαίως το να ξέρεις και μουσική πάντα βοηθάει να ξεκινήσεις από κάποια βήματα παραπέρα, αλλά αυτό είναι φιλοσοφικό ζήτημα που δεν αφορά αυτόν την μελέτη!). Επιπλέον ο χρήστης για να το ελέγξει, μοιραία θα μάθει τους κανόνες της modular σύνθεσης, καθώς σε αυτούς βασίζεται το reactable, που αποτελούν και βασικές γνώσης της σύγχρονης ηλεκτρονικής μουσικής. Τέλος παρατηρώντας την μορφοποίηση των κυματομορφών σε σχέση με το στοιχείο εφαρμογής (πχ. flanger ή φίλτρο) και ταυτόχρονα το ηχητικό αποτέλεσμα, αντιλαμβάνεται και την φυσική δομή του ήχου, άρα και τον τρόπο λειτουργίας του. Γνώση που σπάνια διδάσκεται παράλληλα με την μουσική (60) (77). Συνεργατική μουσική Το reactable αποτελεί ηλεκτρονικό μουσικό όργανο που βασίζεται στην δικτυακή επικοινωνία των μερών του, βάση του TUIO πρωτοκόλλου, που βασίζεται στο OSC, ένα πρωτόκολλο επικοινωνίας μουσικών οργάνων και τεχνολογίας, που στόχο είχε τόσο να μεγιστοποιήσει τον αριθμό των ανταλλασσόμενων πληροφοριών (σε σχέση με τις - πεπερασμένου αριθμού- midi εντολές), όσο και να ελαχιστοποιήσει την καθυστέρηση της μεταφοράς (latency). Αν προσθέσουμε στα θετικά και την μορφή του που είναι σε συντακτικό URL διεύθυνσης, καταλαβαίνουμε ότι είναι ιδανικό τόσο για τοπική επικοινωνία μεταξύ των λογισμικών του υπολογιστή, όσο και για διαδικτυακή επικοινωνία δύο ηλεκτρονικών μουσικών οργάνων (62). Το γεγονός ότι η πληροφορία ελέγχου του reactable οργανώνεται σε TUIO πακέτα, επιτρέπει τον έλεγχο του οργάνου τόσο από το ίδιο, όσο και από ένα άλλο τραπέζι που βρίσκεται ακριβώς δίπλα του ή στην άλλη άκρη του κόσμου. Επιπλέον, TUIO εντολές μπορούν να αναπαραχθούν και από προσομοιωτές του Reactable ή να κωδικοποιηθούν σε TUIO μορφή εντολές midi. Έτσι, με τον σωστό προγραμματισμό μπορούμε να πετύχουμε πολλών ειδών επικοινωνίες μεταξύ μουσικών οργάνων, ανεξαρτήτως τοποθεσίας. Ένα reactable στην Γαλλία μπορεί να ελέγχει ένα άλλο στην Αργεντινή ώστε να αναπαράγεται το οπτικό feedback και ο ήχος και αντίστροφα ο Αργεντινός χρήστης να μεταβάλει τον ήχο μετ α δικά του tangible αντικείμενα και να ξαναστέλνει το feedback πίσω στον Γάλλο. Την ίδια στιγμή από την Γαλλία στέλνεται όλη αυτή η επικοινωνία σε ένα reactable στην Κίνα όπου ο Κινέζος χρήστης δεν μπορεί να τροποποιήσει τον ήχο που δέχεται, αλλά με έναν εξωτερικό ελεγκτή (ένα πιάνο ή μια κιθάρα) να παίξει κάτι που θα το επιστρέψει στους υπόλοιπους. Οι δυνατότητες είναι πολλές και με την πρόοδο της τεχνολογίας θα πολλαπλασιάζονται προς όφελος της μουσικής δημιουργίας! (62)

104 Εικόνα 70: Διάγραμμα τρόπων συνεργατικού παιξίματος με το reactable. Εικόνα 71: Στιγμιότυπο από συνεργατικό παίξιμο με το reactable, όπου τα προβαλλόμενα γεωμετρικά σχήματα αντικατοπτρίζουν τις επιλογές ενός άλλου χρήστη, από άλλο τραπέζι. Επιπρόσθετα και Επεκτάσεις Η πλατφόρμα του reactable αν και έχει αφήσει χώρο για επεκτάσεις του, είναι δύσκολο να αποκαλυφθεί στο κοινό και έτσι να αναπτυχθεί σε ανοιχτού λογισμικού όργανο. Παρόλα αυτά, η δομή του επιτρέπει να δημιουργήσουμε ιδέες επέκτασης και να τις εφαρμόσουμε ώστε να λειτουργούν σε πράξη. ScoreTable Μπορεί οι σχεδιαστικοί στόχοι του rectable να απαγόρευσαν την άμεση χρήση νοτών μουσικής γραφής και να αρκέστηκαν σε ένα sequencer, που όμως δεν παρέχει αρκετή πληροφορία ώστε να είναι δυνατή η αναπαραγωγή ολοκληρωμένης μελωδίας. Παρόλα αυτά το ερώτημα αν πρέπει ή όχι να χρησιμοποιούνται οι νότες, συνέχισε τα ταλανίζει τους δημιουργούς του. Έτσι, ορμώμενοι από το Audio D-Touch και χρησιμοποιώντας την πλατφόρμα του

105 reactable, ανέπτυξαν το scoretable (πεντάγραμμο). Πρόκειται ουσιαστικά για ένα sequencer που χρησιμοποιεί νότες του πενταγράμμου για να παράγει μελωδία. Ο χρήστης μπορεί δυναμικά να αλλάζει την μελωδία καθώς και να γράφει μουσική για διαφορετικά όργανα ή να το χρησιμοποιήσει σαν drum machine. Το scoretable συνδέεται με το reactable μέσω MIDI ή OSC μηνυμάτων και μπορεί να ελέγχει ανεξάρτητα διάφορους sequencers του reactable (78). Εικόνα 72: ScoreTable. Το reactable γίνεται παρτιτούρα με κυκλική ανάγνωση. Εικόνα 73: Συνεργασία reactable και scoretable. Το scoretable λειτουργεί ως sequencer για τα αντικείμενα του reactable. The new Tonalizer & Sequencer Πρόκειται για μια έρευνα / Δ.Ε., που επανασχεδιάζει δύο αντικείμενα που εμπλέκονται στο μελωδικό κομμάτι του ReacTable. Το tonalizer (δίνει τον τόνο / ύψος της νότας σύμφωνα με κάποια κλίμακα) και το sequencer που προσαρμόζεται στις επιλογές του tonalizer. Σκοπός τους είναι ο χρήστης να αρχίσει να αντιλαμβάνεται τη μουσική σύμφωνα με το ακουστικό feedback και ταυτόχρονα να μπορεί να εξερευνήσει τη μουσική θεωρία. Το σύστημα του περιορίζει τους τόνους, σε αυτούς που περιέχει η εκάστοτε επιλεγμένη κλίμακα (πχ. στην Φα μείζονα κλίμακα ακούγονται μόνο οι νότες Ντο, Ρε, Μι, Φα, Σολ, Λα και Λα#). Ταυτόχρονα αναπτύσσεται ο νεοτερισμός της ανάγνωσης γραφής από το reactable (διαβάζει το όνομα της συγχορδίας που γράφουμε πάνω στην επιφάνειά του) (76) (79).

106 Εικόνα 74: Ανάγνωση γραφής από το reactable. Το νέο tonalizer σου επιτρέπει να καθορίσεις μία κλίμακα και αυτό αυτόματα θα περιορίσει όλα τα αντικείμενα παραγωγής τονικού ήχου (ήχοι με διακριτό ύψος) στο να παράγουν μόνο τόνους της συγκεκριμένης κλίμακας. Επιπλέον ο χρήστης θα μπορεί να «γράφει» με το δάχτυλό του μία συγχορδία και μετά να επιλέγει την κλίμακα που θα παίζει το reactable μέσα από την λίστα κλιμάκων που εμπεριέχουν αυτήν την συγχορδία (76) (79). Εικόνα 75: Επιλογή κλίμακας μέσω γραφής της, από το tonalizer του reactable. Το νέο sequencer έχει τη μορφή ορθογώνιου επίπεδου όπου ο χ-άξονας δείχνει τον χρόνο / σειρά αναπαραγωγής των νότων, ενώ στον ψ-άξονα παρουσιάζονται μόνο οι επιτρεπτοί τόνοι της κλίμακας του tonalizer (πχ. αν επιλεχτεί κλασσική δυτική κλίμακα θα έχουμε 7 τόνους - γραμμές, αν επιλεχτεί τζαζ πεντατονική κλίμακα θα έχουμε 5 τόνους γραμμές) (76) (79).

107 Εικόνα 76: Ρυθμίζοντας το νέο sequencer του reactable. Extending Physical Computing On The Reactable Πρόκειται για άλλη μια Δ.Ε. που προτείνει μια hardware αναβάθμιση του reactable που σκοπό έχει να προσδώσει ακόμα μεγαλύτερο έλεγχο στα υπάρχοντα αντικείμενα, καθώς και χώρο για νέες ιδέες. Κατά αυτήν τοποθετούνται αισθητήρες αφής στην περίμετρο του τραπεζιού, που ανιχνεύουν το ρυθμικό χτύπημα, την ένταση της αφής του καθώς και την κίνηση και την γωνία πίεσης και τα μετατρέπει σε αριθμητικά δεδομένα, μέσω της πλατφόρμας Arduino, που προστίθεται στον έλεγχο των αντικειμένων (80). Εικόνα 77: Το αναβαθμισμένο τραπέζι του reactable, που φέρει αισθητήρες αφής, για ακόμα πιο διαδραστικό χειρισμό. Εικόνα 78: Σκελετός επικοινωνίας πληροφοριών και λογισμικού, του αναβαθμισμένου reactable. Το σύστημα αναπτύχθηκε επίσης εκτός πλατφόρμας reactable αλλά προσομοιώνει, με προγράμματα processing (γραφικών) και ενός Pure Data patch, ορισμένα αντικείμενά του (ταλαντωτές, γεννήτριες περιβάλλουσας, φίλτρα) ώστε να δώσει μερικά σενάρια χρήσης, όπως έλεγχος περιβάλλουσας σύμφωνα με την πίεση που ασκούμε στην πλευρά του ταλαντωτή κα. (79). Εικόνα 79: Στιγμιότυπα χρήσης του αναβαθμισμένου reactable.

108 Spyractable Πρωτότυπο synthesizer με χρήση πολυαπτικής επιφάνειας χρήστη (TUI). Στα προηγούμενα κεφάλαια μελετήσαμε πως «μορφοποιείται» ο ήχος, δηλαδή ποια φυσικά μεγέθη του καθορίζουν την αντίληψη του, ώστε να είναι διακριτός από τον άνθρωπο, καθώς και πως αυτό αποτυπώνεται σε οπτικό ανάλογο του ηχητικού κύματος. Επίσης αναλύσαμε τις μεθόδους και τις τεχνολογίες που αναπτύχθηκαν για να παραχθεί ήχος και να καθοριστούν επακριβώς τα φυσικά χαρακτηριστικά του, ώστε να πάρει την επιθυμητή μορφή, μέσω ειδικών συσκευών και λογισμικών ηλεκτρονικών υπολογιστών που ονομάζονται synthesizers. Επιπλέον, μελετήσαμε τον τομέα της τεχνολογίας πολυαπτικής επιφάνειας χρήστη (tangible user interface ή TUI), τα χαρακτηριστικά της στοιχεία και τα πλεονεκτήματά της, όσων αφορά τον τρόπο διάδρασης με τον χρήστη, την γρήγορη οικειοποίηση χειρισμού και την προσφορά της στην μάθηση. Επιπλέον μελετήσαμε την ποικιλία μορφών της και την χρήση της στην παραγωγή μουσικής, ενώ αναλύσαμε διεξοδικά το Reactable. Ένα μουσικό όργανο που συνέβαλε τα μέγιστα στην διάδοση και δημοσιοποίηση της TUI τεχνολογίας, χρησιμοποιώντας πρωτότυπα λογισμικά και μεθόδους, βασιζόμενο όμως σε παραδοσιακές αρχές ηχητικής και μουσικής σύνθεσης. Σε αυτό το κεφάλαιο θα μελετήσουμε πώς η TUI τεχνολογία, μέσω ανάλογης με το Reactable χρήσης, μπορεί να συνεισφέρει στον τομέα της σύνθεσης ήχων και τον έλεγχο των διάφορων παραμέτρων του. Γι' αυτό τον σκοπό θα αναπτύξουμε / σχεδιάσουμε μία πολυμεσική εφαρμογή που θα κάνει χρήση αυτής της τεχνολογίας. Στόχοι και βασικοί άξονες ανάπτυξης της εφαρμογής Στόχος αυτής της εφαρμογής είναι να μελετήσουμε κατά πόσο η TUI τεχνολογία διευκολύνει την διαδικασία σύνθεσης ήχων σε επίπεδο: Δυνατότητα ανάπτυξης ολοκληρωμένου ήχου. Δυνατότητα διαχείρισης διαφόρων μεθόδων σύνθεσης ήχων, τόσο ξεχωριστά μέσω modular σύνδεσης των κατάλληλων modules, όσο και δυνατότητα ανάπτυξης υβριδικών μεθόδων, με συνδυασμό σε modular σύνδεση διάφορων modules, που δεν συναντώνται απαραίτητα μαζί στα διάφορα synthesizers. Δυνατότητα διαμόρφωσης ήχου. Διευκόλυνση του πειραματισμού. Παροχή καθαρής εικόνας με στόχο την κατανόηση των ενεργειών του χρήστη, με πλήρη και ξεκάθαρο έλεγχο της διεπιφάνειας. Θέλουμε ο χρήστης να γνωρίζει εκ των προτέρων ότι οι ενέργειες του θα έχουν το επιθυμητό αποτέλεσμα και μόνο, και να αντιλαμβάνεται πλήρως τις ρυθμίσεις και συνδέσεις που επιφέρουν τον σχηματιζόμενο ήχο, ώστε να μπορεί να τις ελέγξει. Οικονομία χρόνου για τις παραπάνω περιπτώσεις. Εύκολη και γρήγορη μάθηση χειρισμού.

109 Χρήστες Ως χρήστες ορίζουμε όσους ασχολούνται με την σύνθεση ήχου με τη χρήση synthesizer, είτε οργάνων, είτε λογισμικών (VST's). Το γνωστικό επίπεδο του αντικειμένου μπορεί να ποικίλει ξεκινώντας από αρχάριους, που έχουν βασικές γνώσεις περί της σύνθεσης (πώς αυτή επιτυγχάνεται σε θεωρητικό επίπεδο και πώς συνεισφέρει το κάθε κύκλωμα / στοιχείο synthesizer στον ήχο) μέχρι επαγγελματίες που δημιουργούν ήχους (φυσικούς και μη φυσικούς) για χρήση σε ηχογραφήσεις ή σε συναυλίες / ζωντανές παραστάσεις. Σενάρια χρήσης Βασικά ζητούμενα λοιπόν από την εφαρμογή είναι ο χρήστης: Να μπορεί να δημιουργήσει συγκεκριμένο ήχο στόχο, με διάφορους τρόπους. Να πειραματιστεί με πολλούς και διάφορους τρόπους, έχοντας πάντα εικόνα της συνεισφοράς των ενεργειών του. Να αντιλαμβάνεται βήμα βήμα πως οι ενέργειες του επηρεάζουν τον ήχο. Να μπορεί να αναδημιουργήσει κάποιον ήχο από μηδενική βάση. Να μπορεί να χρησιμοποιήσει ποικίλες τεχνικές σύνθεσης ήχου. Να προσαρμόσει την εφαρμογή στις δικές ξεχωριστές ανάγκες. Σχεδιαστικές προδιαγραφές Γνωρίζοντας την θεωρία που υπάρχει πίσω από την ηχητική σύνθεση και την TUI τεχνολογία, και λαμβάνοντας υπόψη τα παραπάνω ζητούμενα, καταλήγουμε στις παρακάτω σχεδιαστικές προδιαγραφές, όπως αυτές προκύπτουν από τις απαιτήσεις ενός ανάλογου εγχειρήματος σε περιβάλλον πανεπιστημιακής έρευνας και ιεραρχημένες κατά σημαντικότητα ικανοποίησής τους. Χειρισμός με tangible user interface. Ανάπτυξη πρωτότυπου λογισμικού λειτουργίας της εφαρμογής. Δυνατότητα σύνθεσης ήχων με ποικίλες μεθόδους. Χειρισμός βασισμένος στην modular λογική σύνθεσης. Διαθέτει λειτουργίες δίχως πολύπλοκους χειρισμούς. Παροχή συνεχούς και επαρκούς ανάδρασης (feedback) για τις ενέργειες του χρήστη. Συμφωνία ηχητικής και οπτικής ανάδρασης. Διαθέτει απλή και διαισθητική χρήση. Παρέχει γρήγορη πρόσβαση σε όλες τις λειτουργίες / χειρισμούς / ρυθμίσεις του. Ιεραρχεί τους χειρισμούς σύμφωνα με τις ανάγκες του χρήστη. Χρήση λογισμικών ανοιχτού χαρακτήρα (open source). Εύκολα προσαρμόσιμο στις ανάγκες του χρήστη. Εύκολα επεκτάσιμο από τον χρήστη. Χρήση υλικών εύκολα προσβάσιμων. Διατήρηση χαμηλού κόστους. Για την ολοκλήρωση του synthesizer καταγράφουμε τις εξής ελάχιστες απαιτήσεις λειτουργίας:

110 Έλεγχος ύψους και διάρκειας συχνοτήτων από εξωτερικό ελεγκτή (κλαβιέ πιάνου, κιθάρα κ.α). Απεικόνιση των διαφόρων συνδέσεων κατά τα πρότυπα της modular συνθεσης. Ολοκλήρωση προσθετικής σύνθεσης (additive synthesizer). Ολοκλήρωση αφαιρετικής σύνθεσης (subtractive synthesizer). Ολοκλήρωση σύνθετη με χρήση μουσικών δειγμάτων (sample based synthesizer). Ολοκλήρωση σύνθετη με διαμόρφωση συχνότητας (frequency modulation synthesizer). Ολοκλήρωση κυκλώματος εφέ ήχου. Ολοκλήρωση κυκλώματος ενισχυτή ήχου. Ολοκλήρωση κυκλώματος φίλτρου ήχου. Ολοκλήρωση κυκλώματος μικροταλαντωτή ήχου (lfo). Ολοκλήρωση κυκλώματος γεννήτριας περιβάλλουσας για κάθε ήχο. Δεδομένου ότι η έρευνα βασίζεται στην λογική χρήσης ενός synthesizer στα πρότυπα χειρισμού του reactable, οφείλουμε να θέσουμε κάποιους σχεδιαστικούς περιορισμούς, έτσι ώστε το τελικό προϊόν να μπορεί να εξυπηρετήσει την έρευνά για την οποία δημιουργήθηκε, καθώς αυτή βασίζεται σε υποθέσεις που εξάγουμε, λαμβάνοντας υπόψη δεδομένα που αφορούν και ισχύουν για το reactable. Χρήση επίπεδης επιφάνειας εφαρμογής καθώς και απτών αντικειμένων (patches) και χειρισμών αφής. Οπτική ανάδραση όλων των λογικών συνδέσεων modular σύνθεσης και ροής του ηχητικού σήματος. Προβολή διαμόρφωσης ηχητικού σήματος (κυμματομορφή) από λογική μονάδα (modular synthesizer's module) σε λογική μονάδα. Ανάπτυξη με την λογική: ανάγνωση επιλογών χρήστη -> αναγνώριση λογικών συνδέσεων (connection manager)-> καθορισμός ήχου (sound synthesizer) + καθορισμός εικόνας (graphics synthesizer). Προφανής συσχετισμό απτών αντικειμένων (patches) και λογικών μονάδων διαμόρφωσης ήχου (κυκλώματα synthesizer / modular synthesizer's modules). Κάθε patch ελέγχει ένα συγκεκριμένο κύκλωμα (πχ. Ταλαντωτή, lfo, φίλτρο κλπ.). Ιδεασμός Χειρισμός: Χρήση απτών αντικειμένων (patches) που φέρουν συγκεκριμένες πληροφορίες και λειτουργίες, για τον καθορισμό συγκεκριμένων και προκαθορισμένων παραμέτρων. Τα αντικείμενα χειρισμού μπορούν να διαφέρουν σε: α) Μέγεθος, β) χρώμα, γ) σχήμα και δ) τρόπου χειρισμού, ανάλογα με τις ανάγκες της εφαρμογής. Πρωτότυπο λογισμικό λειτουργίας: Ανάπτυξη πρωτότυπων λογισμικών υπολογισμού χειρισμών καθώς και σύνθεσης ήχου και εικόνας. Ανάπτυξη πρωτότυπου λογισμικού που διαχειρίζεται υπάρχοντα λογισμικά και συσκευές σύνθεσης ήχου και εικόνας. Συνθέτης ήχου: Χρήση και ρύθμιση με osc ή midi μηνύματα υπαρχόντων μηχανών σύνθεσης (synthesizers ή VST).

111 Χρήση και ρύθμιση με osc ή midi μηνύματα πολλαπλών υπαρχόντων μηχανών σύνθεσης (synthesizers ή VST), ανάλογα με τις ανάγκες του χρήστη. Ανάπτυξη πρωτότυπου λογισμικού που υλοποιεί ένα synthesizer. Συνθέτης γραφικών: Χρήση γραφικών δανεισμένων από το Reactable ή κάποια άλλη σχετική εφαρμογή. Ανάπτυξη γραφικών σύμφωνα με τις ανάγκες της εφαρμογής. Επιλογές τρόπου σύνθεσης: Η σύνδεση των αντικειμένων πρέπει να γίνεται στα πρότυπα της modular σύνθεσης, δηλαδή σύνδεση λογικών μονάδων, που επιτελούν μια συγκεκριμένη διαμόρφωση στον ήχο, σε συγκεκριμένη σειρά σύνδεσης. Modular σύνθεση μπορούμε να θεωρήσουμε οποιαδήποτε σύνθεση εφόσον σε αυτή διακρίνονται οι σχέσεις των διαφόρων μονάδων διαμόρφωσης του ήχου (πχ. Ταλαντωτής φίλτρο κλπ.). Επιλογή συγκεκριμένου μεθόδου σύνθεσης (αρχιτεκτονικής) από προκαθορισμένο μενού και ρύθμιση σχετικών παραμέτρων για κάθε ήχο. Σε αυτήν την περίπτωση μπορούμε να αναπτύξουμε: 1. Μοναδικά ξεχωριστά patches (απτά αντικείμενα χειρισμού) για τις απαιτήσεις κάθε αρχιτεκτονικής καθώς και προκαθορισμός κάποιων κοινών. 2. Χρήση των ίδιων patches με λειτουργίες που προσαρμόζονται στην εκάστοτε μέθοδο σύνθεσης. Αναγνώριση τρόπου σύνθεσης και αυτόματη προσαρμογή των patches σε αυτόν. Κλασική Modular σύνθεση με patches συγκεκριμένων λειτουργιών. Ανάπτυξη patches που ολοκληρώνουν πρωτότυπους χειρισμούς σύνθεσης και καθορισμού παραγόντων του ήχου. Επιμερισμός αντικειμενικών, όπως αυτές συναντώνται στα TUI συστήματα και κυρίως στο Reactable (ελεγκτές, χειρισμός, αλληλεπίδραση): Patches (αντίστοιχα των fiducials) αντικείμενα χειρισμού ως φορείς συγκεκριμένης πληροφορίας. Κάθε patch φέρει την πληροφορία / αντιπροσωπεύει για έναν ολοκληρωμένο ήχο (εικ.80α). Κάθε patch φέρει την πληροφορία / αντιπροσωπεύει ένα στοιχείο / κύκλωμα synthesizer (εικ.80β). Κάθε patch διαχειρίζεται / ρυθμίζει παραμέτρους του ήχου (χρήση ως φυσικός ελεγκτής πχ. Ροοστάτης / ποτενσιόμετρο) (εικ80γ). Δεν χρησιμοποιούνται τα patches (εικ.80δ). Εικόνα 80: Σκίτσα ιδεασμού Τα patch ως φορείς πληροφορίας.

112 Τρόπος τοποθέτησης τρόπος αλληλεπίδρασης των patches. Τα patches αλληλεπιδρούν μεταξύ τους σύμφωνα με κανόνες γειτνίασης (εικ.81α). Τα patches αλληλεπιδρούν μεταξύ τους σύμφωνα με τη σχετική τους θέση στο επίπεδο (επιφάνεια εφαρμογής) (εικ.81β). Τα patch δεν αλληλεπιδρούν μεταξύ τους (εικ81γ). Εικόνα 81: Σκίτσα ιδεασμού Τρόπος αλληλεπίδρασης των patches. Χωρική διαχείριση των patches. Τα patches επιτελούν διαφορετικές λειτουργίες ανάλογα με τη θέση τους στο επίπεδο (εικ.82α). Η θέση των patches στο επίπεδο καθορίζει τις λειτουργίες τους / ρυθμίσεις τους (εικ.82β). Δεν έχει σημασία η θέση των patches στο επίπεδο / έχουν προκαθορισμένη λειτουργία (εικ.82γ). Εικόνα 82: Σκίτσα ιδεασμού Χωρική διαχείριση των patches. Διαχείριση της επιφάνειας εφαρμογής. Όλη η επιφάνεια, ή επιμέρους περιοχές της, καθορίζουν παράγοντες χειρισμού ) (εικ.83 αριστερά). Τα patches και οι πληροφορίες έχουν κυκλική ανάγνωση / τρόπο εφαρμογής (πχ. Reactable) (εικ.83 κέντρο). Τα patches και οι πληροφορίες έχουν γραμμική ανάγνωση / τρόπο εφαρμογής (οριζόντια ή κάθετη) (εικ.83 δεξιά).

113 Εικόνα 83: Σκίτσα ιδεασμού Διαχείριση επιφάνειας εφαρμογής. Τρόπος διαχείρισης χειρονομιών (touch & gesture λειτουργίες). Χρήση δαχτύλων σημειακά (επιστροφή σημείου) (εικ.84 αριστερά). Χρήση δαχτύλων για χειρονομίες (επιστροφή διαγραφόμενης τροχιάς) (εικ.84 δεξιά). Και τα δύο (εικ.84). Γραφικοί ελεγκτές Χρήση γραφικών κουμπιών. Χρήση γραφικών ροοστατών. Χρήση γραφικών χωρίων Χ-Υ ελεγκτών. radio buttons. Drop down menus. Χρήση λοιπόν γραφικών ελεγκτών. Εικόνα 84: Σκίτσα ιδεασμού Διαχείριση χειρονομιών Γραφικές οθόνες Χρήση γραφικών οθονών με παροχή πληροφοριών. Εικόνα 85: Σκίτσα ιδεασμού Γραφικές οθόνες (pop up).

114 Γραφική ανάδραση Χρωματική πληροφορία επιλογών (εικ.86 αριστερά). Προβολή κυματομορφών, όπως αυτές σχηματίζονται (εικ.86 δεξιά) Προβολή ροής σήματος, τεκταινόμενων συνδέσεων και λοιπών πληροφοριών (εικ.86 κάτω). Μηνύματα κειμένου Παροχή πληροφορίας δυνατών επιλογών. Παροχή πληροφορίας χρησιμοποιούμενων επιλογών. Παροχή πληροφορίας τιμών παραμέτρων. Μηνύματα προειδοποιήσεων. Κανένα μήνυμα κειμένου. Εικόνα 86: Σκίτσα ιδεασμού γραφική ανάδραση. Έλεγχος ύψους Έλεγχος ύψους και διάρκειας συχνοτήτων από εξωτερικό ελεγκτή (κλαβιέ πιάνου, κιθάρα κ.α). Συνεχής έλεγχος από τον εξωτερικό ελεγκτή. Επιλεκτικός έλεγχος από τον εξωτερικό ελεγκτή (εικ.87 1). Ανάπτυξη αντικειμένου που σηματοδοτεί ποιο ταλαντωτή θα ελέγχει ο εξωτερικός ελεγκτής συχνότητας. (εικ ) Τοποθέτηση γραφικού διακόπτη σε κάθε ταλαντωτή, για τον έλεγχο ή μη από τον εξωτερικό ελεγκτή (εικ ).

115 Interface ελέγχου λογική σύνδεσης Σχεδίαση ala Reactable Εικόνα 87: Σκίτσα ιδεασμού Έλεγχος ύψους κυματομορφών (pitch). Κάθε αντικείμενο διαθέτει τρεις άμεσους ελεγκτές περιστροφή του patch και δύο γραφικούς που το πλαισιώνουν, ενώ δευτερεύοντες παράμετροι ελέγχονται από γραφικούς ελεγκτές που εμφανίζονται ύστερα από επιλογή του χρήστη (πχ. Drop down menu). Η απόλυτη θέση του στην επιφάνεια εργασίας δεν καθορίζει κάποιο παράγοντα ήχου. Η σύνδεση των στοιχείων γίνεται μέσω γειτνίασης. Η τελική τους σύνδεση καθορίζει και κάποιο διάγραμμα synthesizer. Σημείο εξόδου αποτελεί το κέντρο της επιφάνειας εφαρμογής και διαθέτει κυκλική ανάγνωση. Η σύνδεση των στοιχείων απεικονίζεται με συνεχή κυματομορφή που κατευθύνεται από την έξοδο του ενός στοιχείο στην είσοδο του επόμενου. Πολλαπλά διαγράμματα synthesizer καθορίζουν νέο ήχο, που συντελεί σε ένα πολύπλοκο προσθετικής σύνθεσης (additive) synthesizer. Εικόνα 88 - Σκίτσα ιδεασμού Στήσιμο a la Reactable.

116 Σχεδίαση διαγράμματος synthesizer Ο χρήστης παρατάσσει τα διάφορα στοιχεία σε οριζόντια ανάγνωση. Η κυματομορφή σχηματίζεται σε ανοιχτό χώρο της οθόνης. Οι βασικοί παράμετροι του εκάστοτε στοιχείου ελέγχονται όπως και στην προηγούμενη περίπτωση με τον βασικό μέσω περιστροφής και άμεσων γραφικών ελεγκτών αλλά των δευτερευόντων μέσω επιπλέον γραφικών ελεγκτών σε εμφανές χωρίο του patch. Σχεδίαση δυναμικού διαγράμματος synthesizer Εικόνα 89: Σκίτσα ιδεασμού Σχεδίαση διαγράμματος synthesizer. Όπως και στη προηγούμενη περίπτωση, ο χρήστης με τα patches σχηματίζει το διάγραμμα του επιθυμητού synthesizer, σε οριζόντια ανάγνωση. Ο τρόπος ελέγχου των παραμέτρων δανείζεται την ala reactable ιδέα, καθώς οι έλεγχοι πάντα συνοδεύουν το patch, χωρίς χωρίο. Η σύνδεση των patches γίνεται άμεσα με προβολή κυματομορφών, όπως αυτές διαμορφώνονται από στοιχείο σε στοιχείο. Εικόνα 90: Σκίτσα ιδεασμού δυναμικό διάγραμμα synthesizer.

117 Πολλαπλά synthesizer Ιδέα μίξης του ala reactable επιφάνειας χρήστη και της διαγράμματος synthesizer, κατά την οποία σε ξεχωριστό χωρίο της επιφάνειας χρήστη στήνεται το διάγραμμα του synthesizer και ο τελικός ήχος ανατίθεται σε patch που ελέγχει τις γενικές παραμέτρους του ήχου (πχ. Ένταση, τελική γεν. Περιβάλλουσας. Οριζόντια ανάγνωση. Μπορεί να δημιουργηθούν επιπλέον ηχητικά patches με την προσθήκη δεύτερου patch και αναδιαμόρφωση των στοιχείων synthesizer στον σχετικό χώρο. Οι ρυθμίσεις προηγούμενων patches μπορούν να αποθηκεύονται και να προβάλλονται έτσι ώστε να τροποποιούνται. Πολλαπλά ηχητικά patches καθορίζουν νέο ήχο, που συντελεί σε πολύπλοκο προσθετικής σύνθεσης (additive) synthesizer. Οριζόντιο reactable Εικόνα 91: Σκίτσα ιδεασμού Πολλαπλά synthesizers. Κάθε αντικείμενο αποτελεί είτε στοιχείο / κύκλωμα synthesizer, είτε ελεγκτή γενικών / ομαδικών παραμέτρων (πχ. Συνολική ένταση ήχου). Κάθε αντικείμενο διαθέτει τρεις άμεσους ελεγκτές περιστροφή του patch και δύο γραφικούς που το πλαισιώνουν, ενώ δευτερεύοντες παράμετροι ελέγχονται από γραφικούς ελεγκτές που εμφανίζονται ύστερα από επιλογή του χρήστη (πχ. Drop down menu). Η απόλυτη θέση του στην επιφάνεια εργασίας δεν καθορίζει κάποιο παράγοντα ήχου. Ο χρήστης στήνει πολλαπλά διαγράμματα synthesizer όπου η ροή της πληροφορίας ταξιδεύει κατά την φορά της ανάγνωσης (αριστερά προς δεξιά). Η μεταβολή του ήχου από στοιχείο σε στοιχείο προβάλλεται με κυματομορφή, που υποδεικνύει και την σύνδεση. Πολλαπλά διαγράμματα synthesizer καθορίζουν νέο ήχο, που συντελεί σε ένα πολύπλοκο προσθετικής σύνθεσης (additive) synthesizer.

118 Εικόνα 92: Σκίτσα ιδεασμού Οριζόντιο synthesizer. Ολοκλήρωση προσθετικής σύνθεσης (additive synthesizer) Χρήση ημιτονοειδών ταλαντωτών, καθώς το ημιτονοειδές κύμα αποτελεί την βάση παραγωγής όλων των ήχων. Πολλά αντικείμενα ταλαντωτών με δική τους γεν. Περιβάλλουσας τοποθετημένα πάνω στο τραπέζι και αντικείμενο μείκτη για το τελικό αποτέλεσμα (εικ.93 1). Ένα αντικείμενο ταλαντωτή με δυνατότητα γραφικής ρύθμισης των παραγώγων αρμονικών σε ένταση και περιβάλλουσα (εικ.93 2). Εικόνα 93: Σκίτσα ιδεασμού Additive synthesizer. Ολοκλήρωση αφαιρετικής σύνθεσης (subtractive synthesizer) Ανάπτυξη και χρήση αντικειμένων φίλτρων για την μορφοποίηση υπαρχόντων σύνθετων κυματομορφών (εικ.94 1). Ανάπτυξη αντικειμένου ταλαντωτή θορύβου (περιέχει όλες τις συχνότητες) και γραφική ρύθμιση φίλτρων (εικ.94 2). Εικόνα 94: Σκίτσα ιδεασμού Subtractive synthesizer.

119 Ολοκλήρωση σύνθετη με χρήση μουσικών δειγμάτων (sample based synthesizer) Ανάπτυξη αντικειμένου ταλαντωτή που θα αναπαράγει ηχογραφημένα δείγματα. Ολοκλήρωση σύνθετη με διαμόρφωση συχνότητας (frequency modulation synthesizer). Ανάπτυξη αντικειμένου που θα παράγει διαμορφωμένο ήχο. Ο χρήστης θα επιλέγει ταλαντωτή διαμόρφωσης και φορέα, αναλογία συχνοτήτων και τον παράγοντα β αναλογίας εντάσεων (modulation index) (εικ.95 1). Ανάπτυξη αντικειμένου που θα διαμορφώνει την συχνότητα άλλων αντικειμένων ταλαντωτών. Ο χρήστης θα ρυθμίζει την ένταση του διαμορφωτή (άρα και παράγοντα β) και την αναλογία συχνοτήτων (εικ.95 2). Ολοκλήρωση κυκλώματος εφέ ήχου Εικόνα 95: Σκίτσα ιδεασμού frequency Modulation. Ανάπτυξη αντικειμένων εφέ ήχου, όπως delay, flanger, phaser, distortion. Ολοκλήρωση κυκλώματος ενισχυτή ήχου. Ανάπτυξη αντικειμένου ενισχυτή ήχου. Δυνατότητα ρύθμισης κέρδους και equalizer. Ολοκλήρωση κυκλώματος φίλτρου ήχου. Ανάπτυξη σειράς αντικειμένων που υλοποιούν κατωδιαβατό, ανωδιαβατό, ζωνοδιαβατό και αποκοπής ζώνης. Ανάπτυξη αντικειμένου που ολοκληρώνει όλα τα φίλτρα. Ο χρήστης σε περίπτωση πολλαπλών φίλτρων ο χρήστης καθορίζει την σειρά ροής του σήματος. Ολοκλήρωση κυκλώματος μικροταλαντωτή ήχου (lfo). Ανάπτυξη αντικειμένου μικροταλαντωτή που διαμορφώνει είτε συχνότητα ταλάντωσης, είτε πλάτος ταλάντωσης, είτε το κεντρικό μέγεθος του εκάστοτε αντικειμένου συντονισμού / σύνδεσης (εικ.96 2). Ανάπτυξη γραφικής οθόνης ρύθμισης εσωτερικού μικροταλαντωτή για κάθε αντικείμενο ξεχωριστά (εικ.96 1). Εικόνα 96: Σκίτσα ιδεασμού lfo.

120 Ολοκλήρωση κυκλώματος γεννήτριας περιβάλλουσας για κάθε ήχο Ανάπτυξη αντικειμένου ρύθμισης της γεν. Περιβάλλουσας κάθε αντικειμένου ξεχωριστά (εικ.97 1). Ανάπτυξη γραφικής οθόνης ελέγχου της γεν. Περιβάλλουσας για κάθε αντικείμενο (εικ.97 2). Εικόνα 97: Σκίτσα ιδεασμού Γεννήτρια Περιβάλλουσας. Επιλογή Ιδεών και ανάπτυξη Μηχανή ήχου Μηχανή ήχου επιλέγεται να αναπτυχθεί πρωτότυπο λογισμικό synthesizer, καθώς έτσι μπορούμε να ικανοποιήσουμε όλες τις δημιουργούμενες ανάγκες ενός χρήστη, χωρίς να φορτώνουμε το σύστημα με επιπλέον άχρηστες, προς εμάς λειτουργίες που φέρουν τα διάφορα synthesizers. Επιπλέον θα έπρεπε να αναζητηθεί synthesizer ελεύθερου λογισμικού, που ικανοποιεί όλες μας τις ανάγκες, τόσο σε θέματα σύνθεσης ήχου, όσο και επικοινωνίας μεταξύ των μερών της εφαρμογής μας. Interface ελέγχου Επιλέγουμε να αναπτύξουμε παράλληλα δύο διεπαφές σύνδεσης, τις ala reactable και οριζόντιο reactable. ala reactable : Προσφέρει την δυνατότητα να ερευνήσουμε την αρχική ιδέα (reactable) που ενέπνευσε και βοήθησε στην ανάπτυξη πολλών TUI εφαρμογών, καθώς αφενός έκανε τη TUI διάσημη στο ευρύ κοινό και αφετέρου συνείσφερε με πρωτότυπα λογισμικά και οδηγίες στην περαιτέρω ανάπτυξή του. Επιπλέον στόχος είναι να δούμε κατά πόσο μία τέτοια διάταξη μπορεί να συνεισφέρει σε μια πιο απαιτητική και συγκεκριμένη λειτουργία, που δεν προϋποθέτει, ούτε εξυπηρετείται συνήθως από πολλαπλούς χρήστες, κατά τις παραδοσιακές πρακτικές χειρισμού.

121 Εικόνα 98 : Κυκλική ανάγνωση επιφάνειας εφαρμογής. οριζόντιο reactable : Δεδομένου ότι η σύνθεση ήχου δεν μπορεί εκ των πραγμάτων να είναι ομαδική εργασία, καθώς απαιτεί ιδιαίτερη συγκέντρωση και έλεγχο των παραμέτρων για την επίτευξη ενός ήχου στόχου, ή πάλι σε περίπτωση εξερευνητικής χρήσης, ο συνθέτης δεν μπορεί να μοιραστεί με λόγια τον ήχο που έχει σχηματίσει στο μυαλό του. Προτιμούμε να σχεδιάσουμε διάταξη που θα την χειρίζεται ένα άτομο, συνήθως καθιστό, εφόσον τις περισσότερες φορές ο τόνος ελέγχεται από κλαβιέ πιάνου (midi keyboard). Σε αυτήν την περίπτωση η εργονομία προστάζει έλεγχο και ανάγνωση από την μία πλευρά της επιφάνειας εφαρμογής, προσφέροντας ταυτόχρονα τον περισσότερο χώρο εφαρμογής. Η επιλογή αυτής της διεπαφής προσφέρει την δυνατότητα του απόλυτου έλεγχου των παραμέτρων του ήχου και ταυτόχρονα ελευθερία χώρου. Επιπλέον δανείζεται το ευχάριστο μέρος από την διάταξη του reactable αφήνοντας την ελευθερία άμεσου πειραματισμού μέσω παιχνιδιού και δυνατότητα αντίληψης του λάθους και διόρθωσής του. Εικόνα 99: Οριζόντια ανάγνωση επιφάνειας εφαρμογής. Αντικείμενα ελέγχου ύψους και δυναμικής Έλεγχος ύψους και διάρκειας συχνοτήτων από εξωτερικό ελεγκτή (κλαβιέ πιάνου, κιθάρα κ.α). Επιλέγεται να υπάρχει επιλεκτικός έλεγχος από εξωτερικό ελεγκτή, καθώς αυτό συμβάλει στη βήμα βήμα κατανόηση της λειτουργίας του ήχου και των synthesizer. Η ενεργοποίηση του θα γίνεται από γραφικό ελεγκτή. Δεδομένου ότι φτιάχνουμε synthesizer, θέλουμε να ελέγχουμε όσο το δυνατόν περισσότερους ταλαντωτές, έτσι, η ύπαρξη αντικειμένων ενεργοποίησης αυξάνει τον όγκο διαχείρισης αντικειμένων για τον χρήστη σημαντικά και χωρίς λόγω.

122 Αντικείμενα σύνθεσης και διαμόρφωσης ήχων Ολοκλήρωση προσθετικής σύνθεσης (additive synthesizer): Αντικείμενο ταλαντωτή ημίτονου, όπου ο χρήστης, μέσω δευτερεύουσας οθόνης αφής, θα καθορίζει την ένταση των παραγώγων συχνοτήτων (αρμονικών) του ταλαντωτή. Η ρύθμιση ξεχωριστά των γεν. περιβάλλουσας κρίνεται μη απαραίτητο για το σκοπό ανάπτυξής του synthesizer και απορρίπτεται. Ο χρήστης ελέγχει άμεσα με περιστροφή την συχνότητα και με γραφικούς ελεγκτές την ένταση. Ολοκλήρωση αφαιρετικής σύνθεσης (subtractive synthesizer): Αποφασίζεται η ανάπτυξη αντικειμένου ταλαντωτή θορύβου. Η αφαίρεση συχνοτήτων θα επιτευχθεί με την χρήση των αντικειμένων φίλτρων. Η ύπαρξη ταλαντωτή θορύβου επιταχύνει τις διαδικασίες δημιουργίας ήχου και επιπλέον συνεισφέρει στην ευκολότερη κατανόηση της λειτουργίας της αφαιρετικής μεθόδου, εφόσον μειώνει την πολυπλοκότητα του συστήματος αφαιρετικής σύνθεσης (σε αντίθετη περίπτωση θα έπρεπε πρώτα να δημιουργήσουμε έναν σύνθετο ήχο με επιπλέον αντικείμενα. Γεγονός που ίσως μπέρδευε τους άπυρους χρήστες). Η περιστροφή του αντικειμένου ταλαντωτή θορύβου ορίζει το πλάτος ταλάντωσης (ένταση) του. Ολοκλήρωση σύνθετη με χρήση μουσικών δειγμάτων (sample based synthesizer): Ανάπτυξη αντικειμένου όπου το σήμα συγκεκριμένης συχνότητας, ενεργοποιεί και αναπαράγει ηχογραφημένο ήχο αντίστοιχης συχνότητας. Ολοκλήρωση σύνθετη με διαμόρφωση συχνότητας (frequency modulation synthesizer): Ανάπτυξη αντικειμένου που έχει το ρόλο διαμορφωτή και διαμορφώνει την συχνότητα άλλων ταλαντωτών. Το σήμα ταλάντωσης θα είναι ημιτονοειδές και η συχνότητα θα διαμορφώνεται αυτόματα σε σχέση με την συχνότητα του συνδεδεμένου ταλαντωτή φορέα. Ο χρήστης με περιστροφή θα καθορίζει την ένταση του διαμορφωτή (άρα και αντίστοιχα παράγοντας β ή modulation index). Με χρήση γραφικών ελεγκτών θα καθορίζεται η αναλογία συχνοτήτων. Ολοκλήρωση κυκλώματος εφέ ήχου: Ανάπτυξη ενός αντικειμένου που υλοποιεί κατ' επιλογή διαφορετικά εφέ. Επιλέγουμε εφέ flanger και chorus καθώς χρησιμοποιούν παρόμοιες μεθόδους διαμόρφωσης του σήματος και έχουν κοινές παραμέτρους ρύθμισης. Ολοκλήρωση κυκλώματος ενισχυτή ήχου: Ανάπτυξη αντικειμένου που ενισχύει τον ήχο και δέχεται διαμόρφωση από μικροταλαντωτή (lfo). Ολοκλήρωση κυκλώματος φίλτρου ήχου: Ανάπτυξη αντικειμένου όπου ο χρήστης θα επιλέγει ανάμεσα σε 3 διαφορετικά φίλτρα (ανωδιαβατό, κατωδιαβατό και ζωνοδιαβατό). Με περιστροφή του αντικειμένου ελέγχεται η συχνότητα αποκοπής και με γραφικούς ελεγκτές το είδος του φίλτρου και το εύρος του (Q ή resonance). Ολοκλήρωση κυκλώματος μικροταλαντωτή ήχου (lfo): Ανάπτυξη αντικειμένου μικροταλαντωτή το οποίο θα συνδέεται σε ταλαντωτές και ενισχυτή και θα διαμορφώνει αντίστοιχα συχνότητα και ένταση. Ο χρήστης με περιστροφή επιλέγει την συχνότητα ταλάντωσης και με γραφικούς ελεγκτές το ποσοστό συμμετοχής και το είδος της κυματομορφής. Ολοκλήρωση κυκλώματος γεννήτριας περιβάλλουσας για κάθε ήχο: Αποφασίζεται ο καθορισμός της γεννήτριας περιβάλλουσας για κάθε αντικείμενο που χρειάζεται να διαθέτει μία, να ρυθμίζεται με δευτερεύοντες στην εμφάνιση γραφικούς ελεγκτές. Δεδομένου δε ότι έχει άμεση σχέση με τον έλεγχο της διάρκειας ενός τόνου, συγχωνεύεται η ενεργοποίησή της με την ενεργοποίηση του εξωτερικού ελεγκτή συχνότητας.

123 Επιπλέον αντικείμενα Επιπλέον για να αναδείξουμε την δυνατότητα τροποποίησης και προσαρμογής στις ανάγκες του εκάστοτε χρήστη, θα δημιουργήσουμε 4 επιπλέον αντικείμενα: Ένα αντικείμενο εισαγωγής ήχου από μικρόφωνο. Ένα ταλαντωτή ποικίλων συχνοτήτων (ημιτονοειδή, τριγωνικό, πριονωτό και παλμού). Ένα παραγωγό μουσικών ρυθμικών δειγμάτων συνεχούς κύκλου (sampleplayer) για να δίνει ρυθμό (ως είθισται να υπάρχει σε όλα τα synthesizer αλλά και στο reactable). Ένα αντικείμενο που υλοποιεί εφέ delay. Γι' αυτά τα αντικείμενα δεν θα δώσουμε βάρος στην χρηστικότητα, αλλά στην ποικιλία ελέγχου και δυνατοτήτων που μας προσφέρει μια τέτοια διάταξη. Ανάπτυξη Η λογική διαχείρισης και καθορισμού της εικόνας και του ήχου θα δανειστεί την αρχιτεκτονική του Reactable, καθώς θα δημιουργήσουμε έναν κεντρικό διαχειριστή, ο οποίος σύμφωνα με τα τεκταινόμενα στο τραπέζι και τις επιλογές του χρήστη σε ότι αφορά την σύνδεση των διαφόρων κυκλωμάτων, θα καθορίζει ξεχωριστά τη σύνδεση του ήχου και την σύνδεση των γραφικών. Οι επιλογές των πρωτευόντων παραμέτρων θα καθορίζονται άμεσα από τα απτά αντικείμενα ελέγχου (patches) και σταθερούς γραφικούς ελεγκτές (έλεγχος αφής) που τα συνοδεύουν. Οι δευτερεύοντες παράμετροι (μη άμεσα αριθμήσιμες) θα καθορίζονται με αφή του τραπεζιού και δευτερεύοντα, αναδυόμενα παράθυρα και γραφικούς ελεγκτές. Η ιεράρχηση των παραμέτρων και η ανάθεσή τους στους διάφορους ελεγκτές, θα πρέπει να μπορεί να καθοριστεί / τροποποιηθεί από τον χρήστη σχεδιαστή. Δεδομένου ότι σχεδιάζεται για να είναι προσαρμόσιμο στους χρήστες του, δεν θα τηρηθεί αυστηρή ομοιομορφία τρόπου ελέγχου για κοινές παραμέτρους ελέγχου (πχ. ένταση ταλαντωτή) σε όλα τα «στοιχεία» (patches) του synthesizer που θα κατασκευάσουμε, αλλά θα υπάρξει ποικιλία και καθορισμός σύμφωνα με την ιεράρχηση της ανάγκης άμεσης αλλαγής της τιμής κάποιας παραμέτρου, αναλόγως του στοιχείου, όπως κρίνουμε εμείς απαραίτητο. Λογισμικό Υλικό Εργαλεία ανάπτυξης: Processing Pd vanilla portaudio με βιβλιοθήκες: fullscreen, midibus, TUIO_processing, picking, puredatap5 (libpd ή pdlib). με βιβλιοθήκες: rjdj, zexy, soundtouch~, mmb. JACK (Jack Audio Connection Kit) TUIO simulator *reactivision 1.4 Η ανάπτυξη του προγράμματος έγινε σε λειτουργικό σύστημα Mac OS X Snow Leopard. Μπορεί κάλλιστα να λειτουργήσει τόσο σε windows όσο και σε ubuntu / linux.

124 Προτιμήθηκε το Mac OS X για την φημολογούμενη σταθερότητά του, καθώς και για την ευκολία εγκατάστασης προγραμμάτων και χειρισμού. Πιθανότατα να αντιμετωπιστούν προβλήματα σε windows περιβάλλον κατά την εγκατάσταση της βιβλιοθήκης puredatap5 (libpd) καθώς δεν υπάρχει αρχείο εγκατάστασης για windows και πρέπει να το δημιουργήσει ο χρήστης σε περιβάλλον linux, χωρίς επίσημες οδηγίες από τους εκδότες της βιβλιοθήκης. Processing Η processing αποτελεί γλώσσα γραμμικού προγραμματισμού, περιβάλλον ανάπτυξης γραφικών ιδεών (sketchbook software) και ολοκληρωμένων εφαρμογών καθώς και μέθοδο μάθησης προγραμματισμού, με προσανατολισμό στα γραφικά, όλα σε ένα ολοκληρωμένο σύστημα. Αναπτύχθηκε το 2001 στο Massachusetts Institute of Technology Media Lab (MIT), από τους φοιτητές Casey Reas και Benjamin Fry που συμμετείχαν στο Aesthetics and Computation Group (Ερευνητική ομάδα με θέμα Αισθητική και Υπολογιστική ολοκλήρωση ) υπό τον καθηγητή John Maeda. Στόχος τους ήταν να αναπτυχθεί ένα λογισμικό που θα βοηθάει τους αρχάριους σε θέματα προγραμματισμού, να μάθουν τα βασικά του προγραμματισμού, λειτουργώντας με κάποιο λογισμικό που δίνει έμφαση στα γραφικά και την αλληλεπίδραση και ταυτόχρονα να μπορέσουν, μέσω αυτού, να αναπτύξουν εύκολα και γρήγορα πρωτότυπα προγράμματα, που σχετίζονται με τον χώρο των γραφικών τεχνών και της διάδρασης, χωρίς να χαόνονται στους άπειρους κώδικες των διαφόρων γλωσσών προγραμματισμού. Το αποτέλεσμα ήταν μια γλώσσα προγραμματισμού, απόγονο των LOGO και Design by Numbers, με βάση την Java, αλλά με απλοποιημένο συντακτικό και προσανατολισμένη στον γραφικό προγραμματισμό, ενώ τρέχει σε δικό της compiler (81) (82). Ο χρήστης μπορεί, με τη χρήση ενός tutorial, εύκολα και γρήγορα, να δημιουργήσει και να τροποποιεί, κατά την διάρκεια του χρόνου, εικόνες και κινούμενα σκίτσα σε 2D και 3D χώρους. Επίσης του δίνεται η δυνατότητα να χρησιμοποιήσει τον αντικειμενοστραφή προγραμματισμό με opengl εντολές και να ελέγχει το αποτέλεσμα με διάφορους ελεγκτές (από ποντίκι και πληκτρολόγιο μέχρι tangible αντικείμενα και κινήσεις προσώπου) καθώς το σύστημά αλληλεπιδρά μέσω διαδικτύου. Οι δυνατότητες της processing διαρκώς αυξάνονται καθώς διάφορες βιβλιοθήκες πολλαπλασιάζουν τις δυνατότητές της, τόσο σε αντικείμενο γραφικών τεχνών, όσο και σε θέματα δικτυακής επικοινωνίας και επικοινωνίας με άλλα προγράμματα και αρχεία, σύνθεσης ήχου, προσομοίωσης, Computer Vision κα. Επιπλέον δύνεται η δυνατότητα δημιουργίας «αυτόνομου» προγράμματος σε περιβάλλοντα Java, JavaScript, android, ενώ μπορεί να εισάγει και να εξάγει αρχεία διαφόρων CAD και 3D rendering προγραμμάτων (81) (82). Εκδόσεις της Processing έχουν βγει και με την μορφή βιβλιοθήκης για διάφορους compilers (eclipse, JavaScript library: processing.js, Spde κα.), καθώς και εκδόσεις για ανάπτυξη εφαρμογών για κινητά (Mobile Processing, iprocessing κα.) (83) Χρησιμοποιούμε την έκδοση processing (γνωστή και ως processing 5) διότι πρόκειται για την μόνη σταθερή έκδοση που υποστηρίζει την picking βιβλιοθήκη. Τρόπος λειτουργίας: Κάθε Processing sketch, δηλαδή ένα σύνολο κώδικα, που μπορεί να αποτελεί από μία και μόνο εντολή σχεδιασμού μίας γραμμής μέχρι κάποιο διαδικτυακό 3D παιχνίδι, είναι ουσιαστικά μια υποκλάση της Java κλάσης PApplet (βασική κλάση της processing) και ότι αντικείμενο ή εντολές δημιουργούμε αναγνωρίζονται σαν εσωτερικές κλάσεις της PApplet. Έτσι ουσιαστικά δημιουργούνται μέθοδοι και εντολές της PApplet κλάσης που λειτουργούν ως ο συντακτικό της processing. Η λογική γραφής και το συντακτικό είναι Java, αλλά η διατύπωση των εντολών σχεδιασμού βασικών αντικειμένων θυμίζει opengl. Ο προγραμματιστής, συνήθως στο sketch (χώρος γραφής κώδικα), χρησιμοποιεί δύο βασικές μεθόδους: Την setup() και την draw(). Η πρώτη θα διαβαστεί αυστηρά μία και μόνο φορά από τον compiler του προγράμματος ενώ η δεύτερη μπορεί να διαβάζεται σε συνεχή λούπα. Αυτό μας δίνει την δυνατότητα να ορίσουμε κάποια σταθερά δεδομένα, όπως το μέγεθος του «καμβά» ενώ ταυτόχρονα να αλλάζουμε, με

125 διάφορους ελεγκτές ή προγραμματιστικές λούπες τα μη σταθερά δεδομένα (πχ. θέτουμε μέγεθος οθόνης σταθερό 400Χ300 pixels στην setup() μέθοδο και ζωγραφίζουμε έναν κύκλο που το κέντρο του είναι ο κέρσορας του ποντικιού, οπότε κάθε φορά που ξαναδιαβάζεται η εντολή «ζωγράφισε κύκλο( )» στην draw() να θέτει σαν κέντρο το εκάστοτε σημείο του κέρσορα, δημιουργώντας κίνηση. Το σύστημα συντεταγμένων της ακολουθεί αυτό της οθόνες, δηλαδή η αρχή των αξόνων βρίσκεται στην πάνω αριστερά γωνία του καμβά, ενώ τα θετικά x εκτείνονται προς τα δεξιά και τα θετικά y προς τα κάτω. Οι μοίρες αυξάνονται δεξιόστροφα (81) (82). Εικόνα 100: Τρόπος λειτουργίας της processing. Βιβλιοθήκες: Fullscreen: Βιβλιοθήκη που μετατρέπει στις οθόνες της processing να προβάλλονται σε λειτουργία πλήρους οθόνης. Η χρήση γίνεται με κουμπιά από το πληκτρολόγιο (shortcuts) ή με απευθείας εντολές μέσα στο πρόγραμμα, ενώ προβλέπει και για λειτουργία με δύο οθόνες συνδεδεμένες στον υπολογιστή (84). MidiBus: Midi βιβλιοθήκη για την processing. Παρέχει έναν γρήγορο και απλό τρόπο χρήσης και αλληλεπίδρασης με εγκατεστημένα midi συστήματα. Η MidiBus δημιουργήθηκε για Midi εφαρμογές πραγματικού χρόνου. Διαθέτει δυνατές MIDI I/O δυνατότητες, ενώ διατηρεί τα «κολλήματα» στο ελάχιστο δυνατό ποσοστό (85). TUIO_Processing: Βιβλιοθήκη που παραλαμβάνει TUI πακέτα και τα μετατρέπει σε Java αντικείμενα του δισδιάστατου (2D) χώρου, για την processing. Διαθέτει κλάσεις διαχείρισης του TUIO χρόνου και TUIO σημείου, που κατηγοριοποιείται σε κέρσορα και αντικείμενο (fiducial). Η διαχείριση / αποκωδικοποίηση των TUIO πακέτων γίνεται μέσω κλάσης σε μορφή πελάτη (client) με σχέση «server client» με το πρόγραμμα αποστολής των TUIO πακέτων (86).

126 Picking: Βιβλιοθήκη που κάνει δυνατό την Object Picking στην processing. Object Picking καλείται μια διαδικασία, που χρησιμοποιείται από την OpenGL, για να διαλέγουμε με το ποντίκι ή οποιοδήποτε ελεγκτή γραφικά αντικείμενα στον δισδιάστατο (2D) και τρισδιάστατο χώρο (3D). Κατά την object picking διαβάζονται τα αντικείμενα που βρίσκονται πίσω από το ίχνος του ελεγκτή (σημείο(x,y)) και επιστρέφει αυτό με το μικρότερο βάθος (διάσταση z) δηλαδή αυτό που ζωγραφίζεται πάνω πάνω και φαίνεται στην οθόνη (87). puredatap5 (libpd): Η puredatap5 είναι η ολοκληρωμένη έκδοση της libpd βιβλιοθήκης για την processing. Η libpd αποτελεί ένα εικονικό περιβάλλον της Pure Data, έτσι ώστε να είναι δυνατή η ενσωμάτωσή της σε διάφορες εφαρμογές και προγράμματα. Ουσιαστικά είναι μία βιβλιοθήκη η οποία διαβάζει τα Pure Data αρχεία. Στην πράξη εκτελεί και ανταλλάσσει δεδομένα με τα Pure Data patches, ενσωματώνοντάς τα στον εκάστοτε κώδικα της γλώσσας προγραμματισμού που την χρησιμοποιεί. Αυτό σημαίνει ότι δεν είναι απαραίτητη η εγκατάσταση της Pure Data εφόσον η libpd είναι το κομμάτι της εκτέλεσης της Pure Data (δηλαδή χωρίς το κομμάτι δημιουργίας και το γραφικό περιβάλλον της (edit mode)). Η παρούσα έκδοση είναι συμβατή με την έκδοση pd vanilla της pure data, όσων αφορά τα αντικείμενα που μπορεί να εκτελέσει, ενώ πρέπει να γίνεται δοκιμή για να ελεγχθεί ποιες βιβλιοθήκες της Pure Data είναι συμβατές με την libpd και ποιες όχι. Το κομμάτι του ήχου εκτελείται από το portaudio. Παρέχονται 2 εκδόσεις της libpd για τη processing, η puredatap5 και η pdp5 που οι διαφορές τους έγκεινται στο ότι η puredatap5 είναι η open source έκδοση της (δέχεται μετατροπές στον κώδικα) ενώ η pdp5 είναι μονάχα εκτελέσιμη από την processing. Έχουν εκδοθεί εγκαταστήσιμα αρχεία (binaries) μόνο για Mac και Linux λογισμικά, αν και είναι δυνατή η μετατροπή του κώδικα ώστε να εκτελείται και σε windows περιβάλλον, καθώς είναι κώδικας ανοιχτού λογισμικού (88). Pd vanilla Βασική έκδοση της Pure Data. Επιλέχτηκε για την δημιουργία των pd patches (συνθέτης ήχου) συμβατών με την pdlib (89). Βιβλιοθήκες: rjdj, zexy, soundtouch~, mmb: Βιβλιοθήκες με έτοιμα αντικείμενα και patches για την παραγωγή ήχων και οργάνωση της ροής πληροφορίας και σήματος. portaudio Πρόκειται για μία δωρεάν βιβλιοθήκη για την δημιουργία και εκτέλεση ήχου από δεδομένα (audio I/O library). Η portaudio παρέχει ένα απλό API για να αναπαράγει ή να ηχογραφεί ήχο, χρησιμοποιώντας μια απλή αναδρομική συνάρτηση. Χρησιμοποιείται από την libpd για την υλοποίηση του ήχου. Τα δεδομένα μεταφέρονται στην portaudio μέσω του προγράμματος JACK, ενώ εκτελείται στο παρασκήνιο (δεν είναι φανερή προς τον χρήστη η λειτουργία του). Διατίθεται σε εκδόσεις για όλα τα λειτουργικά προγράμματα (90). JACK Audio Connection Kit Το Jack Audio Connection Kit (ή απλά JACK) είναι ένα πρόγραμμα για διαχείριση σε πραγματικό χρόνο ήχου και MIDI με την ελάχιστη δυνατή καθυστέρηση (low latency system). Λειτουργεί ως server ήχου και δρα στο παρασκήνιο. Η κύρια λειτουργία του είναι να θέτει σε επικοινωνία όσα προγράμματα (από την πλειάδα που υποστηρίζει) διαθέτουν είσοδο ή έξοδο ήχου (audio I/O). Με το Jack μπορείς να στέλνεις τον ήχο του προγράμματος Α στο πρόγραμμα Β, και από το Β στο Γ, υλοποιώντας κατά κάποιο τρόπο έναν μίκτη / router των προγραμμάτων ήχου, συγχρονίζοντας τα ώστε να λειτουργούν ταυτόχρονα με την ελάχιστη δυνατή καθυστέρηση (χρησιμοποιείται και ως γέφυρα για γρηγορότερες συνδέσεις μεταξύ προγραμμάτων και API s, που ούτως ή άλλως επικοινωνούσαν). Επιπλέον διαθέτει audio API για την δημιουργία του ήχου καθώς και μεθόδους για σύνδεση μέσω δικτύου. Διατίθενται εκδόσεις για όλα

127 τα λειτουργικά καθώς και επιπρόσθετες διεπιφάνειες χρήστη για καλύτερο χειρισμό. Χρησιμοποιείται η τελευταία έκδοση του (91) Εικόνα 101: Οθόνες ελέγχου του Jack Audio. TUIO simulator Πρόκειται για ένα Java Application ανοικτού κώδικα, που εκτελείται από όλα τα λογισμικά (αρκεί να διαθέτουν και σχετικό πρόγραμμα εκτέλεσης). Προσομοιάζει μία επιφάνεια πολυαπτικού τραπεζιού που διαβάζεται από reactivision. Ο χρήστης μπορεί, με το ποντίκι και το πληκτρολόγιο, να τοποθετεί fiducials και κέρσορα (ίχνος δαχτύλου) πάνω στο τραπέζι, να τα σέρνει, να τα στριφογυρίζει και να τα αφαιρεί. Το σύστημα δημιουργεί και στέλνει τα σχετικά TUIO πακέτα / μηνύματα στην θύρα 3333 του υπολογιστή που εκτελείται. Το μειονέκτημα του είναι ότι βλέπεις μόνο το σχήμα των fiducial και το ίχνος του κέρσορα πάνω σε μία λευκή επιφάνεια (Πρέπει να «μαντέψεις» που είναι πιθανά γραφικά κουμπιά και περιοχές του συστήματος που ελέγχεις. Επιπλέον παρέχει γραμμικό time multiplexed έλεγχο (χειρίζεσαι μόνο μία κίνηση ενός μόνο αντικειμένου αφού όλα γίνονται κυρίως με το ποντίκι). Παρέχεται επίσης αρχείο και οδηγίες ώστε να θέσει ο χρήστης σχήμα, χρώμα και αριθμό των fiducial που θέλει να χρησιμοποιήσει καθώς και τη αρχική θέση τους μέσα ή έξω από το τραπέζι. Χρησιμοποιήθηκε μόνο για αποσφαλμάτωση (debugging), στα πρώτα στάδια της σχεδίασης (86). Εικόνα 102: Το Tuio Simulator. reactivision 1.4 Τελευταία έκδοση του reactivision. Η λειτουργία του αναλύθηκε σε προηγούμενο κεφάλαιο (92).

128 Ολοκλήρωση Περιγραφή ανεπτυγμένου λογισμικού συστήματος Βασική διάρθρωση Μέσω κάμερας και reactivision (ή TUIO simulator) ορίζεται ο προσανατολισμός των patch που βρίσκονται στην επιφάνεια εφαρμογής (οθόνη), και αποστέλλεται στην θύρα 3333 του υπολογιστή. Χρησιμοποιώντας MIDI Keyboard που συνδέεται μέσω USB (ή μπορούμε και μέσω κάρτας ήχου και MIDI σύνδεσης), αποστέλλονται midi μηνύματα στον υπολογιστή, που ελέγχουν εξωτερικά το ύψος και τη διάρκεια κάθε τόνου. Εικόνα 103:1 η ολοκληρωμένη υλοποίηση του Spyractable. Τα ανωτέρω δεδομένα συλλέγονται από την εφαρμογή, που αναπτύχθηκε σε processing γλώσσα, μέσω των σχετικών βιβλιοθηκών (TUIO_Processing και midibus αντίστοιχα). Διακριτό μέρος του processing κώδικα υλοποιεί τον διαχειριστή σύνδεσης (connection manager). Ο κυρίως υπόλοιπος κώδικας αποτελεί τον συνθέτη γραφικών. Ο συνθέτης ήχου υλοποιείται μέσα στην processing από την libpd βιβλιοθήκη. Αυτό υποδηλώνει ότι σε σχετικό φάκελο ( data ) έχουν τοποθετηθεί τα pd patches που δημιουργούν τον ήχο και οι σχετικές βιβλιοθήκες που χρησιμοποιούνται. Ο ήχος δημιουργείται ουσιαστικά εκτός processing στο portaudio, αλλά ελέγχεται πλήρως από τα δεδομένα που παράγει η processing. Μέρος του processing κώδικα, που λειτουργεί μέσα στο διακριτό μέρος του συνθέτη γραφικών, στέλνει δεδομένα τιμών στον συνθέτη του ήχου και αντίστροφα ο συνθέτης του ήχου στέλνει τα δεδομένα των δημιουργούμενων κυμματομορφών στον συνθέτη των γραφικών.

129 Διάγραμμα 23: Λογισμική διάρθρωση του Spyractable. Το σύστημα φαίνεται να ολοκληρώνεται από ένα ενιαίο Java κώδικα που εκτελείται από ένα και μόνο πρόγραμμα (στην επιφάνεια τουλάχιστον, υποστηριζόμενο από άλλα προγράμματα που εκτελούνται στο παρασκήνιο). Η διάκριση, λοιπόν, ανάμεσα στα κομμάτια του δεν είναι 100% καθαρή. Κάποια μέρη του κώδικα αποτελούν τον διαχειριστή σύνδεσης, κάποια τον συνθέτη των γραφικών και κάποια αποτελούν μέρος του συνθέτη ήχου. Αν και υπάρχει γραμμική ανάγνωση του κώδικα (γραμμή προς γραμμή), τελικά και τα τρία μέρη λειτουργούν παράλληλα και σχεδόν ανεξάρτητα το ένα από το άλλο. Η αλλαγή τιμής ενός γραφικού slider δεν επηρεάζει τον διαχειριστή σύνδεσης, αλλά σηματοδοτεί την ανεξάρτητη αλλαγή της ένδειξης του slider, αλλά και την αλλαγή ενός παράγοντα του ήχου, που θα επηρεάσει αντιστοίχως τη γραφική κυματομορφή. Η μετακίνηση ενός patch πάνω στην οθόνη θα ελεγχθεί από τον διαχειριστή σύνδεσης, θα επηρεάσει τα γραφικά αλλά δεν είναι σίγουρο ότι θα επηρεάσει τον ήχο. Και οι δύο παραπάνω περιπτώσεις προϋποθέτουν ότι θα αναγνωσθεί ο ίδιος κώδικας πολλές φορές και είτε θα υπάρξουν αλλαγές στα δεδομένα που θα επηρεάσουν οποιοδήποτε από τα τρία μέρη, είτε θα επιβεβαιωθεί η σταθερή κατάσταση στην οποία βρίσκεται το σύστημα. Γι' αυτό τον λόγο θα παρουσιαστούν τα κομμάτια του συστήματος, ξέχωρα από τον κώδικα, ως λειτουργίες του συστήματος, ακόμα και αν αυτό σημαίνει ότι μιλάμε για την ανάγνωση των ίδιων γραμμών κώδικα στην κάθε περίπτωση. Διαχειριστής Σύνδεσης (connection manager) Σημειώσεις Πριν περιγράψουμε τον τρόπο λειτουργίας, θα πρέπει να εξηγήσουμε τις βασικές μεθόδους του συστήματος που δίνουν τις απαραίτητες δομές / πληροφορίες για την σύνδεση, καθώς και τα βασικά αντικείμενα που αποτελούν τους «κρίκους» στις αλυσίδες ήχου και εικόνας. Βιβλιοθήκη TUIO Επιστρέφει όπως είπαμε πληροφορίες του δισδιάστατου χώρου (2D) για TUIO αντικείμενα (fiducials) και κέρσορες (δάχτυλα). Ο τρόπος που επιτυγχάνεται αυτό είναι να δημιουργηθεί ένα αντικείμενο που υλοποιεί έναν «πελάτη» (client), καθώς η σχέση αποστολής TUIO μηνυμάτων είναι σχέση «εξυπηρετητή πελάτη» (server client). Ο «πελάτης» μέσω έξι μεθόδων που καλούνται όποτε συμβαίνει κάτι πάνω στην επιφάνεια του τραπεζιού, αναλόγως της κατάστασης, μεταδίδει τις παραπάνω πληροφορίες ως εξής:

130 addtuioobject(tuioobject tobj): Μέθοδος που καλείτε αυτόματα όποτε κάποιο καινούριο fiducial τοποθετείται στο «τραπέζι», και επιστρέφει αυτό το «αντικείμενο» (TuioObject) από όπου μπορούμε να αντλήσουμε όλες τις πληροφορίες θέσης, κίνησης, κατάστασης κλπ. που αφορούν αυτό το fiducial. removetuioobject(tuioobject tobj): Μέθοδος που καλείτε αυτόματα όποτε κάποιο fiducial αφαιρείται στο τραπέζι και επιστρέφει αυτό το αντικείμενο (TuioObject) από όπου μπορούμε να αντλήσουμε τις τελευταίες πληροφορίες θέσης, κίνησης, κατάστασης κλπ. που το αφορούσαν, πριν αυτό αφαιρεθεί. updatetuioobject(tuioobject tobj) ): Μέθοδος που καλείτε αυτόματα όποτε κάποιο fiducial μετακινείται πάνω στο «τραπέζι», και επιστρέφει αυτό το «αντικείμενο» (TuioObject) από όπου μπορούμε να αντλήσουμε όλες τις πληροφορίες θέσης, κίνησης, κατάστασης κλπ. που αφορούν αυτό το fiducial. addtuiocursor(tuiocursor tcur) ): Μέθοδος που καλείτε αυτόματα όποτε κάποιο δάχτυλο (πληροφορία «κέρσορα») ακουμπά πρώτη φορά το «τραπέζι», και επιστρέφει αυτό το «αντικείμενο» (TuioCursor) από όπου μπορούμε να αντλήσουμε όλες τις πληροφορίες θέσης, κίνησης, κατάστασης κλπ. που αφορούν αυτόν τον κέρσορα. removetuiocursor(tuiocursor tcur): Μέθοδος που καλείτε αυτόματα όποτε κάποιο δάχτυλο (πληροφορία «κέρσορα») αφαιρείται από το «τραπέζι», και επιστρέφει αυτό το «αντικείμενο» (TuioCursor) από όπου μπορούμε να αντλήσουμε τις τελευταίες πληροφορίες θέσης, κίνησης, κατάστασης κλπ. που το αφορούσαν, πριν αυτό αφαιρεθεί. updatetuiocursor(tuiocursor tcur): Μέθοδος που καλείτε αυτόματα όποτε κάποιο δάχτυλο μετακινείται πάνω στο «τραπέζι», και επιστρέφει αυτό το «αντικείμενο» (TuioCursor) από όπου μπορούμε να αντλήσουμε όλες τις πληροφορίες θέσης, κίνησης, κατάστασης κλπ. που αφορούν αυτόν τον κέρσορα. refresh(tuiotime bundletime): Μέθοδος που καλείται αυτόματα όποτε ολοκληρώνεται η παράδοση ενός TUIO πακέτου (bundle), και επιστρέφει τον χρόνο αυτό σε αντικείμενο χρόνου, έτσι ώστε να είναι εύκολη η επεξεργασία του σαν δεδομένο. Όλες οι παραπάνω μέθοδοι σηματοδοτούν μια κατάσταση αλλαγής ή ενέργειας πάνω στην επιφάνεια εφαρμογής, από τον χρήστη. Το σύστημα χρησιμοποιεί αυτές τις πληροφορίες για να ελέγξει την κατάσταση που δημιουργείται πάνω στο τραπέζι, άρα και να ρυθμίζει τις συνδέσεις καθώς και να ελέγξει τις ρυθμίσεις παραμέτρων. Ο διαχειριστής σύνδεσης εισαγάγει τα δεδομένα των tuio αντικειμένων (TuioObject), και αναλόγως αν πρόκειται για αντικείμενο (fiducial patch) που είτε προστέθηκε, είτε αφαιρέθηκε, είτε μετακινήθηκε πάνω στην επιφάνεια και αναλόγως ποιο είναι αυτό (σε ποιο patch κύκλωμα synthesizer αντιστοιχίζεται, βάση του μοναδικού νούμερου ταυτότητας - symbol_id). Οπτική Σύνδεση (κομμάτι του συνθέτη γραφικών / Graphics synthesizer) Για την οπτική σύνδεση, δηλαδή την απεικόνιση της ροής σήματος με την μορφή κυματομορφής μεταξύ των patches, έχει δημιουργηθεί μία κλάση / αντικείμενο που καλείται waver. Κάθε patch έχει τον δικό του waver ο οποίος εισαγάγει, μέσω της libpd βιβλιοθήκης, τις διαμορφούμενες τιμές της κυματομορφής, που δίνει το patch στην έξοδό του, σε μορφή πίνακα. Η μέθοδος θα ζωγραφίσει την κυματομορφή, από τα στοιχεία του πίνακα, και με κατεύθυνση από το σημείο που βρίσκεται το patch του waver μέχρι το σημείο που βρίσκεται το patch που θέλουμε να συνδεθεί. Ο διαχειριστής σύνδεσης, μέσω τις μεθόδου setnewreceiver(tuioobject newreceiver) του waver, θέτει σε κάθε waver το TuioObject (.. / fiducial / patch / κύκλωμα synthesizer) στόχο που πρέπει να στείλει το σήμα του. Ο waver τίθεται σε ισχύει και λειτουργεί για όση ώρα είναι το αντίστοιχο αντικείμενο στο τραπέζι και παύει μόλις αυτό αφαιρεθεί. Ηχητική σύνδεση (κομμάτι του συνθέτη ήχου / sound synthesizer) Για την ηχητική σύνδεση, δηλαδή τον τρόπο ροής του σήματος μέσα από τα διάφορα pd patches, που υλοποιούν τα κυκλώματα του synthesizer, μέχρι την τελική έξοδο, ο τρόπος σύνδεσης λειτουργεί περίπου όπως και η σύνδεση των γραφικών. Κάθε pure data στοιχείο, που υλοποιεί ένα κύκλωμα synthesizer, δίνει την έξοδό του (ηχητικό σήμα) σε ένα

131 pd αντικείμενο που καλείται demultiplex~. Αυτό το αντικείμενο έχει μία είσοδο σήματος και πολλές εξόδους σήματος (1 έως n). Το σήμα θα διαρρεύσει από την έξοδο που θα του ορίσουμε. Κάθε pd αντικείμενο λοιπόν έχει ως εξόδους όλους τους πιθανούς στόχους αντικείμενα. Ταυτόχρονα διαθέτει και ένα αντικείμενο δέκτη των απεσταλμένων δεδομένων, συνδεδεμένο στο [demultiplex~] του (αντικείμενο [receive όνομα_δέκτη ] ή [r όνομα_δέκτη ] ). Ο διαχειριστής σύνδεσης, αφού αποφασίσει το pd αντικείμενο κύκλωμα synthesizer «στόχο», μέσω της pdlib βιβλιοθήκης αποστέλλει στο «receive αντικείμενο» του αντίστοιχου στοιχείου, το νούμερο εξόδου. Πχ. Αν στον [demultiplex~] του ταλαντωτή η έξοδος προς τα ηχεία είναι η No.3 και η έξοδος προς τον ενισχυτή είναι η No.2, τότε αν θέλουμε να στείλουμε το σήμα ηχεία, θα στείλει η processing, μέσω libpd, στον δέκτη του ταλαντωτή το νούμερο 3 και αν θέλουμε το σήμα να πάει στον ενισχυτή, το νούμερο 2. Το αντικείμενο δέκτης (receive.. ) με τη σειρά του θα θέσει την αντίστοιχη έξοδο στο [demultiplex~] και έτσι θα οδηγηθεί το σήμα. Για λόγους ευκολίας, για κάθε TuioObject που χρησιμοποιείται, αντιστοιχίζουμε το αντίστοιχο id του στην ίδια θύρα εξόδου των [demultiplex~]. Η έξοδος μηδέν (0) δεν καταλήγει πουθενά και χρησιμοποιείται όταν το αντίστοιχο patch δεν θέλουμε να χρησιμοποιείται (είναι εκτός τραπεζιού). Εικόνα 104: Γραφική σύνδεση του Spyractable. Το patch «7» «στέλνει» το σήμα του στο «1» και αυτό με τη σειρά του στο κέντρο έξοδο ήχου («3»). Αντιστοίχως το «6» στέλνει το σήμα του στο «5» και αυτό με την σειρά του επίσης στην έξοδο («3»). Ομάδες αντικειμένων (patches) Τα patches είναι τα tangible αντικείμενα που μαζί με τα δάχτυλα ελέγχουν τον synthesizer που αναπτύσσουμε. Πρόκειται ουσιαστικά για τους ελεγκτές του συστήματος. Στην πράξη κάθε patch στέλνει τα tuio - δεδομένα του στην processing, η οποία θα τα επεξεργαστεί, θα καθορίσει και θα αποθηκεύσει τα δεδομένα αυτά σε μεταβλητές αντικειμένων. Τα αντικείμενα αυτά με την σειρά τους θα ελέγχουν την σύνδεση των modular αλυσίδων και θα δίνουν εντολές δημιουργίας και επεξεργασίας του ήχου στο pd-patch του συνθέτη ήχου και εντολές σχεδίασης γραφικών στο μέρος της processing που υλοποιεί τον συνθέτη γραφικών. Τα patches λειτουργικά, χωρίζονται σε 3 ομάδες:

132 Η 1η ομάδα περιλαμβάνει τα αντικείμενα που έχουν είσοδο και έξοδο του σήματος και καταλαμβάνουν τις θέσεις αντικειμένων με fiducials που οι αριθμοί τους ξεκινάν από το 1 και ανεβαίνουν ανά βήμα, εκτός του fiducial 3 που δεν χρησιμοποιείται. Στο παρών σύστημα έχουμε τις αντιστοιχίες ενισχυτής-1, πολυεφέ-2, φίλτρο-4 και εφέ delay-5. Στη 2η ομάδα ανήκουν τα αντικείμενα που έχουν μόνο έξοδο, δηλαδή αυτά που παράγουν ήχο, πάλι με αρίθμηση βήματος. Στο παρών σύστημα έχουμε τις αντιστοιχίες sample player-31, ταλαντωτής ημιτόνου-32, ταλαντωτής θορύβου-33 και ήχος από μικρόφωνο-34, πολυταλαντωτής-35 και multisample bass-36. Για να ορίσουμε στον κώδικα αυτή την αλλαγή θέτουμε την σταθερά objseperator που παίρνει την τιμή του πρώτου αντικειμένου παραγωγής ήχου (sampleplayer-31). Αυτή και η πρώτη ομάδα που περιγράψαμε αποτελούν τα στοιχεία που μπαίνουν στις σχηματιζόμενες αλυσίδες / ακολουθίες που φτιάχνουμε (chainable). Και τις δύο μαζί τις ξεχωρίζουμε για το σύστημα με την σταθερά indobjseperator. Η 3η ομάδα αποτελείται από τα ανεξάρτητα patches που δεν εμπλέκονται στο modular σύστημα σύνδεσης αλλά συνδέονται ανεξάρτητα (πχ. lfo s, γεννήτριες περιβάλλουσας) ή ελέγχουν γενικές παραμέτρους του συστήματος (πχ. master volume, tempo κα.). αναλόγως πως το έχει αποφασίσει ο σχεδιαστής / προγραμματιστής. Τα αντικείμενα των δύο πρώτων λιστών (κυκλώματα synthesizer και παραγωγοί ήχου) είναι και αυτά που παίρνουν μέρος στην modular σύνθεση του ήχου, δηλαδή αυτά που συνδέονται μεταξύ τους σε «αλυσίδες», ώστε να παραχθεί ο επιθυμητός ήχος. Κατά τη σύνδεση τα αντικείμενα κυκλώματα synthesizer της 1ης ομάδας μπορούν είτε να λαμβάνουν σήμα τόσο από έναν παραγωγό ήχου (αντικείμενα 2ης ομάδας) είτε από ένα άλλο ομοειδές τους (αντικείμενα 1ης ομάδας). Στην συνέχεια το σήμα θα διοχετευτεί είτε σε ομοειδές τους, είτε στην έξοδο. Τα αντικείμενα της δεύτερης ομάδας δεν λαμβάνουν σήμα από κανένα άλλο αντικείμενο των δύο πρώτων ομάδων, αλλά δύναται να λαμβάνουν σήμα από κάποιο της 3ης ομάδας, κατόπιν σχεδιασμού. Παραδείγματος χάριν στο περιγραφόμενο σύστημα ο ημιτονοειδής ταλαντωτής λαμβάνει σήμα από τον διαμορφωτή και το lfo και ο ενισχυτής από το lfo. Όλα τα αντικείμενα έχουν αναπτυχθεί και λειτουργούν με την ίδια λογική: Είναι ενεργά με την έναρξη του προγράμματος. Για κάθε patch που ανιχνεύεται σε κάποιο σημείο του τραπεζιού, μεταφέρονται τα tuio δεδομένα, ώστε να καθοριστούν οι παράμετροι της εικόνας και του ήχου που ελέγχει το patch, και να δοθούν οι εντολές της modular σύνδεσης στον συνθέτη του ήχου. Ταυτόχρονα ενεργοποιούνται οι εντολές απεικονίσεις των ανάλογων δεδομένων του patch στον συνθέτη των γραφικών και αποστέλλονται οι εντολές που θέτουν τις παραμέτρους του αντίστοιχου pd-patch / κυκλώματος synthesizer στον συνθέτη του ήχου. Όσο βρίσκεται αυτό στο τραπέζι τα παραπάνω δεδομένα και παράμετροι ανανεώνονται συνεχώς, είτε αλλάζοντας την διαμορφούμενη κατάσταση, είτε απλά επιβεβαιώνοντας την. Όταν απομακρύνουμε από το τραπέζι ένα patch, τότε δίνεται εντολή επανασύνδεσης των patches με ανάλογο τρόπο της νέας τους κατάστασης, δεν διαβάζονται οι εντολές δημιουργίας εικόνας που το αφορούν και αποσυνδέεται από τις αλυσίδες που δημιουργούν ήχο στο pd patch. Παρόλα αυτά τα δεδομένα θέσης και παραμέτρων της τελευταίας θέσης του patch, που αφορούν τα γραφικά του, παραμένουν αποθηκευμένα στις μεταβλητές σου συστήματος, όπως και το αντικείμενο παραμένει ενεργό στο pd patch με τα ίδια δεδομένα. Απλά δεν δίνουμε εντολές απεικόνισης του και σύνδεση που το οδηγεί το σήμα του προς τα ηχεία. Μεθοδολογία σύνδεσης Έχουν αναπτυχθεί 2 διαφορετικοί τρόποι σύνδεσης. Ένας για κυκλική ανάγνωση του τραπεζιού (έξοδος στο κέντρο, όπως και στο reactable) και ένας για γραμμική (μία θέση ανάγνωσης και φορά ανάγνωσης από αριστερά προς τα δεξιά). Και οι δύο τρόπου χρησιμοποιούν τους παραπάνω τρόπους σύνδεσης του ήχου και της εικόνας, αλλά ακολουθούν τελείως διαφορετική λογική απόφασης των συνδέσεων. Με αυτό τον τρόπο αποδεικνύεται ότι ένα οποιοδήποτε παρόμοιο σύστημα, μπορεί να αναπτυχθεί με ξεχωριστή λογική σύνδεσης των στοιχείων του, ανάλογα με τις επιθυμίες των σχεδιαστών του. Στην συνέχεια περιγράφεται η λογική ανάπτυξης του λογισμικού βάση του

133 τρόπου λειτουργίας. Αναφέρονται βασικά «αντικείμενα» και «εργαλεία» που χρησιμοποιούνται, χωρίς εμβάθυνση στην ακριβή λειτουργία του κώδικα. Ο ακριβής τρόπος λειτουργίας του κώδικα και των αλγόριθμων περιέχεται στα προγράμματα (spyractable_main_512 και tuio_synth_4) ως σχόλια. Κυκλική ανάγνωση (έκδοση spyractable_main_512 ) Σημείωση: Εξ αρχής δημιουργούμε στον κώδικα της processing ένα TUIO αντικείμενο (TuioObject) με μοναδικό αριθμό ταυτότητας το «3» και θέση το κέντρο του τραπεζιού. Γι αυτό το αντικείμενο δεν θα φτιάξουμε patch με το fiducial_3 καθώς θέλουμε να είναι σταθερό στο κέντρο που το ορίσαμε. Το αντικείμενο αυτό καλείται Out και αποτελεί την έξοδο. Εκεί καταλήγει οποιαδήποτε διαμορφούμενη κυματομορφή που ακούγεται και αντιστοίχως, στο pd patch είναι το pd-αντικείμενο εξόδου ([dac~]) που στέλνει τον ήχο στα ηχεία (διεύθυνση 3 στα demultiplex~). Τι σύστημα λειτουργεί με ζεύγη αντικειμένων. Κάθε ζεύγος αποτελείται από ένα αντικείμενο «πομπό» το οποίο θα διοχετεύσει το σήμα του (συνθέτης ήχου) και θα κατευθύνει την γραφική κυματομορφή του (συνθέτης γραφικών) προς το αντικείμενο «πομπό» κατά τρόπο που περιγράψαμε νωρίτερα. Κάθε ζεύγος διαβάζεται από δύο λίστες, την males, όπου αποθηκεύονται τα αντικείμενα «πομποί», και τη females, όπου αποθηκεύονται τα αντικείμενα «δέκτες». Τα αντικείμενα ίδιου δείκτη σε κάθε λίστα αποτελούν το ζεύγος. Κάθε αντικείμενο που είναι συνδεδεμένο στην «έξοδο» (αντικείμενο out ) συμπληρώνει ένα ζεύγος όπου αυτό είναι στη θέση του males - πομπών και το αντικείμενο out στην θέση του females - δέκτη. Κάθε πομπός συνδέεται με έναν δέκτη, αλλά ένας δέκτης μπορεί να λαμβάνει σήμα από πολλούς πομπούς, ανάλογα με την διάταξη που δημιουργείται πάνω στο τραπέζι. Αυτό έχει και ως αποτέλεσμα η λίστα males με τους πομπούς να αποτελεί και λίστα όλων των αντικειμένων που βρίσκονται πάνω στο τραπέζι. Οι λίστες αυτές χρησιμοποιούνται για να προβάλουν την κατάσταση των συνδέσεων πάνω στο τραπέζι. Η διαχείριση τους δεν επηρεάζει την σύνθεση της εικόνας και του ήχου, αλλά είναι απαραίτητες στους ελέγχους σύνδεσης. Οποιοδήποτε αλλαγή στις λίστες αυτές δεν επηρεάζει την τρέχουσα κατάσταση του συστήματος, αλλά την κατάστασή του μετά τον επόμενο έλεγχο του διαχειριστή σύνδεσης. Οπότε ο διαχειριστής σύνδεσης φτιάχνει ξεχωριστά τον ήχο (συνθέτης ήχου), ξεχωριστά την εικόνα (συνθέτης γραφικών) και ξεχωριστά αποθηκεύει την κατάσταση συνδέσεων για τον επόμενο έλεγχο σύνδεσης. Πρόσθεση αντικειμένου στο τραπέζι Έλεγχος Κάθε αντικείμενο που προστίθεται πάνω στο τραπέζι, αναγνωρίζεται και ελέγχεται από τον διαχειριστή σύνδεσης εάν ανήκει στις συνδέσιμες ομάδες αντικειμένων (ομάδα 1η και 2η όπως προ-περιγράφτηκαν), ώστε να ελέγξει πού συνδέεται. Πρώτα ελέγχεται εάν είναι το πρώτο αντικείμενο που «ανεβαίνει» στο τραπέζι (η males είναι άδεια!). Εάν ναι, τότε δημιουργείται μία νέα σύνδεση με την έξοδο. Όταν δεν είναι το πρώτο αντικείμενο τότε ελέγχεται που μπορεί να συνδεθεί. Υπάρχουν δύο έλεγχοι: 1) Ο έλεγχος για σύνδεση με ένα αντικείμενο και 2) Ο έλεγχος σύνδεσης ανάμεσα σε δύο συνδεδεμένα αντικείμενα. 1) Έλεγχος σύνδεσης με ένα αντικείμενο: Κατά αυτόν τον έλεγχο, παίρνουμε την λίστα όλων των αντικειμένων που είναι πάνω στο τραπέζι ( males ) και φιλτράρουμε τους παραγωγούς ήχου (καθώς δεν μπορούν να αποτελούν δέκτες). Μετά ελέγχεται εάν το νεοεισελθέν αντικείμενο είναι σε μεγαλύτερη απόσταση από το κέντρο ως προς το ελεγχόμενο αντικείμενο τις φιλτραρισμένης λίστας, καθώς θέλουμε την ροή να μην «σπάει» αλλά να δημιουργείται βήμα βήμα από «έξω προς τα μέσα του τραπεζιού». Εάν περάσει και αυτός ο έλεγχος τότε ελέγχεται εάν είναι αρκετά κοντά στο αντικείμενο αυτό («στην γειτονιά του») ώστε να δικαιολογείται σύνδεση. Από την λίστα θα διαλεχτεί το αντικείμενο που πληρεί τις προϋποθέσεις και ταυτόχρονα διατηρεί την μικρότερη απόσταση με το νεοεισελθέν αντικείμενο.

134 2) Έλεγχος σύνδεσης εμβόλιμα σε υπάρχον ζεύγος: Κατά αυτόν τον έλεγχο, παίρνουμε από τις λίστες ζευγών ( males και females ) με τη σειρά τα ζευγάρια και ελέγχεται εάν η κάθετη απόσταση του νεοεισελθόντος αντικειμένου από το ευθύγραμμο τμήμα που σχηματίζει το ζευγάρι είναι αρκετά μικρή, ώστε να δικαιολογείται η εμβόλιμη σύνδεση και εάν το ίχνος της απόστασης αυτής τέμνει το ευθύγραμμο τμήμα (αλλιώς οπτικά φαίνεται πιο «μέσα» το συνδεόμενο αντικείμενο από τον δέκτη. Από τα ζευγάρια που πληρούν τις προϋποθέσεις, θα επιλεχτεί αυτό που διατηρεί την μικρότερη απόσταση. Ο ελεγκτής σύνδεσης θα συγκρίνει την απόσταση του νεοεισελθόντος αντικειμένου από το κοντινότερο αντικείμενο, με αυτή από το κοντινότερο ζεύγος και θα δώσει εντολή σύνδεσης στην επιλογή με την μικρότερη απόσταση. Στην περίπτωση που δεν υπάρχει τόσο αντικείμενο, όσο και ζεύγος για να επιτευχτεί σύνδεση, τότε ο ελεγκτής σύνδεσης δίνει εντολή σύνδεσης με την «έξοδο» (αντικείμενο Out ). Σύνδεση Όταν πρόκειται για σύνδεση στην «έξοδο», τότε: 1) Προστίθεται το αντικείμενο στην λίστα males με τους πομπούς και το αντικείμενο out στην λίστα males με τους δέκτες. 2) Αποστέλλεται στο [demultiplex~] του αντικειμένου το νούμερο 3 (τρία). Έτσι δίνεται εντολή αποστολής του σήματος του pd-patch του αντικειμένου προς την έξοδο (ηχεία). Δίνεται εντολή στον waver του αντικειμένου να σχεδιάσει την κυματομορφή του αντικειμένου προς το κέντρο (αντικείμενο out ). Όταν πρόκειται για σύνδεση με αντικείμενο, τότε: 1) Προστίθεται το νεοεισελθέν αντικείμενο στην λίστα males των πομπών και το αντικείμενο, με το οποίο συνδέεται, στην λίστα females. 2) Αποστέλλεται στο [demultiplex~] του νεοεισαχθέντος αντικειμένου το νούμερο εξόδου του δέκτη του σήματός του (ίδιο με το symbol_id του αντιστοίχου fiducial). Έτσι το σήμα του πομπού περνά από την επεξεργασία του δέκτη. 3) Δίνεται εντολή στον waver του πομπού να σχεδιάσει την κυματομορφή του προς την θέση του δέκτη. Όταν πρόκειται για σύνδεση εμβόλιμα σε συνδεδεμένο ζεύγος αντικειμένων, τότε: 1)Αφαιρούμε το ζεύγος και στην θέση του προσθέτουμε δύο ζεύγη όπου στο 1ο πομπός είναι ο πομπός του ζεύγος και δέκτης το νεοεισελθέν αντικείμενο και στο 2ο πομπός είναι το νεοεισελθέν αντικείμενο και δέκτης ο δέκτης του ζεύγους. 2) Ανακατευθύνουμε το σήμα του πομπού του ζεύγους προς την είσοδο του pd-patch του νεοεισελθόντος αντικειμένου και την έξοδο του δεύτερου προς την είσοδο σήματος του δέκτη του ζεύγους (σύνθεση ήχου). 3) Δίνουμε «στόχο» στον waver του πομπού του ζεύγους, το νεοεισελθέν αντικείμενο και στον waver του νεοεισελθόντος αντικειμένου τον δέκτη του ζεύγους.

135 Εικόνα 105: Χωρική σύζευξη μέσω γειτνίασης: Το εμφανιζόμενο patch στην περίπτωση 1 βρίσκεται πιο πίσω (μακρύτερα από την έξοδο) από το υπάρχον patch παραγωγής ήχου. Οπότε δεν μπορεί να συνδεθεί με αυτό. Στην περίπτωση 2, όμως και είναι κοντινότερα στην έξοδο και σε κοντινή απόσταση από την ροή του σήματος του patch παραγωγής ήχου, οπότε δέχεται το σήμα αυτού και αφού το επεξεργαστεί, το διοχετεύει στην έξοδο. Εικόνα 106:Χωρική σύζευξη μέσω γειτνίασης: Το νεοεισήλθεν patch στην θέση 1 είναι κοντινότερα στο patch sampleplayer (κίτρινο περίγραμμα), από ότι στο patch fx (γαλάζιο) οπότε θα παρεμβληθεί του σήματος του Sampleplayer. Στην περίπτωση 2 όμως βρίσκεται πιο πίσω μεν (μακρύτερα από το κέντρο έξοδο) από το fx αλλά η απόσταση τους είναι μικρότερη από ότι η απόστασή του από το sampleplayer, οπότε και συνδέεται, στέλνοντας το σήμα του, στο fx. Αφαίρεση αντικειμένου από το τραπέζι Έλεγχος και αποσύνδεση

136 Όταν αφαιρείται ένα αντικείμενο από το τραπέζι και είναι αντικείμενο «modular αλυσίδας ήχου» (δύο πρώτες ομάδες αντικειμένων, όπως περιγράφτηκαν νωρίτερα), πραγματοποιούνται δύο έλεγχοι. 1) Έλεγχος αποσύνδεσης από τα αντικείμενο που «στέλνει» το σήμα του και 2) Έλεγχος αποσύνδεσης από όλα τα αντικείμενα για τα οποία αποτελεί δέκτη σήματος, εάν υφίσταται τέτοια περίπτωση. Έλεγχος αποσύνδεσης όντας πομπός: Ψάχνουμε το ζεύγος στο οποίο είναι πομπός το αφαιρεμένο αντικείμενο, διαγράφουμε αυτό από την λίστα «males» των πομπών και τον αντίστοιχο δέκτη του από την αντίστοιχη λίστα «females». Στέλνεται, στο demultiplex~ του αντικειμένου, εντολή ανακατεύθυνσης του σήματος προς την έξοδο 0 (κενή έξοδος το σήμα χάνεται). Η προβολή κουμπιών και η κυματομορφή του αντικειμένου έχει σταματήσει να προβάλλεται από την στιγμή που έχει αφαιρεθεί από το τραπέζι το αντικείμενο, αυτόματα Έλεγχος αποσύνδεσης όντας δέκτης: Ψάχνουμε όλα τα ζεύγη των αντικειμένων στα οποία το αφαιρεμένο αντικείμενο είναι δέκτης (στην λίστα females ). Αφαιρούμε κάθε ζεύγος από τις σχετικές λίστες ( males και females ). 3) Δίνουμε εντολή επαναπρόσθεσης του κάθε πομπού. Έτσι ο εκάστοτε πομπός είναι σαν να αφαιρείται και να επανατοποθετείται στην ίδια ακριβώς θέση ψάχνοντας από την αρχή που πρέπει να συνδεθεί, με τον τρόπο που περιγράφτηκε νωρίτερα. Εικόνα 107: Το patch ADD-OSC (ροζ) αφαιρείται, έτσι το patch fx (πράσινο) δεν δέχεται κάποιο σήμα οπότε και παραμένει απλά συνδεδεμένο με την έξοδο. Εικόνα 108: Το patch fx (πράσινο) αφαιρείται. Οπότε τα ADD-OSC και sampleplayer αναπροσδιορίζουν την αλυσίδα τους και εφόσον δεν παρεμβάλλεται κανένα άλλο συνδέσιμο patch, συνδέοντα αυτόματα στην έξοδο του ήχου (κέντρο).

137 Εικόνα 109: Το patch delay (κίτρινο) αφαιρείται. Όλες οι συνδέσεις του αναπροσδιορίζονται. Έτσι το patch Amplifier (γκρι) θα συνδεθεί με την έξοδο του ήχου (κέντρο) και το patch ADD-OSC θα συνδεθεί με το Amplifier που παρεμβάλλεται μεταξύ ADD_OSC και εξόδου. Μετακίνηση αντικειμένου πάνω στο τραπέζι Έλεγχος και διαχείριση Όταν μετακινείται ένα συνδέσιμο σε modular ηχητική αλυσίδα αντικείμενο τότε πραγματοποιούνται επίσης οι δύο έλεγχοι, που έχουν να κάνουν με το αν πρόκειται για «ενδιάμεσο κρίκο» μιας αλυσίδας ή το «κεφάλι» της. 1) Έλεγχος και ενέργειες για την περίπτωση δέκτη σήματος (κρίκος): Επειδή κάποιο αντικείμενο μπορεί να είναι δέκτης πολλών σημάτων (πομπών), πρέπει να ελέγξουμε μία μία τις περιπτώσεις. Γνωρίζοντας τον δεκτή του σήματος του κινούμενου αντικειμένου, μπορούμε να θεωρήσουμε ότι αυτός θα είναι και ο επόμενος δέκτης του εκάστοτε πομπού του κινούμενου αντικειμένου. Θέτουμε το ερώτημα αν προϋπήρχε αυτό το ζεύγος αντικειμένων (εκάστοτε πομπός και δέκτης του αντικειμένου) η νέα θέση του κινούμενου αντικειμένου θα το έκανε να μπει εμβόλιμα; Άλλαξε τίποτα στις χωρικές σχέσεις εξάρτησης ή όχι; Αν οι σχέσεις γειτνίασης παραμένουν σταθερές τότε δεν αλλάζει κάτι στις συνδέσεις. Όμως αν οι σχέσεις γειτνίασης επιβάλουν αλλαγή, τότε ο πομπός «επανατοποθετείται» στο τραπέζι αυτόματα (εσωτερικά της εφαρμογής), έτσι ώστε να ψάξει εξαρχής που τελικά πρέπει να ανακατευθύνει το σήμα του. 2) Έλεγχος και ενέργειες για την περίπτωση πομπού σήματος: Εφόσον έχουμε αποσυνδέσει όλους τους πομπούς πρώτα (εάν υπάρχουν), ελέγχουμε και την σχέση του κινούμενου αντικειμένου με το αντικείμενο δέκτη του σήματός του. Στην περίπτωση που οι χωρικές σχέσεις του δεν επιτρέπουν σύνδεση, τότε αφαιρούμε το αντικείμενο από το τραπέζι και το επαναθέτουμε αυτόματα (εσωτερικά της εφαρμογής), ώστε να διακοπεί η σχέση πομπού δέκτη και να ψάξει εξαρχής που τελικά πρέπει να ανακατευθύνει το σήμα του. Εικόνα 110: Το patch delay (κίτρινο) μετακινείται. Όλα τα συνδεδεμένα σε αυτό αντικείμενα αναπροσδιορίζουν την ροή σήματός τους.

138 Γραμμική ανάγνωση (έκδοση tuio_synth_4 ) Σε αυτήν την περίπτωση ο χρήστης στέκεται μπροστά στο τραπέζι και όχι περιμετρικά αυτού. Πρόκειται για έκδοση όπου η χρήση προορίζεται για χρήση από «σχεδιαστή» ήχου, δηλαδή για κάποιον που θέλει να χρησιμοποιήσει ένα modular synthesizer για να φτιάξει συγκεκριμένο ήχο. Σε αυτή την περίπτωση ο χρήστης χρειάζεται πολύ χώρο για να μπορεί να συνδυάσει πολλά αντικείμενα στην σειρά, οπότε και χρειάζεται μεγαλύτερος χώρος με καθαρότερες τοποθετήσεις των αντικειμένων σε αυτόν. Ακολουθώντας την λογική σκέψη «Χρειάζομαι τον ταλαντωτή A, στον οποίο θα προσθέσω ένα φίλτρο A και έπειτα ένα φίλτρο B, ενώ στο τέλος τον διαμορφώνω με ένα εφέ D» παρατάσσουμε τα αντικείμενα σε σειρά ανάγνωσης, από τα αριστερά προς τα δεξιά (όπως δηλαδή διαβάζουμε ένα κείμενο), ενώ δίνουμε στον χρήστη όλο το μήκος του τραπεζιού ώστε να βάλει όσα περισσότερα αντικείμενα θέλει. Για την υλοποίηση αυτού του τρόπου σύνδεσης αναπτύξαμε έναν «διαχειριστή σύνδεσης» ο οποίος ορίζει την κάθε γραμμή ανάγνωσης. Δεδομένου ότι ένας ήχος ξεκινά με τον παραγωγό ηχητικού σήματος (ταλαντωτή, δείγμα, κλπ.) δημιουργούμε μια «ζώνη» για κάθε έναν από αυτούς (αντικείμενα 2ης ομάδας sampler, ημιτονοειδής ταλαντωτής, ταλαντωτής θορύβου, μικρόφωνο). Η κάθε ζώνη ορίζει μια αρχή (το σημείο που βρίσκεται ο παραγωγός ήχου) και ένα ορισμένο πλάτος επιρροής, με μέγιστο και ελάχιστο σημείο από το ύψος του παραγωγού ήχου. Όσα αντικείμενα βρίσκονται μέσα στην σχηματιζόμενη ζώνη, ενώνονται σε αλυσίδα με προτεραιότητα ανάγνωσης έτσι ώστε να ταξιδεύει το σήμα από τα αριστερά προς τα δεξιά και βγαίνοντας από την οθόνη να βγαίνει ο ήχος στα ηχεία. Επικαλυπτόμενες ζώνες μπορούν να χρησιμοποιηθούν για μύξη των σημάτων τους στο κοινό πεδίο! Τοποθέτηση αντικειμένου στο τραπέζι Κάθε φορά που προσθέτουμε ένα αντικείμενο της 2ης ομάδας στο τραπέζι, δημιουργείται η αντίστοιχη ζώνη. Κάθε ζώνη ορίζεται από ένα αντικείμενο κεφαλής, για την αρχή της (1ο αντικείμενο) και ένα αντικείμενο τέλους (το αντικείμενο out που ορίζεται στο δεξιό όριο του τραπεζιού, έτσι ώστε να μην μπορεί να τοποθετηθεί τίποτα άλλο από τα δεξιά του). Όλες οι ζώνες μπαίνουν σε μια λίστα. Όποτε τοποθετείται ένα οποιοδήποτε αντικείμενο στο τραπέζι, δίνεται εντολή σε όλες τις ζώνες, που βρίσκονται στην λίστα, να ανιχνεύσουν τα αντικείμενα που βρίσκονται στο πεδίο τους, να τα παρατάξουν με σειρά ανάγνωσης σε λίστα και να κάνουν τις συνδέσεις του ήχου και της εικόνας κατά τον γνωστό τρόπο. Δεν αλλάζουμε τίποτα στον συνθέτη του ήχου, αλλά παραλλάσσουμε τον συνθέτη γραφικών έτσι ώστε οι επιλογές χειρισμού (sliders, κουμπιά κλπ.) να παρουσιάζονται στημένα μονομερές στο τραπέζι και όχι περιμετρικά. Επιπλέον παραλλάσσουμε τον waver έτσι ώστε όποτε διαβάζει το τελευταίο αντικείμενο εξόδου ( out ), να ζωγραφίζει το σήμα μέχρι το τέλος του τραπεζιού αλλά στο ύψος του αντικειμένου που ανήκει ο waver (δηλαδή στην διάσταση Χ Χ του out και ΥΎ του τελευταίου patch κατά την ανάγνωση. Επιπλέον προστέθηκε μία γραμμή που εικονίζει την συνολική κυματομορφή της εξόδου, έτσι ώστε ο χρήστης να βλέπει τη συνολική διαμόρφωση του τελικού ήχου, εφόσον δεν είναι αυτή ορατή όταν χρησιμοποιείται παραπάνω από ένας παραγωγός ήχου. Αφαίρεση αντικειμένου από το τραπέζι Κάθε φορά που αφαιρούμε ένα αντικείμενο της 2ης ομάδας από το τραπέζι, αφαιρούμε την ζώνη του από την λίστα με τις ζώνες. Όποτε αφαιρείται ένα οποιοδήποτε αντικείμενο από το τραπέζι, δίνεται εντολή σε όλες τις ζώνες, που βρίσκονται στην λίστα, να ανιχνεύσουν τα αντικείμενα που βρίσκονται στο πεδίο τους, να τα παρατάξουν με σειρά ανάγνωσης σε λίστα και να κάνουν τις συνδέσεις του ήχου και της εικόνας κατά τον γνωστό τρόπο. Έτσι αν έχει αφαιρεθεί αντικείμενο της 1ης ομάδας, τότε απλά δεν θα παραστεί σε καμία λίστα, άρα και σύνδεση, ενώ αν έχει αφαιρεθεί αντικείμενο της 2ης ομάδας, τότε απλά δεν υπάρχει η ζώνη του και όσο αντικείμενα συνέδεε, μένουν ανενεργά.

139 Μετακίνηση αντικειμένου πάνω στο τραπέζι Κάθε φορά που μετακινούμε ένα αντικείμενο της 2ης ομάδας από το τραπέζι, ανανεώνουμε τα όρια της ζώνης του (εφόσον είναι πάντα αναφορικά με την θέση αυτού στο τραπέζι). Όποτε μετακινείται ένα οποιοδήποτε αντικείμενο στο τραπέζι, δίνεται εντολή σε όλες τις ζώνες, που βρίσκονται στην λίστα, να ανιχνεύσουν τα αντικείμενα που βρίσκονται στο πεδίο τους, να τα παρατάξουν με σειρά ανάγνωσης σε λίστα και να κάνουν τις συνδέσεις του ήχου και της εικόνας κατά τον γνωστό τρόπο. Οπότε ανάλογα με τη νέα του θέση θα επηρεάσει και τις ανάλογες ζώνες. Εικόνα 111: Tuio Synth 4. Τα patch παραγωγής ήχου ζωγραφίζουν ζώνες. Όσα Patch της 1ης ομάδας βρεθούν μέσα σε μια ζώνη, συνδέονται στην ροή του σήματος. Εάν δύο ζώνες επικαλύπτονται τότε τα patch που θα βρεθούν σε αυτές της περιοχές θα εισαγάγουν και θα ενώσουν και τα δύο σήματα (πχ. FILTER). Σύνδεση Ανεξάρτητων Αντικειμένων (3ης ομάδας) Γι αυτά τα αντικείμενα, επειδή λειτουργούν ανεξαρτήτως θέσης στην modular αλυσίδα, κάθε τρόπος σύνδεσης αναπτύχθηκε ξεχωριστά. Στα αντικείμενα που δημιουργήσαμε κάποιου είδους σύνδεση απαιτεί το lfo και ο διαμορφωτής συχνότητας (modulator). Επιπλέον επιλέχτηκε να χρησιμοποιούμε την ίδια σύνδεση και στις δύο παραλλαγές του σχεδιασμένου synthesizer. Σύνδεση lfo Το lfo συνδέεται τόσο στο ημιτονοειδή ταλαντωτή (διαμόρφωση ύψους / pitch), όσο και στον ενισχυτή (διαμόρφωση πλάτους / amplitude). Για να επιτευχτεί σύνδεση πρέπει η απόσταση μεταξύ των δύο patches να είναι μικρότερη από κάποιο ορισμένο όριο (το 2πλάσιο της ανάλογης μέγιστης απόστασης για σύνδεση δύο αντικειμένων στις αλυσίδες). Στην περίπτωση που λόγο θέσης, τόσο ο ενισχυτής, όσο και ο ταλαντωτής πληρούν την προϋπόθεση της απόστασης σύνδεσης, τότε συνδέεται το αντικείμενο με την μικρότερη απόσταση.

140 Εικόνα 112: Σύνδεση lfo. Συνδέεται στο κοντινότερο συνδέσιμο patch, ανεξαρτήτως θέσης του σχετικά με το κέντρο, εφόσον καλύπτει την προϋπόθεση μέγιστης απόστασης. Σύνδεση διαμορφωτή συχνότητας (modulator) Με την ίδια προϋπόθεση μέγιστης απόστασης σύνδεσης που ισχύει για το lfo, ισχύει και για τον διαμορφωτή συχνότητας, μόνο που υπάρχει ένας έλεγχος. Αυτός της απόστασης μεταξύ ημιτονοειδούς ταλαντωτή και του διαμορφωτή συχνότητας. Εικόνα 113: Σύνδεση patch διαμορφωτή συχνότητας (Modulator). Συνθέτης γραφικών Ο συνθέτης γραφικών υλοποιείται μέσα στο κώδικα της processing, όπως και όλη η διαχείριση του Διαχειριστή Σύνδεσης και ο έλεγχος, τόσο των γραφικών, όσο και των παραμέτρων του ήχου. Η σύνθεση γραφικών περιλαμβάνει την οπτικοποίηση των αντικειμένων ελέγχου (sliders και κουμπιά), του πλαισίου των patches, τις συνδέσεις των patches κατά την modular σύνδεση, καθώς και των διαφόρων πληροφοριών, όπως σχήμα κυματομορφής, αριθμητικά μεγέθη διαφόρων παραμέτρων, ενδείξεις παραμέτρων και επιλογών, σχήμα γεννητριών περιβάλλουσας κα. Για να εξηγήσουμε πώς και τί συνεισφέρει σε κάθε μία από τις παραπάνω περιπτώσεις, πρέπει να αναλύσουμε κάθε «προγραμματιστικό» αντικείμενο ξεχωριστά πως λειτουργεί και πως οπτικοποιεί την πληροφορία. Στην συνέχεια περιγράφουμε την λογική του τρόπου ανάπτυξης. Ο ακριβής τρόπος λειτουργίας και ροής της πληροφορίας, αναγράφονται ως σχόλια στο εκτελέσιμο αρχείο της processing. Γραφικό Περιβάλλον των patches Κάθε patch υλοποιείται σε δύο μέρη: Κώδικας σε processing, για τον έλεγχο, την εισαγωγή στοιχείων και την προβολή πληροφοριών, τόσο του patch,όσο και των ελεγκτών του. Και pure data για την παραγωγή του ήχου. Καθώς ο έλεγχος και η εικονογράφηση γίνεται μόνο και μόνο από την processing, ομαδοποιούμε αυτές τις δύο λειτουργίες μέσα σε ένα προγραμματιστικό αντικείμενο (κλάση) το οποίο αναπτύσσεται ξεχωριστά και μοναδικά για κάθε patch και περιέχει όλα τα στοιχεία που χρειάζεται να έχει το patch, ώστε να λειτουργεί μεμονωμένα και ανεξάρτητα από το υπόλοιπα. Κάθε αντικείμενο λοιπόν αντιστοιχίζεται σε ένα fiducial και περιέχει τα απαραίτητα στοιχεία και μεταβλητές, που είναι αναγκαία για την υλοποίησή του. Παρόλα αυτά, όλα λειτουργούν με τους ίδιους κανόνες απεικόνισης και μορφοποίησης του ήχου, οπότε όλα τα αντικείμενα πατάνε σε έναν κοινό σκελετό. Αυτός περιλαμβάνει το σώμα που

141 ορίζεται από την συνάρτηση creat() η οποία ενεργοποιείται και απενεργοποιείται όποτε τοποθετούμε ή απομακρύνουμε αντίστοιχα ένα αντικείμενο στο τραπέζι, και περιέχει τα κινητά γραφικά στοιχεία ελέγχου (sliders, radio buttons κλπ.), την συνάρτηση του γραφικού πλαισίου του patch και τις συναρτήσεις απεικόνισης των γραφικών στοιχείων ελέγχου. Επιπλέον περιέχει και τις εντολές διαμόρφωσης του ήχου. Η θέση τόσο του πλαισίου, όσο και των στοιχείων ελέγχου και η γωνία προβολής τους καθορίζεται από πίνακες μεταφοράς και περιστροφής που προκύπτουν από τη θέση του fiducial στο τραπέζι. Η συνάρτηση του πλαισίου περιλαμβάνει την απεικόνιση ενός στρογγυλού δαχτυλιδιού που οριοθετεί το patch. Το χρώμα του δαχτυλιδιού μπορεί να αλλάζει χρώμα, ανά περιπτώσεις, έτσι ώστε να αποτελεί οπτικό feedback του πόσου που καθορίζει η περιστροφή του patch. Επιπλέον ετικέτες πάνω ή κάτω από το πλαίσιο υποδεικνύουν ποσά από διάφορα μεγέθη που αφορούν το patch (πχ. συχνότητα, ποσοστιαία ένταση κ.α.). Εικόνα 114: Γραφικό περιβάλλον των patches. Radio Boxes, sliders, κουμπιά, οθόνες, δακτύλιοι παροχής πληροφορίας, αριθμητικές πληροφορίες κλπ. Το κάθε αντικείμενο περιέχει τις επιπλέον συναρτήσεις οι οποίες θα επεξεργαστούν τα ποσά που προκύπτουν από τις επιλογές του χρήστη, στα γραφικά στοιχεία ελέγχου, την περιστροφή του patch και την εισαγωγή στοιχείων από άλλες πηγές (πχ. το pitch από το midi - Keyboard), και θα στείλουν τις σχετικές πληροφορίες ελέγχου στον συνθέτη του ήχου (pd patch). Το σύστημα απεικόνισης των στοιχείων του patch λειτουργεί με τον εξής τρόπο. Όλα τα γραφικά αντικείμενα που ακολουθούν το ίχνος του patch στην οθόνη, ζωγραφίζονται σε ένα σταθερό σημείο στην οθόνη. Το δαχτυλίδι του patch έχει κέντρο την αρχή των αξόνων σε σύστημα οθόνης (πάνω αριστερά γωνία). Τα γραφικά στοιχεία ελέγχου ζωγραφίζονται επίσης σε θέσεις σχετικές με την αρχή των αξόνων. Ο πρώτος πίνακας μετασχηματισμού τα μεταφέρει το σημείο (0,0) του επιπέδου των γραφικών στο σημείο (x0,y0) που βρίσκεται το ίχνος του fiducial. Όλα τα γραφικά στοιχεία θα μεταφερθούν σε θέσεις σχετικές με το σημείο αυτό (δηλαδή αν ένα slider είναι 5 pixels δεξιά από την αρχή των αξόνων και κέντρο του δαχτυλιδιού, τότε αν μεταφερθεί αυτό στο κέντρο της οθόνης το δαχτυλίδι θα έχει κέντρο το κέντρο της οθόνης και το slider θα είναι 5 pixel δεξιότερα του κέντρου). Επειδή θέλουμε κυκλική ανάγνωση του τραπεζιού, αυτό σημαίνει ότι όπου και αν βρισκόμαστε γύρο από το τραπέζι, πάντα το διάνυσμα που δείχνει προς τα πάνω (κάθετο στην φορά ανάγνωσης του patch), πρέπει να σημαδεύει το κέντρο του τραπεζιού. Από την αρχική θέση του patch (0,0) και σε συνάρτηση της θέσης του ίχνους του fiducial, πάνω στο τραπέζι (συντεταγμένες του), με το

142 κέντρο του τραπεζιού, προκύπτει η γωνία που πρέπει να είναι περιστρεμμένα τα γραφικά του. Για λόγους προγραμματισμού πρώτα περιστρέφουμε τα γραφικά του patch και μετά τα μεταφέρουμε. Στην 2η υλοποίηση με γραμμική ανάγνωση της οθόνης (tuio_synth_4), έχει οριστεί σταθερή γωνία στρέψης 0 ώστε να μην περιστρέφονται. Εικόνα 115: Μετατόπιση και στρέψη των γραφικών του patch. Γραφικά Αντικείμενα ελέγχου Τα γραφικά αντικείμενα ελέγχου έχουν φτιαχτεί ειδικά για την συγκεκριμένη εφαρμογή, αλλά μπορούν να χρησιμοποιηθούν και για άλλες tangible εφαρμογές γραμμένες σε processing. Ο λόγος που δεν χρησιμοποιήθηκαν έτοιμες βιβλιοθήκες αντίστοιχων ελεγκτών, είναι ότι: 1ον ) Οι βιβλιοθήκες που έχουν εκδοθεί, ελέγχονται με το ποντίκι του υπολογιστή και 2ον ) Τα γραφικά τους στοιχεία μπαίνουν σε σταθερά σημεία και δεν επιδέχονται γραμμικούς μετασχηματισμούς, δηλαδή δεν μπορούμε να τους αλλάξουμε θέση στον χώρο ή να τα περιστρέψουμε και να παραμείνουν ενεργά στο σημείο προβολής τους. Γραφικοί ελεγκτές (κουμπιά GUI). Αυτή η ομάδα αποτελείται από δύο sliders, τους SliderM και SliderX, radio button (λίστα κουμπιών μοναδικής επιλογής) που καλείται RadioBoX, check box (λίστα κουμπιών πολλαπλών επιλογών), ονόματι ToggBoX καθώς και switch button (διακόπτης [Ι/Ο]), το ToggButtonX. Τα κουμπιά αυτά φτιάχτηκαν για να ακολουθούν τα patches που βρίσκονται πάνω στο τραπέζι και να περιστρέφονται γύρο από αυτά, ώστε να επιτυγχάνεται η σωστή ανάγνωσή τους

143 από όποια πλευρά του τραπεζιού και αν τα κοιτάμε (κατά την κυκλική ανάγνωση). Για την αλλαγή της τιμής τους δηλαδή την χρήση τους, απαιτείται η χρήση της βιβλιοθήκης picking. Όπως και τα γραφικά στοιχεία των πλαισίων των patches, κάθε στοιχείο αυτής της ομάδας «ζωγραφίζεται» αρχικά χε μία σταθερή θέση, σε σύστημα συντεταγμένων οθόνης, και μετακινείται και περιστρέφεται στην επιφάνεια του τραπεζιού παράλληλα και σε συνάρτηση με το αντίστοιχό patch που θέλουμε να ακολουθεί, πάντα διατηρώντας τις αρχικές μετρικές σχέσεις (εφόσον θεωρούμε το αρχικό κέντρο ενός patch το (0,0) του συστήματος συντεταγμένων οθόνης, τότε αν τοποθετήσουμε πχ. το κέντρο ενός switch button στο (10,0) και καθορίσουμε την προβολή του να μετασχηματίζεται παράλληλα με το πλαίσιο του αντίστοιχου patch, τότε σε όποιο σημείο και αν τοποθετήσουμε το patch, το toggle button θα προβάλλεται 10pixels δεξιότερα). Ο υπολογισμός της τιμής του ελεγκτή γίνεται με την χρήση της βιβλιοθήκης picking. Το βασικό πρόβλημα για όλους τους κινητούς ελεγκτές και οθόνες είναι ότι η προβολή τους αλλάζει συνεχώς, ανάλογα με τη θέση του patch που συνοδεύουν. Αυτό σημαίνει ότι μπορούν να βρίσκονται σε οποιοδήποτε σημείο της οθόνης και επιπλέον υπό στροφή. Για να υπολογίσουμε την τιμή εισαγωγής του χρήστη, παρακολουθούμε τα πλαίσια των γραφικών ελεγκτών μέσω της μεθόδου Object picking. Όταν ο κέρσορας του δαχτύλου μας βρεθεί μέσα στο πλαίσιο (σχήμα) ενός ελεγκτή, τότε επιστρέφεται μία συγκεκριμένη τιμή ταυτότητα που έχουμε αναθέσει στον ελεγκτή αυτό. Αυτό έχει ως αποτέλεσμα την ενεργοποίηση μιας μεθόδου η οποία θα χρησιμοποιήσει τον αντίστροφο πίνακα, του πίνακα μετατόπισης και στρέψης του patch, άρα και του ελεγκτή, για να προσδιορίσει νέες συντεταγμένες στον κέρσορα. Αυτό που ουσιαστικά γίνεται είναι να προσδιορίζει τις συντεταγμένες του κέρσορα σύμφωνα με την σχετική θέση του patch. Πιο απλά, μεταφέρουμε το σύστημα patch γραφ. ελεγκτής κέρσορας στην αρχή των αξόνων (αρχική θέση εκκίνησης). Τώρα ο κέρσορας μπορεί να προσδιοριστεί σύμφωνα με τα δεδομένα όρια του ελεγκτή στον οποίο βρίσκεται μέσα και να επιστρέψει τιμές ως προς τα όρια του. Ο τρόπος που αποφασίζονται οι τιμές είναι ανάλογος του αντικειμένου. Οι SliderX και SliderM λειτουργούν ποσοστιαία. Ο SliderX που υπολογίζει το ποσοστιαίο ύψος που βρίσκεται το ίχνος του κέρσορα μέσα στο ορθογώνιο του ελεγκτή. Ο SliderM λειτουργεί με τον ίδιο τρόπο, μόνο που στρογγυλοποιεί την τιμή του στο 50% σε μια μικρή περιοχή γύρο από την τιμή αυτή (45~55%). Το RadioBoX υπολογίζει όπως και οι sliders το ποσοστιαίο ύψος, το πολλαπλασιάζει με τον αριθμό των κουμπιών, και το στρογγυλοποιεί. Έτσι στην περίπτωση 2 κουμπιών και το δείκτη στο 54%, επιστρέφεται η τιμή 1 (0.54 * 2 = 1.08 ==1), στην περίπτωση των 6 κουμπιών όμως επιστρέφεται η τιμή 3 (0.54 * 6 = 3.24 ==3). Η μέτρηση ξεκινά από το κουμπί 0. Το ToggButtonX ελέγχει αν έχει εισέλθει ο κέρσορας στον χώρο του και κάθε φορά που συμβαίνει αυτό εναλλάσσει την τιμή του μεταξύ 0 και 1. Τέλος το ToggBoX αποτελεί μια παραλλαγή του RadioBoX. Ουσιαστικά υπολογίζεται το νούμερο του κουμπιού βάση του ποσοστιαίου ύψους, όπως και στο RadioBoX και αντιστοίχως εναλλάσσεται η τιμή στην αντίστοιχη θέση ενός πίνακα μεταξύ 0 και 1. Γεννήτριες περιβάλλουσας Εικόνα 116: Προγραμματιστική λογική ελέγχου των γραφικών ελεγκτών.

144 Οι γεννήτριες περιβάλλουσας είναι γραφικά στοιχεία που είτε παίρνουν τιμές από τα slider που είναι ομαδοποιημένες μαζί (σύνδεση που γίνεται μέσα στο αντικείμενο του patch), είτε από το midi keyboard, είτε από τον συνθέτη του ήχου, ανάλογα την περίπτωση. Ουσιαστικά μετατρέπει τους παρεχόμενους χρόνους (duration, attack, decay, sustain και release)και την ένταση (velocity)στη γραφική καμπύλη της περιβάλλουσας. Η ενεργοποίηση τους γίνεται ταυτόχρονα με την εντολή εισαγωγής δεδομένων από το midi- keyboard. Αυτή πραγματοποιείται με το πάτημα του σχετικού κουμπιού διακόπτη ( ToggButtonX ) στο κάτω μέρος του patch. Όταν ενεργοποιείται η γεν. περιβάλλουσας τότε εμφανίζεται και η σχετική εικόνα- σύμβολο κάτω από τον προαναφερθέντα διακόπτη, η οποία λειτουργεί και ως κουμπί ενεργοποίησης των σχετικών ρυθμίσεων. Ο χρήστης μπορεί να ορίσει τις τιμές attack, decay, sustain, release καθώς και να επιλέξει σταθερή τιμή για το velocity είτε εισαγωγή της από το midi-keaboard. Το παράθυρο θα παραμένει ανοικτό για όσο κάνουμε επεξεργασίες μέσα σε αυτό και θα κλείσει αυτόματα, έπειτα από 5 δευτερόλεπτα. Εικόνα 117: Γραφική γεννήτρια περιβάλλουσας. Το midi in είναι το κουμπί ενεργοποίησης και το γραφικό κουμπί με την περιβάλλουσα (στο δεξιό patch) ενεργοποιεί την οθόνη ελέγχου της περιβάλλουσας. Διαχειριστής προσθετικού synthesizer Η λογική λειτουργίας του είναι αντίστοιχη με αυτή της γεν. περιβάλλουσας, καθώς ενεργοποιείται αντιστοίχως από οριζόμενο κουμπί διακόπτη ( ToggButtonX ) και προβάλλει μία σχετική ταμπέλα κουμπί που ενημερώνει ότι έχει ενεργοποιηθεί και ταυτόχρονα ανοίγει το πάνελ χειρισμού των αρμονικών, σε μορφή sliders έντασης.

145 Εικόνα 118: Sliders που ελέγχουν την ένταση κάθε αρμονικής με την σειρά (θεμελιώδης τόνος, 1η παράγωγος, 2η παράγωγος κλπ. Συνθέτης κυματομορφής ( waver ) Όπως περιγράψαμε και πρωτύτερα, η σύνθεση κάθε κυματομορφής γίνεται ανεξάρτητα από τα υπόλοιπα γραφικά, μέσω του προγραμματιστικού αντικειμένου (κλάση) Waver. Ουσιαστικά πρόκειται για αντικείμενο που επέρχεται της επεξεργασίας / παραγωγής του ήχου. Κάθε pd patch που υλοποιεί κάποιο κύκλωμα, εγγράφει, σε κάθε κύκλο επεξεργασίας, τις τιμές της σχηματιζόμενης γραφικής παράστασης του ήχου που σχηματίζει, για προκαθορισμένο αριθμό θέσεων (τιμές άξονα - χ χ) σε έναν πίνακα (εικόνα 155 πίνακας array). Οι πίνακες αυτοί επιστρέφεται στην processing μέσω lidpd. Ο κάθε waver, που αντιστοιχίζεται σε ένα fiducial, βρίσκει τον αντιστοιχιζόμενο πίνακα από την αντιστοίχηση fiducial - patch - pd-patch, και ζωγραφίζει την γραφική παράσταση, που υποδεικνύει ο πίνακας, στην οθόνη, εφόσον επεξεργαστούμε τις τιμές, καθώς οι πραγματικές τιμές βρίσκονται ανάμεσα στο διάστημα [-1,1]. Η αρχή των αξόνων της γραφικής παράστασης τοποθετείται στο ίχνος του fiducial (θέση (x,y)). Ορίζοντας το «fiducial στόχο», δηλαδή το patch προς το οποίο οδηγείται η κυματομορφή, ο waver υπολογίζει την απόσταση και καθορίζει για πόσες θέσεις του χ χ άξονα (pixels) θα ζωγραφίσει τις τιμές του y y άξονα, ώστε να πετύχει το σωστό μήκος της κυματομορφής. Υπολογίζεται επίσης ο πίνακας μετασχηματισμού στρέψης της γραφικής παράστασης, ώστε να ζωγραφίζεται η γραφική παράσταση προς το ίχνος του «fiducial στόχου». Έτσι συνοψίζοντας ο waver ζωγραφίζει την γραφική παράσταση της κυματομορφής, που παίρνει από τον συνθέτη του ήχου, ξεκινώντας από το σημείο που βρίσκεται το patch που δημιουργεί τον ήχο, με κατεύθυνση προς το σημείο που βρίσκεται το patch που δέχεται τον ήχο και μήκος κυματομορφής ίσο με την απόσταση των δύο patches.

146 Εικόνα 119: Το patch αντλεί από τον πίνακα του pd-patch (πάνω) τα δεδομένα κυματομορφών (πίνακας array) και τα προβάλλει σε γραφική κυματομορφή. Τα αρχικά δεδομένα είναι ένας πίνακας με τιμές [-1,1]. Το πώς θα αναπαραστήσουμε αυτές τις τιμές είναι απόλυτα διαχειρίσιμο μέσω του προγραμματισμού (Waver). Για την κατανόηση της πληροφορίας αυτής, αναπτύξαμε τουλάχιστον 5 διαφορετικές προβολές που χρησιμοποιούνται ανάλογα με το patch και τους σκοπούς μας. Εικόνα 120: Ποικιλία προβολής κυματομορφών.

147 Συνθέτης ήχου Βιβλιοθήκη Libpd Η συμμετοχή της libpd (ή pdlib) στην διάταξη αυτή αφορά δύο ρόλους αλληλένδετους. 1ον. Εκτελεί το αρχείο της pure data που δημιουργεί τον ήχο. 2ον. Επιτελεί όλη την επικοινωνία μεταξύ Διαχειριστή σύνδεσης και Συνθέτη ήχου, καθώς και μεταξύ συνθέτη γραφικών και συνθέτη ήχου. Η βάση της επικοινωνίας γίνεται με εντολές αποστολής δεκαδικών αριθμών από την processing (libpd.sendfloat( address, 5.5); ) προς τα αντικείμενα λήψης μηνυμάτων της pure data ( [receive address] ή [r address] ) οι οποίοι ελέγχουν αριθμητικά δεδομένα (πχ. συχνότητα, ένταση, χρόνους κ.α.), πύλες ροής δεδομένων ([demultiplex~], [multiplex~], [spigot] κα.) και συναρτήσεις επιστροφής δεκαδικών αριθμών (libpd.receivefloat(string address, float x);{ } ) από τα αντίστοιχα αντικείμενα αποστολής δεδομένων της pure data ( [send address] ή [s address] ). Τα δεδομένα αυτά αφορούν τιμές που παράγονται από την pure data και επηρεάζουν τα γραφικά (πχ. η διάρκεια μιας νότας ή τιμή ενός ελεγκτή). Επιπλέον εντολές στην processing αντλούν τα δεδομένα πινάκων από την pure data (libpd.readarray( PdArrayName, 0, processingarrayname, 0, 256); ) ώστε να σχηματίσουν τις κυματομορφές. Η libpd παρέχει μια μεγάλη ποικιλία από συναρτήσεις λήψης και αποστολής στοιχείων, πινάκων, αριθμών και εντολών, έτσι ώστε να μπορούμε να αναπτύξουμε την επικοινωνία όσο το δυνατόν καλύτερη θέλουμε. Οι εντολές που αφορούν τον τρόπο σύνδεσης των pd-patches, ανάλογα με την τοποθέτηση των patches πάνω στο τραπέζι, βρίσκονται στο σώμα του κώδικά που ολοκληρώνει τον διαχειριστή σύνδεσης και οι εντολές που θέτουν τους επιμέρους παραμέτρους, που αφορούν το pd patch αυτό κάθε αυτό (πχ. ένταση, επιλογή sample, είδος φίλτρου κλπ. ), ενσωματώνονται στη συνάρτηση creat(), του αντίστοιχου patch πάνω στο τραπέζι. Pure Data patch Το pure data patch αποτελείται από ένα σύνολο πολλών pd-patches που υλοποιούν τα διάφορα κυκλώματα synthesizer, πύλες και διόδους επικοινωνίας μέχρι την τελική έξοδο του ήχου και αντικείμενα ελέγχου και υπολογισμού παραμέτρων. Κάθε αντικείμενο έχει φτιαχτεί ξεχωριστά και σε παραλληλία με το αντίστοιχο στον processing κώδικα έτσι ώστε να αντιμετωπιστούμε οι ιδιαιτερότητες του ξεχωριστά. Αντιστοίχως, πάλι υπάρχουν κοινές πρακτικές που συναντάμε σε κάθε υπό patch του pure data patch και κυρίως έχουν να κάνουν με την σύνδεση των «modular αλυσίδων ήχου» και τη σωστή ροή του ηχητικού σήματος. Για να περιγράψουμε τον τρόπο λειτουργίας του θα χωρίσουμε τα διάφορα sub patches σε τρεις ομάδες αντικείμενων. Ο διαχωρισμός θα γίνει σύμφωνα με τις λειτουργίες που κάποιο αντικείμενο, ή κάποια ομάδα pd αντικειμένων, επιτελεί. Η πρώτη ομάδα αποτελείται από τις μονάδες synthesizer. Περιλαμβάνει τις υλοποιήσεις των κυκλωμάτων synthesizer. Σε αυτήν την ομάδα ανήκουν τα patches ολοκλήρωσης ταλαντωτών (ημιτόνου, θορύβου και lfo), του συστήματος διαμόρφωσης συχνότητας (modulator), αναπαραγωγής δειγμάτων (sampler, multisample bass), σύνδεση και διαχείρισης μικροφώνου, φίλτρου, εφέ (phaser, chorus και delay), γεννήτριες περιβάλλουσας, ενισχυτή και τελικό ενισχυτή (έξοδος). Η δεύτερη ομάδα αποτελείται από αντικείμενα, οργανωμένα σε ένα σύστημα, που λειτουργούν σαν «δρομολογητές» του σήματος κάθε αντικειμένου πρώτης ομάδας. Αποτελείται κατεξοχήν από τα αντικείμενα [demultiplex~]) και [multiplex~] (αντίστροφή λειτουργία από τα πρώτα), καθώς και από ένα σύστημα αποστολέων και παραληπτών σήματος στις εισόδους και αντίστοιχα εξόδους κάθε αντικειμένου της πρώτης ομάδας. Επιπλέον χρησιμοποιούνται και ως αντικείμενα επιλογής ροών σήματος (πχ. τι είδους σήμα θα εξάγει το lfo, δεδομένου ότι τα παράγει όλα ταυτόχρονα αλλά πρέπει να εξάγει ένα από όλα). Πρόκειται για τα αντικείμενα που ελέγχονται κυρίως από τον διαχειριστή συνδέσεων και από ελεγκτές επιλογής πύλης σήματος (πχ. επιλογή σήματος στον lfo, επιλογή φίλτρου κα.).

148 Η τρίτη ομάδα αποτελείται από αντικείμενα που λειτουργούν σαν «διακόπτες» του σήματος που παράγει η pure data. Καθώς η παραγωγή του σήματος, στα ανάλογα αντικείμενα, είναι διαρκής από την στιγμή που ενεργοποιείται η libpd, κάθε αντικείμενο είναι ενεργό και καταναλώνει υπολογιστική ισχύ, ανεξαρτήτως αν ακούμε κάποιον ήχο ή όχι. Επιπλέον, δεν υπάρχει δυνατότητα «επανεκκίνησης» κάποιου από τα υπό αντικείμενα ξεχωριστά, οπότε και διάφορες τιμές παραμένουν στις «μνήμες» του pd patch και επηρεάζουν το σήμα, ακόμα και αν αυτό δεν είναι επιθυμητό. Έτσι δημιουργήσαμε μια ομάδα αντικείμενων που κόβουν την ροή του σήματος όταν δεν χρειάζεται (λειτουργία που επιτελούν και οι «δρομολογητές» της δεύτερης ομάδας αντικειμένων) και ταυτόχρονα επαναφέρουν στις μνήμες του pd patch τις ουδέτερες αρχικές τιμές, ώστε να επαναφέρεται το σήμα στην σωστή του μορφή. Εικόνα 121: Κεντρικό pd-patch. Σε αυτό βρίσκονται μέσα όλα τα pd-patch που υλοποιούν τον συνθέτη του ήχου. Σχεδίαση pd patch Ημιτονοειδής ταλαντωτής με προσθήκη αρμονικών συχνοτήτων ( sinefreq ) Χρησιμοποιούνται 11 αντικείμενα παραγωγής ημιτονοειδούς σήματος ([osc~ ] ). Καθένας πολλαπλασιάζει την τιμή της εισερχόμενης συχνότητας (f) κατά +1, έτσι ο πρώτος δίνει συχνότητα f*1 ( [*~ 1] ), που αποτελεί την θεμελιώδη συχνότητα, ο δεύτερος f*2, που μας δίνει την συχνότητα της 1ης παραγώγου, ο τρίτος f*2, που ισούται με την συχνότητα της 2ης παραγώγου κοκ. Η ένταση της θεμελιώδους αρχικοποιείται στη μέγιστη επιτρεπτή τιμή της ([*~ 1]) και των παραγώγων συχνοτήτων στην ελάχιστη μηδενική ([*~ 0]). Η τιμές αυτές αλλάζουν από τους sliders του επιλογής προσθετικού synthesizer από τον χρήστη (κουμπί additive - pd αντικείμενα [r fun] και [r h1] κλπ.). Οι συχνότητες αυτές «προσθέτονται» ([*~ 1]) και φιλτράρονται ( [pd clip] ) ώστε η μέγιστη ένταση να μην ξεπεράσει την μέγιστη τιμή (1), εξαιτίας κάποιου λάθους κατά την εκτέλεση του κώδικα. Στην συνέχεια η ένταση του συνολικού σήματος καθορίζεται στο επιθυμητό ύψος (τιμές 0 έως 1) από τον slider volume του γραφικού patch ( [r sinevol]), από τον χρήστη. Τέλος στην περίπτωση που έχει επιλογή η προσθήκη midi keyboard (κουμπί keyboard in - διακόπτης του pd-patch) τότε αυτό θα εισαγάγει τις τιμές από τα sliders της γραφικής γεννήτριας περιβάλλουσας και το midi keyboard στη γεν. περιβάλλουσας ( [c_adsr ***] ), και θα μεταβάλει την ένταση του ακουστικού σήματος αναλόγως καθώς και θα

149 επιστρέψει την τιμή της διάρκειας της νότας (duration). Το τελικό σήμα εγγράφεται σε έναν πίνακα ( [pd osc] ), από όπου θα διαβαστεί από τον συνθέτη κυματομορφών ( waver ) και οδηγείται στην έξοδο ( [outlet~ ] ). Εικόνα 122: pd-patch που υλοποιεί το patch προσθετικής μεθόδου. Αναπαραγωγή δειγμάτων ( sampler ) Τα δείγματα φορτώνονται σε πίνακες ( [read Loop1.wav drumloop1( & [drumloop1] )και στην συνέχεια φορτώνονται στο αντικείμενο ανάγνωσης ( [soundfiler] ). H ανάγνωση κάθε λούπας οδηγείται από ένα σήμα ελέγχου που ανεβαίνει τις τιμές 0 έως 1 σε επανάληψη ( [phasor~]-[*~ 1]-[+~ 1] ), με ταχύτητα που καθορίζει ο χρήστης (slider ταχύτητας [r playspeed] ). Από το check bow του sampler ανοιγοκλείνουν οι διακόπτες του σήματος ελέγχου, για κάθε πίνακα δείγματος ξεχωριστά. Έτσι όσα δείγματα έχουν επιλεγεί να αναπαράγονται, οδηγούνται στο αντικείμενο ελέγχου ταχύτητας και ύψους ( [soundtouch~ 40] ) και στην συνέχεια καθορίζουμε την ένταση του τελικού σήματος (slider volume [r svolume]-[*~ ] ), το εγγράφουμε σε έναν πίνακα ( [pd sample] )για τον συνθέτη κυματομορφών (waver) και το εξάγουμε ( [outlet~ ] ).

150 Εικόνα 123: pd-patch του αναπαραγωγού μουσικών δειγμάτων. Ταλαντωτής θορύβου ( noise ) Απλή διάταξη κατά την οποία χρησιμοποιούμε έναν ταλαντωτή θορύβου ( [noise~] ) στον οποίο καθορίζουμε την ένταση με την περιστροφή του patch ( [r noisevol] ), εγγράφουμε την μορφή του σε πίνακα και το εξάγουμε. Εικόνα 124: pd-patch ταλαντωτή θορύβου. Μικρόφωνο ( mic ) Λειτουργεί με την επιλογή χρήσης ως απλού μικροφώνου ή vocoder (κουμπί vocoder δρομολογητής pd-patch). Στην πρώτη περίπτωση το σήμα εισόδου του μικροφώνου ( [adc~] ) παραμένει αναλλοίωτο. Στην δεύτερη περίπτωση, διαμορφώνει έναν συνθετικό ήχο, τον οποίο καθορίζουμε δίνοντας μια νότα από το midi keyboard και στην συνέχεια η processing θα διαμορφώσει μία συγχορδία (μέθοδος sendchord(***))και θα αποστείλει στο pd patch ( [r notechord] ) μία μία τις νότες τις. Η συγχορδία συστήνεται σε έναν ήχο ( [pd chord] ) ο οποίος θα διαμορφωθεί

151 τελικά από την κυματομορφή της φωνής ( [e_vocoder myvocoder] ). Το ύψος του σήματος καθορίζεται επιλεκτικά από τον χρήστη (γραφικό slider [r pitchshift]- -[soundtouch~] ). Ο διακόπτης καθορίζει την ακρίβεια αυθεντικού ακούσματος ή αλλαγμένου ύψους. Τέλος ρυθμίζεται η ένταση του τελικού σήματος, εγγράφεται σε πίνακα ( [pd mic] ) και εξάγεται κατά τον γνωστό τρόπο. Εικόνα 125: pd-patch μικροφώνου με Vocoder. Πολυταλαντωτής Λειτουργεί όπως και ο ταλαντωτής ημιτόνου, μόνο που αυτή την φορά δεν ελέγχουμε τις τιμές των διάφορων αρμονικών. Αντ' αυτού χρησιμοποιούμε ταλαντωτές που παράγουν την ίδια τιμή συχνότητας αλλά σε διαφορετικό σχήμα κυματομορφής. Ο χρήστης ουσιαστικά ανοιγοκλείνει τους διάφορους ταλαντωτές που συνεισφέρουν στον τελικό ήχο με την ίδια πάντα ένταση.

152 Εικόνα 126: pd-patch ταλαντωτή με πολλαπλές κυματομορφές (πολυταλαντωτής). Multisample bass Λειτουργεί ομοίως με το sample player μόνο που εδώ δεν διαθέτουμε έλεγχο ταχύτητας. Κατά την κλασσική πρακτική των sample based synthesizers χρησιμοποιούμε 22 μουσικά δείγματα από ηχογραφημένο μπάσο σε συγκεκριμένες συχνότητες. Ταυτόχρονα με καθένα από αυτούς του ήχους και με τη τεχνική αλλαγής ύψους (pitch shift) αναπαράγουμε άλλη μία γειτονική συχνότητα (διαφορά ημιτονίου) στα σημεία που χρειαζόμαστε, έτσι ώστε να μην χρησιμοποιήσουμε μεγάλο αριθμό δειγμάτων αλλά να μην έχουμε και μεγάλη παραμόρφωση από την αλλαγή ύψους. Το αποτέλεσμα μας δίνει 36 διαφορετικούς τόνους μπάσου. Κάθε αρχείο ενεργοποιείται και αναπαράγεται όταν πατηθεί το αντίστοιχο πλήκτρο στο midi-keyboard. Εικόνα 127: pd-patch Sample based synthesizer.

153 Ενισχυτής ( amplifier / amp ) Επίσης απλή διάταξη. Το σήμα εισάγεται ( [Inlet~] )και εάν έχει προστεθεί από τον χρήστη μικροταλαντωτής (lfo), τότε η ένταση του πολλαπλασιάζεται με το σήμα του lfo (τιμές 0 έως 1). Στην συνέχεια καθορίζεται η τελική ένταση του (περιστροφή patch [r ampgain]-[*~ ], εγγράφεται σε πίνακα ( [pd amp] ) και εξάγεται κατά τον γνωστό τρόπο. Εικόνα 128: pd-patch ενισχυτή. Φίλτρο ( FILTER ) Το φίλτρο λειτουργεί ως εξής: Το αντικείμενο [e_beequad] υλοποιεί με αλγεβρικό τρόπο το φιλτράρισμα του εισερχόμενου σήματος. Τον καθορισμό των παραμέτρων που αυτό χρειάζεται την υλοποιούν άλλα αντικείμενα, που καθορίζουν τις τιμές των παραμέτρων σύμφωνα με τις εισερχόμενες τιμές επιλογών από τον χρήστη. Έτσι για να μετατρέψουμε το [e_beequad] σε κατωδιαβατό φίλτρο (low pass), δίνουμε τιμές για συχνότητα αποκοπής και το εύρος απήχησης (resonance) στο αντικείμενο [u_lowpassq] και αυτό, με τη σειρά του, καθορίζει τις παραμέτρους του [e_beequad]. Ομοίως λειτουργεί το αντικείμενο [u_highpassq] για καθορισμό παραμέτρων ανωδιαβατού φίλτρου και το αντικείμενο [u_bandpass1q] για ζωνοδιαβατό φίλτρο. Ο χρήστης εισαγάγει τιμές για την συχνότητα μέσω περιστροφής του patch ( [r coffreq] ) και το εύρος απήχησης ( [r fltrq] ) μέσω του γραφικού slider. Το radiobox καθορίζει ποιο από τα τρία φίλτρα στέλνει τα δεδομένα του στο [e_beequad] ώστε να επεξεργαστεί το εισερχόμενο σήμα. Σε περίπτωση ενεργοποίησης της γεννήτριας περιβάλλουσας (πάτημα σχετικού γραφικού κουμπιού) τότε η γεννήτρια περιβάλλουσας ( [adsr] ) λειτουργεί ακριβώς όπως την περιγράψαμε την γεννήτρια του ταλαντωτή ημιτόνου. Για να «ανοιγοκλείσει» το φίλτρο προσθέτουμε στην τιμή της συχνότητας αποκοπής το εξαγόμενο της γεννήτριας περιβάλλουσας (πχ. εάν αρχικά είναι 220 Hz τότε μεταβαίνει σε τιμές τιμή περιβάλλουσας ). Το τελικό σήμα εγγράφεται σε πίνακα ([pd fltrwave] ) και εξάγεται.

154 Εικόνα 129: pd-patch φίλτρου. Πολυεφέ ( fx ) Το εισερχόμενο σήμα μεταβιβάζεται σε αντικείμενο που μεταβάλει τον ήχο κατά τα πρότυπα των εφέ phaser ( [e_phaser ph1] ) και chorus ( [e_chorus ch1] ). Ο χρήστης από το γραφικό περιβάλλον θα καθορίσει τους παράγοντες των εφέ (συχνότητα [r fxfreq] και βάθος [r fxdepth]) καθώς και το είδος του εφέ που θα χρησιμοποιηθεί ( [r fxkind] του δρομολογητή της διάταξης). Το σήμα εγγράφεται στον πίνακά του ( [pd fx] ) και εξάγεται. Εικόνα 130: pd-patch πολυεφέ. Εφέ delay ( Delay ) Στο pd patch του delay χρησιμοποιούμε το αντικείμενο [e_fbdelay mydelay 2880] που παράγει το εφέ delay. Το σήμα εισέρχεται στην 1η είσοδο του αντικειμένου, ενώ ο χρήστης καθορίζει μέσω περιστροφής και sliders τις τιμές των παραμέτρων χρόνου καθυστέρησης ( [r delaytime] ), το ποσοστό συμμετοχής του εφέ στον τελικό ήχο ( [r delaydrywet] ) και άλλες παραμέτρους. Το σήμα εγγράφεται στον πίνακά του ( [pd delay] ) και εξάγεται.

155 Εικόνα 131: pd-patch εφέ delay. Μικροταλαντωτής ( lfo ) Το lfo χειρίζεται τέσσερις τύπους κύματος: ημιτονοειδές ( [osc~] ), πριονωτό ( [saw~] ), παλμό ( [square~] ) και τριγωνικό ( [triangl~] ). Ο χρήστης, με περιστροφή του Patch καθορίζει την συχνότητα( [r lfofreq] ) και από το γραφικό radio box επιλέγει το είδος του κύματος ( [r lfotype] ). Η συχνότητα του σήματος κάθε φορά κατευθύνεται προς έναν από τους τέσσερις ταλαντωτές και μετά πάλι επιλέγεται το σήμα του ταλαντωτή που θέλουμε. Αυτό συμβαίνει διότι κάθε ταλαντωτής, από τη στιγμή που θα δεχτεί μια τιμή συχνότητας θα την αναπαράγει αδιάκοπα, οπότε και διαλέγουμε να προωθήσουμε μόνο το σήμα του επιλεγμένου ταλαντωτή. Επιπλέον δίνοντας διαρκές σήμα συχνότητας σε έναν ταλαντωτή και αλλάζοντας το συνεχώς, καταναλώνονται υπολογιστικοί πόροι, οπότε επιλέγουμε να μεταβάλουμε μόνο την τιμή του ταλαντωτή που χρησιμοποιούμε. Το τελικό σήμα φιλτράρεται ( [clip -0.99, 0.99] ) ώστε η μέγιστη ένταση του να μην ξεπεράσει την μέγιστη τιμή (1), εξαιτίας κάποιου λάθους κατά την εκτέλεση του κώδικα. Επειδή οι παραγόμενες συχνότητες είναι μικρής τιμής (5 έως 20 Hz) δεν είναι δυνατή η ακριβής εικονογράφηση του σήματος. Γι αυτόν τον λόγο πολλαπλασιάζουμε την συχνότητα επί 200 μόνο και μόνο για την εγγραφή μιας παρουσιάσιμης γραφικής της παράστασης στον πίνακα ( [pd lfo] ). Τέλος η ποσοστιαία επίδραση του τελικού σήματος διαμορφώνεται κατά τον γνωστό τρόπο που διαμορφώνουμε όλες τις εντάσεις των ανωτέρω αντικειμένων (( [r lfoamount] με τιμές [0,1] από το αντίστοιχο slider).

156 Εικόνα 132: pd-patch lfo με επιλογή είδους ταλαντωτή. Διαμορφωτής Συχνότητας ( modulator ) Η συχνότητα του διαμορφωτή παράγεται στην processing ως αποτέλεσμα της επιλεγμένης αναλογίας συχνοτήτων φορέα : διαμορφωτή (carrier freq./ modulator freq.). Την αναλογία την καθορίζει ο χρήστης μέσω των γραφικών radio boxes του patch ενώ η τιμή του ύψους της συχνότητας υπολογίζεται είτε από την συχνότητα του ημιτονοειδούς ταλαντωτή ( [r modfreq] ) ή την συχνότητα που καθορίζει το midi keyboard ([r modfreq2] ). Ο ημιτονοειδής ταλαντωτής του modulator θα παράγει το κύμα της επιλεγμένης συχνότητας, θα το εγγράψει στον πίνακα με τιμή μέγιστου πλάτους ταλάντωσης (όταν είναι ανοιχτό) και μηδενικού (όταν είναι κλειστό). Έπειτα καθορίζεται η ένταση του, που αποτελεί και παράγοντα του διαμορφούμενου ήχου και στην συνέχεια εξάγεται προς τον pd-patch του ημιτονοειδούς ταλαντωτή.

157 Εικόνα 133: pd-patch διαμορφωτή (Modulator). Έξοδος ήχου ( mastervolume ) Είναι το pd patch που οδηγούνται όλα τα σήματα που πρόκειται να ακουστούν. Αρχικοποιείται στην μισή ένταση ενώ ο χρήστης με το patch master Volume μπορεί να καθορίσει το τελική ένταση όλου του παραγόμενου ήχου. Εικόνα 134: pd-patch που ελέγχει την τελική ένταση. Σχεδίαση ταλαντωτών Το πρόγραμμα της pure data παρέχει λίγους βασικούς ταλαντωτές. Το πρόγραμμά μας χρησιμοποιεί τον [osc~], που παράγει απλό ημιτονοειδές σήμα με εύρος τιμών [-1,1], τον [phasor~], που παράγει πριονωτό σήμα εύρους [0,1] με κύριο σκοπό να χρησιμοποιείται ως σήμα ελέγχου (πχ. στον sampler), και τον [noise~] που παράγει άσπρο θόρυβο. Για την διαμόρφωση των υπολοίπων ταλαντωτών επεξεργαζόμαστε αλγεβρικά το σήμα των προαναφερθέντων. Πριονωτός ταλαντωτής ( [saw~] ) Παίρνουμε το σήμα ενός [phasor~], και μειώνουμε την τιμή πλάτους του κατά μισό. Έτσι παίρνουμε τιμές εύρους [- 0.5, 0.5]. Στην συνέχεια πολλαπλασιάζουμε το πλάτος αυτό επί 2, οπότε και το τελικό σήμα παίρνει τιμές έντασης εύρους [-1,1]. Εικόνα 135: pd-patch δημιουργίας οδοντωτού ταλαντωτή και η μαθηματική διαδικασία που ακολουθείται. Τριγωνικός ταλαντωτής ( [triangl~] ) Για την παραγωγή τριγωνικής μορφής κυματομορφή, επεξεργαζόμαστε το σήμα ενός πριονωτού ταλαντωτή (είτε επαναλαμβάνουμε την προαναφερθείσα διαδικασία). Μέσω πράξεων στις τιμές του πριονωτού κύματος, επιστρέφουμε τις απόλυτες τιμές τους. Αυτό έχει ως αποτέλεσμα οι αυξανόμενες τιμές από -1 έως 0, να

158 μετατρέπονται σε μειούμενες από 1 έως 0. Το σχηματιζόμενο σήμα δημιουργεί τριγωνικές γραφικές παραστάσεις με τιμές εύρους [0, 1]. Για να προσαρμόσουμε το εύρος αυτό σε εύρος συχνότητας [-1,1], ακολουθούμε ακριβώς την ίδια διαδικασία με το πριονωτό σήμα, δηλαδή μειώνουμε το πλάτος κατά 0.5 μονάδες και το διπλασιάζουμε. Εικόνα 136: pd-patch δημιουργίας τριγωνικού ταλαντωτή και η μαθηματική διαδικασία που ακολουθείται. Παλμός ([square~] ) Για την παραγωγή παλμού (τετραγωνική κυματομορφή) χρησιμοποιούμε ημιτονοειδή ταλαντωτή. Ουσιαστικά αυτό που κάνουμε είναι να πολλαπλασιάζουμε το πλάτος του με ένα μεγάλο νούμερο (εδώ x1000) και στην συνέχεια βάζουμε ταβάνι και πάτωμα στις τιμές πλάτους (Α) που είναι μεγαλύτερες από 1 να ισούνται με 1 ( και αντιστοίχως για Α <-1 --> Α=-1). Ο παλμός δημιουργείται καθώς όταν το πλάτος Α είναι στις μεγάλες τιμές, τότε η κλίση Φ της καμπύλης του ημιτόνου (εικόνα 133) μεγαλώνει και τείνει προς τις 90 (Φ > Φ). Εικόνα 137: pd-patch δημιουργίας τετραγωνικού ταλαντωτή και η μαθηματική διαδικασία που ακολουθείται. Προφανώς και οι παραπάνω μέθοδοι δεν αντιστοιχίζονται στις αναλογικές μεθόδους σύνθεσης κυμάτων κατά τον τρόπο που περιγράφτηκαν στο 1ο κεφάλαιο αυτής της εργασίας. Παρόλα αυτά είναι ένας πολύ έξυπνος μαθηματικός τρόπος να πετύχουμε τα επιθυμητά σχήματα κυματομορφών με πολύ λιγότερες υπολογιστικές πράξεις και πόρους, δυνατότητα που προσφέρεται μόνο στα ψηφιακά συστήματα. Ταυτόχρονα, αποτελούν τρία απλά παραδείγματα για το πώς γίνεται η επεξεργασία σήματος στους υπολογιστές, πριν γίνει ήχος, καθώς με ανάλογους μαθηματικούς τρόπους λειτουργούν τα περισσότερα ψηφιακά synthesizer. Στον αντίποδα τώρα πρόκειται για μεθόδους που παράγουν κάπως αυστηρά γεωμετρικά σχήματα κυματομορφών, πολύ πιο σύνθετων από τις αντίστοιχες των παραδοσιακών μεθόδων. Έτσι είναι φυσικό ένας αναλογικός παλμός προσθετικής μεθόδου να ακούγεται στην ίδια συχνότητα πολύ πιο διαφορετικός από έναν ψηφιακό παλμό, καθώς ο πρώτος περιέχει λιγότερες αρμονικές από τον δεύτερο.

159 Γεννήτρια περιβάλλουσας Πριν περιγράψουμε τον τρόπο λειτουργίας της γεν. περιβάλλουσας και της πολυφωνία, θα πρέπει να περιγράψουμε πως λειτουργεί το midi σύστημα μηνυμάτων. Κάθε φορά που πατιέται ένα πλήκτρο στο midi keyboard, στέλνεται ένα μήνυμα είδους midi-in που περιέχει το ύψος (pitch) της νότας (σε midi αρίθμηση δηλαδή η ντο των 32 Hz αντιστοιχεί στο midi pitch 24, ή ντο# (34 Hz) στο 25 κλπ.) και την δυναμική που πατήθηκε (velocity) σε κλίμακα (0 ~127]. Μόλις αφεθεί το πλήκτρο, στέλνεται άλλο μήνυμα είδους midi-out με το ζεύγος αριθμών του πλήκτρου που αφέθηκε και velocity ίσο με 0 (μηδέν). Στη pure data, κάθε αντικείμενο ταλαντωτή μπορεί να δεχτεί μία και μόνο συχνότητα. Σε περίπτωση λοιπόν που θέλουμε να ακούσουμε ταυτόχρονα δύο συχνότητες, θα πρέπει να χρησιμοποιήσουμε δύο ταλαντωτές κλπ. Η γεν. περιβάλλουσας (αντικείμενα [diy-adsr~] και [adsr ] ) κατά την λειτουργία της αυξομειώνει την τιμή της έντασης ποσοστιαία σε σχέση με τη τιμή του velocity (velocity, velocity*sustain/127), στους χρόνους που έχουμε ορίσει (attack, decay, release) Σε περίπτωση που δεχτεί τιμή velocity ίση με μηδέν, τότε τερματίζει τον ήχο μειώνοντας την ένταση από (velocity*sustain/127) τιμή σε μηδέν μέσα σε χρόνο που ορίζει το release. Η διαφορά χρόνου ανάμεσα στα δύο velocity ορίζει και τη διάρκεια (duration) της νότας. Λογισμικό πρόγραμμα διεπαφής Εικόνα 138: Παράδειγμα pd-patch που υλοποιεί γεννήτρια περιβάλλουσας. Το πρόγραμμα Μέχρι τώρα έχουμε δει την λογική λειτουργίας των τριών λογικών μονάδων του συστήματος (διαχειριστής συνδέσεων, συνθέτης γραφικών, συνθέτης ήχου) και τα βασικά τους κομμάτια κώδικα προγραμματισμού. Είδαμε επίσης πως επιτυγχάνεται η επικοινωνία μεταξύ των μερών αυτών. Σε αυτή τη παράγραφο θα εξηγήσουμε τον ακριβή τρόπο λειτουργίας του συστήματος μέσα στην processing, δηλαδή τον τρόπο λειτουργίας του «κορμού» του συστήματος έτσι ώστε να γίνει κατανοητός ο τρόπος που ενώνονται όλα αυτά μαζί. Βασικές σημειώσεις για την Processing Η processing είναι γλώσσα που διαβάζεται γραμμή γραμμή και αποτελεί εμμέσως κομμάτι της java. Για την ανάπτυξη περίπλοκων προγραμμάτων χρησιμοποιεί δύο βασικές μεθόδους την setup() και την draw(). Πρώτη διαβάζεται η setup(), η οποία θέτει σταθερά δεδομένα, καθώς διαβάζεται από τη processing αυστηρά μόνο μία φορά. Έπειτα διαβάζεται η draw() η οποία με το που θα τελειώσει η πρώτη ανάγνωση του κώδικα, θα ξαναδιαβάζεται συνεχόμενα έως ότου σταματήσει το πρόγραμμα. Δεδομένου ότι πρόκειται για απλές μεθόδους Java, είναι λογικό ότι αντικείμενα δημιουργούνται στην μία (κλάσεις, μεταβλητές, στιγμιότυπα αντικείμενων κλπ.) να μην είναι ορατά στην άλλη. Έτσι ο κώδικας μας χωρίζεται σε πέντε λογικά μέρη / κομμάτια, που είναι συνεχή. Ο διαχωρισμός αυτός γίνεται βάση του τρόπου ανάγνωσης του κώδικα από τη processing και δεν αποτελεί αυστηρό

160 κανόνα γραφής του. Παρόλα αυτά προσφέρει έναν συνετό τρόπο ώστε να γίνεται ορατή η λειτουργία του συστήματος στον αναγνώστη του κώδικα. Μέρος 1ο Απαραίτητος εισαγωγικός κώδικας Στο πρώτο μέρος, που προηγείται της setup(), εισαγάγουμε τις βιβλιοθήκες και δηλώνουμε όλα τα global αντικείμενα, λίστες και μεταβλητές, δηλαδή ότι θέλουμε να διαβάζεται από όλες τις μεθόδους. Εικόνα 139: Κομμάτι του processing κώδικα Μέρος 1ο. Μέρος 2ο Setup() Το δεύτερο μέρος αποτελείται από την setup(). Ορίζει τις σταθερές μεταβλητές και αντικείμενα (όπως μέγεθος / ανάλυση οθόνης, ανανέωση οθόνης, μετρικές μεταβλητές και εντολές προς την processing. Επιπλέον αρχικοποιούμε όλα τα αντικείμενα κλάσεων, καθώς δεν συμφέρει να της αρχικοποιούμε μέσα στον κώδικα της draw(), (περιττές επαναλήψεις και ανάδυση προβλημάτων που άπτονται του προγραμματισμού).

161 Εικόνα 140: Κομμάτι του processing κώδικα Μέρος 2ο. Μέρος 3ο Draw() Τρίτο μέρος του κώδικα γράφεται η draw(). Ουσιαστικά πρόκειται για την μέθοδο που «τρέχει» το πρόγραμμα. Μέσα στη draw θα ενεργοποιήσουμε τις κλάσεις των ενεργών αντικειμένων (αυτών που τα patches είναι πάνω στο τραπέζι), διαβάζοντας τα χωρία κώδικά και εκτελώντας τις μεθόδους που ζωγραφίζουν τα γραφικά και ελέγχουν τον ήχο. Εδώ εκτελείται ο συνθέτης γραφικών και ήχου. Αναλυτικά: Αρχικά αποθηκεύουμε σε μια λίστα όλα τα tuio - αντικείμενα (κλάση αντικειμένων TuioObject που φέρει τις πληροφορίες του αντίστοιχου fiducial από το τραπέζι), που πρόκειται να χρησιμοποιηθούν. Έτσι από αυτήν την λίστα μπορούμε να ελέγχουμε ποια είναι ενεργά και ποια εκτός τραπεζιού.

162 Εικόνα 141 : Κομμάτι του processing κώδικα Μέρος 3ο : Αντιστοίχιση fiducials με αντικείμενα. Δεδομένου ότι τα γραφικά ζωγραφίζονται βάση σειράς προτεραιότητας, το πρώτο γραφικό που θα σχηματιστεί θα μπορεί να επικαλυφθεί από το δεύτερο, αν τα σημεία που περιέχουν, συμπίπτουν στον χώρο. Γι αυτόν τον λόγο πρέπει να φροντίζουμε να δίνουμε σε σωστή σειρά τις εντολές απεικόνισης των γραφικών στοιχείων. Πρώτα θα ζωγραφίσουμε τις κυματομορφές. Οι κλάσεις αντικειμένων που περιέχουν τα δεδομένα και τις μεθόδους απεικόνισης των κυματομορφών έχουν οριστεί στο πρώτο κομμάτι του κώδικα και έχουν αρχικοποιηθεί στη setup(). Οι παράμετροι προσανατολισμού της κυματομορφής, όπως και οι εντολές σύνδεσης της modular αλυσίδας στο pdpatch, καταχωρούνται αυτόματα από τον διαχειριστή σύνδεσης, και ανεξαρτήτως του σημείου ανάγνωσης της draw(), με τρόπο που θα εξηγήσουμε παρακάτω. Ο κώδικας ελέγχει εάν το patch κάθε αντικειμένου είναι ενεργό. Εάν ναι, τότε δίνεται εντολή να ζωγραφιστεί η κυματομορφή του, από τον αντίστοιχο waver.

163 Εικόνα 142: Κομμάτι του processing κώδικα Μέρος 3ο : Εντολές ζωγραφικής κυματομορφών ανά patch. Σε αυτό το σημείο του κώδικα επεμβαίνει και διαχειριστής σύνδεσης. Εδώ γίνεται και ο έλεγχος δυνατότητας σύνδεσης τόσο του lfo, όσο και του «διαμορφωτή συχνότητας» (modulator). Εάν το patch του lfo είναι ενεργό, τότε ελέγχουμε αν είναι ενεργό το patch του ημιτονοειδούς ταλαντωτή και του ενισχυτή. Αν κάποιο είναι τότε επιστρέφεται η τιμή της απόστασης του από το lfo, εάν πληρεί την προϋπόθεση μέγιστης απόστασης σύνδεσης. Σε περίπτωση που αυτή η προϋπόθεση πληρείται και από τα δύο patch, τότε επικρατεί αυτό που απέχει το λιγότερο από το lfo patch. Στην συνέχεια στέλνονται τα δεδομένα σύνδεσης στον συνθέτη ήχου, καθορίζεται ο προσανατολισμός της γραφικής κυματομορφής και δίνεται εντολή απεικόνισης αυτής. Σε περίπτωση μη σύνδεσης τότε δίνεται εντολή αποσύνδεσης του lfo στον συνθέτη ήχου και δεν ζωγραφίζεται καμία κυματομορφή. Ομοίως λειτουργεί και η σύνδεση του «διαμορφωτή συχνότητας», μόνο εδώ ελέγχεται η απόστασή του από το patch του ημιτονοειδούς ταλαντωτή, εάν είναι ενεργός και αναλόγως δίνονται εντολές σύνδεσης ή αποσύνδεσης.

164 Εικόνα 143: Κομμάτι του processing κώδικα Μέρος 3ο : Σύνδεση lfo και modulator (κομμάτι που ελέγχει τον διαχειριστή σύνδεσης). Όταν ολοκληρωθεί και αυτός ο έλεγχος, θα ακολουθήσει η απεικόνιση των πλαισίων των patch, που περιλαμβάνουν το «δαχτυλίδι» του patch και τους ακόλουθους γραφικούς ελεγκτές, όπως περιγράφτηκαν νωρίτερα. Επιπλέον συναρτήσεις και μέθοδοι που έχουν να κάνουν με την διαχείριση των patch και των παραμέτρων του, καθώς και η απεικόνιση ανάλογων γραφικών στοιχείων, ενεργοποιούνται επίσης τώρα. Ο τρόπος είναι πανομοιότυπος με τους προαναφερθέντες, καθώς ελέγχουμε ένα ένα ποια από τα patch είναι ενεργά, και γι αυτά που είναι, ενεργοποιούμε την συνάρτηση creat(), που όπως περιγράψαμε και νωρίτερα, απεικονίζει, ανάλογα με το σημείο που βρίσκεται το patch πάνω στο τραπέζι, το πλαίσιο και τους ελεγκτές του, και στέλνει τα δεδομένα διαχείρισης του ήχου στο σχετικό pd-patch του συνθέτη του ήχου. Εάν οι κλάσεις των αντικειμένων διαθέτουν και άλλες μεθόδους ελέγχου (πχ. το φίλτρο διαθέτει μέθοδο υπολογισμού της συχνότητας ( cutofffreq() ), μεθόδους προσθήκης και ελέγχου της γεννήτριας περιβάλλουσας ( addge() ) και μεθόδους προσθήκης του προσθετικού synthesizer για τον ημιτονοειδή ταλαντωτή ( addsynth() ). Οι μέθοδοι αυτοί έχουν σχεδιαστεί και λειτουργούν όπως και η create(), καθώς φέρουν όλες τις εντολές απεικόνισής τους και ταυτόχρονα ελέγχου των παραμέτρων τους, τόσο για τον συνθέτη γραφικών, όσο και για τον συνθέτη ήχου, για τις αντίστοιχες κλάσεις τους.

165 Εικόνα 144: Κομμάτι του processing κώδικα Μέρος 3ο : Εντολές ζωγραφική γραφικού περιβάλλοντος των patch ανά patch. Τέλος στην draw() πάνω από όλα ζωγραφίζουμε το στίγμα και τη διαδρομή του κέρσορα (μέθοδος cursorview()).

166 Μέρος 4ο Αυτοματοποιημένες συναρτήσεις και μέθοδοι (callback methods). Μετά τη draw(), γράφουμε κάποιες συναρτήσεις, οι οποίες παρέχονται από την βιβλιογραφία των βιβλιοθηκών, και είναι ουσιαστικά αυτές που τις κάνουν ενεργές. Εδώ γράφουμε τις addtuioobject(***), removetuioobject(***), updatetuioobject(***), addtuiocursor(***), removetuiocursor (***), updatetuiocursor (***) και refresh(***) της TUIO βιβλιοθήκης, noteon(***) και noteoff(***) της midibus και receivefloat(***) και receivemessage(***) της libpd. Οι συναρτήσεις αυτές ενεργοποιούνται αυτόματα και επιστρέφουν κάποια δεδομένα όταν συμβαίνει κάποιο συμβάν που ελέγχουν. Όταν θα προστεθεί ένα patch πάνω στο τραπέζι, η addtuioobject(***) θα επιστρέψει ένα προγραμματιστικό αντικείμενο τύπου TuioObject, που θα φέρει όλες τις πληροφορίες για το fiducial του patch. Αντιστοίχως θα πράξει και η removetuioobject(***) για κάποιο αντικείμενο που έχει αφαιρεθεί κοκ. Εικόνα 145: Κομμάτι του processing κώδικα Μέρος 4ο : Έλεγχος συμβάντων στην επιφάνεια διάδρασης. Ενημέρωση δράσεων των fiducials και των δαχτύλων (μετάφραση osc πακέτων από reactivision). Εμείς μέσα σε αυτές, συμπεριλαμβάνουμε εντολές και μεθόδους κλάσεων, ώστε να χειριστούμε το synthesizer που δημιουργήσαμε. Οι μέθοδοι της TUIO χρησιμοποιούνται έτσι ώστε να επιστέφονταν δεδομένα στον διαχειριστή σύνδεσης, και να επιστρέφουν την θέση του κέρσορα σε διάφορες μεθόδους, όπως τον έλεγχου «object picking» και την απεικόνιση της διαδρομής του δαχτύλου πάνω στο τραπέζι. Οι μέθοδοι της midibus χρησιμοποιούνται έτσι ώστε να καθορίζεται η συχνότητα του ημιτονοειδούς ταλαντωτή (και επομένως του διαμορφωτή συχνότητας), καθώς και για τον χειρισμό των γεννητριών περιβάλλουσας (όσων αφορά τους παράγοντες velocity και duration). Πρόκειται για τον τρόπο εισαγωγής και ελέγχου του ήχου από το midi keyboard.

167 Εικόνα 146: Κομμάτι του processing κώδικα Μέρος 4ο : Εισαγωγή midi δεδομένων και διανομή τους στους συνθέτες ήχου και γραφικών υπό την μορφή πληροφορίας ελέγχου. Οι μέθοδοι της libpd επιστρέφουν δεδομένα από το pd-patch. Στο synthesizer που αναπτύσσουμε χρησιμοποιούμε μόνο την μέθοδο επιστροφής δεκαδικών αριθμών, από αντικείμενα αποστολής ( [send όνομα ] ) της pure data, τα οποία έχουμε διαλέξει να παρακολουθούμε από την setup() (εντολή «pd.subscribe( όνομα )». Χρησιμοποιείται για να υπολογίζεται και να επανακαθορίζεται η γραφική απεικόνιση του slider ύψους (pitch) λόγω της αλλοίωσης του ύψους στο sample player, στην λειτουργία pitch correction, καθώς και την σωστή απεικόνιση της διάρκειας της νότας (duration) στη γραφική γεννήτρια περιβάλλουσας. Εικόνα 147: Κομμάτι του processing κώδικα Μέρος 4ο : Εισαγωγή δεδομένων από τον συνθέτη ήχου. Μέρος 5ο Σώμα κώδικα Στο υπόλοιπο που απομένει, βρίσκεται και το κύριο σώμα του κώδικα, δηλαδή όλος ο κώδικας των κλάσεων, ο κώδικας του Διαχειριστή Σύνδεσης, καθώς και μέθοδοι που χρησιμοποιούνται από το σύστημα.

168 Επειδή η processing χρησιμοποιεί στο interface της καρτέλες, επιλέγουμε να τοποθετήσουμε στην πρώτη καρτέλα, που είναι και η κύρια (η καρτέλα που ξεκινά η ανάγνωσή του κώδικα και φέρει το όνομα όλου του processing αρχείου), τα τέσσερα πρώτα μέρη του κώδικα, ενώ το 5ο μέρος θα γραφτεί σε κλάση patch αντικειμένου ανά καρτέλα, καθώς και μια καρτέλα που θα φέρει όλες τις κλάσεις γραφικών ελεγκτών, μία για τον διαχειριστή Σύνδεσης, μία για τις επιπλέον μεθόδους του προγράμματος και μία με μεθόδους αρχικοποίησης και οργάνωσης των διάφορων ομάδων αντικειμένων. Εικόνα 148: Διάρθρωση του processing κώδικα σε καρτέλες. Σύνοψη τρόπου λειτουργίας μέσα στο περιβάλλον της processing Διαβάζεται όλος ο κώδικας μία φορά, έτσι ώστε να αποθηκευτούν στις μνήμες του υπολογιστή οι διάφορες κλάσεις και οι μέθοδοι και ταυτόχρονα να γίνει έλεγχος λαθών για να μην πέσει το πρόγραμμα. Έπειτα ξαναδιαβάζεται με τη σειρά το 1ο μέρος του κώδικα και ορίζονται τα global αντικείμενα και οι βιβλιοθήκες, μετά η μέθοδος Setup() (2ο μέρος) και αρχικοποιούνται τα αντικείμενα που ορίστηκαν στο 1ο μέρος. Συνέχεια της Setup() είναι η μέθοδος Draw() (3o μέρος) η οποία διαβάζεται και επαναλαμβάνεται συνεχώς. Δεδομένα των κλάσεων και των μεταβλητών που παρουσιάζονται στη draw() μεταβάλλονται δυναμικά από τον χρήστη μέσω ποντικιού, πληκτρολογίου, πολυαπτικού τραπεζιού και midi keyboard. Αυτές οι αλλαγές υποβάλλονται στη Draw() μέσω συναρτήσεων που ομαδοποιούμε στο 4ο μέρος του κώδικα. Το πώς λειτουργούν οι κλάσεις και οι μέθοδοι που τρέχουν στα πρώτα 4 μέρη του κώδικα, περιλαμβάνεται στο 5ο μέρος.

169 Διάγραμμα 24: Γενικό πλαίσιο λειτουργίας της processing για το Spyractable (και όχι μόνο). Αξιολόγηση και επανασχεδίαση Μετά την ολοκλήρωση του προγραμματισμού των δύο synthesizers προχωράμε στην προσωρινή αξιολόγηση τους. Για αυτήν την διαδικασία καλούμε έναν επαγγελματία του ήχου να χρησιμοποιήσει τις δύο διατάξεις και να κρίνει κατά πόσο βολεύουν και εξυπηρετούν ένα τέτοιο εγχείρημα. Στόχος αυτής της ανεπίσημης αξιολόγησης είναι να εντοπίσουμε πιθανά λάθη στην λογική παραγωγής του ήχου, να ελέγξουμε αν τα αντικείμενα και οι λειτουργίες που αναπτύξαμε επαρκούν για να εξυπηρετήσουν τον σκοπό της έρευνάς αυτής και τέλος να επιλέξουμε τη πιο ταιριαστή διάταξη μεταξύ των δύο (ala reactable και οριζόντιο reactable) και να την βελτιστοποιήσουμε σύμφωνα με τα αποτελέσματα της αξιολόγησης αυτής. Αποτελέσματα αξιολόγησης Απορρίπτεται η ala Reactable σύνδεση καθώς περιορίζει κατά πολύ την επιφάνεια / χώρο εφαρμογής για μία αλυσίδα κατά 30% σε σχέση με την οριζόντια έκδοση. Επιπλέον η κυκλική ανάγνωση βολεύει την συνεργασία, αλλά η σύνθεση ήχων είναι κυρίως ατομική υπόθεση, οπότε ο ένας χρήστης δυσκολεύεται στην ανάγνωση των διαφόρων ενδείξεων τιμών. Επιλέγεται η οριζόντια έκδοση του Spyractable καθώς προσφέρει περισσότερο χώρο για μεγαλύτερες αλυσίδες από patches, σε πολλές γραμμές, ενώ θεωρείται πιο κατανοητός ο προσανατολισμός χρήσης των διαφόρων patches σε σχέση με την κυκλική ανάγνωση. Επιπλέον κρίνεται σκόπιμο να υπάρξουν αλλαγές, προσθήκες και βελτιστοποιήσεις στα διάφορα patch, βασισμένες στην λογική της modular σύνθεσης και της διατήρησης του χαρακτήρα και του ελέγχου των διαφόρων λογικών μονάδων του synthesizer (πχ. Ο έλεγχος του ταλαντωτή και του ύψους τόνου περιορίζεται στο patch του ταλαντωτή, ενώ η έννοια της έντασης και των παραμέτρων της περιορίζονται στο patch του ενισχυτή). Αλλαγές γίνονται και για την εξυπηρέτηση της αξιολόγησης του Spyractable από χρήστες. Πιο συγκεκριμένα:

170 Καταργείται το sample player ρυθμών, καθώς κρίνεται ότι δεν εξυπηρετεί κανένα προφανή σκοπό σύνθεσης. Αναπτύσσεται δεύτερο φίλτρο με τις ίδιες λειτουργίες και δεύτερος ενισχυτής. Αλλάζονται τα φίλτρα στον συνθέτη του ήχου, καθώς τα πρώτα ήταν ανοιχτά σε συντονισμούς που μπορούν να προκαλέσουν αυξανόμενο θόρυβο ή συριγμό. Επιπλέον προστίθεται προαιρετική γεν. περιβάλλουσας που ανοιγοκλείνει την συχνότητα αποκοπής. Αναπτύσσονται επιπλέον sample based ταλαντωτές με ήχους από α) βιολί, β) τρομπόνι και γ) τρομπέτα, ενώ καταργείται το μπάσο, καθώς κρίνεται ότι θα βοηθήσουν περισσότερο στην αξιολόγηση καθώς διαθέτουν μεγαλύτερη διάρκεια και πιο πλούσιο αρμονικό περιεχόμενο, ώστε να γίνονται οι αλλαγές στον ήχο πιο ευνόητες στον χρήστη. Η γεννήτρια περιβάλλουσας της έντασης κάθε ταλαντωτή καταργείται από τον ταλαντωτή και μεταφέρεται στον ενισχυτή, όπου είναι και η λογική της θέση. Με αυτό τον τρόπο διορθώνουμε την κατά modular λογική λανθασμένη τοποθέτηση της στον ταλαντωτή, εφόσον αποτελεί λειτουργία του ενισχυτή (περιβάλλουσα έντασης). Έτσι δεν χρειάζεται να καθορίζεται η γεννήτρια ενός ήχου στον κάθε ταλαντωτή ξεχωριστά, αλλά συνολικά από τον ενισχυτή όπως συμβαίνει και στην πραγματικότητα. Κάθε ενισχυτής μπορεί να δεχτεί σήμα από πολλαπλούς ταλαντωτές και να το διαχειριστεί ενιαία και όχι μεμονωμένα (ως είθισται). Η ύπαρξη δύο ενισχυτών που μπορούν να παράγουν δύο διαφορετικής δυναμικής και διάρκειας ήχους, προσφέρει μια δυναμική στην σύνθεση πρωτότυπων ήχων. Ο μικροταλαντωτής (lfo) έχει δυνατότητα να συνδεθεί τόσο στους δύο ενισχυτές (ταλάντωση πλάτους), όσο και στους ταλαντωτές ημίτονου και πολυ ταλαντωτή βασικών κυματομορφών (ταλάντωση ύψους). Σε όλους τους ταλαντωτές καταργείται ο καθορισμός ύψους με περιστροφή του αντιστοιχισμένου patch. Η περιστροφή πλέον καθορίζει ένα σχετικό πλάτος ταλάντωσης (ένταση). Το σχετικό slider καταργείται. Τοποθετείται στους ταλαντωτές ημίτονου και πολυ ταλαντωτή βασικών κυματομορφών προαιρετική γεννήτρια περιβάλλουσας ύψους (pitch envelope) καθώς και πύλη ελέγχου ταχύτητας των πλήκτρων (Velocity) μέσω slider που καθορίζει την ελάχιστη και την μέγιστη επιτρεπόμενη τιμή Velocity πλήκτρου που αφορά την ένταση (Πάνω από την μέγιστη τιμή και κάτω από την ελάχιστη, εάν πατηθεί ένα πλήκτρο του κλαβιέ, τότε αυτό δεν ακούγεται). Επιπλέον στον ταλαντωτή ημίτονου, έχει τοποθετηθεί διακόπτης επιλογής τρόπου επιρροής του παράγοντα Velocity με επιλογές ποσοστιαίας διακύμανσης (velocity πάνω από την μέγιστη τιμή αποδίδει ποσοστό της έντασης του ήχου. Πχ. Εάν Δώσουμε τιμή Max Velocity Limit == 80 με μέγιστη τιμή το 100, τότε κτύπημα πλήκτρου με velocity == 90 θα ακουστεί στην μισή ένταση από ότι ένα κτύπημα πλήκτρου με τιμή <= 80) ή σταθερών ορίων ελάχιστης και μέγιστης ταχύτητας. Βελτιώνεται η λειτουργία προσθετικής σύνθεσης, καθώς τα sliders μεγαλώνουν (καθοριζόμενο από τον χρήστη μέγεθος) και αλλάζουν προσφέροντας επιλογή αρνητικού πλάτους ταλάντωσης που σηματοδοτεί και την αλλαγή φάσης (κατά π). Επιπλέον προστίθεται οθόνη που απεικονίζει τη σχηματιζόμενη κυματομορφή. Όσον αφορά θέματα κώδικα, γίνονται βελτιώσεις οικονομίας χρόνου και πόρων, ενώ αντιμετωπίζονται bugs που δημιουργούσαν προβλήματα. Ο κώδικας συμμαζεύεται τόσο στο κομμάτι της processing όσο και στο κομμάτι της pure data έτσι ώστε να είναι οργανωμένο και πιο κατανοητό από τον αναγνώστη. Παρόλα αυτά η λογική λειτουργίας των τριών κομματιών λογισμικού (διαχειριστής σύνδεσης, συνθέτης εικόνας και συνθέτης ήχου) παραμένει ίδια και διέπεται από τους ίδιους κανόνες. Hardware Για την ολοκλήρωση του -υπό κατασκευή- synthesizer, θα πρέπει να κατασκευάσουμε και το υλικό ελέγχου του λογισμικού που αναπτύξαμε, στην προκειμένη περίπτωση, τραπέζι αφής. Για την κατασκευή του τραπεζιού αφής με ικανότητα ανάγνωσης των fiducial, χρησιμοποιήσαμε μία σιδερένια βάση ύψους 1 μέτρου. Η οθόνη αλληλεπίδρασης που χρησιμοποιούμε συμφωνεί με την τεχνική Διαταραχής Ολικής Εσωτερικής Ανάκλασης (Frustrated Total Internal Reflection ή FTIR).

171 Εικόνα 149: Ο σκελετός του Spyractable. Κατά την τεχνική Διαταραχής Ολικής Εσωτερικής Ανάκλασης, φωτάκια τύπου Led, εκπομπής υπέρυθρου φωτός (infrared light), πλαισιώνουν μία λεπτή επιφάνεια από κάποιο διαφανές μέσο, plexiglass στην δική μας περίπτωση. Οι ακτίνες του υπέρυθρου φωτός διαχέονται και ανακλώνται στο εσωτερικό της επιφάνειας του plexiglass, εφόσον τα leds έχουν τοποθετηθεί σε σωστή γωνία (σύμφωνα με του Snell), χωρίς να μπορούν να διαφύγουν καθώς το plexiglass διαθέτει δείχτη διάθλασης μεγαλύτερο των μέσων που έρχεται σε επαφή (αέρας από την κάτω πλευρά και επιφάνεια σιλικόνης από την επιφάνεια αφής, που διαθέτει δείχτη διάθλαση κοντινό στην τιμή του plexiglass, αλλά ακουμπά απαλά χωρίς να ασκεί πίεση). Στην πάνω επιφάνεια της οθόνης έχει τοποθετηθεί ημιδιαφανές χαρτί (ρυζόχαρτο) στο οποίο έχει ενσωματωθεί διαφανής σιλικόνη, από την πλευρά επαφής με την οθόνη, σύμφωνα με την τεχνική του Tinkerman (Tinkerman's Method). Αυτό προσδίδει στο χαρτί τις εξής ιδιότητες: α) Κάνει ορατή την προβολή του προτζέκτορα, που προβάλει από την κάτω πλευρά, β) Δίνει την δυνατότητα να γίνονται ορατά τα αντικείμενα που ακουμπάν πάνω στο τραπέζι (fiducials) από την κάτω πλευρά και γ) Αυξάνει τον δείκτη διάθλασης του ρυζόχαρτου, έτσι όταν ασκήσουμε πίεση σε ένα σημείο της επιφάνειας, αυτή θα μεταφερθεί επιτυχώς στο plexiglass στο σημείο που πιέσαμε και θα προκαλέσει το υπέρυθρο φως να διαθλαστεί εκτός του plexiglass.

172 Εικόνα 150: Ημιδιαφανής επιφάνεια εφαρμογής, πάνω στην MT οθόνη. Παράλληλα χρησιμοποιούμε την τεχνική του Οπίσθιου Διάχυτου Φωτισμού (rear Diffused Illumination ή rear-di). Όπως αυτή περιγράφηκε σε προηγούμενο κεφάλαιο. Η χρήση αυτής της τεχνικής ενισχύει το σήμα από την αφή του τραπεζιού και παράλληλα κάνει ορατά τα fiducial στην ειδικά διαμορφωμένη κάμερα. Εικόνα 151: Infrared Leds για rear-di. Η ειδική κάμερα (κάμερα που έχει αφαιρεθεί το φίλτρο υπέρυθρων και έχει τοποθετηθεί φίλτρο ορατού φωτός, έτσι ώστε να βλέπει μόνο το υπέρυθρο φως) βλέπει το φως και τα fiducial σύμβολα στην επιφάνεια εφαρμογής και μέσω computer Vision λογισμικών, θα το μετατρέψει σε πληροφορία συντεταγμένων επιφάνειας - χρόνου, σύμφωνα με το καδράρισμα και τις ρυθμίσεις του Computer Vision λογισμικού που χρησιμοποιείται (reactivision), όπως περιγράψαμε σε προηγούμενο κεφάλαιο. Στην διάταξή μας χρησιμοποιούμε κάμερα Sony PSEye 3, καθώς αποδίδει υψηλό βαθμό ανάλυσης στην μονάδα του χρόνου ( >30 frames / sec με ανάλυση υψηλής ευκρίνειας (high definition)).

173 Εικόνα 152: Η διαμορφωμένη Sony PS3 eye web camera. Για την προβολή της οπτικής ανάδρασης χρησιμοποιούμε σύστημα καθρέφτη, τοποθετημένο σε ειδικά διαμορφωμένη βάση και προτζέκτορα (toshiba TDP-T45) με ανάλυση 1024x768 pixels. Για την αποστολή midi εντολών ελέγχου νοτών, χρησιμοποιήθηκε το midi keyboard AKAI profesional LPK25. Εικόνα 153: Έλεγχος με midi keyboard AKAI LPK25.

174 Τελικό Αντικείμενο Υλοποίηση a la reactable

175 Υλοποίηση οριζόντιο reactable

176 Hardware

177 Στιγμιότυπα του προβολής της processing: