ΜΕΤΑΠΤΥΧΙΑΚΗ ΕΞΕΙΔΙΚΕΥΣΗ ΣΤΑ ΠΛΗΡΟΦΟΡΙΑΚΑ ΣΥΣΤΗΜΑΤΑ ΔΙΠΛΩΜΑΤΙΚΗ ΕΡΓΑΣΙΑ. «Ολοκληρωµένο Περιβάλλον Μετατροπής Εικόνας και Ζωγραφικής σε Ηχητικά Μοτίβα»

Transcript

1 ΕΛΛΗΝΙΚΟ ΑΝΟΙΚΤΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΣΧΟΛΗ ΘΕΤΙΚΩΝ ΕΠΙΣΤΗΜΩΝ ΚΑΙ ΤΕΧΝΟΛΟΓΙΑΣ ΜΕΤΑΠΤΥΧΙΑΚΗ ΕΞΕΙΔΙΚΕΥΣΗ ΣΤΑ ΠΛΗΡΟΦΟΡΙΑΚΑ ΣΥΣΤΗΜΑΤΑ ΔΙΠΛΩΜΑΤΙΚΗ ΕΡΓΑΣΙΑ «Ολοκληρωµένο Περιβάλλον Μετατροπής Εικόνας και Ζωγραφικής σε Ηχητικά Μοτίβα» ΤΣΙΟΥΡΗ ΣΤΑΥΡΟΥΛΑ Α.Μ.: ΕΠΙΒΛΕΠΩΝ ΣΕΠ: ΦΛΩΡΟΣ ΑΝΔΡΕΑΣ ΘΕΣΣΑΛΟΝΙΚΗ ΙΟΥΝΙΟΣ 2012

2 Πίνακας περιεχοµένων Πίνακας εικόνων... 5 Ολοκληρωµένο Περιβάλλον Μετατροπής Εικόνας και Ζωγραφικής σε Ηχητικά Μοτίβα... 5 Περίληψη... 7 Λέξεις-κλειδιά... 7 Abstract... 8 Key words... 8 Ευχαριστίες... 9 Εισαγωγή Κεφάλαιο Μελέτη βιβλιογραφίας Αντιστοιχίσεις χρωµάτων σε νότες Καλλιτέχνες µε συναισθησία Οπτικοακουστικά όργανα - Νότες µε χρώµατα Παραστάσεις παράλληλων ζωγραφικών και µουσικών αυτοσχεδιασµών Αντιστοιχίσεις παραµέτρων εικόνας σε παραµέτρους ήχου Συσκευές και προγράµµατα υποβοήθησης «όρασης» µέσω ήχων Κεφάλαιο Ανάλυση συστήµατος λογισµικού σύµφωνα µε τη µεθοδολογία ICONIX Γενικά για τη µεθοδολογία ICONIX Ανάλυση του Αρχικού Κειµένου Απαιτήσεων Χρήστη Ερωτήµατα Παραδοχές Γενικά στοιχεία της εφαρµογής Πως θα «µεταφράζεται» η ζωγραφική δηµιουργία σε ηχητική

3 3. Ποιους τύπους εικόνων θα ανοίγει η εφαρµογή και πως θα «µεταφράζεται» η στατική εικόνα σε ήχο Πως θα γίνεται η αποθήκευση και στη συνέχεια η αναπαραγωγή µιας εργασίας Πως θα λειτουργεί το σχεδιαστικό εργαλείο ουράνιο τόξο Ενδεικτική Σχεδίαση Διεπαφών( Protorype Screens) Μοντέλο (Ανάλυσης) Κλάσεων Πεδίου του Προβλήµατος Πιθανοί χειριστές (Actors) του Πεδίου του Προβλήµατος Περιπτώσεις χρήσης Εκκίνηση Ζωγραφική µε πινέλο ή γραµµή ή έλλειψη ή παραλληλόγραµµο/ Παραγωγή ήχου Ζωγραφική µε σπρέυ/ Παραγωγή ήχου Ζωγραφική µε κουβά/ Παραγωγή ήχου Ζωγραφική µε σβήστρα/ Παραγωγή ήχου Ζωγραφική µε ουράνιο τόξο/ Παραγωγή ήχου Αποθήκευση εργασίας Άνοιγµα εικόνας/αποθηκευµένης εργασίας Μουσική εξερεύνηση εικόνας Το συνολικό Μοντέλο Περιπτώσεων Χρήσης Αναθεωρηµένη έκδοση του µοντέλου του πεδίου προβλήµατος Διαγράµµατα ακολουθίας Αναθεωρηµένη έκδοση του µοντέλου του πεδίου προβλήµατος Κεφάλαιο Υλοποίηση εφαρµογής Δηµιουργία ψηφιακών εργαλείων σχεδίασης Δηµιουργία γραφικού περιβάλλοντος εφαρµογής Παραγωγή ήχου εργαλείων και καµβά

4 Το πρότυπο MIDI Μουσικές βιβλιοθήκες της Processing Μια διαφορετική προσέγγιση Εγκατάσταση εφαρµογής και οδηγίες χρήσης Η εφαρµογή HearWhatYouPaint στην πράξη Κεφάλαιο Συµπεράσµατα και µελλοντικές επεκτάσεις Βιβλιογραφία - Ιστογραφία: Παράρτηµα Α

5 Πίνακας εικόνων Εικόνα 1: Πυθαγόρεια τετρακτύα Εικόνα 2: Σχέσεις Κινέζων αλχηµιστών Εικόνα 3: Ο χρωµατικός κύκλος του Νεύτωνα Εικόνα 4: Τρεις αιώνες χρωµατισµένων κλιµάκων µουσικής από επιστήµονες, καλλιτέχνες και µουσικούς [1] Εικόνα 5: Impression III (Konzert), Kandinsky Εικόνα 6: The «Piano optophonique» project Εικόνα 7: Η άρπα λέιζερ και ο Jean-Michel Jarre Εικόνα 8: Η πλακέτα-σχεδιαστήριο του Ξενάκη, που ονόµασε UPIC Εικόνα 9: Το σύστηµα απεικόνισης εικόνας σε ήχο του Wong Εικόνα 10: Αντιστοιχίσεις εικόνας σε ήχο του προγράµµατος The voice Εικόνα 11: Κύρια οθόνη Εικόνα 12: Aποθήκευση Εικόνα 13: Άνοιγµα Εικόνα 14: Άνοιγµα στατικής εικόνας Εικόνα 15: Μοντέλο(Ανάλυσης) κλάσεων πεδίου του προβλήµατος Εικόνα 16: Το συνολικό µοντέλο περιπτώσεων χρήσης Εικόνα 17: Το αναθεωρηµένο µοντέλο του πεδίου προβλήµατος Εικόνα 18: Διάγραµµα ακολουθίας «Εκκίνηση» Εικόνα 19: Διάγραµµα ακολουθίας «Ζωγραφική µε πινέλο ή γραµµή ή έλλειψη ή παραλληλόγραµµο/παραγωγή ήχου» Εικόνα 20: Διάγραµµα ακολουθίας «Αποθήκευση εργασίας» Εικόνα 21: Διάγραµµα ακολουθίας «Άνοιγµα εικόνας/αποθηκευµένης εργασίας» Εικόνα 22: Διάγραµµα ακολουθίας «Μουσική εξερεύνηση εικόνας» Εικόνα 23: Το αναθεωρηµένο µοντέλο του πεδίου προβλήµατος Εικόνα 24: Διάγραµµα κλάσεων της εφαρµογής Εικόνα 25: Εκκίνηση εφαρµογής Εικόνα 26: Δοκιµές εργαλείων: πινέλο, γραµµή, έλλειψη, παραλληλόγραµµο Εικόνα 27: Δοκιµές εργαλείων: σπρέυ, ουράνιο τόξο, κουβάς Εικόνα 28: Αποθήκευση εργασίας Εικόνα 29: Άνοιγµα στατικής εικόνας

6 Ολοκληρωµένο Περιβάλλον Μετατροπής Εικόνας και Ζωγραφικής σε Ηχητικά Μοτίβα Τσιούρη Σταυρούλα Ονοµατεπώνυµο Ονοµατεπώνυµο Ονοµατεπώνυµο Επιβλέποντα Μέλους Μέλους Φλώρος Ανδρέας Χατζηευθυµιάδης Ευστάθιος Κωτσιάντης Σωτήριος ΕΑΠ, 2012 Η παρούσα διατριβή, η οποία εκπονήθηκε στα πλαίσια της ΘΕ «Διπλωµατική Εργασία» του προγράµµατος «Μεταπτυχιακή Εξειδίκευση στα Πληροφοριακά Συστήµατα» (ΠΛΣ), και τα λοιπά αποτελέσµατα της αντίστοιχης Διπλωµατικής Εργασίας (ΠΕ) αποτελούν συνιδιοκτησία του ΕΑΠ και του φοιτητή, ο καθένας από τους οποίους έχει το δικαίωµα ανεξάρτητης χρήσης και αναπαραγωγής τους (στο σύνολο ή τµηµατικά) για διδακτικούς και ερευνητικούς σκοπούς, σε κάθε περίπτωση αναφέροντας τον τίτλο και το συγγραφέα και το ΕΑΠ, όπου εκπονήθηκε η Διπλωµατική Εργασία, καθώς και τον επιβλέποντα και την επιτροπή κρίσης. 6

7 Περίληψη Ο σκοπός της παρούσας διπλωµατικής εργασίας είναι να εξερευνήσει τη σχέση χρώµατος και ήχου, που φαίνεται να έχει απασχολήσει πλήθος ερευνητών στο πέρασµα των αιώνων. Επειδή οι δυνατότητες συνδυασµού των δύο τεχνών ζωγραφικής και µουσικής είναι απεριόριστες, η προσπάθεια επικεντρώθηκε στη δηµιουργία συσχετίσεων, για τη µετάβαση από την οπτική στην ηχητική πληροφορία, όπως αυτές προκύπτουν από µελέτη της σχετικής βιβλιογραφίας. Η χρησιµοποίηση της τεχνολογίας προσφέρεται για την περεταίρω διερεύνηση της παραπάνω σχέσης. Έτσι, στα πλαίσια της παρούσας διπλωµατικής, αναπτύχθηκε η εφαρµογή HearWhatYouPaint, που αφενός «µεταφράζει» την οπτική πληροφορία µιας στατικής εικόνας σε ηχητική και αφετέρου «µεταφράζει» την ίδια τη ζωγραφική δηµιουργία σε ήχο. Σε ότι αφορά τη δεύτερη περίπτωση, ο χρήστης χρησιµοποιώντας γνωστά ψηφιακά εργαλεία σχεδίασης, όπως πινέλο, σπρέι, κουβά και άλλα, ζωγραφίζει και παράλληλα ακούει τον ήχο της ζωγραφικής του. Οι τρέχουσες επιλογές εργαλείων, χρώµατος, πάχους εργαλείων και µουσικών οργάνων καθορίζουν τον παραγόµενο ήχο. Η εφαρµογή αναλύθηκε και σχεδιάστηκε σύµφωνα µε τη µεθοδολογία ICONIX. Για την υλοποίησή της χρησιµοποιήθηκε η γλώσσα προγραµµατισµού ανοιχτού κώδικα Processing. Λέξεις-κλειδιά Processing, χρώµα, ήχος, ζωγραφική, µουσική, τέχνη, εικόνα, ψηφιακά εργαλεία σχεδίασης, µουσικά όργανα, ηχητική πληροφορία, πινέλο, σπρέι, κουβάς, ICONIX 7

8 Abstract The purpose of this graduate dissertation paper is to explore the relation between color and sound, which seems to have preoccupied plenty of researchers through the centuries. Since the possibilities of combining the two forms of art, painting and music, are infinite, the effort has centered on the creation of correlations, for the transition from the optic to the acoustic information, as they arise from the study of the literature on the subject. The usage of technology is suitable for the further exploration of the above mentioned relation. Therefore, in the context of the present dissertation paper, the application HearWhatYouPaint was developed, which, on one hand, translates the optical information of a static image into acoustic and on the other hand translates the painting creation itself into sound. As for the second case, the user operating known digital designing tools, such as the brush, spray, bucket and others, paints and simultaneously hears the sound of his painting. The current choices of tools, color, thickness of tools and musical instruments determines the sound produced. The application was analyzed and designed according to the ICONIX methodology. For its realization the open source computer language Processing was used. Key words Processing, color, sound, painting, music, art, image, digital designing tools, musical instruments, acoustic information, brush, spray, bucket, ICONIX 8

9 Ευχαριστίες Θα ήθελα να εκφράσω τις ευχαριστίες µου στον επιβλέποντα καθηγητή, κ. Ανδρέα Φλώρο, για την καθοδήγηση, ενθάρρυνση, βοήθεια και συµπαράσταση του κατά τη διάρκεια εκπόνησης αυτής της εργασίας, καθώς και σε όλους τους καθηγητές του Τµήµατος Μεταπτυχιακής Εξειδίκευσης στα Πληροφοριακά Συστήµατα, για τις γνώσεις που απέκτησα κατά τη διάρκεια της φοίτησης µου στο Ελληνικό Ανοιχτό Πανεπιστήµιο. Ιδιαίτερα, θα ήθελα να ευχαριστήσω τα παιδιά µου, τον άντρα µου και τους γονείς µου για την υποµονή και συµπαράστασή τους σε όλη τη διάρκεια των σπουδών µου και ελπίζω να µε συγχωρέσουν για τον πολύτιµο χρόνο που τους στέρησα. 9

10 Εισαγωγή Η σχέση ανάµεσα στο χρώµα και τη µουσική έχει αποτελέσει αντικείµενο ενασχόλησης και έρευνας για πλήθος ερευνητών προερχόµενων από διαφορετικούς τοµείς της επιστήµης. Ξεκινώντας από τους αρχαίους χρόνους µέχρι σήµερα, καλλιτέχνες, φιλόσοφοι, φυσικοί, µηχανικοί υπολογιστών και πολλοί άλλοι έχουν κάνει προσπάθειες να ανακαλύψουν τη µυστική σύνδεση εικόνας/ζωγραφικής µε τον ήχο/µουσική και αντίστροφα. Οι προσπάθειες χαρακτηρίζονται από υποκειµενικές συσχετίσεις-αντιστοιχίσεις, χωρίς να υπάρχει µέχρι στιγµής, κάποια αντικειµενική και γενικά αποδεκτή από όλους προσέγγιση. Φαίνεται ότι ίσως, η σχέση µεταξύ των δύο να µην είναι µοναδική ή δεν έχει ανακαλυφθεί ακόµα. Έτσι, για τους δικούς του άγνωστους λόγους, ο Μπετόβεν αποκαλούσε τη Σι ελάσσονα «µαύρη κλίµακα» ενώ τη Ρε µείζονα «πορτοκαλί», ο Σούµπερτ «έβλεπε» τη Μι ελάσσονα ως «µια αγνή γυναίκα ντυµένη µε λευκή ρόµπα και ένα ροζ-κόκκινο τόξο στο στήθος», ο Καντίνσκι αντιστοίχιζε κίτρινο χρώµα για τον ήχο της τροµπέτας, πορτοκαλί για τη βιόλα ή για µια «ζεστή, άλτο φωνή», κόκκινο για την τούµπα, µωβ για το όµποε, µπλε για το τσέλο, το κοντραµπάσο ή το εκκλησιαστικό όργανο και πράσινο για το βιολί [2]. Κι αν από τα παραπάνω συµπεραίνει κανείς ότι, αυτό συµβαίνει µόνο σε κάποιους πολύ ιδιαίτερους ανθρώπους, προερχόµενους κυρίως από το χώρο των καλλιτεχνών, ή σε ανθρώπους ειδικής κατηγορίας που χαρακτηρίζονται από «συναισθησία» όπως θα αναφερθεί παρακάτω στην παράγραφο 1.1.1, έρευνες [3], [4] αποδεικνύουν ότι, όλοι οι άνθρωποι κάνουν όταν τους ζητηθεί συσχετίσεις χρωµάτων και ήχων και µάλιστα κατά ένα µεγάλο ποσοστό µε τον ίδιο τρόπο. Οι αντίστοιχες αισθήσεις (όραση και ακοή) είναι καθοριστικής σηµασίας στη ζωή του ανθρώπου. Έτσι, καθηµερινά, κατάλληλα επιλεγµένοι συνδυασµοί εικόνας και ήχου καταγράφονται από τις δύο παραπάνω αισθήσεις, καθιστώντας τες σχεδόν αλληλένδετες. Η παρούσα διπλωµατική προσπάθησε να γεφυρώσει µε το δικό της τρόπο την οπτική µε την ακουστική πληροφορία, ή αλλιώς µια τέχνη που υπάρχει στο χώρο µε µια τέχνη που υπάρχει στο χρόνο. 10

11 Η εξέλιξη της τεχνολογίας και ιδιαίτερα των υπολογιστών, απαιτεί στις µέρες µας ολοένα και περισσότερο τη συσχέτιση εικόνων µε ήχους και το αντίστροφο, µέσα από ολοκληρωµένα αλληλεπιδραστικά περιβάλλοντα. Ενδεικτικά παραδείγµατα, αποτελούν συσκευές για «όραση» µέσω ήχων, ηλεκτρονικά-εκπαιδευτικά παιχνίδια, οπτικοακουστικές παρουσιάσεις έργων τέχνης ή µουσικών συνθέσεων και πληθώρα άλλων εφαρµογών. Καθώς η σχέση «όρασης ακοής» φαίνεται να είναι αµφίδροµη, η εργασία αυτή επικεντρώθηκε σε ένα υποσύνολο της σχέσης αυτής και συγκεκριµένα στη µετάβαση από την εικόνα/ζωγραφική στον ήχο και τη δηµιουργία των αντίστοιχων «κανόνων» και συσχετίσεων που µπορεί να εµπεριέχει η µετατροπή αυτή. Η εφαρµογή που αναπτύχθηκε στα πλαίσια της παρούσας εργασίας, επιτρέπει τη µετατροπή, αφενός στατικής και αφετέρου στιγµιαία σχεδιαζόµενης από τον χρήστη ζωγραφικής εικόνας, σε ηχητική σύνθεση. Για την ανάπτυξη της εφαρµογής χρησιµοποιήθηκε η πλατφόρµα λογισµικού πραγµατικού χρόνου Processing. Η Processing είναι µια γλώσσα προγραµµατισµού ανοιχτού κώδικα, που αναπτύχθηκε (και συνεχίζει να αναπτύσσεται) από τους Ben Fry (UCLA) και Casey Reas (Board Institute). Δηµιουργήθηκε από καλλιτέχνες και είναι ένα εργαλείο δηµιουργικού προγραµµατισµού. Πρόκειται ουσιαστικά για ένα µανδύα γύρω από την Java, που απλοποιεί τον προγραµµατισµό οπτικών προγραµµάτων, και που επιτρέπει τη δηµιουργία άµεσου γραφικού αποτελέσµατος [16]. Αρχικά έγινε µελέτη της σχετικής βιβλιογραφίας, σε ότι αφορά αλγορίθµους µετατροπής εικόνας/ζωγραφικής σε ήχο που χρησιµοποιήθηκαν σε παρόµοιες προσπάθειες στο παρελθόν. Διερευνήθηκαν οι παράµετροι της στατικής εικόνας, καθώς και οι παράµετροι ζωγραφικής σύνθεσης που χρησιµοποιούνται για την εικαστική δηµιουργία µε σύγχρονα ψηφιακά µέσα. Ειδικά για την δεύτερη περίπτωση, τα αρχικά δεδοµένα µετατροπής όχι µόνο περιλαµβάνουν τη χρωµατική κατανοµή που χαρακτηρίζει µία εικόνα στις δύο διαστάσεις, αλλά µεταβάλλονται διαρκώς µε το χρόνο, καθώς λαµβάνονται υπόψη και παράµετροι που σχετίζονται µε την ίδια την ζωγραφική δηµιουργία (όπως για παράδειγµα, το στιγµιαίο µέγεθος - πάχος του πινέλου που έχει επιλεγεί από τον συνθέτη της εικόνας, η ταχύτητα της κίνησής του εντός του καµβά και πλήθος άλλων). Στο στάδιο αυτό µελετήθηκαν επίσης και οι παράµετροι που χαρακτηρίζουν µια ηχητική σύνθεση και έγιναν οι πρώτες προσπάθειες αντιστοιχίσεων. Η επιλογή των 11

12 αντιστοιχίσεων βασίστηκε στη µελέτη της σχετικής βιβλιογραφίας. Στη συνέχεια δηµιουργήθηκε ένας αναλυτικός αλγόριθµος µεταξύ τους σύνδεσης και απεικόνισης σε πραγµατικό χρόνο. Ακολούθησε η ανάλυση και ο σχεδιασµός του συστήµατος λογισµικού χρησιµοποιώντας τη µεθοδολογία ICONIX, η υλοποίηση και τέλος οι πιθανές προεκτάσεις του. Φαίνεται λοιπόν, ότι «τα µάτια µας µπορούν να ακούσουν και τα αυτιά µας µπορούν να δουν». Ας ελπίσουµε η εργασία αυτή να δώσει τη δική της ερµηνεία στην παραπάνω φράση. 12

13 Κεφάλαιο 1 Μελέτη βιβλιογραφίας «Θα ήταν στ αλήθεια έκπληξη, αν ένας µουσικός ήχος δεν µπορούσε να µας προκαλέσει την εντύπωση ενός χρώµατος, εάν τα χρώµατα δεν µπορούσαν να φέρουν στο νου ένα µελωδικό µοτίβο, εάν οι νότες και τα χρώµατα δεν ήταν ικανά να µεταφέρουν ιδέες. Πολύ περισσότερο, που αυτά τα πράγµατα έχουν εκφραστεί µέσω αµοιβαίων αναλογιών προ αµνηµονεύτων χρόνων, από τότε που ο Θεός έπλασε τον κόσµο ως σύνθετη και αδιάσπαστη ολότητα». Σ. Μπωντλαίρ, Απρίλιος 1861 Μελετώντας κανείς τη σχετική βιβλιογραφία, µένει έκπληκτος από τις αµέτρητες προσπάθειες των ανθρώπων στο πέρασµα των αιώνων για συσχετίσεις ανάµεσα στο χρώµα και τον ήχο. Αναζητώντας την αρχή, την αρχική σύλληψη της ιδέας, καταλήγουµε σε αρχαίους πολιτισµούς και στους αρχαίους Έλληνες φιλόσοφους. Ο Πυθαγόρας (6 ος αιώνας π.χ), σηµαντικός έλληνας φιλόσοφος, µαθηµατικός και θεωρητικός της µουσικής παρουσίασε µια αρµονία στη µουσική, καθορίζοντας διαστήµατα ανάµεσα στις νότες και οµαδοποιώντας τες σε οκτάβες. Μετρώντας τα κατάλληλα µήκη της χορδής ενός µονόχορδου, διαπίστωσε πως τα σύµφωνα µουσικά διαστήµατα µπορεί να εκφρασθούν σε απλές αριθµητικές αναλογίες των τεσσάρων πρώτων ακεραίων αριθµών. Εικόνα 1: Πυθαγόρεια τετρακτύα Στην πυθαγόρεια τετρακτύα (εικόνα 1), το υπέρτατο σύµβολο των παγκόσµιων δυνάµεων και διαδικασιών κατά τους Πυθαγόρειους, ορίζονται οι θεωρίες τους 13

14 σχετικά µε το χρώµα και τη µουσική. Οι τρεις πρώτες τελείες αντιπροσωπεύουν το τριπλό λευκό φως που είναι η θεότητα, περιέχοντας δυνητικά όλους τους ήχους και τα χρώµατα. Τα υπόλοιπα επτά σηµεία είναι τα χρώµατα και οι νότες της µουσικής κλίµακας. Τα χρώµατα και οι νότες είναι οι ενεργές δηµιουργικές δυνάµεις που προερχόµενες από την Πρώτη Αιτία δηµιουργούν το Σύµπαν [17], [6]. Αργότερα και ο Αριστοτέλης (4 ος αιώνας π.χ), υποστήριξε και ενίσχυσε τη θεωρία του Πυθαγόρα. Οι σχέσεις µεταξύ χρώµατος και µουσικής, φαίνεται ότι ερευνήθηκαν και από Κινέζους αλχηµιστές κατά τον 4 ο αιώνα π.χ. Εικόνα 2: Σχέσεις Κινέζων αλχηµιστών Την εποχή εκείνη, οι Κινέζοι ήδη συσχέτιζαν ανθρώπινες αισθήσεις µεταξύ τους, µέρη του σώµατος, χρώµατα και µουσική, όπως µπορεί να δει κανείς στην εικόνα 2. Έκαναν επίσης απευθείας συνδέσεις µεταξύ των αισθήσεων της όσφρησης και της γεύσης. Πέρσες και Ινδοί γιατροί ασχολήθηκαν επίσης µε το θέµα, σε άλλους πολιτισµούς των αρχαίων χρόνων. Στα νεώτερα χρόνια και συγκεκριµένα από τον 16 ο αιώνα µέχρι σήµερα, η εξέλιξη της τεχνολογίας άρχισε να επιτρέπει την οπτική αναπαράσταση των 14

15 συσχετίσεων µεταξύ χρώµατος και µουσικής, οπότε έχουµε και µια έκρηξη θεωριών και αντιστοιχίσεων από ερευνητές όλων των επιστηµών. Οµαδοποιώντας κατά κάποιο τρόπο τις προσπάθειες αυτές, ξεχωρίζει κανείς αυτές που αντιστοιχίζουν κατευθείαν τα χρώµατα σε νότες µουσικής και σε εκείνες που χρησιµοποιούν περισσότερο τη φυσική και τα µαθηµατικά, αντιστοιχίζοντας πλέον κάποια από τα χαρακτηριστικά µιας εικόνας, σε κατάλληλα επιλεγµένα χαρακτηριστικά του ήχου. 1.1 Αντιστοιχίσεις χρωµάτων σε νότες Η πρώτη καταγεγραµµένη αναλυτική προσέγγιση οφείλεται στο φυσικό Ιsaac Newton (1704) ο οποίος προβληµατίστηκε αρκετά σχετικά µε τη φύση του φωτός και τη σχέση του µε τον ήχο. Οι παρατηρήσεις του τον οδήγησαν στην οργάνωση - ταξινόµηση των χρωµάτων τα οποία εµφανίζονταν µε τη χρήση ενός συγκεκριµένου πρίσµατος και στη δηµιουργία του πρώτου χρωµατικού κύκλου, όπως φαίνεται στην εικόνα 3. Στα χρώµατα αυτά αντιστοίχισε τις επτά βασικές νότες της µουσικής (D µέχρι C). Καθώς ο κύκλος περιστρέφεται γρήγορα, τα χρώµατα αναµιγνύονται και δίνουν το λευκό στα ανθρώπινα µάτια. Ο λόγος που δηµιούργησε τροχό βασίστηκε σε δύο παρατηρήσεις του: όπως το βιολετί συναντά το κόκκινο οµαλά στα ανθρώπινα µάτια, έτσι και δύο µουσικοί τόνοι που απέχουν µια οκτάβα µεταξύ τους συναντιούνται ευχάριστα στα ανθρώπινα αυτιά [3], [7]. Εικόνα 3: Ο χρωµατικός κύκλος του Νεύτωνα. 15

16 Παρόλο που ο χρωµατικός κύκλος του Νεύτωνα αµφισβητήθηκε από όλους τους µεταγενέστερους ερευνητές, είχε γίνει η αρχή για τη γραφική απεικόνιση των χρωµάτων σε κύκλο που οδήγησε πολύ αργότερα στο σηµερινό χρωµατικό κύκλο. Λίγο αργότερα το 1734, ο Louis Bertrant Castel ένας Ιησουίτης ιερέας και φυσικός, δηµιούργησε το δικό του χρωµατικό κύκλο, χρησιµοποιώντας 12 χρώµατα µε συνδυασµούς φωτεινότητας και σκίασης τα οποία αντιστοιχίζονταν σε 12 διαφορετικούς τόνους µιας µουσικής κλίµακας. Ο ίδιος δηµιούργησε και ένα οπτικοακουστικό όργανο για να δοκιµάσει και να ενισχύσει τη θεωρία του. Οι προσπάθειες συσχέτισης των χρωµάτων µε νότες µουσικής κλίµακας συνεχίστηκαν µε εντατικό ρυθµό στο πέρασµα των αιώνων και ενδεικτικά καταγράφονται ορισµένες στην εικόνα 4. Εικόνα 4: Τρεις αιώνες χρωµατισµένων κλιµάκων µουσικής από επιστήµονες, καλλιτέχνες και µουσικούς [1]. Συνθέτες και ζωγράφοι, αµφότεροι άντλησαν ιδέες από τη σχέση των δύο τεχνών. Αυτή η αµφίδροµη σχέση διαπέρασε όλο το 19 ο και 20 ο αιώνα. Δεν µπορεί να µην αναφέρει κανείς ότι, αρκετές προσπάθειες ανήκουν σε ειδική κατηγορία ανθρώπων, που χαρακτηρίζονται από συναισθησία και πρόσφεραν πολλά στη σύνδεση των δύο τεχνών δίνοντας τη δική τους ερµηνεία. Αρκετές προσπάθειες επίσης συνοδεύτηκαν και από ιδιόµορφες κατασκευές οπτικοακουστικών οργάνων, που αναδείκνυαν µια µοναδική σχέση εικόνας και 16

17 ήχου, όπως µπορεί να διαπιστώσει κανείς στην παράγραφο της παρούσας εργασίας. Κάθε µια από τις παραπάνω αντιστοιχίσεις παρουσιάζει τα δικά της προβλήµατα, καθώς υπάρχει κάποια µορφή αυθαιρεσίας που τη συνοδεύει. Τελικά αισθανόµαστε τόσο διαφορετικά την οπτική από τη µουσική πληροφορία; Ένα µοτίβο που ακούγεται αρµονικά υπάρχει περίπτωση να φαίνεται αρµονικά και το αντίστροφο; Καλλιτέχνες µε συναισθησία Οι άνθρωποι που χαρακτηρίζονται από συναισθησία µπορούν να αντιληφθούν µια πληροφορία µε περισσότερες από µια αισθήσεις. Ένας άνθρωπος που χαρακτηρίζεται από συναισθησία είναι δυνατόν για παράδειγµα, να «ακούει» τις οσµές ή να «βλέπει» τους ήχους. Γεννηµένος στη Ρωσία ο Wassily Kandinsky αφιέρωσε τη ζωή του στην σύνδεση µουσικής και χρωµάτων. Στην περίπτωσή του, χρώµατα και άλλα ζωγραφισµένα σηµάδια ενεργοποιούσαν συγκεκριµένους ήχους ή µουσικές νότες και αντίστροφα. Ανέφερε, πως άκουγε ένα περίεργο σφύριγµα όταν αναµείγνυε χρώµατα στην παλέτα του ως παιδί και αργότερα όταν έγινε καταξιωµένος τσελίστας, έλεγε ότι το τσέλο ήταν το όργανο το οποίο αντιπροσώπευε ένα από τα βαθύτερα µπλε. Ήθελε να προκαλέσει ήχο µέσω της αίσθησης της όρασης και να δηµιουργήσει στη ζωγραφική κάτι αντίστοιχο µε αυτό της µουσικής συµφωνίας που θα ερεθίσει όχι µόνο τα µάτια, µα και τα αυτιά επίσης. Ο Kandinsky ανακάλυψε την συναισθησία του κατά τη διάρκεια µιας παράστασης της όπερας του Wagner «Lohengrin» στην Μόσχα: «Είδα όλα τα χρώµατα µπροστά στα µάτια µου. Άγριες, σχεδόν τρελές γραµµές σχεδιάστηκαν µπροστά µου.» Το 1911, µετά από τις σπουδές του και την εγκατάστασή του στη Γερµανία, ένα κοντσέρτο του Schoenberg του δηµιούργησε παρόµοια συναισθήµατα και έγινε η αφορµή για να ζωγραφίσει τον πίνακα της εικόνας 5 σε δύο µόλις µέρες. 17

18 Εικόνα 5: Impression III (Konzert), Kandinsky Ο ζωγράφος της αφηρηµένης τέχνης κι ο συνθέτης της ατονικής µουσικής έγιναν φίλοι. Η σχέση των δύο αντρών είναι από τις πιο γόνιµες στην ιστορία της τέχνης. Ο Paul Klee, Ελβετός ζωγράφος και µουσικός, ήταν ανάµεσα στις δυο τέχνες. Σε όλη του τη ζωή αντιλαµβανόταν τους ρυθµικούς παραλληλισµούς µεταξύ της µουσικής και της ζωγραφικής. Πολλοί από τους πίνακές του είναι εκφράσεις µουσικών θεµάτων, ιδεών και συµβόλων. Tο έργο του «Oνειρική πόλη», 1921, παραπέµπει στους αυτοσχεδιασµούς του Kandinski [2]. Διάσηµοι συναισθητικοί συνθέτες ήταν ο Alexander Scriabin κι ο Olivier Messiaen. Δεν σηµαίνει όµως ότι οι δυο τους έβλεπαν τα ίδια χρώµατα στις ίδιες νότες. Συναισθητικός δηλώνει και ο γνωστός τραγουδιστής Λουκιανός Κηλαηδόνης, ο οποίος αντιστοιχίζει σε κάθε τραγούδι και ένα χρώµα. Τα τρία βασικά χρώµατα γι αυτόν το κόκκινο, το κίτρινο και το µπλε «βάφουν» τα πλήκτρα που αντιστοιχούν στη συγχορδία του ντο. Ενδιαµέσως οι νότες «βάφονται» από τις µείξεις των βασικών χρωµάτων, όπως µπορεί να δει κανείς στο πιάνο που δηµιούργησε [9]. Οι συναισθητικοί πραγµατικά βιώνουν τέτοιες καταστάσεις. Μια σειρά εγκεφαλικών αναλύσεων από νευρολόγους σε συναισθητικούς, έδειξε πως, παρότι είχαν τα µάτια τους δεµένα, υπήρχε εγκεφαλική δραστηριότητα στα οπτικά νεύρα όταν άκουγαν ήχους [2]. Η κατηγορία αυτή ανθρώπων που χαρακτηρίζονται από συναισθησία αποτελεί µόλις το 0,05% του πληθυσµού, οπότε αυτόµατα τίθεται το ερώτηµα τι να συµβαίνει άραγε µε όλους τους υπόλοιπους. Κάνουν κάποιες συνδέσεις έστω και υποσυνείδητα; Αντιστοιχίζουν µε κάποιο τρόπο τα χρώµατα σε ήχους/µουσική; 18

19 1.1.2 Οπτικοακουστικά όργανα - Νότες µε χρώµατα Η ιδέα για το πρώτο οπτικοακουστικό όργανο ανήκει στο Γάλλο, Louis Bertrant Castel, ο οποίος πρότεινε την κατασκευή ενός νέου µουσικού οργάνου, ενός οπτικού τσέµπαλο (πρόγονος του σηµερινού πιάνο) το οποίο ενσωµάτωνε ένα µεγάλο πλαίσιο µε 60 µικρά χρωµατιστά γυάλινα παράθυρα, πίσω από τα οποία υπήρχαν κεριά. Τα πατήµατα στα πλήκτρα του συγκεκριµένου αυτού οργάνου, αποµάκρυναν κουρτίνες που σκέπαζαν τα κεριά και έτσι αποκαλύπτονταν τα χρώµατα µόνα τους ή σε συνδυασµούς, παράγοντας µια διαδοχή που ανύψωνε τη ζωγραφική σύνθεση στο επίπεδο της µουσικής. Έτσι δηµιουργούνταν χρώµατα παροδικά στο χρόνο, κατά αναλογία µε τη µουσική σύνθεση [8]. Καθώς οι προσπάθειες σύνδεσης των δύο τεχνών µουσικής και ζωγραφικής συνεχίζονταν, ακολούθησε µια αλυσίδα εφευρέσεων από οπτικοακουστικά όργανα. Στη Νέα Υόρκη το 1915 ο συνθέτης Skriabin στην παράσταση του έργου Προµηθέας «Ένα ποίηµα της Φωτιάς», χρησιµοποίησε ιδιόµορφο κατασκεύασµα που αποτελούνταν από πολλές χρωµατιστές λάµπες, το οποίο µετέφραζε µελωδίες της σύνθεσης σε προβολές χρωµάτων. To 1924 o Vladimir Baranoff-Rossiné, εµφάνισε δηµοσίως το «οπτιοφωνικό» πιάνο του. Βασισµένο στην προηγούµενη ιδέα του Skriabin, το µουσικό όργανο του Baranoff-Rossiné, επέτρεπε την προβολή χρωµάτων ταυτόχρονα µε την εκτέλεση του έργου όπως µπορεί να δει κανείς σε σχετικό βίντεο [11]. Η πρώτη παρουσίαση της καινοτοµίας του ευφάνταστου µηχανικού, έλαβε χώρα στο θέατρο Μπολσόι της Μόσχας και προκάλεσε ποικίλα εγκωµιαστικά σχόλια. Μετά από αρκετές δεκαετίες πειραµάτων ο διάσηµος ζωγράφος Macdonald- Wright, κατάφερε να χτίσει πραγµατικά µια συσκευή που την ονόµασε Synchronous Kineidoscope, η οποία ήταν σε θέση να µεταφράζει τις φόρµες και τα χρώµατα κάθε µοντέρνου έργου ζωγραφικής σε µια δοµηµένη σύνθεση από κινήσεις και χρώµατα. Κατά την διάρκεια της παράστασης, το κοινό ζούσε µία ανεπανάληπτη οπτικοακουστική εµπειρία που δεν µπορούσε ούτε να καταγραφεί, αλλά και ούτε να µείνει ως γλυπτική τέχνη. Ήταν το ίδιο εφήµερη µε την µουσική, αλλά όπως και η µουσική, διέθετε την παράµετρο του χρόνου, αφού σε κάθε διαφορετική στιγµή δηµιουργούνταν και διαφορετικό, άυλο γλυπτό στον χώρο [6]. Εµπνευσµένοι από το παραπάνω πλαίσιο των προσπαθειών για δυνατότητα σύνθεσης των δύο διαφορετικών µορφών τέχνης, οπτικής και ακουστικής, της 19

20 δεκαετίας , τέσσερις νέοι συνθέτες µε έντονο ενδιαφέρον για ενσωµάτωση οπτικών στοιχείων στο έργο τους συνεργάστηκαν δηµιουργώντας το Project «Piano optophonique» (2007). Στην εικόνα 6 δίνεται ένα στιγµιότυπο από την παρουσίαση του έργου τους [35]. Εικόνα 6: The «Piano optophonique» project Στα οπτικοακουστικά όργανα που παρουσιάστηκαν µέχρι τώρα οι καλλιτέχνες- µηχανικοί προσπάθησαν να µετατρέψουν τη µουσική σε οπτική αναπαράσταση. Ο Bernard Szajner έκανε το αντίθετο το 1981 χρησιµοποιώντας µια άρπα που αποτελούνταν από πολλές κάθετες και παράλληλες µεταξύ τους ακτίνες λέιζερ. Όταν µια ακτίνα διακόπτονταν από ένα χέρι, ή έναν καθρέφτη, έπαιζε η αντίστοιχη νότα σε ένα συνθεσάιζερ. Το αποτέλεσµα ήταν θεαµατικό και διασκεδαστικό για το κοινό. Η άρπα λέιζερ έχει γίνει διάσηµη από τον Jean-Michel Jarre, έναν µουσικό εξειδικευµένο στην ηλεκτρονική µουσική, όπως µπορεί κανείς να δει στην εικόνα 7 [5]. 20

21 Εικόνα 7: Η άρπα λέιζερ και ο Jean-Michel Jarre Παραστάσεις παράλληλων ζωγραφικών και µουσικών αυτοσχεδιασµών Αποτελεί σύνηθες φαινόµενο ζωγράφοι να δηµιουργούν συνθέσεις εµπνευσµένες από κάποιο µουσικό θέµα ή απλά ακούγοντας µουσική. Το ίδιο συνηθισµένη είναι και η δηµιουργία µουσικής σύνθεσης, βασισµένη σε έργα µεγάλων ζωγράφων. Οι δύο τέχνες δείχνουν να αλληλοεπηρεάζουν γόνιµα η µια την άλλη, όπως διαπιστώνει κανείς από την παράγραφο Κάτι όχι και τόσο συνηθισµένο όµως, αποτελούν παραστάσεις παράλληλων ζωγραφικών και µουσικών αυτοσχεδιασµών, που κάνουν την εµφάνισή τους στο εξωτερικό αλλά και στην Ελλάδα τα τελευταία χρόνια. Πρόκειται για παραστάσεις, βασισµένες στη ζωγραφική δηµιουργία και την αυτοσχέδια µουσική σύνθεση, που εκτελούνται ζωντανά και παράλληλα µπροστά στο κοινό. Οι καλλιτέχνες εµπνέονται ο ένας από τον άλλο πάνω στη σκηνή και δηµιουργούν ταυτόχρονα τις συνθέσεις τους στη διάρκεια της παράστασης. 21

22 Ένα τέτοιο σχήµα, αποτελεί η µουσικο-εικαστική οµάδα PanAngel8Arts που ιδρύθηκε το 2007 από τη ζωγράφο Αγγελική Κούρκουλου και το συνθέτη Παναγιώτη Μπερλή. Η οµάδα ανάλογα µε το έργο, υποστηρίζεται και από άλλους καλλιτέχνες ή καλλιτεχνικές οµάδες. Η PanAngel8Arts παρουσιάζει στην Ελλάδα και το εξωτερικό την καινοτόµο παράσταση LivePaint2LiveMusic (ζωντανή ζωγραφική σε ζωντανή µουσική). Ένα πινέλο που µαγικά γεµίζει µε χρώµατα και σχήµατα στον καµβά. Ένα πιάνο που γεµίζει τον αέρα µε µελωδίες και αρµονίες. Η τέχνη και η µουσική εγείρουν τις αισθήσεις του κοινού και το ταξιδεύουν σε ένα θεαµατικό σύµπαν µουσικής και τέχνης. [18] 1.2 Αντιστοιχίσεις παραµέτρων εικόνας σε παραµέτρους ήχου Σηµαντικές µέθοδοι σύνδεσης εικόνας και ήχου εµφανίστηκαν µε την ανάπτυξη της ηλεκτρονικής µουσικής. Η συµµετοχή των ηλεκτρονικών υπολογιστών στην επεξεργασία του ήχου και κατά επέκταση της µουσικής, άνοιξε νέους ορίζοντες και γέννησε µια εντελώς διαφορετική προσέγγιση αντιστοιχίσεων. Η διαδικασία αναπαράστασης του ήχου µε τη χρήση µαθηµατικών µοντέλων, έδωσε τη δυνατότητα αποδόµησης του ήχου σε βασικά συστατικά, διευκολύνοντας έτσι την τροποποίηση τους προς το επιθυµητό κάθε φορά ηχητικό αποτέλεσµα. Αντίστοιχα, αναπτύχθηκαν σύνθετα προγράµµατα δηµιουργίας και επεξεργασίας στατικών, αλλά και κινούµενων εικόνων. Η διερεύνηση των σχέσεων µεταξύ των παραµέτρων που χαρακτηρίζουν µια εικόνα, µε επιλεγµένες παραµέτρους που ρυθµίζουν τον ήχο, γίνεται πραγµατικότητα. Πληθώρα προγραµµάτων αναπτύσσονται, το καθένα µε τη δική του λειτουργικότητα και αισθητικό αποτέλεσµα. Παρακάτω παρουσιάζονται ενδεικτικά µερικά από αυτά. Το πιο παλιό, ίσως είναι ένα µουσικό σύστηµα για υπολογιστές το UPIC (1972) που δηµιούργησε ο Ιάννης Ξενάκης, ένας από τους σηµαντικότερους Έλληνες συνθέτες και αρχιτέκτονες του 20 ου αιώνα. Το UPIC, που φαίνεται στην εικόνα 8, µελοποιούσε σχήµατα, όπως γραµµές ή κουκίδες, και ανάλογα µε την δύναµη πάνω στην γραφίδα καταγραφόταν και η ένταση. Ο κατακόρυφος άξονας µπορούσε να 22

23 ρυθµίζεται έτσι ώστε να µετατρέπεται η µουσική, ανάλογα µε το εύρος των συχνοτήτων που επιθυµούσε ο συνθέτης. O συνθέτης µπορούσε να ζωγραφίσει πάνω στην πλακέτα-σχεδιαστήριο α) την περίοδο (περίοδο χροιάς) και όποια διαφοροποίηση της ακουστικής πίεσης σε συνάρτηση µε τον χρόνο, ανεξάρτητα από την συχνότητα και την ένταση, β) την περιβάλλουσα ηχητική επιφάνεια και όποια διαφοροποίηση της έντασης της περιόδου σε συνάρτηση µε τον χρόνο και γ) την καµπύλη ύψους προς το χρόνο και όποια διαφοροποίηση του ύψους σε συνάρτηση µε τον χρόνο [6]. Εικόνα 8: Η πλακέτα-σχεδιαστήριο του Ξενάκη, που ονόµασε UPIC Είναι πολύ ενδιαφέρον το γεγονός, ότι µπορούµε σήµερα να δούµε υλοποιηµένη εκ νέου την ιδέα Ξενάκη. Το 2007 ο Thomas Baudel, έχοντας στη διάθεσή του σύγχρονους πλέον υπολογιστές, δηµιούργησε το HighC, ένα πρόγραµµα γραµµένο σε Java, το οποίο στηρίζεται στο UPIC µε κάποιες πρόσθετες λειτουργίες, αλλά και χρωµατικές επιλογές [16]. Το Phonogramme (1993) είναι ένα απλό πρόγραµµα που περιλαµβάνει µια παλέτα µε όλες τις αποχρώσεις µεταξύ λευκού και µαύρου που αντιστοιχίζονται στη σιωπή και τη µέγιστη ένταση αντίστοιχα. Στο πρόγραµµα υπάρχει η δυνατότητα χρησιµοποίησης σχεδιαστικών εργαλείων. Ένα πρόγραµµα µε πολύ πιο σύνθετο γραφικό περιβάλλον είναι το Metasynth, το οποίο παράγει ήχο από µια εικόνα που δηµιουργείται από κόκκινα, πράσινα και κίτρινα χρώµατα, που λειτουργούν ως φίλτρα. Υπάρχει δυνατότητα περαιτέρω επεξεργασίας της εικόνας που δηµιουργείται, όπως και του ήχου. Όπως και στο 23