A POor Music ACcompagnement PROject ÉÓÙÖ ÑÑÒÓÙйÂÓÒ ¾¼¼¾¼ ¼¼½½ ¹ eruyome@gmail.com ÁÓÐÓ ¾¼¼ ½ ËÕØ Ñ ØÓ Apomacpro ½º½ Ì Ò ØÓ Apomacpro Το Apomacproείναι μια προσπάθια κατασκευής ενός αυτόνομου πράκτορα ο οποίος θα ακούει έναν μουσικό οργανοπαίκτη και θα τον συνοδεύει στο παίξιμο του. Κάνει χρήση πιθανοτικής συλλογιστικής στο χρόνο καθώς και ψηφιακής επεξεργασίας σημάτων. ½º¾ ÓÑ ØÓÙ Apomacpro Το Apomacproχωρίζεται σε δυο κύρια μέρη. Το υποσύστημα αναγνώρισης προτύπων και το υποσύστημα αναπαραγωγής. Το σύστημα αναγνώρισης προτύπων δέχεται είσοδο απο τον χρήστη-μουσικό και δίνει έξοδο στο υποσύστημα Αναπαραγωγής. Προς το παρόν, μόνο το υποσύστημα αναπαραγωγής είναι υλοποιημένο ½º ÍÔÓ ØÑ ÒÒôÖ ÔÖÓØÔÛÒ Αναλαμβάνει τον δύσκολο ρόλο του να καταλαβαίνει τι είναι αυτό που παίζει ο οργανοπαίκτης. Αναλαμβάνει να αναγνωρίσει την Τονικότητα, τον Ρυθμό, το Μέτρο και το Είδος του κομματιού που παίζει Τονικότητα Ως τονικότητα ορίζεται η οργάνωση της μελωδίας γύρω απο ένα τονικό κέντρο-κλειδί. Στην περίπτωση μας, όταν αναφερόμαστε για Τονικότητα, θα αναφερόμαστε μόνο στην κλίμακα στην οποία είναι χτισμένη η μελωδία. Ρυθμός Ο ρυθμός του τραγουδιού μας δίνει, σε συνάρτηση με την ελάχιστη αξία, το ελάχιστο χρονικό διάστημα που απαιτείται να υπάρχει ανάμεσα σε δύο γεγονότα(events) Μέτρο Τομέτρομαςδίνειένατρόπονα μετράμε ένακομμάτιμεβάσητις 4 αξίες που έχουν οι νότες μέσα σε αυτό. Παραδείγματα μέτρων: 4 (πχ disco ), 3 4 (waltz), 7 8 (blues) Είδος Μουσικής Η σύγχρονη δυτική μουσική μπορεί να διαχωριστεί με βάση όλα τα παραπάνω σε υποκατηγορίες-είδη. 1
Σχήμα 1: Δομή του συστήματος για αναγνώριση προτύπων 2
½º ÍÔÓ ØÑ ÒÔÖÛ Το υποσύστημα αναπαραγωγής θα περιλαμβάνει τεχνικές πρόβλεψης και θα κάνει χρήση ενισχυτικής μάθησης για να προσαρμόζεται στο παίξιμο του παίκτη σε συνδυασμό με διάφορες τεχνικές σύνθεσης(με την χρήση γραμματικών ή με κάποιο άλλο τρόπο) ¾ ÓÑ ØÓÙ Ù ØÑØÓ ΗδομήτουσυστήματοςδίνεταιστοΣχήμα1.Ηείσοδοςέρχεταιαποτονχρήστησε μορφή σημάτων MIDI και η έξοδος παρέχεται στο stdout καθώς και στο σύστημα αναπαραγωγής. Ηροήτουσήματοςαποπάνωπροςτακάτωγίνεταιμέσασε μιαχρονοθυρίδα(timeslice).πορούμεναπαρατηρήσουμεοτιηκατάστασητου κόσμου μας σε κάθε χρονοθυρίδα εξαρτάται μόνο απο την αμέσως προηγούμενη κατάστασηκαιτηνείσοδομαςκαιείναιανεξάρτητοαποτοιστορικότηςπριναπο αυτήν. Παρατηρούμεοτιισχύειηπόθεση Markovπράγμαπουδιευκολύνειτην ζωή μας αρκετά. ôñòó ËÑ Το σήμα που παίρνουμε είναι πληροφορίες midi τοποθετημένες στις χρονικές στιγμέςστιςοποίεςπραγματοποιήθηκαν.ιανατοεπεξεργαστούμετοσπάμεσεχρονικά παράθυρα μεγέθους όσο και ένα timeslice. º½ ÅÑØ ÍÔÖÓ νατιμεσλιςεαποτελείταιαποσυνεχέςχρόνοδευτερολέπτων(μπορείνααλλάξει). Η περίοδος αρχικής δειγματοληψίας(resolution) ισούται με T r = 1msec (1) (μπορείνααλλάξει). Ηκωδικοποίησηγίνεταιωςεξής: Κάθεφοράπουδίνεται ένα event πατήματος πλήκτρου απο την midi είσοδο, η τιμή στην αντίστοιχη χρονική θέση γίνεται 1 και στέλνεται στο σύστημα Αναγνώρισης Τονικότητας η τιμήτηςαντίστοιχηςνότας.φόσωαυτήκρατιέταιπατημένη,ήεφόσωδενπατάμε άλληνότα,ταδείγματαγίνονταιίσαμε. Οτύποςπουμαςδίνειτοπλήθοςτων δειγμάτων του timeslice είναι L = D T s (2) όπου Dηχρονικήδιάρκειατου timesliceκαι T s ηπερίοδοςδειγματοληψίας. Η νότακαιτοκλειδί,εξάγονταιαποτηντιμήτουπλήκτρουπουπατήθηκεωςεξής: Note = V mod12 Octave = V 12 () () Οπου V ητιμήτουπλήκτρου.εωρούμετοσήμασαντυχαίαμεταβλητή.
º¾ ÂÑØ ÓÖÓÙ Κύρια πηγή θορύβου, θεωρούμε τις καθυστερήσεις λόγω του υποσυστήματος I/O του συστήματος μας, αλλα και του φόρτου εργασίας εκείνη τη στιγμή. ÒÒôÖ ÌÓÒØØ Το υποσύστημα αναγνώρισης τονικότητας δέχεται ως είσοδο την συνιστώσα του σήματος εισόδου μας, που δίνει τις τιμές της νότας που μόλις παίχτηκε και δίνει έξοδο κατευθίαν στον Player και στο stdout καθώς το παραγόμενο σήμα δεν χρησιμοποιείται πουθενά αλλού. º½ ÅÑØ ÅÓÒØÐÓ Ηνότακαιτοκλειδί,εξάγονταιαποτηντιμήτουπλήκτρουπουπατήθηκεωςεξής: Note = V mod12 Octave = V 12 () () Οπου V ητιμήτουπλήκτρου. º¾ ÃØ Ø ÈÔÓ Η κατάσταση πεποίθησης δίνεται σαν μια PMF (probability mass function) που σαντυχαίαμεταβλητήέχειτιςκλίμακες. νημερώνεταικάθεφοράπουθαδεί μιανότα. νημερώνεταιηαντίστοιχητιμήαυξάνονταςτηνπιθανότητατηςκατα μια σταθερά(pgain) ενώ αντίστοιχα οι άλλες τιμές της μεταβλητής μειώνονται έτσιώστετοάθροισματης pmfναείναισταθερά,μονάδα.πίσης,γιαναεξασφαλιστεί ελαστικότητα, η πεποίθηση του πράκτορα μεταβαίνει σε κατάσταση πλήρους αβεβαιότητας(uniform pmf) º ÒØÓÔ Ñ Ηεκτίμισηγιατηνθέσητουπράκτοραόσοναφοράτηντονικότηταδίνεταιαποτην pmf της κατάστασης πεποίθησης του. Η εκτίμιση της θέσης του στον χώρο των κλιμάκων, καθορίζοντας χρησιμοποιώντας τις εισαγώμενες νότες ως checkpoints. º ÂÑØ ÓÖÓÙ Ητυχαιότηταπροέρχεταιαποτονχρήστηκαιμόνο.ποθέτουμεοτισεπερίπτωση που αυτός δώσει καταλάθος, λάθος είσοδο, ο πράκτορας θα έχει ισχυροποιήσει την πεποίθηση του για την επικρατούσα τιμή, έτσι ώστε να μην αλλάζει εύκολα με έναμε μικρό αριθμό λαθών. ÍÔÓÐÓ Ñ ÊÙÑÓ Το υποσύστημα υπολογισμού ρυθμού, παίρνει ως είσοδο την συνιστώσα του σήμα- τοςπουδίνειπληροφορίεςγιατιςχρονικέςστιγμέςπουσυνέβησανταεεντς.συμ-
περαίνειμιατιμήστηναρχήτου timesliceκαιτηνκρατάειγιαόλοτο timeslice. º½ ÅÑØ ÅÓÒØÐÓ Ηπερίοδοςδειγματοληψίας T s γιαένασυγκεκριμένο tempoμετρώμενοσε bpm (beats per minute) σε συνάρτηση με την ελάχιστη αξία mv: T s = bpm 60 4 mv Ητιμήμιας Gaussian,τοποθετημένηγύρωαποτηνθέση µ(όπου µημέσητιμή της Gaussian)καιμεδιασπορά σ 2 δίνεταιαποτην: () φ µ,σ 2(t) = 1 σ (t µ) 2 2π e 2σ 2 () ιατηνεκτίμισητηςσυχνότηταςχρησιμοποιούταικανονικοποιημένες mixtures of gaussiansτοποθετημέναστιςθέσεις nt s ή nts T r όπου T r το resolutionμας, γιακάθε tempoαπομιαελάχιστητιμή(minbpm)εώςμιαμέγιστη(maxbpm ). Οπίνακαςμπορείναβρεθείως tempomatrixστοπρόγραμμα. πειταυπολογίζεται το εσωτερικό γινόμενο του αρχικού μας σήματος, με κάθε ένα απο τα mixturesofgaussiansτοοποίομαςδίνειέναμέτροτουπόσοταιριάζειτοσήμα μαςστονκάθερυθμό(υπολογισμένοσεβπμ).πειταεπιστρέφεταιτομέτρο(bpm) που δίνει την μεγαλύτερη τιμή. º¾ ÃØ Ø ÈÔÓ Ηκατάστασηπεποίθησηςείναικαιαυτήμιαπμφ. ξαγωγήσυμπεράσματοςαπο την κατάσταση πεποίθησης γίνεται στοχαστικά χρησιμοποιώντας την αντίστοιχη CDFκαιέναντυχαίοαριθμόανάμεσαστοκαιστο1.Ηκατάστασηπεποίθησης ενημερώνεται παρόμοια με τις υπόλοιπες, αυξάνοντας την πιθανότητα της αντίστοιχης τιμής κατα μια σταθερά(gain) και μειώνοντας τις υπόλοιπες αντίστοιχα ωστε ναέχουμεάθροισμαστο1.. º ÂÑØ ÓÖÓÙ Ο θόρυβος σε αυτήν την περίπτωση προέρχεται αποκλειστικά απο τις καθυστερήσεις οι οποίες μπορεί να προκύψουν και που έχουν παραμορφώσει το σήμα μας. πορείναεπηρεάσειτοσήμαμαςαπολίγα bpm(συνήθως-).πειταηστοχαστική προσέγγιση που χρησιμοποιούμε για να συμπεράνουμε τον ρυθμό απο την CDFμπορείναδώσει(μεμικρήπιθανότητα)τελείωςλάθοςαποτέλεσμα. πίσης υπάρχει περίπτωση υπολογισμού ενός πολλαπλάσιου του μέτρου. ÃÒØ Ø Οκβαντιστήςαναλαμβάνειτονρόλοναμετατρέψειτοαρχικόσήμαμαςσεσήμαοπου στην θέση του χρόνου θα μπούνε οι ελάχιστες αξίες που έχουν οριστεί.παίρνει είσοδοαποτονπολογισμόυθμούκαιδίνειτηνέξοδοστουποσύστημαυπολογισμού του μέτρου.
º½ ÅÑØ ÅÓÒØÐÓ Τακατώφλιατουκβαντιστήείναιστιςτιμές ntόπου n = 0...Nμετοναριθμό των συμβόλων και T την περίοδο συμβόλου. Οι τιμές του κβαντιστή είναι στις τιμές n = 0...N. º¾ ÂÑØ ÓÖÓÙ όγωθορύβουκαθυστερήσεων(ήπροήγησης),μπορείναέχουμελάθοςαπόφαση στονκβαντιστή. Πχαντίναέχουμεάσσοστο nt ναέχουμεστο nt kμε 0 < k < T.Τότεοκβαντιστήςαντίνααποφασίσει nαποφασίζει n 1. ÍÔÓÐÓ Ñ ÅØÖÓÙ Το υποσύστημα του υπολογισμού του μέτρου παίρνει είσοδο απο τον κβαντιστή και δίνειείσοδοστο stdoutκαιστον Player. Αφούλάβειείσοδοαποτονκβαντιστή ελέγχει αν το παράθυρο που δέχτηκε έχει αυτό που ονομάζεται Sync opation(βλ. παρακάτω) το οποίο μας δίνει μια αίσθηση του πόσο εκτός μέτρου είναιτοκομμάτι.πειταδοκιμάζειτοπαράθυρομεδιαφορετικάμέτρακαιεπιλέγει αυτό που εξαλείφει το Σψνςοπατιον. º½ ÅÑØ ÍÔÖÓ ιατονυπολογισμότου Syncopation[?]χρησιμοποιείταιτολεγόμενο Keith s Measure.Αυτόδίνεταιωςεξής:στωτοπαράθυρο {111}.θεωρούμε ελάχιστηαξία mv = 1 16. έμεοτιμιανόταέχει anticipationανηαρχήτηςείναιεκτόςμέτρουκαι hesitation αντοτέλοςτηςείναιεκτόςμέτρου. Δίνουμε τιμή 2 για anticipation και 1 για hesitation. Στο παραπάνω παράθυρο των 4 4,οιτιμέςτου Syncopationείναι: {21}καθώςηπρώτηνότα (όγδοο παρεστιγμένο) έχει anticipation, η δεύτερη(τέταρτο συζευγμένο με δέκατο έκτο) έχει hesitation και η τρίτη(σύζευξη τετάρτου με όγδοου παρεστιγμένου) έχει και τα δύο(syncopation) Παρακάτω δίνεται το Keith s Measure[?]: στω: S:ηαρχήτηςνότας,δ:ηαπόστασημεταξύδυοδιαδοχικώνάσσων(συμπεριλαμβανομένου και του πρώτου άσσου). χουμε D:δστρογγυλοποιημένοπροςτηνκοντινότερηδύναμητουδύο(προςτα κάτω). Αν το S δεν είναι πολλαπλάσιο του D τότε έχουμε anticipation=1. Αν το S+δ δεν είναι πολλαπλάσιο του D τότε έχουμε hesitation=1. Syncopation = 2 anticipation + hesitation ιαναεξαλείψουμετο Syncopationσπάμετοαρχικόπαράθυροτων 4 4 σεπαράθυρα διαφορετικών μέτρων και ελέγχουμε για τις τιμές του Syncopation. Αν δεν εξαλείφεται απο κανένα, χρησιμοποιείται εκείνο με το μικρότερο syncopation
º¾ ÃØ Ø ÈÔÓ Παρόμοια, η κατάσταση πεποίθησης είναι μια pmf με τα μέτρα σαν τυχαία μεταβλητή. º ÈÖÐÑ ÒØÓÔ ÑÓ Στοχαστική εξαγωγή συμπεράσματος απο την κατάσταση πεποίθησης. º ÂÑØ ÓÖÓÙ Οι καθυστερήσεις στο αρχικό σήμα μας μπορούν να δώσουν λάθος κβαντισμένο σήμα και οπότε να προκαλέσουν λάθος συμπερασμό ÍÔÓÐÓ Ñ ÓÙ ÅÓÙ Το είδος της μουσικής υπολογίζεται απο το κβαντισμένο μέτρο και χρησιμοποιείται γιαναξέρειοplayerτίείδουςακκομπανιαμένταθαπαίξει. º½ ÅÑØ ÍÔÖÓ ετααποκάθεκατασκευήτουκβαντισμένουπαραθύρου,υπολογίζεταιοφουριερ του και συγκρίνεται με έναν ταξινομητή που χρησιμοποιεί Mahalanobis απόσταση, με τις μέσες τιμές των fourier των training δειγμάτων. Η Mahalanobis distance μεταξύ δυο διανυσμάτων δίνεται απο τον τύπο: P (x i y i ) d(x,y) = 2 () i=1 πιλέγεταιτοείδοςτουοποίουτο patternδίνειτηνμικρότερηαπόσταση Mahalanobis απο το δείγμα μας. º¾ ÃØ Ø ÈÔÓ Παρόμοια, η κατάσταση είναι και εδώ pmf με τις ίδιες μεθόδους που περιγράψαμε και παραπάνω. º ÒØÓÔ Ñ Η θέση του πράκτορα μας στον χώρο των δειγμάτων δίνεται όπως περιγράφεται στηνυποενότητααθηματικόπόβαθρο ÒÓÖ [1] Vahid Hashemi, Sara Ramezani - Inducing Meter for a Rhythm and Measures for Rhythm Complexity [February 13, 2008] [2] Ilya Shmulevich, Dirk-Jan Povel - Measures of Temporal Pattern Complexity [Journal of New Music Research, 29 (2000), No. 1, pp. 61-69] σ 2 i
[3] Pablo Samuel Castro - Mathematical Measures of Syncopation [http://www.cs.mcgill.ca/ pcastr/cs644/]