Σέργιου Καραγιαννάκου του Γεωργίου

Transcript

1 ΠΑΝΕΠΙΣΤΗΜΙΟ ΠΑΤΡΩΝ ΤΜΗΜΑ ΗΛΕΚΤΡΟΛΟΓΩΝ ΜΗΧΑΝΙΚΩΝ ΚΑΙ ΤΕΧΝΟΛΟΓΙΑΣ ΥΠΟΛΟΓΙΣΤΩΝ Τομέας Τηλεπικοινωνιών και Τεχνολογίας της Πληροφορίας Εργαστήριο Ενσύρματης Τηλεπικοινωνίας Διπλωματική Εργασία του φοιτητή του Τμήματος Ηλεκτρολόγων Μηχανικών και Τεχνολογίας Υπολογιστών της Πολυτεχνικής Σχολής του Πανεπιστημίου Πατρών Σέργιου Καραγιαννάκου του Γεωργίου Με αριθμό μητρώου: 8063 Θέμα Υλοποίηση συστήματος υπολογιστικής όρασης με μεθόδους deep learning Επιβλέπων Ευάγγελος Δερματάς, Αναπληρωτής Καθηγητής Πάτρα, Ιούνιος

2 2

3 ΠΙΣΤΟΠΟΙΗΣΗ Πιστοποιείται ότι η διπλωματική εργασία με θέμα Υλοποίηση συστήματος υπολογιστικής όρασης με μεθόδους deep learning του φοιτητή του τμήματος Σέργιου Καραγιαννάκου του Γεωργίου Με αριθμό μητρώου: 8063 παρουσιάστηκε δημόσια και εξετάστηκε στο τμήμα Ηλεκτρολόγων Μηχανικών και Τεχνολογίας Υπολογιστών στις / / Ο Επιβλέπων Ο Συνεπιβλέπων Ο Διευθυντής Τομέα Ευάγγελος Δερματάς, Νικόλαος Φακωτάκης, Αναπληρωτής Καθηγητής Καθηγητής 3

4 Copyright All rights reserved Καραγιαννάκος Σέργιος, 2017 Με επιφύλαξη παντός δικαιώματος. Απαγορεύεται η αντιγραφή, αποθήκευση και διανομή της παρούσας εργασίας, εξ ολοκλήρου ή τμήματος αυτής, για εμπορικό σκοπό. Επιτρέπεται η ανατύπωση, αποθήκευση και διανομή για σκοπό μη κερδοσκοπικό, εκπαιδευτικής ή ερευνητικής φύσης, υπό την προϋπόθεση ότι αναφέρεται η πηγή προέλευσης και να διατηρείται το παρόν μήνυμα. Ερωτήματα που αφορούν στη χρήση της εργασίας για κερδοσκοπικό ή άλλο σκοπό πρέπει να απευθύνονται προς τον συγγραφέα. Οι απόψεις και τα συμπεράσματα που περιέχονται σε αυτό το έγγραφο εκφράζουν τον συγγραφέα και δεν πρέπει να ερμηνευθεί ότι αντιπροσωπεύουν τις επίσημες θέσεις του Πανεπιστημίου Πατρών. 4

5 Περίληψη Η υπολογιστική όραση αποτελεί τα τελευταία χρόνια, ένα από τους πιο αναπτυσσόμενους κλάδους, γνωρίζοντας σημαντική άνθιση τόσο σε ερευνητικές όσο και σε πραγματικές εφαρμογές. Αιτία είναι οι αλγόριθμοι της βαθιάς μάθησης, που θεωρούνται από πολλούς το μέλλον της τεχνητής νοημοσύνης, και σε συνδυασμό με την πληθώρα των δεδομένων και την εξέλιξη των υπολογιστικών εκτίναξαν την απόδοση των συστημάτων σε πολύ υψηλά επίπεδα. Η παρούσα διπλωματική εργασία επικεντρώνεται στην ανάπτυξη ενός συστήματος υπολογιστικής όρασης, που χρησιμοποιεί μεθόδους βαθιάς μηχανικής μάθησης για να αναγνωρίσει αντικείμενα σε εικόνες και να τις ταξινομήσει, με βάση το περιεχόμενο τους, σε κλάσεις. Αναλύονται και μελετώνται οι δύο βασικότερες τεχνικές βαθιάς μάθησης (deep learning), τα πλήρως συνδεδεμένα και τα συνελικτικά νευρωνικά δίκτυα, που είναι φορείς ευρείας αποδοχής από την επιστημονική κοινότητα για εφαρμογές υπολογιστικής όρασης. Παρουσιάζεται η δομή τους, οι ικανότητες τους, τα ελαττώματα τους καθώς και η διαδικασία εκπαίδευσης τους, ώστε να γίνει κατανοητός ο λόγος της υψηλής απόδοσής τους. Στη συνέχεια, περιγράφεται ο αλγόριθμος που αναπτύχθηκε, τα στάδια υλοποίησης του και διάφοροι περιορισμοί του. Το σύστημα έχει τη μορφή βιβλιοθήκης που υλοποιεί πλήρως συνδεδεμένα και βαθιά συνελικτικά δίκτυα, παρέχοντας τη δυνατότητα στο χρήστη να κατασκευάσει και να εκπαιδεύσει το δικό του δίκτυο με τις παραμέτρους της επιλογής του. Για να επιταχυνθεί η εκπαίδευση όλοι οι υπολογισμοί πραγματοποιούνται παράλληλα σε κάρτα γραφικών. Τέλος, η βιβλιοθήκη εξετάζεται σε δύο πραγματικά προβλήματα, την αναγνώριση χειρόγραφων ψηφίων και την αναγνώριση αντικειμένων, και παρουσιάζονται τα αποτελέσματα για διάφορες αρχιτεκτονικές και παραμέτρους. Λέξεις-Κλειδιά Βαθιά Μηχανική Μάθηση, Συνελικτικά Νευρωνικά Δίκτυα, Πλήρως Συνδεδεμένα Νευρωνικά Δίκτυα, Υπολογιστική Όραση, Ταξινόμηση εικόνων, Αναγνώριση Αντικειμένων, Παράλληλος Προγραμματισμός σε Κάρτες Γραφικών 5

6 6

7 Abstract Computer vision has been one of the most growing industries in recent years, knowing a significant growth in both research and real-life applications. This is due to the deep learning algorithms, which are considered by many to be the future of artificial intelligence, in combination with the abundance of collected data and the evolution of computing. As a result, the performance of these applications have been improved to very high levels. This diploma thesis focuses on the development of a computer vision system that uses deep learning methods to identify objects in images and to classify them in classes based on their content. It explores and analyses the two most common deep learning techniques, fully connected and convolutional neural networks, which are widely accepted by the scientific community for computer vision applications, by their structure, abilities, defects, and their training to understand their high performance. The developed algorithm, its implementation stages, its various limitations and possible enhancements are described extensively. The system is in the form of a library that implements fully connected and deep convolutional neural networks, enabling the user to build and train their own network with parameters of their choice. To accelerate the process of training, all calculations are performed in parallel on graphics cards. Finally, the library examines two real-world problems, such as handwriting recognition and object recognition, and the results for different architectures and parameters are presented. Keywords Deep Learning, Convolutional Neural Networks, Fully Connected Neural Networks, Computer Vision, Image Classification, Objects Recognition, Parallel Programming in Graphics Cards 7

8 8

9 Ευχαριστίες Αρχικά θέλω να ευχαριστήσω τον επιβλέποντα καθηγητή της διπλωματικής μου εργασίας Ευάγγελο Δερματά. Τον ευχαριστώ ειλικρινά για όλες τις πολύτιμες συμβουλές, την καθοδήγηση που μου έδωσε όλο αυτό το διάστημα, καθώς επίσης και για τις καθοριστικές διορθώσεις και επισημάνσεις του. Με την ολοκλήρωση της παρούσας εργασίας κλείνει και ο κύκλος των προπτυχιακών μου σπουδών στη Σχολή Ηλεκτρολόγων Μηχανικώς και Τεχνολογίας Υπολογιστών του Πανεπιστημίου Πατρών. Σε όλη αυτή την περίοδο αποκόμισα γνώσεις και εμπειρίες - ακαδημαϊκές και μη - οι οποίες θα με χαρακτηρίζουν ως άτομο από εδώ και στο εξής. Για αυτές τις εμπειρίες θα ήθελα να ευχαριστήσω από καρδιάς όλους ανεξαιρέτως τους φίλους, συμφοιτητές και καθηγητές μου. Τέλος θα ήθελα να ευχαριστήσω την οικογένειά μου, τον πατέρα μου Γεώργιο, την μητέρα μου Ειρήνη και την αδερφή μου Μαριάννα για όλη την υλική και πνευματική υποστήριξη που μου προσφέρουν όλα αυτά τα χρόνια, δίνοντας μου μεταξύ άλλων και την δυνατότητα να σπουδάσω στη σχολή της επιλογής μου και να πραγματοποιήσω τους στόχους μου. Πάτρα, Σεπτέμβριος 2017 Καραγιαννάκος Σέργιος 9

10 10

11 Περιεχόμενα Περίληψη... 5 Abstract... 7 Ευχαριστίες... 9 Περιεχόμενα Κατάλογος εικόνων Κατάλογος διαγραμμάτων Κατάλογος πινάκων Εισαγωγή Υπολογιστική όραση Αναγνώριση αντικειμένων Ταξινόμηση εικόνων Μηχανική μάθηση και νευρωνικά δίκτυα Μηχανική μάθηση Βασικές αρχές Νευρωνικών δικτυών Τι είναι Νευρωνικό δίκτυο Μοντέλο ενεργοποίησης νευρώνα Εκπαίδευση Βασικές αρχές εκμάθησης Αλγόριθμος οπισθοδρομικής διάδοσης του σφάλματος Τεχνικές για βελτίωση της απόδοσης των νευρωνικών δικτύων Αρχικοποίηση βαρών Προεπεξεργασία δεδομένων Συνάρτηση διεντροπίας και Softmax Βαθιά Συνελικτικά δίκτυα Βαθιά Εκμάθηση Αρχές Συνελικτικών δικτύων Ορισμός Επίπεδο συνέλιξης Επίπεδο συγκέντρωσης Πλήρως διασυνδεδεμένο επίπεδο

12 3.3 Εκπαίδευση Παράλληλος προγραμματισμός σε κάρτες γραφικών Ιστορική αναδρομή Αρχιτεκτονική των καρτών γραφικών OpenCL Μοντέλα πλατφόρμας και εκτέλεσης Μοντέλο μνήμης Βαθιά μάθηση και παραλληλισμός Υλοποίηση Σκοπός λογισμικού Εργαλεία Visual studio CodeXL OpenCV Git Εγκατάσταση της OpenCL Λεπτομέρειες αλγορίθμου Δομή Προγραμματισμός στη κάρτα γραφικών Στάδια υλοποίησης Βελτιώσεις Περιορισμοί Δεδομένα και αποτελέσματα Κατηγοριοποίηση χειρόγραφων αριθμών MNIST Ταξινόμηση αντικειμένων Cifar Συμπεράσματα και μελλοντικές προτάσεις Βιβλιογραφία

13 Κατάλογος εικόνων Εικόνα 1: Βιολογικός και τεχνητός νευρώνας Εικόνα 2: Νευρωνικό δίκτυο Εικόνα 3: Σιγμοειδής Συνάρτηση Εικόνα 4: Δομή Συνελικτικού Νευρωνικού δίκτύου Εικόνα 5: Συνέλιξη Εικόνα 6: Επίπεδο συγκέντρωσης Εικόνα 7: Συχνότητα ρολογιού στη πάροδο των χρόνων Εικόνα 8: Δομές Cpu και Gpu Εικόνα 9: Οργάνωση μνήμης GPU Εικόνα 10: Ιεραρχία πλατφόρμας OpenCL Εικόνα 11: Χώρος ευρετηριοποίησης OpenCL Εικόνα 12: Μοντέλο μνήμης NUMA Εικόνα 13: Χαρακτηριστικά AMD Radeon HD 7400M Εικόνα 14: UML διάγραμμα κλάσεων Εικόνα 15: XOR πύλη Εικόνα 16: Εικόνες MNIST Εικόνα 17: Εικόνες CIFAR

14 Κατάλογος διαγραμμάτων Διάγραμμα 1: Απόδοση συναρτήσει του ρυθμού εκμάθησης στη βάση MNIST Διάγραμμα 2: Απόδοση συναρτήσει επαναλήψεων στη βάση MNIST Διάγραμμα 3: Απόδοση συναρτήσει συνάρτησης ενεργοποίησης και ρυθμού εκμάθησης Διάγραμμα 4: Απόδοση συναρτήσει του αριθμού και της διάστασης των φίλτρων Κατάλογος πινάκων Πίνακας 1: Αποτελέσματα πλήρως συνδεδεμένων δικτύων στη βάση MNIST Πίνακας 2: Αποτελέσματα συνελικτικών δικτύων στη βάση MNIST Πίνακας 3:Αποτελέσματα πλήρως συνδεδεμένων δικτύων στη βάση CIFAR Πίνακας 4: Αποτελέσματα συνελικτικών δικτύων στη βάση CIFAR

15 Κεφάλαιο 1 1 Εισαγωγή Τα τελευταία χρόνια παρατηρείται ένα μεγάλο και συνεχώς αυξανόμενο ενδιαφέρον για τις τεχνικές βαθιάς εκμάθησης σε διάφορες εφαρμογές, όπως η επεξεργασία ομιλίας, φυσικής γλώσσας και η ανάλυση και αναγνώριση εικόνων. Ο όγκος των δεδομένων (big data) που είναι διαθέσιμος, η ραγδαία ανάπτυξη των υπολογιστικών συστημάτων (χωρητικότητα μνήμης, ταχύτητα επεξεργαστών), αλλά και η εξέλιξη τεχνολογιών, όπως η παράλληλη και κατανεμημένη επεξεργασία, έχουν αποτελέσει το έναυσμα για να αυξηθεί η χρήση αλγορίθμων που παλαιότερα ήταν απαγορευτικοί. Στην κατηγορία αυτή ανήκουν οι τεχνικές βαθιάς μηχανικής μάθησης (deep learning) με κυριότερες τα νευρωνικά δίκτυα, τα κρυμμένα μοντέλα Markov και πολλές άλλες. Στον κλάδο της υπολογιστικής όρασης και της αναγνώρισηςταξινόμησης εικόνων έχει αποδειχθεί ότι μέθοδοι, όπως τα βαθιά και τα συνελικτικά νευρωνικά δίκτυα έχουν τις καλύτερες αποδόσεις, ξεπερνώντας ακόμα και τον άνθρωπο. Από το 2010 και μετά εξελίσσεται κάθε χρόνο ο διαγωνισμός ΙmageNet Large Scale Visual Recognition Challenge (ILSVRC) με σκοπό την προώθηση της έρευνας στον κλάδο αυτό. Το 2012 αποτελεί ένα ορόσημο, αφού ένα βαθύ συνελικτικό νευρωνικό δίκτυο πέτυχε ποσοστό σφάλματος 16%, κατά πολύ λιγότερο από τους μέχρι τότε αλγορίθμους. Εξαιτίας του γεγονότος αυτού, η επιστήμη της αναγνώρισης εικόνων με νευρωνικά δίκτυα γνώρισε ταχεία άνθιση και το ποσοστό αυτό έπεσε στο 3.08% μέχρι το Είναι προφανές ότι οι συνέπειες αυτής της ανάπτυξης είναι πολλές και εκτείνονται σε ένα πολύ ευρύ φάσμα της τεχνολογικής εξέλιξης από τη βιομηχανική και χειρουργική ρομποτική μέχρι τα αυτόνομα οχήματα, τις στρατιωτικές και τις διαστημικές εφαρμογές. Η παρούσα εργασία καταπιάνεται με την κατασκευή μιας βιβλιοθήκης συνελικτικών νευρωνικών δικτύων, δίνει έμφαση στην παράλληλη εκτέλεση σε κάρτες γραφικών και στο τρόπο με τον οποίο αυτή μπορεί να βελτιωθεί και κλείνει με την παρουσίαση, την ανάλυση, τη δοκιμή και την αξιολόγηση διάφορων αρχιτεκτονικών σε συνηθισμένα πραγματικά προβλήματα. Αναπτύσσεται σε 7 κεφάλαια και η δομή της είναι η εξής: Στο 1 ο κεφάλαιο γίνεται μια εισαγωγή σε βασικές έννοιες και ορίζονται τα προβλήματα της ταξινόμησης και της αναγνώρισης εικόνων. Στο 2 ο και στο 3 ο κεφάλαιο αναλύεται ο τομέας της μηχανικής μάθησης, επικεντρώνοντας στα νευρωνικά και στα βαθιά συνελικτικά δίκτυα και παρουσιάζεται θεωρητικά η δομή τους, οι βασικοί αλγόριθμοι εκπαίδευσης και οι τεχνικές βελτίωσης αυτής. 15

16 Στο 4 ο κεφάλαιο γίνεται μια ιστορική αναδρομή και μια επεξήγηση του παράλληλου προγραμματισμού σε κάρτες γραφικών, στις βασικές αρχές του, σε εργαλεία που χρησιμοποιούνται και στο πώς αυτός μπορεί να εφαρμοστεί στη μηχανική μάθηση. Στο 5 ο κεφάλαιο περιγράφεται αναλυτικά το λογισμικό που κατασκευάστηκε, η λογική πίσω από αυτό, οι προκλήσεις που παρουσιάστηκαν και οι βελτιώσεις που έγιναν. Στο 6 ο κεφάλαιο γίνεται η παρουσίαση των δεδομένων που χρησιμοποιήθηκαν στην μελέτη, αλλά και η ανάλυση των αποτελεσμάτων που παρήχθησαν με διάφορες αρχιτεκτονικές. Στο 7 ο και τελευταίο κεφάλαιο δίδονται συμπεράσματα και προτάσεις για μελλοντική έρευνα, ακολουθούμενα από τη βιβλιογραφία της εργασίας. 1.1 Υπολογιστική όραση Υπολογιστική όραση είναι ο κλάδος της επιστήμης που μελετά την ανακατασκευή και την κατανόηση του τρισδιάστατου χώρου μέσα από εικόνες ή βίντεο. Απώτερος στόχος της είναι η μοντελοποίηση, η αντιγραφή και εν τέλει η υπέρβαση της ανθρώπινης όρασης. Παραδοσιακά, κατηγοριοποιείται σε δύο επίπεδα ιεραρχίας. Το πρώτο αφορά τη γενική επεξεργασία της εικόνας, την εξαγωγή βασικών χαρακτηριστικών, όπως ακμές, γωνίες και τη ροή κίνησης, τον προσδιορισμό και την ύπαρξη αντικειμένων. Το δεύτερο επίπεδο ασχολείται με την κατανόηση αυτών, την κατηγοριοποίηση της εικόνας και την ανακατασκευή του χώρου που αυτή απεικονίζει με βάση τα χαρακτηριστικά που παρήγαγε το πρώτο επίπεδο. 1.2 Αναγνώριση αντικειμένων Η αναγνώριση και κατηγοριοποίηση αντικειμένων σε εικόνες έχει απασχολήσει για δεκαετίες τους μηχανικούς και έχουν προταθεί πολλοί τρόποι επίλυσης του προβλήματος, χωρίς ωστόσο να έχει κυριαρχήσει κάποιος μέχρι σήμερα. Τα βασικά ερωτήματα που προσπαθεί να απαντήσει είναι : Πόσα αντικείμενα υπάρχουν σε μία εικόνα (ύπαρξη), πού βρίσκονται (θέση) και σε ποιες από τις γνωστές κατηγορίες αντικειμένων μπορεί να ανήκουν (ταυτότητα); Τα μέρη του ερωτήματος αναλύονται στα παρακάτω επιμέρους προβλήματα: Ανίχνευση/Ύπαρξη(Detection): Εξακρίβωση αν ένα συγκεκριμένο αντικείμενο βρίσκεται στην εικόνα, χωρίς να αναζητείται η θέση, η κλίμακα ή ο προσανατολισμός. Εντοπισμός/Εύρεση (Localization) της ακριβούς θέσης ενός αντικειμένου, το οποίο είναι (πιθανώς) γνωστό ότι υπάρχει στην εικόνα. Ταξινόμηση/Κατηγοριοποίηση (Classification/Identification): Η ταξινόμηση μπορεί να γίνει εφόσον έχουν εντοπιστεί επιμέρους αντικείμενα, αλλά και συνολικά για μία εικόνα, στις κατηγορίες που ανήκουν. Σε γενικές γραμμές έχουν δοθεί ικανοποιητικές λύσεις στα παραπάνω, κυρίως όμως σε ελεγχόμενα περιβάλλοντα. Οι εικόνες από την καθημερινότητα, όμως, εμφανίζουν επιπλέον 16

17 προκλήσεις, όπως απόκλιση στο σχήμα και στη μορφή των αντικειμένων, αλλοιώσεις λόγω της φωτεινότητας, των φακών κλπ. 1.3 Ταξινόμηση εικόνων Ψηφιακές εικόνες Κάθε εικόνα από τον φυσικό κόσμο δειγματοληπτείται, κβαντίζεται σε εικονοστοιχεία (pixels) μέσα από τη φωτογραφική μηχανή και απεικονίζεται ψηφιακά με ένα τρισδιάστατο διάνυσμα (W*H*D) από ακέραιους αριθμούς. Οι πρώτες δύο διαστάσεις (W, H) απεικονίζουν το πλάτος και το ύψος, ενώ η τρίτη το βάθος (D), που αντιπροσωπεύει τα χρωματικά κανάλια. Στην πιο συχνή μορφή τους οι εικόνες αποτελούνται από 3 κανάλια (RGB) για τα 3 βασικά χρώματα (κόκκινο, πράσινο, μπλε) και κάθε pixel παίρνει μια τιμή από 0 μέχρι Κατηγοριοποίηση Η κατηγοριοποίηση σε κλάσεις (classification) έχει ως σκοπό να αναθέσει στη κάθε ψηφιακή εικόνα την ετικέτα μιας κατηγορίας. Σκοπός, δηλαδή, είναι να κατασκευαστεί ένα σύστημα που θα έχει σαν εισόδους άγνωστες εικόνες και σαν έξοδο μια ετικέτα που να αντιστοιχεί στη κλάση της εισόδου. H ταξινόμηση αυτή γίνεται με βάση το εννοιολογικό περιεχόμενο της εικόνας και των αντικειμένων που περιέχει. Αν και η προαναφερθείσα διαδικασία είναι απλή για τους ανθρώπους, γίνεται ιδιαίτερα πολύπλοκη για τον υπολογιστή, αφού προκύπτουν προβλήματα όπως: Ο προσανατολισμός του αντικειμένου που μπορεί να διαφέρει από εικόνα σε εικόνα Η κλίμακα που απεικονίζεται στη φωτογραφία Η παραμόρφωση του αντικειμένου H μερική επικάλυψή του Η αλλοίωση των χρωμάτων Η δυσκολία διάκρισης από το περιβάλλον Γίνεται, επομένως, εμφανές ότι ένα καλός ταξινομητής πρέπει να είναι ανεπηρέαστος από αυτές τις παραλλαγές και να παράγει σωστή λύση για κάθε πιθανή είσοδο. Οι πιο διαδεδομένες τεχνικές είναι οι τεχνικές αναγνώρισης προτύπων και βασίζονται στην ύπαρξη πολλών δεδομένων (data-driven), από τα οποία ο αλγόριθμος «μαθαίνει» και στη συνέχεια ταξινομεί με κριτήριο τη γνώση που έχει αποκτήσει. Τα μοντέλα αυτά εμπνεύστηκαν από την εξέλιξη της στατιστικής, της πιθανοθεωρίας και της μαθηματικής βελτιστοποίησης και αφομοίωσαν πολλές από της μαθηματικές θεωρίες και μεθόδους τους. 17

18 Στην γενική τους μορφή η διαδικασία ταξινόμησης μπορεί να αναπαρασταθεί ως μια βαθμωτή συνάρτηση που αντιστοιχεί στο χώρο των μετρήσεων των προτύπων R p (που χαρακτηρίζονται από Ρ μετρήσεις χαρακτηριστικών του αντικειμένου), στο χώρο Ν διακριτών κατηγοριών: Για να καταστεί, όμως, εφικτή η ταξινόμηση, ο ταξινομητής Ra οφείλει να έχει τη δυνατότητα να αποθηκεύει την πληροφορία από τα δεδομένα x και να «μαθαίνει» από αυτή, ώστε να κατηγοριοποιεί στην κλάση ωι, κάτι που ονομάζουμε μηχανική μάθηση. 18

19 Κεφάλαιο 2 2 Μηχανική μάθηση και νευρωνικά δίκτυα 2.1 Μηχανική μάθηση Όταν αναφέρουμε τον όρο μηχανική μάθηση εννοούμε κυρίως όλες εκείνες τις τεχνικές και τους αλγορίθμους που καθιστούν ικανό έναν υπολογιστή να μάθει από δεδομένα και να κάνει πρόβλεψη με βάση αυτά, χωρίς εκ των προτέρων ακριβή προγραμματισμό. Ένα πρόγραμμα θεωρείται ότι μαθαίνει από μία εμπειρία Ε σε σχέση με μία διεργασία Τ όταν η απόδοσή του στην εκτέλεση της Τ βελτιώνεται μετά την Ε. Η μηχανική μάθηση είναι ένας κλάδος της τεχνητής νοημοσύνης και κατά συνέπεια της επιστήμης υπολογιστών, που έχει ένα ευρύ φάσμα εφαρμογών με πιο σημαντικές την αναγνώριση ομιλίας και την υπολογιστική όραση, με την οποία ασχολείται και η παρούσα διπλωματική. Χωρίζεται σε δύο κύριες κατηγορίες: την επιβλεπόμενη μάθηση και τη μη επιβλεπόμενη. Στην επιβλεπόμενη μάθηση σκοπός είναι το σύστημα να μάθει να αντιστοιχεί τις εισόδου x σε εξόδους y, δεδομένου ενός συνόλου από ζευγάρια εισόδου-εξόδου D = {(x i, y i )} N i=1, όπου το D ονομάζεται σύνολο εκπαίδευσης και Ν είναι το πλήθος του. Στη μη επιβλεπόμενη μάθηση υπάρχουν μόνο γνωστές είσοδοι D = {(x i )} N i=1 και το σύστημα πρέπει να ανακαλύψει «ενδιαφέροντα» πρότυπα (ανακάλυψη γνώσης). Υπάρχει, επίσης, και μια τρίτη κατηγορία, γνωστή ως ενισχυτική μάθηση, στην οποία το πρόγραμμα αλληλοεπιδρά με ένα δυναμικό περιβάλλον στο οποίο πρέπει να επιτευχθεί ένας συγκεκριμένος στόχος (πχ η οδήγηση ενός ρομπότ). 2.2 Βασικές αρχές Νευρωνικών δικτυών Τι είναι Νευρωνικό δίκτυο Μία μεγάλη υποκατηγορία αλγορίθμων μηχανικής επιβλεπόμενης μάθησης είναι τα τεχνητά νευρωνικά δίκτυα που χρησιμοποιούνται ευρέως σε πληθώρα εφαρμογών τη σημερινή εποχή. Τα νευρωνικά δίκτυα αποτελούν μία προσπάθεια μοντελοποίησης του ανθρώπινου εγκεφάλου και του τρόπου με τον οποίο αυτός λειτουργεί και μαθαίνει. Το ανθρώπινο νευρικό σύστημα έχει ως δομική μονάδα τους νευρώνες και υπολογίζεται ότι περιλαμβάνει 86 δισεκατομμύρια νευρώνες που συνδέονται με 100 τρισεκατομμύρια συνάψεις. O απλοποιημένος νευρώνας του σχήματος λαμβάνει τα σήματα εισόδου από τους δενδρίτες, τα επεξεργάζεται και κατασκευάζει 19

20 το σήμα εξόδου που στέλνει μέσω του άξονα του σε άλλους νευρώνες. Στο αντίστοιχο μαθηματικό μοντέλο, τα σήματα εισόδου x = [1, x1,..., xm] T πολλαπλασιάζονται με βάρη w = [w0, w1,..., wm] T, προσθέτονται και στη συνέχεια περνάνε μέσα από μία μη γραμμική συνάρτηση h, η οποία θα παράγει το σήμα εξόδου. H βασική ιδέα είναι ότι τα βάρη w είναι εκπαιδεύσιμα, δηλαδή έχουν την ικανότητα να αλλάζουν με βάση την είσοδο και την επιθυμητή έξοδο και είναι αυτά που διατηρούν την πληροφορία των προηγουμένων εισόδων. Αποτελούν ως εκ τούτου μια μορφή μνήμης του συστήματος. Εικόνα 1: Βιολογικός και τεχνητός νευρώνας Μαθηματικά αυτό εκφράζεται ως : και Αν οργανώσουμε πολλούς νευρώνες σε μορφή επιπέδων και τα επίπεδα σειριακά, κατασκευάζουμε ένα νευρωνικό δίκτυο, όπως απεικονίζεται στο παρακάτω σχήμα: Εικόνα 2: Νευρωνικό δίκτυο 20

21 Κάθε νευρωνικό δίκτυο αποτελείται από ένα επίπεδο εισόδου, ένα ή περισσότερα κρυφά επίπεδα και ένα επίπεδο εξόδου Μοντέλο ενεργοποίησης νευρώνα Όπως αναφέρθηκε παραπάνω η ενεργοποίηση του κάθε νευρώνα γίνεται με μία μη γραμμική συνάρτηση h, η οποία δέχεται το άθροισμα του ηλεκτρικού φορτίου που δέχεται ο νευρώνας, εφαρμόζει τη μη γραμμικότητα και δίνει αποτέλεσμα την απόκριση του νευρώνα. Perceptron: Η πρώτη και πιο απλή συνάρτηση που χρησιμοποιήθηκε ονομάζεται μοντέλο perceptron που στην ουσία είναι ένας δυαδικός ταξινομητής. Χρησιμοποιείται κυρίως στον διαχωρισμό των δεδομένων εισόδου σε 2 επιμέρους κατηγορίες. Στην περίπτωση που οι 2 αυτές κατηγορίες έχουν τιμές 0 και 1, τότε η συνάρτηση κατωφλίου ονομάζεται και βηματική συνάρτηση (step function) ή αντίστοιχα ως συνάρτηση πρόσημού (signum function) όταν οι τιμές είναι -1 και 1. Σιγμοειδής(sigmoid): Πρόκειται για την πιο ευρέως χρησιμοποιούμενη ιστορικά συνάρτηση, καθώς ερμηνεύεται άμεσα ως ρυθμός πυροδότησης ενός νευρώνα. Δέχεται κάθε πραγματικό αριθμό και τον κανονικοποιεί στο διάστημα [0,1]. Με άλλα λόγια, μεγάλοι αρνητικοί αριθμοί γίνονται 0, ενώ μεγάλοι θετικοί γίνονται 1. Τα τελευταία χρόνια, όμως, η χρήση της έχει περιοριστεί αφού διαθέτει δυο βασικά μειονεκτήματα: Για πολύ μεγάλες ή μικρές τιμές η κλίση της γίνεται πρακτικά μηδενική, κάτι που οδηγεί στην παύση της εκπαίδευσης αφού η κλίση μεταφέρεται σε όλους τους νευρώνες σύμφωνα με τον αλγόριθμο οπισθοδρομικής διάδοσης που θα μελετηθεί παρακάτω. Επιπλέον, η αρχικοποίηση των βαρών πρέπει να είναι ιδιαίτερα προσεκτική, καθώς βάρη με μεγάλες τιμές μπορούν να οδηγήσουν τον νευρώνα σε κορεσμό. 21

22 Εικόνα 3: Σιγμοειδής Συνάρτηση Υπερβολική εφαπτόμενη (tanh) Έχει παρόμοια συμπεριφορά με τη σιγμοειδή, μόνο που έχει κεντραρισμένη έξοδο γύρω από το 0 και όχι το 0.5 και για αυτό προτιμάται πιο πολύ. Ανορθωμένη Γραμμική ή Συνάρτηση Ράμπας (Rectified Linear Unit ReLU) Η συγκεκριμένη συνάρτηση επιταχύνει την εκπαίδευση λόγω της γραμμικής και μη κορεσμένης εξόδου της και είναι πολύ εύκολη στην υλοποίησή της, αφού αποτελείται μόνο από μια σύγκριση με το 0. Το μοναδικό μειονέκτημα της είναι ότι κατά την εκπαίδευση μπορεί να οδηγήσει κάποια βάρη σε τέτοιο συνδυασμό που να αδρανοποιήσει το νευρώνα. Διαρρέουσα Ανορθωμένη Γραμμική (LeakyReLU) και Παραμετροποιήσιμη ReLU (PReLU) Παραλλαγή της ReLU που λύνει το πρόβλημα της αδρανοποίησης του νευρώνα, προσθέτοντας μια μικρή κλίση για αρνητικά αθροίσματα. Μονάδα καλύτερων παραμέτρων (Maxout) 22

23 Πρόκειται για διαφορετική προσέγγιση αφού δε θεωρείται συνάρτηση ενεργοποίησης. Η έξοδός της δίνεται από τη σχέση Μπορούμε να θεωρήσουμε ότι υπάρχει μια ομάδα υπονευρώνων που εκπαιδεύονται παράλληλα και η μέγιστη έξοδος αυτών είναι και η έξοδος του νευρώνα. Η συνάρτηση αυτή συνδυάζει όλα τα πλεονεκτήματα των παραπάνω συναρτήσεων με το αντίτιμο ότι εισάγει i-1 φορές επιπλέον βάρη. Έχει αποδειχθεί ότι με τη χρήση ικανού αριθμού μονάδων μπορεί να προσεγγιστεί οποιαδήποτε επιλεγμένη συνάρτηση σε οποιαδήποτε επιλεγμένη πιστότητα. 23

24 2.3 Εκπαίδευση Βασικές αρχές εκμάθησης Αφού οριστεί η τοπολογία του νευρωνικού δικτύου, δηλαδή ο αριθμός των νευρώνων και των επιπέδων που θα το απαρτίζουν, αυτό πρέπει να εκπαιδευτεί για να μπορέσει να ταξινομήσει τα πρότυπα. Η διαδικασία εκπαίδευσης ανήκει στην κατηγορία της επιβλεπόμενης μάθησης, αφού έχουμε τα δεδομένα εκπαίδευσης x και την ετικέτα της κλάσης που ανήκουν t. Η εκπαίδευση είναι στην πραγματικότητα μια ενέργεια βελτιστοποίησης της συνάρτησης σφάλματος/κόστους, που εκφράζει τη απόκλιση της επιθυμητής εξόδου, και είναι ένα μέτρο απόδοσης του αλγορίθμου εκπαίδευσης από την έξοδο του νευρωνικού δικτύου. Οι τιμές των w για τις οποίες η συνάρτηση σφάλματος βρίσκεται σε ένα τοπικό ή στο ολικό ελάχιστό της αποτελούν και τη γνώση που έχει αποκτήσει το νευρωνικό δίκτυο. Η διαδικασία εκπαίδευσης είναι συνήθως μια επαναληπτική διαδικασία που ανανεώνει τα βάρη w στην κατεύθυνση αρνητικής κλίσης (gradient descent). Ο πιο διαδεδομένος αλγόριθμος είναι ο αλγόριθμος οπισθοδρομικής διάδοσης του σφάλματος που τυποποιεί την παραπάνω διαδικασία και είναι αυτός που εφαρμόζεται στη πλειοψηφία των σημερινών εφαρμογών Αλγόριθμος οπισθοδρομικής διάδοσης του σφάλματος Ο αλγόριθμος οφείλει την ονομασία του στον τρόπο με τον οποίο εκτελείται. Αποτελείται από 2 φάσεις: τη διάδοση και την ανανέωση των βαρών. Κατά τη διάδοση εκτελείται πρώτα η εμπρόσθια διάδοση: στην αρχή ενεργοποιείται το δίκτυο και οι υπολογισμοί αρχίζουν από το πρώτο επίπεδο, συνεχίζουν στα κρυφά επίπεδα και τέλος στο επίπεδο εξόδου όπου και παράγουν την έξοδο του. Εκ των υστέρων, εκτελείται η οπισθοδρομική διάδοση στην οποία υπολογίζεται η απόκλιση της εξόδου από την επιθυμητή, δηλαδή η παράγωγος της συνάρτησης σφάλματος, και η πληροφορία διαδίδεται κατά την αντίστροφη φορά (προς την αρχή του δικτύου). Τελικά, με βάση αυτή την απόκλιση οι τιμές των βαρών ανανεώνονται και η διαδικασία ξεκινάει από την αρχή. Πιο αναλυτικά, κατά την εμπρόσθια φάση του αλγορίθμου κάθε νευρώνας υπολογίζει την έξοδο του ως ένα σταθμισμένο άθροισμα των εισόδων του σε μορφή 24

25 Όπου zi η έξοδος των νευρώνων του προηγούμενου επιπέδου και wji το βάρος της σύνδεσης του νευρώνα i με τον νευρώνα j. Να σημειωθεί και ότι είναι πιθανό να συμπεριλαμβάνεται μια επιπλέον είσοδος με τιμή 1 (bias). Έπειτα, εφαρμόζεται η μη γραμμική συνάρτηση h που δίνει την τελική έξοδο του νευρώνα σύμφωνα με τη σχέση : Η εμπρόσθια διάδοση συνεχίζεται σειριακά σε όλα τα κρυφά επίπεδα μέχρι να φτάσει στο επίπεδο εξόδου. Στο σημείο αυτό είναι αναγκαίο να υποθέσουμε ότι η συνάρτηση σφάλματος έχει τη γενική μορφή: Για να αξιολογήσουμε τα τωρινά βάρη και την επίδρασή τους στην έξοδο αλλά και να ανανεώσουμε τα βάρη πρέπει να υπολογίζουμε τη πρώτη παράγωγο της συνάρτησης σφάλματος σύμφωνα με το κανόνα της αλυσίδας: Επιπλέον ορίζοντας ότι και παρατηρώντας ότι Καταλήγουμε στην εξής σχέση η οποία δηλώνει ότι η παράγωγος είναι το γινόμενο της τιμής δj επί την έξοδο από τον αντίστοιχο νευρώνα του προηγούμενου επιπέδου. Επομένως, μένει μόνο να υπολογίσουμε τις τιμές των δ για τον κάθε νευρώνα. Για τους νευρώνες του επιπέδου εξόδου έχουμε: 25

26 ενώ για τα κρυφά επίπεδα αποδεικνύεται πως ο τύπος για την οπισθοδρομική διάδοση είναι: Ο αλγόριθμος μπορεί τελικά να συνοψιστεί στα παρακάτω βήματα: 1. Εμπρόσθια διάδοση για την εύρεση των εξόδων κάθε νευρώνα 2. Αξιολόγηση των δκ για το επίπεδο εξόδου 3. Οπισθοδρομική δίαδοση με την απόκτηση των δj για τα κρυφά επίπεδα 4. Ανανέωση των βαρών σύμφωνα με τη παράγωγο της συνάρτησης σφάλματος πολλαπλασιασμένη με μια σταθερά a που ονομάζεται ρυθμός εκμάθησης και ορίζει το πόσο «γρήγορα» θα αναπροσδιορίζονται τα βάρη. 26

27 2.4 Τεχνικές για βελτίωση της απόδοσης των νευρωνικών δικτύων Αρχικοποίηση βαρών Ένα σημαντικό ζήτημα για τη βελτίωση της εκπαίδευσης των νευρωνικών δικτύων είναι οι τιμές με τις οποίες αρχικοποιούνται τα βάρη W. Ένα πρώτο βήμα είναι να αναθέσουμε τελείως τυχαίες τιμές, που ενώ δε δημιουργεί πρόβλημα στον αλγόριθμο, σίγουρα δε βοηθά στην σύγκλισή του. Μια συνήθης πρακτική είναι αυτό να γίνει τυχαία με βάση την κατανομή Gauss με μέση τιμή 0 και διασπορά σ. Το βασικό πρόβλημα αυτής της προσέγγισης είναι η πιθανότητα ο νευρώνας να κορεσθεί. Επειδή αρκετά συχνά οι ενεργοποιήσεις θα είναι κοντά στο 0 ή στο 1, η παράγωγος της συνάρτησης σφάλματος θα έχει πολύ μικρή τιμή και συνεπώς το δίκτυο θα μαθαίνει πολύ αργά. Μια πολύ καλύτερη τακτική είναι η κατανομή Gauss να έχει μέση τιμή 0 αλλά διασπορά,όπου nin το πλήθος των παραδειγμάτων εκπαίδευσης Προεπεξεργασία δεδομένων Η αναπαράσταση και αποθήκευση εικόνων και γενικά κάθε μορφής δεδομένων μπορεί να διαφέρει από σύστημα σε σύστημα. Για να μπορέσουν τα δεδομένα να αποτελέσουν πρότυπα εκπαίδευσης, πολλές φορές είναι αναγκαίο να υποστούν προεπεξεργασία.υπάρχουν διάφοροι τρόποι και τεχνικές για να γίνει αυτό, που εξαρτώνται κυρίως από το είδος της εφαρμογής και τα ίδια τα δεδομένα. Εδώ θα αναφερθούν κάποιοι βασικοί και συνηθισμένοι τρόποι που αφορούν την περίπτωση που η είσοδος έχει τη μορφή εικόνας: Κανονικοποίηση: Τόσο τα δεδομένα εκμάθησης όσο και τα δεδομένα δοκιμής σχεδόν πάντα κανονικοποιούνται είτε στο διάστημα [0,1] είτε ως προς τη μέση τιμής τους. Επιπλέον, μπορεί να γίνει και κανονικοποίηση ως προς τη διασπορά τους, για να γίνει μοναδιαία. Μια άλλη μέθοδος είναι η ανάλυση κύριων συνιστωσών (PCA) ή παρόμοιοι μετασχηματισμοί. Γενικά, η κανονικοποίηση επιταχύνει την εκπαίδευση : αν για παράδειγμα, όλα τα pixels της εικόνας εισόδου έχουν θετικές τιμές, το ποσό της ανανέωσης από τον κανόνα μάθησης θα έχει ίδιο πρόσημο για όλα τα βάρη, με αποτέλεσμα να μετατοπίζονται όλα προς την ίδια κατεύθυνση. Με αυτόν τον τρόπο, τα βάρη θα αυξάνονται ή θα μειώνονται όλα μαζί και η εκπαίδευση θα γίνεται πάνω σε μία ευθεία. Γι αυτό το λόγο, είναι πολύ σημαντικό να κεντράρονται τα δεδομένα ως προς τη μέση τιμή τους. Επίσης, είναι επιθυμητό τα παραδείγματα να είναι όσο το δυνατόν ασυσχέτιστα και να έχουν μικρή διασπορά εντός των κατηγοριών. Αποκοπή δεδομένων: Υπάρχει περίπτωση κάποια από τα δεδομένα να είναι ελλιπή, να περιέχουν πολύ ακραίες τιμές ή πολύ θόρυβο. Αν αυτά δε μπορούν να προεπεξεργαστούν, τότε θα χρειαστεί να εξαιρεθούν από την εκπαίδευση. 27

28 2.4.3 Συνάρτηση διεντροπίας και Softmax Στη μέχρι τώρα ανάλυση λάβαμε υπόψιν μας ότι η συνάρτηση κόστους-σφάλματος ορίζεται ως το άθροισμα των τετραγώνων των αποστάσεων της εξόδου του δικτύου με το επιθυμητό διάνυσμα. Αυτό δεν είναι, βέβαια, απαραίτητο αφού στη βιβλιογραφία έχουν χρησιμοποιηθεί πολλές διαφορετικές συναρτήσεις. Μια από αυτές είναι η συνάρτηση διεντροπίας (cross entropy) που κερδίζει έδαφος τα τελευταία χρόνια, ειδικά στα βαθιά δίκτυα και ορίζεται ως εξής: με n τον αριθμό των προτύπων εκπαίδευσης, x το διάνυσμα εισόδου, y το επιθυμητό διάνυσμα και α την έξοδο των νευρώνων. Η συνάρτηση αυτή έχει την ιδιότητα να τείνει στο 0, όσο η απόσταση των y και α μικραίνει, και να είναι πάντα θετική, γεγονός που την καθιστά ιδανική για συνάρτηση κόστους. Έχει αποδειχθεί ότι η χρήση δεν αλλάζει σε μεγάλο βαθμό τις εξισώσεις του αλγορίθμου οπισθοδρομικής διάδοσης παρά μόνο στην τελική αναπροσαρμογή των βαρών, όπου έχουμε τη σχέση: Έχει βρεθεί, παράλληλα, μετά από δοκιμές ότι η συνάρτηση διεντροπίας σε συνδυασμό με τη συνάρτηση ενεργοποίησης softmax επιταχύνει σε μεγάλο βαθμό την εκπαίδευση, ειδικά στα συνελικτικά δίκτυα. Η softmax είναι μια συνάρτηση ειδικής μορφής και αρκετά διαφορετική από τις υπόλοιπες συναρτήσεις ενεργοποίησης, αφού κάθε έξοδος εξαρτάται από όλες τις υπόλοιπες: Για να γίνει αντιληπτό πώς λειτουργεί η softmax είναι αναγκαίο να επισημανθεί πως στις πραγματικές εφαρμογές αναγνώρισης σε n κλάσεις το επιθυμητό διάνυσμα εξόδου είναι της μορφής [ ] (one hot encoding). Αυτό σημαίνει πως το διάνυσμα εξόδου στη θέση της κλάσης που ανήκει η είσοδος παίρνει τη τιμή 1, ενώ στις υπόλοιπες την τιμή 0. Η συνάρτηση softmax, που στην ουσία προέρχεται από τη γενικευμένη Bernouli συνάρτηση πιθανότητας, απλά μετατρέπει την έξοδο του νευρώνα σε πιθανότητα, την κανονικοποιεί με άλλα λόγια στο διάστημα [0,1], για να είναι συμβατή με την κωδικοποίηση που προαναφέρθηκε. 28

29 Κεφάλαιο 3 3 Βαθιά Συνελικτικά δίκτυα 3.1 Βαθιά Εκμάθηση Η έμπνευση για τα νευρωνικά δίκτυα, όπως έχει ήδη αναφερθεί, προήλθε από τη δομή και τη λειτουργία του ανθρώπινου εγκεφάλου. Όπως είχε παρατηρήσει από νωρίς η επιστήμη της νευροβιολογίας, το νευρικό σύστημα αποτελείται από πολλαπλά επίπεδα επεξεργασίας της πληροφορίας που λαμβάνει από τους αισθητήρες του. Εξαιτίας αυτού είναι σε θέση να "ξετυλίγει" τη σύνθετη πληροφορία και να δημιουργεί μια πλούσια και λεπτομερής αναπαράστασή της για την καλύτερη κατανόηση και αξιοποίησή της. Ήταν, συνεπώς, εύλογο να εφαρμοστεί μια παρόμοια τεχνική και στα τεχνητά νευρωνικά δίκτυα με αποτέλεσμα να προταθούν πολλά νέα μοντέλα και είδη από το 1980 μέχρι και σήμερα. Η άνθιση της βαθιάς μάθησης (deep learning) οφείλεται επίσης σε μεγάλο βαθμό στη σημερινή διαθεσιμότητα σε δεδομένα και σε πιο ισχυρούς υπολογιστικούς πόρους. Έχοντας πλέον πληθώρα "ωμών" ή προεπεξεργασμένων δεδομένων από το διαδίκτυο (big data) και εκμεταλλευόμενοι τον παραλληλισμό σε κάρτες γραφικών για μείωση της ταχύτητας της εκπαίδευσης, έχουμε καταφέρει να κατασκευάσουμε μοντέλα που μπορούν να εξάγουν συμπεράσματα και να ανακαλύψουν υψηλού επιπέδου πρότυπα, αποδίδοντας καλύτερα από τον άνθρωπο σε ορισμένα προβλήματα. Τα βαθιά νευρωνικά δίκτυα έχουν εφαρμοστεί μέχρι σήμερα σε μια ευρεία γκάμα εφαρμογών με κυριότερες την υπολογιστική όραση, την επεξεργασία φυσικής γλώσσας, την αναγνώριση ομιλίας, όπου και αποτελούν το "state of the art" για την επίλυσή τους. Πριν ξεκινήσουμε την ανάλυση της βασικότερης κατηγορίας βαθιάς μάθησης, των συνελικτικών δικτύων, οφείλουμε να συνοψίσουμε τα βασικά στοιχεία των βαθιών νευρωνικών δικτύων: Αποτελούνται από στοιβάδα πολλαπλών επιπέδων Τα υψηλού επιπέδου χαρακτηριστικά εξάγονται από τα πρώτα επίπεδα, υιοθετώντας έτσι μια ιεραρχική δομή Εκπαιδεύονται από πολλά δεδομένα με επιβλεπόμενη ή μη επιβλεπόμενη μάθηση Πολλές φορές η εκπαίδευση γίνεται σε κάρτες γραφικών για εκμετάλλευση της ανεξαρτησίας των υπολογισμών Εικόνα 4: Δομή Συνελικτικού Νευρωνικού δικτύου 29

30 3.2 Αρχές Συνελικτικών δικτύων Ορισμός Τα Συνελικτικά νευρωνικά δίκτυα είναι αρκετά παρόμοια με τα κλασσικά δίκτυα με τη διαφορά ότι δέχονται σαν είσοδο δεδομένα σε μορφή πλέγματος, όπως οι εικόνες, κάτι που μας επιτρέπει να εφαρμόσουμε συγκεκριμένες ιδιότητες στο δίκτυο και να μειώσουμε τον αριθμό των παραμέτρων. Αφού η είσοδος είναι ένα τρισδιάστατο διάνυσμα (πλάτος-ύψος-κανάλια), μπορούμε να οργανώσουμε τους νευρώνες σε 3 διαστάσεις. Τα βασικά επίπεδα που τα απαρτίζουν είναι το συνελικτικό επίπεδο, που εφαρμόζει τη μαθηματική πράξη της συνέλιξης από την οποία προκύπτει και το όνομά του, το επίπεδο συγκέντρωσης (pooling) και ένα πλήρως διασυνδεδεμένο επίπεδο. Το κάθε επίπεδο από τα προαναφερόμενα έχει μία συγκεκριμένη λειτουργία και επομένως η σειρά τοποθέτησης και οργάνωσής τους πρέπει να ακολουθεί συγκεκριμένα μοτίβα (layer patterns). Η βάση κάθε συνελικτικού νευρωνικού δικτύου είναι μία αλληλουχία από συνελικτικά και πλήρως συνδεδεμένα επίπεδα, όπου τα συνελικτικά τοποθετούνται στην αρχή λόγω της τοπικότητας των ιδιοτήτων τους, ενώ τα πλήρως συνδεδεμένα τοποθετούνται συνήθως στο τέλος, καθώς δεν «αντιλαμβάνονται» κάποια τοπικότητα. Και τα δύο αυτά επίπεδα μπορεί να ακολουθούνται από επίπεδα συγκέντρωσης, τα οποία συνοψίζουν και μειώνουν τις χωρικές διαστάσεις των χαρακτηριστικών Επίπεδο συνέλιξης Το επίπεδο συνέλιξης περιλαμβάνει 1 ή περισσότερα φίλτρα/kernels με τιμές που αντιπροσωπεύουν τα εκπαιδευόμενα βάρη. Κάθε φίλτρο είναι μικρό χωρικά (οι τυπικές διαστάσεις των φίλτρων είναι 3x3, 5x5 ή 7x7) αλλά εκτείνεται σε όλο το φάσμα της εισόδου. Κατά το εμπρόσθιο πέρασμα κάθε φίλτρο συνελίσεται με την είσοδο, δηλαδή υπολογίζονται τα εσωτερικά γινόμενα της εισόδου με το φίλτρο και παράγεται ένα διάνυσμα εξόδου που ονομάζεται χάρτης χαρακτηριστικών (feature map) σύμφωνα με τη φόρμουλα: 30

31 Τα wx,y αντιστοιχούν στους συντελεστές του φίλτρου, τα αx,y x στην είσοδο, το b είναι μια σταθερή τιμή (bias), ενώ το διάνυσμα Ο(x,y) είναι ο χάρτης των χαρακτηριστικών. Σχηματικά έχουμε κάτι τέτοιο: Εικόνα 5:Συνέλιξη Διαισθητικά καταλαβαίνουμε ότι το συνελικτικό δίκτυο θα μάθει τα φίλτρα που ενεργοποιούνται όταν εντοπίσουν κάποιο βασικό χαρακτηριστικό της εικόνας, όπως ακμές ή κορυφές. Από μια άλλη οπτική γωνία μπορούμε να αναπαραστήσουμε κάθε εικονοστοιχείο της εισόδου και της εξόδου με ένα νευρώνα και τα φίλτρα ως τα βάρη των συνδέσεων που ενώνουν τους νευρώνες. Τότε καταλαβαίνουμε ότι έχουμε μερική και τοπική συνδεσιμότητα των νευρώνων, σε αντίθεση με τα κλασσικά νευρωνικά δίκτυα, αφού κάθε έξοδος βλέπει μόνο μια μικρή περιοχή της εισόδου. Πριν προχωρήσουμε στα επόμενα επίπεδα θα ήταν χρήσιμο να αναφερθούν περιληπτικά κάποιες βασικές αρχές που διέπουν τέτοιου είδους δίκτυα : Τοπική συνδεσιμότητα Όταν ασχολούμαστε με εισόδους πολλών διαστάσεων δεν είναι πρακτικό να συνδεθούν όλοι οι νευρώνες του επιπέδου με όλους του προηγούμενου, αφού θα προκύψει πολύ μεγάλος αριθμός παραμέτρων. Για το λόγο αυτό, όπως αναφέρθηκε ήδη, συνδέουμε κάθε νευρώνα με μια περιοχή της εισόδου. Έτσι, προκύπτει μια νέα παράμετρος που ονομάζεται οπτικό πεδίο νευρώνων (receptive field) F και καθορίζει πόσα εικονοστοιχεία βλέπει ο κάθε νευρώνας. Είναι, δηλαδή, η διάσταση των φίλτρων του δικτύου. Όσο μεγαλύτερη είναι η είσοδος, τόσο μεγαλύτερο είναι συνήθως το οπτικό πεδίο. Χωρική διάταξη και υπερπαράμετροι Ενώ έχουμε εξηγήσει τη συνδεσιμότητα των νευρώνων δεν είναι ακόμα πλήρως κατανοητό το πώς αυτοί οργανώνονται στο χώρο. Για το λόγο αυτό υπάρχουν 3 παράμετροι: 1. Το βάθος (depth) D του χάρτη χαρακτηριστικών αντιπροσωπεύει τον αριθμό των καναλιών της εξόδου και σχετίζεται άμεσα με τον αριθμό των φίλτρων 2. Βήμα φιλτραρίσματος (stride) S: καθορίζει κάθε πόσα εικονοστοιχεία θα γίνεται φιλτράρισμα, δηλαδή καθορίζει την επικάλυψη των οπτικών πεδίων 31

32 3. Επέκταση (padding) της εισόδου P: μας βοηθάει να επιμηκύνουμε την είσοδο, κυρίως με μηδενικά, για να καθορίσουμε τις διαστάσεις μήκους και όγκου της εξόδου. Τώρα μπορούμε εύκολα να βρούμε τις διαστάσεις του διανύσματος του χάρτη χαρακτηριστικών που δίνονται από τον τύπο: όπου W η διάσταση του διανύσματος εισόδου. Συνοπτικά το επίπεδο συνέλιξης χαρακτηρίζεται από τα εξής στοιχεία: Είσοδος: όγκος διαστάσεων W1 H1 D1 (πολυκαναλική εικόνα). Υπερπαράμετροι: 4 παράμετροι που καθορίζουν τη συνέλιξη : ο αριθμός των φίλτρων K, το μέγεθος των φίλτρων F, το βήμα του φιλτραρίσματος S και ο αριθμός των pixels για την επέκταση της εικόνας P. Έξοδος: όγκος διαστάσεων W2 H2 D2, για τον οποίο ισχύουν οι σχέσεις: W2 = (W1 F + 2P)/S + 1, H2 = (H1 F + 2P)/S + 1, D2 = K. Βάρη: εισάγει γενικά (W2 *H2 *D2) *(F*F*D1 +1) βάρη και κατώφλια (biases)., Επίπεδο συγκέντρωσης Το επίπεδο συγκέντρωσης (pooling layer) μειώνει τις διαστάσεις του χάρτη χαρακτηριστικών και κατ' επέκταση το πλήθος των παραμέτρων του συνελικτικού δικτύου. Στην ουσία κάνει μια δειγματοληψία των τιμών στις διαστάσεις μήκους και πλάτους, χωρίς να επηρεάζει το βάθος του χάρτη. Είθισται μετά από κάθε συνελικτικό επίπεδο να υπάρχει και ένα επίπεδο συγκέντρωσης για να απλοποιείται το πλήθος των υπολογισμών. Η δειγματοληψία γίνεται με δύο βασικούς τρόπους: συγκέντρωση μέσου όρου ή μεγίστου (average or max pooling). Στη συγκέντρωση μέσου όρου ορίζεται ένα τετραγωνικό φίλτρο (συνήθως 2x2) που σαρώνει την εικόνα με βήμα S και βρίσκει το μέγιστο από κάθε "γειτονιά" του χάρτη χαρακτηριστικών. Από την άλλη, η συγκέντρωση μέσου όρου υπολογίζει το μέσο όρο των τιμών κάθε "γειτονιάς". Γραφικά η διαδικασία απεικονίζεται έτσι: 32

33 Εικόνα 6:Επίπεδο συγκέντρωσης Πλήρως διασυνδεδεμένο επίπεδο Στο τέλος κάθε συνελικτικού δικτύου υπάρχουν ένα ή περισσότερα πλήρως διασυνδεδεμένα επίπεδα που εκτελούν τη βασική λειτουργία του δικτύου (πχ ταξινόμηση), σε αντίθεση με τα προηγούμενα επίπεδα που απλά κάνουν εξαγωγή χαρακτηριστικών. Εκτός από τη ταξινόμηση η πρόσθεσή τους αποτελεί ένα φθηνό τρόπο εκμάθησης μη γραμμικών συνδυασμών των χαρακτηριστικών. Τα χαρακτηριστικά των συνελικτικών και των επιπέδων συγκέντρωσης μπορεί να είναι καλά για την εργασία ταξινόμησης, αλλά οι συνδυασμοί αυτών των χαρακτηριστικών μπορεί να είναι ακόμη καλύτεροι. Με περισσότερη ανάλυση μπορεί κάποιος να καταλήξει στο συμπέρασμα ότι τα πλήρως συνδεδεμένα επίπεδα μπορούν να θεωρηθούν συνελικτικά επίπεδα που υλοποιούν συνελίξεις 1x1, διευκολύνοντας έτσι την αλγοριθμική υλοποίησή τους. 33

34 3.3 Εκπαίδευση Για την εκπαίδευση των συνελικτικών δικτύων χρησιμοποιείται ο αλγόριθμος οπισθοδρομικής διάδοσης του σφάλματος όπως και στα κλασσικά νευρωνικά δίκτυα με μερικές παραλλαγές. Ισχύουν, δηλαδή, στη γενική τους μορφή τα βήματα της ενότητας 2.3. Επειδή η δομή του συνελικτικού νευρωνικού δικτύου διαφέρει,επηρεάζονται και οι εξισώσεις του αλγόριθμου, χωρίς όμως να αλλοιώνονται οι βασικές του ιδιότητες. Ως συνάρτηση σφάλματος ορίζεται πάλι το άθροισμα των τετραγώνων της απόκλισης των εξόδων του συνελικτικού νευρωνικού δικτύου από την επιθυμητή έξοδο ενώ οι εξισώσεις του αλγορίθμου διαμορφώνονται με τον παρακάτω τρόπο: Παρατηρούμε ότι στην ουσία πρόκειται για την ίδια σχέση, απλά εκφράζεται με τη μορφή συνέλιξης, αφού έχουν σαν είσοδο στο δίκτυο εικόνες και όχι μονοδιάστατα διανύσματα. Όσον αφορά τα δx,y ορίζονται ως ο ρυθμός μεταβολής της συνάρτησης σφάλματος ως προς τις εξόδους του επιπέδου Και αποδεικνύεται εύκολα ότι τελικά ισχύει 34

35 Τα παραπάνω είναι εμφανές ότι αφορούν την οπισθοδρομική διάδοση στα συνελικτικά επίπεδα καθώς στα πλήρως συνδεδεμένα επίπεδα ισχύουν οι εξισώσεις της ενότητας 2.3. Στα επίπεδα συγκέντρωσης δε λαμβάνει μέρος κάποια εκμάθηση, αλλά ακολουθείται η αντίστροφη διαδικασία από αυτή της δειγματοληψίας. Το σφάλμα υπολογίζεται από την τιμή της "νικήτριας μονάδας". Για να είναι διαθέσιμη, κατά την εμπρόσθια διάδοση αποθηκεύεται ο δείκτης της θέσης της, ο οποίος χρησιμοποιείται κατά την οπισθοδρομική. Στη συγκέντρωση μεγίστου το σφάλμα ανατίθεται στη μονάδα που συνεισέφερε στον αλγόριθμο ("νικήτρια μονάδα") και περιείχε το μέγιστο της "γειτονιάς" της. Αντίθετα, στη συγκέντρωση μέσου όρου το σφάλμα πολλαπλασιάζεται με τον όρο 1/(Ν*Ν) και ανατίθεται σε όλες της μονάδες της "γειτονιάς". Κάθε μονάδα, δηλαδή, αποκτάει την ίδια τιμή. 35

36 Κεφάλαιο 4 4 Παράλληλος προγραμματισμός σε κάρτες γραφικών 4.1 Ιστορική αναδρομή Τις τελευταίες τρεις δεκαετίες οι μικροεπεξεργαστές έχουν βιώσει μια εντυπωσιακή πρόοδο όσον αφορά την υπολογιστική τους δύναμη, γεγονός που οδήγησε σε μια αντίστοιχη πρόοδο στη συνολική απόδοση μιας γκάμας υπολογιστικών συστημάτων, από υπερυπολογιστές μέχρι ενσωματωμένες συσκευές. Καθ όλη αυτή την περίοδο ωστόσο, εμφανίστηκαν πολλά εμπόδια που προμήνυαν το τέλος της, με κυριότερα τα: ILP Wall :Ο παραλληλισμός επιπέδου εντολών (Instruction Level Parallelism) έχει ως στόχο να διατηρεί απασχολημένες όσο το δυνατόν περισσότερο όλες τις μονάδες του επεξεργαστή σε κάθε κύκλο ρολογιού. Αυτό πραγματοποιείται διαχωρίζοντας τις εντολές ενός σειριακού προγράμματος ανάλογα με το είδος τους και εκτελώντας τες στις αντίστοιχες μονάδες επεξεργασίας παράλληλα, π.χ. διαχωρισμός των πράξεων μεταξύ ακέραιων αριθμών και πράξεων, μεταξύ αριθμών κινητής υποδιαστολής και εκτέλεσής τους σε διαφορετικές μονάδες στον ίδιο κύκλο ρολογιού. Memory Wall Η διαφορά στη συχνότητα ρολογιού μεταξύ του επεξεργαστή και της μνήμης (ο επεξεργαστής εκτελεί εντολές πιο γρήγορα από ό,τι έρχονται, οπότε μένει ανενεργός μέχρι να έρθει η επόμενη), καθώς και το εύρος ζώνης του διαύλου μεταφοράς των δεδομένων. Κύρια μέθοδος επίλυσης αποτελεί η κρυφή μνήμη (cache memory), που λειτουργεί ως ενδιάμεσος buffer και φροντίζει να υπάρχει αρκετή δουλειά για τον επεξεργαστή. Power Wall Η κατανάλωση ισχύος ανά μονάδα επιφάνειας ενός επεξεργαστικού στοιχείου αυξάνεται εκθετικά όσο αυξάνεται η συχνότητα ρολογιού του. Κατά συνέπεια, αυξάνεται και η εκπομπή θερμότητας, επηρεάζοντας γειτονικά κυκλώματα. Από τα παραπάνω, ο περιορισμός στην κατανάλωση ενέργειας είναι αυτός που συνεχίζει να εμποδίζει τη βελτίωση των επεξεργαστών και θεωρείται ο λόγος που σύντομα θα φτάσουμε στο ανώτατο όριο, όπως απεικονίζεται και στο παρακάτω σχήμα. Είναι όμως και ο καθοριστικός παράγοντας που οδήγησε στην εμφάνιση των πολυπύρηνων επεξεργαστών. 36

37 Εικόνα 7: Συχνότητα ρολογιού στην πάροδο των χρόνων Ως εκ τούτου, από τις αρχές της δεκαετίας του 2000 η βιομηχανία αναζητώντας λύση στο φράγμα της κατανάλωσης ενέργειας εφάρμοσε μια διαφορετική τακτική. Αντί να αυξήσει τη συχνότητα ρολογιού, αύξησε τον αριθμό των ανεξάρτητων επεξεργαστών που συνυπάρχουν μέσα στο ίδιο ολοκληρωμένο κύκλωμα. Αυτό ήταν και το προοίμιο των καρτών γραφικών, που σύντομα υιοθέτησαν αυτή την αρχιτεκτονική. Ο μεγάλος βαθμός παραλληλισμού σε επίπεδο δεδομένων που πέτυχαν οι αλγόριθμοι επεξεργασίας γραφικών έδωσε στις GPUs μια εκρηκτική αύξηση της απόδοσής τους. Σταδικά έγιναν προσπάθειες να μετατρέψουν τους μαθηματικούς υπολογισμούς των αλγορίθμων τους σε υπολογισμούς γραφικών (graphics computations), ώστε να εκμεταλλευτούν τη νέα τεχνολογία. Γρήγορα, όμως, έγινε αντιληπτό ότι η διαδικασία ήταν επίπονη και ένα νέο προγραμματιστικό μοντέλο ήταν αναγκαίο. Το νέο αυτό μοντέλο ήρθε στο πρσκήνιο το 2006 από την NVIDIA και ονομαζόταν CUDA (Compute Unified Device Architecture). To CUDA διευκολύνει αισθητά τον προγραμματισμό σε κάρτες γραφικών και αξιοποιεί στο έπακρο τη συνεχώς αυξανόμενη υπολογιστική ισχύ, αλλά έχει ένα σοβαρό μειονέκτημα: υποστηρίζει μόνο κάρτες γραφικών της NVIDIA. Για το λόγο αυτό, ένα χρόνο μετά αναπτύχθηκε η OpenCL, ένα ανοιχτού λογισμικού μοντέλο με παρόμοια φιλοσοφία που υποστηρίζει όμως όλα τα είδη καρτών γραφικών. Τα τελευταία χρόνια η χρήση του προγραμματισμού γενικού σκοπού σε κάρτες γραφικών έχει αυξηθεί αισθητά, αφού ευνοείται από τον τεράστιο όγκο δεδομένων και αλγορίθμων, όπως το deep learning, με μεγάλη ανεξαρτησία μεταξύ των υπολογισμών τους. 37

38 4.2 Αρχιτεκτονική των καρτών γραφικών Οι σύγχρονες κάρτες γραφικών αποτελούνται από έναν αριθμό πολυεπεξεργαστών, καθένας εκ των οποίων έχει ορισμένο πλήθος πυρήνων και μία ή δύο ενδιάμεσες μνήμες (L1,L2 cache). Ο κάθε πολυεπεξεργαστής περιέχει 8, 32/48 ή 192 απλούς πυρήνες ανάλογα τη γενιά της κάρτας. Επίσης, υπάρχουν ειδικές μονάδες εκτέλεσης μαθηματικών συναρτήσεων και warp schedulers. Η GPU ενώνεται με τη CPU μέσω του διαύλου PCI Express. Το μεγαλύτερο μέρος της επιφάνειάς τους αφιερώνεται στις μονάδες εκτέλεσης εντολών, οι οποίες οργανώνονται έτσι ώστε να βελτιστοποιήσουν την απόδοση εκτέλεσης, σε αντίθεση με τους επεξεργαστές που χρησιμοποιούν δομές όπως οι κρυφές μνήμες, μονάδες αριθμητικής λογικής, μονάδες ελέγχου. Εικόνα 8:Δομές Cpu και Gpu Όσον αφορά την ιεραρχία μνήμης, αυτή αναπαρίσταται στο παρακάτω σχήμα: Εικόνα 9: Οργάνωση μνήμης GPU 38

39 Παρατηρούμε ότι υπάρχει η καθολική μνήμη καθώς και οι μνήμες υφής και texture. Κάθε πολυεπεξεργαστής έχει τη δικιά του κοινή μνήμη και ένα αριθμό καταχωρητών. Η καθολική μνήμη (Device Memory) είναι δυναμική μνήμη τυχαίας προσπέλασης(dram), πολύ μεγάλη σε χωρητικότητα αλλά και πολύ αργή σε απόκριση.τα δεδομένα που μεταφέρονται από την κεντρική μνήμη του υπολογιστή μπορούν να αποθηκευτούν σε αυτή τη μνήμη. Επίσης, όποιο αποτέλεσμα απαιτείται να γυρίσει στην κύρια μνήμη του υπολογιστή πρέπει να βρίσκεται σε αυτή τη μνήμη. Στην καθολική μνήμη μπορούν να γράψουν και να διαβάσουν όλα τα νήματα ενός πυρήνα. Η κοινή μνήμη είναι μια πολύ γρήγορη μνήμη αλλά πολύ μικρή σε χωρητικότητα, με τον κάθε πολυεπεξεργαστή να έχει την δικιά του. Η διάταξη αυτή δεν είναι σταθερή, αλλά αλλάζει με βάση την αρχιτεκτονική και τον κατασκευαστή. 4.3 OpenCL Η OpenCL είναι ένα πλαίσιο εργασίας για ανάπτυξη παράλληλων εφαρμογών όχι μόνο σε GPU αλλά και σε επεξεργαστές, σε επεξεργαστές ψηφιακού (DSP) σήματος, σε FPGAs. Υποστηρίζει, δηλαδή, μια μορφή ετερογένειας και μεταφοράς κώδικα χωρίς αλλαγές μεταξύ διάφορων συσκευών. Είναι βασισμένη στη C99 και παρέχει προγραμματιστικές διεπαφές για C++ και Python Μοντέλα πλατφόρμας και εκτέλεσης Η πλατφόρμα περιλαμβάνει πάντα έναν host, ο οποίος συνδέεται με μια ή περισσότερες συσκευές. Κάθε συσκευή περιέχει μονάδες υπολογισμού και κάθε μονάδα χωρίζεται σε επεξεργαστικά στοιχεία, στα οποία εκτελούνται οι εκάστοτε υπολογισμοί. Η ιεραρχία αυτή φαίνεται στο σχήμα: Εικόνα 10: Ιεραρχία πλατφόρμας OpenCL 39

40 Η εκτέλεση του κώδικα μπορεί να πραγματοποιηθεί σε δύο μέρη: είτε στο host που εκτελείται σειριακά είτε στα προγράμματα kernels που εκτελούνται παράλληλα στις συσκευές. Τα kernels δημιουργούνται και οργανώνονται στον host και όταν κάποιο είναι έτοιμο για εκτέλεση δημιουργείται ένας χώρος ευρετηριοποίησης στη συσκευή. Κάθε σημείο του χώρου εκτελεί ένα συγκεκριμένο στιγμιότυπο του kernel για διαφορετικά δεδομένα και ονομάζεται work-item. Τα work-items οργανώνονται σε ομάδες, τα work-groups, και κάθε ομάδα ανατίθεται εξ ολοκλήρου σε μια μονάδα υπολογισμού. Συνεπώς, τα work-items που περιέχει εκτελούνται ταυτόχρονα στα επεξεργαστικά στοιχεία της μονάδας. Ο χώρος ευρετηριοποίησης είναι στην ουσία ένας τριδσδιάστατος εικονικός χώρος (NDRange) που εξαρτάται από τους περιορισμούς της συσκευής και στον οποίο οργανώνονται τα workgroups και κατ επέκταση τα work-items. Εικόνα 11: Χώρος ευρετηριοποίησης OpenCL Επιπρόσθετα, η OpenCL ορίζει και κάποιες άλλες δομές για τη διευκόλυνση του προγραμματιστή και τη καλύτερη διαχείριση της συσκευής: Περιεχόμενο (Context) Το περιεχόμενο υπάρχει σε κάθε εφαρμογή και είναι αυτό που ομαδοποιεί τις συσκευές, τα kernels, τον πηγαίο κώδικα των kernels και τα αντικείμενα της μνήμης με τα δεδομένα του προγράμματος. Ουρά εντολών(command queue) Η ουρά εντολών συντονίζει τις λειτουργίες του host και της συσκευής επειδή δουλεύουν ασύγχρονα. Οι λειτουργίες αυτές είναι εντολές εκτέλεσης ενός kernel, μεταφοράς δεδομένων και προς τις δύο κατευθύνσεις ή εντολές συγχρονισμού. Οι εντολές συγχρονισμού εξυπηρετούν στη σειριοποίηση (ή μη) της εκτέλεσης των kernels, δηλαδή την εκτέλεση των kernels με τη σειρά, όπου το καθένα περιμένει να τελειώσει το προηγούμενο (in-order execution), ή τυχαία, όπου κάθε kernel εκτελείται άμεσα χωρίς αναμονή (out-of-order execution). 40

41 4.3.2 Μοντέλο μνήμης Το μοντέλο μνήμης βασίζεται στην αρχιτεκτονική NUMA (Non Uniform Memory Access), στην οποία η προσπέλαση της μνήμης είναι γρήγορη κοντά στον επεξεργαστή και γίνεται πιο αργή όσο απομακρυνόμαστε από αυτό. Υπάρχουν 4 βασικά επίπεδα στην ιεραρχία της μνήμης: Μνήμη Host Είναι η βασική μνήμη του host ( RAM ) και είναι ορατή μόνο από αυτόν. Περιέχει τα δεδομένα πριν αυτά μεταφερθούν στις συσκευές. Παγκόσμια μνήμη (global memory) Είναι ορατή σε όλα τα work-groups και work-items, καθώς όλα μπορούν να γράψουν και να διαβάσουν από αυτή. Σταθερή μνήμη (Constant) Αποτελεί ένα μικρό κομμάτι της παγκόσμιας μνήμης και διαδραματίζει το ρόλο της κρυφής μνήμης. Μπορεί να διαβαστεί, αλλά όχι να εγγραφεί κατά τη διάρκεια εκτέλεσης των kernels. Τοπική μνήμη Για κάθε work-group ορίζεται μια διαφορετική και μόνο αυτό έχει πρόσβαση στα δεδομένα της. Ιδιωτική μνήμη Πρόκειται για την προσωπική μνήμη που διαχειρίζεται κάθε work-item ξεχωριστά. Εικόνα 12: Μοντέλο μνήμης NUMA 41