Συστήματα μνήμης και υποστήριξη μεταφραστή για MPSoC

Συστήματα μνήμης και υποστήριξη μεταφραστή για MPSoC

Πλεονεκτήματα MPSoC Είναι ευκολότερο να σχεδιαστούν πολλαπλοί πυρήνες επεξεργαστών από τον σχεδιασμό ενός ισχυρότερου και πολύ πιο σύνθετου μονού επεξεργαστή. Επίσης μειώνεται αρκετά ο χρόνος ελέγχου και επαλήθευσης του ολοκληρωμένου. Οδηγούμαστε σε καλύτερη χρήση του χώρου του πυριτίου. Δηλαδή μπορεί να χρησιμοποιηθεί για την αύξηση του bandwidth μεταξύ των επεξεργαστών αντί για την ολοκλήρωση τεχνικών επιτάχυνσης ενός μονού αλλά σύνθετου επεξεργαστή (π.χ.register renaming, prediction)

Μπορεί να χρησιμοποιηθεί για παραλληλισμό σε επίπεδο βρόχου. Στην αντίθετη περίπτωση ο μονός επεξεργαστής χρειάζεται να μετατρέψει το παραλληλισμό σε επίπεδο εντολής κατά την διάρκεια εκτέλεσης του προγράμματος κάτι το οποίο οδηγεί στην χρήση σύνθετων και ενεργειακά απαιτητικών αλγορίθμων. Η αρχιτεκτονική αυτή είναι καταλληλότερη για διαχείριση της κατανάλωσης ισχύος με επιλεκτική χρήση του κατάλληλου επεξεργαστή από τους πολλούς του chip.

Κίνητρο και σκοπός Εξ αιτίας της φύσης των περισσοτέρων εφαρμογών (ήχος, εικόνα, ταινία) παρατηρείται αρκετά συχνή επικοινωνία του επεξεργαστή με την μνήμη. Η κατανάλωση σε αυτή μπορεί να φτάνει μέχρι και 90% της συνολικής. Υπάρχουν δύο τρόποι να μειωθεί :με κατάλληλη οργάνωση και ιεράρχηση της μνήμης και με βελτιστοποίηση του software των εφαρμογών που τρέχουν στο σύστημα

Αρχιτεκτονικές μνήμης Τα embedded συστήματα συνήθως δημιουργούνται για κάποια συγκεκριμένη εφαρμογή της οποίας η ανάλυση μας καθοδηγεί στον σχεδιασμό της αρχιτεκτονικής. Π.χ. μέρη που δεν χρειάζονται για την εκτέλεση της συγκεκριμένης εφαρμογής μπορούν να παραληφθούν Η αρχιτεκτονική της μνήμης μπορεί να σχεδιαστεί κοιτώντας τις απαιτήσεις που υπάρχουν και να επιλεχθεί η κατάλληλη (cache size, fifo buffers, multi-level cache)

Τύποι αρχιτεκτονικών μνήμης Θα περιγράφουν οι υπάρχουσες αρχιτεκτονικές οι οποίες μπορούν να χρησιμοποιηθούν σε MPSoC συστήματα. Θα αναλυθούν μη συμβατικές αρχιτεκτονικές οι οποίες μπορούν να υλοποιηθούν με σκοπό την αύξηση των χαρακτηριστικών ενός MPSoC. Τα είδη των αρχιτεκτονικών μνήμης που μπορούν να χρησιμοποιηθούν είναι αρκετά οπότε αποτελεί ανάγκη η αυτοματοποίηση/ ημιαυτοματοποίηση της επιλογής του κατάλληλου. Η διαχείριση των κομματιών του συστήματος μνήμης γίνεται με αλγορίθμους υλοποιημένους: σε hardware, σε software ή υβριδικούς.

Κρυφή μνήμη (cache) Καθώς τα συστήματα για την εκτέλεση συγκεκριμένων εφαρμογών έχουν γίνει αρκετά μεγάλα έτσι ώστε να αποτελεί ο επεξεργαστής ένα απλό κομμάτι αυτών η ύπαρξη cache μνημών εντολών και δεδομένων σ αυτά θεωρείται δεδομένη. Αρκετές παράμετροι της cache όπως το μήκος του block και οι αλγόριθμοι συσχέτισης μπορούν να βελτιστοποιηθούν ως προς την εκτέλεση κάποιας συγκεκριμένης εφαρμογής

Scratch Pad Memory (SPM) Είναι μνήμη η οποία καταλαμβάνει ένα δικό της χώρο διευθύνσεων βρίσκεται μέσα στο chip και χρησιμοποιεί τους ίδιους δίαυλους διευθύνσεων και δεδομένων με την μνήμη εκτός του chip.

Διαφορά SPM/Cache Η διαφορά της SPM (SRAM) με την cache είναι ότι η πρώτη μπορεί να εγγυηθεί την πρόσβαση στα δεδομένα της μέσα σε ένα κύκλο ενώ ο χρόνος πρόσβασης των δεδομένων της δεύτερης εξαρτάται από το αν θα γίνει η όχι cache miss. Ουσιαστικά στην cache με την υλοποίηση κάποιου αλγορίθμου αυτόματα τα δεδομένα γράφονται και σβήνονται ενώ στην SPM τα κρίσιμα δεδομένα όσον αφορά την εκτέλεση μίας εφαρμογής προαποφασίζεται πια είναι και γράφονται σε αυτή.

Λειτουργία συστήματος μνήμης με Cache SRAM - DRAM Οι δίαυλοι δεδομένων και διευθύνσεων είναι συνδεδεμένοι και με τις τρεις μνήμες. Σε περίπτωση που τα δεδομένα τα οποία ζητήθηκαν από τον επεξεργαστή δεν βρίσκονται στις δυο εσωτερικές μνήμες ειδοποιείται ο EMI(S_HIT και C_HIT) και μεταφέρει το block δεδομένων που ζητήθηκε από την DRAM στην cache

Χώρος διευθύνσεων και χρόνος προσπέλασης του συστήματος μνήμης Οι διευθύνσεις 0 με Ρ-1 είναι προσπελάσιμες σε ένα κύκλο Στην περίπτωση που μία από τις διευθύνσεις Ρ με Ν-1 δεν υπάρχει στην cache χρειάζονται 50-100 κύκλοι για την μεταφορά του block αυτού στην cache

Παράδειγμα επικερδούς χρήσης ενός τέτοιου συστήματος μνήμης Αποθηκεύουμε τον πίνακα mask στην SPM ενώ κομμάτια του πίνακα source έρχονται και φεύγουν από την cache χωρίς να δημιουργούνται επιπλοκές. Δηλαδή μικροί πίνακες συχνά χρησιμοποιούμενοι αποθηκεύονται στην SPM όταν υπάρχει μεγάλη πιθανότητα εμπλοκής αυτών με άλλους στην cache

DRAM Η ανάλυση του τρόπου λειτουργίας της DRAM και η μελέτη της εφαρμογής που εκτελεί το MPSoC οδηγεί σε αλγορίθμους οι οποίοι επιτυγχάνουν αύξηση της απόδοσης του συστήματος. Η διεύθυνση της DRAM χωρίζεται σε δύο κομμάτια. Στην διεύθυνση γραμμής που αποτελείται από τα MSB και στην διεύθυνση στήλης που αποτελείται από τα LSB. Κατά την εφαρμογή της διεύθυνσης γραμμής ολόκληρη η σελίδα αυτή της μνήμης γράφεται στον page buffer που είναι η cache της DRAM Έτσι οποιαδήποτε προσπέλαση σε διεύθυνση της ίδιας σελίδας είναι αρκετά πιο γρήγορη εκμεταλλευόμενη την συσχέτιση χώρου.

Βελτιστοποιήσεις σύγχρονων DRAM Read-modify-write βελτιστοποίηση είναι μία τεχνική η οποία εκτελεί αρκετά γρήγορα την παραπάνω συνήθη διαδικασία. Hoisting. Είναι μία τεχνική πρόβλεψης και μεταφοράς στον page buffer μίας νέας σελίδας στην οποία καταλήγουν και οι δύο περιπτώσεις ενός branch. Επανατοποθετήσεις δεδομένων που χρησιμοποιούνται ταυτόχρονα στην ίδια σελίδα με σκοπό την εκμετάλλευση του page buffer της DRAM.

Εξελιγμένες αρχιτεκτονικές DRAM Η μνήμη χωρίζεται σε πολλαπλές «τράπεζες» και η κάθε μία έχει τον δικό της page buffer. Έτσι υπάρχει γρήγορη πρόσβαση σε περισσότερες των μία σελίδων. Αυτό οδηγεί στην ανάπτυξη νέων αλγορίθμων οι οποίοι εντοπίζουν και χρησιμοποιούν την συσχέτιση των σελίδων τοποθετώντας αυτές σε διαφορετικές τράπεζες με σκοπό την γρήγορη και ταυτόχρονη πρόσβαση μέσα σε αυτές.

Βελτιστοποίηση παραμέτρων της cache Line size. Αριθμός λέξεων που μεταφέρονται στην cache σε κάθε cache miss. Η βέλτιστη τιμή εξαρτάται από την από τα πρότυπα πρόσβασης δεδομένων στην μνήμη της εφαρμογής. Cache size. Μέγεθος cache το οποίο συνδυάζεται με την συγκεκριμένη αρχιτεκτονική της SPM μνήμης η οποία και θα αναλυθεί

Scratch Pad Memory Το πρόβλημα που υπάρχει είναι για μία δεδομένη επιφάνεια του chip να βρεθεί ο βέλτιστος χωρισμός αυτής για να ελαχιστοποιηθεί ο μέσος χρόνος πρόσβασης στην μνήμη και η κατανάλωση ισχύος. Στην α γραφική παράσταση παρατηρούμε ότι υπάρχει ένα βέλτιστο κατανομής του χώρου στις δύο μνήμες όταν αυτές έχουν σταθερό άθροισμα Στην γραφική παράσταση β παρατηρούμε η περαιτέρω αύξηση της μνήμης πάνω από κάποια τιμή στο chip δεν επιδρά ουσιαστικά στην αύξηση της απόδοσης

Σχεδιασμός DRAM Στο πρώτο σχήμα εικονίζεται μία DRAM με ένα page buffer Στο δεύτερο μία με τρία page buffer Η απαίτηση για ταυτόχρονη χρήση σελίδων μας οδηγεί στην επιλογή του συστήματος της DRAM ( π.χ. αν κατά την διάρκεια εκτέλεσης ενός loop χρειαζόμαστε δεδομένα από δύο διαφορετικά pages ένα σύστημα με δύο page buffers θα οδηγούσε σε αρκετά μεγάλη αύξηση της απόδοσης)

Πολλαπλές SRAMs Ο σχεδιαστής πρέπει να επιλέξει των αριθμό των υπομονάδων μνήμης και τον αριθμό των port κάθε υπομονάδας. Μία μεγάλη SRAM είναι αρκετά αργή και απαιτητική σε ισχύ. Αρκετά μεγάλο κόστος έχει όμως η δημιουργία ενός μεγάλου αριθμού υπομονάδων. Η βέλτιστη λύση είναι κάπου ενδιάμεσα και εξαρτάται από το είδος της εφαρμογής( παραλληλισμός διεργασιών, ταχύτητα) και τις απαιτήσεις που έχει σε μνήμη. Ο χωρισμός σε υπομονάδες μπορεί να γίνει και κάθετα (μία λέξη από κάθε μία) και οριζόντια (μισή λέξη να υπάρχει σε κάθε μία για εφαρμογές με μεγάλο πλάτος λέξης)

Διαχωρισμός χωρικών και χρονικών cache Μία σύγχρονη προσέγγιση της διάρθρωσης της cache είναι η ύπαρξη δύο μνημών που χρησιμοποιούν χωρική και χρονική εξάρτηση αντίστοιχα. Ένας δυναμικός αλγόριθμος πρόβλεψης αποφασίζει για την μεταφορά των block στην χωρική ή χρονική cache. Αναλύσεις έχουν δείξει ότι με την χρήση ενός τέτοιου συστήματος η επικοινωνία με την εξωτερική μνήμη και η κατανάλωση ισχύος μπορούν να μειωθούν σημαντικά.

Σχεδιασμός reconfigurable συστημάτων cache Απαραίτητο για την δημιουργία ενός τέτοιου συστήματος είναι τα ακόλουθα: Κυκλώματα για την δημιουργία μιας επαναδιαμορφοποιήσημης cache τα οποία όμως καταναλώνουν ενέργεια. Κάτι τέτοιο πρέπει να αντισταθμίζεται από την προσαρμοσιμότητα του συστήματος η οποία αντισταθμίζει την ενέργεια που καταναλώνεται Μηχανισμοί ελέγχου που θα αποφασίζουν κάθε πότε θα γίνεται η επαναδιαμορφοποίηση αυτή Αλγόριθμοι και μηχανισμοί που θα αποφασίζουν την βέλτιστη διαμορφοποίηση. Μηχανισμοί οι οποίοι θα εξασφαλίζουν την ομαλή μετάβαση από την μία διαμορφοποίηση στην άλλη

Σχεδιασμός και βελτιστοποίηση compiler για MPSoC Η ύπαρξη πολλών επεξεργαστών και το ενδιαφέρον για την κατανάλωση ισχύος καθιστούν αναγκαία την δημιουργία νέων compiler οι οποίοι θα διαχειρίζονται τις παρακάτω παραμέτρους 1. Παραλληλισμός διεργασιών 2. Χωρική συσχέτιση εντολών και δεδομένων 3. Κατανάλωση ενέργειας και ισχύος 4. Απαιτήσεις μνήμης

Βελτιστοποίηση παραλληλισμού Ο παραλληλισμός μπορεί να γίνει είτε από τον προγραμματιστή είτε αυτοματοποιημένα με αλγόριθμους ενσωματωμένους στον compiler Πρέπει να αναλυθεί η εξάρτηση μεταξύ των διεργασιών και ο αριθμός των μηνυμάτων που απαιτείται για την επικοινωνία μεταξύ των επεξεργαστών καθώς και ο όγκος των μηνυμάτων που χρειάζεται για αυτή. Μετά πρέπει να καθοριστεί η στρατηγική του παραλληλισμού. Ο compiler λοιπόν πρέπει να εντοπίσει την μεταβολή των μεγεθών όπως απόδοση, κατανάλωση ισχύος και μεγέθους για διάφορους παραλληλισμούς και συνυπολογίζοντας τους περιορισμούς να προτείνει μία στρατηγική.

Προσεγγίσεις βελτιστοποίησης παραλληλισμού Στατικές προσεγγίσεις στις οποίες αναλύεται το πρόβλημα και προτείνεται μία στρατηγική Δυναμικές προσεγγίσεις στις οποίες κατά την διάρκεια εκτέλεσης του προγράμματος παρατηρώντας τα διάφορα χαρακτηριστικά παίρνονται τότε οι αποφάσεις

Optimizing locality Δύο κατηγορίες βελτιστοποιήσεων: 1. Ελαχιστοποίηση της καθυστέρησης μνήμης από τον compiler (μεταφράζει χρησιμοποιώντας φιλικούς για την cache αλγόριθμους) 2. Απόκρυψη της καθυστέρησης μνήμης με αποδοτικούς αλγορίθμους για την διαχείριση της cache σε επίπεδο hardware

Σε φιλικούς για την cache αλγορίθμους οδηγεί η εναλλαγή των βρόχων, η ενοποίηση τους, και το tiling αυτών σε blocks από τον compiler. Ακόμα μπορούν να ενσωματωθούν στον compiler τεχνικές prefetching για blocks που θα χρειαστούν. Αυτό μπορεί να γίνει με απ ευθείας εντολές που θα ενσωματώνoνται στον κώδικα αυτόματα. Μία άλλη τεχνική είναι να αποφασίζει ο compiler κατά την μεταγλώττιση και να δημιουργεί ένα χάρτη της SPM και βάση αυτού να τοποθετούνται σε αυτή τα δεδομένα κατά την έναρξη εκτέλεσης του προγράμματος

Βελτιστοποίηση ενέργειας/ισχύος Ο βέλτιστος αριθμός επεξεργαστών που πρέπει να χρησιμοποιηθούν για την μέγιστη απόδοση είναι διαφορετικός από τον βέλτιστο αριθμό για την βέλτιστη κατανάλωση ισχύος κάτι το οποίο μας οδηγεί σε trade off. Μελέτες για παραλληλισμό έδειξαν ότι η καλύτερη επιλογή είναι να χρησιμοποιηθεί ένας σταθερός αριθμός επεξεργαστών γνωστός από την αρχή για την καλύτερη δυνατή απόδοση.

Στην περίπτωση δυναμικής επιλογής αριθμού επεξεργαστών που χρειάζονται για την εκτέλεση ενός προγράμματος υπάρχει ένα επιπλέον overhead το οποίο οφείλεται στον αλγόριθμο απόφασης. Μελέτες έδειξαν ότι το overhead αυτό ακυρώνει τα οφέλη του προσαρμοστικού παραλληλισμού. Πρέπει να καθορίζεται πολιτική (περιορισμοί) για την ελάχιστη απόδοση και την μέγιστη ενέργεια τους οποίους να ικανοποιεί ο compiler κατά την μεταγλώτιση

Συμπεράσματα Οι υπάρχουσες αρχιτεκτονικές μνήμης και οι υπάρχοντες compilers έχουν δημιουργηθεί για μονολιθικούς επεξεργαστές και με κριτήριο την μέγιστη απόδοση. Χρειάζονται νέες αρχιτεκτονικές μνήμης και νέοι αλγόριθμοι μεταγλώττισης οι οποίοι να επεξεργάζονται και άλλες παραμέτρους για την δημιουργία φορητών MPSoC.