ΠΛΕ- 027 Μικροεπεξεργαστές 9ο μάθημα: Αρχιτεκτονική συστήματος μνήμης: Κρυφές μνήμες εισαγωγή Αρης Ευθυμίου
Σύστημα μνήμης Η μνήμη είναι σημαντικό κομμάτι ενός υπολογιστή Επηρεάζει κόστος, ταχύτητα, κατανάλωση ισχύος Διάφορες τεχνολογίες μνήμης Παλιά: π.χ. μαγνητική μνήμη πυρήνα Σκληροί δίσκοι (μαγνητικοί) Δίσκοι CD, DVD, Blue- Ray (οπτικοί) Δυναμική RAM (ηλεκτρονική) Στατική RAM (ηλεκτρονική) Μνήμη Flash (ηλεκτρονική) Μόνιμη ή προσωρινή (vola\le); ΠΛΕ 027 Μικροεπεξεργαστές 2011-2012 2
Ταχύτητα μνήμης Καθυστέρηση (latency) για μία προσπέλαση σε πόση ώρα θα έρθει η τιμή μιας μεταβλητής λέγεται και χρόνος προσπέλασης Ρυθμός μεταφοράς (bandwidth) Αριθμός προσπελάσεων ανα δευτερόλεπτο Προσπέλαση γίνεται πάνω από μία φορά ανά εντολή μία για την προσκόμιση της εντολής άλλη μία αν η εντολή είναι load, store Η καθυστέρηση δεν μπορεί να «κρύβεται» από μεγάλο ρυθμό μεταφοράς για πολύ εντολές: ποινή διακλάδωσης δεδομένα: εξαρτήσεις ΠΛΕ 027 Μικροεπεξεργαστές 2011-2012 3
Ιεραρχία μνήμης Σε όλες τις τεχνολογίες μνήμης, η χωρητικότητα (και το χαμηλό κόστος) «ανταγωνίζονται» την ταχύτητα όσο πιο μεγάλη (και φτηνή ανά bit), τόσο πιο αργή Αλλά, ιδανικά, θέλουμε και τα δύο! Λύση: ιεραρχία μνήμης Γρήγορη μνήμη κοντά στον επεξεργαστή και μικρή γιατί το κόστος είναι μεγάλο Μεγάλη μνήμη πιο μακρυά και αργή για να μην είναι απαγορευτικά ακριβή ΠΛΕ 027 Μικροεπεξεργαστές 2011-2012 4
Αρχή της τοπικότητας αναφορών Τα προγράμματα προσπελαύνουν μόνο μικρά τμήματα της μνήμης κάθε στιγμή Διευθύνσεις επαναλήψεις Εντολές Στοίβα κλήση υπορουτίνας παράμετροι επιστροφή υπορουτίνας Δεδομένα μεταβλητές Χρόνος ΠΛΕ 027 Μικροεπεξεργαστές 2011-2012 5
Είδη τοπικότητας αναφορών Στο χρόνο: μια διεύθυνση που προσπελαύνεται τη χρονική στιγμή t έχει μεγάλη πιθανότητα να ξαναπροσπελαστεί σε χρόνο t+δ temporal locality Στο χώρο: όταν μια διεύθυνση α προσπελαστεί τη χρονική στιγμή t, με μεγάλη πιθανότητα, μια διεύθυνση α±θ θα προσπελαστεί σε χρόνο t+δ spa\al locality ΠΛΕ 027 Μικροεπεξεργαστές 2011-2012 6
Εκμετάλευση της ιδιότητας Οταν μια διεύθυνση μνήμης προσπελαύνεται Το υλικό τοποθετεί σε υψηλότερες (κοντά στον πυρήνα) θέσεις της ιεραρχίας μνήμης τα δεδομένα,εντολές που αντιστοιχούν στη διεύθυνση και άλλα/άλλες που αντιστοιχούν σε γειτονικές διευθύνσεις Διώχνοντας τα λιγότερο χρήσιμα δεδομένα/εντολές για να ανοίξει χώρος πώς ξέρουμε τι είναι λιγότερο χρήσιμο; ΠΛΕ 027 Μικροεπεξεργαστές 2011-2012 7
Κρυφή μνήμη - cache Address Address Core Data CACHE Data Main Memory Παρεμβάλεται μεταξύ πυρήνα και κύριας μνήμης και κρατάει αντίγραφα των δεδομένων της κύριας μνήμης ξεχωριστές για εντολές, δεδομένα (τουλάχιστον στο 1 ο επίπεδο) Πρέπει να κρατάει μια ετικέτα διεύθυνσης (address tag) ώστε να μπορεί να ελέγξει αν τα δεδομένα που ζητάει ο πυρήνας βρίσκονται στην κρυφή μνήμη (ευστοχία hit) ή όχι (αστοχία miss) Χρειάζονται 32- bit tag, όσο είναι η διεύθυνση, για κάθε 32- bit δεδομένων η μισή κρυφή μνήμη δαπανάται για tags ΠΛΕ 027 Μικροεπεξεργαστές 2011-2012 8
Γραμμή κρυφής μνήμης Βελτιστοποίηση: μία ετικέτα για 4 συνεχόμενες λέξεις όπως μια λέξη έχει μία διεύθυνση για 4 bytes η διεύθυνση της πρώτης λέξης είναι η ετικέτα όλης της γραμμής Το συνολικό κόστος των tags γίνεται το 20% της cache Μπορεί επίσης να μικραίνει το tag κάθε γραμμής κατά 2 bit τώρα που οι γραμμές είναι 4 φορές μεγαλύτερες Ευθυγράμιση, κάθε γραμμή έχει διεύθυνση πολ/σιο του 4 Κάθε μεταφορά από/προς τη κύρια μνήμη πρέπει να προσπελαύνει ολόκληρη τη γραμμή Οι γραμμές εκμεταλεύονται την τοπική χωρικότητα Η γραμμή (line) ονομάζεται (πολύ συχνά) και block ΠΛΕ 027 Μικροεπεξεργαστές 2011-2012 9
Ομάδες γραμμών (set) Ο ελεγκτής κρυφής μνήμης για κάθε προσπέλαση από τον πυρήνα πρέπει να εξετάσει τα tags όλων των (θέσεων) γραμμών χρειάζεται παράλληλη σύγκριση όλων των tags Βελτιστοποίηση: χωρίζουμε τις γραμμές σε Χ=2 x ομάδες (sets) χρειάζονται 1/Χ συγκριτές κάθε γραμμή μπορεί να τοποθετηθεί μόνο σε μία από τις θέσεις που έχει ένα set Χρησιμοποιούνται x bit της διεύθυνσης για επιλογή του set... άρα ακόμα λιγότερα bits για το tag ΠΛΕ 027 Μικροεπεξεργαστές 2011-2012 10
Τμήματα διεύθυνσης Tag Index Block offset Block offset διεύθυνση byte μέσα στη γραμμή Index διεύθυνση του set Tag τμήμα της διεύθυνσης που δεν χρησιμοποιείται, άρα αποθηκεύεται και συγκρίνεται Index Tag Block offset Γιατί πρώτα tag και μετά index; τα πιο σημαντικά bit διεύθυνσης δεν αλλάζουν πολύ λίγα set θα έχουν πολλή ζήτηση και τα υπόλοιπα θα είναι άδεια ΠΛΕ 027 Μικροεπεξεργαστές 2011-2012 11
Αριθμός set: όρια παραμέτρου μέγιστο ίσος με τον αριθμό των θέσεων γραμμών της κρυφής μνημης Ονομάζεται direct mapped Ελαχιστοποιεί το υλικό: 1 συγκριτής, μικρότερο κόστος για tags Μια γραμμή μνήμης μπορεί να τοποθετηθεί σε μία μόνο θέση ελάχιστο ένα για όλη τη κρυφή μνήμη Ονομάζεται fully- associate Μεγιστοποιεί την ευελιξία: κάθε γραμμή μπορεί να τοποθετηθεί σε οποιαδήποτε θέση Ακριβό υλικό: Ν συγκριτές, και δεν υπάρχει index, άρα το tag μεγαλώνει Ενδιάμεσες τιμές k- way set associa\ve αριθμός set Χ = N/k, πρέπει να είναι δύναμη του 2 ΠΛΕ 027 Μικροεπεξεργαστές 2011-2012 12
Τοποθέτηση γραμμών Block Number Memory 0 1 2 3 4 5 6 7 8 9 1 1 1 1 1 1 1 1 1 1 0 1 2 3 4 5 6 7 8 9 2 2 2 2 2 2 2 2 2 2 3 3 0 1 2 3 4 5 6 7 8 9 0 1 Set Number 0 1 2 3 0 1 2 3 4 5 6 7 Cache τοποθέτηση γραµµής 12 Fully (2-way) Set Direct Associative Associative Mapped οπουδήποτε οπουδήποτε µόνο στη στο set 0 θέση 4 (12 mod 4) (12 mod 8) ΠΛΕ 027 Μικροεπεξεργαστές 2011-2012 13
Οργάνωση direct mapped Tag Index Block Offset byte offset t V Tag k Data Block b 2 k lines t = HIT Data Word Πως ξεχωρίζουμε μια άδεια θέση; Δεν υπάρχει ειδική τιμή tag που δεν αντιστοιχεί σε πραγματική διεύθυνση Επιπλέον valid bit ΠΛΕ 027 Μικροεπεξεργαστές 2011-2012 14
Οργάνωση set- associa\ve (2- way) Tag Index Block Offset b t V Tag k Data Block V Tag Data Block t = = Data Word or Byte HIT ΠΛΕ 027 Μικροεπεξεργαστές 2011-2012 15
Οργάνωση fully- associa\ve V Tag Data Block t = Tag t = HIT Block Offset b = Data Word or Byte ΠΛΕ 027 Μικροεπεξεργαστές 2011-2012 16
Μέτρα απόδοσης Hit rate: κλάσμα των προσπελάσεων που ευστοχούν στη κρυφή μνήμη Miss rate: 1 Hit rate Miss penalty: χρόνος τοποθέτησης μιας γραμμής από κατώτερο επίπεδο ιεραρχίας μνήμης στη κρυφή μνήμη Hit \me: χρόνος προσπέλασης κρυφής μνήμης (περιλαμβάνει τη σύγκριση tag) ΠΛΕ 027 Μικροεπεξεργαστές 2011-2012 17
Απόδοση επεξεργαστή CPU \me = IC CPI CC Το CPI, όπως το ξέραμε μέχρι τώρα περιλαμβάνει το hit \me στη κρυφή μνήμη θεωρούσαμε ότι hit \me = 1 Οι αστοχίες μνήμης προκαλούν αύξηση στο ιδανικό CPI CPU \me = IC (CPI ideal + memory stall cycles) CC ΠΛΕ 027 Μικροεπεξεργαστές 2011-2012 18
Παράδειγμα I- cache miss rate = 2% D- cache miss rate = 4% Miss penalty = 100 cycles Base CPI (ideal cache) = 2 Load & stores αποτελούν το 36% των εντολών Miss cycles ανά εντολή: miss rate miss penalty I- cache: 1 0.02 100 = 2 D- cache: 0.36 0.04 100 = 1.44 Πραγματικό CPI = 2 + 2 + 1.44 = 5.44 Ιδανικό CPI=2 άρα στη πραγματικότητα το σύστημα είναι 5.44/2 =2.72 φορές πιο αργό από το ιδανικό ΠΛΕ 027 Μικροεπεξεργαστές 2011-2012 19
Μέσος χρόνος προσπέλασης Περιλαμβάνει και το χρόνο ευστοχίας κατάλληλο μέτρο για όλο το σύστημα μνήμης Average Memory Access Time (AMAT) AMAT = Hit \me + Miss rate Miss penalty Παράδειγμα κύκλος ρολογιού CPU: 1ns, hit \me = 1 κύκλος, miss penalty = 20 κύκλοι, I- cache miss rate = 5% AMAT = 1 + 0.05 20 = 2 κύκλοι = 2ns Δεν είναι πάντα ακέραιος αριθμός κύκλων, γιατί είναι μέσος όρος ΠΛΕ 027 Μικροεπεξεργαστές 2011-2012 20
Σχεδίαση κρυφής μνήμης Θέλουμε το ελάχιστο δυνατό ΑΜΑΤ AMAT = Hit \me + Miss rate Miss penalty Ελαχιστοποίηση miss rate, αγνοώντας τα υπόλοιπα μέτρα δεν δίνει πάντα τα καλύτερα αποτελέσματα Για μικρό hit \me χρειάζεται μικρή κρυφή μνήμη Για μικρό miss rate χρειάζεται μεγάλη κρυφή μνήμη ή/και διάφορα «κόλπα» Για μικρό miss penalty δεύτερο (τρίτο,...) επίπεδο κρυφής μνήμης μεταφορά της λέξης που χρειάζεται πρίν την υπόλοιπη γραμμή ΠΛΕ 027 Μικροεπεξεργαστές 2011-2012 21
Κρυφές μνήμες πολλαπλών επιπέδων Μειώνουν το miss penalty Προϋποθέτουν τοπικότητα αναφορών στις διευθύνσεις που αστοχούν στο προηγούμενο επίπεδο γενικά ισχύει AMAT = L1$ hit \me + (local) Miss rate L1$ x (L2$ hit \me + (local) Miss rate L2$ x L2$ Miss penalty) Local Miss rate L2$ = $L2 Misses / L1$ Misses όχι $L2 Misses / αριθμό προσπελάσεων του επεξεργαστή L1$ Misses = αριθμός προσπελάσεων στην L2 Παρόμοια για memory stall cycles για υπολογισμό CPI ΠΛΕ 027 Μικροεπεξεργαστές 2011-2012 22
Παράδειγμα Το προηγούμενο παράδειγμα με προσθήκη L2 $. CPI ideal = 2, 100 cycle miss penalty (to main memory), 25 cycle miss penalty (to L2$), 36% load/stores, 2% (4%) L1 I$ (D$) miss rate, 0.5% L2$ miss rate CPI = 2 +.02 (25 +.005 100) +.36.04 (25 +.005 100) = 2.87 ήταν 5.44 χωρίς L2$ ΠΛΕ 027 Μικροεπεξεργαστές 2011-2012 23
Παρατηρήσεις Υποθέση: ο χρόνος που χρειάζεται για να μάθουμε αν η προσπέλαση είναι εύστοχη επικαλύπτεται με το χρόνο της πραγματικής προσπέλασης δηλαδή όταν ξέρουμε ότι έχουμε ευστοχίσει, έχουμε ολοκληρώσει και την προσπέλαση δεν ισχύει πάντα... (ειδικά για L2) Το miss penalty σε περίπτωση αστοχίας και της L2 είναι μεγαλύτερο από το miss penalty που θα είχαμε αν δεν υπήρχε καθόλου L2 γιατί ξοδεύουμε επιπλέον χρόνο ψάχνοντας στην L2 ΠΛΕ 027 Μικροεπεξεργαστές 2011-2012 24
Σχεδιαστικοί στόχοι Κύριος στόχος σχεδίασης κρυφής μνήμης 1 ου επιπέδου είναι το hit \me να είναι ίσο με 1 κύκλο και η περίοδος ρολογιού να είναι μικρή Σε σύγχρονους πυρήνες (ILP) μπορεί να είναι μεγαλύτερο Στόχος σχεδίασης κρυφής μνήμης 2 ου επιπέδου είναι το miss rate Το miss penalty της L1 μειώνεται δραστικά από την ύπαρξη της L2, άρα η L1 μπορεί να είναι μικρότερη για μικρό hit \me σε βάρος του miss rate Το hit \me της L2 είναι δευτερεύον γιατί είναι πολύ μικρότερο από το χρόνο προσπέλασης κύριας μνήμης που μειώνεται κατά μ.ο. με ένα μικρό miss rate ΠΛΕ 027 Μικροεπεξεργαστές 2011-2012 25
Cache inclusion Πρέπει όλες οι γραμμές της L1 να βρίσκονται και στην L2; inclusion property Χρήσιμο σε πολυεπεξεργαστές: είναι εύκολο να ξέρει το κατώτερο επίπεδο κρυφής μνήμης αν υπάρχει αντίγραφο μιας γραμμής στην ιεραρχία μνήμης ενός πυρήνα αλλά ξοδεύουν χώρο στην L2, αυξάνοντας το miss rate Οταν εκδιώχνεται μια γραμμή από την L1, θα πρέπει να γράφεται στην L2, ενώ αλλιώς θα ήταν ήδη εκεί ΠΛΕ 027 Μικροεπεξεργαστές 2011-2012 26
Εγγραφές - πολυπλοκότητα Η προσπέλαση (εγγραφή) δεν μπορεί να γίνεται ταυτόχρονα με τον έλεγχο του tag πρέπει να είναι εύστοχη πρίν γίνει! Οι εγγραφές πρέπει να ενημερώνουν το επόμενο επίπεδο (write- through) ή όχι (write- back); write- through απλοποιούν την έξωση γραμμών γίνεται «σιωπηλά» πραγματοποιούν προσπελάσεις σε κατώτερα επίπεδα που θα μπορούσαν να αποφευχθούν write- back περιπλοκότερη έξωση έχει η γραμμή αλαχθεί; dirty- bit μειώνουν προσπελάσεις σε κατώτερα επίπεδα τα αντίγραφα δεδομένων δεν είναι «συγχρονισμένα» ΠΛΕ 027 Μικροεπεξεργαστές 2011-2012 27
Εγγραφές - συνέχεια Οταν γίνει μια εγγραφή σε γραμμή που δεν υπάρχει στη κρυφή μνήμη, να φέρουμε τη γραμμή (write- allocate) ή όχι; Γενικά οι write- back είναι και write- allocate ενώ οι write through είναι no write- allocate ΠΛΕ 027 Μικροεπεξεργαστές 2011-2012 28
Αντικατάσταση γραμμών Οι θέσεις γραμμών σε ένα set είναι περιορισμένες ίσες με τον αριθμό των ways (x- way set associa\ve cache) Αφού περάσει κάποιος χρόνος, όλες οι θέσεις είναι πιασμένες και η προσκόμιση μιας καινούριας γραμμής για μια αστοχία απαιτεί την έξωση μιας άλλης Σε direct mapped δεν υπάρχουν επιλογές: 1 θέση στο set Ποιά πρέπει να φύγει; η γραμμή (του set) που δεν θα χρησιμοποιηθεί ξανά ή τουλάχιστον θα χρησιμοποιηθεί αργότερα από τις υπόλοιπες που βρίσκονται στο set της κρυφής μνήμης Είναι αδύνατο να γνωρίζουμε τη καλύτερη γραμμή για έξωση από πριν! Ο αλγόριθμος αντικατάστασης (replacement policy) επιλέγει ΠΛΕ 027 Μικροεπεξεργαστές 2011-2012 29
Λιγότερο πρόσφατες γραμμές Αρχή (χρονικής) τοπικότητας: μια γραμμή που χρησιμοποιείται τώρα θα προσπελαστεί στο κοντινό μέλλον Αρα μια γραμμή που έχει αρκετό καιρό να χρησιμοποιηθεί μπορεί να μη προσπελαστεί ξανά και είναι κατάλληλη για έξωση αν υπάρχει άκυρη (ένδειξη valid = 0) γραμμή προτιμάται Αλγόριθμος Least Recently Used (LRU) εφικτή η υλοποίηση για πολύ μικρά set (<=4), δύσκολη για μεγαλύτερα ΠΛΕ 027 Μικροεπεξεργαστές 2011-2012 30
LRU Κάθε θέση γραμμής κρατάει πληροφορίες για το χρόνο τελευταίας προσπέλασης επιπλέον του tag, dirty, valid πρέπει να ανανεώνεται (ανάγνωση, εγγραφή) σε κάθε προσπέλαση χωρίς να επηρεάσει το κύκλο ρολογιού Προσεγγιστικές μέθοδοι για μεγάλη associa\vity 0 1 2 3 0 1 2 3 ΠΛΕ 027 Μικροεπεξεργαστές 2011-2012 31
Αντικαταστάσεις - παρατηρήσεις Παλιές γραμμές αντικαθίστανται μόνο αν μια καινούρια γραμμή χρειάζεται τη θέση στο set Αν το working- set είναι μικρό ή τυχαίνει οι προσπελάσεις να είναι σε σχετικά λίγα set Παλιές γραμμές, «ξεμένουν» στη κρυφή μνήμη Προβλήματα: κατανάλωση στατικής ενέργειας χρειάζεται προσοχή όταν αλλάζει η διεργασία που τρέχει σε ένα πυρήνα (για virtually addressed caches) ΠΛΕ 027 Μικροεπεξεργαστές 2011-2012 32
Πράξεις κρυφής μνήμης Αναζήτηση/σύγκριση tag το αποτέλεσμα δείχνει αν έχουμε ευστοχία ή αστοχία στη κρυφή μνήμη Προσπέλαση δεδομένων ανάγνωση ή εγραφή από τον πυρήνα σε περίπτωση ευστοχίας Επιλογή γραμμής θύματος (vic\m) για αντικατάσταση από το set στο οποίο ανήκει η γραμμή της λέξης που προσπελαύνει ο πυρήνας Εξωση (evic\on), λόγω αντικατάστασης (replacement) μιας «παλιάς» γραμμής από μια καινούρια επανεγγραφή (writeback) για αλλαγμένες γραμμές Γέμισμα (fill, refill) εγγραφή μιας (καινούριας) γραμμής από το επόμενο επίπεδο και απάντηση στο πυρήνα (ή αλλαγή της κατάλληλης λέξης πριν την εγγραφή στη κρυφή μνήμη) ΠΛΕ 027 Μικροεπεξεργαστές 2011-2012 33
Μέγεθος γραμμής Μεγάλες γραμμές βελτιώνουν το hit rate λόγω χωρικής τοπικότητας μειώνουν τον αριθμό bits για tags εκμεταλεύονται το μεγαλύτερο ρυθμό μεταφοράς δεδομένων από την μνήμη για δεδομένα σε συνεχόμενες διευθύνσεις Αλλά σε σταθερού μεγέθους κρυφή μνήμη, μεγαλύτερες γραμμές σημαίνει λιγότερες θέσεις γραμμών άρα περισσότερος ανταγωνισμός για μια θέση, άρα χειρότερο hit rate, μεγαλύτερο miss penalty χρήση μεγαλύτερου μέρους του bandwidth του δίαυλου Γραμμή συνήθως 32-64 bytes ΠΛΕ 027 Μικροεπεξεργαστές 2011-2012 34