ΜΕΤΑΠΤΥΧΙΑΚΗ ΔΙΠΛΩΜΑΤΙΚΗ ΕΡΓΑΣΙΑ του ΔΑΤΣΙΟΥ ΧΡΥΣΟΒΑΛΑΝΤΗ-ΖΑΧΑΡΙΑ. Επιβλέπων Καθηγητής: Δ. ΣΕΡΠΑΝΟΣ ΠΑΝΕΠΙΣΤΗΜΙΟ ΠΑΤΡΩΝ. Τίτλος:

Transcript

1 ΜΕΤΑΠΤΥΧΙΑΚΗ ΔΙΠΛΩΜΑΤΙΚΗ ΕΡΓΑΣΙΑ του ΔΑΤΣΙΟΥ ΧΡΥΣΟΒΑΛΑΝΤΗ-ΖΑΧΑΡΙΑ Επιβλέπων Καθηγητής: Δ. ΣΕΡΠΑΝΟΣ ΠΑΝΕΠΙΣΤΗΜΙΟ ΠΑΤΡΩΝ Τίτλος: ΑΝΑΛΥΣΗ ΑΡΧΙΤΕΚΤΟΝΙΚΗΣ ΠΡΟΣΑΡΜΟΣΤΩΝ ΔΙΚΤΥΟΥ Πρόγραμμα Μεταπτυχιακών Σπουδών ΟΛΟΚΛΗΡΩΜΕΝΑ ΣΥΣΤΗΜΑΤΑ ΥΛΙΚΟΥ ΚΑΙ ΛΟΓΙΣΜΙΚΟΥ ΙΑΝΟΥΑΡΙΟΣ 2009, ΠΑΤΡΑ

2 Ευχαριστίες Θα ήθελα να εκφράσω τις ευχαριστίες μου στον επιβλέποντα καθηγητή μου κ. Δημήτριο Σερπάνο για την διαρκή από μέρους του καθοδήγηση, υποστήριξη και παρακολούθηση της εργασίας αυτής. Το ενδιαφέρον του, η ευγένεια και η γενναιοδωρία του υπήρξαν σημαντική βοήθεια για εμένα. Την βαθιά μου ευγνωμοσύνη εκφράζω προς τους γονείς μου για την αγάπη και την κατανόηση τους, την ηθική και υλική τους συμπαράσταση. Είναι οι άνθρωποι που αφιέρωσαν την ζωή τους για να τα κάνουν όλα πιθανά! 1

3 Κατάλογος περιεχομένων Ευχαριστίες...1 Κεφάλαιο Εισαγωγή...6 Κεφάλαιο Βασικός προσαρμογέας δικτύου Αρχιτεκτονική του βασικού network adapter Λειτουργία Διαδικασία παραλαβής Λειτουργία Διαδικασία επεξεργασίας του πακέτου Απόδοση του βασικού network adapter...13 Κεφάλαιο Διερεύνηση της δομής του network adapter Αρχιτεκτονική network adapter με ξεχωριστή μονάδα διαχείρισης μνήμης που διαθέτει τοπική μνήμη Αρχιτεκτονική network adapter με ξεχωριστές τοπικές μνήμες για την μονάδα διαχείρισης μνήμης και την επεξεργαστική μονάδα Αρχιτεκτονική network adapter με ευφυή μονάδα άμεσης πρόσβασης στην μνήμη (intelligent DMA)...21 Κεφάλαιο Διερεύνηση της αρχιτεκτονικής του επεξεργαστή πρωτοκόλλου του network adapter Η αρχιτεκτονική του Cell B.E Network adapter βασισμένος στον Cell BE που χρησιμοποιεί το ένα επεξεργαστικό στοιχείο Network adapter βασισμένος στον Cell BE που κατανέμει τις λειτουργίες επεξεργασίας ενός πακέτου στα οκτώ επεξεργαστικά στοιχεία του (λειτουργική αποσύνθεση και κατανομή) Network adapter βασισμένος στον Cell BE με παράλληλη επεξεργασία πολλαπλών πακέτων Αλγόριθμος Resequencing

4 4.4.2 Παρατηρήσεις επί της υλοποίησης του αλγορίθμου resequencing Απόδοση του network adapter που βασίζεται στο Cell BE κι εκτελεί παράλληλη επεξεργασία οκτώ πακέτων Σύνοψη των επεξεργαστών...37 Κεφάλαιο Διερεύνηση της αρχιτεκτονικής της μονάδας διαχείρισης της μνήμης πακέτων Μονάδα διαχείρισης μνήμης πακέτων συνδεδεμένη στον δίαυλο του συστήματος Μονάδα διαχείρισης μνήμης πακέτων αποσπασμένη από τον δίαυλο του συστήματος Κατανεμημένη μονάδα διαχείρισης μνήμης...42 Κεφάλαιο Συμπεράσματα...44 Παράρτημα Α...45 Εργαλεία CSIM19 Simulation Engine...45 Παράρτημα Β...47 Αποδόσεις των διάφορων διαμορφώσεων του προσαρμογέα για τις τιμές των χαρακτηριστικών που περιγράφονται στην εργασία [1]...47 Αναφορές - Βιβλιογραφία

5 Κατάλογος εικόνων Εικόνα 1: Βασικός προσαρμογέας...9 Εικόνα 2: Η διαδρομή ενός πακέτου κατά την διαδικασία παραλαβής του...11 Εικόνα 3: Η διαδρομή ενός πακέτου κατά την διαδικασία επεξεργασίας του...13 Εικόνα 4: Απόδοση βασικού προσαρμογέα (Intel 80386)...14 Εικόνα 5: Απόδοση βασικού προσαρμογέα (ARM11)...15 Εικόνα 6: Προσαρμογέας με Μονάδα Διαχείρισης Μνήμης...17 Εικόνα 7: Απόδοση προσαρμογέα με MMU...18 Εικόνα 8: Προσαρμογέας, MMU & μp διαθέτουν τοπική μνήμη...19 Εικόνα 9: Απόδοση, MMU & μp διαθέτουν τοπική μνήμη...20 Εικόνα 10: Απόδοση προσαρμογέα με ευφυή μονάδα DMA...22 Εικόνα 11: Η δομή του Cell Broadband Engine...26 Εικόνα 12: Προσαρμογέας βασισμένος στο Cell BE chip...27 Εικόνα 13: Στιγμιότυπο μεταφοράς πακέτου στην μνήμη & εξυπηρέτησης του μp από την μονάδα MMU...28 Εικόνα 14: Απόδοση προσαρμογέα (1 επεξεργαστικό στοιχείο)...29 Εικόνα 15: Λειτουργική αποσύνθεση και κατανομή...30 Εικόνα 16: Απόδοση (λειτουργική κατανομή του πρωτοκόλλου στα 8 επεξεργαστικά στοιχεία)...31 Εικόνα 17: Οι ουρές που συγκρατεί η μονάδα MMU...32 Εικόνα 18: Απόδοση (παράλληλη επεξεργασία, 8 επεξεργαστικά στοιχεία)...36 Εικόνα 19: Απόδοση (παράλληλη επεξεργασία, 4 επεξεργαστικά στοιχεία)...36 Εικόνα 20: Απόδοση προσαρμογέα (πακέτα 64 Bytes)...37 Εικόνα 21: Απόδοση προσαρμογέα (πακέτα 256 Bytes)...37 Εικόνα 22: Απόδοση προσαρμογέα (πακέτα 1024 Bytes)...38 Εικόνα 23: MMU συνδεδεμένη στον δίαυλο του συστήματος...40 Εικόνα 24: MMU αποσπασμένη από τον δίαυλο του συστήματος...41 Εικόνα 25: Κατανεμημένη MMU...42 Εικόνα 26: Απόδοση για διάφορα mmu configurations...43 Εικόνα 27: Ποσοστό χρησιμοποίησης MMU...43 Εικόνα 28: Απόδοση αρχικού προσαρμογέα (Intel 80386)

6 Εικόνα 29: Απόδοση προσαρμογέα με MMU (Intel 80386)...48 Εικόνα 30: Απόδοση, MMU & μp διαθέτουν τοπική μνήμη (Intel 80386)...48 Εικόνα 31: Απόδοση προσαρμογέα με ευφυή μονάδα DMA (Intel 80386)

7 Κεφάλαιο 1 Εισαγωγή Βασικό ζητούμενο στον τομέα των δικτύων υψηλής ταχύτητας είναι αυτό της διατήρησης της διαπερατότητας. Στην ιδανική περίπτωση, το bandwidth που φτάνει στον σύνδεσμο ενός δικτυακού συστήματος πρέπει να διατηρείται αναλλοίωτο διατρέχοντας όλη την στοίβα πρωτοκόλλων μέχρι το ανώτερο επίπεδο. Στην πράξη όμως μόνο ένα ποσοστό αυτού φτάνει και ο λόγος είναι η διαφορά ανάμεσα στην ταχύτητα μετάδοσης και στην ταχύτητα επεξεργασίας των πρωτοκόλλων της στοίβας. Η υλοποίηση καθενός από τα πρωτόκολλα αυτά περιλαμβάνει τρία βασικά στοιχεία: 1. τους μηχανισμούς: που αναφέρονται στις λειτουργίες ελέγχου, όπως ο έλεγχος ροής ή λαθών, και χρησιμοποιούνται για να εγγυηθούν καθορισμένα κριτήρια ορθότητας λειτουργίας. 2. την σύνταξη: που αφορά στον ορισμό μιας καλά καθορισμένης μορφής της επικεφαλίδας, του πεδίου δεδομένων και της ουράς των μηνυμάτων του πρωτοκόλλου. 3. την δομή και υλοποίηση του συστήματος: που περιλαμβάνει την αρχιτεκτονική, τον σχεδιασμό και την υλοποίηση του συστήματος που εκτελεί το πρωτόκολλο. 6

8 Δεδομένων των τριών αυτών στοιχείων ταυτοποιούνται και τρεις κατευθύνσεις στην προσπάθεια ικανοποίησης του ζητούμενου της διατήρησης της διαπερατότητας: 1. Ο σχεδιασμός μηχανισμών για νέα πρωτόκολλα που θα εκμεταλλεύονται τα χαρακτηριστικά των νέων τεχνολογιών όπως το υψηλό εύρος ζώνης, ο χαμηλός ρυθμός λαθών κ.λ.π. 2. Η τροποποίηση της σύνταξης των πρωτοκόλλων ώστε να βελτιωθεί η επεξεργαστική επιβάρυνση. Για παράδειγμα η νέα σύνταξη να επιτρέπει περισσότερο παραλληλισμό. 3. Η αναθεώρηση των δομών των συστημάτων που εκτελούν τα πρωτόκολλα ώστε να αυξηθεί η απόδοση των πρωτοκόλλων. Τα πρώτα δυο στοιχεία, οι μηχανισμοί και η σύνταξη, είναι αυτά που ορίζονται σε ένα πρωτυποποιημένο πρωτόκολλο όπως τα LLC, TCP/IP και δεν μπορούν να τροποποιηθούν. Ζητήματα που αφορούν την δομή και την υλοποίηση δεν ορίζονται από αυτό και αυτά είναι που λαμβάνονται υπόψη στις διαφορετικές υλοποιήσεις του πρωτοκόλλου που εντέλει δίνουν διαφορετικά χαρακτηριστικά απόδοσης. Στην παρούσα εργασία διερευνώνται τρόποι επίτευξης του ζητούμενου της διατήρησης της διαπερατότητας εξετάζοντας τις εναλλακτικές σχεδιαστικές αποφάσεις που αφορούν το πιο βασικό από τα δικτυακά υποσυστήματα, του προσαρμογέα δικτύου. Στις επόμενες παραγράφους θα παρουσιαστεί η αρχιτεκτονική ενός απλού δομικά αλλά και στην σύλληψή του προσαρμογέα και στην συνέχεια θα διερευνηθούν διάφορες αρχιτεκτονικές παρεμβάσεις που στόχο θα έχουν την βελτίωση της απόδοσης αυτού. Με την βοήθεια της βιβλιοθήκης εξομοίωσης CSIM της Mesquite οι αρχιτεκτονικές που θα προκύψουν μοντελοποιούνται και δίνοντας στα χαρακτηριστικά τους τιμές προϊόντων που διατίθενται αυτή την στιγμή στην αγορά υπολογίζεται η βελτίωση που επιφέρουν. 7

9 Κεφάλαιο 2 Βασικός προσαρμογέας δικτύου 2.1 Αρχιτεκτονική του βασικού network adapter Ένας απλός προσαρμογέας αποτελείται από πέντε δομικά στοιχεία [1]. Την διεπαφή του συνδέσμου (link interface). Αυτή εκτελεί τις λειτουργίες του φυσικού επιπέδου και του υποεπιπέδου ελέγχου πρόσβασης στο μέσο (MAC). Την μονάδα άμεσης πρόσβασης στην μνήμη (DMA). Αυτή μετακινεί τα δεδομένα των πακέτων ανάμεσα στον σύνδεσμο και στην μνήμη του συστήματος. Την μονάδα επεξεργασίας. Αυτή είναι υπεύθυνη για τον συντονισμό των λειτουργιών του προσαρμογέα και για την επεξεργασία των πακέτων για τα επίπεδα πάνω από το MAC. Την μνήμη. Σε αυτή αποθηκεύονται τα εισερχόμενα/εξερχόμενα πακέτα καθώς και όλη η πληροφορία που αφορά στην διαχείριση και στην επεξεργασία αυτών (κώδικας, δομές δεδομένων όπως ουρές κλπ). 8

10 Την διεπαφή σύνδεσης με το σύστημα. Μέσω αυτής ο προσαρμογέας επικοινωνεί με το υπόλοιπο σύστημα. memory μp Link i/f DMA bus system interconnect i/f Εικόνα 1: Βασικός προσαρμογέας Σε ορισμένες περιπτώσεις προσαρμογέων με χαμηλό βαθμό συνδεσιμότητας μπορεί να είναι εφικτή η χρήση φυσικών ουρών FIFO για την αποθήκευση των πακέτων. Αυτές όμως δεν μπορούν να χρησιμοποιηθούν σε περιβάλλοντα όπου είναι αναγκαία η κατανομή των πακέτων σε μεγάλο αριθμό διαφοροποιημένων συνόλων. Αυτό γιατί αφενός θα ήταν δαπανηρό κι αφετέρου γιατί μπορεί να οδηγήσει σε φτωχή απόδοση. Για παράδειγμα κάτω από ορισμένες συνθήκες τηλεπικοινωνιακής κίνησης μπορεί να συμβεί κάποιες φυσικές ουρές να υπερφορτώνονται με αποτέλεσμα να απορρίπτουν πακέτα, ενώ κάποιες άλλες να είναι την ίδια στιγμή άδειες. Έτσι κρίνεται προτιμότερη η χρήση μνήμης που να είναι ενιαία και να περιλαμβάνει όλες τις μέχρι τώρα φυσικές ουρές χωρισμένες πια με λογικό τρόπο. Μια μεγάλης χωρητικότητας και χαμηλού κόστους δυναμική μνήμη είναι η επιλογή που γίνεται σε αυτές τις περιπτώσεις και μια από αυτές είναι και η μελετούμενη περίπτωση του βασικού προσαρμογέα. Ο λογικός διαχωρισμός την μνήμης όπου συγκρατούνται τα πακέτα έχει ως εξής. Η μνήμη θεωρείται ότι συντίθεται από buffers μικρά κομμάτια σταθερού μεγέθους στους οποίους αποθηκεύονται δεδομένα ή ανακαλούνται από εκεί. Τα πακέτα σχηματίζονται από τέτοιους buffers που γενικά δεν απαιτείται να είναι συνεχόμενοι στην μνήμη αλλά συνδέονται με λογικό τρόπο ώστε να σχηματίσουν το πακέτο. Επιπλέον τα πακέτα συνδέονται πάλι με λογικό τρόπο μεταξύ τους για να σχηματίσουν μια λογική ουρά. Το σύνολο των ουρών βρίσκεται στην ίδια μνήμη. Ο αριθμός των ουρών που μπορεί να υπάρχουν εξαρτάται από τον αριθμό των συνδέσμων που διαθέτει το σύστημα του οποίου μέρος είναι ο προσαρμογέας δικτύου, τον αριθμό θεωρούμενων από το σύστημα 9

11 προτεραιοτήτων για κάθε σύνδεσμο κ.α. 2.2 Λειτουργία Διαδικασία παραλαβής Η διαδικασία παραλαβής ενός πακέτου περιλαμβάνει αρκετές επιμέρους εργασίες που επηρεάζουν σημαντικά την απόδοση ενός προσαρμογέα. Στην παρούσα εργασία η εκτίμηση της απόδοσης θα γίνει με επίκεντρο την παραλαβή και την επεξεργασία των πακέτων αλλά θα μπορούσε το ίδιο εύκολα να συμπεριλάβει και την διαδικασία αποστολής. Φτάνοντας ένα πακέτο στον σύνδεσμο μια διακοπή ενημερώνει τον επεξεργαστή για το γεγονός. Ο επεξεργαστής εκτελεί ένα task switch κατά την διάρκεια του οποίου αποθηκεύεται η κατάσταση της προηγούμενα εκτελούμενης διεργασίας και φορτώνεται η διεργασία παραλαβής. Η διεργασία ξεκινά με την απόδοση από τον επεξεργαστή στην μονάδα DMA των κατάλληλων παραμέτρων για να μετακινήσει το πακέτο στην μνήμη. Θεωρώντας ότι ο δίαυλος δεδομένων έχει εύρος D bytes και ότι κατά την διάρκεια της μετακίνησης υπάρχουν πάντα διαθέσιμα προς μεταφορά δεδομένα εδώ προϋποτίθεται ότι υπάρχει κάποιος χώρος ελαστικής αποθήκευσης στην μεριά της διεπαφής συνδέσμου τότε ο χρόνος που απαιτείται για την μεταφορά στην μνήμη ενός πακέτου μεγέθους N bytes είναι (N/D)tB, όπου tb είναι ο κύκλος διαύλου. Πριν αλλά και μετά την μεταφορά του πακέτου από την μονάδα DMA στην μνήμη χρειάζεται να γίνουν κάποιες εργασίες διαχείρισης μνήμης: αρχικά για την εξεύρεση ελεύθερου χώρου για αποθήκευση στην μνήμη του προσαρμογέα κι έπειτα για την εισαγωγή του πακέτου στην ανάλογη λογική ουρά. Τα πακέτα που έχουν παραληφθεί συνδέονται λογικά σε μια ουρά εισερχομένων πακέτων και από αυτήν θα αναζητηθούν κατά την φάση επεξεργασίας τους. Στην εικόνα {2} φαίνεται η διαδρομή ενός πακέτου από το δίκτυο στην διεπαφή συνδέσμου κι από εκεί με την μεσολάβηση του επεξεργαστή την μεταφορά του από την μονάδα άμεσης πρόσβασης στην μνήμη και την τοποθέτηση του στην ουρά εισερχομένων. 10

12 packet Incoming queue link i/f μp task switch get_free buffer setup DMA data movement to memory task switch Εικόνα 2: Η διαδρομή ενός πακέτου κατά την διαδικασία παραλαβής του 11

13 2.3 Λειτουργία Διαδικασία επεξεργασίας του πακέτου Την παραλαβή ενός πακέτου ακολουθεί η επεξεργασία. Αυτή περιλαμβάνει την φόρτωση της επικεφαλίδας του από την μνήμη στο register file του επεξεργαστή, την επεξεργασία της και τέλος την εκ νέου αποθήκευσή της στην μνήμη. Σημειώνεται ότι το πρώτο και το τρίτο βήμα της διαδικασίας περιλαμβάνουν επιπλέον τις ακόλουθες εργασίες διαχείρισης μνήμης: την αποσύνδεση του πακέτου από την ουρά εισερχομένων πακέτων και την σύνδεση του στην ουρά εξερχομένων αντίστοιχα. Στα πλαίσια της εργασίας αυτής θεωρείται ότι ο προσαρμογέας δικτύου πραγματοποιεί την επεξεργασία των πακέτων μέχρι το επίπεδο ελέγχου λογικού συνδέσμου (Logical Link Control), επίπεδο 3 στην στοίβα πρωτοκόλλων. Τα πακέτα μετά την επεξεργασία τους και την τοποθέτηση τους στην ουρά εξερχομένων παραδίδονται προς διαχείριση από το υπόλοιπο σύστημα μέρος του οποίου είναι ο προσαρμογέας δικτύου. Στην εικόνα {3} φαίνεται η διαδρομή του πακέτου από την ουρά εισερχομένων στην μνήμη, προς τον επεξεργαστή κι έπειτα ξανά στην μνήμη και στην ουρά εξερχομένων. 12

14 Incoming queue Outgoing queue μp dequeue from incoming queue load header to register file protocol processing store header to memory Εικόνα 3: Η διαδρομή ενός πακέτου κατά την διαδικασία επεξεργασίας του 2.4 Απόδοση του βασικού network adapter Με την βοήθεια των δομών που προσφέρει το εργαλείο CSIM αναπτύχθηκε ένα μοντέλο του βασικού προσαρμογέα με τα χαρακτηριστικά που περιγράφονται στην εργασία [1]. Η λειτουργία του μοντέλου εξομοιώθηκε με εκατό χιλιάδες πακέτα να παραλαμβάνονται και υφίστανται επεξεργασία. Με το εργαλείο εξήχθησαν εκτιμήσεις για την απόδοση του προσαρμογέα με διάστημα εμπιστοσύνης 95% για πακέτα διάφορων μεγεθών. Η απόδοσή του μετρούμενη σε bits/sec σε συνάρτηση με τον ρυθμό άφιξης πακέτων μετρούμενος packets/sec για πακέτα 1024, 256 και 64 Bytes αντίστοιχα φαίνεται στην εικόνα {4}. Η απόδοση αυτή είναι ίδια με αυτή της εργασίας γεγονός που επαληθεύει την ορθότητα του μοντέλου. 13

15 150 Throughput (Mbps) Packet Arrival Rate (KPps) Εικόνα 4: Απόδοση βασικού προσαρμογέα (Intel 80386) Με εξασφαλισμένη την ορθότητα του μοντέλου δόθηκαν εκ νέου τιμές στα χαρακτηριστικά του. Θεωρήθηκε επεξεργαστής ανάλογος ενός ARM11 (arm1136j-s) επεξεργαστικής ισχύος ίσης με 660MIPS [6] και δίαυλος AHB(AMBA High-performance Bus) εύρους δεδομένων 64-bits και συχνότητας λειτουργίας 133MHz [10]. Ως καθυστέρηση του task switching θεωρήθηκε χρόνος ίσος με την διάρκεια εκτέλεσης 30 κύκλων ρολογιού του επεξεργαστή (low interrupt latency configuration for interrupt-driven applications) [9], ως καθυστέρηση παραμετροθέτησης της μονάδας DMA χρόνος ίσος με 5 κύκλους διαύλου και ως καθυστέρηση επεξεργασίας ο χρόνος για την εκτέλεση του κρίσιμου μονοπάτιού στην επεξεργασία πρωτοκόλλου που είναι υπολογισμένο σε 351 εντολές [3]. Task switching 30 cycles Bus width 64 bit DMA setup 5 bus cycles Bus speed 133 MHz Protocol processing 351 instructions Processing power 660MIPS Η απόδοση του προσαρμογέα σε συνάρτηση με τον ρυθμό άφιξης πακέτων μήκους 1024, 256 και 64 Bytes φαίνεται στην εικόνα {5}. Ο ρυθμός άφιξης των πακέτων από το σημείο αυτό και καθ' όλη την πορεία της εργασίας αποφασίζεται να αποδίδεται σε bit/sec σε ίδιες δηλαδή μονάδες με το throughput κι αυτό ώστε να γίνει πιο ευδιάκριτο το σημείο μέχρι το οποίο ο προσαρμογέας 14

16 μπορεί να ακολουθήσει το εύρος ζώνης της γραμμής. Θα πρέπει να σημειωθεί ότι ο επεξεργαστής εκτελεί χρήσιμες εργασίες μόνο κατά τα βήματα του task switching, της παραμετροθέτησης της μονάδας DMA και της διαχείρισης μνήμης ενώ κατά την διάρκεια μετακίνησης του πακέτου στην μνήμη παραμένει ανενεργός Throughput (Mbps) Arrival Rate (Mbps) Εικόνα 5: Απόδοση βασικού προσαρμογέα (ARM11) 15

17 Κεφάλαιο 3 Διερεύνηση της δομής του network adapter 3.1 Αρχιτεκτονική network adapter με ξεχωριστή μονάδα διαχείρισης μνήμης που διαθέτει τοπική μνήμη Όπως αναφέρθηκε στην περιγραφή της λειτουργίας του προσαρμογέα για κάθε παραλαβή ενός πακέτου και για κάθε επεξεργασία του εκτελούνται τέσσερις τουλάχιστον εργασίες διαχείρισης μνήμης. Η παρατήρηση αυτή οδηγεί το συμπέρασμα ότι αυτές αποτελούν κρίσιμο κομμάτι της λειτουργίας του κι εύλογα θα μπορούσαν να αποδοθεί η εκτέλεση τους από υλικό (hardware). Στην αρχιτεκτονική λοιπόν του βασικού προσαρμογέα προστίθεται ένα ακόμη δομικό στοιχείο, μια ξεχωριστή ειδική μονάδα διαχείρισης της μνήμης(mmu Memory Management Unit). Η μονάδα αυτή θα εκτελεί τις περισσότερες λειτουργίες διαχείρισης μνήμης παράλληλα με την παραλαβή των δεδομένων. Με τον τρόπο αυτό η εξεύρεση μιας διεύθυνσης ελεύθερου χώρου αποθήκευσης ενός πακέτου μπορεί να γίνει εκ των προτέρων (prefetch) και να είναι διαθέσιμη όταν ζητηθεί ή ακόμη η εισαγωγή/εξαγωγή ενός πακέτου σε/από κάποια λογική ουρά να γίνει παράλληλα με άλλη εργασία. Για να λειτουργήσει ευεργετικά ως προς την συνολική απόδοση μια τέτοια μονάδα θα πρέπει να ακολουθηθεί από την φυσική διαίρεση της μνήμης σε δύο κατατμήσεις. Η μια θα 16

18 αποτελεί τον τοπικό χώρο αποθήκευσης της αναγκαίας για την διαχείριση της μνήμης πληροφορίας από την MMU και η άλλη για τα υπόλοιπα δεδομένα. Στην τοπική μνήμη της MMU αποθηκεύονται δείκτες σε διευθύνσεις της κύριας μνήμης που είναι προορισμένες για την αποθήκευση των πακέτων και κάθε εργασία διαχείρισης γίνεται πάνω σε αυτούς. Έτσι η μονάδα διαχείρισης μνήμης όταν εκτελεί κάποια εργασία δεν χρειάζεται να προσπελάσει την μνήμη του συστήματος - αλλά μονάχα την τοπική της μνήμη - αφήνοντας ελεύθερο τον σημαντικό πόρο της μνήμης και του διαύλου του προσαρμογέα. Η MMU με τον τρόπο αυτό εργάζεται απρόσκοπτα για να εξυπηρετήσει τις αιτήσεις διαχείρισης μνήμης χωρίς να ανταγωνίζεται με τα υπόλοιπα υποσυστήματα του προσαρμογέα για άλλους πόρους (κοινόχρηστους). memory μp Link i/f DMA bus mmu local memory Εικόνα 6: Προσαρμογέας με Μονάδα Διαχείρισης Μνήμης Η μονάδα διαχείρισης της μνήμης θεωρήθηκε ως ένας συνεπεξεργαστής που για την εκτέλεση μιας εργασίας διαχείρισης ανακαλεί την ανάλογη ρουτίνα από ένα σύνολο ρουτινών υλοποιημένων γι' αυτόν τον σκοπό. Ο τρόπος αυτός της υλοποίησης της MMU με κάποιον επεξεργαστή γενικού σκοπού και συνήθως χαμηλού κόστους επιλέχθηκε έναντι μιας ASIC (Application Specific Integrated Circuit) υλοποίησης ως συμφερότερου από άποψης κόστους χρημάτων και χρόνου time-to-market. Οι καθυστερήσεις των διάφορων εντολών διαχείρισης μνήμης σε κύκλους ρολογιού του επεξεργαστή της μονάδας διαχείρισης δίνονται σε ακόλουθο πίνακα και προέρχονται από το [2]. 17

19 Get free Return free Enqueue Dequeue Read top 4 cycles 3 cycles 6 cycles 8 cycles 5 cycles Το μοντέλο αυτού του προσαρμογέα αναπτύχθηκε με χαρακτηριστικά ίδια με του βασικού κι επιπλέον προστέθηκε η μονάδα διαχείρισης μνήμης με δυνατότητες παρόμοιες με της επεξεργαστικής μονάδας. Η λειτουργία του μοντέλου εξομοιώθηκε για έναν αριθμό πακέτων ικανό για να εξαχθεί η εκτίμηση της απόδοσης του με στατιστική πιθανότητα 95%. Η απόδοση του σε συνάρτηση με τον ρυθμό άφιξης πακέτων με διάφορα μεγέθη φαίνεται στην εικόνα {7}. Παρατηρείται αύξηση στην συνολική απόδοση σε σχέση με αυτήν του βασικού προσαρμογέα κατά 20% για μικρά και κατά 10% για μεγάλα πακέτα γεγονός που δικαιολογεί το επιπλέον κόστος για την εισαγωγή της ξεχωριστής μονάδας διαχείρισης μνήμης Throughput (Mbps) Arrival Rate (Mbps) Εικόνα 7: Απόδοση προσαρμογέα με MMU 18

20 3.2 Αρχιτεκτονική network adapter με ξεχωριστές τοπικές μνήμες για την μονάδα διαχείρισης μνήμης και την επεξεργαστική μονάδα Στα προηγούμενα έγινε η υπόθεση ότι η επεξεργαστική μονάδα δεν διέθετε κανενός είδους χώρο τοπικής αποθήκευσης. Αυτό όπως επισημάνθηκε είχε σαν αποτέλεσμα ο επεξεργαστής να παραμένει ουσιαστικά ανενεργός κατά την διάρκεια μετακίνησης του πακέτου από την μονάδα DMA από τον σύνδεσμο στην μνήμη. Η διάρκεια αυτή υπολογίστηκε πως είναι (N/D)tB, μια διάρκεια που αυξάνεται ευθέως ανάλογα με το μέγεθος του πακέτου και μπορεί να φτάσει σε μεγέθη ιδιαίτερα κρίσιμα. Για να γίνει πιο κατανοητό το παραπάνω μπορεί να αναφερθεί ότι ο χρόνος που μεσολαβεί κατά την μετακίνηση ενός πακέτου 1024 bytes αντιστοιχεί σε 628 κύκλους ρολογιού του επεξεργαστή για την περίπτωση επεξεργαστή και διαύλου που μελετάται. (1 bus cycle = 4.9 cpu cycles, 1024 bytes μεταφέρονται σε 128 bus cycles) Αν δοθεί στον επεξεργαστή χώρος τοπικής αποθήκευσης που θα περιέχει τον κώδικα και χώρο αποθήκευσης ενδιάμεσων αποτελεσμάτων (working space) τότε ο επεξεργαστής θα μπορούσε να συνεχίζει την επεξεργασία του προηγούμενα ληφθέντος πακέτου κατά την διάρκεια της μετακίνησης του τρέχοντος. Με τον τρόπο αυτό επιτυγχάνεται επικάλυψη της εργασίας της μετακίνησης δεδομένων της λειτουργίας παραλαβής και της λειτουργίας της επεξεργασίας. memory μp local memory Link i/f DMA bus mmu local memory Εικόνα 8: Προσαρμογέας, MMU & μp διαθέτουν τοπική μνήμη 19

21 Ο θεωρούμενος στο μοντέλο επεξεργαστής (arm1136) διαθέτει τέτοια τοπική μνήμη [9] χωρισμένη σε χώρο εντολών (I-TCM, Instructions-Tightly Coupled Memory) και σε χώρο δεδομένων (D-TCM, Data-Tightly Coupled Memory). Οι TCMs έχουν παρόμοια απόδοση με μια κρυφή μνήμη επιπέδου-1 αλλά διαφέρουν στο ότι ο προγραμματιστής θα πρέπει ρητά να εκτελεί τις εγγραφές σ' αυτές. Η απόδοση του προσαρμογέα σε συνάρτηση με τον ρυθμό άφιξης πακέτων διαφόρων μεγεθών φαίνεται στην εικόνα {9}. Παρατηρείται ότι η βελτίωση από την προηγούμενη διαμόρφωση του προσαρμογέα στην περίπτωση πακέτων μεγάλου μεγέθους είναι κατά 40%, ποσοστό αρκετά μεγάλο. Αυτό εξηγείται λόγω του μεγαλύτερου ποσοστού χρησιμοποίησης του επεξεργαστή που επιτυγχάνεται από την επικάλυψη των εργασιών επεξεργασίας πρωτοκόλλου και μεταφοράς πακέτων στην μνήμη. Στην περίπτωση μικρών σε μέγεθος πακέτων η βελτίωση είναι μικρότερη, ίση με 25%. Αυτό συμβαίνει γιατί κυριαρχεί η καθυστέρηση επεξεργασίας που είναι μεγαλύτερη από την καθυστέρηση μεταφοράς του πακέτου Throughput (Mbps) Arrival Rate (Mbps) Εικόνα 9: Απόδοση, MMU & μp διαθέτουν τοπική μνήμη Αναλυτικότερα, το ποσοστό του χρόνου που ο επεξεργαστής εκτελεί την χρήσιμη εργασία της επεξεργασίας πρωτοκόλλου για τις δύο τελευταίες διαμορφώσεις του προσαρμογέα δίνεται στον παρακάτω πίνακα: 20

22 Διαμόρφωση με MMU Διαμόρφωση με τοπικές μνήμες MMU & μp Μέγεθος πακέτων Ποσοστό χρόνου Μέγεθος πακέτων Ποσοστό χρόνου Από τον πίνακα αυτό προκύπτει ότι για τα μεγάλου μεγέθους πακέτα ο χρόνος που ο επεξεργαστής ασχολείται με την επεξεργασία πρωτοκόλλου αυξάνεται σημαντικά. Συνοπτικά η διαμόρφωση αυτή του προσαρμογέα δικτύου μπορεί να ονομαστεί και διαμόρφωση κατανεμημένης μνήμης αφού οι άλλοτε συγκεντρωμένες σε μια κεντρική μνήμη δομές δεδομένων που είναι απαραίτητες για την λειτουργία του προσαρμογέα κατανεμήθηκαν πλησίον των μονάδων που τις χρησιμοποιούν. 3.3 Αρχιτεκτονική network adapter με ευφυή μονάδα άμεσης πρόσβασης στην μνήμη (intelligent DMA) Προς την κατεύθυνση χρήσης του επεξεργαστή αποκλειστικά και μόνο για επεξεργασία πακέτων είναι απόφαση χρήσης ευφυούς μονάδας άμεσης πρόσβασης στην μνήμη. Αυτή η μονάδα ζητά και θέτει από μόνη της τις απαιτούμενες παραμέτρους και ξεκινά την μεταφορά ενός πακέτου στη μνήμη χωρίς την ανάγκη παρεμβολής του επεξεργαστή. Αφήνεται έτσι στον επεξεργαστή μόνο η λειτουργία της επεξεργασίας των πακέτων. Η λύση αυτή όχι μόνο απαλλάσσει τον επεξεργαστή από το βάρος της παραμετροθέτησης της μονάδας DMA αλλά κι από την επιπλέον καθυστέρηση που προκαλούσε η εκτέλεση task switching κάθε φορά που έφτανε κάποιο πακέτο στην διεπαφή συνδέσμου και αιτούνταν παραλαβή. Η απόδοση του προσαρμογέα σε συνάρτηση με τον ρυθμό άφιξης πακέτων διαφόρων μεγεθών φαίνεται στην εικόνα {10}. Παρατηρείται επιπλέον βελτίωση κατά 20% για μικρά πακέτα και κατά 10% για μεγάλα κυρίως λόγω της απαλλαγής του επεξεργαστή να ρυθμίζει την λειτουργία παραλαβής των πακέτων. 21

23 Throughput (Mbps) Arrival Rate (Mbps) Εικόνα 10: Απόδοση προσαρμογέα με ευφυή μονάδα DMA Ένας προσαρμογέας που διαθέτει ξεχωριστό σύστημα διαχείρισης μνήμης, κατανεμημένη οργάνωση μνήμης με τοπικές μνήμες προσαρμοσμένες κοντά στις μονάδες που εξυπηρετούν και ευφυή μονάδα άμεσης πρόσβασης στην μνήμη είναι μέχρι στιγμής η καλύτερη προσέγγιση στην αναζήτηση για ικανοποίηση των απαιτήσεων που τέθηκαν στην αρχή αυτής της εργασίας. Αυτός ο προσαρμογέας με τις τιμές στα χαρακτηριστικά του που θεωρούνται από την αρχή της εργασίας μπορεί να μεταφέρει αναλλοίωτο το εύρος ζώνης μιας γραμμής 8Gbps στην οποία μεταδίδονται πακέτα 1024bytes στα ανώτερα επίπεδα της στοίβα πρωτοκόλλων. Το ποσοστό του χρόνου που η μονάδα επεξεργασίας χρησιμοποιείται για την εργασία της επεξεργασίας πρωτοκόλλου δίνεται στον παρακάτω πίνακα και είναι μεγαλύτερο από τις προηγούμενες διαμορφώσεις. Μέγεθος πακέτων Ποσοστό χρόνου Να σημειωθεί ότι το ποσοστό αυτό δεν γίνεται ποτέ ίσο με την μονάδα γιατί για κάποιο χρονικό διάστημα ο επεξεργαστής θα ανταγωνίζεται με την ευφυή μονάδα DMA και θα περιμένει να αποκτήσει την κυριότητα του διαύλου είτε για να αιτηθεί κάποιας εργασίας διαχείρισης μνήμης, 22

24 είτε για να μεταφέρει τον header κάποιου πακέτου από την κύρια μνήμη του προσαρμογέα στην τοπική του μνήμη και την ίδια στιγμή ο δίαυλος και η μνήμη θα είναι κατειλημμένοι για την μεταφορά ενός πακέτου που παραλαμβάνεται. Αυτός ο χρόνος αναμονής είναι ανάλογος του μεγέθους του πακέτου που παραλαμβάνεται κι έτσι όπως φαίνεται κι από τον πίνακα για τα μικρά πακέτα η μονάδα επεξεργασίας λειτουργεί για περισσότερο του 90% του χρόνου, ποσοστό που μειώνεται στο 50% στην περίπτωση μεγάλων πακέτων. 23

25 Κεφάλαιο 4 Διερεύνηση της αρχιτεκτονικής του επεξεργαστή πρωτοκόλλου του network adapter Η μελέτη του προηγούμενου κεφαλαίου έδειξε ότι ένας προσεκτικά δομημένος προσαρμογέας δικτύου αποτελούμενος από τα κατάλληλα υποσυστήματα μπορεί να εκμεταλλευτεί σε ικανοποιητικό βαθμό το προσφερόμενο από το δίκτυο εύρος ζώνης γραμμής (bandwidth) και να το διατηρήσει όσο γίνεται καλύτερα και μετά την επεξεργασία των ανώτερων επιπέδων της στοίβας πρωτοκόλλων. Στο βασικότερο δομικό στοιχείο του προσαρμογέα, την μονάδα επεξεργασίας, θεωρήθηκε ένας συμβατικός RISC επεξεργαστής όπως ο ARM. Στην συνέχεια θα διερευνηθεί η δυνατότητα χρήσης μιας πιο προωθημένης και πιο σύνθετης μονάδας επεξεργασίας όπως η Cell Broadband Engine που διαθέτει πολλαπλά επεξεργαστικά στοιχεία και ταχύτατη εσωτερική διασύνδεση. Θα αναλυθεί η δυνατότητα κατανομής των λειτουργιών του πρωτοκόλλου για την επεξεργασία ενός πακέτου στα οκτώ επεξεργαστικά στοιχεία του Cell B.E, καθώς και η λύση της παράλληλης επεξεργασίας 8 πακέτων ανεξάρτητα από κάθε επεξεργατικό στοιχείο του Cell. 24

26 4.1 Η αρχιτεκτονική του Cell B.E. Ο επεξεργαστής Cell BE δημιουργήθηκε από την σύμπραξη των εταιριών της IBM, της Sony και της Toshiba. Η αρχιτεκτονική του είναι ετερογενής πολυεπεξεργαστική που περιλαμβάνει δύο ειδών επεξεργαστικά στοιχεία. Αυτά είναι ένας επεξεργαστής αρχιτεκτονικής Power και οχτώ ακόμη νέα επεξεργαστικά στοιχεία που λειτουργούν όλα με συχνότητα ρολογιού 3.2GHz. Η επεξεργαστική μονάδα αρχιτεκτονικής Power (PPE, Power Processing Element) υποστηρίζει δύο ταυτόχρονα hardware-threads και διαθέτει κρυφές μνήμες πρώτου επιπέδου ξεχωριστές για εντολές και δεδομένα και μια κοινή δευτέρου επιπέδου. Τα οκτώ ακόμη επεξεργαστικά στοιχεία ονομάζονται συνεργατικά (SPE, Synergistic Processing Element) και είναι αυτά που παρέχουν το σημαντικότερο μέρος της υπολογιστικής ισχύος του Cell. Kάθε τέτοιο επεξεργαστικό στοιχείο αποτελείται από έναν νέο στην σχεδίαση επεξεργαστή με τοπική μνήμη μεγέθους 256-KByte και τοπικό ελεγκτή μνήμης που την τροφοδοτεί με δεδομένα από την μνήμη του συστήματος. Το chip του Cell BE διαθέτει επιπλέον ενσωματωμένο ελεγκτή διεπαφής μνήμης για σύνδεσή του με εξωτερική μονάδα μνήμης κι ελεγκτή διεπαφής Εισόδου/Εξόδου. Όλα τα παραπάνω στοιχεία διασυνδέονται από ένα εσωτερικό σύστημα διασύνδεσης το Element Interconnect Bus που αποτελείται από τέσσερις δακτύλιους δεδομένων εύρους 16-Bytes το καθένα, δύο με κατεύθυνση την φορά του ρολογιού και δύο με την αντίθετη κατεύθυνση [7]. Το σύστημα διασύνδεσης αναλαμβάνει την παροχή επικοινωνίας μεταξύ των στοιχείων του chip, όπου από ένα στοιχείο σε ένα άλλο μπορούν να αποστέλλονται το πολύ 16-Bytes ανά κύκλο διαύλου με μέγιστο συνολικό ποσό δεδομένων που θα διακινούνται στον δίαυλο τα 96-Bytes/EIB-cycle. Το EIB λειτουργεί στην συχνότητα του 1.6GHz. Ring width 128 bit EIB rings 4 EIBus speed 1.6 GHz Max.element to element transfer 16 Bytes/bus cycle 25

27 Processing element power 3.2 GIPS Εικόνα 11: Η δομή του Cell Broadband Engine 4.2 Network adapter βασισμένος στον Cell BE που χρησιμοποιεί το ένα επεξεργαστικό στοιχείο Η βέλτιστη μέχρι στιγμής διαμόρφωση του προσαρμογέα επιχειρείται να εφαρμοστεί στο τσιπ του Cell BE. Η ιδέα του εγχειρήματος αυτού προέρχεται από την πλατφόρμα εξυπηρετητών BladeCenter της IBM και ο προσαρμογέας που θα προκύψει φιλοδοξεί να προσομοιάζει σε μια υπερ-απλουστευμένη εκδοχή ενός Cell/BE blade [8]. Ο ρόλος της μονάδας επεξεργασίας του προσαρμογέα αποδίδεται αρχικά στο ένα από τα οκτώ συνεργατικά επεξεργαστικά στοιχεία (SPE), οι εργασίες της μονάδας διαχείρισης μνήμης θα εκτελούνται από τον επεξεργαστή Power, η μνήμη πακέτων συνδέεται εξωτερικά στην διεπαφή μνήμης του chip και ο σύνδεσμος με το δίκτυο στην 26

28 διεπαφή Ε/Ε του. Το εσωτερικό σύστημα διασύνδεσης του chip θα αποτελεί στην υλοποίηση αυτή τον δίαυλο του προσαρμογέα. off-chip RAM PHY MAC Cell BE chip Εικόνα 12: Προσαρμογέας βασισμένος στο Cell BE chip Η περίπτωση της υλοποίησης του προσαρμογέα στο chip του Cell ΒΕ προσφέρει κάτι παραπάνω από επεξεργαστικά στοιχεία μεγάλης επεξεργαστικής ισχύος κι αυτό είναι το σύστημα εσωτερικής του διασύνδεσης με τους τέσσερις δακτυλίους του. Το πλεονέκτημα αυτό μπορεί να βρει χρήση στην λειτουργία του προσαρμογέα. Για παράδειγμα, στην περίπτωση ενός απλού διαύλου θα μπορούσε να συμβεί ο επεξεργαστής και η μονάδα DMA να ανταγωνίζονται για τον δίαυλο ώστε ο μεν επεξεργαστής να ζητήσει υπηρεσία από την μονάδα διαχείρισης μνήμης, η μονάδα DMA δε για να μεταφέρει ένα πακέτο στην μνήμη πακέτων. Τώρα όμως με τις διευρυμένες δυνατότητες του EIB και οι δυο επεξεργαστής και μονάδα DMA χρησιμοποιούν από έναν δακτύλιο κι εκτελούν τις εργασίες τους απρόσκοπτα. Το στιγμιότυπο της παραπάνω περίπτωσης φαίνεται σχηματικά στην εικόνα {13} όπου η μονάδα DMA επικοινωνεί με την μνήμη μέσω ενός δακτυλίου και ο επεξεργαστής με την μονάδα διαχείρισης μνήμης μέσω ενός άλλου δακτυλίου. 27

29 memory μp local memory Link i/f DMA bus ring1 bus ring2 mmu local memory Εικόνα 13: Στιγμιότυπο μεταφοράς πακέτου στην μνήμη & εξυπηρέτησης του μp από την μονάδα MMU Οι πολλαπλοί δακτύλιοι του Element Interconnect Bus βοηθούν στην αύξηση ακόμη περισσότερο του ποσοστού του χρόνου που η επεξεργαστική μονάδα του προσαρμογέα εκτελεί χρήσιμη εργασία επεξεργασίας κι αυτό παρουσιάζεται στον παρακάτω πίνακα. Μέγεθος πακέτων Ποσοστό χρόνου Να σημειωθεί η σημαντική αύξηση του ποσοστού αυτού στην περίπτωση πακέτων μεγάλου μεγέθους που με τον τρόπο αυτό ξεπέρασε το 50% που ίσχυε για την περίπτωση απλού διαύλου (όπως αυτό είχε μετρηθεί στην ενότητα 3.3) κι έφτασε μαζί με τις περιπτώσεις μικρών και μεσαίων πακέτων το 98%. Η απόδοση του προσαρμογέα με αυτή την δομή φαίνεται στην εικόνα {14}. Η on-chip αυτή διαμόρφωση δίνει ιδιαίτερα καλά αποτελέσματα στην επίτευξη του ζητούμενου της διατήρησης της διαπερατότητας. Συγκρίνοντας την απόδοση του με αυτή του συμβατικού επεξεργαστή ARM11 παρατηρείται βελτίωση κατά 400% για μικρά πακέτα και κατά 800% για μεγάλα. Η βελτίωση αυτή οφείλεται στην μεγάλη επεξεργαστική ισχύ του Cell BE, στην ταχύτητα και την πολλαπλότητα του συστήματος διασύνδεσης (EIB). 28

30 Throughput (Gbps) Arrival Rate (Gbps) Εικόνα 14: Απόδοση προσαρμογέα (1 επεξεργαστικό στοιχείο) 4.3 Network adapter βασισμένος στον Cell BE που κατανέμει τις λειτουργίες επεξεργασίας ενός πακέτου στα οκτώ επεξεργαστικά στοιχεία του (λειτουργική αποσύνθεση και κατανομή) Στην προσπάθεια περαιτέρω βελτίωσης της απόδοσης του προσαρμογέα εύλογη ήταν η στροφή προς τους υπόλοιπους επεξεργαστικούς πόρους του chip του Cell BE και στην διερεύνηση του τρόπου εκμετάλλευσής τους. Η πρώτη προς την κατεύθυνση αυτή προσέγγιση ήταν να αποσυντεθεί λειτουργικά η διαδικασία της επεξεργασίας του πρωτοκόλλου σε μικρότερες εργασίες [3]. Κι έπειτα τηρουμένων πάντα των εξαρτήσεων που υπάρχουν ανάμεσα σε αυτές να κατανεμηθούν και στα οκτώ συνεργατικά επεξεργαστικά στοιχεία του chip. Στην περίπτωση αυτή έχουμε ταυτόχρονη επεξεργασία ενός πακέτου από το σύνολο των επεξεργαστικών πόρων του Cell BE. Η ανάλυση του πρωτοκόλλου σε μικρότερες λειτουργίες και η χαρτογράφηση στα επεξεργαστικά στοιχεία παράγει ένα δέντρο εξαρτήσεων και δίνει μια ροή εργασιών που το κρίσιμο μονοπάτι της είναι μικρότερο από την αρχική ροή. 29

31 Protocol function 1 Protocol function 2 Protocol function N Εικόνα 15: Λειτουργική αποσύνθεση και κατανομή Ένας τέτοιος προσαρμογέας μοντελοποιήθηκε κάτω από τις υποθέσεις ότι δεν υπάρχουν επιπλέον καθυστερήσεις συγχρονισμού των επεξεργαστικών μονάδων και ότι το κρίσιμο μονοπάτι στην ροή των λειτουργιών της επεξεργασίας πρωτοκόλλου έπειτα από την κατανομή τους στους οκτώ επεξεργαστικούς πόρους μειώθηκε στον αριθμό των 208 εντολών [5] από το αρχικό των 351 εντολών. Η απόδοση του προσαρμογέα όπως εκτιμήθηκε από το εργαλείο εξομοίωσης φαίνεται στην εικόνα {16}. Οι μετρήσεις έγιναν όπως κάθε φορά για διάστημα εμπιστοσύνης 95% και η λειτουργία του προσαρμογέα εξομοιώθηκε για ικανό αριθμό πακέτων ώστε να εξαχθεί αυτό το διάστημα. Από την παρατήρηση του διαγράμματος απόδοσης φαίνεται ότι για όλα τα πακέτα ανεξάρτητα από το μέγεθος τους σημειώθηκε βελτίωση κατά 40% από την απόδοση του προσαρμογέα που λειτουργούσε με το ένα επεξεργαστικό στοιχείο. Η βελτίωση αυτή οφείλεται στην ανάλογη μείωση του χρόνου επεξεργασίας πρωτοκόλλου. 30

32 120 Throughput (Gbps) Arrival Rate (Gbps) Εικόνα 16: Απόδοση (λειτουργική κατανομή του πρωτοκόλλου στα 8 επεξεργαστικά στοιχεία) 4.4 Network adapter βασισμένος στον Cell BE με παράλληλη επεξεργασία πολλαπλών πακέτων Η δεύτερη προσέγγιση στην κατεύθυνση για την εκμετάλλευση όλων των επεξεργαστικών πόρων του Cell BE είναι ο χωρικός παραλληλισμός[5]. Η ταυτόχρονη και παράλληλη δηλαδή επεξεργασία των πακέτων ξεχωριστά από τις μονάδες επεξεργασίας του τσίπ του Cell BE. Σε κάθε συνεργατικό επεξεργαστή (SPE) ανατίθεται η επεξεργασία πρωτοκόλλου ενός πακέτου ξεχωριστά και ανεξάρτητα από τα υπόλοιπα επεξεργαστικά στοιχεία. Στην περίπτωση αυτή ωστόσο θα πρέπει να δοθεί ειδική μέριμνα για την εξασφάλιση της σωστής σειράς των πακέτων έπειτα από την επεξεργασία τους. Επειδή ο χρόνος επεξεργασίας ποικίλει είναι πιθανό να συμβεί το ακόλουθο. Τελειώνοντας η επεξεργασία κάποιου πακέτου νωρίτερα από άλλες προηγούμενα ληφθέντων πακέτων ενδέχεται αυτό να εισαχθεί στην ουρά π.χ. των εξερχόμενων πριν από τα άλλα με συνέπεια τα πακέτα να προωθηθούν με σειρά διαφορετική από αυτήν που παραλήφθηκαν. Ωστόσο αυτό δεν επιτρέπεται να συμβαίνει και η λειτουργία του προσαρμογέα θα πρέπει να εμπλουτιστεί με μια επιπλέον εργασία, την εργασία τοποθέτησης των πακέτων στην ίδια σειρά με την οποία παραλήφθηκαν έπειτα και από 31

33 την επεξεργασία τους. Λύσεις για τον τρόπο με τον οποίο θα γίνεται το resequencing των πακέτων που τίθενται εκτός σωστής σειράς στην παράλληλη αυτή αρχιτεκτονική αναφέρονται στο [5]. Ως βέλτιστη λύση αναδεικνύεται ένας αλγόριθμος την εκτέλεση του οποίου αναλαμβάνουν τα ίδια τα επεξεργαστικά στοιχεία και όχι η μονάδα διαχείρισης της μνήμης πακέτων. Η μονάδα διαχείρισης μνήμης παραμένει το παθητικό στοιχείο που είναι και στις προηγούμενες διαμορφώσεις που εκτελεί απλές εργασίες διαχείρισης ουρών. Επιβαρύνεται μόνο με το να συγκρατεί δυο ακόμα είδη ουρών που θα παρουσιαστούν στην επόμενη παράγραφο Αλγόριθμος Resequencing Στον αλγόριθμο αυτό χρησιμοποιούνται οι ακόλουθες ουρές. Μια ουρά εισόδου (Input_Queue) στην οποία συνδέονται τα πακέτα καθώς εισέρχονται στον προσαρμογέα, μια ή περισσότερες ουρές εξόδου (μια για κάθε έξοδο του προσαρμογέα, Output_Queue) στην οποία συνδέονται τα επεξεργασμένα πακέτα που έχουν την σωστή σειρά, οι ουρές αναμονής (μια για κάθε επεξεργαστικό στοιχείο, Wait_Queue) που συγκρατούν τα πακέτα που έχουν υποστεί επεξεργασία αλλά είναι εκτός σειράς και τέλος μια ουρά που χρησιμοποιείται για να αποθηκεύεται η σειρά με την οποία οι επεξεργαστές ανακτούν επικεφαλίδες πακέτων προς επεξεργασία (IDProc_Queue). Στην εικόνα {17} φαίνονται οι ουρές που πλέον η μονάδα διαχείρισης της μνήμης πακέτων θα πρέπει να συγκρατεί. Έτσι στις ήδη υπάρχουσες ουρές προστίθενται η ουρά IDProc_Queue και οι ουρές Wait_Queues. Input_Queue Wait_Queue 1 Output_Queue 1 packet IDProc_Queue id id id Wait_Queue N Output_Queue k Εικόνα 17: Οι ουρές που συγκρατεί η μονάδα MMU 32

34 Κάθε επεξεργαστικό στοιχείο εκτελεί τον αλγόριθμο που δίνεται παρακάτω στην σκιασμένη περιοχή. Ένα ανενεργό επεξεργαστικό στοιχείο ξεκινά την εκτέλεση του αλγόριθμου όταν η ουρά εισόδου δεν είναι κλειδωμένη και δεν είναι κενή. Να σημειωθεί ότι όταν ένα επεξεργαστικό στοιχείο προσπελάυνει την κεφαλή της ουράς εισόδου ή της IDProc_Queue αυτές κλειδώνουν. Όσο είναι κλειδωμένες μόνο το συγκεκριμένο στοιχείο μπορεί να έχει πρόσβαση στην κεφαλή της ουράς. Καθώς τα πακέτα εισέρχονται στον προσαρμογέα αποθηκεύονται στην μνήμη πακέτων και συνδέονται στην ουρά εισόδου. Αν η κεφαλή της ουράς αυτής δεν είναι κλειδωμένη και ένας τουλάχιστον επεξεργαστής είναι ανενεργός τότε κάποιος από αυτούς κλειδώνει την κεφαλή της ουράς, ανακτά την επικεφαλίδα του πακέτου και αποσυνδέει το πακέτο από την ουρά. Έπειτα γράφει το αναγνωριστικό του (MpID) στο τέλος της ουράς IDProc_Queue και ξεκλειδώνει την κεφαλή της ουράς εισόδου ώστε το επόμενο πακέτο στην ουρά αυτή να γίνει διαθέσιμο προς επεξεργασία. Η επεξεργασία της επικεφαλίδας του πακέτου ξεκινά. Με το που τελειώσει η επεξεργασία ο επεξεργαστής κλειδώνει αυτή την φορά την κεφαλή της ουράς IDProc_Queue και συγκρίνει το αναγνωριστικό του με το πρώτο στοιχείο αποθηκευμένο στην IDProc_Queue. Αν αυτά δεν ταιριάζουν τότε εισάγει το πακέτο στην ουρά αναμονής που αντιστοιχεί στον ίδιο. Αν πάλι ταιριάζουν τότε ο επεξεργαστής αφαιρεί το αναγνωριστικό του από της κεφαλή της IDProc_Queue, εισάγει το πακέτο στην προοριζόμενη ουρά εξόδου κι ελέγχει την ουρά αναμονής του επεξεργαστή που είναι ο επόμενος στην IDProc_Queue. Ο έλεγχος αυτός γίνεται επειδή άλλα πακέτα ήδη επεξεργασμένα αλλά εκτός σειράς μπορεί να περιμένουν για αυτό που μόλις εισήχθη στην ουρά εξόδου. Αν λοιπόν η ουρά αναμονής είναι άδεια, η κεφαλή της IDProc_Queue ξεκλειδώνεται και ο επεξεργαστής ξαναγίνεται ανενεργός. Στην αντίθετη περίπτωση ο επεξεργαστής εξάγει το αναγνωριστικό από την IDProc_Queue και μεταφέρει το πακέτο από την αντίστοιχη ουρά αναμονής στην ουρά εξόδου. Συνεχίζει αυτή την διαδικασία ώσπου είτε να αδειάσει η IDProc_Queue, είτε να συναντήσει άδεια ουρά αναμονής που αντιστοιχεί στο αναγνωριστικό της IDProc_Queue. Στο σημείο αυτό ο επεξεργαστής ξεκλειδώνει την κεφαλή της IDProc_Queue και γίνεται ανενεργός. Lock the head of the Input_Queue. Fetch header of packet at head of Input_Queue and remove packet from Input_Queue. 33

35 Write MpID to IDProc_Queue. Unlock the head of Input_Queue. Process header. Lock the head of the IDProc_Queue. If MpID = first ID in IDProc_Queue { Remove ID from head of IDProc_Queue. Enqueue packet in Output_Queue. While Wait_Queue(first ID in IDProc_Queue) is not empty { Remove ID from head of IDProc_Queue. Transfer packet from Wait_Queue to an Output_Queue. } } Else Enqueue packet in Wait Queue(MpID). Unlock the head of the IDProc Queue Παρατηρήσεις επί της υλοποίησης του αλγορίθμου resequencing Στον αλγόριθμο όπως προαναφέρθηκε χρησιμοποιείται μία κοινή ουρά εισόδου για τα πακέτα που παραλαμβάνονται από το δίκτυο και δεν έχουν υποστεί επεξεργασία. Από αυτή την ουρά τα επεξεργαστικά στοιχεία του προσαρμογέα όταν τελειώσουν την επεξεργασία ενός προηγούμενου πακέτου ανακτούν το επόμενο προς επεξεργασία. Αυτή λοιπόν η δυναμική ανάθεση των πακέτων ανάλογα με την διαθεσιμότητα των επεξεργαστικών στοιχείων επιτυγχάνει εξισορρόπηση του επεξεργαστικού φορτίου. Η υλοποίηση των διαδικασιών του resequencing που όπως διατυπώθηκε επιβαρύνει τους επεξεργαστές προσθέτει ένα επιπλέον κόστος κατά μέσο όρο 64 εντολών στο κρίσιμο μονοπάτι της λειτουργίας της επεξεργασίας για κάθε επεξεργαστικό στοιχείο. Από την μεριά της η μονάδα διαχείρισης μνήμης δέχεται επιπλέον αιτήματα εργασιών διαχείρισης που ένας επεξεργαστής της ισχύος του PPE του Cell μπορεί εύκολα να διεκπεραιώσει. 34

36 4.4.3 Απόδοση του network adapter που βασίζεται στο Cell BE κι εκτελεί παράλληλη επεξεργασία οκτώ πακέτων Στην εξομοίωση του μοντέλου επιλέχθηκε ο χρόνος επεξεργασίας να έχει εκθετική κατανομή ώστε να εμφανιστούν πακέτα εκτός σειράς. Η εκτίμηση της απόδοσης του προσαρμογέα φαίνεται στην εικόνα {18}. Για πακέτα μεγέθους 1024 Bytes η απόδοση είναι 2,5 φορές μεγαλύτερη αυτής που η επεξεργασία γίνεται από ένα επεξεργαστικό στοιχείο και για πακέτα 256 και 64 Bytes είναι 5,5 φορές μεγαλύτερη. Στην περίπτωση των μεγάλων πακέτων η βελτίωση δεν είναι ίδια με αυτή των μεσαίων και μικρών πακέτων επειδή έφτασε στο ανώτατο όριο λειτουργίας του ο ελεγκτής της διεπαφής με την μνήμη. Όπως αναφέρθηκε και στην παράγραφο 4.1 κάθε στοιχείο του τσιπ του Cell BE που συνδέεται στο σύστημα εσωτερικής διασύνδεσης μπορεί να λάβει ή να στείλει το ανώτερο μέχρι 16-Bytes ανά κύκλο του ΕΙΒ. Έτσι κι από τον ελεγκτή μνήμης μπορούν να περάσουν μέχρι 16- Bytes/EIB-cycle ή διαφορετικά 25.6GBps (16B*1.6GHz). Από το διάγραμμα βλέπουμε ότι για πακέτα των 1024Bytes έχουμε απόδοση 180Gbps ή αλλιώς 22.5GBps νούμερο που προσεγγίζει το ανώτατο όριο δεδομένων για τον ελεγκτή μνήμης. Αλλά και στην περίπτωση των μεσαίων και μικρών πακέτων η βελτίωση είναι μικρότερη από την θεωρητική (8πλάσια) λόγω της επιβάρυνσης της λειτουργίας επεξεργασίας με την προσθήκη του αλγορίθμου resequencing. Peak bandwidth of data to main memory 25.6Gbytes/sec Peak network adapter throughput for 1024Byte packets 22.5Gbytes/sec 35

37 Throughput (Gbps) Arrival Rate (Gbps) Εικόνα 18: Απόδοση (παράλληλη επεξεργασία, 8 επεξεργαστικά στοιχεία) Στην εικόνα {19} δίνεται η απόδοση του προσαρμογέα αν χρησιμοποιηθούν λιγότερα επεξεργαστικά στοιχεία, στην περίπτωση αυτή τέσσερα. Για πακέτα μεγέθους 1024 Bytes η απόδοση είναι 2,5 φορές μεγαλύτερη αυτής με ένα επεξεργαστικό στοιχείο και για πακέτα 256 και 64 Bytes είναι 3 φορές μεγαλύτερη Throughput (Gbps) Arrival Rate (Gbps) Εικόνα 19: Απόδοση (παράλληλη επεξεργασία, 4 επεξεργαστικά στοιχεία) 36

38 4.5 Σύνοψη των επεξεργαστών Στις παρακάτω εικόνες δίνονται οι αποδόσεις των προσαρμογέων για πακέτα διαφόρων μεγεθών με μεταβλητή την τεχνολογία του επεξεργαστή που χρησιμοποιούν Throughput (Gbps) Cell BE 8SPEs Cell BE 4SPEs Cell BE distributed LLC Cell BE 1SPE ARM Arrival Rate (Gbps) Εικόνα 20: Απόδοση προσαρμογέα (πακέτα 64 Bytes) Throughput (Gbps) Cell BE 8SPEs Cell BE 4SPEs Cell BE distributed LLC Cell BE 1SPE ARM Arrival Rate (Gbps) Εικόνα 21: Απόδοση προσαρμογέα (πακέτα 256 Bytes) 37

39 Throughput (Gbps) 200,0 180,0 160,0 140,0 120,0 100,0 80,0 60,0 40,0 20,0 Cell BE 8SPEs Cell BE 4SPEs Cell BE distributed LLC Cell BE 1SPE ARM11 0, Arrival Rate (Gbps) Εικόνα 22: Απόδοση προσαρμογέα (πακέτα 1024 Bytes) Στην τελευταία εικόνα επισημαίνεται ότι η απόδοση του προσαρμογέα δικτύου για τις διαμορφώσεις με τέσσερα και οκτώ επεξεργαστικά στοιχεία είναι ίδια και ίση με 180Gbit/sec. 38

40 Κεφάλαιο 5 Διερεύνηση της αρχιτεκτονικής της μονάδας διαχείρισης της μνήμης πακέτων Η ταχύτητα παραλαβής πακέτων επηρεάζεται όχι μόνο από τα χαρακτηριστικά της μνήμης και του διαύλου δεδομένων αλλά και από την απόδοση της μονάδας διαχείρισης της μνήμης πακέτων. Γίνεται η υπόθεση ότι μόλις τελείωσε η μεταφορά ενός πακέτου από τον σύνδεσμο στην μνήμη και αυτό εισάγεται στην κατάλληλη ουρά. Για να παραληφθεί ένα νέο πακέτο χρειάζεται μια νέα διεύθυνση ελεύθερου buffer στην μνήμη. Αυτή η διεύθυνση μπορεί να μην είναι διαθέσιμη πριν τελειώσει η εργασία εισαγωγής του προηγούμενου πακέτου στην ουρά από την MMU. Ακόμη κι αν γίνεται εκ των προτέρων ανάκτηση και αποθήκευση (cashing) τέτοιων διευθύνσεων αυτή η αλληλεπίδραση δεν μπορεί να αποφευχθεί στην περίπτωση πακέτων μικρού μεγέθους που καταφτάνουν σε πολύ πυκνά χρονικά διαστήματα. Για μια MMU που δεν είναι ιδιαίτερα γρήγορη η κατάσταση αυτή επιδεινώνει την συνολική απόδοση. Για να φανεί το πόσο επηρεάζει την απόδοση ενός προσαρμογέα δικτύου η απόδοση της μονάδας διαχείρισης της μνήμης πακέτων θα διεξαχθεί ένα πείραμα. Με την βοήθεια εξομοιώσεων αρχικά θα μετρηθεί η απόδοση ενός προσαρμογέα στον πρώτο σύνδεσμο του οποίου φτάνουν πακέτα χωρίς να μεσολαβεί χρόνος μεταξύ των αφίξεων και προωθούνται από έναν δεύτερο σύνδεσμο συνδεδεμένο στον ίδιο προσαρμογέα. Ο χρόνος επεξεργασίας των πακέτων θεωρείται μηδενικός. Έπειτα θα εξεταστούν δυο επιλογές που έχουν σκοπό να βελτιώσουν την απόδοση του συστήματος. Η πρώτη είναι η απόσπαση της MMU από τον δίαυλο ώστε η επικοινωνία με την 39

41 μονάδα αυτή να μην παρεμβάλλεται στην διαδικασία μεταφοράς ενός πακέτου. Και η δεύτερη είναι η χρήση κατανεμημένης MMU. 5.1 Μονάδα διαχείρισης μνήμης πακέτων συνδεδεμένη στον δίαυλο του συστήματος Στο μοντέλο αυτού του προσαρμογέα υπάρχουν δυο διεπαφές δικτύου όπως σε αυτό της εικόνας {23}. Στην πρώτη διεπαφή φτάνουν πακέτα με μηδενική χρονική διαφορά του ενός από το άλλο, ακολουθείται η διαδικασία παραλαβής τους από τον προσαρμογέα και αφού υποστούν μια πλασματική επεξεργασία (μηδενική καθυστέρηση επεξεργασίας) ακολουθούν την διαδικασία αποστολής τους και τελικά την προώθηση τους από την δεύτερη διεπαφή δικτύου. pck memory mmu local memory μp local memory Link i/f Link i/f Εικόνα 23: MMU συνδεδεμένη στον δίαυλο του συστήματος Οι τιμές στα χαρακτηριστικά του μοντέλου αυτού δίνονται στον παρακάτω πίνακα. Bus width Bus speed MMU clock Packet interarrival time Processing delay 64 bit 133 MHz 100MHz 0 sec 0 sec Η απόδοση του συστήματος αυτή την φορά μετρούμενη σε χιλιάδες πακέτα το δευτερόλεπτο δίνεται σαν συνάρτηση του μεγέθους των πακέτων και φαίνεται στην εικόνα {26}. Στην ίδια εικόνα φαίνονται και οι αποδόσεις για τις υπόλοιπες διαμορφώσεις, γι' αυτές όμως θα γίνει λόγος στις επόμενες παραγράφους. Η απόδοση του συστήματος στην περίπτωση αυτή 40

42 περιορίζεται από το γεγονός ότι η MMU είναι κοινόχρηστος πόρος μεταξύ των συνδέσμων και από το ότι όλη η επικοινωνία με την μονάδα αυτή γίνεται πάνω από τον δίαυλο. 5.2 Μονάδα διαχείρισης μνήμης πακέτων αποσπασμένη από τον δίαυλο του συστήματος Αν η μονάδα διαχείρισης μνήμης αποσπαστεί από τον δίαυλο του συστήματος τότε η επικοινωνία με την MMU δεν θα παρεμβάλλεται στην διαδικασία μεταφοράς του πακέτου. Στην εικόνα {26} φαίνεται η βελτίωση στην απόδοση του συστήματος. Πιο συγκεκριμένα στην περίπτωση πακέτων μικρού μεγέθους παρατηρείται η σημαντικότερη βελτίωση 30%-40% που οφείλεται στην αύξηση του ποσοστού χρησιμοποίησης της μονάδας MMU ενώ όπως ήταν αναμενόμενο στην περίπτωση των πακέτων μεγάλου μεγέθους δεν υπήρχε αξιοσημείωτη βελτίωση αφού εκεί υπερισχύει η καθυστέρηση μεταφοράς του πακέτου από και προς την μνήμη έναντι των καθυστερήσεων διαχείρισης μνήμης. Σημειώνεται ότι η βελτίωση στην περίπτωση MMU χαμηλής ταχύτητας που είναι και η συγκεκριμένη είναι σχετικά μικρή επειδή η μονάδα χρησιμοποιούνταν ήδη από την προηγούμενη περίπτωση κοντά στο 80% όπως φαίνεται και στην εικόνα {27}. pck memory μp local memory Link i/f Link i/f mmu local memory Εικόνα 24: MMU αποσπασμένη από τον δίαυλο του συστήματος 41

43 5.3 Κατανεμημένη μονάδα διαχείρισης μνήμης Ανάλυση αρχιτεκτονικής προσαρμοστών δικτύου Ακριβώς για τον λόγο ότι το ποσοστό χρησιμοποίησης της μονάδας διαχείρισης της μνήμης πακέτων έφτασε το ανώτατο όριο του 100% στην προηγούμενη περίπτωση είναι εύλογη η απόφαση χρήσης περισσότερων μονάδων MMU. Όπως φαίνεται και στην εικόνα {25} αντιστοιχείται μια μονάδα MMU σε κάθε διεπαφή δικτύου. Οι μονάδες αυτές μοιράζονται τον ίδιο χώρο αποθήκευσης για να κρατούν τις πληροφορίες διαχείρισης. Η λύση αυτή βελτιώνει ακόμη περισσότερο την απόδοση του συστήματος είναι όμως αποδεκτή για μικρό σχετικά αριθμό διεπαφών δικτύου. Μεγαλώνοντας ο αριθμός διεπαφών μεγαλώνει ο αριθμός συγκρούσεων μεταξύ των αιτήσεων διαχείρισης μνήμης. pck mem μp local memory Link i/f mmu Link i/f mmu local memory Εικόνα 25: Κατανεμημένη MMU Στην εικόνα {26} φαίνεται και η απόδοση του συστήματος με κατανεμημένη δομή της μονάδας διαχείρισης μνήμης. Η απόδοση για μικρά πακέτα στην περίπτωση κατανεμημένης MMU είναι διπλάσια από αυτή της συνδεδεμένης στον δίαυλο του συστήματος MMU. Το άθροισμα του ποσοστού χρησιμοποίησης των δύο μονάδων MMU της διαμόρφωσης αυτής φαίνεται στην εικόνα {27}. 42

44 MMU Configurations attached mmu detached mmu distributed mmu System Throughput (KPps) Packet Size (Bytes) Εικόνα 26: Απόδοση για διάφορα mmu configurations MMU Utilization attached mmu detached mmu distributed mmu 2,0 1,8 1,6 1,4 MMU Utilization 1,2 1,0 0,8 0,6 0,4 0,2 0, Packet Length (Bytes) Εικόνα 27: Ποσοστό χρησιμοποίησης MMU 43

45 Κεφάλαιο 6 Συμπεράσματα Στην εργασία αυτή μελετήθηκε η αρχιτεκτονική των προσαρμογέων δικτύου κι επιχειρήθηκε να δειχθεί ότι οι αποφάσεις για την δομή και την κατασκευή τους και κατ' επέκταση κάθε επικοινωνιακού συστήματος αποτελούν ζωτικής σημασίας στοιχεία στον τομέα των δικτύων υψηλής ταχύτητας. Ένας προσεκτικά δομημένος προσαρμογέας μπορεί να λειτουργήσει αρμονικά συνδεόμενος σε μια γραμμή υψηλής ταχύτητας και να διατηρήσει αυτήν της την ταχύτητα μέχρι τα ανώτερα επίπεδα της στοίβας πρωτοκόλλων. Μελετήθηκε η ευεργετική επίδραση της εισαγωγής μονάδας διαχείρισης της μνήμης πακέτων, της τοποθέτησης τοπικής μνήμης στην μονάδα επεξεργασίας και της ανεξαρτητοποίησης της από εργασίες πέραν της επεξεργασίας των πρωτοκόλλων. Έπειτα δοκιμάσθηκαν οι προσεγγίσεις της λειτουργικής αποσύνθεσης των εργασιών επεξεργασίας πρωτοκόλλου σε περισσότερα επεξεργαστικά στοιχεία, καθώς και της παράλληλης και ανεξάρτητης επεξεργασίας περισσότερων του ενός πακέτων. Τέλος διερευνήθηκαν τρόποι αύξησης της απόδοσης της μονάδας διαχείρισης μνήμης με την αποσύνδεση της από τον δίαυλο του συστήματος και την εισαγωγή πολλαπλών τέτοιων μονάδων. Για όλα τα παραπάνω αναπτύχθηκαν μοντέλα εξομοίωσης από τα οποία εξήχθησαν προσεγγίσεις για την απόδοση τους. 44