Υ07 Παράλληλα Συστήματα 2013-14 29/10/2013 Οργάμωπη κξιμήο μμήμηο (Ι) Η διαπύμδεπη επενεργαπρώμ-μμημώμ Β. Δημακόπουλοσ
Ραραλλθλιςμόσ ςτον επεξεργαςτι Ι Αφξθςθ επιδόςεων = παραλλθλία => ΡΑΑΛΛΗΛΙΑ ΜΕΣΑ ΣΤΟΝ ΕΡΕΞΕΓΑΣΤΗ 1 θ ιδζα: παραλλθλιςμόσ ςτα bits (αφξθςθ bit length) 2 θ ιδζα: Διοχζτευςθ (pipelining) O κφκλοσ εκτζλεςθσ μίασ εντολισ ςπάει ςε βιματα που επικαλφπτονται χρονικά μζςω πολλαπλϊν εντολϊν: Διοχζτευςθ => αφξθςθ throughput Κακυςτεριςεισ και εξαρτιςεισ εντολϊν => όρια ςτο που μποροφμε να φτάςουμε UNIVERSITY OF IOANNINA #2 Υ07 - Χειμεριμό 2013
Ραραλλθλιςμόσ ςτον επεξεργαςτι ΙΙ 3 θ ιδζα: instruction level parallelism (ILP) Ρροςκόμιςθ και εκτζλεςθ πολλϊν εντολϊν μαηί Ρρόβλθμα οι εξαρτιςεισ και το πολφ hardware «Ραραλλαγζσ» και τεχνικζσ: Superscalar (εντόσ ςειράσ) Εκτζλεςθ εκτόσ ςειράσ (out-of-order execution) Ρρόγνωςθ διακλαδϊςεων (branch prediction) Εικαηόμενθ εκτζλεςθ (speculative execution) HOMEWORK για επόμενθ φορά: UNIVERSITY OF IOANNINA #3 Υ07 - Χειμεριμό 2013
Ραραλλθλιςμόσ ςυςτιματοσ: πολλαπλοί επεξεργαςτζσ Βαςικι οργάνωςθ ςυςτιματοσ κοινισ μνιμθσ ΕΠ 1 ΕΠ 2 ΕΠ Ν ΔΙΚΣΤΟ ΔΙΑΤΝΔΕΗ ΕΠΕΞΕΡΓΑΣΩΝ ΜΝΗΜΩΝ Μ 1 Μ 2 Μ Μ Κοινές Μνήμες UNIVERSITY OF IOANNINA #4 Υ07 - Χειμεριμό 2013
Δίκτυο κοινοφ μζςου, system bus System / backplane bus Ο δίαυλοσ του ςυςτιματοσ επάνω ςτισ πλακζτεσ Το backplane bus ςυνικωσ με εξωτερικι καλωδίωςθ Υψθλζσ ταχφτθτεσ Ρυκνι καλωδίωςθ (50 300 γραμμζσ και παραπάνω) Γραμμζσ δεδομζνων Γραμμζσ διευκφνςεων Γραμμζσ ελζγχου Γπαμμέρ δεδομένων, διεςθύνζεων και ελέγσος ΕΠ 1 ΕΠ 2 ΕΠ Ν ΜΝΗΜΗ ΔΙΑΥΛΟΣ (BUS) #5
Χαρακτθριςτικά διαφλου ςυςτιματοσ Χρονιςμόσ μεταφοράσ Σφγχρονοσ / αςφγχρονοσ Διαιτθςία (arbitration) Κεντρικόσ διαιτθτισ Αποκεντρωμζνθ (δεν υπάρχει διαιτθτισ) Ολοκλιρωςθ ενεργειϊν Ο δίαυλοσ κατειλθμμζνοσ κακ όλθ τθν διάρκεια τθσ πράξθσ (π.χ. ανάγνωςθ από τθ μνιμθ) Βελτίωςθ: Split-transaction buses Ρροβλιματα με ατομικζσ πράξεισ Ραραδείγματα: SGI PowerPath-2 (1.2 GB/s), DEC AlphaServer (2.1 GB/s), SUN GigaPlane (2.68 GB/s) (όλα με split transactions, > 300 γραμμζσ) #6
Ρροβλιματα Δεν κλιμακϊνονται εφκολα ςε μεγάλο αρικμό επεξεργαςτϊν Λίγοι επεξεργαςτζσ Ο δίαυλοσ γίνεται το bottleneck Καλωδίωςθ: Λίγα καλϊδια, μικρι ταχφτθτα Ρολλά καλϊδια, δφςκολθ καταςκευι Πχι ταυτόχρονθ χριςθ του μζςου (άρα όχι παράλλθλεσ επικοινωνίεσ) Χρθςιμοποιοφνται μόνο ςε μικρά παράλλθλα ςυςτιματα #7
Βελτιϊςεισ: υβριδικά δίκτυα Αποτελοφνται ςυνικωσ από δίκτυα πολλαπλϊν διαφλων, τα οποία ενϊνονται μεταξφ τουσ με κάποιο τρόπο Τρόποσ να «κλιμακϊςουμε» το κοινό μζςο (το οποίο πλζον δεν κα είναι κοινό ςε όλο το μικοσ του) Ξαναγίνονται ενδιαφζροντα, λόγω οπτικισ τεχνολογίασ Μερικά από αυτά Multiple buses (πολλαπλοί δίαυλοι) Ιεραρχικοί δίαυλοι #8
Ρολλαπλοί δίαυλοι Ρολλαπλοί δίαυλοι Δφςκολο wiring Στθν πράξθ δεν ζχει πολυχρθςιμοποιθκεί Κςωσ πάνω ςε οπτικζσ ίνεσ #9
Ιεραρχικοί δίαυλοι Οι δίαυλοι υψθλότερα ςτθν ιεραρχία πρζπει να ζχουν μεγαλφτερο bandwidth Ρ.χ. bridged ethernets, Encore Gigamax (είχε οπτικζσ ίνεσ για το global bus για αφξθςθ του bamdwidth) #10
Διακξπρικά δίκρςα
Δίκτυα διακοπτϊν (switch-based networks) Οι επεξεργαςτζσ / μνιμεσ ΔΕΝ αποτελοφν κόμβουσ του δικτφου, αλλά ειςόδουσ / εξόδουσ Το δίκτυο αποτελείται από διακόπτεσ ςυνδεδεμζνουσ μεταξφ τουσ. Οι διακόπτεσ ΔΕΝ δθμιουργοφν κίνθςθ, απλά τθν προωκοφν Δεν υπάρχουν «γειτονικοί» επεξεργαςτζσ/μνιμεσ. Για να επικοινωνιςουν ζνασ επεξεργαςτισ με μία μνιμθ πρζπει να γίνει ςφνδεςθ μζςω διακοπτϊν. #12
Δίκτυα διακοπτϊν Ρρωτοχρθςιμοποιικθκαν ςτθν τθλεφωνία Χρθςιμοποιοφνται εςωτερικά ςε high-performance ethernet / ATM / optical / κλπ. switches (δθλαδι το switch φτιάχνεται από διακοπτικό δίκτυο(!)) Χρθςιμοποιοφνται ςε παράλλθλα ςυςτιματα για διαςφνδεςθ επεξεργαςτϊν μεταξφ τουσ (κατανεμθμζνθ μνιμθ) ι για διαςφνδεςθ επεξεργαςτϊν με μνιμεσ (κοινι μνιμθ) Συνικωσ αριςτερά οι επεξεργαςτζσ («είςοδοι» του δικτφου) και δεξιά οι μνιμεσ ι πάλι οι επεξεργαςτζσ («ζξοδοι» του δικτφου) #13
Διάφορα είδθ 1 μεγάλοσ διακόπτθσ (crossbar switch) Μία κατθγορία από μόνοσ του Ρολλοί μικρότεροι, διαςυνδεδεμζνοι μεταξφ τουσ (multistage networks) Δομθμζνα (υπάρχει δομθμζνοσ τρόποσ διαςφνδεςθσ των διακοπτϊν) Αδόμθτα (οι διακόπτεσ ςυνδζονται με ακανόνιςτο τρόπο παράγοντασ ζνα εντελϊσ αςφμμετρο δίκτυο) Ρ.χ. Myrinet switches μποροφν να ςυνδεκοφν με οποιοδιποτε τρόπο μεταξφ τουσ. #14
Διακόπρηο crossbar (διαπραςρωρικόο)
Διαςταυρωτικόσ διακόπτθσ N U M Ζχει N «ειςόδουσ» και M «εξόδουσ» Συμβολιςμόσ: Ν 1 0 1 0 1 Μ 1 0 1 Ν 1 0 1 Μ 1 #16
out0 Λειτουργία out1 out2 out3 in0 in1 in2 Αν Ν = Μ, μποροφν ταυτόχρονα όλεσ οι είςοδοι να είναι ςυνδεδεμζνεσ με όλεσ τισ εξόδουσ (κάκε είςοδοσ με μία διαφορετικι ζξοδο) Πλεσ οι δυνατζσ μετακζςεισ #17
Υλοποίθςθ με πολυπλζκτεσ / ςυμπυκνωτζσ ctrl0 out0 ctrl1 out1 ctrl2 out2 ctrl3 out3 in0 in1 in2 concentrator / combiner distributor / splitter #18
Κόςτοσ υπερβολικό Για τετράγωνουσ (Ν = Μ), το κόςτοσ είναι τάξθσ Ν 2 Ν 2 διακοπτικά ςθμεία ςτο πλζγμα Ν concentrators και distributors, κόςτουσ Θ(N) ο κακζνασ Θ(Ν 2 ) κόςτοσ υλοποίθςθσ ςε VLSI για area layout Αν χρθςιμοποιείται ωσ system interconnect (αντί για δίαυλο), τότε ΚΑΘΕ γραμμι ειςόδου / εξόδου κα αποτελείται από εκατοντάδεσ ςιματα / καλώδια (ςιματα διευκφνςεων, δεδομζνων, ελζγχου). Αδφνατθ θ καταςκευι για μεγάλο Ν. Αν το / τα chip περιζχουν μόνο τον διακόπτθ, ςυνικωσ ζχει υπερβολικό αρικμό ακίδων (pin-limited), αλλιϊσ επικρατεί το τετράγωνο για το area layout (area limited) #19
Κόςτοσ και καταςκευι Μπορεί να υλοποιθκεί δομθμζνα και από μικρότερουσ crossbar το κόςτοσ παραμζνει τετραγωνικό, όμωσ Μόνο για μικρό # ειςόδων / εξόδων (ι μζτριο με λίγα ςιματα ανά γραμμι) #20
Πξλςεπίπεδα δίκρςα (multistage interconnection networks MINs)
Ρολυεπίπεδα / πολλαπλϊν ςταδίων δίκτυα (MINs) Ρολλαπλά επίπεδα ι ςτάδια από μικροφσ διακόπτεσ crossbar. Τα ςτάδια ςυνδζονται μεταξφ τουσ Στο πρϊτο ςτάδιο βρίςκονται οι είςοδοι του δικτφου, ςτο τελευταίο οι ζξοδοι #22
Κατθγορίεσ ΜΙΝ Οποιαδιποτε ελεφκερθ είςοδοσ, μπορεί να ςυνδεκεί με οποιαδιποτε ελεφκερθ ζξοδο, ανεξάρτθτα με τισ υπόλοιπεσ ςυνδζςεισ Μία ελεφκερθ είςοδοσ δεν μπορεί πάντα να ςυνδεκεί με μία ελεφκερθ ζξοδο, λόγω ςυγκροφςεων με τισ υπάρχουςεσ ςυνδζςεισ Non-blocking (μθ εμποδιςτικά) Βlocking (εμποδιςτικά) Αυςτθρϊσ (strict sense) Γενικότερα (wide sense) Επαναδιατάξιμα (rearrangeable) Όπωσ και να γίνουν οι ςυνδζςεισ (τυφλά) δεν παρουςιάηεται ποτζ πρόβλθμα Όχι τυφλά, αλλά αποφεφγοντασ (κατά τθ διάρκεια των αιτιςεων) κάποιεσ καταςτάςεισ που μποροφν να δθμιουργιςουν ςυγκροφςεισ υγκροφςεισ ΜΠΟΡΟΤΝ να γίνουν αλλά μποροφν να αναδιαταχκοφν οι υπάρχουςεσ ώςτε να προςτεκεί θ επικυμθτι ςφνδεςθ UNIVERSITY OF IOANNINA Υ07 - Χειμερινό 2013 #23
Ενδιαφζροντα μθ εμποδιςτικά δίκτυα Strictly non-blocking ι πιο απλά, ςκζτο non-blocking Ο διακόπτθσ crossbar (MIN ενόσ ςταδίου, με 1 διακόπτθ) Δίκτυα Clos Γενικά αυτά τα δίκτυα είναι μεγάλου κόςτουσ Rearrangeable Κάποια από τα δίκτυα Clos Δίκτυο Benes (προκφπτει από κατάλλθλθ ςυνζνωςθ εμποδιςτικϊν δικτφων) #24
Εμποδιςτικά δίκτυα Τα πιο ςυνηθιςμένα παρά τθν εμποδιςτικότθτά τουσ, τα πιο οικονομικά Επιτρζπουν high-speed routing g ςτάδια από διακόπτεσ Συνικθσ δομι: διαςυνδζςεισ ςταδίων #25
Ραράδειγμα: δυαδικό δίκτυο 2 3 x 2 3 0 0 = 000 2 1 1 = 001 2 2 2 = 010 2 3 3 = 011 2 4 4 = 100 2 5 5 = 101 2 6 6 = 110 2 7 7 = 111 2 UNIVERSITY OF IOANNINA #26 Υ07 - Χειμεριμό 2013
Ραραδείγματα διαδρόμθςθσ 0 0 = 000 2 0 0 = 000 2 1 1 = 001 2 1 1 = 001 2 2 2 = 010 2 2 2 = 010 2 3 3 = 011 2 3 3 = 011 2 4 4 = 100 2 4 4 = 100 2 5 5 = 101 2 5 5 = 101 2 6 6 = 110 2 6 6 = 110 2 7 7 = 111 2 7 7 = 111 2 UNIVERSITY OF IOANNINA #27 Υ07 - Χειμεριμό 2013
Συνικεισ τφποι εμποδιςτικϊν δικτφων Δίκτυα banyan Υπάρχει μοναδικό μονοπάτι μεταξφ μίασ ειςόδου και μίασ εξόδου τουσ Δίκτυα delta Είναι banyan, Πλοι οι διακόπτεσ του δικτφου είναι ίδιοι και Η διαδρόμθςθ (ςχθματιςμόσ του μονοπατιοφ) μπορεί να γίνει γνωρίηοντασ μόνο τον προοριςμό, ςε οποιοδιποτε ςτάδιο Συνικωσ μιλάμε για ςυμμετρικά ι τετράγωνα δίκτυα, όπου όλοι οι διακόπτεσ είναι k x k #ειςόδων = Ν = Μ = #εξόδων = k n. Δυαδικά: k = 2. #28
Συμμετρικά δίκτυα banyan / delta kxk kxk kxk kxk kxk kxk N = k n M = N = k n kxk kxk kxk N/k = k n-1 διακόπτεσ ςε κάκε ςτάδιο Συνικωσ Θ(n) ςτάδια Άρα Θ(n x (N/k)) = Θ(Ν log k N) διακόπτεσ και άρα ανάλογο κόςτοσ. #29
Στο ςτάδιο i kxk kxk kxk kxk kxk kxk Γραμμζσ διαςφνδεςθσ. Αφοφ όλοι οι διακόπτεσ είναι k x k και κάκε ςτάδιο ζχει ίδιο αρικμό διακοπτϊν, ςυνεπάγεται ότι θ διαςφνδεςθ ςυνδζει Ν γραμμζσ εξόδου του ςταδίου i 1 με Ν γραμμζσ ειςόδου του ςταδίου i, 1 προσ 1 (άρα μετάκεςθ) Ν είςοδοι kxk kxk kxk Είςοδοι ςταδίου i-1 Είςοδοι ςταδίου i Ζξοδοι ςταδίου i-1 Ζξοδοι ςταδίου i #30
Διαςυνδζςεισ μεταξφ των ςταδίων Διαφορετικά δίκτυα δζλτα για διαφορετικζσ διαςυνδζςεισ ανάμεςα ςτα ςτάδια. Βαςικζσ διαςυνδζςεισ προκφπτουν από βαςικζσ και ςθμαντικζσ μετακζςεισ. Αρικμοφμε τισ γραμμζσ ςε κάκε ςτάδιο από 0 ζωσ Ν-1 (ωσ δεκαδικοφσ) ι από (0,0,, 0) ζωσ (k-1,k-1,, k-1) (ωσ n-ψιφιουσ k-αδικοφσ) Συμβολίηουμε τθ διαςφνδεςθ ςτο ςτάδιο i με C i. τότε θ ζξοδοσ x του επιπζδου i 1 ςυνδζεται ςτθν είςοδο y του ςταδίου i, όπου y = C i (x). #31
C i = identity permutation Ι i (x) = x #32
C i = shuffle, inverse shuffle, bit reversal The inverse k-shuffle is defined by: #33
C i = i-th butterfly permutation (εξαρτάται από το ςτάδιο i) #34
C i = i-th cube permutation (εξαρτάται από το ςτάδιο i) #35
C i = i-th baseline permutation (εξαρτάται από το ςτάδιο i) #36
Δθμοφιλι δίκτυα (τφπου Δζλτα) N/k = k n-1 διακόπτεσ ςε κάκε ςτάδιο kxk kxk kxk N = k n είςοδοι kxk kxk kxk M = N = k n ζξοδοι kxk kxk kxk C 0 C 1 C n #37
Δίκτυο Omega Σε όλα τα ςτάδια, C i = ς (shuffle). Μετά το τελευταίο, τίποτε (δθλ. C n = Ι) Αν το αντιςτρζψουμε προκφπτει το flip network #38
Δυαδικό baseline: αναδρομικόσ οριςμόσ 0 1 2 3 0 1 Baseline (N/2) (N/2) 0 1 2 3 N/2 1 Baseline (N/2) (N/2) N/2 N 2 N 1 N/2 1 N 2 N 1 inverse shuffle Baseline 2 2 Ιςοδφναμα: C 0 = I C i = δ n i ((n-i)-baseline) για i = 1, 2,, n #39
Δίκτυο multistage cube ι n-cube C 0 = ς (shuffle). C i = β n i ((n-i)-butterfly) για i = 1, 2,, n #40
Δίκτυο butterfly (ι indirect binary cube) Για i = 0, 1,, n-1, χρθςιμοποιείται θ i-οςτι πεταλοφδα, C i = β i Στο τζλοσ, C n = I Αν το αντιςτρζψουμε (και προςκζςουμε μία shuffle ςτθν αρχι) προκφπτει το δίκτυο n-cube #41
Τι ςυμβαίνει ςε ζνα μονοπάτι ; αρίκμθςθ ειςόδων / εξόδων από 0 ζωσ Ν-1 ωσ n-ψιφιων k-αδικϊν αρικμϊν (0,0,,0,0) (0,0,,0,1) (0,0,,0,k 1) kxk (0,0,,0,0) (0,0,,0,1) (0,0,,0,k 1) Ν (0,0,,1,0) (0,0,,1,1) (0,0,,1,k 1) (x n 1,x n 2,,x 1,x 0 ) kxk (0,0,,1,0) (0,0,,1,1) (0,0,,1,k 1) (x n 1,x n 2,,x 1,y 0 ) Επομζνωσ, θ διζλευςθ από ζνα επίπεδο διακοπτϊν απλά ΑΛΛΑΖΕΙ ΣΗΝ ΣΙΜΗ ΣΟΤ ΠΡΩΣΟΤ ΨΗΦΙΟΤ (k 1,k 1,,k 1,0) (k 1,k 1,,k 1,1) (k 1,k 1,,k 1,k 1) kxk (k 1,k 1,,k 1,0) (k 1,k 1,,k 1,1) (k 1,k 1,,k 1,k 1) #42
Τι ςυμβαίνει ςε ζνα μονοπάτι ;; Διαζύνδεζη μεηαξύ ζηαδίων (μεηάθεζη) kxk kxk (x n 1,x n 2,,x 1,x 0 ) kxk kxk kxk Επειδι θ διαςφνδεςθ μεταξφ των ςταδίων ςτα banyan είναι μετάκεςθ n-ψιφιων k- αδικϊν αρικμϊν, θ μεταφορά από τθν ζξοδο ενόσ ςταδίου ςτθν είςοδο του επομζνου ΔΕΝ ΑΛΛΑΖΕΙ ΣΗΝ ΣΙΜΗ ΣΩΝ ΨΗΦΙΩΝ, ΑΛΛΑΖΕΙ ΜΟΝΟ ΣΗ ΘΕΗ ΣΟΤ kxk (x n 2,,x 1,x 0,x n 1 ) Ρ.χ. αν θ διαςφνδεςθ είναι shuffle, τότε τα ψθφία περιςτρζφονται μία κζςθ αριςτερά kxk kxk #43
Άρα ςε ζνα μονοπάτι: Αν ξεκινιςουμε από μία είςοδο δικτφου x = (x n 1, x n 2,, x 1, x 0 ) τότε: Σε κάκε μεταφορά από το ζνα ςτάδιο ςτο επόμενο, αλλάηει θ κζςθ των ψθφίων Κατά τθ δίοδο από κάποιον διακόπτθ ενόσ ςταδίου, τροποποιείται το πρϊτο (λιγότερο ςθμαντικό) ψθφίο. Ράνω ςε αυτό ςτθρίηεται θ διαδρόμθςθ ςτα δίκτυα αυτά Για αυτό και υπάρχουν n ςτάδια: Διότι, για να ςυνδεκοφμε με οποιαδιποτε ζξοδο y = (y n 1, y n 2,, y 1, y 0 ) του δικτφου, κα πρζπει να «διορκωκοφν» τα ψθφία του x ζνα προσ ζνα και αφοφ ςε 1 ςτάδιο διορκϊνεται 1 ψθφίο, κζλουμε τουλάχιςτον n ςτάδια. #44
Διαδρόμθςθ Κατανεμθμζνθ (self-routing networks) Κάκε διακόπτθσ που λαμβάνει αίτθςθ για ςφνδεςθ με μία ζξοδο του δικτφου y = (y n 1, y n 2,, y 1, y 0 ), αποφαςίηει μόνοσ του (και ανεξάρτθτα από ποφ του ιρκε θ αίτθςθ) ςε ποια από τισ k εξόδουσ του κα τθν προωκιςει, οφτωσ ϊςτε τελικά να ςχθματιςτεί το (ζνα και μοναδικό) μονοπάτι προσ τθν y. Γενικόσ κανόνασ για διαδρόμθςθ ςε όλα τα δίκτυα τφπου delta Ζνασ διακόπτθσ ςτο ςτάδιο i που λαμβάνει αίτθςθ για ςφνδεςθ με τθν ζξοδο του δικτφου y = (y n 1, y n 2,, y 1, y 0 ), 1. Απομονϊνει ζνα μόνο ψθφίο από το y (ζςτω το y j ) 2. Ρροωκεί τθν αίτθςθ ςτθν p-οςτι ζξοδό του, όπου p = y j. Το ποιο ψθφίο κα εξετάςει εξαρτάται από το δίκτυο. #45
Ραράδειγμα: διαδρόμθςθ ςτο Omega Οι διακόπτεσ ςτο ςτάδιο i, χρθςιμοποιοφν το y n 1 i. Ρ.χ. διαδρόμθςθ από 0101 ςε 0001 (y 3 = 0, y 2 = 0, y 1 = 0, y 0 = 1) 1 0 1 0 0 1 0 0 1 0 0 1 #46
Στα υπόλοιπα Στο baseline και ςτο multistage n-cube και ςτθν πεταλοφδα, ςτο ςτάδιο i κοιτάμε το y n 1 i (ίδια με το omega!)??? (HW) Επίςθσ, ίδιο ςτο inverse butterfly, inverse baseline Στο inverse multistage n-cube και ςτο inverse omega, κοιτάμε το y i. #47
Πλα τα δίκτυα τφπου delta είναι «ιςοδφναμα»! Τοπολογικά ιςοδφναμα / ιςομορφικά Λειτουργικά «ςχεδόν» ιςοδφναμα Επιτρζπουν ςυνολικά τον ίδιο αρικμό από μετακζςεισ Κακζνα επιτρζπει διαφορετικζσ μετακζςεισ από το άλλο (λόγω τθσ διαφορετικισ ςειράσ «διόρκωςθσ» των ψθφίων) Το omega και το n-cube ακριβϊσ τισ ίδιεσ Το baseline και το inverse baseline ακριβϊσ τισ ίδιεσ #48
Άλλα παρόμοια δίκτυα Flip network Barrel shifter Modified data manipulator Batcher merging networks (το bitonic merger είναι ο multistage n-cube) Bitonic sorting network (χρθςιμοποιεί ακολουκίεσ από διαςυνδζςεισ πεταλοφδασ και baseline) Ta banyan / delta είναι τα δθμοφιλζςτερα λόγω του self-routing #49
Άλλα διακξπρικά δίκρςα
Fat trees Βαςικά είναι δικατευκυντιριεσ πεταλοφδεσ #51
Δίκτυο Benes Επαναδιατάξιμο (rearrangeable) Ρρόκειται για δφο πεταλοφδεσ πλάτθ με πλάτθ (δθλ. μία αντίςτροφθ και μία κανονικι) #52