3/12/2013 Συστήματα κατανεμημένης μνήμης (Ι) Β. Δημακόπουλος

Υ07 Παράλληλα Συστήματα 2013-14 3/12/2013 Συστήματα κατανεμημένης μνήμης (Ι) Β. Δημακόπουλος

multicomputers, MPPs, clusters

Κεντρική ιδέα Ανεξάρτητοι επεξεργαστές, ο καθένας με την ιδιωτική του μνήμη (κόμβος = CPU + μνήμη) P 1 P 2 P Ν ΔΙΚΤΥΟ ΔΙΑΣΥΝΔΕΣΗΣ ΕΠΕΞΕΡΓΑΣΤΩΝ UNIVERSITY OF IOANNINA #3 Υ07 - Χειμερινό 2013

Massively Parallel Processors (MPPs) UNIVERSITY OF IOANNINA #4 Υ07 - Χειμερινό 2013

Clusters Παντού! Συλλογή από διασυνδεδεμένους «κόμβους» Φτηνοί / ευρέως διαθέσιμοι επεξεργαστές (π.χ. Clusters από PCs) Ο μόνος τρόπος να φτιάξουμε «οικονομικούς» υπερ-υπολογιστές (πολλά Teraflops) Πολύ λίγοι έως πάρα πολλοί κόμβοι Sandia Laboratories RED STORM (Cray, 2004) 13000 AMD Opterons (basically PC nodes), 75 Terabytes of memory > 100 Teraflops (peak) Linux Κόστος: $90.000.000 Oak Ridge Laboratory TITAN (Cray, 2013) ~19000 κόμβοι, καθένας με 16πύρηνο Opteron + μία Nvidia Tesla, ~700 Terabytes of memory 27 Petaflops (peak) Linux Κόστος: $97.000.000 Tianhe-2 (top500 No. 1) National Supercomputing Center (China) 16000 κόμβοι, ο καθένας με 2 επεξεργαστές Xeon και 3 κάρτες Xeon Phi Σύνολο: 3.120.000 πυρήνες 34 PFlops ~ 18 MW + 6 MW για ψύξη Κόστος: ~ $390.000.000 UNIVERSITY OF IOANNINA #5 Υ07 - Χειμερινό 2013

Στο Τμήμα Στο τμήμα μας: Γενικότερο δίκτυο σταθμών εργασίας (100Mbps ethernet, αργό με πολύ κίνηση) Αυτόνομο cluster 16 κόμβοι, κάθε κόμβος 2 CPUS, κάθε CPU διπύρηνη (64 cores) 3 nodes down! gigabit Ethernet http://gatepc73.cs.uoi.gr:8880/ganglia UNIVERSITY OF IOANNINA #6 Υ07 - Χειμερινό 2013

Manycore και NoCs Πάρα πολλοί πυρήνες Π.χ. Intel TeraScale I (80-cores), TeraScale II (SCC, 48-cores / 24 tiles see below) Mesh network (NoC) Intel Xeon Phi (up to 61 cores) Bidirectional Ring network UNIVERSITY OF IOANNINA #7 Υ07 - Χειμερινό 2013

το δίκτυο διασύνδεσης

Πολυεπεξεργαστές κατανεμημένης μνήμης Ανεξάρτητοι επεξεργαστές, ο καθένας με την ιδιωτική του μνήμη (κόμβος = CPU + μνήμη) P 1 P 2 P Ν ΔΙΚΤΥΟ ΔΙΑΣΥΝΔΕΣΗΣ ΕΠΕΞΕΡΓΑΣΤΩΝ Δίκτυο διασύνδεσης επεξεργαστών (interconnection network) Δίαυλος (π.χ. μικρά απλά ethernet-based clusters) δίκτυο διακοπτών (π.χ. IBM SP2, μεγαλύτερα switch-based clusters) point-to-point, στατικό, άμεσο δίκτυο (0,0) (0,1) (0,2) (0,3) UNIVERSITY OF IOANNINA (1,0) (1,1) (1,2) (1,3) #9 Υ07 - Χειμερινό 2013

Γενικά Point-to-point / static / direct Κάθε συσκευή (επεξεργαστής) αποτελεί κόμβο του συστήματος. Κάθε κόμβος συνδέεται με μερικούς άλλους μέσω σταθερών συνδέσεων (για αυτό και λέγεται point-to-point) Κλιμακώνονται εύκολα καθώς αύξηση των κόμβων επιφέρει και αύξηση των συνδέσεων (και άρα του συνολικού bandwidth) #10

Κόμβος ΑΠΟ/ΠΡΟΣ ΓΕΙΤΟΝΙΚΟΥΣ ΚΟΜΒΟΥΣ ΑΠΟ/ΠΡΟΣ ΤΟΠΙΚΟ ΚΟΜΒΟ Β Β Β 55 crossbar Β Β ΑΠΟ/ΠΡΟΣ ΓΕΙΤΟΝΙΚΟΥΣ ΚΟΜΒΟΥΣ UNIVERSITY OF IOANNINA #11 Υ07 - Χειμερινό 2013

Μερικά δίκτυα, ενδεικτικά 0 0 0 3 K 2 1 1 2 1 2 K 3 K 4 Πλήρεις γράφοι 0 1 Ν 1 Γραμμικός γράφος (0,0) (0,1) (0,2) (0,Μ 1) (1,0) (1,1) (1,Μ 1) (Μ 1,Μ 1) Πλέγμα ΜΜ Πλέγμα 432 (0,0) 1/001 5/101 0/000 4/100 3/011 7/111 2/010 6/110 (Μ 1,Μ 1) Torus ΜΜ Τρισδιάστατος κύβος #12

Βασική οργάνωση Επικοινωνία επεξεργαστών μέσω ανταλλαγής μηνυμάτων, επάνω από το δίκτυο διασύνδεσης Λόγω του ότι κάθε κόμβος είναι ουσιαστικά ένας (σχεδόν) ολοκληρωμένος και αυτόνομος υπολογιστής, οι ΠΚΜ είναι γνωστοί και ως πολυϋπολογιστές (multicomputers) Η οργάνωση μοιάζει με δίκτυο υπολογιστών Διαφορές: ταχύτητα τοπολογία λειτουργικό σύστημα... UNIVERSITY OF IOANNINA #13 Υ07 - Χειμερινό 2013

Ένα δίκτυο διασύνδεσης χαρακτηρίζεται από: Την τοπολογία του Ποίος κόμβος συνδέεται με ποιον χωρική διάταξη Τη διαδρόμησή του (routing) Ποιο από όλα τα δυνατά μονοπάτια θα επιλεχθεί Πολλές επιλογές πολιτικών Τον έλεγχο ροής του (flow control) Πώς διανέμονται οι πόροι του δικτύου (κανάλια, buffers κλπ), τι συμβαίνει σε περίπτωση συγκρούσεων Αρχιτεκτονική του διαδρομητή Τη μεταγωγή του (switching) Πώς μεταφέρεται εσωτερικά σε έναν διαδρομητή το μήνυμα από μία είσοδο σε μία έξοδό του Κυκλώματος (circuit switching) Πακέτου / μηνύματος / SAF (Store-and-Forward) Virtual Cut-Through (VCT) Wormhole UNIVERSITY OF IOANNINA #14 Υ07 - Χειμερινό 2013

Βιβλιογραφία Interconnection netwοrks: an engineering approach, Duato, Yalamanchili, Ni Principles and practices of interconnection networks, W. Dally, Towles Topological structure and analysis of interconnection networks, J. Xu UNIVERSITY OF IOANNINA #15 Υ07 - Χειμερινό 2013

» τοπολογία δικτύου

Τοπολογία: γράφοι v 1 v 2 G = (V,E) Αν e = vu Ε, τότε οι v, u είναι γειτονικές (neighbors, adjacent) Η ακμή είναι προσκείμενη (incident) στις κορυφές Αν η v έχει d(v) γείτονες, τότε έχει βαθμό d(v) v 4 v 3 Αν όλες οι κορυφές έχουν τον ίδιο βαθμό d, τότε d-regular (τακτικός) Δ(G), δ(g): μέγιστος, ελάχιστος βαθμός Περίπατος (walk), ίχνος (trail), μονοπάτι (path) Κύκλος, Hamiltonicity Μήκος μονοπατιού, συνδεδεμένοι γράφοι #17

Γράφοι, βασικά χαρακτηριστικά Απόσταση dist(v,u) v 1 v 2 Κορυφή u εκκεντρική ως προς την v: dist(v,u) = max w {v, w} οπότε εκκεντρικότητα e(v) = dist(v,u) Διάμετρος = η μεγαλύτερη εκκεντρικότητα, D(G) (diameter) Ακτίνα = η μικρότερη εκκεντρικότητα, R(G) (radius) v 4 v 3 v 1 v 1 v 2 Υπογράφοι (subgraphs) Επικαλυπτικοί υπογράφοι (spanning) v 4 H v 3 v 4 H v 3 #18

Δέντρα (trees) όχι κύκλοι μοναδικά μονοπάτια συνδεδεμένα, n κόμβοι, n 1 ακμές Κατευθυνόμενοι γράφοι Οι ακμές έχουν κατεύθυνση και άρα vu uv out-degree (d+), in-degree (d-), balanced τα άλλα όπως στους μη κατευθυνόμενους ασθενώς / ισχυρά συνδεδεμένοι #19

Άλλα χαρακτηριστικά των γράφων vertex-disjoint paths (ξένα ως προς τις κορυφές) edge-disjoint paths (ξένα ως προς τις ακμές) vertex connectivity, κ(g) (συνδεσμικότητα κορυφών) edge connectivity, λ(g) (συνδεσμικότητα ακμών) κ(g) λ(g) δ(g) #20

Τι θέλουμε από έναν δίκτυο διασύνδεσης Το δίκτυο διασύνδεσης θα πρέπει να μεταφέρει όσο το δυνατόν περισσότερα μηνύματα, όσο το δυνατόν γρηγορότερα με ελάχιστο κόστος και μέγιστη αξιοπιστία. Αυτά είναι αλληλοσυγκρουόμενα, όμως. Τοπολογία: Μικρή διάμετρος, μικρή μέση απόσταση μικρή καθυστέρηση σε packet-switching, μικρή contention σε wormhole switching Μικρός και σταθερός βαθμός απλοί και οικονομικοί routers, μικρότερη και σταθερή καλωδίωση, χαμηλότερη connectivity, μεγαλύτερες αποστάσεις Υψηλό connectivity Συμμετρία Εύκολη ενσωμάτωση άλλων γράφων και σε άλλους γράφους UNIVERSITY OF IOANNINA Διότι αν ένα δίκτυο Α εμπεριέχεται σε ένα άλλο Β, τότε το δεύτερο θα έχει, εκτός των άλλων, και τις ιδιότητες του πρώτου Διότι πολλές φορές έχουμε σχεδιάσει έναν αλγόριθμο για ένα δίκτυο Α (π.χ. υπάρχουν εξαιρετικοί αλγόριθμοι πολλαπλασιασμού πινάκων για tori) αλλά η παράλληλη μηχανή μας διαθέτει διασυνδετικό δίκτυο Β (π.χ. ο helios.cc.uoi.gr είναι υπερκύβος). #21 Υ07 - Χειμερινό 2013

Βασικοί γράφοι: πλήρης γράφος (complete graph) Όλες οι κορυφές συνδέονται με όλες Ο Κ Ν έχει Ν κορυφές Ν(Ν-1)/2 ακμές (Ν-1)-regular D(Κ Ν ) = 1 κ(κ Ν ) = Ν-1 Εμπεριέχει όλους τους γράφους με Ν κορυφές Πρακτικός μόνο για μικρό Ν #22

Βασικοί γράφοι: γραμμικός γράφος (linear array) 0 1 Ν 1 Απλό μονοπάτι Ο P Ν έχει Ν κορυφές N-1 ακμές Μη τακτικός (βαθμοί 1 και 2) D(P Ν ) = Ν-1 κ(p Ν ) = 1 Μη πρακτικός μόνο για εξειδικευμένες αρχιτεκτονικές (π.χ. συστολικές διατάξεις) #23

Βασικοί γράφοι: δακτύλιος (ring) 0 1 Ν 1 Απλός κύκλος Ο R Ν έχει Ν κορυφές N ακμές 2-regular, συμμετρικός D(R Ν ) = floor(n/2) κ(r Ν ) = 2 Μεγάλη διάμετρος, πολύ βασικός γράφος για κατασκευή άλλων τοπολογιών #24

Σχεδιασμός με βάση κριτήρια Συνήθως θέλουμε να βρούμε κάποιο δίκτυο που πληροί κάποια κριτήρια, π.χ. να έχει συγκεκριμένο βαθμό ή συγκεκριμένη διάμετρο με συγκεκριμένο # κόμβων / ακμών Θέλουμε ένα μεθοδικό τρόπο να παράγουμε τέτοια δίκτυα (π.χ. ξεκινώντας από πιο απλά δίκτυα) Μερικές βασικές τεχνικές Γράφοι ακμών Καρτεσιανό γινόμενο Η μέθοδος Cayley #25

» line graphs

(Δι)Γράφος ακμών (line (di)graph) Ξεκινώντας από έναν γράφο G, ο γράφος ακμών του, L(G), παράγεται ως εξής: Κάθε κορυφή του L(G) αντιστοιχεί σε μία ακμή του G Δύο κορυφές του L(G) γειτνιάζουν αν οι αντίστοιχες ακμές στον G προσπίπτουν στην ίδια κορυφή G 1 2 3 4 5 1 3 2 5 4 L(G) Για κατευθυνόμενους, αντίστοιχα: Παράδειγμα: 00 01 G 11 L(G) 10 10 1 2 1 2 στον G στον L(G) 01 00 11 #27

Βασικά χαρακτηριστικά των line graphs Έστω L = L(G) V(L) = E(G) Ακμές (γράφος) (διγράφος) Αν e = vu E(G), d(e) = d G (v)+d G (u)-2 (γράφος) d in (e) = d in (v) και d out (e) = d out (u) (διγράφος) Connectivity κ(g) λ(g) κ(l) λ(l) Διάμετρος E( L) E( L) D(G) D(L) D(G)+1 1 2 uv ( G) d in uv ( G) 2 d( u) E( G) ( u) d (γράφος) D(L) = D(G)+1, εκτός αν G είναι κύκλος οπότε D(L) = D(G) (διγράφος) Περισσότερες κορυφές, μεγαλύτερος βαθμός, παρόμοια διάμετρος, κλπ. out ( u) #28

Επαναλαμβανόμενοι line digraphs L 0 (G) = G, L 1 (G) = L(G) και L n (G) L n 1 L (G) LL L(G) Ιδιότητες (για ισχυρά συνδεδεμένους): Αν ο G είναι k-regular, o L n (G) είναι k-regular με k n V(G) κορυφές D(L n (G) ) = n + D(G), αν ο G δεν είναι κύκλος Περίπου ίδιο connectivity n Κάθε κορυφή του L n (G) αντιπροσωπεύει έναν κατευθυνόμενο περίπατο στον G, μήκους n. Μας βοηθάει να σχεδιάσουμε αλγόριθμους διαδρόμησης. #29

Δύο παραδείγματα Έστω K + d (d 2) o πλήρης κατευθυνόμενος γράφος όπου σε κάθε κορυφή έχουμε βάλει και ένα loop. Ο διγράφος de Bruijn ορίζεται ως η (n-1)-οστή επανάληψη του γραμμικού γράφου του K + d: 01 B(d,n) = L n-1 (K + d). 00 01 11 00 11 10 10 B(2,1) = K + 2 B(2,2) = L(B(2,1)) B(2,3) = L(B(2,2)) #30

και το δεύτερο Έστω K d o πλήρης κατευθυνόμενος γράφος Ο διγράφος Kautz ορίζεται ως η (n-1)-οστή επανάληψη του γραμμικού γράφου του K d+1, όπου d 2: K(d,n) = L n-1 (K d+1 ). K(2,1)=K 3 K(2,2)=L(K(2,1)) #31

» Cartesian product

Καρτεσιανό γινόμενο G (V,E) G 1 G2 Gk G i (V,E ), i i i 1,2,,k Ο i-οστός γράφος ονομάζεται i-οστή διάσταση V V 1 V 2 V k (v 1,v 2,,v k ) v i V i Δηλαδή, οι κορυφές είναι το καρτεσιανό γινόμενο των κορυφών των επιμέρους γράφων και άρα έχουν ως ετικέτα / διεύθυνση μία k-άδα Το i-οστό στοιχείο της k-άδας είναι η i-οστή συντεταγμένη E (v 1,v 2,, v k )(u 1, u 2,,u k ) j : v j u j E j and i j : v i u i Δύο κορυφές είναι γειτονικές αν και μόνο αν έχουν τις αντίστοιχες συντεταγμένες τους ίσες, εκτός από μία και στη συγκεκριμένη διάσταση οι συντεταγμένες τους είναι γειτονικές (v j u j E(G j )) #33

Σε δύο διαστάσεις Ούτως ή άλλως, όλα τα γινόμενα μπορούν να θεωρηθούν ως γινόμενα 2 γράφων: G G G G G G G G G' 1 2 k 1 k 1 k 1 1 2 k G G (V,E) G 1 G 2 E (v V (v1, v 2) 1,v 2 )(u 1,u 2 ) v 1 u 1 and v 2 u 2 E 2 OR v 2 u 2 and v 1 u 1 E 1 #34

Παραδείγματα E (v 1,v 2 )(u 1,u 2 ) v 1 u 1 and v 2 u 2 E 2 OR v 2 u 2 and v 1 u 1 E 1 0 (a,0) (b,0) a b 1 (a,1) (b,1) 2 (a,2) (b,2) G 1 G 2 G 1 G 2 #35

Μερικές ιδιότητες G 1 G2 G2 G1 ( G1 G 2) G3 G1 (G2 G 3) V V 1 V2 Vk v (v 1, v 2 d(v) dist e(v),..., v k ) k 1 ) d(v 2) d(v k ) d(v ) i i 1 k 1 dist (v, u ) i i i i 1 k 1 (v 1) e2(v 2) ek (v k ) e (v ) i i i 1 d(v v, u dist (v 1, u 1) dist k (v k, u k ) e D(G) k i 1 D(G i ) #36

Ομογενή δίκτυα Αν G1 G2 Gk H τότε o G G k 1 G2 Gk H είναι ομογενής (έχει όλες τις διαστάσεις τ0υ ίδιες). Μερικά συμπεράσματα: V D(G) k V H kd(h) Αν ο Η είναι n-regular, d(v) kn #37

Γνωστά δίκτυα ως καρτεσιανά γινόμενα Πλέγματα: γινόμενα γραμμικών γράφων (0,0) (0,1) (0,2) (0,Μ 1) (1,0) (1,1) (1,Μ 1) (Μ 1,Μ 1) Πλέγμα ΜΜ Πλέγμα 432 Tori: γινόμενα δακτυλίων (0,0) (Μ 1,Μ 1) Torus ΜΜ #38

Υπερκύβος Καρτεσιανό γινόμενο από γράφους 2 κόμβων K 2 = L 2 = R 2 = whatever 2 0 1 0/00 1/01 Διδιάστατος κύβος (Q 2 ) 0/000 1/001 4/100 5/101 Μονοδιάστατος κύβος (Q 1 ) 3/11 3/011 7/111 2/10 2/010 6/110 Τριδιάστατος κύβος #39

» Cayley graphs

Η μέθοδος του Cayley Αλγεβρική μέθοδος (στηρίζεται σε αλγεβρικές δομές) Παράγει ισχυρά συμμετρικούς γράφους Έστω Γ μία ομάδα (group) με μία πράξη. Υπενθύμιση: Η ομάδα είναι ένα μη κενό σύνολο στοιχείων εφοδιασμένο με μία πράξη, η οποία έχει τις εξής ιδιότητες: (α β) γ = α (β γ) (προσεταιριστική) υπάρχει στοιχείο e στο Γ που για κάθε στοιχείο της ομάδας, e α = α e = α (μοναδιαίο στοιχείο / identity element) για κάθε στοιχείο α υπάρχει στοιχείο α -1 έτσι ώστε α α -1 = e (αντίστροφο στοιχείο) #41

Η μέθοδος του Cayley Έστω λοιπόν μία ομάδα Γ με πράξη και ένα υποσύνολο S Γ. O γράφος Cayley C Γ (S) προκύπτει ως εξής: Κορυφές έχει τα στοιχεία της ομάδας Γ. Μεταξύ δύο κορυφών α και β υπάρχει ακμή αν και μόνο αν g S such that α g b ή ισοδύναμα α -1 b S Συνήθως, το e ΔΕΝ ανήκει στο S, ενώ S είναι κλειστό ως προς την αντιστροφή (δηλαδή αν g S, τότε και g -1 S) γιατί;; #42

Παράδειγμα Έστω Γ = { 0, 1, 2, 3, 4 } και πράξη = (πρόσθεση modulo 5). Προφανώς, e = 0 είναι το μοναδιαίο στοιχείο. Επιλέγω S = { 1, 4 } Γ. 0 Τότε, 0 1 = 1, 0 4 = 4 1 1 = 2, 1 4 = 0 2 1 = 3, 2 4 = 1 3 1 = 4, 3 4 = 2 4 1 = 1, 4 4 = 3 4 3 2 1 #43

Λίγες ιδιότητες των δικτύων Cayley Δίκτυα vertex-symmetric (ή node-transitive) Τακτικά με βαθμό S Πότε είναι συνδεδεμένα (και αν πρόκειται για κατευθυνόμενους γράφους, πότε είναι ισχυρά συνδεδεμένοι); Απάντηση: Όταν το S αποτελείται από γεννήτριες του Γ. #44

Μερικές οικογένειες δικτύων Cayley Υπερκύβοι Γ = { 0, 1,, 2 n 1 } (όλοι οι αριθμοί των n bits) πράξη = (XOR) S = { 2 i i = 0, 1,, n 1 } #45

Star graphs Γ = Ω Ν = { όλες οι Ν! μεταθέσεις του συνόλου { 1, 2,, Ν } } Πράξη = σύνθεση μεταθέσεων S = { όλες οι N 1 μεταθέσεις τύπου <1,i> i = 2, 3,, N } Π.χ. το στοιχείο (μετάθεση) 1234 του Γ, θα συνδέεται με τα στοιχεία 2134 (μέσω <1,2>) 3214 (μέσω <1,3>) 4231 (μέσω <1,4>) Διάμετρος = floor( 3(N-1)/2 ) #46

Pancake graphs Γ = Ω Ν = { όλες οι Ν! μεταθέσεις του συνόλου { 1, 2,, Ν } } Πράξη = σύνθεση μεταθέσεων S = { όλες οι N 1 μεταθέσεις τύπου <i, i-1,, 1, i+1, i+2,, N> i = 2, 3,, N } Δηλαδή, αντιστροφή της σειράς των πρώτων i στοιχείων της μετάθεσης Διαφορετικός από star για Ν > 3 Διάμετρος άγνωστη για Ν > 13 #47

Cube-connected cycles (CCC) CCC 1 = K 2, CCC 2 = C 8, ενώ για n > 2 o CCC n προκύπτει από τον υπερκύβο αν κάθε κόμβος αντικατασταθεί από κύκλο μήκους n. Τακτικός, βαθμού 3 D(CCC n ) 2n 2 Για n > 3, n / 2 #48

» λεπτομέρειες για δημοφιλή δίκτυα

Υπερκύβος Καρτεσιανό γινόμενο από P 2, R 2, K 2 Επίσης, είναι ιεαραρχικά αναδρομικός (καρτεσιανό γινόμενο από μικρότερους κύβους) Q 1 K 2, Q d Q d1 Q 1 Q k Q dk Άλλος, ισοδύναμος ορισμός: N = 2 d κόμβοι με ετικέτες d-ψήφιους δυαδικούς αριθμούς. Δύο κόμβοι γειτνιάζουν μόνο εφόσον οι ετικέτες τους διαφέρουν σε 1 bit. Επίσης, γράφος Cayley, όπως είδαμε #50

Μερικές ιδιότητες του κύβου Τακτικός, βαθμού d ( = log N) D(Q d ) = d Bipartite, Hamiltonian, vertex symmetric, edge symmetric Βέλτιστη συνδεσμικότητα (d) (τόσα παράλληλα μονοπάτια) Γενικώς, βέλτιστες είναι πάρα πολλές από τις ιδιότητές του, βέλτιστα συμπεριφέρονται πάρα πολλοί αλγόριθμοι. dist(v,u) = # bits που διαφέρουν τα v και u Ερώτηση: πόσοι κόμβοι είναι σε απόσταση k από τον κόμβο 0? Απάντηση: d k #51

Μειονεκτήματα του κύβου Δύο είναι τα βασικά 1. Όχι κακή, αλλά όχι και τέλεια διάμετρος, αλλά κυρίως: 2. Μεγάλος, μη σταθερός βαθμός Δίκτυο που μονοπωλούσε το ενδιαφέρον παλαιότερα. Τώρα το ενδιαφέρον μοιράζεται και σε άλλα δίκτυα με έμφαση στον χαμηλό βαθμό. Μερικά cube-like δίκτυα (για μείωση διαμέτρου ή/και μείωση βαθμού): Folded cubes Crossed cubes Reduced cubes Hierarchical cubes Twisted cubes Dual cubes #52

Meshes (πλέγματα) Καρτεσιανά γινόμενα γραμμικών γράφων Δύο κόμβοι (x 1, x 2,, x d ) και (y 1, y 2,, y d ) συνδέονται μόνο εφόσον d i 1 x i y i 1 (0,0) (0,1) (0,2) (0,Μ 1) (1,0) (1,1) (1,Μ 1) (Μ 1,Μ 1) Πλέγμα ΜΜ Πλέγμα 432 Μη συμμετρικός, μη τακτικός βαθμός μέχρι 2d. #53

Πλέγματα Βέλτιστη συνδεσμικότητα Ιεραρχικά αναδρομικοί (γινόμενα από μικρότερα πλέγματα) Αν το d είναι σταθερό, τότε έχουν σταθερό βαθμό, ανεξάρτητο από το πλήθος των κόμβων Πολλοί αλγόριθμοι ταιριάζουν σε πλέγματα και συμπεριφέρονται βέλτιστα Intel Paragon (2D), Sandia s RED STORM (3D) #54

Tori Καρτεσιανά γινόμενα δακτυλίων Δύο κόμβοι (x 1, x 2,, x d ) και (y 1, y 2,, y d ) συνδέονται μόνο εφόσον d i 1 x i y i 1 όπου η αφαίρεση είναι mod V i. Όλα τα καλά των πλεγμάτων και επιπλέον τακτικά και συμμετρικά δίκτυα, hamiltonian Έχουν παραπάνω ακμές, μεγαλύτερο bisection width Cray T3E, MIT J-Machine (3D) #55