Εισαγωγή γή σε κατανεμημένες υπολογιστικές υποδομές 11 Νοεμβρίου 2009 Σεμινάρια Τμ. Φυσικής, Α31 Panos Argyrakis Physics Department, School of Sciences panos@physics.auth.gr Paschalis Korosoglou Grid Operations and HPC Centre @ AUTH pkoro@grid.auth.gr
Questions (1) What is the Grid? (2) Why should I be interested in the Grid? In general why should I care about Distributed Computing Infrastructures (i.e. Super Computers, Cloud Computing, Grid Computing, Cluster computing etc) (3) How easy are these to use? Εισαγωγή στο Grid Computing, 11 Νοεμβρίου 2009, Σεμινάρια Τμήματος Φυσικής 2
Questions (1) What is the Grid? (2) Why should I be interested in the Grid? In general why should I care about Distributed Computing Infrastructures (i.e. Super Computers, Cloud Computing, Grid Computing, Cluster computing etc) (3) How easy are these to use? Εισαγωγή στο Grid Computing, 11 Νοεμβρίου 2009, Σεμινάρια Τμήματος Φυσικής 3
Εισαγωγή στο Grid Computing, 11 Νοεμβρίου 2009, Σεμινάρια Τμήματος Φυσικής
Εισαγωγή στο Grid Computing, 11 Νοεμβρίου 2009, Σεμινάρια Τμήματος Φυσικής
The Grid in a snapshot Εισαγωγή στο Grid Computing, 11 Νοεμβρίου 2009, Σεμινάρια Τμήματος Φυσικής 6
Εισαγωγή στο Grid Computing, 11 Νοεμβρίου 2009, Σεμινάρια Τμήματος Φυσικής 7
Εισαγωγή στο Grid Computing, 11 Νοεμβρίου 2009, Σεμινάρια Τμήματος Φυσικής 8
Εισαγωγή στο Grid Computing, 11 Νοεμβρίου 2009, Σεμινάρια Τμήματος Φυσικής 9
Εισαγωγή στο Grid Computing, 11 Νοεμβρίου 2009, Σεμινάρια Τμήματος Φυσικής 10
Εισαγωγή στο Grid Computing, 11 Νοεμβρίου 2009, Σεμινάρια Τμήματος Φυσικής 11
Εισαγωγή στο Grid Computing, 11 Νοεμβρίου 2009, Σεμινάρια Τμήματος Φυσικής 12
Εισαγωγή στο Grid Computing, 11 Νοεμβρίου 2009, Σεμινάρια Τμήματος Φυσικής 13
Εισαγωγή στο Grid Computing, 11 Νοεμβρίου 2009, Σεμινάρια Τμήματος Φυσικής 14
Εισαγωγή στο Grid Computing, 11 Νοεμβρίου 2009, Σεμινάρια Τμήματος Φυσικής 15
Εισαγωγή στο Grid Computing, 11 Νοεμβρίου 2009, Σεμινάρια Τμήματος Φυσικής
Εισαγωγή στο Grid Computing, 11 Νοεμβρίου 2009, Σεμινάρια Τμήματος Φυσικής
Εισαγωγή στο Grid Computing, 11 Νοεμβρίου 2009, Σεμινάρια Τμήματος Φυσικής
Εισαγωγή στο Grid Computing, 11 Νοεμβρίου 2009, Σεμινάρια Τμήματος Φυσικής
Εισαγωγή στο Grid Computing, 11 Νοεμβρίου 2009, Σεμινάρια Τμήματος Φυσικής
computing nowadays is like. water, electricity, telephone, television Εισαγωγή στο Grid Computing, 11 Νοεμβρίου 2009, Σεμινάρια Τμήματος Φυσικής
Cloud computing Εισαγωγή στο Grid Computing, 11 Νοεμβρίου 2009, Σεμινάρια Τμήματος Φυσικής
Questions (1) What is the Grid? (2) Why should I be interested in the Grid? In general why should I care about Distributed Computing Infrastructures (i.e. Super Computers, Cloud Computing, Grid Computing, Cluster computing etc) (3) How easy are these to use? Εισαγωγή στο Grid Computing, 11 Νοεμβρίου 2009, Σεμινάρια Τμήματος Φυσικής 23
Grid is a tool, a mean Εισαγωγή στο Grid Computing, 11 Νοεμβρίου 2009, Σεμινάρια Τμήματος Φυσικής 24
Tools are developed in the context of the problem Problem Tool Solution Εισαγωγή στο Grid Computing, 11 Νοεμβρίου 2009, Σεμινάρια Τμήματος Φυσικής 25
When complexity arises within the problem how can I choose a tool? Problem Tool Solution Εισαγωγή στο Grid Computing, 11 Νοεμβρίου 2009, Σεμινάρια Τμήματος Φυσικής 26
Nature of the scientist s s problem Computational intensive Data related Εισαγωγή στο Grid Computing, 11 Νοεμβρίου 2009, Σεμινάρια Τμήματος Φυσικής 27
Nature of the computational problem Complicated problems Numerical solutions are the only solutions Single computers are not enough Special purpose supercomputers may not be adequate for certain tasks Εισαγωγή στο Grid Computing, 11 Νοεμβρίου 2009, Σεμινάρια Τμήματος Φυσικής 28
Tools to attack the computational problem (the Grid case ) Parallel computing Embarrassingly parallel (parametric studies) Communication across processes (threads, OpenMP, MPI, HPF, UPC, Charm++ etc) Εισαγωγή στο Grid Computing, 11 Νοεμβρίου 2009, Σεμινάρια Τμήματος Φυσικής 29
Tools to attack the computational problem (the HPC case ) Special hardware nvidia GPGPU SGI Altix FPGA Blade servers IBM Cell (LANL Roadrunner) Εισαγωγή στο Grid Computing, 11 Νοεμβρίου 2009, Σεμινάρια Τμήματος Φυσικής 30
Tools to attack the computational problem (the HPC case ) Yup, this Special hardware is a playstation nvidia GPGPU SGI Altix FPGA Blade servers IBM Cell (LANL Roadrunner) Εισαγωγή στο Grid Computing, 11 Νοεμβρίου 2009, Σεμινάρια Τμήματος Φυσικής 31
But what about data related problems? http://gridview.cern.ch/ Εισαγωγή στο Grid Computing, 11 Νοεμβρίου 2009, Σεμινάρια Τμήματος Φυσικής 32
But what about data related problems? Εισαγωγή στο Grid Computing, 11 Νοεμβρίου 2009, Σεμινάρια Τμήματος Φυσικής 33
How do we deal with this amount of data and how do we use them? Distributed databases Direct access is not any more possible Metadata associations are used (AMGA, GRelC) (remember: metadata is data about data) Encryption mechanisms and access policies Εισαγωγή στο Grid Computing, 11 Νοεμβρίου 2009, Σεμινάρια Τμήματος Φυσικής 34
Questions (1) What is the Grid? (2) Why should I be interested in the Grid? In general why should I care about Distributed Computing Infrastructures (i.e. Super Computers, Cloud Computing, Grid Computing, Cluster computing etc) (3) How easy are these to use? Εισαγωγή στο Grid Computing, 11 Νοεμβρίου 2009, Σεμινάρια Τμήματος Φυσικής 35
Adopting to new technologies The learning curve Εισαγωγή στο Grid Computing, 11 Νοεμβρίου 2009, Σεμινάρια Τμήματος Φυσικής 36
In principal, access hasn t changed much 1980s 2000s Εισαγωγή στο Grid Computing, 11 Νοεμβρίου 2009, Σεμινάρια Τμήματος Φυσικής 37
In principal, access hasn t changed much although 1980s 2010s Εισαγωγή στο Grid Computing, 11 Νοεμβρίου 2009, Σεμινάρια Τμήματος Φυσικής 38
However, more attractive ways are there for us to use Web portals P-GRADE GENIUS Integrated environments G-Eclipse Scientific Gateways Application as a service Data access Εισαγωγή στο Grid Computing, 11 Νοεμβρίου 2009, Σεμινάρια Τμήματος Φυσικής 39
https://access.hellasgrid.gr hellasgrid Εισαγωγή στο Grid Computing, 11 Νοεμβρίου 2009, Σεμινάρια Τμήματος Φυσικής 40
European Grid Infrastructure Objectives build and provide a consistent, robust and secure Grid infrastructure improve and maintain the middleware attract new users from industry and science In numbers (last update July 2009)... 290 Grid sites from 55 countries 144000 processing cores 63 PB (25PB Disk Storage + 38PB tape storage) ~330k Jobs/day Εισαγωγή στο Grid Computing, 11 Νοεμβρίου 2009, Σεμινάρια Τμήματος Φυσικής 41
European Grid Infrastructure Objectives build and provide a consistent, robust and secure Grid infrastructure improve and maintain the middleware attract new users from industry and science In numbers (last update July 2009)... 290 Grid sites from 55 countries 144000 processing cores 63 PB (25PB Disk Storage + 38PB tape storage) ~330k Jobs/day Εισαγωγή στο Grid Computing, 11 Νοεμβρίου 2009, Σεμινάρια Τμήματος Φυσικής 42
HellasGrid Overview HellasGrid Infrastructure Overview CPU Cores Storage (TBs) HG-01-GRNET 64 20 HG-02-IASA 120 4 HG-03-AUTH 120 4 HG-04-CTI-CEID 120 4 HG-05-FORTH 120 4 HG-06-EKT 628 12 GR-01-AUTH 136 29 GR-04-FORTH-ICS 10 - GR-06-IASA 20 2 GR-07-UOI-HEPLAB 28 20 GR-09-UOA 10 2 GR-10-UOI 120 2 Total 1496 103 Εισαγωγή στο Grid Computing, 11 Νοεμβρίου 2009, Σεμινάρια Τμήματος Φυσικής 43
HellasGrid Overview Number of Jobs (Nov 06 - Nov 09) HG-01-GRNET GRNET HG-02-IASA HG-03-AUTH HG-04-CTI-CEID HG-05-FORTH HG-06-EKT GR-01-AUTH GR-04-FORTH-ICS GR-06-IASA GR-07-UOI-HEPLAB HellasGrid Infrastructure Overview CPU Cores Storage (TBs) HG-01-GRNET 64 20 HG-02-IASA 120 4 HG-03-AUTH 120 4 HG-04-CTI-CEID 120 4 HG-05-FORTH 120 4 HG-06-EKT 628 12 GR-01-AUTH 184 38 GR-04-FORTH-ICS 10 - GR-09-UoA GR-06-IASA 20 2 GR-10-UOI 0 100,000000 200,000300,000 400,000 500,000600,000 700,000 800,000 GR-07-UOI-HEPLAB 28 20 GR-09-UOA 10 2 GR-10-UOI 120 2 Total 1544 112 Εισαγωγή στο Grid Computing, 11 Νοεμβρίου 2009, Σεμινάρια Τμήματος Φυσικής 44
Grid Infrastructure @ A.U.Th. Εισαγωγή στο Grid Computing, 11 Νοεμβρίου 2009, Σεμινάρια Τμήματος Φυσικής 45
User and Application Support @ A.U.Th. Hosting of regular training events Helpdesk operation Face to face meetings Repository services User guides Wiki pages Blogs Εισαγωγή στο Grid Computing, 11 Νοεμβρίου 2009, Σεμινάρια Τμήματος Φυσικής 46
Tools and Services Scientific Linux (Redhat binary compatible) Compilers Profiling tools Scientific libraries Message Passing Interface (MPI) mpich-1, mpich-2, openmpi OpenMP Parallel filesystems (Lustre, GPFS) Effective monitoring 24x7 (RR scripts etc) Εισαγωγή στο Grid Computing, 11 Νοεμβρίου 2009, Σεμινάρια Τμήματος Φυσικής 47
Ported Applications NAMD (Molecular dynamics) WRF (Weather prediction) MM5 (Atmospheric circulation) RegCM3 (Regional climate model) CAMx (Air quality model) VASP (Quantum chemistry) Abinit (Quantum chemistry) Flow3d (Fluid dynamics) Εισαγωγή στο Grid Computing, 11 Νοεμβρίου 2009, Σεμινάρια Τμήματος Φυσικής 48
Some links to consider [Wiki] https://goc.grid.auth.gr/ grid gr/ [Trac] https://trac.hellasgrid.gr/ [Blogs] http://planet.grid.auth.gr/ p g Εισαγωγή στο Grid Computing, 11 Νοεμβρίου 2009, Σεμινάρια Τμήματος Φυσικής 49
Εισαγωγή στο Grid Computing, 11 Νοεμβρίου 2009, Σεμινάρια Τμήματος Φυσικής 50