Ταχύτερα compile με ccache και distcc

Transcript

1 Ταχύτερα compile με ccache και distcc Βασίλης Στούμπος δαίμων, τεύχος 13

2 Περίληψη Περιπτώσεις Χρήσης Compilation μεγάλων project Rebuild κατά το development Προσεγγίσεις Χρήση cache στον preprocessor Χρήση μηχανημάτων στο δίκτυο

3 Εγκατάσταση Πλατφόρμα Δοκιμές σε Debian GNU/Linux Εφαρμογή σε όλα τα UNIX-like λειτουργικά Ίσως Windows (mingw,...)./configure ; make ; make install... ccache distcc

4 Σημείωση Πρέπει να υπάρχει ένα οργανωμένο build process Build Process Makefiles Autotools

5 Πολλαπλές Διεργασίες Πολλές διεργασίες για ένα compile Παράδειγματα: > make all [...] > make -j 3 all [...]

6 Hyper-threading Επεξεργαστής Pentium IV, 2.8GHz, hyperthreading Συνεχόμενες μεταγλωττίσεις: real user sys total clean all all -j all -j all -j all -j all -j all -j

7 Hyper-threading Επεξεργαστής Pentium IV, 2.8GHz, hyperthreading Συνεχόμενες μεταγλωττίσεις: Multi-Process Compile Times time [sec] clean all all -j 2 all -j 3 all -j 4 all -j 8 all -j 16 all -j 32 processes real user sys total

8 Πολλαπλές Διεργασίες σε Δίκτυο Compile σε μηχανήματα στο δίκτυο Παράδειγμα χρήσης distcc: > > export CC=distcc > make -j 8 all [...]

9 Ρυθμίσιες distcc Πρέπει να εκτελούνται οι κατάλληλοι δαίμονες: distccd --daemon Περιβάλλον remote authentication Λίστα μηχανήματων: localhost, τοπική εκτέλεση host, απλή tcp σύνδεση ssh σύνδεση ssh Αρχεία /etc/distcc/hosts και ~/.distcc/hosts

10 Χρήση Δικτύου Δύο Pentium IV και ένας Pentium II. Συνεχόμενες μεταγλωττίσεις με distcc: real user sys total all all -j all -j all -j all -j all -j all -j

11 Χρήση Δικτύου Δύο Pentium IV και ένας Pentium II. Συνεχόμενες μεταγλωττίσεις με distcc: distcc Compile Times time [sec] all all -j 2 all -j 3 all -j 4 all -j 8 all -j 16 all -j 32 make options real user sys total

12 Preprocessor Cache Compile με λιγότερες εκτελέσεις του preprocessor Παράδειγμα χρήσης ccache: > make all CC=ccache [...] > ccache -s cache hit 336 cache miss 83 called for link 45 files in cache 166 cache size 1.6 Mbytes max cache size Mbytes

13 Ρυθμίσεις ccache Στατιστικά Εμφάνιση: ccache -s Καθαρισμός: ccache -z Cache Καθαρισμός: ccache -c Άδειασμα: ccache -C Μεταβλητές CCACHE_DIR: κατάλογος cahce mount σαν tmpfs ~ 10-20% βελτίωση CCACHE_LOGFILE: αρχείο μετρήσεων Άλλα... ccache -h

14 Παράδειγμα ccache (1/2) > ccache -c Cleaned cache > ccache -C Cleared cache > ccache -z Statistics cleared > ccache -s cache hit 0 cache miss 0 files in cache 0 cache size 0 Kbytes max cache size Mbytes > make all CC='ccache gcc' [...]

15 Παράδειγμα ccache (2/2) > ccache -s cache hit 0 cache miss 83 called for link 9 files in cache 166 cache size 1.6 Mbytes max cache size Mbytes > make clean [...] > make CC='ccache gcc' [...] > ccache -s cache hit 83 cache miss 83 called for link 18 files in cache 166 cache size 1.6 Mbytes max cache size Mbytes

16 Χρήση preprocessor cache Συνεχόμενες μεταγλωττίσεις με ccache: real user sys total all (1st) all (2nd) all (2nd) all -j

17 Χρήση preprocessor cache Συνεχόμενες μεταγλωττίσεις με ccache: ccache Compile Times time [sec] all (1st) all (2nd) all (2nd) all -j 3 make options real user sys total

18 Συνδυασμός distcc και ccache Compile παράλληλα στο δίκτυο Κλήση preprocessor μόνο όταν είναι απαραίτητο Απαιτείται κοινή cache > > export CCACHE_DIR=/Data/Cache/CCache > export CCACHE_LOGFILE=/Data/Cache/CCache.log > export CCACHE_PREFIX=distcc > export CC='ccache gcc' > make all -j8 [...]

19 Χρήση preprocessor cache και κόμβων δικτύου Συνεχόμενες μεταγλωττίσεις με distcc και ccache: real user sys total all all -j all -j all -j all -j all -j all -j

20 Χρήση preprocessor cache και κόμβων δικτύου Συνεχόμενες μεταγλωττίσεις με distcc και ccache: distcc & ccache Compile Times time [sec] alll all -j 2 all -j 3 all -j 4 all -j 8 all -j 16 all -j 32 make options real user sys total

21 Συμπεράσματα Μικρά, προσωπικά projects Πολύ χρήσιμο το ccache Διαφορά ~ 30-40% σε hyper-threading cpu Δεν δοκίμασα tmpfs για την cache Πολλοί προγραμματιστές Χρειάζεται ειδική ρύθμιση Κέρδος σε μεγάλα projects Πολύ μεγάλα projects Π.χ. kernel compile Δεν δοκίμασα κάτι Πολύ χρήσιμο το distcc Με ειδική ρύθμιση, το ccache βελτιώνει ακόμα περισσότερο το χρόνο

22 Ευχαριστώ Έπρεπε να είχα χρησιμοποιήσει latex/beamer, το openoffice έχει πολύ δρόμο να καλύψει...