Υπολογιστική πολυπλοκότητα του πρωτεύοντος αλγόριθμου εξωτερικών σημείων

Transcript

1 Υπολογιστική πολυπλοκότητα του πρωτεύοντος αλγόριθμου εξωτερικών σημείων Γεώργιος Παπανίκος Τμ. Εφ. Πληροφορικής, Πανεπιστήμιο Μακεδονίας Εγνατία 156, Θεσσαλονίκη Νικόλαος Σαμαράς Τμ. Εφ. Πληροφορικής, Πανεπιστήμιο Μακεδονίας Εγνατία 156, Θεσσαλονίκη Περίληψη Οι αλγόριθμοι τύπου simplex έχουν επικρατήσει εδώ και πολλά χρόνια ως ένα από τα βασικότερα εργαλεία για την επίλυση προβλημάτων γραμμικού προγραμματισμού. Αρκετά χαρακτηριστικά γνωρίσματα ενός Γραμμικού Προβλήματος (ΓΠ) πρέπει να ληφθούν υπόψη προκειμένου να μετρηθεί με ακρίβεια η υπολογιστική συμπεριφορά ενός αλγορίθμου. Στην εργασία αυτή παρουσιάζεται ένας ολοκληρωμένος τρόπος υπολογισμού της υπολογιστικής πολυπλοκότητας του πρωτεύοντος αλγορίθμου εξωτερικών σημείων. Ο υπολογισμός της υπολογιστικής πολυπλοκότητας πραγματοποιήθηκε με τη χρήση παλινδρομήσεων σε ένα σύνολο 3239 πυκνών και αραιών ΓΠ. Οι καλύτερες παλινδρομήσεις που προέκυψαν, σύμφωνα με τις αρχές που διέπουν τη θεωρία των παλινδρομήσεων, υιοθετήθηκαν ως υποδείγματα χρονισμού και επαναλήψεων του αλγορίθμου εξωτερικών σημείων. Λέξεις Κλειδιά: Αλγόριθμος Εξωτερικών Σημείων, Θεωρία Παλινδρομήσεων, Τυχαία Πυκνά και Αραιά ΓΠ, Υπολογιστική Μελέτη. 1. Εισαγωγή Ο Γραμμικός Προγραμματισμός αποτελεί ίσως τον πιο σημαντικό και καλά μελετημένο χώρο της επιστήμης της βελτιστοποίησης. Ένα μεγάλο εύρος πραγματικών προβλημάτων μπορεί να μορφοποιηθεί ως πρόβλημα γραμμικού προγραμματισμού. Ο πρωτεύων αλγόριθμος Simplex (PSA), ο οποίος ανακαλύφθηκε από τον Dantzig [Dantzig (1949)], [Dantzig (1963)] ενέπνευσε αρκετούς ερευνητές για πολλά χρόνια επειδή η υπολογιστική συμπεριφορά του σε πραγματικά προβλήματα είναι καλύτερη από την ανάλυση πολυπλοκότητας χειρότερης περίπτωσης. Θεωρείται ότι αποτελεί έναν από τους πιο σημαντικούς αλγόριθμους στην επιστήμη των υπολογιστών [ash (2000)]. Είναι γνωστό ότι ο αλγόριθμος Simplex δεν είναι πολυωνυμικός. Ο orgwardt [orgwardt (1982)] απέδειξε ότι η μέση πολυπλοκότητα του αλγορίθμου Simplex είναι πολυωνυμική. Ο Paparrizos [Paparrizos (1990)] επεκτείνοντας προηγούμενα αποτελέσματά του, ανέπτυξε έναν αλγόριθμο εξωτερικών σημείων (EPSA) για γενικά προβλήματα γραμμικού προγραμματισμού. Ένα κοινό χαρακτηριστικό όλων σχεδόν των αλγορίθμων τύπου simplex είναι ότι μπορούν να ερμηνευτούν ως μια διαδικασία που ακολουθεί τύπου simplex διαδρομές οι οποίες καταλήγουν στη βέλτιστη λύση σε πεπερασμένο αριθμό επαναλήψεων. Ο αλγόριθμος αυτός διαφέρει ριζικά από τον PSA επειδή οι βασικές λύσεις του δεν είναι εφικτές. Οι Paparrizos et al. [Paparrizos et al. (2008)] έδειξαν ότι η

2 γεωμετρία του EPSA καθιστά φανερό ότι αυτός ο αλγόριθμος είναι ταχύτερος από τον PSA, γεγονός το οποίο επαληθεύτηκε σε πρωταρχικά υπολογιστικά αποτελέσματα σύγκρισης πρώιμων δυϊκών εκδόσεων του EPSA σε ειδικά δομημένα γραμμικά προβλήματα, [Dosios and Paparrizos (1997)]. Η κλασική ανάλυση πολυπλοκότητας ασχολείται με τη θεωρητική μελέτη αλγορίθμων συναρτήσει μόνο της διάστασης των προβλημάτων. Από την άλλη μεριά η εμπειρική ή πειραματική ανάλυση ασχολείται με την υλοποίηση των αλγορίθμων και τη μέτρηση της συμπεριφοράς τους σε τυχαία ΓΠ ή/και σε μετροπρογράμματα. Αυτές οι δυο προσεγγίσεις είναι συμπληρωματικές μεταξύ τους. Αποτελεί πρόκληση η δημιουργία ενός υποδείγματος χρονισμού για έναν αλγόριθμο έτσι ώστε να μπορεί να προβλεφθεί η πραγματική υπολογιστική του συμπεριφορά. Στην παρούσα εργασία παρουσιάζουμε ένα υπόδειγμα χρονισμού για πρωτεύων αλγόριθμο εξωτερικών σημείων με ανάλυση παλινδρόμησης. Η ανάλυση παλινδρόμησης αποτελεί ένα ισχυρό στατιστικό εργαλείο για τον υπολογισμό της υπολογιστικής συμπεριφοράς αλγορίθμων. Η διάρθρωση του άρθρου είναι η ακόλουθη: Στην ενότητα 2 ανακεφαλαιώνουμε ορισμένα γνωστά αποτελέσματα και παρουσιάζουμε τον αλγόριθμο EPSA. Στην ενότητα 3 δίνουμε τα κύρια γνωρίσματα των δεδομένων της υπολογιστικής μελέτης. Στην ενότητα 4 παρουσιάζουμε τις υπολογιστικές πολυπλοκότητες (χρόνο CPU και επαναλήψεις) για τα πυκνά και αραιά ΓΠ. Τέλος στην ενότητα 5 αναφέρουμε τα συμπεράσματά μας. 2. Περιγραφή του Αλγορίθμου Έστω το ακόλουθο πρόγραμμα γραμμικού προγραμματισμού min c x μ. π. Ax = b (LP.1) x 0 όπου A R m n, c, x R n, b R m και σημαίνει αναστροφή. Υποθέτουμε ότι rank(a) = m, 1 m < n. Διαμερίζοντας τον πίνακα Α ως 1 και τα διανύσματα x και c αντίστοιχα ως A = [ ] x x = x, c c = c το (LP.1) γράφεται min μ. π. c x x x + c + x,x x = b 0 1 Χρησιμοποιούμε μια φορά το γράμμα Β για να συμβολίσουμε ένα σύνολο δεικτών και μια φορά για να συμβολίσουμε έναν πίνακα. Το ίδιο κάνουμε και για το Ν. Θεωρούμε ότι από τα συμφραζόμενα θα φαίνεται αν τα γράμματα αυτά συμβολίζουν σύνολα δεικτών ή πίνακες.

3 Ο πίνακας είναι ένας mxn αντιστρέψιμος υποπίνακας του A, γνωστός ως βασικός πίνακας. Οι στήλες του A οι οποίες ανήκουν στον λέγονται βασικές και όσες εναπομένουν λέγονται μη βασικές. Δοθείσης μιας βάσης, η αντίστοιχη λύση x = -1 b, x = 0 ονομάζεται βασική λύση. Μια λύση x = (x, x ) είναι εφικτή αν x 0. Διαφορετικά λέγεται μη εφικτή. Είναι γνωστό ότι η λύση του δυϊκού προβλήματος που αντιστοιχεί στη βάση, δίνεται από την s = c A w όπου w = (c ) -1 είναι οι πολλαπλασιαστές simplex και s είναι οι δυϊκές χαλαρές μεταβλητές. Η αντίστοιχη βάση λέγεται δυϊκή εφικτή αν s 0. Είναι γνωστό επίσης ότι s = 0. Σε κάθε επανάληψη ο EPSA δημιουργεί δύο δρόμους προς την βέλτιστη λύση. Ο ένας δρόμος είναι μη εφικτός και ο άλλος είναι εφικτός. Έτσι ο EPSA δεν χρειάζεται να προχωράει εξετάζοντας μια τέτοια ακμή μετά την άλλη κατά μήκος του πολύεδρου P = {x Ax b, x 0}. Επομένως, μπορούμε να ακολουθήσουμε συντομότερους δρόμους παρακάμπτοντας την εφικτή περιοχή. Πριν να προχωρήσουμε στην περιγραφή του EPSA, κρίνουμε σκόπιμο να εξηγήσουμε κάποιους συμβολισμούς. Η i-γραμμή του A συμβολίζεται με A i. και η j-στήλη με A.j. Σημειωτέον ότι το συνολικό έργο μιας επανάληψης σε αλγόριθμους τύπου simplex καθορίζεται από τον προσδιορισμό του αντίστροφου πίνακα -1 και σε κάθε επανάληψη ο τρέχων αντίστροφος -1 μπορεί να υπολογιστεί από τον προηγούμενο αντίστροφο -1 με μια απλή πράξη περιστροφής. Δηλαδή έχουμε όπου Ε -1 είναι ο πίνακας E 1 1 = I a pq ( a q -1 = Ε -1 Β -1 e ) e q q 1 = a a 1q 1/ a mq / a pq / a pq pq 1 Στην παραπάνω σχέση a pq είναι το στοιχείο περιστροφής, η στήλη q λέγεται στήλη περιστροφής και η γραμμή p λέγεται γραμμή περιστροφής. Ο πρωτεύων αλγόριθμος EPSA. Βήμα 0. (Αρχικοποίηση). Άρχισε με μια εφικτή βασική διαμέριση [, ]. Υπολόγισε τον πίνακα και τα διανύσματα -1, x, w, s, αντίστοιχα. Βρες τα σύνολα P = {j : s j < 0} και Q = {j : s j 0}. Επέλεξε αυθαίρετα ένα διάνυσμα λ = (λ 1, λ 2,, λ P ) > 0 και υπολόγισε το s 0 χρησιμοποιώντας τη σχέση και το διάνυσμα s 0 = λ js j j P

4 με Βήμα 1. (Έλεγχος τερματισμού). d h = j j P = 1 λ h A j.j j i. (Έλεγχος βελτιστότητας). Αν P =, SOP. Το πρόβλημα (LP.1) είναι βέλτιστο. ii. (Επιλογή εξερχόμενης μεταβλητής). Αν d 0, SOP. Αν s 0 = 0, το πρόβλημα (P.1) είναι βέλτιστο. Αν s 0 < 0 το πρόβλημα (LP.1) είναι απεριόριστο. Διαφορετικά, επέλεξε την εξερχόμενη μεταβλητή x [r] = x k χρησιμοποιώντας τη σχέση x [] r x [] i α = = min : d [] i < 0 d [] r d [] i Βήμα 2. (Επιλογή εισερχόμενης μεταβλητής). Υπολόγισε τα διανύσματα H rp = ( -1 ) r. A P και H rq = ( -1 ) r. A Q. Βρες επίσης τους λόγους θ 1 και θ 2 χρησιμοποιώντας τις σχέσεις sp s j θ1 = = min : h rj > 0 και j P (1) h rp h rj sq s j θ2 = = min : h rj < 0 και j Q (2) h rq h rj και προσδιόρισε δείκτες t 1 και t 2 τέτοιους ώστε P(t 1 ) = p και Q(t 2 ) = q. Αν θ 1 θ 2, θέσε l = p. Διαφορετικά, θέσε l = q. Η μη βασική μεταβλητή x l εισέρχεται στη βάση. Βήμα 3. (Περιστροφή). Θέσε [r] = l. Αν θ 1 θ 2 θέσε P = P\{l} και Q = Q {k}. Διαφορετικά, θέσε Q[t 2 ] = k. Χρησιμοποιώντας τη νέα διαμέριση (, ), όπου = (P, Q), υπολόγισε τον πίνακα και τα διανύσματα -1, x, w, s, αντίστοιχα. Επίσης, ανανέωσε το διάνυσμα d χρησιμοποιώντας τη σχέση d = E 1 d και πήγαινε στο Βήμα Δεδομένα υπολογιστική μελέτης 3.1. Τυχαία Πυκνά και Αραιά ΓΠ Το σύνολο των ΓΠ που χρησιμοποιήθηκαν προκειμένου να υπολογιστούν τα υποδείγματα χρονισμού ήταν 3239 τυχαία προβλήματα. Από αυτά 610 ήταν πυκνά και τα υπόλοιπα 2629 αραιά. Στον Πίνακα 1 παρουσιάζονται τα διαστήματα τιμών για το πλήθος των τεχνολογικών περιορισμών, για το πλήθος των μεταβλητών απόφασης καθώς και το

5 μικρότερο και μεγαλύτερο ΓΠ που χρησιμοποιήθηκες στο υπολογιστικό πείραμα. Στον Πίνακα 2 παρουσιάζεται η κατανομή των πυκνών και αραιών ΓΠ ως προς την κατάστασή τους (βέλτιστα, απεριόριστα και αδύνατα). Πίνακας 1. Ελάχιστο και Μέγιστο μέγεθος ΓΠ Πυκνά Αραιά Διάστημα τιμών για το m [ ] [3 5086] Διάστημα τιμών για το n [ ] [5 5859] ΓΠ με την ελάχιστη διάσταση 10x18 3x5 ΓΠ με τη μέγιστη διάσταση 2181x x5859 Πίνακας 2. Κατηγοριοποίηση ΓΠ Σύνολο (3239) Πυκνά (610) Αραιά (2629) Αδύνατα (0) Εφικτά (610) Αδύνατα (246) Εφικτά (2383) Βέλτιστα (610) Απεριόριστα (0) Βέλτιστα (2223) Κάθε ΓΠ πρόβλημα που δημιουργήθηκε έχει την ακόλουθη γενική μορφή 3.2. Υπολογιστικό περιβάλλον min z = st.. Ax b x 0 c x { } n m m n cx, R, b R, A R and =,=, Απεριόριστα (160) Ο πρωτεύων αλγόριθμος εξωτερικών σημείων υλοποιήθηκε στο περιβάλλον MathWorks MALA, version R14. Οι κύριοι λόγοι αυτής της επιλογής ήταν οι δυνατότητες χειρισμού αραιών πινάκων από το MALA. Τα χαρακτηριστικά του hardware και του software διαδραματίζουν καθοριστικό ρόλο στην υπολογιστική συμπεριφορά ενός αλγορίθμου [Maros et al. (1999)]. Τα χαρακτηριστικά του υπολογιστικού περιβάλλοντος που χρησιμοποιήθηκε φαίνονται στον Πίνακα Υπόδειγμα χρονισμού 4.1 Αρχικές δοκιμές Πίνακας 3. Περιγραφή υπολογιστικού περιβάλλοντος CPU Intel(R) Core, i GHz (2 processors) RAM size M L3 Cache size 8 M L2 Cache size 4x256 K L1 Cache size 4x32 K Operating System Microsoft Windows 7 Professional SP1 MALA version R14 SP1

6 Οι εξαρτημένες μεταβλητές οι οποίες χρησιμοποιήθηκαν για τον προσδιορισμό του καλύτερου υποδείγματος χρονισμού ήταν οι ακόλουθες: m πλήθος περιορισμών, n πλήθος μεταβλητών, density πυκνότητα ΓΠ, nnz πλήθος μη-μηδενικών στοιχείων του πίνακα Α, L μήκος δεδομένων και cond(a) βαθμός κατάστασης του πίνακα Α. Στη συνέχεια με τα στοιχεία που προέκυψαν διενεργήθηκε στατιστική επεξεργασία χρησιμοποιώντας το πρόγραμμα E-views 5.1 ώστε να εκτιμηθεί προσεγγιστικά η υπολογιστική πολυπλοκότητα του αλγορίθμου. Μετά από αρκετές δοκιμές καταλήξαμε στο συμπέρασμα ότι δεν υπάρχει μια γραμμική συσχέτιση μεταξύ της εξαρτημένης μεταβλητής και των ανεξάρτητων μεταβλητών. Συνολικά δημιουργήθηκαν 69 διαφορετικές παλινδρομήσεις και για τα πυκνά και για τα αραιά ΓΠ. Τα κριτήρια αποδοχής μιας παλινδρόμησης ήταν, σύμφωνα με τη στατιστική θεωρεία των παλινδρομήσεων, ο συντελεστής προσδιορισμού R 2 και ο διορθωμένος συντελεστής R 2 adjusted καθώς και η σημαντικότητα των συντελεστών της παλινδρόμησης (Prob< 0.05). Δηλαδή όλοι οι συντελεστές είναι στατιστικά σημαντικοί Κατασκευή υποδείγματος Για την εύρεση του καλύτερου υποδείγματος χρησιμοποιήθηκαν αρκετοί μετασχηματισμοί τόσο στις εξαρτημένες μεταβλητές όσο και στις ανεξάρτητες. Συγκεκριμένα, οι μετασχηματισμοί που χρησιμοποιήθηκαν είναι οι ακόλουθοι: m, n,, cond_α, m 2, n 2,, cond_α 2, m 3, n 3, ln(m), ln(n),., και ln(cond_α). Το καλύτερο υπόδειγμα παλινδρόμησης για τις επαναλήψεις σε πυκνά ΓΠ είναι το ακόλουθο: Log(niter)= m log(n) log(nnz) log(L)+ 1.34E-6m E-11n E-10nnz E-12L 2 Πίνακας 5. Καλύτερο υπόδειγμα παλινδρόμησης για τις επαναλήψεις σε πυκνά ΓΠ Dependent Variable: LOGIER Method: Least Squares Sample: Included observations: 610 Variable Coefficient Std. Error t-statistic Prob. C M LOG LOGZ LOGL M^2 1.34E E ^3 5.06E E Z^2 1.71E E L^2-1.42E E R-squared Mean dependent var Adjusted R-squared S.D. dependent var S.E. of regression Akaike info criterion Sum squared resid Schwarz criterion Log likelihood F-statistic Durbin-Watson stat Prob(F-statistic)

7 Το παραπάνω υπόδειγμα (Πίνακας 4), συνδυάζοντας ικανοποιητικές τιμές για τους συντελεστές προσδιορισμού, χαμηλά σφάλματα και κανονική κατανομή των καταλοίπων των παρατηρήσεων, αποτελεί την καλύτερη επιλογή για την υπολογιστική συμπεριφορά του πρωτεύοντος αλγορίθμου εξωτερικών σημείων κατά την επίλυση πυκνών γραμμικών προβλημάτων όσον αφορά το πλήθος των επαναλήψεων του. Τα ίδια συμπεράσματα ισχύουν και για το υπόδειγμα παλινδρόμησης για το χρόνο CPU σε πυκνά ΓΠ (Πίνακας 5). Το καλύτερο υπόδειγμα παλινδρόμησης για το χρόνο CPU σε πυκνά ΓΠ είναι το ακόλουθο: Log(cpu)= n m-1.55E-5m E-6n E-9m E-9n E-12m E-13n E-27nnz 4 Πίνακας 5. Καλύτερο υπόδειγμα παλινδρόμησης για το χρόνο CPU σε πυκνά ΓΠ Dependent Variable: LOGCPU Method: Least Squares Sample: Included observations: 610 Variable Coefficient Std. Error t-statistic Prob. C M M^2-1.55E E ^2-6.10E E M^3 8.98E E ^3 2.28E E M^4-1.96E E ^4-3.22E E Z^4 2.06E E R-squared Mean dependent var Adjusted R-squared S.D. dependent var S.E. of regression Akaike info criterion Sum squared resid Schwarz criterion Log likelihood F-statistic Durbin-Watson stat Prob(F-statistic) Το καλύτερο υπόδειγμα παλινδρόμησης για τις επαναλήψεις σε αραιά ΓΠ είναι το ακόλουθο: Log(niter)= 0.688log(L)-0.045log(cond(A)) m density+8.8E- 8m E-14nnz density 2 Πίνακας 6. Καλύτερο υπόδειγμα παλινδρόμησης για τις επαναλήψεις σε αραιά ΓΠ Dependent Variable: LOGIER Method: Least Squares Sample: Included observations: 2629 Variable Coefficient Std. Error t-statistic Prob.

8 LOGL LOGCODA M E DESIY M^2 8.82E E Z^2 2.76E E DESIY^ R-squared Mean dependent var Adjusted R-squared S.D. dependent var S.E. of regression Akaike info criterion Sum squared resid Schwarz criterion Log likelihood Durbin-Watson stat Το παραπάνω υπόδειγμα (Πίνακας 6), συνδυάζοντας ικανοποιητικές τιμές για τους συντελεστές προσδιορισμού, χαμηλά σφάλματα και κανονική κατανομή των καταλοίπων των παρατηρήσεων, αποτελεί την καλύτερη επιλογή για την υπολογιστική συμπεριφορά του πρωτεύοντος αλγορίθμου εξωτερικών σημείων κατά την επίλυση αραιών γραμμικών προβλημάτων όσον αφορά το πλήθος των επαναλήψεων του. Τα ίδια συμπεράσματα ισχύουν και για το υπόδειγμα παλινδρόμησης για το χρόνο CPU σε αραιά ΓΠ (Πίνακας 7). Το καλύτερο υπόδειγμα παλινδρόμησης για το χρόνο CPU σε αραιά ΓΠ είναι το ακόλουθο: Log(cpu)= log(L)-1.144log(density)-0.047log(cond(A))+2.12E- 7L-1.26E-14L E-22L E-30L 4 Πίνακας 7. Καλύτερο υπόδειγμα παλινδρόμησης για το χρόνο CPU σε αραιά ΓΠ Dependent Variable: LOGCPU Method: Least Squares Sample: Included observations: 2629 Variable Coefficien t Std. Error t-statistic Prob. C LOGL LOGDESIY LOGCODA L 2.12E E L^2-1.26E E L^3 2.98E E L^4-2.24E E R-squared Mean dependent var Adjusted R-squared S.D. dependent var S.E. of regression Akaike info criterion Sum squared resid Schwarz criterion Log likelihood F-statistic Durbin-Watson stat Prob(F-statistic)

9 5. Συμπεράσματα Η ανάλυση παλινδρόμησης που παρουσιάστηκε στην ενότητα 4 για το χρόνο CPU και για το πλήθος των επαναλήψεων για κάθε κατηγορία προβλημάτων (πυκνά και αραιά) καταδεικνύει αρκετά ικανοποιητικές τιμές για το διορθωμένο συντελεστή R 2 adj καθώς και χαμηλές τιμές των τυπικών σφαλμάτων και στατιστικά σημαντικούς συντελεστές των παλινδρομήσεων. Επομένως, τα τελικά υποδείγματα υπολογιστικής πολυπλοκότητας είναι αποδοτικά, σύμφωνα με τη συμπεριφορά του αλγορίθμου εξωτερικών σημείων σε τυχαία πυκνά και αραιά ΓΠ. Αναφορές orgwardt, Η.Κ. (1982), Some distribution independent results about the asymptotic order of the average number of pivot steps in the simplex method, Mathematics of Operations Research, 7(3), Dantzig G.. (1949), Programming of Interdependent Activities, II, Mathematical Model, Econometrica, 17(3 and 4), Dantzig G.. (1963) Linear Programming and Extensions. J: Princeton, Princeton University Press. Dosios, K., Paparrizos K, (1997). "Resolution of the problem of degeneracy in a primal and dual simplex algorithm", Operation Research Letters, 20, Maros I. and Khaliq M. H. (1999) Αdvances in Design and Implementation of Optimization Software, echnical report, Imperial College London. ash J. C. (2000), he top 10 algorithms, Computing in Science and Engineering, 2(1), Paparrizos, K. (1990). "A generalization of an exterior point simplex algorithm for linear programming problems", echnical Report, University of Macedonia. Paparrizos, K., Samaras,., siplidis, K. (2008). "Pivoting algorithms for (LP) generating two paths", Pardalos, M.P., Floudas, A.C. (Eds), Encyclopedia of Optimization, 2 nd edition, Springer,