Dio VI: NP-teški problemi

Transcript

1 Sveučilište u Osijeku, Rijeci, Splitu i Zagrebu Zajednički sveučilišni poslijediplomski doktorski studij matematike Standardni kolegij Matematička logika i računarstvo Drugi semestar Dio VI: NP-teški problemi Robert Manger, svibanj 2011 Sadržaj dijela VI 20. NP-teški problemi i njihovo egzaktno rješavanje 21. Približno rješavanje aproksimacijskim algoritmima 22. Približno rješavanje pomodu heuristika TR-Vi NP-teški problemi 2 1

2 20.0 O čemu je riječ u ovom poglavlju Do sada smo se bavili problemima odlučivanja, koji kao izlaz daju odgovor da/ne na postavljeno pitanje. No u stvarnom životu više nas zanimaju problemi optimizacije, koji kao izlaz daju minimalnu ili maksimalnu vrijednost zadane funkcije cilja. Mnogi od problema optimizacije spadaju u klasu NP-teških problema, što otprilike znači da su vrlo zahtjevni za rješavanje. Svaki NP-teški problem optimizacije u bliskoj vezi je s odgovarajudim sličnim NP-potpunim problemom odlučivanja. TR-Vi NP-teški problemi Opdenito o NP-teškim problemima Problem je NP-težak ako postojanje polinomijalnog algoritma za njegovo rješavanje povlači da je P = NP. Vjeruje se da među opisanim skupovima problema vrijedi sljededi odnos. NP P NP-teški NP-potpuni Zbog vjerovanja da je P NP, također se vjeruje da za NP-teške probleme ne postoje polinomijalni algoritmi. Zato se intenzivno proučavaju i brzi približni načini rješavanja NP-teških problema. TR-Vi NP-teški problemi 4 2

3 20.2 Opis nekih NP-teških problema (1) NP teških problema ima na tisude. Mi demo kao primjere promatrati četiri takva problema. Odabrani problemi spadaju u kombinatornu optimizaciju, preciznije bave se: raspoređivanjem (scheduling), optimizacijom na grafovima. Problem ranca. Zadano je n predmeta s vrijednostima i težinama p i odnosno w i, i = 1,2, n. Zadan je ranac s težinskim kapacitetom m. Treba odabrati predmete koji de se staviti u ranac, tako da se ne premaši kapacitet ranca, te da ukupna vrijednost predmeta bude maksimalna. TR-Vi NP-teški problemi Opis nekih NP-teških problema (2) Problem raspoređivanja poslova na identične strojeve. Zadano je n nezavisnih poslova i m identičnih strojeva. Vrijeme izvođenja i-tog posla na bilo kojem stroju iznosi t i. Treba nadi raspored izvršavanja poslova na strojevima, tako da vrijeme potrebno da se završe svi poslovi bude minimalno. Pritom se jedan posao ne može cjepkati, a jedan stroj ne može obavljati više od jednog posla u jednom trenutku. TR-Vi NP-teški problemi 6 3

4 20.2 Opis nekih NP-teških problema (3) Problem optimalnog bojenja grafa. Zadan je neusmjereni graf. Vrhovima tog grafa treba pridružiti boje tako da su susjedni vrhovi uvijek u različitim bojama. Pritom ukupni broj upotrijebljenih boja mora biti minimalan. Problem trgovačkog putnika. Zadan je potpuni neusmjereni graf, njegovi bridovi imaju zadane duljine (cijene). Treba nadi Hamiltonov ciklus minimalne duljine. Duljina ciklusa računa se kao zbroj duljina pripadnih bridova. TR-Vi NP-teški problemi Dokazivanje NP-težine (1) Slično kao dokazivanje NP-potpunosti, dokazivanje NP-težine izvodi se metodom redukcije u polinomijalnom vremenu. Da bi smo za neki novi problem dokazali da je NPtežak, radimo sljedede: Nađemo neki stari problem za koji se ved zna da je NPpotpun ili NP-težak. Pokažemo da se stari problem može u polinomijalnom vremenu reducirati na novi problem. Dokaz je valjan, jer: ako bi se novi problem mogao riješiti u polinomijalnom vremenu, tada bi se i stari problem primjenom redukcije mogao riješiti u polinomijalnom vremenu, pa bi zbog NPpotpunosti ili NP-težine starog problema vrijedilo P = NP. TR-Vi NP-teški problemi 8 4

5 20.3 Dokazivanje NP-težine (2) U nastavku za naša četiri odabrana problema optimizacije dokazujemo da su oni NP-teški. Teorem NP-potpuni problem PARTITION reducira se u polinomijalnom vremenu na problem ranca. Dakle, problem ranca je zaista NP-težak. Dokaz teorema. Neka multiskup A = {a 1, a 2,, a n } predstavlja primjerak problema PARTITION. Izračunamo S = a 1 + a a n. Konstruiramo u polinomijalnom vremenu primjerak problema ranca: TR-Vi NP-teški problemi Dokazivanje NP-težine (3) broj predmeta je n, kapacitet ranca je m = S/2, težine i vrijednosti predmeta su w i = p i = a i, i = 1,2,, n. Tvrdimo da A ima particiju ako i samo ako je optimalna vrijednost ranca S/2. Zaista: Ako postoji particija, tada je S djeljiv s 2, pa je S/2 = S/2 = S/2, a predmeti koji odgovaraju elementima iz prvog dijela particije imaju težinu S/2 i vrijednost S/2. Obratno, ako vrijednost ranca ispada S/2, tada elementi iz A koji odgovaraju odabranim predmetima imaju zbroj koji je istovremeno S/2 (zbog uvjeta na težine predmeta) i S/2 (zbog postignute vrijednosti ranca). To znači da je S/2 = S/2 = S/2, pa ti elementi imaju zbroj točno S/2 i određuju particiju od A. TR-Vi NP-teški problemi 10 5

6 20.3 Dokazivanje NP-težine (4) Teorem NP-potpuni problem PARTITION reducira se u polinomijalnom vremenu na problem raspoređivanja poslova na identične strojeve. Dakle, problem raspoređivanja poslova je NP-težak. Dokaz teorema. Neka multiskup A = {a 1, a 2,, a n } predstavlja primjerak problema PARTITION. Konstruiramo u polinomijalnom vremenu primjerak problema raspoređivanja poslova: broj poslova je n, broj strojeva je m = 2. vremena izvršavanja poslova su t i = a i, i = 1,2,, n. Neka je T = a 1 + a a n. Očigledno je da postoji raspored poslova na strojeve s vremenom završetka T/2 ako i samo ako postoji particija za A. TR-Vi NP-teški problemi Dokazivanje NP-težine (5) Teorem NP-potpuni problem COLOR reducira se u polinomijalnom vremenu na problem optimalnog bojenja grafa. Dakle, problem optimalnog bojenja grafa je zaista NP-težak. Dokaz teorema. Neka graf G i prirodni broj k određuju primjerak problema COLOR. Isti graf G shvatimo kao primjerak problema optimalnog bojenja grafova. Očigledno, problem COLOR ima rješenje ako i samo ako problem optimalnog bojenja daje rješenje s k boja. TR-Vi NP-teški problemi 12 6

7 20.3 Dokazivanje NP-težine (6) Teorem NP-potpuni problem HAMCYCLE reducira se u polinomijalnom vremenu na problem trgovačkog putnika. Dakle, problem trgovačkog putnika je NP-težak. Dokaz teorema. Neka graf G određuje primjerak problema HAMCYCLE. Konstruiramo u polinomijalnom vremenu potpuni graf G kojeg shvatimo kao primjerak problema trgovačkog putnika: G ima iste vrhove kao G, duljine onih bridova u G koji postoje i u G su 1, duljine ostalih bridova u G su 2. Tada G ima Hamiltonov ciklus ako i samo ako Hamiltonov ciklus minimalne duljine u G ima duljinu n. TR-Vi NP-teški problemi Metode rješavanja NP-teških prob Postoje tri vrste algoritama za rješavanje NP-teških problema. Svaka vrsta dalje se dijeli na podvrste. Egzaktni algoritmi. Zaista daju optimalno rješenje, no zbog velike računske složenosti mogu se primijeniti samo na relativno male primjerke problema. Aproksimacijski algoritmi. Daju u polinomijalnom vremenu približno (sub-optimalno) rješenje, te također i garanciju da je to rješenje blizu optimalnom. Heuristike. Brzim i jednostavnim računanjem daju približno rješenje, koje se obično pokazuje zadovoljavajudim unatoč nedostatku garancije dobrote. TR-Vi NP-teški problemi 14 7

8 20.5 Načini egzaktnog rješavanja (1) U nastavku ovog poglavlja govorimo o egzaktnom rješavanju NP-teških problema. Postoji nekoliko tipova egzaktnih algoritama. Dinamičko programiranje. Rješava se niz primjeraka problema iste vrste no manje veličine od zadanog. Rješenja se spremaju u tablicu. Koristi se rekurzivna relacija koja opisuje kako se rješenje vedeg primjerka može dobiti korištenjem rješenja manjih primjeraka. Postupak ispunjavanja tablice napreduje od manjih primjeraka prema vedima, sve dok ne dosegnemo zadani primjerak. TR-Vi NP-teški problemi Načini egzaktnog rješavanja (2) Backtracking. Rješenje se opisuje kao n-torka iz takozvanog prostora rješenja. Da bi neka n-torka zaista predstavljala rješenje, ona mora zadovoljavati određena ograničenja. Sam prostor rješenja se zamišlja kao uređeno stablo gdje pojedini čvorovi odgovaraju mogudim izborima vrijednosti pojedinih komponenti u n-torki. Algoritam na rekurzivan način pretražuje stablo rješenja, dakle simultano generira i ispituje čvorove. Pritom se režu pod-stabla za koja se može utvrditi da krše ograničenja. TR-Vi NP-teški problemi 16 8

9 20.5 Načini egzaktnog rješavanja (3) Branch and Bound. Poboljšana varijanta backtrackinga, primjenjiva za probleme optimizacije. U stablu rješenja se, osim onih grana koje ne vode do dopustivog rješenja, također režu i one grane koje ne vode do boljeg rješenja. Potreban je postupak određivanja ograde za vrijednost funkcije cilja po svim rješenjima iz zadanog pod-stabla. Također je važno imati metodu brzog pronalaženja dobrog rješenja. TR-Vi NP-teški problemi Načini egzaktnog rješavanja (4) Algoritam odsijecajudih ravnina. Zadani problem formulira se kao problem cjelobrojnog linearnog programiranja, te se relaksira i rješava simplex metodom. Relaksacija znači privremeno zaboravljanje uvjeta cjelobrojnosti. Ako optimalno rješenje dobiveno simplex metodom nije cjelobrojno, tada se konstruira novo ograničenje koje odsijeca ne-cjelobrojni optimum, a čuva sve cjelobrojne točke iz dopustivog područja. U svakom koraku algoritma rješava se novi (sve kompliciraniji) linearni program, sve dok se ne dobije cjelobrojno rješenje. TR-Vi NP-teški problemi 18 9

10 20.6 Egzaktni algoritam za ranac (1) Rješavamo problem ranca dinamičkim programiranjem. Problem je opisan s n, m, p i, w i, i = 1,2,, n. Ovaj put zahtijevamo da p i budu cjelobrojni. Uvodimo oznake: F* optimalna vrijednost ranca, f j (r) najmanji kapacitet ranca za koji se može postidi vrijednost ranca barem r, uz upotrebu prvih j predmeta. Rubni uvjeti tada glase: f j (r) = 0 za r 0, j = 0,1,2,,n f 0 (r) = za r > 0. Rekurzivna formula glasi: f j (r) = min { f j-1 (r-p j ) + w j, f j-1 (r) }. TR-Vi NP-teški problemi Egzaktni algoritam za ranac (2) Lijeva strana u minimumu odgovara slučaju kad moramo upotrijebiti j-ti predmet, a desna strana slučaju kad vrijednost možemo postidi i bez j-tog predmeta. Popunjavamo tablicu s vrijednostima f j (r) ovim redom: f 1 (1), f 2 (1),, f n (1), f 1 (2), f 2 (2),, f n (2), Računanje završava onda kad nađemo najvedu vrijednost od r takvu da je f n (r) m. Taj r je jednak F*, a izbor predmeta se može reproducirati natraške analiziranjem načina na koji su postizavani minimumi. Bududi da se svaka vrijednost f j (r) izvrednjava u vremenu O(1), a tablica sadrži nf* elemenata, ukupno vrijeme računanja je O(nF*). To je kvazi-polinomijalno vrijeme. TR-Vi NP-teški problemi 20 10

11 20.6 Egzaktni algoritam za ranac (3) Primjer Opisani algoritam ilustrirat demo na konkretnom primjerku problema ranca. Neka je n=3, m=5, (p 1, p 2, p 3 ) = (2, 6, 7), (w 1, w 2, w 3 ) = (1, 3, 4). Tabela s f j (r) izgleda ovako. Računanje se zaustavlja nakon 10-tog retka tabele, to jest kad otkrijemo f 3 (10) = 7 > 5. Dakle optimalna vrijednost ranca je F* = 9. j r TR-Vi NP-teški problemi Egzaktni algoritam za ranac (4) Da bismo vidjeli koji predmeti čine optimalno rješenje, gledamo natraške kako je rekurzivna formula izvrednjavala vrijednosti u tabeli. Najprije gledamo kako se dobio f 3 (9): f 3 (9) = min { f 2 (2) + 4, f 2 (3) } = min { 1+4, } = 5. Bududi da se minimum postigao na lijevoj pod-formuli, optimalno rješenje uključuje predmet 3. Dalje bi gledanjem f 2 (2) i f 1 (2) ustanovili da se predmet 2 ne koristi a predmet 1 se koristi. Dakle, optimalno rješenje čine prvi i tredi predmet. TR-Vi NP-teški problemi 22 11

12 Sadržaj dijela VI 20. NP-teški problemi i njihovo egzaktno rješavanje 21. Približno rješavanje aproksimacijskim algoritmima 22. Približno rješavanje pomodu heuristika TR-Vi NP-teški problemi Vrste aproksimacijskih algoritama Aproksimacijski algoritmi razlikuju se po obliku garanciju dobrote za rješenje koje daju. Apsolutne aproksimacije. Približni algoritmi gdje postoji garancija da je apsolutna greška u odnosu na egzaktno (optimalno) rješenje manja od neke konstante. Relativne aproksimacije. Približni algoritmi gdje postoji garancija da je relativna greška u odnosu na egzaktno (optimalno) rješenje manja od neke konstante. Aproksimacijske sheme. Parametrizirane varijante relativnih aproksimacija. Mijenjanjem parametra mogude je smanjiti relativnu grešku, no pritom dolazi do povedanja računske složenosti. TR-Vi NP-teški problemi 24 12

13 21.2 Pojam apsolutne aproksimacije Neka je A algoritam koji daje dopustivo rješenje za bilo koji primjerak I optimizacijskog problema L. Neka je F*(I) vrijednost funkcije cilja za optimalno rješenje od I. Neka je F^(I) vrijednost funkcije cilja za dopustivo rješenje od I koje daje A. Neka je k fiksirana konstanta. A je k-aproksimacijski algoritam (ili apsolutna aproksimacija) za problem L ako za svaki primjerak I od L vrijedi: F*(I) - F^(I) k. Apsolutno aproksimacijski algoritmi su poželjna vrsta približnih algoritama. Nažalost, oni su vrlo rijetki. Postoje brojni negativni rezultati koji kažu da za određeni problem apsolutna aproksimacija nije moguda. TR-Vi NP-teški problemi Apsolutna aproksimacija za bojanje Poznato je da je svaki planarni graf 4-obojiv. Također je lako odrediti da li je graf 0, 1, ili 2-obojiv. No određivanje da li se planarni graf može obojiti s 3 boje je NP-teško. Predlažemo sljededi algoritam za računanje kromatskog broja (minimalnog broja boja) planarnog grafa. Ako je skup vrhova prazan, vrati 0. Inače ako je skup bridova prazan, vrati 1. Inače ako je graf bipartitan, vrati 2. Inače vrati 4. Predloženi algoritam očito zadovoljava ocjenu F*(I) - F^(I) 1. Složenost algoritma iznosi O(broj vrhova + broj bridova). Naime toliko vrijeme je potrebno da se provjeri bipartitnost. TR-Vi NP-teški problemi 26 13

14 21.4 Negativni rezultat o apsolutnoj aproksimaciji Promatramo k-aproksimacijski problem ranca: odrediti dopustivo rješenje problema ranca čija vrijednost se apsolutno razlikuje od optimalne vrijednosti najviše za k. Teorem 21.1 k-aproks problem ranca je NP-težak. Ako postoji polinomijalni približni algoritam za rješavanje problema ranca koji daje apsolutnu grešku k, tada se taj algoritam može upotrijebiti za egzaktno rješavanje problema ranca, pa usput slijedi da je P = NP. Ideja dokaza: skaliranje vrijednosti predmeta, dakle množenje tih vrijednosti s (k+1). Sličan teorem vrijedi i za problem trgovačkog putnika, dokaz je analogan. TR-Vi NP-teški problemi Pojam relativne aproksimacije Neka je A algoritam koji daje dopustivo rješenje za bilo koji primjerak I optimizacijskog problema L. Neka je F*(I) vrijednost funkcije cilja za optimalno rješenje od I. Neka je F^(I) vrijednost funkcije cilja za dopustivo rješenje od I koje daje A. Neka je ε fiksirana konstanta. A je ε-aproksimacijski algoritam (ili relativna aproksimacija) za problem L ako za svaki primjerak I od L vrijedi: F*(I) - F^(I) / F*(I) ε. U nastavku opisujemo dva algoritma za raspoređivanje poslova koji spadaju u relativne aproksimacije. Također navodimo i jedan negativan rezultat. TR-Vi NP-teški problemi 28 14

15 21.6 Rel aproks za raspoređivanje (1) Problem raspoređivanja nezavisnih poslova na identične strojeve približno rješavamo algoritmima LS (list scheduling) i LPT (longest processing time). LS radi ovako: skup poslova se uredi u listu na proizvoljan način. Kad god neki stroj postane slobodan, rasporedi mu se idudi neraspoređeni posao s liste. LPT je varijanta LS gdje je lista poslova sortirana silazno s obzirom na vrijeme izvršavanja. Primjer Rad algoritama LS i LPT ilustrirat demo na konkretnom primjerku problema raspoređivanja. Neka je m = 3, n = 6, (t 1, t 2,, t 6 ) = (5, 6, 4, 8, 3, 7). Algoritam LS daje sljededi raspored vremenom završetka 13. TR-Vi NP-teški problemi Rel aproks za raspoređivanje (2) Algoritam LPT najprije sortira listu poslova: (t 4, t 6, t 2, t 1, t 3, t 5 ) = (8, 7, 6, 5, 4, 3), a zatim je raspoređuje na sljededi način. Vrijeme završetka je 11, i to je optimalni raspored bududi da je (t 1 + t t 6 ) /3 = 11. TR-Vi NP-teški problemi 30 15

16 21.6 Rel aproks za raspoređivanje (3) Teorem 21.2 Neka je F*(I) minimalno vrijeme završetka poslova za primjerak I problema raspoređivanja poslova na m strojeva. Neka je F^(I) vrijeme završetka LS-rasporeda za isti primjerak problema. Tada vrijedi ocjena: (F^(I) F*(I) ) / F*(I) 1 1/m. Dokaz teorema. Označimo sa s i odnosno f i trenutak početka odnosno završetka i-tog posla u skladu s LSrasporedom. Neka je k indeks posla koji de zadnji biti završen. Primjedujemo da ni jedan stroj ne može biti besposlen prije s k jer bi inače k-ti posao bio pridružen tom stroju. Znači, u skladu sa sljededom slikom: ( i k t i )/m s k. TR-Vi NP-teški problemi Rel aproks za raspoređivanje (4) Dalje, očigledno F*(I) t k jer k-ti posao mora biti izvršen i u sklopu optimalnog rasporeda. Na kraju, primjedujemo da je F*(I) ( t i )/m. Kad kombiniramo sve ove nejednakosti, dobivamo: F^(I) = f k = s k + t k ( i k t i )/m + t k = ( t i )/m + (1 1/m) t k F*(I) + (1 1/m) F*(I) = (2 1/m) F*(I). TR-Vi NP-teški problemi 32 16

17 21.6 Rel aproks za raspoređivanje (5) Primjer Ocjena iz prethodnog Teorema 21.2 ne može se poboljšati. To je vidljivo iz sljededeg konkretnog primjerka problema. Neka je m = 3, n = 5, (t 1, t 2,, t 5 ) = (2, 2, 1, 1, 3). Lijeva slika pokazuje LS raspored, a desna optimalni raspored. Znači, za ovaj primjerak I problema imamo: F^(I) = 5, F*(I) = 3, F^(I) = (2 1/m) F*(I). TR-Vi NP-teški problemi Rel aproks za raspoređivanje (6) Teorem 21.3 Neka je F*(I) minimalno vrijeme završetka poslova za primjerak I problema raspoređivanja poslova na m strojeva. Neka je F^(I) vrijeme završetka LPT-rasporeda za isti primjerak problema. Tada vrijedi ocjena: (F^(I) F*(I) ) / F*(I) 1/3 1/(3m). Dokaz teorema. Sličan kao za prethodni teorem, samo malo kompliciraniji. Može se nadi u knjizi Horowitz, Sahni, Rahasekaran, Primjer Ocjena iz prethodnog Teorema 21.3 opet se ne može poboljšati. To je vidljivo iz sljededeg konkretnog primjerka problema. Neka je n = 2m + 1, t i = 2m - (i+1)/2, i = 1,2,, m, t 2m+1 = m. TR-Vi NP-teški problemi 34 17

18 21.6 Rel aproks za raspoređivanje (7) Znači, postoje po dva posla s trajanjem 2m 1, 2m 2,, m + 1, te tri posla s trajanjem m. Lijeva slika pokazuje LPT raspored s vremenom završetka 4m - 1, a desna optimalni raspored s vremenom 3m. Znači, za ovaj primjerak I problema imamo jednakost: F^(I) = ( 4/3 1/(3m) ) F*(I). TR-Vi NP-teški problemi Negativni rezultat o relativnoj aproksimaciji Promatramo ε-aproksimacijski problem trgovačkog putnika: odrediti dopustivo rješenje problema čija duljina Hamiltonovog ciklusa se razlikuje od minimalne duljine najviše za ε u relativnom smislu. Teorem ε-aproksimacijski problem trgovačkog putnika je NP-težak. Ideja dokaza teorema: HAMCYCLE se u polinomijalnom vremenu reducira na ε-aproksimacijski problem t.p. Dakle ako postoji polinomijalni algoritam za rješavanje problema trgovačkog putnika koji daje relativnu grešku ε, tada je P = NP, pa se problem trgovačkog putnika može i egzaktno riješiti u polinomijalnom vremenu. TR-Vi NP-teški problemi 36 18

19 21.8 Pojam aproksimacijske sheme (1) Neka je A(ε) algoritam s parametrom ε koji daje dopustivo rješenje za bilo koji primjerak I optimizacijskog problema L. Neka je F*(I) vrijednost funkcije cilja za optimalno rješenje od I. Neka je F^(I) vrijednost funkcije cilja za dopustivo rješenje od I koje daje A(ε). A(ε) je aproksimacijska shema za problem L ako za svaki zadani ε>0 i svaki primjerak I od L A(ε) daje dopustivo rješenje tako da vrijedi: F*(I) - F^(I) / F*(I) ε. Aproksimacijska shema A(ε) je polinomijalna ako za bilo koji fiksirani ε A(ε) ima vrijeme računanja koje je polinomijalno s obzirom na veličinu problema. TR-Vi NP-teški problemi Pojam aproksimacijske sheme (2) Aproksimacijska shema A(ε) je sasvim polinomijalna ako za bilo koji fiksirani ε A(ε) ima vrijeme računanja koje je polinomijalno i s obzirom na veličinu problema i s obzirom na 1/ε. Polinomijalne aproksimacijske sheme su najpoželjnija, no nažalost vrlo rijetka vrsta približnih algoritama. To je fleksibilna vrsta relativnih aproksimacija, gdje odabirom parametra u samom algoritmu možemo postidi da algoritam daje željenu točnost. Ako je polinomijalna aproksimacijska shema sasvim polinomijalna, tada za veliku točnost pladamo umjerenu cijenu. TR-Vi NP-teški problemi 38 19

20 21.9 Aproks shema za raspoređivanje (1) Rješavamo problem raspoređivanja poslova na strojeve. Shema se zasniva se na sljededoj konstrukciji. Fiksiramo cijeli broj k. Pronađemo optimalni raspored za k najdugotrajnijih poslova. Rasporedimo preostalih n-k poslova po LPT pravilu. Odabirom dovoljno velikog k može se postidi da shema daje traženu točnost rješenja. Primjer Rad ove sheme ilustrirat demo na konkretnom primjerku problema raspoređivanja poslova na strojeve. Neka je m = 2, n = 6, (t 1, t 2,, t 6 ) = (8, 6, 5, 4, 4, 1), k = 4. Četiri najdugotrajnija posla imaju vremena izvršavanja: 8, 6, 5, 4. TR-Vi NP-teški problemi Aproks shema za raspoređivanje (2) Optimalni raspored za ta četiri posla ima vrijeme završetka 12 (slika gore). Kad preostala dva posla rasporedimo po pravilu LPT, dobivamo raspored s vremenom završetka 15 (slika u sredini). Optimalni raspored za svih 6 poslova ima vrijeme završetka 14 (slika dolje). TR-Vi NP-teški problemi 40 20

21 21.9 Aproks shema za raspoređivanje (3) Teorem Neka je I primjerak problema raspoređivanja na m strojeva. Neka je F*(I) vrijeme završetka optimalnog rasporeda za I, a F^(I) vrijeme završetka rasporeda za I koji je dobiven našom konstrukcijom. Tada vrijedi: F*(I) - F^(I) / F*(I) (1 1/m) / (1 + k/m ). Dokaz teorema. Neka je r vrijeme završetka optimalnog rasporeda za k najdugotrajnijih poslova. Ako je F^(I) = r, tada je F*(I) = F^(I) i teorem je dokazan. Zato pretpostavimo da je F^(I) > r. Neka su t i, 1 i n, vremena izvršavanja za n poslova od I. Bez gubitka opdenitosti možemo pretpostaviti t i t i+1, 1 i < n. TR-Vi NP-teški problemi Aproks shema za raspoređivanje (4) Također, zbog F^(I) > r mora biti n > k. dalje možemo pretpostaviti n > m. Neka je j, j > k, indeks posla koji se prema dobivenom rasporedu zadnji završava. Tada ni jedan stroj ne može biti besposlen u vremenskom intervalu [ 0, F^(I) t j ] jer bi u protivnom j-ti posao mogao krenuti ranije. Bududi da je t k+1 t j, slijedi također da ni jedan stroj ne može biti besposlen u (manjem) intervalu [ 0, F^(I) t k+1 ]. Dakle: TR-Vi NP-teški problemi 42 21

22 21.9 Aproks shema za raspoređivanje (5) i t i m(f^(i) t k+1 ) + t k+1, pa je F*(I) ( i t i )/m F^(I) t k+1 (m 1)/m. Ili F*(I) F^(I) t k+1 (m 1)/m. Bududi da je t i t k+1 za 1 i k+1, te bududi da bar jedan stroj mora izvršavati barem 1 + k/m od tih poslova, slijedi: F*(I) ( 1 + k/m ) t k+1. Kombiniranjem dviju nejednakosti dobivamo: F*(I) - F^(I) / F*(I) ((m 1)/m) / (1 + k/m ) (1 1/m) / (1 + k/m ). TR-Vi NP-teški problemi Aproks shema za raspoređivanje (6) Na osnovu ovog teorema možemo konstruirati aproksimacijsku shemu za problem raspoređivanja s parametrom ε. Za zadani ε računa se cijeli broj k takav da je ε (1 1/m) / (1 + k/m ). Pogodni k je bilo koji cijeli broj (m-1)/ε m. Teorem garantira da uz taj k naša konstrukcija daje raspored čije se vrijeme završetka razlikuje od optimalnog vremena najviše za ε u relativnom smislu. Vrijeme izvršavanja ovakvog algoritma uglavnom ovisi o vremenu potrebnom da se pronađe optimalni raspored za k poslova na m strojeva. Ako koristimo branch-andbound, to vrijeme je O(m k ). TR-Vi NP-teški problemi 44 22

23 21.9 Aproks shema za raspoređivanje (7) Algoritam također troši vrijeme na sortiranje poslova te na generiranje LPT rasporeda za preostalih n-k poslova. To se sve može obaviti u vremenu O(n logn). Dakle ukupno vrijeme za naš algoritam je O(n logn + m k ) = O(n logn + m (m-1)/ε m ). Vidimo da je vrijeme polinomijalno s obzirom na n, no nije polinomijalno s obzirom na 1/ε. Zato je naša shema polinomijalna, no nije sasvim polinomijalna. Ako bi htjeli povedati točnost aproksimacije, to bi platili nesrazmjernim povedanjem vremena računanja. TR-Vi NP-teški problemi Sasvim polinomijalna aproksimacijska shema za ranac (1) Rješavamo problem ranca. Služimo se prije opisanim egzaktnim algoritmom dinamičkog programiranja. Sjetimo se da egzaktni algoritam radi u vremenu O(nF*). Ideja aproksimacijske sheme je sljededa. Koeficijenti u funkciji cilja (dakle vrijednosti predmeta) skaliraju se tako da se smanji F*, a time i vrijeme računanja. Optimalno rješenje skaliranog problema služi kao dobro dopustivo rješenje polaznog problema. Skaliranje se provodi tako da se vrijednosti predmeta u zadanom primjerku problema I podijele s odabranom konstantom k i zaokruže na cijeli broj. Znači, skalirane vrijednosti su p i (k) = p i / k, i =1,2,,n. TR-Vi NP-teški problemi 46 23

24 21.10 Sasvim polinomijalna aproksimacijska shema za ranac (2) Primjer Opisanu aproksimacijsku shemu ilustrirat demo na primjerku problema iz Primjera Neka je opet n=3, m=5, (p 1, p 2, p 3 ) = (2, 6, 7), (w 1, w 2, w 3 ) = (1, 3, 4). Optimalna vrijednost ranca je F* = 9. Problem sada približno rješavamo skaliranjem za k = 2. Skalirane vrijednosti predmeta su: (p 1 (2), p 2 (2), p 3 (2)) = (1, 3, 3). Algoritam dinamičkog programiranja daje sljededu tablicu za skalirani problem. Računanje se zaustavlja nakon 5. retka tablice, to jest onda kad otkrijemo f 3 (5) = 7 > 5. TR-Vi NP-teški problemi Sasvim polinomijalna aproksimacijska shema za ranac (3) Vrijeme računanja je otprilike dvostruko manje nego što bi bilo bez skaliranja. Optimalna vrijednost skaliranog ranca je 4. Ta vrijednost može se postidi na dva načina: izborom prvog i drugog predmeta, ili izborom prvog i tredeg predmeta. Zbog načina izvrednjavanja f 3 (4) algoritam de dati prvo rješenje. U kontekstu polaznog problema prvo rješenje je suboptimalno jer daje vrijednost ranca 8 (što je manje od optimalnih 9). j r TR-Vi NP-teški problemi 48 24

25 21.10 Sasvim polinomijalna aproksimacijska shema za ranac (4) Teorem Neka je I primjerak problema ranca s n predmeta i s maksimalnom vrijednošdu predmeta p max. Neka je F*(I) vrijednost optimalnog rješenja za I, a F^(I) vrijednost dopustivog rješenja za I dobivenog prethodno opisanom shemom. Tada vrijedi: F*(I) - F^(I) / F*(I) nk / p max. Dokaz teorema. Neka su p i, i = 1, 2,, n, vrijednosti predmeta u I. Znači, p max = max {p i i=1, 2, n}. Očito vrijedi p max F*(I) n. p max. TR-Vi NP-teški problemi Sasvim polinomijalna aproksimacijska shema za ranac (5) Lijeva nejednakost zapravo je dobivena pod pretpostavkom da svaki od predmeta stane sam u ranac, no to je prirodna pretpostavka jer u protivnom dotični predmet možemo isključiti iz razmatranja. Neka je S* skup indeksa predmeta koji ulaze u optimalno rješenje za I, te neka je S^ skup indeksa koji ulaze u optimalno rješenje za skalirani problem. Tada vrijedi: F^(I) = i S^ p i i S^ k. p i /k jer je lijevo optimum za skalirani problem i S* k. p i /k i S* (p i -k) i S* p i k S* = F*(I) k. S*. TR-Vi NP-teški problemi 50 25

26 21.10 Sasvim polinomijalna aproksimacijska shema za ranac (6) Dakle: F*(I) - F^(I) / F*(I) (k. S* )/p max nk / p max. Na osnovu ovog teorema možemo konstruirati aproksimacijsku shemu s parametrom ε. Za odabrani ε te za vrijednosti predmeta p i, i=1,2,,n u zadanom primjerku problema I računa se p max = max p i, Zatim se odredi cijeli broj k takav da je nk / p max ε. Znači biramo k = ε p max / n. Teorem 21.6 garantira da de za tako odabrani k i za taj primjerak problema relativna greška sheme biti ε. TR-Vi NP-teški problemi Sasvim polinomijalna aproksimacijska shema za ranac (7) Vrijeme računanja naše sheme je onoliko koliko nam treba da riješimo skalirani problem, dakle O( n (optimalna vrijednost skaliranog ranca) ). Bududi da je optimalna vrijednost skaliranog ranca n. p max / k, dobivamo ocjenu za vrijeme: O( n 2. p max / k ) = O( n 3. p max / (nk) ) = O (n 3. 1/ε). Znači vrijeme je polinomijalno i s obzirom na n i s obzirom na 1/ε, pa je shema zaista sasvim polinomijalna. TR-Vi NP-teški problemi 52 26

27 21.11 Negativni rezultat o aproksimacijskim shemama (1) Vidjeli smo da su za pojedine NP-teške probleme i odgovarajudi ε-aproksimacijski problemi također NPteški. Takvi problemi očito ne mogu imati s.p.a.s. Sad demo izložiti i jači rezultat, koji otprilike glasi: Jedini NP-teški problemi koji dopuštaju sasvim polinomijalnu aproksimacijsku shemu su oni koji prestaju biti NP-teški čim im ograničimo veličinu pojedinog ulaznog podatka. Problem ranca ima to svojstvo, jer ako ograničimo vrijednost pojedinog predmeta, tada vrijeme izvršavanja algoritma dinamičkog programiranja postaje polinomijalno s obzirom na broj predmeta. TR-Vi NP-teški problemi Negativni rezultat o aproksimacijskim shemama (2) Da bismo točno formulirali naš rezultat, potreban nam je pojam jako (strongly) NP-teškog problema. Neka je L problem, I primjerak od L. Neka je LENGTH(I) broj bitova u prikazu od I, te s MAX(I) veličina najvedeg broja u I. Bez gubitka opdenitosti možemo pretpostaviti da su brojevi u I cijeli. Za fiksirani polinom p neka je L p problem L restringiran na takve primjerke I za koje je MAX(I) p ( LENGTH(I) ). Problem L je jako NP-težak ako postoji polinom p takav da je L p NP-težak. Vedina NP-teških problema koje smo razmatrali zapravo su jako NP-teški. Na primjer, problem bojenja grafa ostaje isti ako ograničimo veličinu ulaznih podataka. TR-Vi NP-teški problemi 54 27

28 21.11 Negativni rezultat o aproksimacijskim shemama (3) Teorem Neka je L optimizacijski problem takav da sva dopustiva rješenja za sve primjerke imaju kao vrijednosti prirodne brojeve. Pretpostavimo da je za sve primjerke I od L optimalna vrijednost F*(I) ograđena polinomom p u varijablama LENGTH(I) i MAX(I), dakle 0 < F*(I) < p (LENGTH(I), MAX(I)). Ako L ima s.p.a.s, tada L također ima i egzaktni algoritam čija složenost je izražena kao polinom u LENGTH(I) i MAX(I). Dokaz teorema. Pretpostavimo da L ima s.p.a.s. Pokazujemo kako se korištenjem te sheme mogu dobiti optimalna rješenja za L. TR-Vi NP-teški problemi Negativni rezultat o aproksimacijskim shemama (4) Neka je I bilo koji primjerak od L. Definiramo ε = 1 / p(length(i), MAX(I)). Promatramo vrijednost F^(I) rješenja kojeg daje shema. Tada: F*(I) F^(I) ε. F*(I) F*(I) / p(length(i), MAX(I)) < 1. Bududi da su vrijednosti za dopustiva rješenja cijeli brojevi, iz gornje ocjene slijedi da je nužno F*(I) = F^(I). Znači s odabranim ε aproksimacijska shema postaje egzaktan algoritam. Preostaje da se procijeni složenost dobivenog egzaktnog algoritma. Bududi da je aproksimacijska shema sasvim polinomijalna, postoji polinom q takav da je složenost te sheme O(q(LENGTH(I), 1/ε)). TR-Vi NP-teški problemi 56 28

29 21.11 Negativni rezultat o aproksimacijskim shemama (5) U ovu ocjenu možemo uvrstiti našu odabranu vrijednost za ε, pa dobivamo da naš egzaktni algoritam ima složenost O( q(length(i), p(length(i), MAX(I)) ), što se može pisati kao O(q (LENGTH(I), MAX(I)) za neki polinom q. Svi naši NP-teški problemi zadovoljavaju uvjete teorema. Zato teorem zapravo kaže: Ako za neki od razmatranih problema postoji s.p.a.s, tada postoji i egzaktni algoritam čija složenost je polinom u LENGTH(I) i MAX(I). TR-Vi NP-teški problemi Negativni rezultat o aproksimacijskim shemama (6) Takav algoritam naziva se pseudo-polinomijalni. Pseudopolinomijalni algoritam opdenito nije polinomijalan jer MAX(I) ne mora biti polinomijalno ograđen s LENGTH(I). No za problem koji je NP-težak u jakom smislu, pseudopolinomijalni algoritam pretvara se u polinomijalni jer je MAX(I) polinomijalno ograničen s LENGTH(I). Korolar Teorema Ni jedan jako NP-teški problem ne može imati sasvim polinomijalnu aproksimacijsku shemu (osim ako je P = NP ). Problem ranca nije jako NP-težak pa zato on ima sasvim polinomijalnu aproksimacijsku shemu. TR-Vi NP-teški problemi 58 29

30 Sadržaj dijela VI 20. NP-teški problemi i njihovo egzaktno rješavanje 21. Približno rješavanje aproksimacijskim algoritmima 22. Približno rješavanje pomodu heuristika TR-Vi NP-teški problemi Pojam heuristike (1) Neka je A algoritam koji daje dopustivo rješenje za bilo koji primjerak I optimizacijskog problema L. Neka je F*(I) vrijednost funkcije cilja za optimalno rješenje od I. Neka je F^(I) vrijednost funkcije cilja za dopustivo rješenje od I koje daje A. Kažemo da je A heuristika ukoliko nam nije poznata nikakva gornja ograda za razliku ili kvocijent od F^(I) i F*(I) koja bi vrijedila za svaki I. Umjesto toga, postoje rezultati eksperimenata koji pokazuju da A za mnoge primjerke I zaista daje F^(I) koji je blizu F*(I). TR-Vi NP-teški problemi 60 30

31 22.1 Pojam heuristike (2) Jednostavnije heuristike obično su zasnovane na nekoj intuitivno prihvatljivoj strategiji, kao što je pohlepni pristup ili lokalno traženje. Složenije heuristike dobivaju se primjenom metaheuristika poput evolucijskog pristupa, tabu traženja, simuliranog kaljenja, mravlje optimizacije i slično. Za svaku heuristiku treba utvrditi da li je ona samo heuristika, ili je riječ o aproksimacijskom algoritmu. Dakle zanimaju nas primjeri lošeg ponašanja heuristike, koji pokazuju da greška u odnosu na optimalno rješenje može biti po volji loša i u apsolutnom i u relativnom smislu. TR-Vi NP-teški problemi Pohlepna heuristika koja nije aproksimacijski algoritam (1) Navodimo takozvani sekvencijalni algoritam za rješavanje problema optimalnog bojenja grafa. Algoritam pretpostavlja da su vrhovi grafa poredani u nekom redoslijedu: v 1, v 2,, v n. Algoritam radi u n koraka, gdje je n broj vrhova grafa. U i-tom koraku bira se dopustiva boja f(v i ) za vrh v i. Bira se boja s najmanjim mogudim indeksom. Rad algoritma bitno ovisi o redoslijedu vrhova. Preporuča da vrhovi budu silazno sortirani s obzirom na stupanj (broj incidentnih bridova). TR-Vi NP-teški problemi 62 31

32 22.2 Pohlepna heuristika koja nije aproksimacijski algoritam (2) Dakle preporuča se: deg(v 1 ) deg(v 2 ) deg(v n ). To je takozvani Welsh-Powellov ili largest-first (LF) redoslijed. Vrijeme izvršavanja ovog algoritma je O(m) gdje je m broj bridova, ili O(n 2 ). Primjer Promatramo rad našeg sekvencijalnog algoritma na grafu sa sljedede slike. Ako primijenimo zadani redoslijed vrhova: 1, 2, 3, 4, 5, 6, dobivamo bojanje u 4 boje: f(1) = 1, f(2) = 2, f(3) = 1, f(4) = 2, f(5) = 3, f(6) = 4. TR-Vi NP-teški problemi Pohlepna heuristika koja nije aproksimacijski algoritam (3) Ako primijenimo LF-redoslijed vrhova: 2, 5, 1, 6, 3, 4, dobivamo bojanje u 3 boje: f(2) = 1, f(5) = 2, f(1) = 3, f(6) = 3, f(3) =2, f(4) =1. Sekvencijalni algoritam za bojenje grafa nije aproksimacijski algoritam. Naime broj boja koje on daje može po se volji jako razlikovati od optimalnog broja. To se vidi iz sljededeg primjera. TR-Vi NP-teški problemi 64 32

33 22.2 Pohlepna heuristika koja nije aproksimacijski algoritam (4) Primjer Promatramo graf: G 2n = (V 2n, E 2n ), n 3, gdje je V 2n = { u i, v i, i=1,2,,n}, E 2n = { (u i, v j ) i,j=1,2,,n, i j }. Riječ je o bipartitnom grafu koji se očito može obojiti s 2 boje. No naš pohlepni algoritam za LFredoslijed vrhova: u 1,v 1,u 2, v 2,,u n,v n daje f(u i ) = f(v i ) = i. Znači naš algoritam troši n boja, što se po volji mnogo razlikuje od 2. u 1 u 2 u 3 u n-1 u n v 1 v 2 v 3 v n-1 v n TR-Vi NP-teški problemi Lokalno traženje koje nije aproksimacijski algoritam (1) Navodimo takozvani 2-opt algoritam za problem trgovačkog putnika. Algoritam pamti bilo koji Hamiltonov ciklus kao tekude rješenje. Promatra se takozvana 2-okolina tekudeg ciklusa: nju čine svi Hamiltonovi ciklusi koji se dobivaju iz tekudeg izbacivanjem dvaju ne-susjednih bridova i umetanjem odgovarajudih unakrsnih bridova. TR-Vi NP-teški problemi 66 33

34 22.3 Lokalno traženje koje nije aproksimacijski algoritam (2) U 2-okolini pronalazi se ciklus s najmanjom duljinom (cijenom). Ako taj ciklus ima manju duljinu od tekudeg, on postaje novi tekudi i algoritam se nastavlja. Inače algoritam završava i daje zadnji tekudi ciklus kao rješenje. U 2-okolini tekudeg ciklusa postoji n(n-3)/2 ciklusa. Zato se jedna iteracija algoritma izvršava u vremenu O(n 2 ). Broj iteracija i točnost rješenja teško je predvidjeti, no obje stvari bitno ovise o polaznom tekudem rješenju. Opisani 2-opt algoritam ne može biti ni polinomijalna k- aproksimacija ni polinomijalna ε-aproksimacija. Naime, rekli smo da za problem trgovačkog putnika može dokazati da takve aproksimacije ne postoje (osim ako nije P = NP ). TR-Vi NP-teški problemi Lokalno traženje koje nije aproksimacijski algoritam (3) Primjer Rad 2-opt algoritma ilustrirat demo na konkretnom primjerku problema trgovačkog putnika koji je zadan na slici. Kao polazno rješenje promatramo Hamiltonov ciklus (a, b, c, d, e, a) sa cijenom =25. TR-Vi NP-teški problemi 68 34

35 22.3 Lokalno traženje koje nije aproksimacijski algoritam (4) 2-okolina tog polaznog rješenja sadrži sljededih n(n-3)/2 = 5 ciklusa s odgovarajudim cijenama. (a, c, b, d, e, a), cijena: 27 TR-Vi NP-teški problemi Lokalno traženje koje nije aproksimacijski algoritam (5) (a, d, c, b, e, a), cijena: 21 (a, b, d, c, e, a), cijena: 29 TR-Vi NP-teški problemi 70 35

36 22.3 Lokalno traženje koje nije aproksimacijski algoritam (6) (a, b, e, d, c, a), cijena: 21 (a, b, c, e, d, a), cijena: 23 TR-Vi NP-teški problemi Lokalno traženje koje nije aproksimacijski algoritam (7) Novo tekude rješenje je npr (a, d, c, b, e, a) sa cijenom 21. Algoritam krede u drugu iteraciju. U 2-okolini novog tekudeg ciklusa nalazi se optimalno rješenje (a, c, b, e, d, a) sa cijenom 19. Zato demo u drugoj iteraciji dobiti to optimalno rješenje kao trede tekude. Algoritam de završiti rad u tredoj iteraciji. TR-Vi NP-teški problemi 72 36

37 22.3 Lokalno traženje koje nije aproksimacijski algoritam (8) Algoritam 2-opt je najjednostavniji član porodice r-opt algoritama za r 2. Opdenito, algoritam r-opt pretražuje r-okolinu tekudeg Hamiltonovog ciklusa. Ta okolina se sastoji od svih Hamiltonovih ciklusa koji se u r od n bridova razlikuju od tekudeg. Jedna iteracija algoritma r-opt zahtijeva vrijeme O(n r ). Povedanjem r dobivamo sve točniju no vremenski sve zahtjevniju heuristiku. U praksi se najčešde koriste brzi 2-opt i precizniji 3-opt. Eksperimenti pokazuju da se 4-opt ved ne isplati. TR-Vi NP-teški problemi Poteškode s lokalnim optimumom Manjkavost lokalnog traženja je u tome što ono može zaglaviti u lokalnom optimumu koji se po vrijednosti funkcije cilja jako razlikuje od pravog globalnog optimuma. Složenije varijante lokalnog traženja, poput: tabu search, simulated annealing sadrže dodatna pravila kojima se nastoji pobjedi iz lokalnog optimuma. Još složenije varijante poput: evolucijskih (genetičkih) algoritama istovremeno rade s više tekudih rješenja. Time se smanjuje opasnost zaglavljivanja u lokalnom opt. TR-Vi NP-teški problemi 74 37