TEORIJA ALGORITAMA, AUTOMATA I JEZIKA Uvod Jelena Ignjatović 1 Uvod Logika i teorija skupova
TEORIJA ALGORITAMA, AUTOMATA I JEZIKA LITERATURA: M. Ćirić, T. Petković, S. Bogrdanović, Jezici i automati, Prosveta Niš, 2000. M. Ćirić, J. Ignjatović, Teorija algoritama, automata i jezika-zbirka zadataka, Prirodno-matematički fakultet Niš, 2012. Dexter C. Kozen, Automata and Computability, Springer, 1997. J. Ignjatović, M. Ćirić, Automati i fomalni jezici, Univerzitet u Nišu, to be published. 2 Uvod Logika i teorija skupova
TEORIJA ALGORITAMA, AUTOMATA I JEZIKA Teorijsko raunarstvo Danas u prvi plan se ističe razvoj tehnologija na kojima se baziraju računari. To jedna vrsta pojednostavljivanja, pa i zamagljivanja, stvari kojoj je sklona propaganda industrije računara i računarskih programa potpomognuta popularnim medijima. Teorijski rezultati su ono orude koje inspiriše i usmerava rad u računarstvu dajući sasvim nove elegantnije postupke. Poseban značaj teorijskog računarstva verifkacija praktičnih rešenja. Do čuvenih grešaka u Intelovim procesorima verovatno ne bi došlo da su primenjeni postupci zasnovani na teorijskim dostignićima o kojima će biti reči u ovom kursu. Takvih i sličnih primera ima na pretek, tako da je sasvim izvesno da će u budućnosti ovoj oblasti biti posvećena pažnja i ona će predstavljati glavni oslonac računarskih nauka i sa praktične i sa teorijske strane. Izračunljivost i odlučivost Rešavanje problema razvojem algoritama i pisanjem programa je jedan od osnovnih zadataka u računarstvu. Formalni modeli izračunavanja odreduju granice mogućnosti mehaničkog izračunavanja koje razdvajaju klase problema na one na za koje postoji mogućnost programskog rešavanja i one za koje to nije slučaj. 3 Uvod Logika i teorija skupova
Intuitivni pojam algoritma Algoritam Pojam algoritama osnovni matematički koncept i kao takav se ne defniše. Sledeći opšti uslovi se, prihvataju kao kriterijumi za nazivanje nekog postupka algoritmom (efektivnom procedurom): postupak se opisuje konačnim nizom jednostavnih naredbi, postoji idealna mašina (računar) koja izvršava te naredbe prema unapred utvrdenim pravilima, ta mašina započinje izračunavanje u nekom inicijalnom stanju; primenjena na ulazne podatke mašina izvršava naredbe u diskretnim koracima u kojima menja svoja stanja, izvršavanje svake naredbe se izvodi u konačnom vremenu pri čemu se koristi konačan memorijski prostor, izvršavanje naredbe je determinističko: iz jednog stanja izvršavanjem iste naredbe mašina uvek prelazi u isto stanje i prelaskom u završno stanje mašina prestaje sa izračunavanjem. 4 Uvod Logika i teorija skupova
Intuitivni pojam algoritma Komentar Osobina determinisanosti izvršavanja naredbi se drugačije može formulisati kao mogućnost ponavljanja izvršavanja algoritama. Ako ga prihvatimo, postupci koji uključuju slučajnost ne spadaju u algoritme. U pojedinim slučajevima mi ćemo odbaciti ovaj uslov i razmatrati i nedeterminističke algoritme. Algoritam predstavlja opis funkcije koja ulazne podatke preslikava u odgovor. Funkcije za koje postoje algoritmi zato nazivamo algoritamskim funkcijama (efektivnim funkcijama, izračunljivim funkcijama). Algoritam Poznat je veliki broj algoritama. Za probleme za koje poznajemo postupke rešavanja lako utvrdujemo da jesu algoritamski rešivi. Kako se napreduje u razvoju matematike, nailazi se na probleme za koje nismo u stanju da damo rešenje. Da li je to posledica naše nesposobnosti ili je reč o principijelnoj nemogućnosti? Da bi se na to pitanje odgovorilo potrebno je formalno precizirati pojmove algoritma i izračunljivih funkcija. 5 Uvod Logika i teorija skupova
ALGORITAM Algoritam Algoritam efektivni postupak za rešavanje problema, jedan od najznačajnijih matematičkih pojmova, koji je u matematici prisutan još od samog njenog nastanka. Reč algoritam potiče od latinskog zapisa arapskog matematičara al-horezmija Algorithmi, preko čijih dela je do Evrope stigao indijski desetični pozicioni sistem i računanje u ovom sistemu. Prvobitno se ovaj naziv koristio upravo za označavanje postupaka za računanje u tom sistemu, a kasnije je dobio današnji opštiji smisao. Pojam algoritma Al-džebr je kod el-horezmija operacija prenošenja članova sa jedne na drugu stranu jednakosti, uz promenu znaka, odakle se latinskim zapisom došlo do naziva algebra. Već vekovima se pojam algoritma u matematici koristi u svom neformalnom, intuitivnom smislu. Mnogi matematičari smatraju da ovaj pojam spada u grupu primitivnih matematičkih pojmova i da ne postoje jednostavniji, intuitivno jasniji matematički pojmovi preko kojih bi se pojam algoritma definisao. Prvi pokušaji preciznog matematičkog definisanja pojma algoritma vezani su za problem odlučivosti matematičkih teorija, koji je početkom dvadesetog veka bio veoma aktuelan u matematičkoj logici i filozofiji matematike. 6 Uvod Logika i teorija skupova
ALGORITAM ISTORIJSKI PREGLED Prve formalizacije pojma algoritma javljaju se tridesetih godina ovog veka, kroz različite tipovi algoritama: rekurzivne funkcije (Kleene [1936,1943]); Postovi sistemi-vrsta formalnih sistema u kojima se opisuju moguće transformacije (pravila izvodenja) jednih u druge reči na unapred fiksiranom alfabetu (Post [1936,1943]); Churchovλ-račun-jednostavan formalni jezik za koji se defniše pojam redukcije koji predstavlja izračunavanje (Church [1941]); Turingove mašine (A.Turing [1936]); normalni algoritmi Markova (Markov [1954]); neograničene registarske mašine (Shepherdson and Sturgis [1963]); Komentar Navedeni tipovi algoritama prvobitno su razmatrani u vezi sa izračunljivošću aritmetičkih funkcija, dok su kasnije počeli da se razmatraju i u vezi izračunljivosti funkcija na rečima (stringovima). 7 Uvod Logika i teorija skupova
Teorija izračunljivosti Teorija izračunljivosti Tako je razvijena teorija izračunljivosti, disciplina računarskih nauka koja se bavi Modelima i oblicima izračunavanja, posebno izračunavanjima uz pomoć apstraktnih matematičkih mašina, Analizom algoritama i problemima kompleksnosti algoritama, Formalnim gramatikama i formalnim jezicima, i drugim pitanjima. Hijararhija Chomsky Koncept generativne gramatike prvi put se pojavio 1950-ih godina. Uveo ga je američki lingvist, filozof i humanista Noam Čomski (Noam Chomsky, 1928- ), koji je na osnovu formalnih svojstava gramatika koje ih generišu klasifikovao formalne jezike u sledeće klase: regularni jezici; konteksno-nezavisni jezici; konteksno-zavisni jezici; jezici generisani proizvoljnim gramatikama. 8 Uvod Logika i teorija skupova
Konačni automati Regularni jezici i konačni automati Regularni jezici čine najužu od navedenih klasa formalnih jezika. Oni se mogu predstaviti najjednostavnijom vrstom apstraktnih mašina konačnim automatima. Konačni automati su se prvi put pojavili u radu McCullocha i Pittsa [1943], da bi se 1950-ih godina intenzivno izučavali od strane niza autora: D. A. Huffman [1954], G. H. Mealy [1955], E. F. Moore [1956], M. O. Rabin and D. Scott [1959] i drugi. Konačni automati su najpre uvedeni da bi se njima modelirale funkcije mozga, ali su se kasnije pokazali veoma efikasnim i u raznim drugim primenama. Konačni automati predstavljaju koristan model za veoma važne tipove hardvera i softvera, kao što su: Softver za dizajniranje i proveru ponašanja digitalnih kola; Leksički analizatori kod kompajlera, tj. delovi kompajlera koji vrše analizu i podelu ulaznog teksta na logičke jedinice; Softver za skeniranje velikih porcija teksta, kao što su kolekcije Web strana, radi pronalaženja pojavljivanja izvesnih reči, fraza, i drugih šablona; Softver za verifikovanje sistema svih tipova koji imaju konačan broj različitih stanja, kao što su komunikacioni protokoli ili protokoli za bezbednu razmenu informacija, itd. 9 Uvod Logika i teorija skupova
Automati sa izlazom Rad automata sastoji se iz niza uzastopnih prelaza iz stanja u stanje, pod dejstvom niza uzastopnih ulaznih signala. Šta je rezultat tog rada? Automati su mašine koje služe za procesiranje informacija. Informacije se obično predstavljaju nizovima simbola (rečima) nad nekim alfabetom, i tipična mašina za procesiranje informacija to radi tako što niz ulaznih simbola (ulaznu reč) transformiše u niz izlaznih signala (izlaznu reč). Takav vid procesiranja informacija vrše takozvani automati sa izlazom. Automati sa izlazom su apstraktne matematičke mašine koje rade u diskretnoj vremenskoj skali, i koje tokom tog rada, pod uticajem ulaznih signala, menjaju svoja unutrašnja stanja i emituju odgovarajuće izlazne signale. Kakve se transformacije mogu realizovati pomoću automata sa izlazom? Odgovor na ovo pitanje dali su, nezavisno jedan od drugog, Raney [1958] i Glushkov [1961], koji su pokazali da su to transformacije ulaznih u izlazne reči zadate takozvanim automatovnim preslikavanjima. Pri tome je Glushkov dokazao da za svaku takvu transformaciju postoji automat sa minimalnim brojem stanja koji je realizuje. 10 Uvod Logika i teorija skupova
Automati bez izlaza Automati bez izlaza Automati bez izlaza se mogu zamisliti kao automati koji imaju izvesnu vrstu izlaza, koja se realizuje pomoću samo dva izlazna signala: da i ne. Ako ona dovodi do emitovanja signala da, onda kažemo da automat prepoznaje ili da prihvata tu reč. U suprotnom, ukoliko dovodi do emitovanja signala ne, onda kažemo da automat ne prepoznaje ili da odbacuje tu reč. Videćemo da se ovi izlazi mogu predstaviti pomoću posebne vrste stanja, koje nazivamo završnim stanjima automata. Automati kao algebarske strukture Jedna od najznačajnijih karakteristika automata bez izlaza je to što se mogu razmatrati kao algebarske strukture. Ako na nizove ulaznih simbola automata gledamo kao elemente slobodnog monoida generisanog alfabetom ulaznih simbola, tada se automat može posmatrati kao monoid transformacija skupa stanja automata. 11 Uvod Logika i teorija skupova
Automati kao algebarske strukture Automati kao algebarske strukture Takode je prirodno tretirati automate bez izlaza i kao algebre u kojima se svaki ulazni simbol realizuje kao unarna operacija. Taj pristup, koji su Büchi i Wright dali još pedesetih godina, povezao je automate sa univerzalnom algebrom i stvorio uslove da se u njihovom izučavanju koriste brojni koncepti, ideje i metodi univerzalne algebre. Postoji obostrano jednoznačna veza izmedu povezanih inicijalnih automata sa ulaznim alfabetom X i desnih kongruencija na slobodnom monoidu X, koju su prvi uočili Nerode [1958] i Myhill [1957], a razmatraćemo i osnovne osobine polugrupa prelaza automata. Raspoznavanje jezika automatima Glavni zadatak automata bez izlaza svakako je raspoznavanje jezika, a problem opisivanja jezika koji se mogu raspoznati konačnim automatima, takozvanih raspoznatljivih jezika, jedan je od najvažnijih u Teoriji automata. Kada se bavimo dizajniranjem automata radi njihovih praktičnih primena, srećemo se sa dva osnovna problema: Da li za dati jezik postoji konačan automat koji ga raspoznaje? Kako konstruisati automat sa što je moguće manje stanja koji raspoznaje dati jezik? 12 Uvod Logika i teorija skupova
Regularni izrazi Regularni izrazi Još jedan način predstavljanja regularnih jezika, pored konačnih automata je njihovo predstavljanje regularnim izrazima. Regularni izrazi kao i dokaz njihove ekvivalentnosti sa konačnim automatima prvi put se sreću u radu Kleenea [1956]. Ipak, regularni izrazi daju nesto sto automati ne mogu: obavestenje o načinu procesiranja reči koje treba da budu prihvaćene. Zato se regularni izrazi koriste kao ulazni jezici mnogih sistema koji vrše procesiranje informacija. Primene regularnih izraza Komande pretraživanja kao što je UNIX grep ili ekvivalentne komande kod Web browsera ili sistema za formatiranje teksta (WinEdt). Ovi sistemi koriste regularne izraze za opis šablona koji treba da bude pronaden u fajlu. Leksički-analizator (Lex ili Flex) je deo kompajlera koji razbija izvorni program na logičke jedinice (tzv. tokene). Regularni izrazi opisuju formu tokena koju prihvata leksički-analizator kompajlera. 13 Uvod Logika i teorija skupova
Konteksno-nezavisni jezici Raspoznatljivost regularnih jezika U delu ovog kursa koji se bavi regularnim jezicima govorićemo o njihovom raspoznavanju konačnim determinističkim i nedeterminističkim automatima, kao i o njihovom predstavljanju regularnim izrazima. Dokazaćemo da za svaki regularan jezik postoji minimalan konačan deterministički automat koji ga raspoznaje i koji je jedinstven do na izomorfizam. U slučaju kada je regularan jezik zadat konačnim determinističkim automatom daćemo i algoritam za njegovu minimizaciju, tj. za nalaženje minimalnog automata koji raspoznaje isti jezik. Konteksno-nezavisni jezici nastali su u cilju formalizacije gramatičkih svojstava prirodnih jezika; Konteksno-nezavisni jezici su se vrlo brzo pokazali veoma pogodnim za formalno opisivanje sintakse programskih jezika. Primene: u definisanju programskih jezika (Fortran je definisao Backus [1959], a Algol Naur [1960]), kao i u sintaksnoj analizi jezika i konstrukciji kompajlera. Osnovni deo XML-a je Definicija tipa dokumenta u čijoj je osnovi konteksno-nezavisna gramatika koja opisuje dozvoljene komande (tagove) i načine pisanja teksta u okviru tih komandi, što u suštini nema veze sa formatiranjem teksta, već sa njegovim značenjem. Široka primena konteksno-nezavisnih jezika dovela je do razvoja teorije konteksno-nezavisnih jezika kao jedne od najznačajnijih oblasti Teorije formalnih jezika. 14 Uvod Logika i teorija skupova
Konteksno-nezavisni jezici Definicije Postoji više različitih, medusobno ekvivalentnih definicija konteksno-nezavisnih jezika: kao jezici koji se mogu generisati konteksno-nezavisnim gramatikama; kao komponenete najmanjeg rešenja sistema polinomnih jednačina, što su nezavisno jedni od drugih pokazali Chomsky i Schützenberger [1963] i Ginsburg i Rice [1962]. potisnim automatima čiji je matematički model uveden u radu Schützenbergera [1963], a čiju su ekvivalentnost sa konceptom generisanja jezika konteksno-nezavisnom gramatikom u svojim radovima dokazali Chomsky [1962] i Evey [1963]. Potisni automati Uvešćemo pojam potisnog automata (automata sa potiskujućom memorijom (stekom)), pojmove raspoznavanja jezika skupom stanja potisnog automata i raspoznavanja jezika praznim stekom i pokazaćemo da su ova dva načina raspoznavanja ekvivalentna. Model generisanja jezika potisnim automatima ekvivalentan je generisanju konteksno-nezavisnim gramatikama i jezici koji se mogu raspoznati potisnim automatima tačno konteksno-nezavisni jezici. 15 Uvod Logika i teorija skupova
Jezici tipova 0 i 1 Jezici tipova 0 i 1 Konteksno-zavisni jezici drugačije se nazivaju jezicima tipa 1, dok su jezici generisani proizvoljnim gramatikama jezici tipa 0. Da li se navedeni tipovi jezika mogu okarakterisati pomoću nekih modela apstraktnih matematičkih mašina koje raspoznaju te jezike? Za raspoznavanje jezika tipa 0 koristi se apstraktna mašina koju je, još pre pojave elektronskih računara, 1930-ih godina, definisao britanski matematičar-informatičar Alan Tjuring (Alan Turing, 1912-1954), i koja, u pogledu onoga što može izračunati, poseduje sve mogućnosti današnjih računara. U njegovu čast, tu mašinu danas nazivamo Tjuringova mašina. Komentar Tjuringov cilj bio je da precizno opiše granice izmedu onoga što računske mašine mogu i onoga što ne mogu, odnosno, da odgovori na pitanja Koji problemi su algoritamski rešivi? Koji problemi su algoritamski nerešivi? 16 Uvod Logika i teorija skupova
Linearno ograničeni automati Jezici tipova 0 i 1 Sa druge strane, jezici tipa 1, odnosno konteksno-zavisni jezici, raspoznaju se specijalnim tipom Turingovih mašina uvedenim u radu Myhilla [1960], koje se nazivaju linearno ograničenim automatima. Landweber [1963] i Kurod [1964] su dokazali da klasa jezika koji se mogu raspoznati nedeterminističkim linearno ograničenim automatima jeste upravo klasa konteksno-zavisnih jezika. 17 Uvod Logika i teorija skupova