Lucrarea 2. Analiza Componentelor Principale (PCA)

Transcript

1 Lucrarea Aalza Copoetelor Prcpale PCA. Baza teoretca Î recuoaşterea forelor, selecţa ş extragerea caracterstclor repreztă o alegere decsvă petru proectarea orcăru clasfcator. Selecţa caracterstclor poate f văzută ş ca u proces de coprese de date, fd aslată cu o trasforare lară d spaţul ţal al oservaţlor îtr-u spaţu cu a puţe desu. O astfel de trasforare este ecesară deoarece poate coserva o are parte d foraţe ş perte aplcarea uor algort î tp real, algort efceţ fd doar î spaţ cu desu reduse. Cele a ulte trasforăr utlzate petru selecţa caracterstclor sut cele lare, î tp ce trasforărle elare au o coplextate a rdcată, sut a greu de pleetat, dar pot avea o efceţă a rdcată, exprâd a e depedeţa dtre forele oservate, datele prare oservate ş caracterstcle selectate ale acestor fore. rasforata Karhue-Loéve Prcpal Copoet Aalss PCA este o etodă lară de selecţe a caracterstclor. Fe u vector aleator -desoal. Se caută o trasforare ortogoală care să pertă reprezetarea optă a vectorulu î raport cu crterul eror ed pătratce e. adcă: Fe K trasforarea căutată: ude K,,..., sut vector -desoal, deocadată edeteraţ. Presupue î plus că vector coloaă a lu K forează u sste ortoorat,, 0, Fecare vector se trasforă î:

2 K Y,...,, 3, cu. Relaţle ş coduc la I K K K K, ude I este atrcea utate x ; rezultă: Y K 4. Se vor reţe ua < copoete ale lu Y, restul de - copoete fd îlocute cu costatele preselectate, astfel că se estează ca: + + ˆ. roarea corespuzătoare aceste estăr este: + ˆ. Se va cosdera crterul eror pătratce ed: + + } { ε care, ţâd cot de relaţa, deve } { ε. Fucţa eroare ε se zează alegâd î od adecvat ş. Acest proces se realzează î două etape: A Se zează ε î raport cu, puâd codţa ecesară 0 ] } { [ } {, de ude, cofor relaţe 3, deduce } { } { cu. Atuc eroarea pătratcă ede deve: + Σ ε, ude Σ este atrcea de covaraţe a vectorulu, adcă:

3 { } { } } Σ {, ude {} repreztă eda. B Petru a detera optal, se zează ε î raport cu, adăugâd restrcţle petru. Se utlzează etoda ultplcatorlor Lagrage, oţâdu-se: [ ε ] λ 5 + Forula 4 se a ueşte dezvoltarea Karhue-Loève, ar trasforarea deftă de relaţa 3 se ueşte trasforarea Karhue-Loève. Prolea zăr lu ε se ueşte î statstcă aalză factorală sau aalza copoetelor prcpale. Oservaţ: Iportaţa fecăre caracterstc este deterată de valoarea propre corespuzătoare. Dacă o caracterstcă, de exeplu, este elată, atuc eroarea pătratcă ede creşte cu λ. Aşadar caracterstcle cu cele a c valor propr treue elate prele. Dacă valorle propr care sut reale ş poztve deoarece atrcea Σ este setrcă sut dexate astfel: λ > λ >... > λ > 0, atuc prortatea reţer caracterstclor este î ordea aturală a dclor; Dacă Y K, atuc ître atrcele de covaraţe ale lu ş Y exstă relaţa Σ Y KΣ K. Petru trasforarea Karhue-Loève deduce că Y are copoetele ecorelate, adcă Vector propr a lu Σ Y este o atrce dagoală ş aue: Σ Y dag λ, λ,..., λ ; Σ zează ε petru orce alegere a uor aze ortoorate de vector. Factorul de prezervare a eerge se poate e aproxa cu forula:

4 λ ε 00% λ ude λ sut valorle propr ordoate descrescător, ε factorul de prezervare a eerge. Dezvoltarea Karhue-Loeve presupue uratoarele etape: se calculează atrcea de covarate a forelor de trare; se calculează valorle propr s se ordoeaza descrescator: λ > λ >... > se calculeaza vector propr asocat valorlor propr: [,..., ], se costrueşte atrcea K a vectorlor propr: K[,..., ], uărul "" de trăsătur care se reţ după trasforarea utară se oţe d valoarea axă adslă a eror ed pătratce de estare: ε > p% fecare fore de trare se va aplca trasforarea Karhue-Loève: Y K,,..., ] [ ; λ Se vor reţe ua < copoete ale lu Y, restul de - copoete fd îlocute cu valoarea 0; ~ Y K [ ],,...,,0,0,...,0 Petru vzulazarea rezultatulu spatul tal, se va aplca dezvoltarea Karhue-Loève: ~ K ~ Y

5 . Prolee Prolea. Fe vector: 0 A, B 3, C, D 5 3 a sa se calculeze eda vectorlor de trare s atrcea de covarate sa se calculeze valorle propr s vector propr c sa se scre atrcea trasforăr Karhue-Loéve ş sa se verfce ortooraltatea e d sa se reprezte puctele A, B, C s D spatul KL petru Prolea. Fe u set de vector tr-desoal, care au atrcea de covaraţe: Σ ρ 0 ρ ρ 0 ρ, ρ 0, a Să se calculeze valorle propr ale atrce de covaraţe; Petru ; ρ, să se calculeze factorul de prezervare a eerge la ş c Să se calculeze vector propr; d Screrea atrce trasforăr Karhue-Loéve ş verfcarea ortooraltat e; 5 5 e Adţâd că edle claselor sut µ 5 ş µ 5, să se clasfce vector A 4, B ş C î spaţul Karhue-Loeve petru ş petru. 4 3

6 3. Aplcat de laorator 3.. Aplcate deo a trasforate PCA petru vector desoal Oectve: - reprezetarea grafca a spatulu PCA spatul orgal petru vector desoal - proecta vectorlor desoal spatul PCA Desfasurarea lucrar: - se deschde prograul Matla s se ruleaza fserul PCA_deo. - ate de talzarea vectorlor se reseteaza toate valorle pr apasarea utoulu Reset - dupa talzarea vectorlor, petru a vedea spatul PCA, apasat utoul Spatu PCA Odata cu afsarea grafca a spatulu PCA, se vor afsa s proectle vectorlor acest spatu precu s: eda, covarata, valorle propr s atrcea trasforar Karhue-Loéve. xeplu. Se apasa utoul de Reset. Se troduc puctele: A [ ], B [ ], C [4 ], D [5 ] 3. Petru afsarea vectorlor spatu PCA se apasa utoul Spatu PCA Petru puctele d exeplu de a sus, aplcata va arata astfel: Fgura 3.. Aplcate deo PCA

7 3.. Aplcate de recuoastere a vurlor folosd copresa spatul PCA Oectve: - procetul de recuoastere a tpurlor de v fucte de uarul de copoete prcpale pastrate - clasfcarea uu esato de v ecuoscut, ua dtre cele 3 clase de vur folosd dstata eucldaa spatul PCA S-a folost aza de date We recogto data, ce cote 3 tpur de vur, fecare avad cate 3 paraetr: Alcohol Malc acd 3 Ash 4 Alcalt of ash 5 Magesu 6 otal pheols 7 Flavaods 8 Noflavaod pheols 9 Proathocas 0 Color test Hue OD80/OD35 of dluted wes 3 Prole Baza de date cote: Clasa 59 de vector, Clasa 7 de vector ar Clasa3 48 de vector. ot vector sut 3-desoal. Atreare I faza de atreare s-a calculat atrcea KL a tuturor vectorlor d cele 3 clase. Petru o a ua clasfcare s-au orat ce 3 paraetr tervalul [0..]. estare I etapa de testare s-a folost ca s clasfcator dstata eucldaa tre vector de test s edle claselor spatul PCA. S-au urart lucrur: - scorul de recuoastere a vectorlor de test fucte de uarul de copoete prcpale pastrate - clasfcarea uu ou vector de test ua d cele 3 clase, fucte de uarul de copoete prcpale pastrate Desfasurarea lucrar: - se poreste prograul Matla s se ruleaza aplcata PCA_WIN. - se troduce u vector de test cotad ce 3 paraetr; se alege apo uarul de copoete prcpale ce se vor pastra. Se apasa utoul Clasfca Oservate: vector de test pot f ce dexat d aelul, sau orce alt vector ales de utlzator.

8 - dupa clasfcare, aplcata va calcula edle celor 3 clase spatu PCA petru uarul de copoete prcpale selectat. De aseeea se va proecta s vectorul de test spatul PCA folosd atrcea KL calculata etapa de atreare. Folosd ca s clasfcator dstata eucldaa spatul PCA, se va detera aparteeta vectorulu de test la ua dtre clase. - Odata cu selectarea uarulu de copoete prcpale petru vectorul de test, aplcata va calcula s scorul de recuostere petru tregul lot de test, petru uarul de copoete prcpale selectat. ael. Vector de test dexat Clasa: 4.3,.7,.43,5.6,7,.8,3.06,.8,.9,5.64,.04,3.9,065 Clasa: 3.,.78,.4,.,00,.65,.76,.6,.8,4.38,.05,3.4,050 Clasa:.37,.7,.9,9.6,78,.,,.7,.04,4.68,.,3.48,50 Clasa:3.34,.94,.36,7,0,.53,.3,.55,.4,3.7,.0,.93,750 Clasa3:.5,4.7,.54,,89,.38,.47,.53,.8,3.85,.75,.7,70 Clasa3:.53,5.5,.64,5,96,.79,.6,.63,.,5,.8,.69,55 Aplcata va arata ca captura de a os: Fgura 3.. Aplcatea de recuoastere a vurlor folosd copresa spatul PCA

9 3.3. Aplcate de vzualzare a gefaces gevectors petru ag grascale Oectve: - vzualzarea ue feţe otute pr pastrarea prelor copoete prcpale; - vzualzarea ue feţe otute pr pastrarea doar a ue aute copoete prcpale. Petru calculul atrc KL s-au folost 0 ag cu faţa aceluas dvd, dverse postaze. Fecare age a setulu a fost vectorzata petru a perte calculul vectorlor propr, care acest caz se uesc gefaces. Fgura 3.3. Aplcate de vzualzare a gefaces Desfasurarea lucrar: - se poreste prograul Matla s se ruleaza aplcata PCA_aplcate.; - se selecteaza o age de test care va f vectorzata petru prelucrar ulteroare; - se alege apo uarul de copoete prcpale ce se vor pastra. Se apasa utoul Afseaza, aparad agea recosttuta d prele gefaces; - se alege apo uarul copoete prcpale ce se doreste a f vzualzata. Se apasa utoul Afseaza, aparad agea cele de-a k geface calculate.

10 3.4. Selecța caracterstclor folosd PCA. Aplcate recuoasterea fețelor Oectv: Selecța caracterstclor folosd PCA cu aplcate recuoasterea fețelor. Itroducere. Petru clasfcarea autoată a aglor sut ecesare două etape: Selecţa caracterstclor PCA Clasfcare Petru clasfcarea aglor s-a calculat dstaţa eucldaă faţă de edle claselor. Dstaţa eucldaă este dată de relaţa: N -C k x c k ude C k c k, c k,, c kn ş x, x,..., x N, C k eda clase k Iagea va aparţe acele clase petru care dstaţa eucldaă este ă. Desfăşurarea Lucrăr Lucrarea propue testarea algortulu petru aza de date ORL. Baza de date ORL coţe câte 0 ag dstcte petru u uăr total de 40 de persoae, prezetâd varaţ d puctul de vedere al oretăr, rotaţe î plaul ag de pâă la 0, scale de reprezetare de pâă la 0% ş exprese feţe, î codţ de luare cotrolate. Desule fecăre ag sut de x9 pxel, folosd 56 vele de gr. Î experetele efectuate a alocat prele 5 ag d totalul de 0 ale fecăre persoae setulu de atreare, ar restul au forat setul de test. Fgura 3.4. xeple de ag d aza de date ORL

11 Î ura atreăr, au fost salvaţ urător paraetr: atrcea rasforăr Karhue-Loeve, stocată î KL.txt uărul de copoete păstrate î ura reducer desu, stocat î catepastrez.txt edle claselor, păstrate î ed.txt Ateţe! Aceşt paraetr u pot f ctţ pr deschderea drectă a fşerelor, c pe ţ cu fucţ specfce fread. Modfcăr ca scharea setulu aglor de atreare sau cattatea de foraţe ce se doreşte a f păstrată pr trasforarea Karhue-Loeve ecestă o rulare a algortulu de atreare ş o rescrere a fşerelor atte a sus, î vederea oţer de rezultate sefcatve. Prograul de testare se apelează d cosolă pr coada testare_utlzator. Atete! reue ca drectorul curet să fe calea către fşerul MALAB testare_utlzator. Sut dspole 4 opţu: - testarea aglor de atreare - testarea aglor de test 3 - testarea ue aute ag calea va f dcata de utlzator 4 - esre d progra Pr selectarea opţulor sau, va f calculat ş afşat procetaul de recuoaştere corectă a aglor de atreare, respectv de test. Petru reverea la opţu, apăsaţ orce tasta. Opţuea 3 vă cere să troduceţ calea copletă către agea ce se doreşte a f testată. Calea poate să fe asolută ex. C:\RNRF\PCA\ORL\s09\089.p sau relatvă la drectorul de lucru ex. s09\089.p. Prograul de testare va retura uărul clase î care agea propusă a fost clasfcată ş va afşa cele 5 ag de atreare ale clase respectve îpreuă cu agea propusă. Petru reverea la opţu, apăsaţ orce tasta. Blografe: [] V.Neagoe, O. Stăăşlă, Recuoasterea forelor s retele eurale algort fudaetal, d. Matrx Ro, Bucureşt, 998. [] CVRVV. Portuguese We - Vho Verde. Cossao de Vtcultura da Regao dos Vhos Verdes CVRVV, Jul 008.