Теорија одлучивања. Циљеви предавања

Transcript

1 Теорија одлучивања Бајесово одлучивање 1 Циљеви предавања Увод у Бајесово одлучивање. Максимална а постериори класификација. Наивна Бајесова класификација. Бајесове мреже за класификацију. 2 1

2 Примене Бајесове теореме Трансформација вероватноћа на основу нових сазнања и Класификација Максимална a posteriori (МАП) и Наивни Бајес (Naïve Bayes) Бајесова мрежа (Bayesian belief network) 3 Подсећање на Bероватноћу Простор елементарних случајних догађаја (исход) Простор Ω је скуп елемената случајних исхода. А Ω је случајни догађај. 4 2

3 Вероватноћа 1. P(A)>0, A Ω 2. P(Ω)=1 3. P( Аi) = ΣAi, Ai Aj=0, i,j, i j - P( A) = 1 P(A) - P(A B)=P(A)+P(B)-P(A B) - P(A B)=P(A)P(B A)= P(B)P(A B) - P(A B)=N(A B)/N(B) 5 Пример No weather temp humid wind play? 1 clouds hot high weak Yes 2 clouds cold normal strong Yes 3 clouds warm high strong Yes 4 clouds hot normal weak Yes 5 rain cold normal strong No 6 rain warm high strong No 7 rain warm high weak Yes 8 rain cold normal weak Yes 9 rain warm normal weak Yes 10 sun hot high weak No 11 sun hot high strong No 12 sun warm high weak No 13 sun cold normal weak Yes 14 sun warm normal strong Yes 1. Анализирајте променљиву време Проверите аксиоме 1, 2 и Одредити P( clouds ) 3. Одредити P( rain yes ) 4. Одредити P( rain yes ) 6 3

4 Условне вероватноће No weather temp humid wind play? 1 clouds hot high weak Yes 2 clouds cold normal strong Yes 3 clouds warm high strong Yes 4 clouds hot normal weak Yes 5 rain cold normal strong No 6 rain warm high strong No 7 rain warm high weak Yes 8 rain cold normal weak Yes 9 rain warm normal weak Yes 10 sun hot high weak No 11 sun hot high strong No 12 sun warm high weak No 13 sun cold normal weak Yes 14 sun warm normal strong Yes P(B А) = 3/5 P(А B) = 3/9 P(А) = 5/14 P(B) = 9/14 P(А B) = Бајесова теорема P(A B) = P(B A)*P(A)/P(B) Поставља се питање да ли се, када је време сунчано (А), игра утакмица (B). На основу вероватноће сунчаног времена P(А) и вероватноће одигравања утакмице P(B) и условне вероватноће P(B А) може да се израчуна P(А B). 8 4

5 Бајесовa теорема Формула тоталне вероватноће n = i= 1 P( B) P( B A ) P( A ) i i Која је тотална вероватноћа да је време = сунчано? P( B Ai ) P( Ai ) P( Ai B) = P( B A ) P( A ) i i i Која је вероватноћа да уколико се игра утакмица да је време сунчано? 9 Случај: Мамограф [ 1% жена у одр. Старости има рак дојке. Женама које имају рак дојке, мамограф у 80% случајева дијагностицира рак. Женама које немају рак дојке, мамограф у 9,6% случајева дијагностицира рак. Уколико жени мамограф каже да има рак, која је вероватноћа да она заиста има рак? 10 5

6 Случај мамограф P(X) вероватноћа да жена има рак P( X) вероватноћа да жена нема рак P(М) вероватноћа да мамограф показује да жена има рак P( М) вероватноћа да мамограф показује да жена нема рак P(M X) вероватноћа да када жена има рак, да мамограф показује да жена има рак P(M X) вероватноћа да мамограф показује да жена има рак, иако нема рак 11 Случај (наставак) P(X) = 0.01 P( X) = 0.99 P(M X) = 0.8 P( M X) = 0.2 P(M X) = P( M X) = P(X M)=? P(M) =? P (M X) * P(X) = P (M )* P( X) = * 0.99 = P (M) = =

7 Случај (наставак) P(X M) = / = = 7,8% X M X X M M Случај (наставак) X M X X M M Условне вероватноће и пресеци вероватноћа Нпр. P( X M) = / = 92.2% 14 7

8 Хив и Хепатитис Б ХепБ XепБ Хив Хив Која је вероватноћа P(Хив ХепБ)? Која је вероватноћа P(ХепБ Хив)? Која је вероватноћа P(ХепБ Хив)? Која је вероватноћа P(ХепБ Хив)? 15 Максимална a posteriori класификација Потребно је испитати вероватноће одигравања свих стања излазног атрибута и изабрати највеће. θmap = arg m a x[ p( X θ ) p( θ )] θ 16 8

9 Максимална a posteriori класификација P(Y X) = P(X Y)*P(Y)/P(X) P(Y=1 X) = P(X Y=1)*P(Y=1)/P(X) P(Y=0 X) = P(X Y=0)*P(Y=0)/P(X) θmap = arg m a x[ p( X θ ) p( θ )] θ 17 Случај 1: Телеком. организација Случај I (МП) V (ТС) C (?) 1 ДА ДА ДА 2 ДА НЕ ДА 3 НЕ ДА НЕ ДА НЕ НЕ 18 9

10 Случај 1 На основу базе података која се састоји од два улазна и једног излазног атрибута испититати да ли ће клијент остати веран компанији или не. Улази су: Користи међународне позиве ( да и не ) I Користи телефонску секретарицу ( да и не ) V Излаз је: Остаје у компанији ( да и не ) C 19 Табеле контигенције из базе података корисника C (Churn) Yes No Σ I V I V I V I V Σ

11 Анализа θmap = arg m a x[ p( X θ ) p( θ )] θ P(da I V )=? P(ne I V )=? P(da I V )=? P(ne I V )=? P(da I V )=? P(ne I V )=? P(da I V )=? P(ne I V )=? 21 C (Churn) Yes No Σ I V I V I V I V Σ Рачун P(da I V )= 36/3333 P(ne I V )= 56/3333 P(da I V )= 44/3333 P(ne I V )= 786/3333 P(da I V )= 101/3333 P(ne I V )= 130/3333 P(da I V )= 302/3333 P(ne I V )= 1878/

12 Зашто је сваки пут одлука не? C (Churn) Yes No Σ I V I V I V I V Σ Недостаци велики број комбинација за испитивање захтева уравнотежен број случајева 23 Правило ланца Нпр. P(X1, X2, X3 Y) = P(X1 X2, X3,Y)*P(X2 X3,Y)*P(X3 Y) 24 12

13 Наивна Бајесова класификација Претпоставља се да су атрибути међусобно независни P (x k C i) = s ik/si P( X Ci) = P( xk Ci ) n k = 1 25 Случај 2: Титаник Случај Класа Узраст Пол Жив? 1 druga odrasla ženski da 2 posada odrastao muški ne 3 posada odrastao muški da 4 druga odrastao muški ne 5 druga odrasla ženski da 6 posada odrastao muški da 7 posada odrastao muški ne 8 prva odrastao muški ne 9 posada odrastao muški da 10 posada odrastao muški ne 11 treća dete muški ne 12 posada odrastao muški ne Случај Класа Узраст Пол Жив? 13 Treća odrastao muški ne 14 Prva odrasla ženski da 15 Treća odrastao muški ne 16 Treća dete ženski ne 17 Treća odrastao muški ne 18 Prva odrasla ženski da 19 posada odrastao muški ne 20 treća odrastao muški ne 21 treća odrasla ženski ne 22 treća odrasla ženski ne 23 treća dete ženski da 24 treća dete muški ne 26 13

14 Проблем Занима нас да ли путница која припада првој класи, и дете је има шансе да преживи? Жив Класа Стар Пол Да Не 1 О М 1 1 О Ж 2 1 Д М 1 Д Ж 2 О М 1 2 О Ж 2 2 Д М 2 Д Ж Жив Класа Стар Пол Да Не 3 О М 4 3 О Ж 2 3 Д М 2 3 Д Ж 1 1 П О М 3 5 П О Ж П Д М П Д Ж 27 Случај Класа Узраст Пол Жив? 1 druga odrasla ženski da 2 posada odrastao muški ne 3 posada odrastao muški da 4 druga odrastao muški ne 5 druga odrasla ženski da 6 posada odrastao muški da 7 posada odrastao muški ne 8 prva odrastao muški ne 9 posada odrastao muški da 10 posada odrastao muški ne 11 treća dete muški ne 12 posada odrastao muški ne Решење Случај Класа Узраст Пол Жив? 13 Treća odrastao muški ne 14 Prva odrasla ženski da 15 Treća odrastao muški ne 16 Treća dete ženski ne 17 Treća odrastao muški ne 18 Prva odrasla ženski da 19 posada odrastao muški ne 20 treća odrastao muški ne 21 treća odrasla ženski ne 22 treća odrasla ženski ne 23 treća dete ženski da 24 treća dete muški ne P(da) = 1/3, P(ne) = 2/3 P(prva da) = 1/4, P(dete da) = 1/8, P(zena da) = 5/8 P(prva ne) = 1/16, P(dete ne) = 3/16, P(zena ne) = 3/16 P(da prva dete zena) = 1/3* 1/4 * 1/8 * 5/8 = 0,0065% P(ne prva dete zena) = 2/3* 1/16 * 3/16 * 3/16 = % 28 14

15 P( A Бајесове мреже за класификацију m 1 = a1, A2 = a2,..., Am = am ) = P( Ai = ai Roditelji( Ai )) i= 1 Друштвена класа Године Пол Преживели P( DK, God, Pol, P) = P( DK)* P( God DK)* P( Pol DK )* P( P God Pol) 29 Питања 1. Објасните Бајесову теорему. 2. Шта је класификација? 3. Које Басове методе за класификацију познајете? 4. Максимална апостериори класификација. 5. Наивни Бајес 6. Бајесове мреже 7. Правило уланчавања представља 5/13/