MAPSI cours 3 : Maximum de vraisemblance Maximum a posteriori

MAPSI cours 3 : Maximum de vraisemblance Maximum a posteriori Christophe Gonzales LIP6 Université Paris 6, France

Plan du cours n 3 MAPSI cours 3 : Maximum de vraisemblance Maximum a posteriori 2/50 1 Vraisemblance et prise de décision 2 Estimation par maximum de vraisemblance 3 Estimation par maximum a posteriori

Vraisemblance d un échantillon : loi discrète connue MAPSI cours 3 : Maximum de vraisemblance Maximum a posteriori 3/50 Échantillon x = (x 1,..., x n ) de taille n Échantillon = les x i = réalisations de variables aléatoires X i Échantillon i.i.d. = les X i sont mutuellement indépendants n = P(X 1 = x 1,..., X n = x n ) = P(X i = x i ) l hypothèse i.i.d est essentielle! Vraisemblance d un échantillon dans le cas discret L(x) = Vraisemblance de l échantillon L(x) = proba d obtenir cet échantillon sachant la loi P n L(x) = P(x 1,..., x n ) = P(x i )

Vraisemblance d un échantillon : loi discrète connue pièce de monnaie : P(Pile) = 0, 75 et P(Face) = 0, 25 jet de la pièce = expérience de Bernoulli = hypothèse i.i.d. vérifiée échantillon 1 : P P F F P P F P P P 7 3 = L(x) = P(Pile) P(Face) = 0, 75 7 0, 25 3 0, 002086 échantillon 2 : F F P P F F P F F F 3 7 = L(x) = P(Pile) P(Face) = 0, 75 3 0, 25 7 0, 000026 MAPSI cours 3 : Maximum de vraisemblance Maximum a posteriori 4/50

Prévention des risques d inondation (1/4) MAPSI cours 3 : Maximum de vraisemblance Maximum a posteriori 5/50 Plan de prévention des risques d inondations (PPR-I) : photos satellite SPOT5 = zones susceptibles d être inondées 3 catégories de parcelles : 1 inondables (PI) 2 partiellement inondables (PPI) 3 non inondables (NI)

Prévention des risques d inondation (2/4) MAPSI cours 3 : Maximum de vraisemblance Maximum a posteriori 6/50 images en teintes de gris proba d obtenir un niveau de gris n dépend du type de zone : P(n PI) = N (µ 1, σ 2 1 ) µ 1 = 100 σ 1 = 20 P(n PPI) = N (µ 2, σ 2 2 ) µ 2 = 85 σ 2 = 5 nouvelle image envoyée par SPOT5 : zone Z : niveau de gris = n = 80 Problème : zone Z = PI ou PPI?

Prévention des risques d inondation (3/4) MAPSI cours 3 : Maximum de vraisemblance Maximum a posteriori 7/50 2 hypothèses : Problème : zone Z = PI ou PPI? 1 θ 1 = Z est de type PI 2 θ 2 = Z est de type PPI Idée : calcul du max de vraisemblance d obtenir la zone Z sous θ 1 ou sous θ 2 L(x, θ 1 ) = p(80 PI), avec p fct de densité de P(n PI) = N (µ 1, σ 2 1 ) Rappel : la fonction de densité de N (µ, σ 2 ) est : { p(x) = 1 exp 1 ( ) } x µ 2 2π.σ 2 σ

Prévention des risques d inondation (4/4) MAPSI cours 3 : Maximum de vraisemblance Maximum a posteriori 8/50 Problème : zone Z = PI ou PPI? P(n PI) = N (µ 1, σ 2 1 ) = N (100, 202 ) L(x, θ 1 ) = p(80 PI) { 1 = exp 1 2π 20 2 = 1 20 exp { 1 } 2π 2 0, 0121 ( 80 100 ) 2 } 20 P(n PPI) = N (µ 2, σ 2 2 ) = N (85, 52 ) L(x, θ 2 ) = p(80 PPI) = 1 2π 5 exp { 1 2 ( 80 85 ) 2 } 5 0, 0484 Max de vraisemblance = PPI plus probable

Apprentissage par vraisemblance : le cas discret MAPSI cours 3 : Maximum de vraisemblance Maximum a posteriori 9/50 Paramètre à estimer : Θ Exemple 1 : X {pile,face} pile face P(X) = θ 1 θ 2 = Θ = {θ 1, θ 2 } Exemple 2 : recommandations : r A {1, 2, 3}, r B {a, b} a b 1 θ 1 θ 2 P(r A, r B ) = 2 θ 3 θ 4 = Θ = {θ 1,..., θ 6 } 3 θ 5 θ 6

Apprentissage par vraisemblance : le cas discret MAPSI cours 3 : Maximum de vraisemblance Maximum a posteriori 10/50 Paramètre à estimer : Θ Échantillon x = (x 1,..., x n ) de taille n Échantillon = les x i = réalisations de variables aléatoires X i Échantillon i.i.d. = les X i sont mutuellement indépendants n = P(X 1 = x 1,..., X n = x n Θ = θ) = P(X i = x i Θ = θ) Vraisemblance d un échantillon dans le cas discret L(x, θ) = Vraisemblance de l échantillon L(x, θ) = proba d obtenir cet échantillon sachant que Θ = θ n L(x, θ) = P(x 1,..., x n Θ = θ) = P(x i Θ = θ)

Vraisemblance d un échantillon : le cas continu MAPSI cours 3 : Maximum de vraisemblance Maximum a posteriori 11/50 Paramètre à estimer : Θ Échantillon x = (x 1,..., x n ) de taille n Échantillon i.i.d. = les X i sont mutuellement indépendants p : fonction de densité n = p(x 1 = x 1,..., X n = x n Θ = θ) = p(x i = x i Θ = θ) Vraisemblance d un échantillon dans le cas continu L(x, θ) = Vraisemblance de l échantillon n L(x, θ) = p(x 1,..., x n Θ = θ) = p(x i Θ = θ)

Apprentissage de Θ par vraisemblance MAPSI cours 3 : Maximum de vraisemblance Maximum a posteriori 12/50 pièce de monnaie : P(Pile) = θ 1 =??? et P(Face) = θ 2 =??? paramètre Θ = proba de Pile = θ 1 =??? échantillon : P P F F P P F P P P 7 3 = L(x, Θ) = P(Pile Θ) P(Face Θ) θ 1 = 0, 75 = L(x, θ 1 ) = 0, 75 7 0, 25 3 0, 002086 θ 2 = 0, 5 = L(x, θ 2 ) = 0, 5 7 0, 5 3 0, 000976 θ 3 = 0, 25 = L(x, θ 3 ) = 0, 25 7 0, 75 3 0, 000026 = θ 1 plus vraisemblable que θ 2 ou θ 3

Apprentissage de Θ par vraisemblance MAPSI cours 3 : Maximum de vraisemblance Maximum a posteriori 13/50 L(x, θ) L(x, θ) = θ 7 (1 θ) 3 θ 0 0, 7 1 solution optimale : θ = 0, 7

Estimateur du maximum de vraisemblance MAPSI cours 3 : Maximum de vraisemblance Maximum a posteriori 14/50 Estimateur du maximum de vraisemblance X : variable aléatoire sur la population X suit une loi de proba de paramètre Θ inconnu Θ : ensemble des valeurs possibles pour Θ x : échantillon i.i.d. T = f (X) = estimateur du maximum de vraisemblance défini par x t = f (x) = Argmax L(x, θ) θ Θ = t = valeur θ de Θ pour laquelle la proba d observer x était la plus grande

Calcul du maximum de vraisemblance Problème : comment calculer le maximum de vraisemblance? Argmax θ Θ L(x, θ) = Argmax θ Θ P(x 1,..., x n θ) = Argmax θ Θ Certaines conditions de concavité et de dérivabilité L(x, θ) = Argmax L(x, θ) obtenu lorsque = 0 θ Θ θ Argmax θ Θ L(x, θ) = Argmax ln L(x, θ) = Argmax θ Θ θ Θ n P(x i θ) n ln P(x i θ) Argmax ln L(x, θ) = log vraisemblance θ Θ = Argmax L(x, θ) obtenu lorsque θ Θ n ln P(x i θ) θ MAPSI cours 3 : Maximum de vraisemblance Maximum a posteriori 15/50 = 0

Max de vraisemblance et loi binomiale pièce de monnaie X {0, 1}, 0 Face, 1 Pile X B(1, p) = P(X = x p) = p x (1 p) 1 x n lancers de la pièce = observations x = {x 1,..., x n } n n P(x p) = P(x i p) = p x i (1 p) 1 x i Problème : à partir de x, peut-on raisonnablement déduire p? maximum de vraisemblance : n ln P(x p) = [x i ln p + (1 x i ) ln(1 p)] ln P(x p) p n x i n n x i 1 p = 1 = 0 = p ML = 1 x i p n MAPSI cours 3 : Maximum de vraisemblance Maximum a posteriori 16/50 n

Max de vraisemblance et loi normale (1/2) MAPSI cours 3 : Maximum de vraisemblance Maximum a posteriori 17/50 X N (µ, σ 2 ) ; on suppose σ = 1 paramètre Θ = espérance µ loi normale = vraisemblance : n n [ 1 L(x, θ) = p(x i θ) = exp { 12 }] (x i θ) 2 2π L(x, θ) ln L(x, θ) = 0 = 0 θ θ ln L(x, θ) = n 2 ln 2π 1 n (x i θ) 2 2 L(x, θ) θ = 0 n (x i θ) = 0 θ = 1 n n x i = x Estimateur du maximum de vraisemblance : X

Max de vraisemblance et loi normale (2/2) X N (µ, σ 2 ) paramètre Θ = (µ, σ 2 ) Log vraisemblance : ln L(x, θ) = n 2 ln 2π n 2 ln σ2 1 2σ 2 Maximum de vraisemblance = L(x, θ) µ n (x i µ) 2 = 0 et L(x, θ) = 1 n µ σ 2 (x i µ) = 0 = µ = 1 n L(x, θ) σ 2 = n 1 2 σ 2 + 1 n 2σ 4 (x i µ) 2 = 0 = σ 2 = 1 n L(x, θ) σ 2 = 0 n x i = x Estimateurs du maximum de vraisemblance : X et S 2 n n (x i x) 2 = sn 2 estimateur de la variance biaisé : variance non corrigée MAPSI cours 3 : Maximum de vraisemblance Maximum a posteriori 18/50

Problème d ajustement (1/6) MAPSI cours 3 : Maximum de vraisemblance Maximum a posteriori 19/50 données estimation t = sin(2πx) x 11 Observations (x 1, t 1 ). (x 10, t 10 ) = courbe sin(2πx) = estimation de t 11 = reconnaissance de la courbe verte

Problème d ajustement (2/6) MAPSI cours 3 : Maximum de vraisemblance Maximum a posteriori 20/50 Idée : estimer la courbe verte par un polynôme : M y(x, w) = w 0 + w 1 x + w 2 x 2 + + w M x M = w j x j j=0

Problème d ajustement (3/6) MAPSI cours 3 : Maximum de vraisemblance Maximum a posteriori 21/50 Idée : les ordonnées des points bleus sont distribuées selon une loi normale autour de y(x, w) : = P(t x, w, σ 2 ) = N (t y(x, w), σ 2 ) Problème : comment trouver w et σ 2? = par maximum de vraisemblance

Problème d ajustement (4/6) MAPSI cours 3 : Maximum de vraisemblance Maximum a posteriori 22/50 P(t x, w, σ 2 ) = N (t y(x, w), σ 2 ) observations {(x i, t i ), i = 1,..., n} t = {t 1,..., t n } ; x = {x 1,..., x n } observations = échantillon i.i.d = P(t x, w, σ 2 ) = = n P(t i x i, w, σ 2 ) n N (t i y(x i, w), σ 2 ) Max de vraisemblance = calculer la log-vraisemblance : ln p(t x, w, σ 2 ) = 1 n 2σ 2 [y(x i, w) t i ] 2 + n 2 ln 1 σ 2 n 2 ln(2π)

Problème d ajustement (5/6) MAPSI cours 3 : Maximum de vraisemblance Maximum a posteriori 23/50 ln p(t x, w, σ 2 ) = 1 2σ 2 n [y(x i, w) t i ] 2 + n 2 ln 1 σ 2 n 2 ln(2π) Maximum de log-vraisemblance = trouver w ML et σ 2 ML qui maximisent ln p(t x, w, σ 2 ) maximiser par rapport à w ML minimiser n [y(x i, w) t i ] 2 = Moindres carrés

Problème d ajustement (6/6) MAPSI cours 3 : Maximum de vraisemblance Maximum a posteriori 24/50 ln p(t x, w, σ 2 ) = 1 2σ 2 n [y(x i, w) t i ] 2 + n 2 ln 1 σ 2 n 2 ln(2π) maximiser ln p(t x, w, σ 2 ) par rapport à σ 2 = ln p(t x, w, σ2 ) σ 2 = 0 ln p(t x, w, σ 2 ) σ 2 = 1 2σ 4 = σ 2 = 1 n n [y(x i, w) t i ] 2 n 2σ 4 σ2 = 0 n [y(x i, w) t i ] 2 σ 2 ML = 1 n n [y(x i, w ML ) t i ] 2

Retour sur la loi binomiale MAPSI cours 3 : Maximum de vraisemblance Maximum a posteriori 25/50 p ML = 1 n n x i 3 lancers = observations : {Pile,Pile,Pile} Maximum de vraisemblance = p ML = 1 = on considère que tout lancer de la pièce devrait tomber sur Pile = résultat à l encontre du bon sens = autre estimateur : maximum a posteriori

Le modèle bayésien (1/4) MAPSI cours 3 : Maximum de vraisemblance Maximum a posteriori 26/50 Maximum a posteriori = modèle bayésien Modèle bayésien événements : parties de X Θ, où : X = l espace des observations (échantillons) x de taille n Θ = espace des paramètres θ famille des événements dotée d une loi de proba Π cas discret : Π déterminée par les probas des événements élémentaires π(x, θ) cas continu : Π déterminée par la densité jointe π(x, θ) Max de vraisemblance : π(x θ) au lieu de π(x, θ) = π(x θ)π(θ)

Le modèle bayésien (2/4) MAPSI cours 3 : Maximum de vraisemblance Maximum a posteriori 27/50 Le cas discret : π(x, θ) = Π(X = x, Θ = θ), où X, Θ variables aléatoires π(x) = Π(X = x) = Π(X = x, Θ = θ) = π(x, θ) θ Θ θ Θ π(θ) = Π(Θ = θ) = x X Π(X = x, Θ = θ) = x X π(x, θ) π(x θ) = Π(X = x Θ = θ) = π(θ x) = Π(Θ = θ X = x) = π(x, θ) π(θ) π(x, θ) π(x) Probabilités a priori et a posteriori π(θ) = probabilité a priori de θ π(θ x) = probabilité a posteriori de θ

Le modèle bayésien (3/4) MAPSI cours 3 : Maximum de vraisemblance Maximum a posteriori 28/50 Le cas continu : π(x) = Π(X = x) = π(θ) = Π(Θ = θ) = π(x θ) = π(θ x) = π(x, θ) π(θ) π(x, θ) π(x) x X θ Θ Π(X = x, Θ = θ)dθ = Π(X = x, Θ = θ)dx = x X θ Θ π(x, θ)dθ π(x, θ)dx

Le modèle bayésien (4/4) MAPSI cours 3 : Maximum de vraisemblance Maximum a posteriori 29/50 Probabilités a priori et a posteriori π(θ) = probabilité a priori de Θ = idée que l on se fait de Θ avant observation π(θ x) = probabilité a posteriori de Θ = idée que l on se fait de Θ après observation Formule de Bayes : π(θ x) = π(x θ)π(θ) π(x) cas discret : π(θ x) = π(x θ)π(θ) π(x θ)π(θ) = π(x, θ) θ Θ θ Θ π(x θ)π(θ) cas continu : π(θ x) = π(x θ)π(θ) π(x θ)π(θ) = θ Θ π(x, θ)dθ θ Θ π(x θ)π(θ)dθ Rappel : π(x θ) = vraisemblance de l échantillon = L(x, θ)

Maximum a posteriori MAPSI cours 3 : Maximum de vraisemblance Maximum a posteriori 30/50 Maximum a posteriori (MAP) T estimateur du maximum a posteriori de Θ : défini par x t = Argmax π(θ x) θ Θ échantillon i.i.d de n observations X = (X 1,..., X n ) = x = (x 1,..., x n ) observation de X L(x, θ)π(θ) cas discret : π(θ x) = L(x, θ)π(θ) θ Θ L(x, θ)π(θ) cas continu : π(θ x) = θ Θ L(x, θ)π(θ)dθ n échantillon i.i.d = π(x θ) = L(x, θ) = P(x i θ) n p(x i θ) (discret) (continu)

MAP : retour sur la pièce de monnaie (1/6) MAPSI cours 3 : Maximum de vraisemblance Maximum a posteriori 31/50 pièce de monnaie = X {0, 1} 0 Face 1 Pile X B(1, θ) = P(X = x θ) = θ x (1 θ) 1 x échantillon x de 3 lancers = {Pile,Pile,Pile} Max de vraisemblance = θ ML = 1 = tous les lancers devraient tomber sur Pile Modèle bayésien : Θ = {θ 1 = 1, θ 2 = 2/3, θ 3 = 1/2, θ 4 = 1/3} Info a priori : π(θ 1 ) = 1 32, π(θ 2) = 1 4, π(θ 3) = 1 2, π(θ 4) = 7 32 Problème : quelle est la valeur du maximum a posteriori?

MAP : retour sur la pièce de monnaie (2/6) MAPSI cours 3 : Maximum de vraisemblance Maximum a posteriori 32/50 Modèle bayésien : Θ = {θ 1 = 1, θ 2 = 2/3, θ 3 = 1/2, θ 4 = 1/3} L(x, θ 1 ) = π(x θ 1 ) = L(x, θ 2 ) = π(x θ 2 ) = L(x, θ 3 ) = π(x θ 3 ) = L(x, θ 4 ) = π(x θ 4 ) = 3 P(x i θ 1 ) = 1 3 0 0 = 1 3 P(x i θ 2 ) = 2 3 3 P(x i θ 3 ) = 1 2 3 P(x i θ 4 ) = 1 3 3 3 3 ( 1 2 ) 0 = 2 3 0, 296 3 3 ( 1 1 ) 0 = 1 3 0, 125 2 2 ( 1 1 ) 0 = 1 3 0, 037 3 3

MAP : retour sur la pièce de monnaie (3/6) MAPSI cours 3 : Maximum de vraisemblance Maximum a posteriori 33/50 Info a priori : π(θ 1 ) = 1 32, π(θ 2) = 1 4, π(θ 3) = 1 2, π(θ 4) = 7 32 π(θ 1 x) = L(x, θ 1)π(θ 1 ) 1 1 = 0, 03125 L(x, θ)π(θ) 32 θ Θ π(θ 2 x) = L(x, θ 2)π(θ 2 ) θ Θ L(x, θ)π(θ) 2 3 1 0, 074 3 4 π(θ 3 x) = L(x, θ 3)π(θ 3 ) θ Θ L(x, θ)π(θ) 1 3 1 = 0, 0625 2 2 π(θ 4 x) = L(x, θ 4)π(θ 4 ) θ Θ L(x, θ)π(θ) 1 3 7 0, 008 3 32 Max a posteriori : Θ = θ 2 = X B(1, θ 2 ) = B(1, 2/3) probabilité que la pièce tombe sur Face 0

MAP : retour sur la pièce de monnaie (4/6) MAPSI cours 3 : Maximum de vraisemblance Maximum a posteriori 34/50 Modèle bayésien : Θ [0, 1] Info a priori : Θ loi normale tronquée (µ = 1/2, σ = 1/4) : ( ( ) ) 2 1 1 densité : π(θ) = 0,9544 exp 1 θ µ 2πσ 2 σ si θ [0, 1] 0 sinon π(θ) 1,6 1 0 1 θ

MAPSI cours 3 : Maximum de vraisemblance Maximum a posteriori 35/50 MAP : retour sur la pièce de monnaie (5/6) π(θ x) = L(x, θ)π(θ) θ Θ L(x, θ )π(θ ) L(x, θ)π(θ) = θ3 π(θ) ( ( ) ) 2 θ 3 1 1 0,9544 exp 1 θ µ 2πσ 2 σ si θ [0, 1] 0 sinon π(θ) 0.5 0 1 θ solution optimale : θ = 0, 75

MAP : retour sur la pièce de monnaie (6/6) MAPSI cours 3 : Maximum de vraisemblance Maximum a posteriori 36/50 π(θ x) θ 3 1 1 0,9544 exp 2πσ = log π(θ x) = 3 log θ 1 2 = = log π(θ x) θ log π(θ x) θ = θ = 0, 75 = 3 θ θ µ σ 2 ( 1 2 ( ) ) 2 θ µ σ pour θ [0, 1] ( ) θ µ 2 + constante σ = 0 θ 2 µθ 3σ 2 = 0

MAP et les lois conjuguées MAPSI cours 3 : Maximum de vraisemblance Maximum a posteriori 37/50 calcul de la distribution a posteriori : π(θ x) = π(x θ)π(θ) θ Θ π(x θ)π(θ)dθ = si π(x θ)π(θ) complexe analytiquement alors calcul de l intégrale compliqué Lois conjuguées π(θ) : loi a priori π(x θ) : fonction de vraisemblance π(θ x) : distribution a posteriori π(θ) et π(x θ) sont conjuguées si π(θ x) appartient à la même famille de lois que π(θ)

Lois conjuguées : exemple de la pièce de monnaie MAPSI cours 3 : Maximum de vraisemblance Maximum a posteriori 38/50 pièce de monnaie = X {0, 1} : 0 X B(1, θ) = vraisemblance d un échantillon : π(x θ) = θ x (1 θ) n x, avec x = #(x i = 1) = loi binomiale Distribution de probabilité Beta Loi Beta : Beta(θ, a, b) = avec Γ(x) = Espérance = + 0 a a + b t x 1 e t dt Γ(a + b) Γ(a)Γ(b) θa 1 (1 θ) b 1 Variance = = loi Beta et loi binomiales conjuguées 1 ab (a + b) 2 (a + b + 1)

Lois conjuguées : loi binomiale et loi Beta MAPSI cours 3 : Maximum de vraisemblance Maximum a posteriori 39/50 loi a priori : π(θ) = Beta(θ, a, b) = Γ(a + b) Γ(a)Γ(b) θa 1 (1 θ) b 1 fonction de vraisemblance : π(x θ) = θ x (1 θ) n x, avec x = #(x i = 1) loi a posteriori : π(θ x) = π(x θ)π(θ) π(x θ)π(θ) π(x θ)π(θ) θ Θ loi a posteriori : π(θ x) θ x+a 1 (1 θ) b+n x 1 = π(θ x) Beta(θ, x + a, b + n x)

Comparaison MAP maximum de vraisemblance MAPSI cours 3 : Maximum de vraisemblance Maximum a posteriori 40/50 pièce de monnaie = X {0, 1} : 0 Max de vraisemblance : π(x θ) = θ x (1 θ) n x = Beta(θ, x + 1, n x + 1) Max a posteriori : 1 π(θ x) θ x+a 1 (1 θ) b+n x 1 = Beta(θ, x + a, n x + b) = Max de vraisemblance Max a posteriori avec a = 1 et b = 1 Or Beta(θ, 1, 1) = Γ(a+b) Γ(a)Γ(b) = constante Max de vraisemblance Max a posteriori avec a priori uniforme n + = max de vraisemblance max a posteriori = l a priori devient négligeable

La loi Beta MAPSI cours 3 : Maximum de vraisemblance Maximum a posteriori 41/50

Loi normale et loi conjuguée fonction de vraisemblance = loi normale, σ 2 connue = loi a priori conjuguée : loi Γ La loi Γ X Γ(x, k, θ) fonction de densité de la loi Γ : Γ(k) = + 0 f (x, k, θ) = x k 1 e x/θ θ k Γ(k) t k 1 e t dt E(X) = kθ, V (X) = kθ 2 x, k, θ > 0 Lorsque k entier : Γ(x, k, θ) = loi de k variables indépendantes suivant une loi exponentielle d espérance θ Familles de lois conjuguées : http ://en.wikipedia.org/wiki/conjugate prior MAPSI cours 3 : Maximum de vraisemblance Maximum a posteriori 42/50

Loi Gamma MAPSI cours 3 : Maximum de vraisemblance Maximum a posteriori 43/50

Prévention des risques d inondation (1/3) MAPSI cours 3 : Maximum de vraisemblance Maximum a posteriori 44/50 Plan de prévention des risques d inondations (PPR-I) : photos satellite SPOT5 = zones susceptibles d être inondées 3 catégories de parcelles : 1 inondables (PI) 2 partiellement inondables (PPI) 3 non inondables (NI)

Prévention des risques d inondation (2/3) MAPSI cours 3 : Maximum de vraisemblance Maximum a posteriori 45/50 images en teintes de gris proba d obtenir un niveau de gris n dépend du type de zone : P(n PI) = N (100, 20 2 ) P(n PPI) = N (85, 5 2 ) nouvelle image envoyée par SPOT5 : zone Z : niveau de gris = n = 80 Connaissance a priori : 60% de PI, 10% de PPI, 30% de NI Problème : zone Z = PI ou PPI?

Prévention des risques d inondation (3/3) MAPSI cours 3 : Maximum de vraisemblance Maximum a posteriori 46/50 2 hypothèses : Problème : zone Z = PI ou PPI? 1 θ 1 = Z est de type PI 2 θ 2 = Z est de type PPI Idée : calcul du MAP d obtenir la zone Z sous θ 1 ou sous θ 2 π(θ 1 x) = L(x, θ 1)π(θ 1 ) θ Θ L(x, θ)π(θ) π(θ 2 x) = L(x, θ 2)π(θ 2 ) θ Θ L(x, θ)π(θ) Rappel cours 4 : L(x, θ 1 ) 0, 0121 L(x, θ 2 ) 0, 0484 a priori : π(θ 1 ) = 0, 6 π(θ 2 ) = 0, 1 π(θ 1 x) = 0, 0121 0, 6 θ Θ L(x, θ)π(θ) π(θ 2 x) = 0, 0484 0, 1 L(x, θ)π(θ) θ Θ MAP = parcelle inondable (PI)

Analyse d un trafic réseau (1/4) MAPSI cours 3 : Maximum de vraisemblance Maximum a posteriori 47/50 Réseau informatique : transfert de paquets Problème : analyse des paquets perdus sur un sous-réseau X : variable aléatoire nombre de paquets envoyés jusqu à bonne réception X loi géométrique : P(X = n) = (1 p) n 1 p p : probabilité qu un paquet soit correctement transmis

Analyse d un trafic réseau (2/4) MAPSI cours 3 : Maximum de vraisemblance Maximum a posteriori 48/50 observation de 7 réalisations de X : 2 3 8 3 4 7 8 Estimation de p? 1 estimation par max de vraisemblance 2 estimation par MAP

Analyse d un trafic réseau (3/4) MAPSI cours 3 : Maximum de vraisemblance Maximum a posteriori 49/50 1 estimation par max de vraisemblance 2 3 8 3 4 7 8 vraisemblance : L(x, θ) = 7 P(x i θ) θ = estimation de p observations = L(x, θ) = (1 θ) 28 θ 7 = ln L(x, θ) = 28 ln(1 θ) + 7 ln θ = ln L(x, θ) θ = 28 1 θ + 7 θ = 7 35θ p(1 θ) = maximum de vraisemblance = θ = 0, 2

Analyse d un trafic réseau (4/4) MAPSI cours 3 : Maximum de vraisemblance Maximum a posteriori 50/50 2 estimation par max de vraisemblance 2 3 8 3 4 7 8 A priori : π(θ) = Beta(θ, 2, 15) = Argmax θ π(θ x) = Argmax θ L(x, θ)π(θ) = θ MAP = 0, 16 Γ(17) Γ(2)Γ(15) θ1 (1 θ) 14 = Argmax θ [(1 θ) 28 θ 7 ] [(1 θ) 14 θ] = Argmax θ (1 θ) 42 θ 8 = Argmax θ 42 ln(1 θ) + 8 ln θ