Transcript

1 !"# $%! & ')( +*!-,% &.!"/& 0132/ :2/; <= <; % +K " "/L% MN( & O') +MP& Q.R SUT9V W X:YOZ [\W ]^ W+_ `Babc5dfegb@h)ikjmlnoCc5o p#qlr-s icc5outoecavecwccfgb@h)icxzy{awc igocc5ocx h)w#b%`b}%w sp#~ i c q- w#bdfa ƒvb `Ba x go 3 ˆ Š Œ Ž ˆ / + Ž Š Œ Š Nˆ : E Š / š5 œ ž Ÿ/ˆ / ª ŠN«Š Œ f N N E «:ˆ Š Œ 3 P Nˆ E± œ œ²

2

3

4 f +Š O N : B + Nˆ + Œ+ Nˆ 9 : 9 ˆ ˆ# ŒN Š Nˆ : + Nˆ Š B ˆ Œ «! " # E N N $D + Nˆ + u. ˆ ŠN«Š Œ $ %&# E «:ˆ Š f N N "#' Œ )( : O *Nˆ f +Š+ 3 N Š Š+Nˆ! ˆ / % ˆ / %,+ / ˆ Œ % -Nˆ : *ˆ % ŠN Œ ˆ ˆ )Œ.: ˆ Š Œ9 + + N ˆ N / + ˆ Œ. ª. Œ N #102Nˆ B : Š 3 «" 9 1+ Š ª ˆ Œ4$ : Nˆ + Œ+ «:ˆ ˆ Š: «:ˆ Š 45N Š. Ē Š *Nˆ N Œ) ˆ % Nˆ :. : N $6 / +Š / ˆ«:ˆ O Š. ˆ Š O / N Œ / 7$+Š 8 9 : % :+Š Œ 3 N ˆ+ N N Œ Š # Ÿ/ +Š $ : + Nˆ + Œ+ ;#ˆ / «$&Nˆ Nˆ : ˆ Š Œ. B Œ N # LĒ ;#ˆ / «O + N < =Š Œ) ˆ «"5 N ˆ Š ˆ Œ Ĉ Ĉ > (ŠN«Œ ˆ + 5 Nˆ E : N 9 N Œ )(? : Nˆ + ˆ Œ?+Š " # 3 ˆ $& ˆ + Nˆ E N Š Œ ˆ ª / : N + ˆ + ˆ : *" / ˆ " +Š Š ˆ Œ $# / ˆ EŠ «A B Nˆ Š ˆ Œ : Œ N 5B + Š Š ˆ Š # C $ : B + Nˆ + Œ+ N B B ˆ Nˆ B Θ(π 2 $: ) * N ˆ ˆ ˆ 3 ˆ: ˆ =Š Œ ˆ + =: $ * : ˆ ˆD ŒN Š O &5 N 5ˆ { *5 D+ E «A B Nˆ - ˆ "# Ÿfˆ Nˆ $) : m L m ˆ 3FN + Nˆ + G<+ ;#ˆ / «8H Nˆ + 5N + ˆ+,I5 " Š f 5 "#) L % %;#ˆ / «"$ + 9 N ˆ, =Š Œ ˆ ª N 7 Nˆ «"5 N B ˆ "$ *(ŠN«/ Nˆ 8=Š Œ N ŒN Š N Œ+ J N 5N Nˆ : : #LKMI5! " Š ª N Š N Š4$: % ŒN Š B N N N+ B ˆ N Š ˆ / Š ŒN : ˆ 9 9 «N ˆ < L A TEX «/ = k : 5 O u Nˆ «N O / ˆ : ˆ Nˆ # Œ $+ž Ž B ± œ œo# iv

5 E f Š ª «" 9 N Œ + N 5 + % ˆ Nˆ Œ Š 9C + Š Œ Ë Š A5! Š ŠO + ˆ«/ Ĉˆ Nˆ Š ˆ +ŠO ˆ N ˆ / B ) 3 ˆ ˆ«:+ Œ 9 FŸ) Nˆ + N ˆ ŒO L Š+Š G# Reinforcement KˆNˆ ) ˆN / N f N E - «A B Nˆ 9 E +. ) + Learning *( ˆ ˆ Œ ˆ A /ˆ / N N «N ˆ / *: «ˆ : ˆ / % ˆˆ N ˆ ª ˆ N Š + N ˆ : / % ˆ = Œ N «N Š / 7 # ˆ : N ˆ A5 ˆ «D«:ˆ + ˆ + L«:ˆ L «:+ Š ˆD Nˆ «: ˆ ˆ 3«"5 - N Nˆ Nˆ " % Š+Š #) f Š8 + ˆ $ ˆ = ˆ N % ˆ ˆ : ˆ ˆ+ ˆ = Œ N Ÿ) Nˆ + N ˆ Œ L Š+Š # N 5 / $ 3 95 Nˆ % ( % B +Š % / E ˆ / ª : / + Nˆ 3 N + :+Š 8 + * / ˆ =Œ Š+Š < / < ˆ: ˆ /)5 ˆ N N«: / 3 Š «A B Nˆ Š ˆ Œ 3 ˆ ˆN A ˆ+ + «A B Nˆ O * "#BŸ: N N N«: N 5 $C ˆ = 8 ˆ ˆ? Nˆ ˆ % ˆ 5 N + E + Nˆ+Œ 3+ Š8 «A B Nˆ Š Nˆ ŒB Š ªŸ) Nˆ + N ˆ Œ 9 L Š+Š + / 9 +Š + ˆ Š *: «ŒB B Š Š + Š «N 5N ŠE ˆ A E )+ / N :+Š 3 / f ˆ / % : / 3Ÿ) Nˆ + N ˆ Œ L Š+Š #6C $ : ˆ 9 *: «Œª / N N«: / % + B ˆ + Nˆ SOLO # v

6

7 # ;C Nˆ <H Š Nˆ + ˆ Ÿ) Nˆ + N ˆ Œ ª L Š+Š #+#,#+#,#+#,#+#,# # # +5 Nˆ <H Š Nˆ + ˆ #,#+#,#+#,#,#+#,#+#,#+#,#+#,#+#,#+# # ± =Œ Š+Š#,#+#,#+#,#+#,#+#,#+#,#+#,#+#,#,#+#,#+#,#+#,#+#,#+#,#+#,# ž # #+#,#,#+#,#+#,#+#,#+#,#+#,#+#,#+#,#,#+#,#+#,#+#,#+#,#+#,#+# "!#$% & ')(+*-,.,./021)(.3 ±# E 9 ˆ+ E Nˆ N #,#+#,#+#,#+#,#,#+#,#+#,#+#,#+#,#+#,#+# œ ±# # f + ˆ4 ˆ+Ÿ) Nˆ 45 ˆ #+#,#+#,#,#+#,#+#,#+#,#+#,#+#,#+#,# O ±# # ± Ÿ/ˆ + : #,#+#,#+#,#+#,#+#,#+#,#,#+#,#+#,#+#,#+#,#+#,#+# O ±# # O 02Nˆ Š #,#+#,#+#,#+#,#,#+#,#+#,#+#,#+#,#+#,#+#,# 4 Markov ±# # ² Ž ˆ Nˆ " : +Š #+#,#+#,#+#,#+#,#+#,#+#,# 65 Markov ±# ± 3 Œ ˆ ) Š+Š #,#+#,#+#,#+#,#,#+#,#+#,#+#,#+#,#+#,#+#,# ž ±# ±# ˆ ˆ #,#+#,#,#+#,#+#,#+#,#+#,#+#,#+#,# ±# ±# ± I5 ˆ Œ ˆ ) Š+Š #+#,#+#,#+#,#+#,#+#,# ± œ ±# ±# O Ž ˆ «N Ÿ) Š :+Š #,#+#,#,#+#,#+#,#+#,#+#,#+#,#+# ±O ±# ±# ² Ÿ) Š : ˆ ª 3 Œ / ) Š+Š #+#,#+#,#+#,#+#,# ±² ±# O Ÿ ( *5 Š+Š #,#+#,#+#,#+#,#+#,#+#,#+#,#+#,#,#+#,#+#,#+#,#+#,#+#,#+# ± ž ±# O# L : ˆŸ/ˆ «Œ ªŸ) «ˆ / #,#,#+#,#+#,#+#,#+#,#+#,#+# ± 78!#$% & ')(:9;'6<=/?>./009;@.<A? A?( 7B O# Ž ˆ E E «N ˆ #,#+#,#+#,#,#+#,#+#,#+#,#+#,#+#,#+#,# O)C O# # E N ˆ ˆ Œ #,#+#,#+#,#+#,#+#,#+#,#+#,#,#+#,#+#,#+#,#+#,#+#,#+# O) O# # ± I5 ˆ + Š E N ˆ ˆ Œ #,#+#,#+#,#+#,#,#+#,#+#,#+#,#+#,#+#,#+# O ž O# # O ;C Nˆ Š Ÿ/ N Š@Š E N ˆ ˆ Œ %#+#,#+#,#+#,#+#,#+#,#+# O O# # ² H Š Nˆ + ˆ Ž ˆ 5 E «N ˆ 5 #,#+#,#+# ² œ O# ± L : ˆ #,#+#,#+#,#+#,#+#,#,#+#,#+#,#+#,#+#,#+#,#+# ² Monte Carlo O# ±# E N ˆ ˆ Œ #,#+#,#+#,#+#,#+#,#+#,#+#,#,#+#,#+#,#+#,#+#,#+#,#+# ² ± O# ±# ± H Š Nˆ + ˆ L : / Monte Carlo #+#,#+#,#+#,#+#,# ²DC O# O L Š+Š H Nˆ / Ž ˆ : / #,#+#,#+#,#,#+#,#+#,#+#,#+#,#+#,#+# ²D O# O# E N ˆ ˆ Œ #,#+#,#+#,#+#,#+#,#+#,#+#,#,#+#,#+#,#+#,#+#,#+#,#+# ²D O# O# ± H Š Nˆ + ˆ : /,H Nˆ / Ž ˆ : / #,#+#,#+# ² O# ² Ÿ/ B ˆ #+#,#+#,#+#,#+#,#+#,#+#,#+#,#,#+#,#+#,#+#,#+#,#+#,#+#,#EC œ

8 ± O# ²A# L : ˆ #+#,#+#,#+#,#+#,#+#,#,#+#,#+#,#+#,#+#,#+#,#EC œ TD O# ²A# ± λ L : ˆ #,#+#,#+#,#+#,#+#,#,#+#,#+#,#+#,#+#,#+#,#EC Rollout O# ²A# O ;C +Š8 ˆ+ E «+«:ˆ +ŠB 3 Œ / #,#+#,#+#,#+#,#EC ± ')>2 & :,. A? A ²A# L ˆ+ ª N + :+Š 3 + * #+#,#,#+#,#+#,#+#,#+#,#+#,#+#C² ²A# # Kˆ «ˆ N N«: / #+#,#+#,#+#,#+#,#+#,#+#,#EC) DYNA ²A# # ± N«Nˆ : E E N / 9 E ˆ Š #,#+#,#+#,#+#,#EC 5 ²A# ± 3 ) + ˆ Œ =Œ Š+Š #,#+#,#+#,#+#,#,#+#,#+#,#+#,#+#,#+#,#+#,#EC ž ²A# ±# Ž ˆ «N N Œ Š+Š L N ˆ / #,#+#,#+#,#+#,#+#,#+#,#+#,#EC ²A# ±# ± =Œ Š+Š #,#+#,#+#,#+#,#+#,#+#,#,#+#,#+#,#+#,#+#,#+#,#+#C ²A# ±# O 02 E ˆ / E L : / %#+#,#,#+#,#+#,#+#,#+#,#+#,#E ²A# O E ˆ ˆ N«Nˆ : ˆ #+#,#+#,#+#,#+#,#,#+#,#+#,#+#,#+#,#+#,#E ²A# O# N«Nˆ : TS CS Q ##,#+#,#+#,#,#+#,#+#,#+#,#+#,#+#,#E ± ²A# O# ± N«Nˆ : #1#+#,#+#,#,#+#,#+#,#+#,#+#,#+#,#E 5 TS CS MC ²A# O# O Ÿ/ B ˆ E ˆ / L : / 7#3#+#,#+#,#+#,#+#,#+#E5Nœ ²A# O# ² Kˆ ˆ ˆ N N«Nˆ : ˆ" 1Nˆ Nˆ + ˆ Œ )Œ4##+#E5 *B1)( 1 $ 21)( /!#"./$ % 7 C# Ÿ/ B ˆ Ž ˆ 5 E «N ˆ 5# #,#+#,#+#,#+#,#+#,#+#,#5O C# ± I5 ) :+Š/ Š+Š N ) Š+Š #:#+#,#,#+#,#+#,#+#,#+#,#+#,#+#,#5 C C# ±# C ˆ Œ =Œ Š+Š #+#,#+#,#+#,#,#+#,#+#,#+#,#+#,#+#,#+#E5 C C# ±# ± K ˆ Œ =Œ Š+ŠN#+#,#+#,#+#,#+#,#,#+#,#+#,#+#,#+#,#+#,#+#E5 C# ±# O Š) ˆ Nˆ + ˆ 4HE / ˆ =Œ Š+Š # #+#,#+#,#+#,#+#E5 C# O Ÿ ( ˆ ˆ «N ˆ / ˆ =Œ Š+Š # #,#+#,#+#,#+#,#+#,#+#,#+#E5)5 C# ² TD-Gammon #,#+#,#+#,#+#,#+#,#+#,#+#,#+#,#,#+#,#+#,#+#,#+#,#+#,#5N &8('%*) / +B # C ˆ + Nˆ #,#+#,#+#,#+#,#+#,#+#,#,#+#,#+#,#+#,#+#,#+#,#+# ž ± SOLO # # ª E ˆ + Nˆ Nˆ 5 #,#+#,#,#+#,#+#,#+#,#+#,#+#,#+#,# žo # # ± L! N + ˆ #+#,#+#,#+#,#,#+#,#+#,#+#,#+#,#+#,#+#,# ž² # # O L Š+Š8 ˆ+ E Nˆ N #+#,#+#,#+#,#+#,#+#,#+#,# ž) # # ² H Š Nˆ + ˆ ˆ + Nˆ Nˆ 5D#,#+#,#+#,#+#,#+#,#+#,#+#,# ž ž # ± E ˆ N ˆ N * N #+#,#+#,#+#,#,#+#,#+#,#+#,#+#,#+#,#+#,# ± # ±# ª Nˆ ˆ Œ83 3 N #+#,#+#,#,#+#,#+#,#+#,#+#,#+#,#+# ± # O Ÿ/ B ˆ, Â4 *@: ˆ «:ˆ. 7#&#,#,#+#,#+#,#+#,#+#,#+#,#+#

9 ±# Š +Š E! E Nˆ N #+#,#+#,#+#,#+#,#+#,#+# ±# ± N + +ŠB ˆ Nˆ Œ «" %«:ˆ Nˆ N ˆ "# # 4 ±# O E ˆ «8;C : L +Š E ª N + / 7# #+#,#+#,#+#,#+#,# ž ±# ² E ˆ «Ž ˆ «N Ÿ) Š :+Š N#,#+#,#+#,#+#,#+#,#+#,#+# ±O ±# C E ˆ «Ž ˆ «N Ÿ) Š :+Š N#,#+#,#+#,#+#,#+#,#+#,#+# ±² O# E ˆ «Ž ˆ «N Ÿ) Š :+Š EŸ/ N Š@Š E E N ˆ ˆ Œ # O ž O# ± E ˆ «Ž ˆ «N Ÿ) Š :+Š Ÿ/ N Š@Š ) Š+Š #,O O# O ;C Nˆ Š Ÿ/ N Š@Š E N ˆ ˆ Œ # #+#,#,#+#,#+#,#+#,#+#,#+#,#+# ² œ O# ² E ˆ «Ž ˆ «N Ÿ) Š :+Š : / Monte Carlo # ²7O O# C E ˆ «Ž ˆ «N 3Ÿ) Š :+Š f«:ˆ E N N«Nˆ : Sarsa #² ž O# E ˆ «Ž ˆ «N Ÿ) Š :+Š «:ˆ B N N«Nˆ : Q- # #,#,#+#,#+#,#+#,#+#,#+#,#+#,#+#,#,#+#,#+#,#+#,#+#,#+#,#+# ² ž Learning ²A# 3 + ˆ ()5 Š+Š $ N + :+Š 3 + * / < ˆ «ˆ / #+#,#+#,#,#+#,#+#,#+#,#+#,#+#,#+#,#+#,#,#+#,#+#,#+#,#+#,#+#,#+#C) ²A# ±u«nˆ Œ ˆ B Nˆ Œ / N N«: / #/#+#,#+#,#+#,#+#C 5 DYNA ²A# O Ÿ) =Œ Š+Š # #,#+#,#+#,#+#,#,#+#,#+#,#+#,#+#,#+#,#+#,#E ²A# ² E ˆ «Nˆ Œ * /Ē ˆ Nˆ "# #+#,#+#² ²A# C Ž ˆ +Š ˆ + Š ˆ Nˆ Œ % ˆ + Œ + TS-CS-MC N ) «Nˆ : "# #+#,#,#+#,#+#,#+#,#+#,#+#,#+#,#+#,#,#+#,#+#,#+#,#+#,#+#,#+# C# E ˆ «Nˆ Nˆ +Š / 8 N + / #,#+#,#+#,#+#,#5Nž C# ± ˆ B Nˆ Œ TD-Gammon #+#,#,#+#,#+#,#+#,#+#,#+#,#+#,# ž œ # ˆ Œ : *+Š+ #+#,#+#,#+#,#,#+#,#+#,#+#,#+#,#+#,#+#,# ž ± SOLO # ± ˆ : Œ : *+Š N ˆ 4 Š+Š #,#+#,#,#+#,#+#,#+#,#+#,#+#,#+# žo # O ˆ : : * ˆ ª N %)5 /+ˆ Œ ˆ M#,#+#,#+#,#+#,#+#,#+#,#+#,# ž 5 # ² L * «,Nˆ :+Š,+ ˆ + Nˆ SOLO #+#,#+#,#+# œ # C ª N ŒB! N + / 8+ ˆ + Nˆ SOLO #,#+#,#+#,#+#,# œ # ª N Œ N ˆ / 9! N + / + ˆ + Nˆ SOLO # # 5 Ÿ/ˆ ˆ N«: / #,#+#,#+#,#+#,#+#,#,#+#,#+#,#+#,#+#,#+#,#+# O # ž K ˆ %A: N + Š Š+Š N ) Š+Š 8#+#,#+#,#+#,#+#,#+#,#+# ² # ª N Œ N ˆ / : * / #+#,#+#,#,#+#,#+#,#+#,#+#,#+#,#+#,# )C O

10 C# ª Nˆ ˆ N / 8Nˆ : / ª B / TD-Gammon #J#,#+# ž # ª N N (Š Š N «Š +Š4# #,#+#,#+#,#+#,#+#,#+# ž² # ± ŒN : 1Nˆ : *ˆ / <+ˆ Œ / ª Š * "# #+#,#+#,#+#,# ž # O ŒN : 1Nˆ : ˆ / 9! N + / * "# #,#+#,#+# ž # ² ŒN : :Nˆ : ˆ / f N ˆ / 5! N + / % * "# ²

11 G «A B Nˆ Š ˆ Œ + ˆ, ˆ 5 Š Nˆ Œ9 Š C + Š Œ Ë Š) A5 Š.Š{ = ˆ F Š + Nˆ Œ L Š+Š ˆ Machine ˆ Nˆ % «A B Nˆ N Œ Š Nˆ Œ B L Learning! = ˆ FŸ) Nˆ + N ˆ Œ L Š+Š G# Ÿ: N N Reinforcement ª "$ Nˆ 1: % + Šˆ ˆ  ˆ B 9F Learning Ë Ž ˆ E «N ˆ Neuro-Dynamic Programming G $ B E ˆ +Œ Š Š Š " +Š ˆ «A B Nˆ / "# J Nˆ Œ ˆ Š, «A B Nˆ Š % Nˆ Œ ª ˆ Š * N "!$#!%&!(')*,+-.) /'0+)12"!! #C L / ª N Š ˆ ˆ 3 ) ª Nˆ N 5 ª ˆ AŒ )Œ N Š +Š. + ˆ N ˆ ˆ ( ˆ * 8 9 Nˆ N 7#D L % ª Š+Š 5 5 ª : ˆ N ˆ '3, ˆ54.6'(78 ˆ ( ˆ Š = B Nˆ N 7$ E«"5 8 ˆ+ N 5 Nˆ A 8 Nˆ B N "# ;#ˆ ˆ «$ E ˆ : ˆ E N ˆ *( ˆ + ˆ ˆ -Nˆ : *ˆ.+ˆ Œ ˆ 3 / / E 7 ˆ % E ˆ!5 + ˆ7+ :+ Nˆ # C%ˆ.+ˆ Œ ˆ 5 ˆ 5 ˆ 5 f ˆ Nˆ /.)5 9 «N! ŠN«#D 3 5 N ª +? N ª N * N + ˆ 5 N N - N * N # E : / $-+ˆ Œ ˆ ˆ5 + z N * Š 9 A: N Œ 4 Š+Š ˆ Nˆ 5 * 8+ B Nˆ N ª ˆ+ˆ Œ ˆ 1 N # L N ˆ + $ N / N N ˆ % Nˆ ˆ $+ : 5 N ª ˆ «+ ˆ,+ + E % 3 ˆ N / N Š 4 Š+Š% Š Nˆ Š 5 Š -. N ˆ E Nˆ Œª E ˆ ˆ B ŠE Š++ ˆ «Œ4#/Ÿ/ˆ 7$ N Œ N B ˆ Nˆ 5 % *5 ˆ9 (')1+-:1 B N ª«+ «$: + 8&# # 4#3 B : )5. ˆ &+. ˆ ˆ ( 12*8) «:ˆ ŠB 4 Š+Š N. ˆ : *+Š% 9 N ˆ N Š+. 7# Š N Š4$Š. N Nˆ Nˆ " + ˆ& ˆ ˆ Š 8+ ˆ «Š #! : ˆ N + ˆ 5 «+ 1 ˆ * ˆ # N + ˆ) N * % ˆ ' 8.)+ˆ!ˆ"ˆ «! ˆ «: ˆ N : *5«Â «A B Nˆ 9+ˆ Œ ˆ «:ˆ ˆ + *5 ˆ 4 ) 9 * ˆ +ˆ. * ˆ # L 9 ˆ OŠ Nˆ Nˆ " N ŒO ˆ ˆ ˆ ˆ ˆ O O N L N ˆ LNˆ + Š O ˆ C

12 ( ˆ+ N ˆ! ˆ Š / E * Â+ ŠNˆ Œ4# k N - N Œ N Œ Š+Š 9 3 Nˆ : 9 ˆ Nˆ 5< N Š Nˆ! ˆ Š+Š Nˆ +Š ŒN«Š, ±. + Š Š ˆ «& B :. O B O N /+ z / / B L : ŠN«7 ˆ B ˆ : N ˆ: ˆ "# Nˆ Nˆ " B ª Š «N ˆ ŒN Š N Œ! 9 N Œ4#D ª : % +, ˆ N 5 % ˆŒ B +Š : ˆ. N N. ˆ : 5 Œ N P ˆ. N N.. ˆ : 5 )# f ˆ Nˆ : ˆ /.. ˆ +ˆ Œ ˆ 9 / B / Œ ˆ :+ ª O N ˆ ª + : ˆ $ ˆ Š Œ 9 % N N ˆ N % ˆ *Nˆ ˆ - (')1+-:1 + # ª Š N Š4$ N Œ + +ˆ Œ ˆ 5 ˆ f + : ˆ % ˆ) fœ Nˆ / ()5% $ / N * % ª. * ˆ #. f ˆ Nˆ : ˆ B N ˆ Š Œ / N N ˆ ««N ˆ *: ++ ˆ -.) 2+ $ / Nˆ / 9. ˆ ˆ Nˆ 9 * 7$4+ Š + : ˆ ª : N 5 7#! #"%$ &'$(*)+*&-,.)!0/ -,2143)65*798: <;=+*,4+*7 Ÿ/!Ĉ ˆ 7$CŠŸ) Nˆ + N ˆ Œ L Š+Š Ÿ/ + ˆ ˆ L : ˆ N ˆ ˆ/ ˆ/ L ˆ # ŒN Š. ˆ Œz ˆDŠ Š ˆ «& L?= ˆ * 8 9 Nˆ N 7# agent K / )$Š N Š) +Š? N ˆ / Nˆ N 3 - : ŠN«)+ ŠE Š+Š1 ˆN ˆ + ˆ +5 Nˆ ŠN«,+ ˆ + ª f N Œ Š - N *5 : )+ŠE ˆŠ 8)1?>% Š ˆ * N B ˆ,Nˆ : «ˆ % # L % 9 Nˆ N 9 ˆ! + ˆ O 5 9 ˆ Œ < 4 ˆ N «+ O. # Š N Š4$D ª 4 ˆ Nˆ!Œ N Š +ŠO Nˆ N ˆ9 4 '(7.). $) ' 8) ( 8)1?> ( '! $12.) * N z ˆ Nˆ : #- E 7 ˆ O / ˆ «+ ˆ) N 5 BŠz «:ˆ + Š+Š4$ z + Š «N ˆ Š z : ˆ + ) = ˆ N + ˆ %+Ĉ «ˆ ˆ B ˆ B Ĉ 75N N N $ / 1?+ˆ ˆ : ˆ! 1: # BDCEBDCEB FHG ID & J6 6 KJL C )5 ˆ +Š ˆ / + Š Nˆ + ˆ O * N N ŒO ŠNˆ «" Š+Š ª ˆ+ N : š f D «ˆf ˆ - «ˆ L : {Œ Š ˆ + Š Ō ˆ N + +Š4$: /,+ ˆ ª Nˆ A ): Š + Nˆ Œ E L Š+Š $ N ) : L ˆ.. 4"!NMPO.) 7. ˆ «ˆ N : ŠB «:ˆ + Š ˆ Œ/Ē ˆ N + +Š% 7+ˆ = % # Š4$ N ˆ E «ˆ % + Š = ˆ Š 9 *+Š ˆ Œ9 Š E N 7 7 = ˆN «{ N «Œ - N + +Š $+ N ª ˆ

13 Š! (?. 6 <6 5 ˆ) Š L Š N + +Š ˆf *+ m N Œ 7!.) ') A@ ('(7 N 7 7 ˆ+ B E N ˆ4 ˆ+ # N 9 ˆ E 8)5 + Š Nˆ + ˆ š * 4) ># 4)#! /? ˆ24 : * Š ˆ Œ3 ˆ )5 ˆ delayed +Š ˆ ( / Nˆ + + Š Nˆ + ˆ Š EŸ/ # reward &B I5 ˆ/ N / / + Š Nˆ + ˆ / Š.Ÿ/ «& ˆ:: L / O N + ˆ «N Š+Nˆ : ()5E Š 5Ÿ) Nˆ + N ˆ Œ L Š+Š - ˆ Š 5Ÿ/ˆ Š 5 L! Š+Š z + Šˆ ˆ ˆ + ˆ Nˆ A > Supervised Š ˆ Nˆ + Š Š + Nˆ Learning Œ L Š+Š $ Š «/ Nˆ +Š O E!5N / ˆ/ / Ë / Nˆ / Ž ˆ!5N / 7#u f Š :+Š- Š ')1!('(7 # E. 2.)% '(7 '(:+-* 2 Œ I ˆ + Š Nˆ : 3Nˆ :, N + ˆ. + ˆ N O (')1!N@(' #ª 3 Nˆ + ˆ Œ N  + *ˆ B N + 9 «N Š A 7 / Š Nˆ : % ˆ7 ˆ ˆ + 8 ˆ+ 9 Nˆ + N Š Š { N ˆ 5 Š Š : «:ˆ N ˆ Lˆ : N + ˆ + ˆ z % : # Ÿ/!ˆ $A % *( *5 Š 5 Nˆ + $«& ˆ : / 3 / : ˆ 5 " = ˆ ˆ 5 B ˆ Œ ˆ 3 ˆ Š ) «*+ Š ˆ Nˆ N 7# Ž + / 9 / ªŠ Ÿ/ˆ Š L Š+Š< E ˆ N Š9 Š %!Œ 3«:ˆ Š+Š * 9 N N Š +Š4# E N N $ N Œ ˆ+Š Nˆ Œ ˆ «"5 N B Š 9Ÿ) Nˆ + N ˆ Œ L Š+Š4# ˆ L N { ˆ 7 Œ ˆ N + ˆ + Š Ÿ/ ˆDŠ ),+8+ ' M 0+ M 4)&4."!! ' + A@ 0+ (3 +KE ˆ + ˆ $«:ˆ. N 7 Œ ˆ! Œ9 ˆ Œ 5 5 ˆ ˆ ª «ˆ E ˆ 9 E +  7+ˆ reward Â+ N : 3 ˆ ˆ 1: ˆ + 7$ Ĉ /. N ˆ / N Š Œ / 7$ N O N * N «N ˆ B! ˆ / # Š N Š / / C B 4 ˆ ˆ N +ˆ Œ ˆ K7 / f ˆN *+ 7+ˆ / 7$Š ŒE *+ *( *5 Š+Š N ˆ / ª ˆ «/ 9 ˆ+ 9 +: ˆ+ ˆ ˆ + ª 5 +Š ˆ + B ˆ Œ ˆ O #O L N «:ˆ L ˆ# + Šˆ ˆ : Š «*+ ŒB «:+Š 7 ˆ ˆ «ˆ «ˆ +ˆ Œ ˆ ˆD A: % N B ˆ ˆ / 7$) N N z Š N Š : ˆ O *( / 7 ˆ O C O + ˆ N 5N B ˆ Œ ˆ % / ª N * N / E / +Nˆ : / «ˆ / 1+ 7# Ÿ/!ˆ! + / 3 9«& ˆ Š% Nˆ : Š ˆ"Nˆ! / Š ˆ + Š4# E 7 ˆ E / Š3 Nˆ : ª «& ˆN ˆ + Š4$ : ª ˆ 7+ˆ = ˆ Nˆ : «ˆ < ˆ9 *8) 4. ˆ Ĉ N ˆ Nˆ A N E : ˆ N 5N # Ÿ) Š + Š Nˆ + ˆ ˆ Š EŸ/ ˆ ˆ ˆ = ˆ Œ) N D+ Šz«Nˆ Œ )Œ+š K : ŠN«ˆ) N + + O ˆ) {ˆ ˆ Œ ˆ) N Š ˆ / O N : Ō

14 ž P ˆ. Nˆ N 7# ) : $ N ª N «+«& ˆ 9 + N 5 ˆ:! Œ N Œ/ ˆ ˆ Nˆ E Nˆ : ˆ 9 «Nˆ 9 Œ N ª / : B /. ˆ# + Nˆ B N 5 ˆ Nˆ ( + L«Nˆ Š # Ÿ/!ˆ $+ 9 ˆ N + N 3 N ª N * N *+ - N / E / + Nˆ / 7$ + / Nˆ Nˆ Š + N Š+Š % ˆ 9 N Œ) N O ˆ N 5+Š ˆ # KE / + Š Ÿ/ «& ˆ Nˆ / ) : "$C ˆ = Ĉ «Nˆ O Š Ĉ N ˆ + N ) : ˆD ˆ : ˆ ˆ «" N ˆ ˆ + ) + 5 P ˆ Š) ˆ Nˆ + ˆ 5 Nˆ N # ;C Nˆ $ ˆ Œ ˆ «Œ N B # 4 * ˆ z Nˆ + ˆ# N ) Š +ŠB ()5 E ˆ N : ˆ + ˆ E Nˆ N * : ˆ!5 + ˆ,+ + "$ N Š Š 9 P ˆ Š Š ) + / N + ˆ+ * 8+ Nˆ N 7$+ ˆ Š. / N ˆ ˆ ˆŠ Ÿ/ # '$ 5 )+*,4+ K / : Ō / $ ˆ) ˆ ˆ Š LŸ) Nˆ + N ˆ Œ L L Š+Š ˆ N 9! «:ˆ B Š+Š. * B N N Š +Š4# Ÿ) ˆ E=Œ Š z / ˆ / O 5. ŠN Œ 7 ˆ. N 5@: N # E N Š / N ˆ ŠO ˆ «& / : / 5 *( «+Š ˆ L + Š Nˆ + ˆ Ĉ. )+ / N : 1 1Nˆ : 1Nˆ Nˆ " E Š+Š # Kˆ : ˆ $ + * $9 ) Nˆ «N ˆ Œ Nˆ : «ˆ. ˆ Š N ) = 1Nˆ : 5 B ˆ Œ ˆ «:ˆ ª 9 N * N <Nˆ : / «ˆ / 7# L * N N Œ Š1Nˆ Nˆ " % N 5 ˆNˆ : N + ˆ. ˆ ŒN / f ˆ «ˆ «ˆ / ˆN : ˆ +. N % N * N 9+ * ª 9+ N "# Ÿ/ˆ 7$ Š Œ@Š / ˆ / «ˆ / 7$: ˆ: : ˆ4.+, N B.. N * N BŒ + ˆ *@: ˆ +ˆ ˆ % Š ˆ ª 9 N 7 7 = % 5! :? N + ˆ # ; ˆ / 1: "$ / ˆ : ˆ2. " AM + Nˆ : ª Š ŒN : ˆ Š, Nˆ ˆ Œ ª ˆ Š + ˆ&! )+ ˆ 5Œ3 3 N ˆ Š9 ˆ E ) + / + «:ˆ N ˆ 9 N + ˆ # Ÿ/!ˆ $:: ˆ# ˆ#ˆ Nˆ +Š ˆ )+ / N D : #Š N ˆ /+ +Nˆ : E N N«: Š+Š #) E «N ˆ $"Nˆ : E : ˆ ) Nˆ + 9 Š ˆ N Œ4$ŠB : = ˆ& ˆ Nˆ Nˆ ". > ( ˆ ˆ:Š Nˆ * Š ˆ % 9 N : B Š 3C + Š Œ Ë Š A5! Š # KE ˆ + ˆ $ { FN *: Nˆ = ˆ GL ˆ Nˆ Nˆ " 4 *@Š % ˆ Nˆ ˆ Œ ªˆ Š 7 ˆ 3 ˆ N 5N <Nˆ :? N! + ˆ + ˆ 9 «= ˆ4 N 5N N N B /Nˆ : N * N / «ˆ / ª #/Ÿ/ˆ 7$. *: Nˆ N "$ B 1 N &5 ˆ+ ˆ 4 *@: ˆ 8 3=Š Œ N. : ˆ. + «N 5N O )Nˆ : N

15 N 8+ˆ / E ˆ ˆ. N * N ˆ # + N # ˆ ˆ )5 L5 Nˆ Ĉ ( «"5 u N B Nˆ + *: ĈŠ «A B Nˆ Š ˆ Œ4# Šª ˆ EŠ Š+Š9 *+ z ˆ / +ˆ N 9 Š % N ) ŠŠ =Œ Š+Š, ˆ +Š,Nˆ : / «ˆ / 5 :+ 5 E ˆ 45 ˆ Šª Š+Š4# C + Š Nˆ + ˆ N :. Œ 3 N N Š@Š+ *: N ˆ ª N : 5 9 ˆ : ª + Œ ª ( f ˆ Eˆ Nˆ ˆ Š 5 E 9 + 1Nˆ : 5 «+«& ˆ # L * 9 N N Œ Š E " +Šª : ªˆ Nˆ / N ˆ 9ˆ ª ˆ ª ª ŒN«Š 8+ Š%Š ˆ «& /)5 / : / + Š «A B Nˆ Š Nˆ Œ4#zŸ/ˆ 7$ : + Œ ˆ A5 ˆ Nˆ B ˆ ˆ / Nˆ + : ˆ +Ĉ N / : / + Š «A B Nˆ Š. Nˆ Œ4#8C ˆ $ : ( 9. ˆ Š "$ N O ŠO«/ Š $D ˆ «*: «Œ / O : / O 8 ˆ + Nˆ Š4$+ SOLO #

16 # E Nˆ / Œ + Š Nˆ «Œ / Nˆ : / ˆ / L N N«: / Š+Š. L N + 7$/ ˆ «A «& ˆD ˆ A5 ŠL Nˆ «ŒL / ˆ / ˆ / 9 /Nˆ N 5 ª ª N N«: # ˆ B ˆ Œ ˆ Š. Nˆ ˆ Š Ÿ) Nˆ + N ˆ Œ L Š+Š. N N ˆ N ): 9 Š+Š ˆ ««Ĉ + Šˆ ˆ ˆ# Š : «:ˆ Š. B +Š. Š B! Š Š O Š ˆ N *5 : )+ŠzŠ{ '.).) A@0+.) ˆ: ª «:ˆ 7$ ) Š 4 8* AM + Š ˆ 7 +. / I ) ˆ + / «ˆ / 7# Ž Š Œ «& ˆ) ˆ N N (Šz / «ˆ /. ˆ) / ˆ Nˆ / N * N / <+ˆ ˆ ˆ Š < ˆ : Š 9 9Š.!Â+ˆ N ˆ / ˆ «:+ Š ˆ Nˆ A,: # * &' (*) *&'$ 7!$ & * Nˆ + N ˆ Œ{ Š+Š{ + ˆ/ ˆ - : ˆ N ˆ ˆ/ ˆ D ˆf *+ 8)1 3 # rewards ˆ Œ- - N : ˆ5 ˆ)Š Š ˆ «& 3 Š Œ9 9 f ˆ N : ˆ - ˆ N ˆ2' +- 4,+- a- # C ˆ N Š ˆ $ Nˆ ˆ gent ˆ Œ Ē *( N 9 8 ˆ4 N ˆ '0+)12"!! environment K L ˆ Nˆ N - N Š ˆ 5 D : *8) 4.+) > + Nˆ Œ + ˆ «Œ4#/ ª : + Nˆ Œ3+ ˆ «Œ $ 5«/ = ˆ *+ N ˆ / 1+Š N / t N z { Nˆ N ˆ L N + +Š s S 4 ˆ $f A5 N S / 9ˆ : / 3 N + / <+ ˆ ª + ª : # Ž * ª / ˆ z 4 ˆ. ˆ N + +Š s Šz + Nˆ Œ + ˆ «Œ N : " = ˆ t ˆ «ˆ : ˆ/ B * ˆ # Ÿ/!ˆ $f ˆ «ˆ/ L B * ˆD ˆ «ˆ a t A(s) $) DA5 N N D A5 N / Nˆ : *ˆ / A(s) "!# $&%#')(+*,(-*/.01!23%/456(+*. 798":;<(. '&%#= >?4@!A/)$ B6. 7%A(- B"(B" 7&%/ =/(CD6 *D1. 6=/E798D9. E(+F3 =/D5"%6(G/. B"*-'. H79/.JIKL(+. 66)(+L9MN $)8O= DDP * *QB" 7&!/. "DP *RA'. 79. )S+4=/D *8 ')(+4B" *D$"T<SU)3.V79/.V!QD6D B9%Q=/ 4R")8 F6! 79(O6( $&%&!/*L79&! 56D- O&!/4H;?*. 6B"$. 7%/4XWQ823!/"!/4 :ZY[ *56*)\?"&!/4XD@D/D9- D4X(+*'. F3S+(U/.353. (+. 66)(+(+4C/1!/DF3D-(+4C= D(-6*E79D9. )8 ])(.6"D,^_&à: œ

17 # 6 H < E LJ6 6 & N + +Š s t ˆ Œ r t r t+1 E L «ˆ a t s t+1 3 Œ ±# š Š +Š E! E Nˆ N «ˆ / ª <+ Š 3 N + +Š #6C5Š Š Nˆ / E + Nˆ Œ8+ ˆ «Œ s E : % ˆN />2 r t+1 R «Š f «ˆ a *( 5 Š ª ŠN«5 Š + Nˆ Œ8+ ˆ «Œ/ ˆ : ª : 4 ˆ 3 N + +Š t # K Š{Š{ ŠN«5 Šz Nˆ «ŒD: ˆ) + N ˆ + Š ˆ > s + t+1 + / 3 Œ Š ªŸ) Nˆ + N ˆ Œ L Š+Š ª. ˆ = Â+ Œ ±# # Ÿ/!ˆ $ + Š Nˆ Nˆ " L N Š +Š B! Nˆ N 5 8Nˆ )5 ˆ, Nˆ + : # +$3 N : A@0+.) $ Nˆ N ) 3 ŠN«ˆ 9FN G 4. # a- ction *(Š ˆ) ) ˆ «D«:ˆ «:ˆ N ) ) + ˆ E ) : N ˆ % «state ˆ % Š 5 N ( ˆ! N + +Š4$ ª 3«& ˆ ˆ 5 ˆ ˆ + Nˆ Œ # M 0+ D N Œ. Š +Š N + +Š Š *5 ˆ: +Œ + +Š B N L Nˆ N. #C +Œ + +Š N ˆ% 8)1?> ˆ ˆ+ ª Nˆ : r R # Š+ŠB *+ Š B ˆ «ˆD Nˆ : Š ˆ z N +Œ N + ˆ + < N ˆ% 8:+ ( 8)1?> # K Nˆ 4 O - + ˆ3 N { ŠENˆ! ˆ - N Š +Œ Nˆ N. ˆ Nˆ D : ˆ# N ˆ :+) $ *( Š % N E ) ( E % ˆ E Nˆ N 7# + + Š+Š Nˆ D : ˆ : : = ˆN N ˆ 5 ˆ f ˆ 3 / ˆ«:ˆ ˆ /Nˆ : «ˆ 9 # Ÿ/ / $# N O + : C ˆ!5 + ˆ ª ªŸ) Nˆ + N ˆ Œ L Š+Š ˆŠ $) ' ( 8)1?> '! :1.) '(7 '0+)12"!! # C ª Nˆ N 5 / E E ˆ <: ˆ Nˆ N + = 5 9 N ˆ 9Œ. B : ˆ Š ˆ 5 «Š O : B: = ˆ Š ˆ + Š+Š #?C%ˆ ª Nˆ A 3: P ˆ $ O Nˆ N * + = ˆ ˆ N Š ˆ. ˆ + Š "#D ˆ Œ Š Nˆ «Œ Š+Š Nˆ N 9 : = ˆ ˆ 0+ $ $ Šª E ˆ ˆ B: )+ŠE task 8) ' +,1!D>2 D "!/=/(- D $) 79D1/D$23\ 79)8568 =/=/RD$ 4E6$ =D1. 6=/DP 4HD9. D/D9- D9. $8 B"D$ *L"D ^ &`=. 4Z79/.=/(Z $) *GD *G)/DE'-*(U/.S+=/F3 "!E"&!/*C1 1! 1/D$ B6- G+>?*C'. F3)>?*G56(U56D *+>?* D$E1/ =8 *D$ * =/S+D4 :

18 ± 6 < < 8).) 4 > # L ª Š+Š Nˆ N 5! f Š % Nˆ «Œª N / / ˆ : / 9Nˆ : ˆ / N + / % Œ ˆ % N 9 Š Nˆ! ˆ 9 N Š +Œ % N "#DŸ6 ˆ 7$+ B % N ˆ 1Nˆ : - N + ˆ ª : 5 ª Nˆ «: % N ˆ ˆ : «ˆ 3 9 ˆNˆ : *ˆ 9 ˆ 3 N + +Š4$ Š 1 N Œ9ˆ : Œ / + ˆ -Nˆ : f «ˆ + ˆ / 9 5 ŠN«5 5 N ˆ 3«:ˆ, : 5 ˆ 9 ˆ 9 +Š9 Š E ˆ Œ9Š : 3 ˆ7+ B«:ˆ. Š *: «Œ. Š «A B Nˆ Š «ˆ # Ÿ) N 9 : Š ˆ ˆ N 9 8) ' +,1!D>2 8)#.) 4 > # C E«Nˆ Š Nˆ + N ˆ Œ f Š+Š 5 ˆ + ˆ ˆ ˆ )54 N Š 9 : 4 % + ˆ zˆ Nˆ + Š Nˆ + ˆ L : : D : 5 + Nˆ N Š Nˆ! ˆ Š ª «:+Š # L < N N Š Š N ˆ 5. 5 N ˆ = 9. Š L ˆ + Š+Š Nˆ N L ˆ + Š + ˆ { DF«G O * + Nˆ N. N L O N Š ˆ =C # Ÿ6!ˆ $+ N / % ˆ E «ˆ % E 5 5 ˆ Œ N ˆ + Š+Š #%KĈ «ˆ ˆ ˆ «ˆ N + : = % Š '! ).) 4 > <+ Š ª N Š +Œ9 9 Nˆ N 7# policy '! ).) 4 >zš { N : ˆ5 N D N 7 = ˆ5 ') 87 ( Nˆ N *( ˆ:. ˆ: 9 N Š / ˆ:Š Š «ˆ a + Š N + +Š s Š + Nˆ Œ+ ˆ «Œ t ˆ π t (s, a) # Ž Š! Œ4$#Š N ˆ ˆ ŒL Ĉ ˆ 0+) 4 > '.) 478) Nˆ : ˆD N N + ˆ ˆ : Š L ˆ «Œ L N / / Nˆ : *ˆ / { «ˆ / + ˆ N + ˆ N # Ÿ/!ˆ $ ˆ : ˆŸ) Nˆ + N ˆ Œ L Š+Š $ : = ' N = ˆ Š N ˆ ˆ Œ 1 N * / ˆ Nˆ / ˆ / 4 '(7. $) ' 8)K>.)! ) 47 :+ 8) 2 8)1 3 '! :1.) '(7 '0+)12"!! Ÿ/ / $ ˆ Œ / «" % Nˆ + N ˆ Œ 3 Š+Š Š : = ˆ N + + ª N ˆ ŠN : 5 ++Œ N 9 N A ˆ ()5 < ˆ+ Nˆ N Nš II III I # Ÿ) +Œ B N Nˆ + ˆ A@0+.) ˆ «# # Ÿ) L+Œ z N Nˆ + ˆ 4..) /+ ˆ D : # KE ˆ + ˆ %+Œ N / : = ˆ ŒN : 1 ˆ. % / 8Nˆ : *ˆ / «ˆ / ª # #.C $: Š/+Œ B.. : = ˆ.7 + ˆ ˆ : ˆ *+ / +Nˆ : / 8)1 3 + ˆ N B B Nˆ N 7# π t % ˆ V. D1/56D $)3TC )79(U)S+4AF3DS+4A"&! 9. /1. D56 F- #B")!/3. =/D/D9. (- /.Z=. 6$ *8 )&!/"! (. 79 *. "!/4 O79 ")8 6(.4 6(C(+*S+)56(. (+4 : µ

19 # # 6 H < O CEBDCEB <J:. G. / + L : O / + /. O ˆ# O + ˆ#! ˆ# / N 5 O : Nˆ + 5 * L N ˆ ˆ. ˆ ˆD N z Nˆ N 7# K / + ˆ#ŒŠL : : $64. ˆŠ «:ˆ + Š+Š Š / N ˆ Œ ˆ Œ : ˆ N Nˆ N 7# N L+Š ˆ $) ' O : N /. ˆ / ' ˆ 7 ) # C L : L / B ˆ $ / 5 *( Œ Ē N 9 «Nˆ + + Ē «N ˆ + + B Š B + «" Œ N ª : 9 + Nˆ Œ%+ ˆ «Œ4$ $: «N Š +Š ª Nˆ N ) Ĉ ˆ + +ŠŠ. ˆ Nˆ : # Ÿ/!Ĉ ˆ 7$ r t R 7 ˆ B : ˆ ˆ& N ˆ. 9 : )$ :? D ˆ ) ˆ ) :+ + Š 3 + : ˆ % % % ˆ!5 + ˆ : * ŠB «:ˆ + Š+Š. / ˆ / ˆ $ B ˆ «+ ˆ N $ %+ + <Š ŒB. B + Œ! ˆ + Š+Š # E 7 ˆ «& 9 ŠN«5 ˆ N Š $ N ) : ˆ. N : ˆ «š 3 + ˆ : 9 9 : ˆ+ E «ˆ N 5 Nˆ : "#/ ˆ 5+ŠB ˆ : 94 Š+Š L ˆ * Nˆ : { ˆ ˆ Œ{ B ˆ Œ{ Š œ L N ˆ / $C N : ˆ «Ĉ N L 5 Nˆ : ª ˆ ˆ ŒO 9 ˆ ŒO # N : ˆ! ) + ˆ "$ N < E ˆ" «ˆ % : 9 : ˆ+ «ˆ N 5 Nˆ : 9ˆ «ŒN««& ˆ #D «:ˆ ˆ «4 ˆD «N F / N ˆ GL+ Š Nˆ Œ4$ ˆ# Nˆ N *. N $ ˆ:+ Š + ˆ ŠN«ˆ/ O ˆD Š *( "# Ÿ/!ˆ $D ˆ 5+Š ˆ 3+ L B ˆ O Š ˆ Œ ˆ Œ, : 3 ˆ % + Nˆ Œ,+ ˆ «Œª E Š % ˆ *,+ 5 Nˆ : "$ A# # $ ˆ 5 ˆ 1 N : ˆN «ˆ N ª ª 5! Nˆ : ˆ+ ˆ B ˆ Œ œ# N Œ Š + Nˆ Œ :. ŠN«Œ ˆ N 5ˆ B«ŒN«8+. ª ˆ+ «:ˆ Š 9 *( "# Ÿ/ / $ ˆ ˆ ˆ ˆ ˆ f : 9 ˆ + *: ˆ Nˆ N ) f ˆ N = ) Nˆ / / N 3 : ˆ!5 + ˆ # Ÿ/!ˆ $ ++Œ N 9 + +Š 3 ª % : ++ ˆ Nˆ N?+ $ ˆ * O ˆ ˆ / ª Nˆ : 9 7 ˆ Š / «:ˆ..) : ˆ!5 + ˆ ˆ ˆ«:ˆ. ' : N ˆ : # CEBDC : & ˆ+Š/ N ˆ Œ «:ˆ + Š+ŠB / ˆ / ˆ ) : ˆ N 9 Š E N Š +Œ ª 3 Nˆ N 7# % N : *

20 š ² 6 < < ˆ $ ˆ Š N / ˆ / E ˆ E 5 ) r t+1, r t+2, r t+3,... ˆ ª Š + Nˆ Œ/+ ˆ «Œ $ ª E + : : t «:ˆ + ˆ Œ ˆ Š ' + 8-* 4 3 (') 0+ D> # Expected Return ˆ + Œ = ˆ& ˆ Š+Š + Š N / ˆ / ˆ R t ˆ B E ŠB + Nˆ Œ + ˆ «Œ t # Ÿ/!ˆ $ + Š O N 5+ Œ Š )Œ4$DŠL ˆ + ŒL Ĉ z : ˆ L N / / ˆ / š ±# R t = r t+1 + r t r T, ˆ N ˆ Œ # N ŒBŠ «+«:ˆ +Š. + ˆ Š P ˆ + ˆ T Nˆ : ˆ ) B C 3Š N 3 N Š ˆ / /! Nˆ N 3Nˆ ˆ : ˆ N «:ˆ 3 % N N % N Š ˆ / 7$ ˆ N 5 ˆ('.)-78*8) Œ* #)Ÿ) «" ª ˆ A ˆ& N Œ Š N ŠN«N 5 ˆ ('.) 8*8) 0+ $ # E «N ˆ / Nˆ : / ˆ ) episodic 4 +ˆ 5$) ). N tasks { ˆ $-Nˆ * L N : $6&# # 4#L ª : ˆ Nˆ z ˆ / ˆ6 B ˆ L ˆ Nˆ ŒL N! + +Š Š, N ˆ 0+ 2.) 4 >#D L ª Š Œ(Š9 9 ˆ $ ŠN«ˆ# N ˆ + Š O ˆ Œ N + +Š Š «" / ˆ#ŠLNˆ Nˆ " Š) +Š A = ˆ # f Š :+Š + Nˆ A B N L ˆ ˆ N + ˆ $ ˆ «ˆ ˆ N 9 N.+ Š!5 ŠEŒ% ˆ N ˆ E N 9 Nˆ Š) # C $ 3 ˆ Nˆ 3 «". + + ˆ Š E 1Nˆ / = ) N ˆ Š) N ˆ 3 N + ˆ N Š N ˆ Œ4# Ÿ/!ˆ $ S Š / ˆ Š) N ˆ N + ˆ $) u A5 N N /. / ˆ : / N + / Nˆ 1 ˆ+ Š 9 ˆ Œ N + +Š Š / ˆ S % Š f N Š Nˆ $Š N 3 N Š ˆ / )! +# Nˆ N C Nˆ / Nˆ + C /( / Nˆ + O ˆ Nˆ # ;#ˆ O ˆ «$ : + ˆ «< N ˆ *( N Š) Š ĈŠO ˆ «& O ˆ O N + ĈŒ N Ĉ ˆ Œ ˆ *( N Š Š+Š4#9Ÿ) «" < /+ˆ N Œ4$ ˆ = ) $ #) 3 % N % ˆ Nˆ : ˆ / $ 5 + Šˆ continuing ˆ Œ Š + *+Š tasks ±# $C : 5 Š. ˆ ŒO + Nˆ Œ + ˆ «Œ N ) = Ĉ 9 T N ˆ ˆ N + ˆ 7 9 «+«"5NŠ+Š ˆ : ˆ N / «A 7 ˆ #6;#ˆ 9 «9 N "$7+ ˆ 5 Nˆ : ˆ N 5 + Šˆ ˆ ˆ ˆ 7 «3Nˆ : ˆ ŒE ˆ 8FN ˆ + Œ7G# Ÿfˆ «ˆ ˆ ªŠ ˆ ª Š!@&4$' A #f.5 / N Œ Š «+«:ˆ +Š4$+ + : + 3Nˆ discounting N «ˆ+ «ˆ 5 :+ % : ˆ / &4$') '.7 8)1 3 ˆ B :. ˆ discounted + «:ˆ + ˆ ˆ # ˆ «A B Nˆ $+ ŠB + Nˆ rewards Œ + ˆ «Œ Nˆ N > t «ˆ ˆ «ˆ ˆ 9 :+ 9 «:ˆ + ˆ ˆ+Š a t ' + 8-* 4 3 (') 0+ D> ' 4@.) ' expected discounted return R t = r t+1 + γ r t+2 + γ 2 r t = γ ˆ L $) 0 γ 1 γ k r t+k+1, k=0 ±# ± $)Šz L N ˆ + 7 2@&4$'

21 # $ 6 H < 4C discount rate K : B :+Š < : = ˆ Š + B ( ˆ ˆ Œ! ˆ Œ Nš ˆ ˆ ŒŠ Œ Š 7 ˆ ˆ Š : + Nˆ ª Œ N k «/+ Š «N ˆ Š. ( = ˆ (1 γ k 1 ) : ˆ «N ˆ Š ˆ ŒO N Œ B *+ / #8;#ˆ. ˆ «$ : + ˆ ) = 5 ª +, /( Š : 1+Œ : 9 Ē œ œ# œ œ œ 9$ k 5 : # œ œ œ# œ œ œ % : «& ˆŠ N Š / Œ N Nˆ / œ œ + Nˆ #6C%ˆ+ : ˆ Œ 3 + ˆ 9 ˆ ˆ / B ˆŠ 5 γ N Š Œ N : š $ ª N ˆ O : ˆ + ˆ ˆ. Š γ < 1 N : *+Š ˆ+Š N {r k } : A ˆ # ˆ ŒO N Š $) z ˆ «FN N ˆ G + / γ = 0 «:ˆ + ˆ Œ ˆ * N ) O + ˆ N Š N Š +Œ B Nˆ N 7# ª / γ 1 $ B E ˆ 9 ˆ 9 ˆ! ˆ N ˆ+ Nˆ A "# -,2 /?( ) /? #)?( L ˆ B ŠN«5 N Š Œ ˆ B«& ˆ : / ˆD «! = + )5 ENˆ : ˆ 5!5N O 7 ˆ + ˆ Nˆ = + Ō ˆ A 7 / ˆ + : 9 B #%Ÿ/ˆ 7$ + ˆ ˆ Nˆ «! " $«& ˆ): % / ) N ˆ ˆ Š ˆ «D«ŒE / ˆ - Š / N / ˆ Š ª B + Nˆ + : + Nˆ&+ ˆ «Œ 7 ˆ ª N 8Š / 9 ˆ. ˆ Nˆ : + )# E N N $5 75N ˆf ˆ. L + ˆ = ˆ N ˆ -ˆ Nˆ Š- : «A B Nˆ O ˆ Nˆ + ˆ. ˆ B N 5 ˆ # N z «& ˆ $/ ˆ 9 «ª«Nˆ / N «:ˆ ˆ Š% Nˆ : $ *( = ŠENˆ Nˆ " - Š+Š L z ˆ N Š # Š4$5 7 ˆ 9 Š ª + Šˆ ˆ 5 ÂNˆ : ˆ!5N ˆ«:ˆ ˆ Nˆ «" ˆ «:ˆ ˆ = «" $ : / 5 ˆ 7 «Nˆ : ˆ ŒL Š+Š / ˆ Nˆ / O «ˆ / 7# Ÿ/!ˆ $ B ˆ Nˆ «" $/ O ˆ + ˆ + Š ˆ Œ N + +Š4$ ˆ Š %5N )(Š /. N Š 1 N + +Š N Œ8+ Š 3 Nˆ + N + +Š4$ % ˆ Œ< :?: 9 «N ˆ ˆ/ ˆ ˆ L +Š +ŠL z Š œ #L ª N ˆ# ˆ D: ˆ + N ˆ /+ Œ ±# ±# Ÿ/!ˆ $ 5 Š. ˆ + Œ A5 / O Š + *+Š ±# ± N B Nˆ : ˆ B N ˆ «A 3 ˆ > Nˆ E Š 9ˆ : Š : B :+Š + ˆ ˆ Œ ++ ˆ ª Nˆ γ : ˆ ˆ Nˆ / «ˆ / 7#E L 9 N B «:ˆ $ 5 9 «@: Š

22 # 4 6 < < r 1 R r 2 R r T R s 0 s 1 s T 1 r T +1 = 0 r T +2 = 0 3 Œ ±# ± š N + +ŠB ˆ Nˆ Œ «" %«:ˆ Nˆ N ˆ "# ˆ + Œ / R t = T γ k r t+k+1, k=0 Nˆ Š ˆ : Š - # CEBDC 4 ±# O T = ˆ γ < 1 Œ γ = 1 ˆ T = Markov K E ˆ N : ˆ 3 Œ ˆ Š, N + +Š 3+ Š 4 ˆ # C5Š N + +Š{ P ˆ $5 Š z B ˆ D+Œ { + ˆ# N L Nˆ N 7#.Ÿ/ / $D Ĉ «AŠ O Nˆ + * ( ',!%.+,+ ) Nˆ + ˆ" N +Œ # ;C Nˆ $D +Œ L N L ˆD O Nˆ + ˆ# Š : «:ˆ Š N + +Š + Š - z 4 ˆ L / / L N 7 E+Š ˆ3 / 9«/ = ˆ. «:ˆ Nˆ N /+ Š N + +Š+ Š B 4 ˆ # ;#ˆ z ˆ «$ -. = ˆ/ 7 7$. 5. Nˆ {«/ = ˆ) + ˆ - / { N N / ˆ / 7# Ÿ/!ˆ $«& ˆ : % / / Nˆ Nˆ : ˆ 3 N + ˆ ˆ 1F) Š7G3 Š : f + N ˆ N + ˆ ) Š 3 5 f Š fœ( D % D : 5Œ 3 N 5% + Œˆ "$ N 9 3 5«/ = ˆ N ˆ ˆ ª ˆ ˆ : 3 N ˆ + + ˆ ˆ # Ž Š Œ4$" 9 5 Ē 8 N ŠN«Œ ˆ Œ/ «/ = ˆ N ˆD + ˆ6+Š " $) N L + Š :+ŠL L : / N ˆ ˆ %( + )# 02 N $+ N B : : Ē Nˆ + ˆ * /+ +Œ % N + +Š $ ˆ: N Š Š Š : N ŠN«5 ª «ˆ # Ÿ) +Œ. B + ˆ N Œ Š ˆ Nˆ Š = ˆ $Œ Ē ˆ Markov +Œ N + ˆ+ Š )*8)7 ( Markov Markov / E Nˆ N % property N 7 ˆ. N ˆ «ˆ Š + Nˆ Œ/+ ˆ «Œ #.C )$&+ Š ˆ «Nˆ Œ Š ª )Œ4$Š (t + 1) N 7 Nˆ +Š 9 *( N ˆ N ˆ Œ + ˆ ŠN«ŠN : / ##Ÿ/ > / $ Š ˆ Œ Nˆ N Nˆ + 4 : = Š ª Œ Š N Œˆ : Š Nš } P r {s t+1 = s, r t+1 = r s t, a t, r t, s t 1, a t 1, r t 1,..., r 1, s 0, a 0, «:ˆ B N ˆ 3 N + ˆ s $ ˆ 9ˆ : 9 ˆ ˆ ˆ: N / /! r ˆ / / š #. Š N Š4$ s t, a t, r t, s t 1, a t 1, r t 1,..., r 1, s 0, a 0 ±# ²

23 # # 6 H < 65 ª 8+Œ + ˆ Š )*8)7 ( $+ %Š N 7 Nˆ +Š Nˆ N Š Markov + Nˆ Œ3+ ˆ «Œ *( N ˆ N Š 1 N + +Š + Š ª Nˆ 4 (t + 1) Š + Nˆ ŒL+ ˆ «Œ # Ÿ/!ˆ $)Š ˆ Œ Nˆ N % N ŒL Š t :+Š 8 : Nˆ + = % ˆ ˆ : Š Nš } P r {s t+1 = s, r t+1 = r s t, a t, «:ˆ B N ª ˆ 3 N + ˆ s $: ˆ 9ˆ : ˆ ˆ+ ˆ Š 9 ŠN«5! r Š? N + +Š /? ˆ Š E «ˆ Š ª ª «N Š s t a 1+ Š 3 N + +Š # t s ˆ N $ 3+Œ + ˆ Š t )*8)7 ( $+, ˆ Š Markov ±# C ˆ +Š 3 Š ±# ² $ «:ˆ 9 N s ˆ 9 N ˆ + #) 3 N Œª Š E >, r :+Š4$ B Nˆ N, ˆ Š «" 9 «ˆ ˆ+ + Š )*8)7 ( Markov # Ÿ/ +Š B # ˆ : # ĈŠ. ˆ + ŠL N ˆ ˆ Œ«:ˆ ˆ «Œ «ˆ / % Š+Š ˆ N + +Š ˆ Nˆ N Œ ª Š ˆ + Š. N ˆ Markov ˆ Œ.«:ˆ O ˆ «Œ «ˆ / / % Š+Š N Š Š ŠN«5 Š ˆ + # C $ ŠL ˆ6+ ˆ. Nˆ : ˆ z Nˆ N + ˆ# Š ˆ Nˆ Š ˆ N 14 * + f ˆ N + ˆ? ˆ «+«:ˆ +Š+ N! Markov + / #/ L N ˆ + $Š N : *+Š N Œ/ «& ˆ /+ 9 Š Markov Ÿ) Nˆ + N ˆ Œ E L Š+Š E N + * E 58+ ª Š 9C + Š Œ Ë Š A5 Š 5 *( ˆ ) 5 / ˆ Nˆ, N / % + Š Nˆ + ˆ / ª E A : ˆ N Œ ŠBˆ Nˆ Š / Š # CEBDC KJ: Marko- Markov ˆ 0+ $ fÿ) Nˆ + N ˆ Œ f L Š+Š )ŠE ˆ ˆ Š ˆ Nˆ Š v N ˆ )*8) 4 '(7 Markov Markov Decision Process - MDP ±# C E ˆ / / 1 N + /, ˆ / ª «ˆ / ˆ ˆ $ : N ˆ ) *8) 4 '(7 Markov finite Markov Decision Process - finite ˆ Š Ž MDP ˆ Nˆ " : +Š : = ˆN N ª,A5 Markov + N + /, ˆ «ˆ / 9 / ˆ N Š Œ N? ˆ Œ9 Nˆ N # Ÿ/!ˆ $A : / E ˆ ˆ Œ. N + +Š ˆ «ˆ s a $+Šˆ : Š / : %ˆ : Œ ª Š 1 N + +Š s ˆ N B Š š } Ps s a = Pa ss {s = P r t+1 = s ±# s t = s, a t = a. 7 N Š + N ˆ2') 87 (.:12 # KE ˆ $ : / ˆ ˆ Œ / N + +Š s $/ «ˆ = B ˆ Œ B ŠL N! a + +Š s $+Š A 7 / Š ˆ Œ «:ˆ Š Š ˆ ŒB ˆš R a s s = Ra ss {r = E t+1 s t = s, a t = a, s t+1 = s }. Kˆ ŠN«5 Š $ Pss a ˆ $ : R a = ) %ˆ 3+Š ˆ +! Š Nˆ + ˆ Š, ˆ Œ E ˆ E Š ss Ž ˆ Nˆ " : +Š Markov # ŠO Š : Š + ˆ# ˆŠ N ŒO / Nˆ 45 / «"5 N B Š ª A 7 / Š *+Š ˆ Œ4# ±# 5

24 ž 6 < < 1, R a1 a 1 a 4 β, Ra4 1 β, 2 a 6 1, R a6 s 1 s 2 s 3 1, 0 1, R a5 a 3 a 5 a 2 1, 3 3 Œ ±# O š/ E ˆ «<;C : L +Š E ª N + / 7#.@'%/0 9;1.@ $ A?( $.@$1, Ÿ) %«: +Š 1 N + / 9 ˆ+ + Œˆ B «N «:ˆ Nˆ «@: ) Š3 ˆ Œ ˆ 5 Š Ž ˆ Nˆ " : +Š Markov # 3 D N ) %«: % N + )5 Š. / š947$1 8)(4. ˆ47$1 8) 0+.) 3 # ª : %ˆ : Œ8 N + +Š Š ª N ˆ = 5 % 1 8 N + +Š > «N 5 O Ō z Š N + +Š + *+ Nˆ ˆ : ªˆ : Œ. «ˆ «:ˆ : 3= «Nˆ" N + +Š «ˆ 9 < «ˆ < «Œ ˆ B ˆ B Š > «ˆ #6C 9 ( 9 3( B+ˆ 5 E N 1 8 N + +Š $ s * N + B «ˆ a ˆ4 N N ŒN«<Ē ˆ N + +Š s Š ˆ+ 1 N ˆ 4 ˆ ˆ < N + +Š ˆ *: ˆ Š ª «ˆ s a $C Š Š N + +ŠL+ Š. B : : ˆŠ s # Ÿ/ˆ 7$ : 9 ( ˆ + ˆ + 5 )5 ˆ # ˆ ˆ N = ˆ Š Bˆ : Š = «Nˆ s, a ª ŠN«Œ ˆ&+ Š < N + +Š s # N B«& ˆ+«:ˆ N ) N + ˆ «A + ˆ ˆ E +Œ ŠE ˆ + ˆ A ()51= «Nˆ / s, a ˆ Nˆ / s, a, s # N Š ˆ $/ ˆ N = ˆ Š. A 7 / ŠO! ˆ Œ9 N ˆ 3 «A B Nˆ Š +Š4# Ž Š Œ4$ ˆ ˆ 5 N + 9+ ( + % ˆ ˆ, ˆ N 9 ˆ % *(Nˆ + : ˆ ±# ˆ ±# 5 # f Œ ±# Ö ª ˆ «5«: ª +Š 9 N + / 7# E N Š Œ+ B ˆ ˆD { : ˆ L / Oˆ : Œ / +Š N z ( *( + ˆ N B ˆ / «A B Nˆ Š «ˆ + 9 : ˆ # * 3 '$ &)5*,2-7 () +*,4+*7 3 + * ª N ˆ ˆ N N«Nˆ : ˆ+Ÿ) Nˆ + N ˆ Œ ª L Š+Š % " = ˆ4.:+ >#.) ' $ Œ ˆ Š Œ. ˆ Value Functions, O N N «& = '(78 4"!D>L ˆ) ˆ Q-Factors N + +Š{Œ{ = «Nˆ: N + +Š «ˆ «:ˆ L #DK F N Œ ˆD ˆ L N + +Š7G

25 # # 6 < = ˆ Œ ˆ Š ' + 8-* 4 3 (') 0+ D> E B : + ˆ O N B Š% «A B Nˆ Š8 N + +Š Œ/= «N N + +Š «ˆ +ˆ ˆ # 3 ˆ $5 ˆf ˆ O Nˆ ˆf ˆ) - + L! : = Ĉ N ˆ. ˆ «ˆ. : L ˆ #Ÿ/ / $/ ˆ6 Œ ˆ N ) Š+Š = ˆ N Š 1 «A B Nˆ % N ˆ ˆ # ;C Nˆ $ Š ' ˆ - N + +Š value s N : ˆ ˆ N ˆ ˆ Œ π $«: ˆ V π ˆ B: = ˆ Š 3 A 7 / Š% ˆ + Œ% % (s) ª N?( B+ˆ Œ ˆ N Š 1 N + +Š s ˆ N Œ ˆ Š E N ˆ ˆ Œ π + Š/ + ˆ # ;#ˆ Ž ˆ Nˆ " : +Š Markov $: = ˆ+ + Š Š V π (s) / Nš { } V π (s) = E π {R t s t = s} = E π γ k r t+k+1 s t = s, Š / ˆ Š B A 7 / ŠB ˆ Œ : ˆ 9 : E π { } N Œ ˆ Š 3 N ˆ ˆ Œ # f,+š N ˆ +Š ˆ : / / + Š π :+ŠE N + ˆ N ˆ Œ1 N + +ŠŠ ˆ Œª N ) Š+Œ ) Š 3 ˆN Š œ # = ˆ- 8:+ ( :# 4. $)! ).) 4 V π ' ( ' > π state-value function for policy π KE ˆ $C 5 9 Š B N ) Š+ŠO Š Œ@Š ˆ «ˆ a ˆ N + +Š k N : ˆ ˆ N ˆ ˆ Œ $C / Š B A 7 / Š s π ˆ + ŒE E 9 ( B+ˆ ˆN N 9 ˆ 1 N + +Š $ *: = ˆ Š s «ˆ a ˆ6+ Š + ˆ N : # Š N ˆ ˆ Œ ˆ# Š N 7 = π # Q π Ÿ/!ˆ ˆ 7$+ + š (s, a) { } Q π (s, a) = E π {R t s t = s, a t = a} = E π γ k r t+k+1 s t = s, a t = a. k=0 ±# Q π (s, a) = ˆ 8:+ ( ' :# A@0+.) $) ( '! ).) 4 > π action-value function for policy π C CEB & KJ. ˆ ª N 53+Š ˆ Œ ˆ Nˆ Š 9 /, Œ / E N ) Š+Š Š ª + Šˆ ˆ ÂĒ N %: Ë Ž ˆ 59 E «N ˆ 5 ˆ+ ˆ ˆ ˆ 5 < «A B Nˆ ª ˆ 1 + * ˆ #?;#ˆ B ˆ Œ Ē N ˆ ˆ Œ π ˆ ˆ Œ : N + +Š ˆ 45 ˆ Š N Š1 + *+Šª ()5E Š 3 N ) Š+Š s B ) Š+Š «:ˆ Š, N + +Š s ˆ ˆ N ˆ Œ ˆ B ˆ Œ ˆ «:ˆ N ˆ ˆ : ª 9 N + ˆ Nš k=0 ±# ž V π (s) = E π {R t s t = s} { } = E π γ k r t+k+1 s t = s k=0

26 ± œ 6 < < = E π {r t+1 + γ } γ k r t+k+2 s t = s k=0 = π(s, a) [ ] Pss a R a ss + γ Π 1 a s { š } Π 1 = E π γ k r t+k+2 st+1 = s k=0 = π(s, a) Pss a [Ra ss + γ V π (s ±# œ )], a s L ˆ «ˆ a ˆ «ˆ/ N z DA5 N ˆ ˆ N! A(s) + ˆ N A5 N S Œ S + + Š :+Š ˆ Nˆ / O «ˆ / 7# *( + :+Š ±# œ ˆŠ $) (6 8:+ ( Bellman V π ˆ B: = ˆ Š + *+Š Š N + ˆ ()5L Š. N ) Š+Š. ˆ N + +Š ˆD / N ˆ Œ / ª«:ˆ ˆ? N + ˆ # *( + :+Š ±# œ + : 7 = ˆ ˆ Š ˆ : Š 9 : Nˆ +Œ ª N E ˆ 9 9 N + ˆ # Ÿ/!ˆ: B:! = ˆ / %Š N ) Š+Š ˆ ˆ Œ N + +Š E ˆ +Š Š N ) Š+Š N 7 ˆ ˆ B :+Š Š B A 7 / Š Š N + +Š. Š ˆ Œ Š 9 : Š : A γ N Š +ŠB N Œ4# KE ˆ $ 5 % Š 9 ) + ˆ Š $) ( 8# Bellman 8:+ ( Q π (s, a) š Q π (s, a) = E π {R t s t = s, a t = a} { } = E π γ k r t+k+1 s t = s, a t = a k=0 = E π {r t+1 + γ = s P a ss š a A(s ) = s P a ss } γ k r t+k+2 s t = s, a t = a k=0 π(s, a ) [ R a ss + γ Π 2 { } Π 2 = E π γ k r t+k+2 st+1 = s, a t+1 = a a A(s ) k=0 π(s, a ) [R a ss + γ Qπ (s, a )] ] ±# Kˆ Œ ˆ V π ˆ Q π ˆ ˆ: Nˆ E 5 ˆ 9 / *(Nˆ + : / Bell- ˆ ±# ) + ˆ + # man ±# œ C C & & A Š ˆ «" %Ÿ) Nˆ + N ˆ Œ E L Š+Š E «A ˆ Â+ Š 9 *5 *+Š ˆ N ˆ ˆ Œ Š ˆ «+ ˆ : * «N ˆ ª ˆ / 7# ;#ˆ

27 # 6 < ± Ž ˆ Nˆ " : +Š ˆ N Nˆ + Nˆ / f ˆ ˆ + Š Markov N ˆ ˆ Œ. Ē N : B "# Kˆ& Œ ˆ 9 N ) Š+Š + : = ª ˆ Nˆ Œ3Nˆ N (Š9 D+ ˆ N ˆ ˆ # ˆ ª N ˆ ˆ Œ = ˆ ª ˆ N 5N Š π N 9Œ3 +Š9 ˆ 5 N ˆ ˆ Œ π %Š A 7 / Š ˆ + Œª N 3 : N +! +Š *: «ŒO Š N ˆ ˆ Œ $D ˆ «N 5N ŠOŒ +Š N Š. ) + ˆ Š π ˆ + Œ+ Š ) + ˆ Š N + +ŠO 9 *: «Œ Š N ˆ ˆ Œ π #ª ˆ O! $ π π 4)7 V π #DŸ/ˆ 7$ N + ˆ (s) V π (s), s S N ˆ + E ˆ N ˆ ˆ Œ9Šª E ˆ N 5N ŠEŒ3 +Š9 N 3 : f N Šª N ˆ ˆ Œ4# N ŒB = ˆ ( '! ).) 4 ># K ª ˆ ˆ + 9 N ˆ ˆ 3 N 7 = ˆ π # K 3 ˆ = ˆ Š 9 Nˆ 1 Š+Š N ) Š+Š N + +Š $Š N ( 8:+ ( ' :# 4. $A N 7 = ˆ ˆ = ˆ / Nš V (s) { } V (s) = max π V π ±# ± (s), s S. f. Nˆ +Š B 5 9 /Nˆ : +)5 ˆ + ª N ˆ ˆ 9 ˆ + Š N Œ / ˆ : Œ / ˆ «Œ B / Nˆ : /. «ˆ / %+ ˆ %! + ˆ ª B % N + N ˆ + 8)5 /Nˆ : ˆ % «ˆ «:ˆ ˆ ªŠ. A 7 / Š ˆ ŒO ˆ Nˆ ˆ N ˆ + O «N 5N Š N : N Š ˆ Nˆ 5 Š ˆ + Š ª N ˆ ˆ Œ 3 ˆ + ˆ A B % ŠN«5 $ ˆ ˆ + N ˆ ˆ ª ˆ = ˆ+ Š Nˆ ( 8:+ ( ' :# A@0+.) $:Š. N 7 = ˆ Q ˆ = ˆ / Nš { } Q (s, a) = max π Q π (s, a), s S ˆ a A(s). ;#ˆ = «N N + +Š «ˆ $:Š N N Š+Š% ˆ+ Š s, a A 7 / Š ˆ + Œ ˆ *( ˆ4 N ˆ Š «ˆ + Š 3 N + +Š a ˆ N B +ˆ ˆ O N Œ ˆ ˆ B ˆ + ŠO N ˆ ˆ Œ4# Ÿ/!ˆ $# 5 s B: % Š Q Œ ˆ+ Š V š Q (s, a) = E{r t+1 + γ V ±# ² (s t+1 ) s t = s, a t = a} Ÿ/ ˆ Œ Š V ˆŠ Š+Š N ) Š+Š ª«:ˆ. ˆ N ˆ ˆ Œ4$ : B ˆ&+ˆ N Œ ˆ ˆ Š% Š+Š Bellman ±# œ #%Ÿ/ ˆ Œ. / 9 ˆŠ ˆ + Š N ˆ ˆ Œ4$+Š *( + :+Š N Œ 9 ˆ ˆ ˆ Nˆ Œ )Œ / : + 7 % «A B Nˆ ŠB N ˆ ˆ Œ4# N Œ Š )Œ ˆ:Š. *( + :+Š Bellman «:ˆ Š $:Œ ( V # Ž ˆ ˆ Bellman Bellman optimality Š ˆ $Š ˆ + ŠO *( + :+Š B: = ˆ+.««equation / 9Š ' Bellman ˆ < N + +Š 8 N N ˆ + ŠO N ˆ ˆ Œ ˆ.ˆ 5N Ĉ ª Š 7 / Š ˆ + Œ Š, N 5N Š E «ˆ E N N Œ Š 3 N + +Š+š ±# O V (s) = max a A(s) Q π (s, a) { } = max a E π R t s t = s, a t = a

28 $ $ ± ± 6 < < { } = max a E π γ k r t+k+1 s t = s, a t = a = max a E π { k=0 r t+1 + γ } γ k r t+k+2 s t = s, a t = a k=0 { = max a E π r t+1 + γ V (s t+1 ) s t = s, a t = a [ ] = max a Pss a R a ss + γ V (s ). s KˆN N )5 *(Nˆ + : ˆ 5 ˆ))5 ): Š ( L 9 ˆ O "$«:ˆ Š Š+Š ): %«:ˆ Š ( Bellman š } ±# 4C ±# 4 Bellman # Q $ 5 9 B <)5 ˆ { Q (s, a) = E r t+1 + γ max a Q (s t+1, a ) s t = s, a t = a = ] Pss [R a a ss + γ max a Q (s, a ). s } ±# 65 ;#ˆ Ž ˆ Nˆ " : +Š Markov $) ˆ# *(Nˆ + : ˆ Bellman ±# 4 ˆ ±# ž + Nˆ 5 ˆ E *( Œ / % N ˆ ˆ Œ # KE ˆ + ˆ $ N + ˆ ˆ. *( + :+Š «:ˆ % : 3 N + +Š Œ = «Nˆ N + +Š «ˆ N ˆ = ˆ N ˆ ˆ A5+ Š *(Nˆ + : /. «:+ # BŠ ˆ Œ. Nˆ N ˆ:«:+ Œ Pss a ˆ R 8 N ŠN«5 A5+ Š C : C a ˆ Œ ss : B +Š Š) «ˆ / < + Š N / 7# Š/+ ˆ «Œ < N ˆ E + ˆ ˆ ª Nˆ % ˆ E Š V ˆ! *5! N E : Nˆ + N ˆ 3 ˆ + ŠE N ˆ ˆ Œ4#6;#ˆ? : N + +Š $ : % N + s 7 BŒ Nˆ A «ˆ «:ˆ B ˆ :.ˆ ˆ ˆŠ ŒŠ. «& + %+ Š *( + :+Š # Ÿ/!ˆ $ ˆ Œ N ˆ ˆ Œ. : ˆ: Š Nˆ Bellman ˆ : Š % N ˆ N N ˆ «ˆ 8 ˆ# ˆ *AŒ ˆ Bˆ : Š ˆ «Œ. + : ˆ + ˆ «ˆ 9 N : «:ˆ + "$5 ˆ/ ˆ ˆ + Š{ N ˆ ˆ Œ4# L N «:ˆ $3 ˆ Œ B N ˆ ˆ Œ ˆ «',!% / + + *+Š. ª ˆ ˆ + ˆ 9 Š < Š+Š V ˆ ˆ B ˆ + Š N ˆ ˆ Œ4# )ˆ B Š V «A ˆ ˆ + ««ˆ B ˆ / ˆ ˆ Œ N 5 N : : 5 9«:ˆ O N Š Š N O $ ˆ ŒŠ V Š ˆ «ŒN Š B Š. N ˆ ˆ : ˆ N ˆ Œ ˆ Œ Nˆ : # Ÿ/ / 5 ˆ 9 =Œ Š+Š9 5 Œ N % 5 5 N 5@: f ˆ % «ˆ B ˆ E ˆ ˆ + # Š N Š4$ + 3 ª ˆ ˆ Š Q Š. ˆ «Œ «ˆ / ˆ Šˆ *5 N Š4# 3 3 N Œª Š :+Š3 + ˆ = ˆ % 1 3! =Œ Š+Š4$ : 5 N ŠBŠB Š : + ˆ = + ª ˆ * + Š Q # Ÿ/!ˆ ˆ «Ē Š «ˆ B Š ŠB «:ˆ + ˆ : Š Q «:ˆ Š «A B Nˆ ŠL N + +Š4# Ÿ/ / $ { ˆ + { N ˆ ˆD«:ˆ Š ±# ž

29 6 < ±O s (s, a) I a r s r s 3 Œ ±# ²š E ˆ «Ž ˆ «N Ÿ) Š :+Š ;#ˆ Š Š+Š V π ˆ «:ˆ Š/ Š+Š Q # π a &5N (Š ˆ / = «Nˆ N + +Š4$: «ˆ Nˆ ˆ N «ˆf N - -«> «ˆ + Š :+Š N Œ + ˆ = ˆ# «/ = 9 ) «:ˆ ˆ ˆ N + ˆ ˆD ˆ N ˆ Œ ˆ O 5 O 7# Ž Š Œ4$ N ˆ % Nˆ : ˆ 1 + ˆ = ˆ +( 3 ) 9 N Š/ ˆ Œ Nˆ N # Nˆ Œ +Šª / ˆ + / + Œ / ˆ 3 Bellman «:ˆ Š 9 *5 *+Š ˆ % ˆ + Š ª N ˆ ˆ Œ, ˆ+ / E +Š ˆ 0+ $ Ÿ) Nˆ + N ˆ Œ 3 L Š+Š #D E N N $ N ŒŠE «+«:ˆ +Šª ˆ+ Nˆ + Œˆ Š4$ : 5% " = ˆ7 3 ˆ N : * ˆ % ˆ 5 ˆ+ Nˆ ª + Œˆ + Š (Š+š # ˆ «/ = % Nˆ / Š ˆ Œ Nˆ N $ ±#% +! Œ N N «:ˆ + ˆ Œ.ˆ 45 7 ˆ ª 5 % Š 5+Š ˆ O# Š ˆ Nˆ Š Markov # C % ŠN : *+ B Š ˆ+ŠB N N «:ˆ + ˆ Œˆ 45 9 ˆ, ˆŠ +Š / ˆ + / 9 *(Nˆ + : / N ˆ + N N / ˆ / % ŒN : Bellman / L N + / L N + / ˆ N + ˆ ˆ N.«:ˆ z Nˆ N Š+Š%Ē *5N «+ Nˆ Nˆ + Š # Ÿ/!ˆ $ ˆ ª Nˆ A > 9: % + «A ˆ 8@: + 3«:ˆ «+«:ˆ + ˆ E 5 ˆ #:C%ˆ Nˆ A 3 : 3 +Š 3Ÿ) Nˆ + N ˆ Œ 5 L Š+Š 5 5 f ˆ 5 «+«:ˆ + ˆ ª 5 ˆ 9 / ª ˆ + / B *(Nˆ + : / ˆ + Š) Bellman ˆ ˆ 5. ˆ N L ˆ O + «& ˆ + L N : + Š : *+Š Š, ˆ Œ E Nˆ N # C C. L : 4 N 6 C%ˆ + * ˆ ±# œ $ ±# 5 5 ˆ. 5 ˆ?+ 9Nˆ «N Œ N ±# ²A#?C Nˆ «N N B = ˆ%*8) (+- 9# ˆ Œ ˆ Š N ˆ ŒO Nˆ «Œ. / % + * / backup ˆ+ E + Šˆ diagrams ˆ 5 ˆ" E +Š/+ ˆ 0+$3.) # updates, backup ope- ˆ 9«& ˆ + Š BŸ) Nˆ + N ˆ Œ L Š+Š4# N ˆ Š : ˆ rations

30 ±² 6 < < s I (s, a) max a r s r max max max s 3 Œ ±# C š/ E ˆ «Ž ˆ «N ªŸ) Š :+Š ;#ˆ Š/ Š+Š V ˆ «:ˆ Š/ Š+Š Q # a : B Š : + ˆ Œ ˆ B N ˆ Œ ˆ /. A 7 / / B Nˆ 45 /. N N * # (+- :#.: )$47$1 8) 4. *8) ( $39# *. '(:+) AM 4 8-4$ *8),+.) 4..) N : ˆ + ª««) / -+,Nˆ «N N N + ˆ ˆNŠ ˆ E + #C L! ˆ + $ N A5 +Š. : / 5 9 ˆ O + <FN ˆ GB 9 N -$C / ˆ N + +ŠB ˆ+ N 5 Š # C Nˆ «N B Œ N ±# C + ª«ˆ Š + *+ŠBŠ! + ˆ ()5% / 5 ˆ /. N + /. ˆ / 5 «ˆ /.+ ˆ f *(Nˆ + : ˆ Bellman «:ˆ ˆ V ˆ Q # C <Nˆ «N N ˆ ˆ % N ˆ = Â+ Œ ±# ². Š%Nˆ : ˆ: N + < N ˆ, ++ +Š E ˆ «Œ 3 % :+ 3 % Nˆ «: ˆ Š ˆ / 5 Nˆ N «ˆ+ Š 3 N 5N Š/ N Š A: ˆ # C C :. & A L + NĈ / + *( Ĉ ˆ. ˆ *( Œ ˆ B ˆ# N + L ()5{ / Œ / L N ) Š+Š O«:ˆ { ˆ Œ N ˆ ˆ Œ4# Ÿ) ˆ =Œ Š ˆ / 9 75N ˆ: ˆ 9 N ˆ Œ ˆ + ˆ:. «:ˆ ˆ Nˆ : 9 «ˆ # Ž Š Œ4$ 9 ˆ O ˆ ˆ ˆ + ˆ:. ª N. Nˆ N Š = 9 ˆ < Œ ˆ N ) Š) +Š # O ˆ N Š ˆ Œ «/ Nˆ $ : N : 5 ª B: +Š 5 Š 4.+).) 4 > ) + ˆ N Š Œ@Š ˆ AŒ Ē ˆ Œ Œ ˆ AŒ ˆ + Œ # -, A ) 1" 1D ( 9;')/ *./ 1D D, Ÿ) /: ˆ Š :+Š Š N ) Š+Š O + Ĉ «:ˆ ˆ «A B Nˆ ŠB «ˆ B ˆ N ˆ: * 9 ª / ˆ Nˆ / N * N / «N ˆ ˆ + : / +Nˆ : / «ˆ / 7# Ÿ/!ˆ ˆ 7$: 7 B + Nˆ Œ+ ˆ «Œ t $:Š B ) Š+ŠB Š + ˆ«:ˆ B O N * B ˆ (+*5"1 >?6"!YCD1/D53- Sample Average Backups

31 # 6 < ±)C «ˆ 7 % N + +Š ˆ * N / / B ŠN«5 / a s N Š Š / ˆ + / N Œ ª Š 9 «ˆ #3Ÿ/ / $: Š% «A B Nˆ Š. «ˆ a Š B + ˆ 7+ˆ ˆ O : <+ O N : /+ Š k «A B Nˆ Š N + +Š ˆ: ˆ: ) + ˆ + ˆ + : 3 a ˆ N. %+Œ) s N + +Š $ ŠL B ) Š+Š + ˆD R 1 (s, a), R 2 (s, a),..., R ka (s, a) %«:ˆ Š/ «A B Nˆ Š «ˆ 8 ˆ+ N B Š + *+Š+š Q t (s, a) = R 1(s, a) + R 2 (s, a) R ka (s, a) I5 P ˆ $-+ Š L :+Š{ z - + ˆ/ ŠN«5 Šz ˆ z N!5N L L f - *: + $5 N z ŌŠ{ ˆ Œ Q t (s, a) + ˆ N ˆ «A B Nˆ Š ˆ Œ ˆ Œ4#f 3 ŒN / EŠ ˆ Œ N Œ ˆ. Š œ Ÿ) B Š B : ˆ N + ˆ 9 N Œ. Š : "$ ˆ ˆ ˆ: N ˆ Œ ˆ Š 3 ª Œ Š «N /. B +! ª ˆ: «A / N ˆ" : ˆ 9 ˆ + Œ N ˆ / N Nˆ N 7# Ÿ/!ˆ : ˆ / :. Ĉ : N : ˆ / ˆ ˆ + / 3Ē ˆ Š Œ/ ÂĒ ˆ N Š :! L ŒN : B / Š / N 5 «A B Nˆ : ˆ # Ž + / ˆ N ŒO Š :+Š + *5 ˆ 4 ) $ ˆ Nˆ : ˆ 5ª 5 N Nˆ 7# Š<Nˆ Nˆ " 9 Š+Š ˆFN «Œ7G$ ) + ˆ : Nˆ + 5 3: ˆ N + ˆ +Š E Š Œ Š 1 Œ N % N 5 «N % / % =Œ Š+Š $ ˆ 9 ˆ ˆNˆ : «ˆ 3 : < 7+ˆ : 5 N,: # Ÿ) N / N - Œ N 5 ª : 5 ª N Š Œ *(Œ Nš k a ±# Q k (s, a) = 1 k k R i (s, a) i=1 ( ) = 1 k k 1 R k (s, a) + R i (s, a) i=1 = 1 ( ) k R k (s, a) + (k 1) Q k 1 (s, a) + Q k 1 (s, a) Q k 1 (s, a) = 1 ( ) k R k (s, a) + k Q k 1 (s, a) Q k 1 (s, a) = Q k 1 (s, a) + 1 [ ] k ±# ± œ R k (s, a) Q k 1 (s, a), Q k 1 (s, a) N 7 = ˆ * E D 75N ˆ N N ˆ (k 1) < «N < ˆ N 7 = ˆ Š ª ˆ + Œ R k (s, a) N ˆ / Š. {. Š k στη : z *( B Š L «ˆ a + Š N + +Š # Ë /+Š ˆ D : ˆŠB N 7 *( + :+Š s ±# ± œ ˆ 45 ˆ Š ˆ + Š 3 :+Š k = 0 $ /!ˆ «:ˆ ˆ Œ Q 1 (s, a) = R 1 (s, a) ˆ Œ ˆ Œ Q 0 (s, a) #

32 ±) 6 < < )Œ Š :+Š + ˆ5Š *( + :+Š ±# ± œ ˆ3Š Š ˆ *+ Š )Œ- Š :+Š ˆ Š Œ N * Ë Ž ˆ 5 E «N ˆ 5# «Nˆ Œ Nˆ «ŒO Š :+Š ˆ Š Œ B + ˆ Š )Œ+š Ë E *@Š E N ˆ E *@Š + [ f + E N ˆ E *@Š ] ±# ± B: +Š [ f + E N ˆ E *@Š ] ˆ "! 21+ Š E B ) Š+Š+ ˆ ˆ / ˆ Œ { f + # K + + O N : ˆ ŒN / 9 + ˆ Š,+ :+ Œ8 N *5 : )+Š9 Š ª ˆ «& ˆ Š Š :+Š < ˆ P ˆ ) + ˆ Nˆ + ˆ%7,+ :1 #:;#ˆ ˆ «$&+ Š *( + :+Š ±# ± œ $C + + ˆŠ kστη ˆ + Œ ˆ O # Ÿ/ˆ 7$" Nˆ N + B ˆ ˆ ˆ ˆ ª ) ˆ B + ˆ N ˆ 8 N Œ4$4 ˆ Nˆ + : "$ ˆ < «N ˆ Nˆ Œ4# KE / $ B 5 R *( A: N 7 ˆ+ : k : : ˆ : Œ : *+Š / N ˆ : % ˆ : 7+ˆ ˆ: : ˆ : Œ{ «ˆ L N D : % N + +Š N ˆ +: $ N Ë B / L «N / Nˆ : / 7$: N * f ˆ! N Nˆ 3 9 «A 7 ˆ+ ˆ 5 ) + ˆ + 5 * f ˆ f /? N! / 9 ˆ 4 ˆ+ + N / : 1= «Nˆ N + +Š s, «ˆ a # Š4$ 3+Š ˆ :+ * -$ ˆŠ 3 : = ˆ B «: % Œ N 8 9+ Š B ) Š+Œ E Š B ) Š+Š) + + : / 7 = ˆ N / % ˆ+ *(Œ 9 / #ªŸ/ +Š $Š. N Œ = ˆ α N : < ˆ '(:+- # Ÿ/!ˆ# N ˆ «:ˆ. «{ Š+Š L ˆ3 + Šˆ ˆ / «Nˆ ) { ˆ/Š *( + :+Š ±# ± Š ) + ˆ Š + *+Š ±# ± œ Q k (s, a) = Q k 1 (s, a) + α [ ] ±# ± ± r k (s, a) Q k 1 (s, a) -, A ) 1" 1D ( &B<=1 /.<) #) '),./ <./ #) /?( E ˆ 3 *(Nˆ + : ˆ ±# ± œ ˆ ±# ± ± 5 N Š Œ / ˆ 7 ˆ N ˆ ª * ª N / 9 / N Š 5 / ˆ «N / ˆ + Œ $+ ˆ+ '(:+- ˆ24 2) 87 α N Š/Nˆ! ˆ Š+Š 9 «:ˆ Š ˆ.! "3 ) # Ÿ) )Nˆ : : E 75N ˆ ª «3 Š+Š ˆ 0+-7 #/ f Š 0 < α :+ŠB N Œ 5 Ē N Š Œ N : š 1 Q k (s, a) = Q k 1 (s, a) + α [R k (s, a) Q k 1 (s, a)] Y *)- "D9. B"D4ED4E"@5"5"1. 798R(-*/. 81 1/D4GD4GDOD/D9- D4CB")!/3. =/D/D9. (- /./9. DO6$ B"*8HO : ;?* 4 exponential $) * recency-weighted &!/4C(U9. 79(+F31-') 4C(-*/. average ;?*)!/=/( )\?6(. 4 C =/SU)D$ 2(+DPWQ(U56S2D$ % 4 %/=/D4=/(E *)- "D9. B9!DD1/D53- "@5"5" :0Y 1/56D4G53. LD *ED/D9-D(U71/S Constant B23! 79(E! 6$5"79(U79. step-size=/s+*)!@d parameter *D=/ 3- backup 79(+F31-')@&!/4O(+*&! Constant-α backup 4OF3/-*(U/.J &!/*R *81/$ "! D$L79D1/D$2(- :

33 6 < ± 5 = α R k (s, a) + (1 α) Q k 1 (s, a) = α R k (s, a) + (1 α) α R k 1 (s, a) + (1 α) 2 Q k 2 (s, a) =... = (1 α) k Q 0 (s, a) + k α (1 α) k i R i (s, a) i=1 C : ˆ + N N ŒN«+ Š z ŠN«5 Š- *( + :+Š ˆ3 : ˆ. ˆ 8 ˆ : ˆ. / / (1 α) k + k i=1 α (1 α) k i ˆ 5N ˆ5 Š #uÿ/ +Š $ - α (1 α) k i ˆ + ˆ + + Š. ˆ + Œ $D *( N Ĉ N R i '(78 '("! )B Š (s, a) N Œ Š 9 O # L N ˆ + $C..) &4.) 4 9 O + 8A5 / ª «#.KÂ)5 N N Š Œ ˆ (1 α) + ŠN«Œ ˆ + Š «A B Nˆ Š. " Š : BŠO ˆ ˆ ˆ *: N 7 N Œ Š Š # ˆ ŠB )Nˆ : N Œ Š+Š Š : «& ˆ N. Š > N 5 *( + :+Š4$N ˆ / / % «) *( N : ˆ / D / Q 0 (s, a) «:ˆ + Š ŠN«5 Š. )Œ Š :+Š #9 L N «:ˆ $C O ) ª Š ˆ ŒB B ) Š+ŠB«:ˆ : ˆ : Œ «ˆ #?I5 P ˆ $ ˆ 8 ˆ $Š ˆ Œ9 N Œ «:ˆ 3 : 5ˆ : Œ «ˆ 9 ˆ / ˆ4! N ˆ 8 ˆ+ *( N : ˆ /+ Nˆ / / Š «N Š+Š / <Nˆ : / «ˆ / 3«& ˆ N ˆ -: $ ˆ 9.+ Š = ˆ % + ˆ ˆ Nˆ N Š Œ ˆ # KE / E : ˆ N "$4 9ˆ 45 ˆ «:ˆ «A B Nˆ «$D N Š. )5N Š OŠO ˆ Q 0 (s, a) : ˆ B ) Š+Š Ĉ B : ˆ O L O + # 3! Q i (s, a) / $. )'0+) ) ',!N@ ' ) M.) E Š N B Nˆ N 7#:K )$ Š8+ˆ ª Nˆ N 3 9 Â+! ˆ "$ Š Œ. N 7 ˆNˆ : ˆ %+ Nˆ * $ O. N Œ ˆ N 5ˆ *5 N N ˆ B N + *+Š ˆ > Š : ˆ * # Ÿ/!ˆ $" ˆ Nˆ N $ + ˆ+ N 5 «N 5N Š O + Šˆ ˆ 5 Š «A B Nˆ Š )Œ Š :+Š + : 5O! «Š+Š $# O N L * L N / / N Š 5 / N * N / 7# $ &? A f ˆ Š : ˆ * L ˆ# ˆ. / ˆ#! Q i (s, a) «A. «A 7 + ˆ * ˆ / L B + N / )5 ˆ+ + 7 N = «Nˆ #.I5 P ˆ $ B + ˆ «A B Nˆ Š s, a N 9«:ˆ 9 «Š+Š (α ) k (s, a) = 1 # Ÿ) *5N «k (s,a) Š O.«Nˆ ˆ ˆ«:ˆ O ˆ:«& ˆ:«:ˆ. ˆ ' 8) * >$' 4! ;#ˆ Š N N + ˆ)5 9 N D Œ $ ˆ α k (s, a) ˆ ˆ 5 ˆ *( A: N 7 =,A5«A ˆ +Š ˆ : Š O š ±# ±O α k (s, a) = k=1 ˆ k=1 α 2 k (s, a) < ±# ±²

34 ± ž 6 < < Š ŒŠ N ˆ ˆ«:ˆ. B *( A: N ˆ + ˆ: F Œ N G ˆ! «N 9 :+ ˆ 3( + 5 ˆ ˆ ˆ? Œ Œ : ˆ : )5 # J *5N Š< ŒŠ *( A: N 7 = ˆ ˆ ˆ 9 F Œ N Gª«& ˆ! ˆ :+ 9«& ˆ P ˆ Š ŠA5«A ˆ +Š4# Ÿ/!ˆ $ 5 N Š Œ Ē / + ˆ ˆ&)5 Œ +A5«A ˆ +Š ˆ ˆ 5 ˆ N Š 3 :+ŠE Š : / 3 * % $N N ) : 9 ˆ ˆ 5 ˆ+ Š :+Š B. «9 Š+Š ˆ&+ : > #f f Š N :+ŠB ˆ ˆ + < «A 7 7$+ N ˆ ˆ + ª A: N + «N 9 Nˆ 45 / + Š f 5 N Nˆ N ) 7# I5 P ˆ $/ / B : Š 8 ˆ# / $D N z ˆDˆ Nˆ : ˆ D Nˆ N 8 9 ˆ4+ N ˆ # * / '&' +*,4+ mˆ O ˆ Œ ˆ B«"5 k N N N«: Ÿ) Nˆ + N ˆ Œ L Š+Š $ ˆ % % : ˆ ' +,1!N@('.)N N * / <Nˆ : / «ˆ / 7# N Œ Š ˆ < N ˆ )5N N / N ˆ! «D«:ˆ ª «+ ˆ Nˆ 1+ 9 «A B Nˆ ª $ / 5 ˆN«:ˆ ˆ «E ž( ˆ 65 #8C. *. Nˆ : ˆ 7 ˆ *@: ˆ B N * ˆ / Š «ˆ Œ ˆ N «ˆ / ˆ  Œ ˆ ª N ) Š+Š # Š+Š- N ) Š+Š + ˆ + { ˆ - *@Š «:ˆ - Š ' + 8-* 4 3 (') 0+ D>#/ f Š 9 ŠN«5 Š «: : Š % B Œ ˆ N ) Š+Š ˆ ˆ: Š+Š N ) Š+Š B«:ˆ N ))! %: N ˆ *@: ˆ 4) Š LFN *+Š7G ˆ Œ ˆ +Š4#O ˆ Š+Š N Œ Š ˆ «:ˆ Š L + * B reward / N ˆ ˆ «N ˆ + Œ N $/ : 5 N ŠOŠ Š : B O + ˆ = + «:ˆ *( «N * N Š % )5 ˆ * + Š Š+Š N ) Š+Š 5 ## E N N $ «:ˆ «5 Š Š + Šˆ ˆ ˆ ŠN : ˆ Nˆ : N / ++ˆ N Œ Š *5N Š Š+Š4# Š4$ + ˆ = ˆ 9Nˆ / ) Œ / f Š+ *5N ŠE N Œ, Š+Š 8 ' # D N E Š 8:+ ( 8)1?> #D 9ˆN N «:ˆ N )NŠ1 Š+ŠE ˆ Œ ˆ" N ˆ *( Nˆ. N / ˆ& B ŠN : N O! 7#Ÿ ˆ: ˆ Š+Š Š B *( N ˆ N.ˆ Nˆ + Š Nˆ + ˆ Nˆ N # ) : $ Š1 Š+Š,FN *+Š G% N ) Š+Š f + ˆ+ ˆ 6' +-7,1!O ª«:ˆ Š A 7 / Š *+Š ˆ ŒB Nˆ 9 «! ˆ Œ  N ˆ «A B Nˆ Š «ˆ +Š N + +Š ˆ ˆ+ ˆ Š+ŠBŠB :12"!! ) N Nˆ N Š%Nˆ! ˆ Š Š+Š # u «N ˆ ŒB / E ˆ ŒB +  9 8+Œ + +Š N - { Nˆ N *+ Š Š+Š O ˆ Œ N L ŠDNˆ! ˆ ˆ «ˆ Œ Š N 7 Œ :+Œ Š #

35 6 < ± K / B + ˆ«& ˆŒŠL: "$C ˆ Œ ˆ N ) Š+Š B N =. B B + #% L N ˆ + $ ˆ *@: ˆ 9 ˆ E«& ˆ: *+ N / / % Œ / 7$ Šˆ = ˆ N ˆ Nˆ A N Š) 5 3+Œ N + +Š % 9 ˆ+ E N B Nˆ N ŒO : )$C ˆ *@: ˆ / N * N / Nˆ : / «ˆ / «& ˆ B «N 5N Š ˆ # KE / 7 ˆ + ˆD Bˆ N B ˆ Œ ˆ L / { N * N / D «A B Nˆ / «ˆ / ˆ3 «A 7+ˆ = ˆ ˆ «ˆ ˆ 1 3: ˆ+ ˆ+ ˆ4 N 5N 1 N # 9ˆ N "$«:ˆ N ) N 5 N $«:ˆ 8 «A B Nˆ «ˆ % ) + ˆ B + ˆ: N 5 *A: N Š!5N :+Š B ˆ: 7 ˆ ˆ + 7$: N * «4FN N ˆ + G#)Ÿ ˆ+ / 1: / EŠ *( *5! Š+Š N / / /Nˆ : *ˆ / B «ˆ / B ˆ: «A # Š N ŠO. P ˆ $D * N L N Œ ŠLNˆ Nˆ " O *( *5 Š+Š FN ˆ G : L 7+ˆ = ˆ Š.!5 Š L N + ˆ : / # ˆ6. ˆ4 N ˆ 9 ˆ 4 ˆ" ˆ «N ˆ" ˆ $ N 7 ˆ Š * ˆ" 3F «& G ˆ B «:ˆ + ˆ «A ˆ" ˆ N B # Ÿ/ / ˆ «AŠ4$Š *( *5 Š+Š9 / E Nˆ / ªŒ Nˆ / 9 ˆ ++ ˆ «Œ + + ˆ ª «& ˆ. N ˆ O ˆ Š) ˆ #<I5 P ˆ $ + Š Ÿ) Nˆ + N ˆ ŒO L Š+Š N + ˆ N ˆ ˆ 9 ˆ+ B ˆŒ N 5N O ˆ 3 N ˆ B Š) «5 Š9 N + +Š4#:K f N 9 ) ˆ % ˆN Š N : +Š *( Œ ˆ Nˆ A. ˆ < N Š + ˆ Š% ˆ ŒB B Nˆ N # 3 / $# Ĉ B : N ˆ 7 ˆ. ˆ Œ ˆ N ) Š+Š. 9 ˆF N ˆ Œ ˆ Nˆ 7 Š" G E : ŠN«Œ % '(7 : ˆ ' + ' 8) 4 M 8 ˆ Š+ N N Š Š + ˆ «Œ «:ˆ *( *5 Š+Š4#:Kˆ+ ˆ N + : ˆ Š/ + ˆ # C CEB : 6 &. * A? A & * A? A B/ ɛ Kk N 5+ f ˆ 9 9 % ˆ «ˆ ˆ 9 «ˆ 5 : ( ˆ) / ˆ 9 «A B Nˆ Š N + +ŠE ˆ ˆ *( ˆ Š 5 «ˆ Œ N ˆ N. ˆ 9 «ˆ «:ˆ Š Š *@Š A 7 / Š E ˆ + Œ N O ˆ Œ ˆ N ) Š+Š ˆ «:ˆ + Š4# Ž Š Œ4$ B O 4 ˆ" ˆ / N + +Š s ŠB + Nˆ Œ/+ ˆ «Œ $ ˆ «ˆ ˆ B «ˆ t a «:ˆ. Š.ˆ 45 ˆ # Q t (s, a m : N Œ N ˆ ) = max a Q t (s, 8* ',!% ( ')! > # Greedy Selection K / «& ˆ : "$/ N Œª Šª : "$ 9 *8):+ 4 3 / B N *5 ˆ ˆ 5«: ˆ 5 ª + ˆN«:ˆ Nˆ N 7 ˆ 9 «:ˆ + ˆ Š 3 N ˆ Œ ˆ Œ Š 9 : ˆ # ˆ - ˆ Œ{ N «Œ- Š ŠN«5 Š O : { ˆf «6FN N Š+ G O Nˆ A ˆ "$/ N > )$/ ˆ L ˆ ŒLˆ

36 # # O œ 6 < < : Š $/ ˆ «ˆ ˆ N ˆ Nˆ : *ˆ %+ˆ Œ ˆ B / B + ɛ ˆ )Š N Œ # N Œ Š + * N Š+ Š. : ˆ «Œ 9 = > ˆ@. 8* # ',!% ( ')! ɛ > ɛ-greedy E ˆ. N O ˆ )5 O : ˆ& N 5N Š. ˆ Š Selection N Š *( N ˆ! Š. *: «Œ4# Ÿ/!ˆ 8+ N ˆ O Nˆ N $#.ŠO +Š N L ˆ N + +Š L ˆ E N + +Š *+ ˆ «ˆ «N ˆ s 1 s 2 a ˆD / ˆ Ĉ Š Nˆ ˆ Œ +. $ ˆ Š+ L : ˆ + 9 N + 1 N 5N 9 N * N N ˆ Š+ L > ɛ : # ) : $% L Nˆ N ˆ ˆ + N ˆ E8 ˆ3 Ō N Ĉ / N + ˆD P ˆ Š «:ˆ z D ŠN«Œ ˆD ˆ «ˆ Œ ˆ ˆ ˆ ˆ 9 E ˆ B 1 N ˆ Nˆ : B ˆ O N = A# #zš *+ŠL ˆ Œ Š % N Œ N Š 75N ˆ4 N ˆ ˆ Œ N ˆ 3 + ˆ:ˆ Nˆ Š+Š " *( Œ ˆ# L B N 5N # z / N + / Œ = «Nˆ / + N + / «ˆ / B/ SoftMax ˆ ˆ Š+ : ˆ ˆ: N 5Š ˆ 3 ˆ ˆ Nˆ A ɛ : f N 59 N * N ˆ $ 5N ˆ % 5 N : " = ˆ 1 ˆ ˆ?4 Š+Š% *( *5 Š+Š : ˆ Š Nˆ ˆ : Š E ˆ «Œ (1/ A(s) ) / N ˆ 9Nˆ : *ˆ?+ˆ Œ ˆ # ª N ˆ ˆ ª Š ˆˆ Nˆ 9 ˆ : Š B «:ˆ O Nˆ «ˆ ˆ N 5Oˆ : L N Œ Ĉ ˆ N 5 Š Š. ˆ Œ. N.. Nˆ N 7# ;#ˆ B Š N : «Œ ˆ ˆ / Nˆ : / 7$ ˆ 5+Š ˆ 8Š ˆ «Œ ˆ ˆ 8 N Œˆ :! Œ / B«:ˆ ˆ Nˆ : 8Nˆ : *ˆ «ˆ 8+ˆ!ĈŠˆ : Š B «Œ : ˆ Nˆ E Š / «ˆ / % E ˆ ˆ Š N ˆ N / % 1: ˆ ˆ N 5N # K N ˆ : ˆ4 N 5 8* 8) (')! # SoftMax 3 # JŠ ˆ *+ Š + / : % ()5 N / 9 N / 7$+ ˆ B Š9Š + Šˆ ˆ D ˆ N Œ Boltzmann # Ÿ/!ˆ $:A5 / N Œ Š : "$ ˆ «ˆ ˆ «ˆ ˆ : Š š a e Qt(s,a)/T n b=1 eqt(s,b)/t, T «5 Š8 + *+Š «& ˆ: "$ Š ˆŠ9 : 7 " $ N + ˆ % :+Šª ˆNˆ : ) «ˆ ) + ˆ+ Š+Nˆ : *+ŒE % ˆ! + * 3ˆ : # E Š 3 N Š4$ + Š : 7 " +. 5! * «N 5N Š<Nˆ : ++ Š ˆ : Š B «Œ?Nˆ : / E «ˆ / «:ˆ O ˆ /Nˆ : B Ĉ ˆ + ˆ# N ˆ % Œ ˆ N ) Š+Š #1C ˆ $ + Nˆ "$& / T 0 $Š Ÿ/ˆ «Œ.«& ˆ: SoftMax Nˆ Š Š+ Š Ÿ/ˆ «Œ4# ±# ±)C ˆ : ˆ Œ ŠB N ˆ # Š Š) C z ˆ : ˆ «Œ. ˆD ˆ ŠL ˆ P ˆ "$: ˆ ˆ. > Nˆ A 8: 9 *( N ˆ N O O Š B. + 9 ˆ

37 # 6 < O )# Š4$ *( N ˆ / 9 Nˆ D : ˆ" ˆ: N ª N ˆ Š : "## ª ˆ ˆ)5 : ˆ ɛ Š+ Š Ÿ/ˆ «Œ< ˆ SoftMax Ÿ/ˆ «Œ +. ˆ ˆ: Nˆ + # Ÿ/!ˆ: ˆˆ O *5! N /. ˆ ˆ N N «:ˆ + ˆ ˆ Š 5 + Šˆ ˆ Œ ˆ& ª ˆ ɛ Š+ Š L : "$ ˆ. ˆ ˆ L : ˆN N ˆ 5 %«: ˆ 3 / SoftMax / ª e # Nˆ Œ ˆ «"5 7 N. Š Ÿ) Nˆ + N ˆ Œ L Š+Š. ˆ ˆ: «ˆ % ˆ / N : 5 ˆ N «N ) ˆ + : ) 5«& ˆ: 3 ˆ N ˆˆ ˆ : ++ Š B «Œ # Ÿ/!ˆ $ E Š N *5 : )+ŠO N Œ4$CŠ 5+Š«:ˆ ˆ N k : ˆŠ+ Nˆ Œ :+Š Š % ɛ «:ˆ 9 ˆ Š+ E : ˆŠ :+Š Š ɛ : 7 " T «:ˆ. ˆ : #9Ÿ/ / $ SoftMax O +. N L ˆ ˆ «: ˆ +ˆ Œ ˆ B *( *5 Š) +Š N * O N ˆ Nˆ A. B N *5 ˆ N ˆ Š «:+Š4# B/ -, # &B?( $ & A?( k ŠN«5 Š ˆ ˆ 5 Nˆ B + Š Nˆ + ˆ / 9 : / Nˆ «: ˆ N Œ Š ª Š # Ÿ/!ˆ $AA5 / N ˆ E : ˆ «Œ «ˆ / 7$ B 1 ˆ : 1+ ˆ «Œ 9Š ˆ + Œ ŠB N E Nˆ N 5 ˆ)FN ˆ Œ7G Œ1FN «N Š7G# I5 P ˆ $ * O ) : ˆ : % ˆ ˆ + : B ˆ6FN ˆ G Ĉ ˆ ˆ FN «N G# E 7 ˆ / ˆ ˆ ˆ N : +Š B $4 «A ˆ Š ˆ + Œ Š 9 N Nˆ N 9 ˆ 8 : Nˆ Š ˆ Œ Š = > ˆ (') 0+ D>.,+- #ªŸ/ / $ Š ˆ + ŒO N O Nˆ N ˆ «N 5N Š9 N ˆ Š ˆ + Œ9 : $ 3Š9 ˆ + Œª : / ˆ ˆ ˆ «N Š4#D 3 / ) : Š% :+Š4$N : / ˆN ˆ ˆ ˆ Œ4#6KˆN : ˆ ˆ «Œ N = 8* 8) (')! > 8).) 4 > M -4.+) Comparison Selection Methods Reinforcement f ˆ : Ÿ) Nˆ + N ˆ Œ B.5«A Nˆ +Š / /Nˆ N Š 5 ˆ «:ˆ : 9ˆ : Œ- «ˆ z # ) : $?Nˆ N Š ˆ3 ˆ - Š Œ4$%Š ˆ + Œ : #C E 7 ˆ E / 9 ª ˆ «ˆ! * <+ ˆ 1Nˆ : % «ˆ $: N A ˆ 3( / Nˆ 0+ ' + «:ˆ 9 Š, : «ˆ #/ 3 ŒN / )$ B N ) Š+Š ˆ E «ˆ a % ˆ 3 N + +Š s ˆ + Nˆ Œ<+ ˆ «Œ t / N 7 = % # Kˆ p t (s, a) ˆ Œ ˆ N / Šˆ ˆ ŠN : 5 7 ˆ ª 3 : ˆ ˆ : Š ª ˆ «Œ ª «ˆ / +A5 / + ˆ 5 $A# # SoftMax /16: 9. /1-D ^ &` π t (s, a) = e pt(s,a) n b=1 ept(s,b), ±# ±)

38 O ± 6 < < π t (s, a) Š / ˆ Š 3ˆ : Š E B «Œ Š f «ˆ + Š. N + +Š a s $ Š% + Nˆ Œ + ˆ «Œ #D 3 ˆ $N 3 ˆ ˆ : Š ) B «Œ D + N ˆ $ t : O 5 + ˆ + Š Nˆ Nˆ " Š+Š # H ˆ = ˆ / 9«& ˆ%4 ' 8) 9Š ˆ! = ˆ N Œ9Œ9 Š Š Œ ª ˆ < «A B Nˆ Š9 ˆ «Œ N Š Nˆ.. # Ÿ/!ˆ $# N «& ˆ $C ˆ. Š / ª ˆ ˆ Œ ˆ ª + %«:ˆ ˆ +Nˆ : E ˆ «#) ª ˆ": ˆ N Œ Š N *5 : )+Š ŠN : ĈŠ (') 0+ D>6.,+- #C ˆ $D ˆ# Š : ˆ ˆ 9 + ª Š )Œ+š p t+1 (s, a) = p t (s, a) + β [R t (s) R t (s)], β ˆ : ˆ ŒL $ ŠL «N ˆ Œ ˆ + Œz N { Nˆ R t (s) N ˆ ŠL ˆ ŒL L + ˆDŠ ˆ + Œ : Š + Nˆ ŒL+ ˆ «Œ Rt (s) t «:ˆ Š N + +Š + Š O. Nˆ 4 O L # ŠN«5 Š s *( + :+Š{ *: = ˆD Š ˆ z ˆ «:ˆ z «ˆ ˆ/ ˆ ˆ + / 9 : ˆ: B ( Š ˆ : Š B «Œ Nˆ 4 + /+ Š «A B Nˆ Š N + +Š $# k + Š ˆ ˆ + / s : ˆ ˆ / 9 N Œ Š 9ˆ : Š # ˆ Š9 N 5<Š ˆ Œ Š :+Š<+ Š8 «A B Nˆ Š3 N ŠN«ª : / 9 ˆ «Œ + ˆ N B Š 9 N *( + :+Š+š ±# ± 5 p t+1 (s, a) = p t (s, a) + β Œˆ. N N B Š š ( n ) b=1,b a ept(s,b) n [R t (s) R t (s)] b=1 ept(s,b) ±# ± ž p t+1 (s, a) = p t (s, a) + β ( ) 1 π t (s, a) [R t (s) R t (s)] K «3«:ˆ ª E Nˆ : 5 ˆ «ˆ «( ) 1 π t (s, a) + Š Š :+Š Š ) Š+Š «:ˆ ˆ «A B Nˆ Š «ˆ : *(ŠN«ŠN : *+ / # ˆ N 5O Š B ˆ Œ ˆ O«:ˆ /. : z *( ˆ : 5 z «N D * L ˆ : z «Œ ˆ N 8 «A B Nˆ < :Š Œ Š ˆ + Œ : + ˆ ˆ > Rt (s) Š ˆ Œ N ˆ Œ + +Š : ˆ"+ Š «N ˆ Š B B *( Š L N z z ˆ «ˆ : ˆ *( ˆ #{ L B N L «:ˆ $ : + 5 : ˆ+ : ˆ4 N ˆ+ N ˆ N 5 '()-)78*.+ ˆ. E : B > N ˆ: N «N : - Š O ) Š+Œ. ˆ z «ˆ a / N Š LŠ «A B Nˆ ŠL «ˆ Œ N Œ4# C Š L Ĉ / Œ N ˆ ˆ ( ª :+ 9 Š /Nˆ / ˆ: ˆ 3 N ++ˆ Œ ˆ N ˆ Š Ÿ/ / Š ª ˆ «D«Œ 8 «A B Nˆ «9Š +Š /: ˆ N 5 ˆ / ˆ # *@: ˆ ª #-C +A5 / Š Š :+Š ±# ± 5 ±# ±

39 # 6 < OO B/ 2> A?( N % N Œ9 N ŠN«5 : / 3 ˆ «Œ f «ˆ / ) + :! &5 ˆ ª«*: /?)5 Nˆ : ˆ 5 # Ÿ/!ˆ $A+ ˆ : % N Œ Š 9 N ŠN«?: N A ˆ B ˆ Œ ˆ E / A 7 / ˆ + / N. Nˆ N 7$ ˆ: ˆ Œ ˆ ª ˆ 8Nˆ : ˆ «$+ ˆ ˆ Œ ˆ, / % (')*8)3 4 Š ª «ˆ ªŠ 9 ˆ N Š+ ŠA5 / ˆ ª B ˆ Œ ˆ ª / 9 A 7 / / ª ˆ + / 7# Kˆ ˆ : Š / Š / ˆ!ˆ :+ Š N Š+ Š «ˆ 9 ˆ+ˆ.ˆ : B : # Ÿ + 7 ˆ ˆ: a t+1 = arg max aq t+1 (s, a) Š /. Š N Š+ Š «ˆ Œ- ˆ) Nˆ A N ˆ $ N ˆ N N + Š B!5 Š «:ˆ. ŠO + Nˆ Œ+ ˆ «Œ #/C 9Šˆ : Š (t + 1) B *( Š B «ˆ ( ˆ a t+1 = a N. + t+1 β š [ ] π t+1 (s, a t+1) = π t (s, a t+1) + β 1 π t (s, a ±# O œ t+1), ) : { ˆ)ˆ : Š ˆ «Œ O / N N / «ˆ / ˆ / ˆ œ š [ ] ±# O π t+1 (s, a) = π t (s, a) + β 1 π t (s, a) K -, A ) 1" 1D ( & )B?1, D, 9;16<?>, B/?(-,.1 1D ", / : Š 8 ˆ6+ Š O Œ Š Š $/ ˆ6Nˆ : : ˆD ˆ «Œ «ˆ / : Nˆ + 8+ O Š + Nˆ 9 Š : ˆ ª + ˆ Œ ˆ N ) Š+Š 5 +Nˆ : ˆ # Ÿ/!ˆ $ ˆ Œ 3 N ˆ )5 : 5 Š :+Š /, Œ / E N ) Š+Š % 9 )+ / N : N #%;#ˆ O ˆ B Nˆ : ˆ B /. : / O + Šˆ ˆ 5. N 7 ˆ + ˆ 3 Œ ˆ % N ) Š+Š 5«:ˆ 9 3Nˆ :,= «Nˆ N + +Š, «ˆ ˆ N + Nˆ Š :+Œ : ˆ+ * $AŠ Œ + Šˆ ˆ ˆ ª«Nˆ. 3 Š :+Š 3 Nˆ «: ˆ N 9 Š< + *+Š ±# ± ± Š :+Š % + ˆ = ˆ ˆ Nˆ ŠE $ ˆ N Œ / 5 : / 5 > ˆ «Œ fÿ) Nˆ + N ˆ Œ.5«A Nˆ +Š #/ f Š :+Š N Œ4$ : N A ˆN ˆ $«:ˆ : <( / Nˆ + = «Nˆ N + +Š ˆ Œ $# N 7! Q(s, a) Š Œ4$Š (') 0+ D>.,+- # Ÿ/!ˆ $ Nˆ / ª ˆ "$ ˆ Š : ˆ ˆ «& Â+ Š «A B Nˆ Š Š Œ + ª Š )Œ+š %?>./.1)( * & ')( R t+1 (s) = R t (s) + α [R t (s) R t (s)] ) ')( I5 4 % : Œ N ˆ E N 9)5 «: $ : : 5 Š N =Œ Š «:ˆ L ˆ. ˆ. / Œ / O N ) Š+Š # K / ª + ˆ«& Â: "$+ ˆ: : ˆ ˆ «Œ 9 «ˆ / 3 ˆ ˆ : ˆ Š > :+Š E B ˆ Œ / ª ˆ «5 E ŠN Š ˆ Š 7 % Š 9 N Š4# E N N $+ ˆ (+*5"1 >?6"!ODD1/D53- Pursuit Selection Methods ±# O ±

40 O² 6 < < ˆ % ˆ E ˆ+? + ˆ Š Š = E Š > Q(s, a) Nˆ : B :+ ( N O ˆ. : O Š :+Š 9 ˆ / / Œ / N ) Š+Š + Šˆ ˆ 5 )# f Š :+Š Š 3+ : Œ 9! O Š+Š $/ N ˆ : : 5O L : N ˆD Š ˆ Œ9 9 B ) Š+Š # Š N Š4$ + ˆ+ Š E :+Š Š % Š > Q :+Š f ˆ / % ) * 9 "$Š B 0 + / ˆ Œ : = ˆ Š 5ˆ : Š Q 0 (s i, a j ) Š : ˆ *( ˆ+ Š «ˆ + Š 3 N + +Š Š a j s Š8: 9 ˆ «Œ % Š $+ *+ +ˆ ª N N Œ Š ª ˆ «Œ Š ˆ Œ i a j : /F( + + G# ˆ O + Œˆ Š ˆ + Nˆ Œ O + Šˆ ˆ ˆ6 Nˆ : 6.) 4 > Nˆ N $ ˆ: : ª ˆ ˆ ª ˆ Q 0 (s i, a j ), s i, a j A(s i ) ˆ 3 ˆN ) / N ˆ Œ ) ˆ + Œ N 75@: ˆ # Ÿ/!ˆ $ N ˆ Nˆ : ˆ $C O 8( B+ˆ ˆ: ŠNˆ Nˆ ". Š+Š ˆ ˆ)-)78* C«:ˆ E ˆ -Nˆ : )ˆ : 5 B ˆ 3 /?Nˆ : / «ˆ / 7# C 9 N * N Œ f Š 5 ˆ ˆ ( $ «A = ˆ E *( Œ ˆ Nˆ A L / "$D : 5O ˆ Œ «ˆ +ˆ#. ( ˆ : LFN N «Š) : G ˆ ŒO L N * BŒ. N 3 / $# Nˆ B A ˆD N + N = ˆ N ˆ % «A B Nˆ «ˆ $C : ˆ «A ˆ ˆ ª N 5 ˆ N N ˆ ŒN / Nˆ A / N ˆ?: ## f Š9 + ˆ $N ˆ ˆ / N : ˆ / 5 : % ˆ N 5N B Š Nˆ / $ : 53 : N 5 5 N ˆ % ˆ f *( ˆ + ˆ Œ f *( Š ˆ Œ Nˆ Nˆ " Š + ˆ ŠN«ŠN : + / N + / «ˆ / 7#ªŸ/ / $A+ ˆ ª Nˆ : ˆ 9 B % + Šˆ ˆ 5 )-)78* /:+ $ ª + ˆ = ˆ Š : % ˆ «Œ «ˆ / E + ˆ N ˆ ˆ : Š *( *5 Š+Š # 0+ M.). -4.) 4 >! 7 :+ ) 4 3.) 3 ' +- 4,+- '0+) N@0+ ) ',!% A@.) *( *5 Š+Š N Œ P ˆ $ «N ˆ ˆ + )ˆ + Nˆ. Š+Š #{ 3 / $: ˆD ˆ + Nˆ Œ Š B : ˆ Š) + N ˆ Nˆ N 9 Nˆ N,Nˆ! / N = ˆ - N 7 Nˆ +Œ. + ˆ Nˆ : «ˆ L # E N N $. ˆ 7 «ˆ Nˆ : ˆ / N. ˆ B Nˆ N B + Ĉ ˆ > ˆ3 { ˆ:+ N ˆ "#7 L N ˆ + $ + ˆ O Nˆ : ˆ N $3 + Šˆ ˆ ˆ)Š + Nˆ Œ / )-)78* A 6:+ ) 4 3.) 3 $f z N * N ˆ+ N :ˆ # Q 0