Transcript

1 !$#&%('*),+ -/ :<;=4 >? 49@BA : C D E 48F1GH: C D 2. G? F E -/. C E!J K ML NK OPK O Q OSRTUVW N Z X M Y #&#% Y #&#%[!J \ K ML NK OPK O Q OSRTUVW N ]^\^ \K, _ `_a b& O

2

3 !# $% &' $ ( )+*-,. /1 2 /3* 4 /65&7. / 8 9.:8 *;)#/19 < G /1HI=J5@K LNM O L P Q1R ST U V WYX Z U [ Z X \ ] Z Q ] ^ X R T U V WYX Z U [ Z X \ ] Z Q ] _:`. >> a >1b ced 7 f g c / `Jh 8 /1*;)i=kj)ml =?*on;)m,5 g p =rq _ > 8,. s / a =?n t u v w g&x 8 no,;*y/ a )z/ {} ~N?ƒ ˆ o Š$ YŒ Ž -~?ƒ ˆ ; $Œ}?? 6 o J~ o š?? œƒ- šœžƒoÿ@œ}?? zœš N - - š - }~N &ƒ; J?~ ž ª š~n? Š$ «Œ} ƒ- } «- ˆ - šƒ Œ} 6 -Œ ƒ-ÿ: } JƒoŒšŒ Œ ˆ

4 VM &,_a M \ ^ N \M KMPOK \ & _ KM M \ OP ^\^ b ^!JKM M K ^ OM_ K OT<O ^, ^ K _a `_ N, \M T KMPOM_SOP \ ` O O_,_ SP _ \ ^ (N, \M KM _ \ _ KM!#$%$ &(')' * MKM ^,_a&mk N,+ M O.-M O/ M(b ^ 1 L,' L M 2 O MM K3 `_ \M KM OP _ 4 & ^ ^ /5 _ OPb& O< OP 5M 6P O b ^ 7 \ ^ ^ _ 6P ^ \ 1 b& T' &_aa' M 5M ^ NP_a _V _ ` b& ] 85OP, b ^ _a 49 T KM _ 6P O b ^ OP T \M `_ KM OP 5 6 ^ & \ :;6P \, ^ `_ ^ _ _ ^ `O O `_a & O<

5 Y! # ] b& ^ M \M _NP_ 8 \_ \KM K K ^ M \M &T \_ \b ^ N ^ %$ TKM ^ M \M T KMPO O & KM& \ O & ^ N KM T 6P \_a (b ^^ _a &M _ O M KM `_ \ ^, \M \b ^ M ' & & '!# $7& ')( +*,& & & - O & & - KM _ KM S _ M O ^ N ^ _ _J M ^ _ KM K b& ^ b ^ N,' _ O ^ M \M ^ & KM _ _ \M_ ' &P' _ & OM ^ _.Y ) / #/)/ KM ^ a _ M `O K KMM _ _L M KM 5&_a M &M `_ &_ / _ ^^ N P ^ \8 & \. 1 23/ KM ^ KM MM K _ _ 5M _ _ ^ N[K b ^ T, _ \ /&M5 K 6 _a _ KM ^ K OMOP _ _a `_ KM M 25 \ 54* KM _,5 L 5 ^\^ OPKM T,_ ^ N KM N, \M MM K O KM _ _ O \ P \ K \ / _a \ KM _ ^ O_ & ^ \ & L!. Ỳ %8/ Y + / Y763/ W b /&P _ & /& OP _ &B KM \8 T, ^ M ^, ^^ _a `OS ^ O KM \ ^ M \_ _!JKM O &_ <KM KM & N N ^ M ^ O N[N& _ ^ \,N &, 2 \_ KM _a _ \ ^98 6P, ^ OM _ &: ^,N -M `OP (b. ; / < PKM JOP >= & K O_ N ^ M KM M K L M _ N,' 5 ^ M? OM O SKM@. 1 /A2 /CBD/FEK b ^ OPb & & _ J!JK _a \OM _ OP 5M & 5OP \M KM [&_av \8 & b& &, _ \ ^ ^ `O \M O ' _a O KM 8 N MC: KM T b M & K ^ ^ _ KM _ \, _!JKM MM K && 4 &M 5, ^ NS K M O O \M O O O N ^ M O K ^ 5 \M O ' ^ ^ \M &_a _ KM K &KM 2 b& ^ OP \ ] N M ^ 6 ^ _ K OP _ b _a \P' _a `O _anp_a KM K _a `_ & O. Ỳ #8/ 1G; / 1 %/ 4*H. 1 / / _a `O 8 & \ & M b _ K _T O _ ^ _ /5K M `O M ^ 5 L & O _ T ^ `O_a ^ ` b& ^ N \_ KM OP \K 5 L, ] -& & ' 9&!# ' * & & ' _VOP 5 O _K 9&M OP \_ &, 5 8 _a 5 G: O T& 8 & M ^ :K N K _ \_ 4* _ _a `, 5 LI. 2 /JB/ KM _ OT KM 6P ` `O b ^ KM ^ M K: _ P' _ O[ & _ KM _ N \!JKM _ `O & ; _ OP ^ `O \,, _ OTb J _ ] _ _ M[KM \_ _a \ &, M _a `O? K M _ \OP OP & KM J \M \MO E &KML. 23/_aKM5 O[K O _a ^ ` O _ ^ ^ N[ M \ \_ KM `_ O b K ^ M /&M PO O PO M ^ \_ & ] `OPN? &M '*_ CEP _ \ MM K _ _ O O _OM \_ _ _ O K J ^ ^\^ NTP ^ \ _ V & ^\^ N 6 _a \b KM 6,,K K N NM 5 K KM ^ 4*8 \? + K MM, N%E ' _ OT 1 \b \ _ & \b VO _ ' ^ ` \ K b SOP 5 O N M N!. Y 1 /, N,') _a `O b& _a \ &_ K KM T N&')5 ^ \M _ \ K b& ^ _a 6 \M O N + ^\^ K@. 1 B / 1 23/ ] OP 2 ', MM K3 _ _a `O N@N OOM OM MP.Y ; / K OP `_a \ O KM \ `_ T \M \ \_ RQ5 N& _ _al \ + O-M O: _ 8 N,',N,' a G:. 1 Y/ +K/ \_ N 5 ^ VK _a `_ &KM: _ & M ^ M & _ ^ \b _ T ^ \M \T, NI. 1 / 4 ^ O_, ^ OP \M = ` \b V N, \M ^ KM _ K JK b M ^ `O TOM S=,M ^ _,_ NM &K O

6 + L! 1 OP ^ _ N. Y&Y / /8 N.YK23/ O ^ 5 L.Y %8/ Y(+ / Y763/ # $ # % & ' ( ) *+*+', -.,/ ' , + ^ \b ^ N _ T ^ \M N,')5 ^ O O b M & \_ 1 & [_ OM_ O \M[ KM &_aj O ^ ^ \MT ^ M \M M P _ _ W5 b& /& b _a ^ ` \b N, \M KMPO KM &_a _ P O K P M \M ^ ^ ^ _b N(b& 5K b T,_ 4*S KM \_ 5 OP `_ 4 MM K KM \ K KM MK `_ KM OPb & & _a ^ ` \b _ ^ M N, PO T KMPO KM&_ M \ N \ _KM ^ &_a KM N _a ^ ^ ^ NT \_,_ ') 5 ^ O KM ^ ^ MS &, _ KM \KM &_av M \ O 6P \T _ N \MT &, _J K &KM OP ^^ Jb ^ OP 5M S 6P O b ^ & _ 6 ^ & \ 1 \b O &85 OP \, b ^ & KM _ b ^, \ K OP \M _ KM,V 6P ^ & \ 8 6 ^ & \ : K P' _ KM KM \ K \ K M PO _ K % _a 6P ` O `_ ^ V _ KM&_ KM ^ 8 6 ^ & \:MP _ KM _a N \M (b, \M KM [ 6 `O ' _OP \M O<4* N ^ M _NP_ _ M ` _ _ N _a L& KM ^ 5 6 ^ & \ O 6 ^ & \ &T N OP _ 4M N M (b K V KMPO _ \' M 5, ^ N N M ^ N M_a _ \ ^1 L,' L M 25M!JKM _ ^ O_ ^ ^ `_ K _a \_a ^ OP _a 2 \ ^ ^ 6V_a \M KM [ 1 L,' L M 25M KM \ 5 OP 5 M KM 6P ` `O b ^ % &3KM K _ 6P ^ & P' 1 b& 4* KM & b `_ & 5 &_ \OP b, \ M,? - \ Y3E KM,_a \_ M PO 7 / N M ^\^ N $)*& ' *! ' 8* 7 M PO K \_a -M a \ ^ N [ b M & KM T 6P ^ \ OP & ^ &M _ O TK b VM & \_ \ KM OM _ &,_ ' &P \ ^ O ^, ^ _a N&:- 5K b M & _J 6P ^ & _M OP `O \ OP OP _ \,_ ' &P \ ^ O ^ &P' ^\^ 8 9 ;: <>=@?A<A=CB EDFD # : :HG! JI;:LK)G #NM #OGPRQAG SE= T L#NUV:!JKM \ \ ^ & ^ \ KM N,' N&'* &T a ^ & KM,+P M O -M O ^ N 8 4 a [ K,N KM _ _ OP \_ &, (b& KM ^ ^ &, KM _ M _ _ N N K b T, V _ ^ ' ^ O OMO V KM [ MS_a K:.U+7/!JK I( XW ( ' 7& Y * - ** $ & ': 5 a K N KM `_a `_ _ KM & [KM \ & N \M 4* M &K O OP ^ _ NA: _. Y&Y,/ O ^ \ 5 L.Y %8/ Y(+ / Y763/ K Y ' * ' & Y ')&!+* ( W* & *&!# ' 9&! ' & D& KM OP >=,5K N K _ _M & OP `O N `O * O M ^ M 5 LP_ / \_ &T `O<!JKM _ \ \_ OP 5 M O, N KM ^ b ^ OP \_ &, ' KM KM \,T `_aom MS K ^ ^ 6 \ KM _ b S \_ KM,_a & N \MO4* KM ^\^ \M & MK_ ^^ M _,

7 + L! 2 Input Space X Environment Output Space Y (x1 x 2 x 3...) (y 1 y 2 y 3...) - TY Q5 _a `_a & & + NP_ TPOP 25 \ _ KM `_a KM \ `_ ' ^ OP \M T& ^ ^ _a \_a ^^ N \OP ' OP, K N K _ _J K Q M `_a, ^,J KM V \M O & b M &? _ - \ Y7E O KM [ & OP? 8 ^ ^ : E & JKM _ ^ % ^\^ K _ ^\^ _ 5O &_ \_a \M ^ ^ `O \& _ \_ ^ OPN b ^ ^? & _ ^ O OME /< &2/? E Y & M &K O OM ^ _ N : _ MM K \. Y&Y,/ _T \ a `O ' O M ^ 5 L _ K, \ _ O O/8 _a `O &S_ K \M O a VK N K _ _ KM V ^ ^ _ / & VK KM Vb? OM \_a', ^ b& ^ E; \ (b& KM _!JKM ^ ^ 6P KM _ b \ & _OP `OS KM T _a ^ ` O & N \M ] _ \& O \@.YK63/ KM _ MM K ^^ `_ ^ ^ N \ KM N, \M \& _ K \ \, OP 5 ^\^ KM _ KM ^ M / 4/(KM &K& _ O M _a `_ M ^ < KM \_K M _ KM &T a _ ^^ ^\^ KM \ [ `_ &_ O/ _a&mm \M & _ O a \ ^ ^ b& ^ T, _, PO O/ KM a KM \, _ ^^ ^^ O K b OP OM ^ O 6P & ^ _a OMNM KM \ \!. Y763/ ^ \ b& KM & K K N & O. Y&Y,/ K & V M (b T, / `_a ^^ N KM _ V K ^ J \_J ^ b& ^ N_a ^^ K b& KM & OP b ^ O T& ^ ^ \ KM K _ _ K _ T ^ \M OM O \, _!JKM \_T _% _ O & KM _a *! & & ' KM \ S KM b ^ ^ _ ^ KM ^ \M \MTKM K N K _ \_ & +, _ \ ^ 1 L&' L M 25MJ \_ ^^ ' L M KMPO P_a ^ a \M O _?! E Y 1 #_, _ _ _! $ % / ^ b \M M 5 &,? & \, _ E _ _a' _a \b ^ N K ^ \MTKM `_a _ _ at K 5 _ _a _ 6 ^ N \OP, ^ / ^ KM K K (b ^ 5O / ^ ^ N/ ^^ 6P \_a 5 KM _ _ _a _ ' ^^ N K 1 L&' L M 2 _ _a `O P \ M _ O `_ _ \'&?! E O `_ KM b V(&?! E.YB/ ] S _a \ )&?! $ % E K _ _ O*&?! +-,#, E MKM J & O _ 5 _a OP T \M `O<!JKM _ `_ _ _ O K KM _ [O O KM & [_a _ \ ^\^ N OP OP,` +, \_a ^^ N OM OP,/. Y 7 W3* ( NY `_ / &?! %21 E / & M O OP KM ^ & &?! %21 E34&?! +-,#, E(5? 6 7 Y7E? &?! +-,#, E 7 &?! $ % E E KM 6 _5KM _

8 - + L! B [_ & _a_a a M 6 & _ KM \ KM b ^ ^ _ ^ a' OP _ 2 O b, \ M,? - \ Y3E ] _ ^ \, &M O, _ \& _? -? E _ E * \_ KM _a ^, 6 1 L,' L M 2 O _ _a _ $ - $ O K 6 M ^ M 5 LP_ _ M `O M _ _a!jkm `_a V \M O a _ K _a `O K N K _ 29 \b -M& \b KM ^ _ M PO _ _ K N KM `_a `_? $ E Y 6 & ^ _a M * ( (KM \, _V O _ P \ K N KM `_a _ +-,#, N_a OP(b ^ _5 _a \ _ ^^ KM \b N 1 +-,#, 5? 6 7 Y7E? +-,#, 7 $ E ] _ OP(b ^ / 1 / KM TK _ OP b \ & +-,, N, K \ K \_ ^ 25 O$OP S= +-,#, O $ /VK S ^ 25 \ M KM OP & _ `OP 6 7 Y!JKM \_ L _[K 21 b ^ \_a ^^ N OM OP, / ^ \L _ _ b \_ N _ OP(b ^ _? 1 E Y 6 VK N K _ _T? E & /J & `O N KM _ `_ O KMPO? 1 L,' L, `O &T a MM KCE / ^ L `O & _ b ^ _ & OM \_a 2 \? E ^ 4 KM \_ M \OM _a \ ^ & _ T ^ Jb O K KM _ OP \_a 4 \ _ / _ O &[ KM b ^ ^ _ OP(b ^ _ S!JK KM \KM [OP \T _ & ^ _ _ OOP ` O \ KM M 6 & MK KM \ _ K _ T _ KM M ^ M ^ N L M \M KM ^, _ &_a? E/ 4/JKM TPOP ^ \M `$!JK _ 5 M \ M _a `O `_ KM K _ \ _ b M & O _a \ T KM b V K `_ K _ &OM_TK ^ M 7: _5b -M K &KM 5OP _a \ _ -4/? % E Y ( / _aj L&,, KM b K N K _ _ KM K KM _ ^ b `_Jb ` & _!JKM \_ \_JM& ^^ N 6PM _ _ O _ b '* (b 26 _ ^\^ _!# %$ %&!# '$ )(!# & $ '&!# & $ )(!# %(*$!# %(+$ & %( KM & M ^ b \M, Y 6 7 Y O KM & M ^ (b Y 6 7 Y - /.?#1 7?* E E?*451 7!#,2$ %3 /. 4 5 _a& & 5 _ M \ ^ `_VKM (b _ KM (b& 26 OP M = ` KM ^ b ^ & 5 OM b O ^ K N, KM _ _,KM K 4 E

9 , 1 ; KM _J _ / VKM _ OM(b ^ _ 1 K _ & `_ _ M &K, O _ 8 ^ N KM Sb ^, _? ^ &M KM SOM ^ KM _ 6 E _ KM &OP \ &,`!JK 5 \K, _ % _KM ^ O \M `O & O K KM ^ b ^ \ & a K &M, KM b& + K &K& / ^ ^ N/` \_, \ ^ N OP OP, & K N KM M ^ O KM OP `_a \ O 1 ` \b `_!JK _J KM &OP \ &, ` &T `_ - %. % KM \_ _a,5 KM _KM ^ O K \ K _ ^ O OP \M, 4 _a 5 `O _ _ V KM M ^ _ ^^ KM 5 \K, _ % \M ^ R M ^^ N KM & KM S & _a K M \M KM N&' N,' 5 ^ N_a _ \ ^1 L,' L M 25M[ \_ K / N _a \M _a 6 & _ O \& _ K K b T K (b ^ / 5 P \ 6 OP OM,_ OP(b ^ `_ K N K _ _ ^ ^ / KM&_ ^ b& ^ OP _ T, N K 7 _a `O _ N \M \ \8 \S I;: M # D G : #NM #?LI # U GG? :P 4* OP J _a \ OP \_a 4 \ &? E KM ^ & 5 ^\^ _ KM ^^ \M KMPO ] M ^ M J M `O KM & O _ ^\^ N ^ O _a \ +-,#, 6 _ \M KM _ `_ _ ^ N / M OP \ _ & ^ / KM _ `O _ \O ^ _? 7 E & K KM \ KM b ^ ^ O ^^ \ MKM M ^ M KM M _a?? 7 E E \ _!JK \_ M ^\^ M _a `O `OP \ S 6P ` O b ^ KM _ `O _ \O ^? 7 E /P 4/ KM b a \ ^!JK \_ _ _a \ KM b O M _a \ KM _ & ^ ] _KM b K _ \OP OP,b ^ _ ^ _ KM _ 8 KM \ T OM b O ^ b `_ 5 ^^ _ _ T K [ b ^ M K: _ b 5 b O S _a &T!JK _ KM T b _ O / OOP O[& KM /M PO _a \ J KM J b KM ^ & ^ 5 4* KM ^ OP _a \ ^ _a KM _ O _ O ^ 26? 7 E? 7 E ^\^ &, \ (b [ _ _ 5 ^\^ ] ^ M & L O _ K O ^\^ ` T _ ^ N ^ 6<!JKM KM `_a O ^ M `OP & ^\^ KM b ' (b 26<!JK _ VKM &KM OP \ _ \ KM _ _a ^ _ O `_a & b '* (b [ \ _ KM L \O OP `_ 4 O KM b, \ a ` &!4* ^ 5 _ _ T R _ _a OP \_a 4 \? E / _a \MTK O b ^ _OP \M O<

10 % % % * % $ +!! % :!: GP;: P # G # R: JM ;M P = JG # ^^ M \& PO TKM \ J W* ( KM ^ &_ _ & M ^ N ^^ _ _ J K b \ &M, \_ M ^,` Q KM \? E? - 2JE M `_a, KM OP ^\^ Jb ^ KM M PO MM PO O< \_ K _ _ 5K & & ' & &+Y &! ^ N ^ ^ O K KM KM b, \ M,` 4* `_a \b KM [OP \ _ & ^ N a \ ^ KM & _ &OP \MB \_ ^ NP_ _ ^ & _ ^, N&!JK 6 `O b ^ KM _M PO _ ^ O \, KM [ M V_ /? E ^^ & b& N KM ^^ T \, ^? E? E? E? Y7E -M ^ \OP \ _ \ ^ /? E _ ^ \b OP _a 2 \ W b _? E _ _ ^ K \, \ ' _ / ^ KM, ^? E? E \_ ^ _ _ \M ^ & N! &M '*OP \T _ & ^ / b& ^ % 5'*OP _a \ ^ O 8 K,N 7: ' b ^ T % & K & K 5 OP \T _ &_ /&* 4/? EJ _ _ ^ OP ^\^ \ _a _ 4* L& M K KM P 8 6P ^ \: OM _ 2 O \ +P & Y\Y ^\^ OP 5M / & V ^ _ \/M [ 6P ^ & _ N \MKM b ^ K V 6P _a `_? EOM 5M `O? Y7E K b _ KM M ^ N KM M 5MV: [ \ _ \S _ b ^ 5 ^^ ^ _a OP 5M 6P ^ \ _ N, \M KM M O[ &85 OP, b ^ KM `_? E!JKM OP \ \T ^ T M ^ ^ \M : _ & & ' W* ( NY ' & $)* ')& & ^ & K 8 &, ^ M. 63/!JKM OP 85OP \& b ^, PO _ KM M[ OP _ 4 & b ^ `_ & _a \ # / KM _ O O OP b \ KM _OM \_a 2 \ / N ^ \M _ & \T<K ^\^ M $ &% _ ^ OPN L M 4 \_VM _ _ N SOP T \M & ^ N ^ ^ N KM _ P \M O,N OP >=, M7? Y3E; K O ' % 6S_a \ ^ 25 \!JKM & / $? E )( (+*? E ( + _a R _ _a &? ^ O 6PM _ _a \ KM KS _ ^ _ /8 P (+* ' #,? 1 E E O _ \T ^ 2 N M K [ K

11 %! % * / + $? E? 7 E *!JKM ^ \M _ & \T \? 1 E K &KM OM _a \_ \_ & OP ^ b ^ _ KM b & O ' % _ 26 P \M O &9 KM b '* (b 26? _,+ \ 1 E!JKM \ JM PO \_5M& ^^ N b & W5 b _ \_ _ ^ \_ L O K b b ` & $ KM & _ & `_ _ _a O b ` M \ ^ M & _? - 5 \ b ^ `_+E KM Jb ' (b 26<!JK N KM JM PO? E ' % ^\^ J O O M ^ _ ^ & N& ] &85 OP \, b ^ K VOP _ 4 & ^\^ \b NK 6PM _ _ & 2 # $ 6 /KM \_ _, _ N OP _ \ `O b ^ O N \, _ ' `_a OP &S-.. 9& 7 Y <K _ ^ [ &85 OP, b ^ a _VS T 6P ^ \ K _a ^^ b ^ _ KM &85 OP, b ^ _ ^ O _VM & _ _a \b ^ N& _a `O O 8 _ b \b :2/, ^ $KM ^ \M _ ) KM N ^ & K ` `_ &M 6P ^ &!JKM ^ 5 KM b ^ KM & VKM 6P ^ & \ : #XDF:!G # 5 _a 6P & O% K _ ^ `OTM ^ \M M _N[M&M \ J b, \ M,? - 1 E K KM J M O KM J KT '*OP _a \ ^ + K S b M & _5 M O _a \M `O * O M K b, \M Y ' 1 ' Y KM ` ' 7 K R _ _a M _a OOP O SK T ] &T a ; _ K b, \M KM T_ T KM _K TO & M & _ T ^ (N& O<!JKM M \M ^ &' KM ^^ _ _: _ Q b '* O? ^ CE :- \ 2 _ak_ KM b ^ &? E _ O \ K \ 6P \, _ T ^ ^ N KM 7 `_ M PO b ^ _ &OP O KM KM $) %M! 7 ^ K [ &T \? E M O!? E,N KM & b ^ & _ b& T_a K R _ _a K b M *M N O b ^ `_ / - 4/ )M % O )M 1 `_a \b ^ N&!JKM [ \, & ^ KM M PO _ K? E; K M M ^ NOP _a N? E? _ _ O M ^ _ OP _ _ _a `O ^ \,EV \_ ^ ^ N ` b ^ & KM \, & ^ 5KM M PO KM _ b O R _ _a K b \M M \M O b + 5 KM + _JKM N b V KM [R _ _ S b ^ b& O K KM _ b& PO KM [b ^ T K _ \? E ] KM \_V _ ` b ^,V KM, ^ KM [ M `O R _ _ 5 ^ \ _ & _OP \MT 6 \ _ KM _ ' b& _a /_ N! O!JK _ 5 P \ $ 1!JKM \_ \_J ` b ^,J? E! #?, $&%(' E

12 6 1.8 Output y Input x ^ `O +PN _a 4? E? E 7? E KM M _, _5 ^ \b M ^ OP _ 4 & \ KM _ ^ _a _a & - \ B _KM_ ^ TKM _ _ \ O KM S 6P 6P ` O b ^? [ 6P ^ & & ) E O \ 29 _ O & M ' &_ M KM \M ^ O _ T ^ _ O/( KM J_a ^\^ _a: \M 1 \, _ & KM b, \ M, _!JKM `_ /&&_a ^ N[ _a \ O[ \ ^ N 9 M J M J_ / \ b ^ N_a a ^ `O OTKM \M )M % ;!JKM _J & _ &OP `OT KM `_ J OP ^^ 5b ^? _a - \ _ 1 O2JE - \ _ ; / % /+ OI6 V_ \T ^ ^ _ K 6P ^ & \ _J & O K &K 85OP, b ^ _OP \M O,N ) 1 ; / ) ; / Y ) O 1 ) `_a \b ^ N&T & T b& N, \M? &2/ \8 & &[ \CE<P `O KM \M _ O, 6P ^ \ ^ b ^ _ _ &OP \M ) 1G; O ) ; 1 & M \T< N, \M P `O O KM, _a M O b ^ 9 &_ b& [_ OS,_ ' \8 & P ^ N!JK = ` 5KM &KM 6 ^ & \ ^ b& ^ _VOP \M O N BY ) O 1 )S _ ^ ^ N b \_ 2 ^ \ - \ _[+ O 6M KM ^ T MK `O 6 ^ & \ P', ^ N OP _a *_TK _a a ^ \M = O KM 6 \&VKM \K _ab ^ / M b& KM ^ ` KM _ \ _ O \8 \ b, \ M,[ K ' _ \ _ 4*- # 5 _KM ^ _V KM [M & ` \ KM ^ b& b ^ {! #$#% & (' ) *+,!.-!/' 1 2, 3 4*#$ /! )& 56, )& &) 7!4! #87- ) #$!9-9: ), / )! ) 7 ) ;' ) ) ;<; = ) > ) ACB! )! ), + ) 9D5E- 9 ) *;- 97 ) 7 F#G!9 77 ) ) Ḧ+!?-D )? *!4 '$!G 3 )!, ) IA

13 # 1 Value function for Output y.8 Dollar value Output range - 2 ^,- \!4 35 Querying Sequence Input Space - B N 6P ^ & &? +PN _a 4 E N \M K )

14 Y ) 35 Querying Sequence Input Space - \ ; ;6P ^ & &85 OP 4*, b ^? + NP_a 4 E ) 1 ; 35 3 Querying Sequence Input Space - \ % 6 ^ & \ 85 OM 4*, b ^? + NP_a 4 E ) ;

15 YY 35 Querying Sequence Input Space - \ [+ 6 ^ & \ 85 OM 4*, b ^? + NP_a 4 E Y ) 35 3 Querying Sequence Input Space - \ 6 6 ^ & \ 85 OM 4*, b ^? + NP_a 4 E 1 )

16 Y 1 35 Cumulative Output Value No of Points Collected ^ \b ^ R JK 4*OP 6 Plot Value of α & JKM ] (b& N ^ - \ # Q M! ^ =? + NP_a 4 E

17 YK2 1.8 Output y Input x - \ Y ) ;+P ^ `O +PN _a 4 4 KM _J \& _ `O OP S=, ^ b& ^ _J 6P ^ \? b ^ `_+E!JKM ^, 5 \ ^ &M' ^ b& OP ^\^ Jb ^ O 6P ^ & _JK _ O 8 & \S \ - KM 6P \, \, _ `O K M KM _a \ ^ O_NP_ K b,' M M&P' T&M M S K _ \ K _ K M \ - \ Y ) + O a M _ M K O KM Y ' 2(' Y7 `O * O KM ` &!JKM b ^ ' \ /OP M \ `O - \ YY / ^ _ b \ O _ ^ \K, ^ N? 8) ; O ) \Y7E P4*, _ JKM b, \ anp_a B _OP _ (b `O K KM KM \M ^ _ T ^ OP M `O KM KM J V 6 ^ & \ O O _ a ^ `O O KM N, \M ^ b ^ JKM \KM `_ b ^ & OP _ (b O K [ 25 KM \M ^ ^ OP O &,V ^,_a K, `_ b ^ \? ) %G6 E KM 6P ^ & & ` ' _ _ ^^ N O KM \M `_a OP 7 _ab ^ 4*SK _a `_ K V KM M ^ _ T ^ 7 _ (b& O KM _ & & /, K [ N, \M N 6P ^ \ _ a ^ `O O \ ^ [b ^ & ] \_a KM _ KM - \ Y 1 6 ^ & \ KM M ` ` N \ OP 5O K `_ b ^ O ^ _S KM \8 & KM _NP_ ;6P ^ \ 6P \, _ K OP >=, b ^ `_ K T 85 OM [ \& b ^ ' \, N ^ OP `O b N M ^ b& ^ _ &_aa' \ M \ ^ N akm - \ _SYK2/JYB/JY ; O Y % 4* - Y(+ ak K ^ \b b ^ JK _a b& [ K / \ _ ^ M b ^ N \ ^ O/ KM ^ b& ^ 6P ^ \ ) 1G;T ^^ NOP O3 ')' K 6P ^ \!JKM _ ^ ^ N OP _ _ K b M & _ / KM \ 5 M N M% O N/ 6P ^ \[K _ KM J, ^ V 6 ^ & \ _ ^ &M

18 YB 1 Value function for Output y.8 Dollar value Output range - \ YY ^ - \! Querying Sequence Input Space - \ Y 1 N 6P ^ & &? +PN _a 4 4 E N \M7 K )

19 Y ; 25 Querying Sequence Input Space - TY72 ;;6P ^ & &85 OP 4*, b ^? + NP_ 4 4 E ) 1G; 25 Querying Sequence Input Space - \ YB ; 6 ^ & \ &85 OP 4*, b ^? + NP_a 4 4 E ) ;

20 Y % 25 Querying Sequence Input Space - \ Y ; ; 6 ^ & \ &85 OP 4*, b ^? + NP_a 4 4 E Y ) 25 Querying Sequence Input Space - \ Y % ; 6 ^ & \ &85 OP 4*, b ^? + NP_a 4 4 E 1 )

21 Y + 14 Cumulative Output Value No of Points Collected ^ \b ^ R JK 4*OP 6 Plot Value of α & JKM ] (b& N ^ - \ Y + Q M! ^,=? + NP_a 4 4 E

22 ! YK6 M P _ _N \ ^ O< ;GP B EP!JKM 8 O ^ && ^ :J. Y/ %/ 1 )3/PK _ T & M `O \ &, ^ KM & N VOP `_ 4 P ^, ^ K O[K M K 5 b, \ M, \ \T OP \M (b& KM K _anp_a S ] O ^, ^\^ < N, KM ^ _ _a ^ _ b a' _a `O L \O KM 8 _ b `O TPOP ^ :` _ M & _ _a \b ^ NV M (b `O,NTM M \M? &* 4/ \b ^ M \M E O K VOP `_a \ KM &, ^\^? & N K O 1 _a _ K [M P _ _ \M _ & ^ P \ KM OP _ \ `O ^ b ^ E \_ _ O & KM ^ M O TPOP ^ ]^ \b ^ N KM 6P \_a _T KM MT 8 POP ^ ' G: O ^, ^^ KM K M _ KM b, \ M, & [OP \ ` ^ N M (b M KM, ^ KM K b KM &K KM T, T `OP [M P _ _ S_ b `OPOP ^ ] N_ K KMPO/M _ /PKM5 b / _a L& KM ^ S 6P ^ ' \ O 6P ^ \ $ # 5 ' *+'C' ) 4 ( 5,- *+5 'C* + PO KM &K OP ^^ b ^ N, \ ^ O _ 6 ^ N OM _ ^ 1 \b N P ` /M KM &B KM KM [ 6 \T, _ `O ^ V _ _ ^ _ K N M &_a &P \ \_ &[ \ & _ K ^ M *& 75, ^ / / \ KM & OM_ /KM N _a ^ JOP M `_VKM && ^^ O M < \M M _a \ T _ O ^ ^ _ KM 6 OP _ \ `O &_aa' P ^ _ &, _OP ^ OP T \M b K &K 5 ^\^ '*OP 5 M O TOP ^^ b ^ K \_a? E OS KM OM_ KM OM \ N [L M [KM _ & `_ KM _ V, ^\^ \M KMPO OM b& \O L, \M 1 ` N/&_ J \&J 5 ' [POP ^ / _ O ^ N & N M `_ / a / TOP _ &M O 6P _a 1 \b & _ K _ KM 6P ` `O b ^ ^ ^? 6 ' ^ & b& 7E& KM M O &85 OP, b ^ & K 6P ` `O b ^? 6P ^ &CE!4*MK, KM \ K \_ 1 ` b& Tb ^ 6P \T _ \ _ ^ _a KM _ ^ _& ^ O \M _a N b OP \M N ^ ' N ^ ^ _ _J K _J&_ _a 4 ^ ^ ^ N _ K 1 \b \ \_ \M 6 T KMPOI. 1 1 /PM O \M _a &_a N \T (b \M b ^ & ] _ KM 5T KMPO \ ` 25 ^^ N OP \ O OM_ P M \M _ \, \8 \ Y W b M & K _a _? ^ K &K[ KM \_ _ OP _ (b `O \ J &P' _a ` [ \ K T _ 6P ^ & \b &_aa' P ^ N _a %+ ` \ ; E ^\^ ^\^ OM ^ ' [, ^ _a &N ] _ K \ OS &,, _J KM ^ OPN,' b ^ ^ O '*_a * K KM,_a _ KM _N _a N, \ ^ O/ KM _ \ K _ \ _ O ^ &, ^? M M \M & & \M (b& ' T, E K [KM [M \ TPOP ^ ') KMPO O ^, ^? _ - \ Y76 E / KM K ^ _ b N KM && ^^ OT \M _ & ^ K KM ^ P _a \MTKM ^ N ^ OS K M P _ _ KM 5M O N

23 ! Y # QUERY-DESIGN MODULE Capable of gathering data, designing and conducting experiments and altering the controlled input setting CONTROLLED INPUT PLANT SETTING x y Cost-Optimal Output - TY76 ] POP ^ ' -M,+P KM,_ ' < M \ ^ ^ && ^ $ 5* /' 4, / ' ) 4 ( 5,- *+5 -M, ^,_a `_ ^, _ K _ K &M - 1 $ &_aa' P ^\^ N,N_ \T ^ N_ ^ \M[ KM M KM KM VKM 6P ^ & \ _ 5 ^\^ N_ ^ 4 5 \_5M ` _ _ N[ [ ^ N KM &_ KM \M Jb ^ K J 6P \T _ _ OP 5M O \ ` &? Y7E ] b `O 6P, _? _a - BJE/ KM 6 ^ & \b \ _ ^ \ ^ N _a a ^ O KM _a OP ^\^ b ^ KM W5 b / & ^,, K T&P' T&M M K _ \ _V_ K _ KM M 5 7- VỲ ) /( K _: _a [ \T 6P & _ K 5 6P ^ \TOP _ M ^ NP_OM \_ (b& KM T M `_a OP `_ b ^ KM KM OP _5_a& MOP OM_ KM KM KM \M ^^ ^ `O_ ^ K _ &, _ ^,_a K [OP _ \ `O & & R M ^\^ NKM /M \ _ K _ _ /P 6P ^ &? N, \M KM M O &85 OP, b ^ E _ M OP `OT POP ^ KM ^, O _ OM \_ (b& N K &_aa' P ^!JKM 6P ^ & \ \ _ / /P K 6P ^ & &S \ _5 2 _ \, ^ N ^ N, \M O N _ L \&, 4*! ^ Y _a& KM _ ^,V \& _ b&, \ ^, ^ KMPOM_Jb& _ _,_ ' < M \ ^ ^, ^ / ak $ , O, 4 H2,/O2*+5, ', -+!JKM N, \M KMPO 1 _a OP `_ 4 `O & P \M \M KM &K b ^ N \ ^ O K _7 _akmt, VKM \K ^ N = ` b& 5O ^ && ^ _a _N _a /&* 4/8 K 5 6P O O b,v_a \& ^ T _M ^ & ^ O b \ &M, _ [ OPN / - 4/Tb `_ (b& \b \_ ^ O b M &J K _ ' _ /& KM <KM b ^ \? E N K (b& /!JKM _ ^\^ 6 M `O \ 5 L

24 ! 1 ) CONVENTIONAL CONTROL METHODS COST-OPTIMAL DUAL CONTROL Mechanical, repetitive Based on following a setpoint, trajectory or reference model Decision-making, learning from experience Based purely upon query (or experiment)-design Observer-based Observer-free Much low quality product in modeling data - high wastage cost Wastage cost optimal Based on an Active Learning Method Observer Design based on Passive Data Sampling EXPLOITATIVE Produces best results for a monotonic environment only EXPLORATIVE Generally optimal for all environments! ^ Y&T \_ KM N &_ O KMPO K & b, & ^, ^

25 1 Y B! P;M #!JKM ^\^ \M & ^ OP \M L _ OP KM & 5 L ] _ M KM M `O M K / ^ (N _a _ \ ^81 L,' L M 25M KM ' N/P L& _5 &_ _ 2 ^ _a \ KM OP _ 4 &S L, ^ ^!JKM M N && 4 & K \_ `_a K /`KM b / \_ K N K _ b `_ O KM J &_aa' M 5M b, \ \, JK b& \, O `O K J P N, \MVKM J \, _a. #! ' 7OM ^\^ b ^ 5 \_ O[K 5 \, 6P a TOM \_ &, N 6P ^ b& [ N `_ 6P O b ^ [ _ 6M ` \b ^ N _a \ `O O _ b b& O ^ \L ^ N \_ _ \8 \ b, ^ ^ M W b _ K 6 ^ & \ ^ O% K &K ^ N _ ^ \OP `_a \M \M POP ^ ') ^,, ^^ % PO KM \K OP ^\^ b ^ /5 ' ^ ^ N &M b M & _ 6P ^ & \ JKM &KM M, OM_ ^ & 85OP \, b ^ _ &K 6P O b ^ VK _M & \_ &_aa' M \ ^ N K &KM 5 \ \? KM V 6P ^ & &P' 6P ^ & \M \ ^ OP G= E!JKM &_aa'* &M & \_ O 6P ^ & \8 \ \ KM 6P ^ ' ^ N NTK O & \K ^ ' M 5? _ O _J ^ \b VM PO b ^ N \ ^ O KM \ 5 TK 29 `O \, _ E 4* a \ b \ &M, _ KM ^ &M N \ ^ O 6P ^ b& N M ^\^ 6P `OTK 6P ^ & : U : J:!O:M.Y / QJ a' + K ^ & O!_a & ^ = / a \& N \b ^ O _a P' & _ap K _ \, ^ *&Y *! ')& &Y & ' $)* ')&! & ' ( / Y #? ; E B,#DB ; )&) /MỲ #,+B. 1 / KM / Q ] ^ _ / O Q Q OMM `! \M \M M \M _ 5 L _ K `_ OT_a ^ ` b& J_ ^ \M94* &! 9 L,N / OM /7 W3*D&!#NY & & 8 * ( & ' $)* ')& &!#NY Y & & - Y ' $RY & M M / + / ^ & a' M /<Y #&#). 2/ b O ] &KM ^ M & L 6P ^ & _ M \ ^ 6P \, OP _ \! KMM ^ ] 4 ' YB,#MY /, Q O &M \b +P \ _ /M K _ _4*_a! ` KMM ^ &N/PX M Y #&#DB. BD/ b O ] &KM / R K KM M / O K ^ 4 X& O ] \b ^ P' K _ _a ^ POP ^ _ 4* RT! _ /! 9 L N/ O! M Q / OP & _ /7 W*&!*NY & & 8+* ( & ' $)* ')& &!# Y Y & & - Y ' $ Y /M M \OP& / ] / Y ## ; PL4! N _ _. ; / [ [ -M `OP (b # '. ' & $)* (. & $ & ' Y N M ^ N O K ' ^ +, _ \ _ ] OP N _ _ / Y # + 1. %/ ] -M ^ : O8 S!JK N MO ^, ^ / ' ' $)* ')& &*& 7 $ ' & ' ( / 1 Y? # O YY3E \Y 1 B&) Y 1 B&# O YKB ; 2 YKB&%DB /MY #&%)

26 1G1.U+7/ -M O /,W[ + 8+ M/ + K T \ / O!J \_K,N&C4* \ /,M OP & / O N N &L4* 7 W*&!#NY & & 8+* ( & ' $ * ' & D&!#NY Y & & - Y ' $RY /Pb ^ ; M & 5M /+ / ^ 2 M / Y ## 2M. 6/ Q `_ ^ IN L M ^ ^ *,& & & - & & $ 7V7 7 Y ' $RY!JKM S4! N _ _ / M OP& /P ] / Y ## 2M. #/ Q `_ ^ N LM ^ ^ \M/ \ K ^ Q Q a / O ] OP \P' T, ^ M \M ] _ b& N& 8,& * ( ' ')&! & * ( & ' ( ( &S- &!# NY *! / B ; /Y #&#%. Ỳ )/ + + KM \N M K O Q b \OP ] & ^ _ b& N 8 &, ^ M \M * 7 *& *. ( & Y 7 ' & 7& *&!+* 7 $ '! & &!#NY /PX N Y #&# ;. Y&Y / ] OM _ M &K O X& _ OM ^ _ N5 ^ M & L _ ^ `_ / &_ _Jb ^ ' O & O \b ^ M 4* RT! _ / + M! 9L N / O! M Q / OP & _ / 7 W*&!# Y & & 8+* ( & ' $ * ' & D&!# Y Y & & - Y ' $ Y,4!HN _ _ / M OP& ] / Y #&# ;. Y 1 / ( M N&D4*8 &P') _ O 1 ` b& \_ & \b 5O _ ^ & 8 * ( $. ' * ' & D& / B? B E ; #) %&)DB/ Y #&# 1. Y72/ < < P'*_a ^ M \M! ` KMM ^ & a Q < R 4 '*# ; ' B /<!JKM Q & \ R /+, 8 & O 6 b& _a N/<Ỳ ## ;. YKBD/,-M OP L,_ ^\^ O X&KM! L& N& * ' * &A* ( Y & Y*& 7 - Y Y & & #!*D& 7 8 Y & & ' * ')& Y ' &!NY ] OMOM \_P' _ ^ NN ^ \_KM \MT/J4* / N KM ^ \P' M \M _ /<Y # ++. Y ; /[RT N OSX M \OP Q5 N& _ N _a \ M ^ M ' & L POP ^ _J4* (! 9 L N ^ / `OP /7 W3*D&!#NY & & 8 * ( & ' $ * ' & D&!# Y Y & & - Y ' $RY /Pb ^ [+ 4!PN _ _ /M M OP /M ] / Ỳ ## ;. Ỳ %/!J K ML NK OPK O Q O RT V W N& ] ^ &' K \b O ^\^ ` \ ^ M \M _a 4M ^ N _ OPN K M ^ M 5 LP_/! KMM ^ # ; ' Y(+2 / a, ' / \ 6 M b& _a N/ + 1 Ỳ )# ] _a ^ / N Y #&# ; ] _a' _a 4 ^ N -!N \! #! $ %'&)(+*-,'. /!#1 2!134 $P. Y(+7/!J K ML NK OMK O Q & O RTVJW T N _ \ O ^^ \3 N b& ^ M \M!4* & '5 D& ' 8+* ( ' 5 Y / b ^ 2 /P `_ YK2G2 6 YK2DB Y 4 /P(b Y #&# ;. Y76/!J K ML J NK OPK O Q O RT VPW N ] V OM ^\^ \M K _a `O O ^^ \ \b ^ M ^ & KM 4*! Y ' * ( & *& & ' ' 8+* ( ' 5 Y /( & _ Y&Y Y ; ] _a ^ ` 6 M b 4/ ] M ^ Y ##&%M

27 1 2. Ỳ #/!J K ML NK OMK )/ X& = N V W K / Q O RT(V W N /+ ^ M T + M/ O! _ `_ a ] M \M _ M K ^ N _a' _a `,[ O M PO _ 4*! Y ' +* ( & *D& & ' ' & ' ( ( 4/ & _ B 2 ; JB BY& ^ O +P \, 5 /(b& Ỳ ## ;. 1 )/ M ^ X ] _a O Q 1 a M L 7 *. ' & W D& ' ( ] OMOM \_P' _ ^ N/ Y # 6#M. 1 Y /W + + M/M < M / O W+ & ^ \_L,N& N7 N &T a & 4*!#* 7& & - Y% ' ' & ' ' Y. & $. ' * ')& & * ( *,& & & - * /< & _ #DB / + S / ^ 2 M /<Y #&# 1 P & 5M. 1 1 / ^ OP :+ K MM& N & M ^ N \M KM ` & ( Y. &! * ( * - * & & / BY 1 ; % 1 + ; / Y # ; )M. 1 2/ N + ^^ \ K Y & & - & ' ( ( &S- & ' NY ' & D&+Y ' ' * ')& Y ' &! * ( #! *D& &!NY ' +*,& & & - N K K _ \_ /6 b& _a N ; OP \ K / Ỳ ## ;. 1 BD/ N :+P ^\^ K O b O + & O< Q M & `_ 6P \ \8 ' \T T T \T ^ N ^ ^ M ^ _ %4*RT! _ / +<! 9 L N/ O! M Q / OP & _ / 7 W3*D&!# Y & & 8 * ( & ' $)* ')& &!# Y Y & & - Y ' $RY L4! N _ _ / M \OP& ] / Ỳ ## ;. 1 ; / V! `_ a O Q RTV W N& &M & _NP_ ON, + 25 \!N55! ] 6 # ; ()&)G6YK2 / ] MK: _ Q \_ _ Q `O/ Y #&# ;. 1 %/X = NV W K / Q ORTMV W N/V,! _ _a a / O + ^ M + M ^ L T \_a \ _anp_a _ M K N M \O 25 ^ M ^ M 5 LP_R4* & '5 & ' 8 * ( ' 5 Y / b ^ T Y/ `_ 2 + B 1 4 /P(b& Ỳ ## ;

28 ? I JI;: IJI! JM : 8 : _ & \ ^ ' / 4*OP W \b O Q OT OM `_ ^ ^ M \M M & X O b A6M \b _ N/ ^ Ỳ #G6MY O Y # 6DBV `_a \b ^ N W 5 L `O _a b ^ N& _ \S O _ ^ &_ &_ O _ N K OP O \& \M 6M ' b _ N& W _ _a OM, KM 4 O O PK 4* _ \ M \M _ / ] _a ^ W _, _ K, _a _ KM ^ M / M ^ 5 L _ O OM & ^, ^ _N _a _ : 8 _ + M \ Q M \ 6 b& _a N W \_S ' _a K \& _a _, V& b _a \ O a' 25 ^ M ^ M 5 LP_ W N b& O KM _ Q +M? K_ E \ +, _ \ _; O6 b& _a N Ỳ #G6 1 O KM _N K \$ +M \ & M & ^\^ & 6 M b& _a N Y # 6G6M W _ T' 4 O K ] _ ^ N a &' M & + P \ N Q `_a OP _ K \_ _ _a \ ^ b ^ b& ' T, _ / Q O _ KM _ O b& \ KM _ ^ P ^ K K