Montreal - Quebec, Canada.

Transcript

1 ÂÆÁÃÇ Å ÌËÇ ÁÇ ÈÇÄÍÌ ÉÆ ÁÇ ËÉÇÄÀ ÀÄ ÃÌÊÇÄÇ ÏÆ ÅÀÉ ÆÁÃÏÆ Ã Á ÅÀÉ ÆÁÃÏÆ ÍÈÇÄÇ ÁËÌÏÆ ÌÇÅ Ë ËÀÅ ÌÏÆ Ä ÉÇÍ Ã Á ÊÇÅÈÇÌÁÃÀË ËÙÑ ÓÐ Ø Ò Ò ÔØÙÜ ÈÓÐÙÔÖ ØÓÖ ÖÕ Ø ØÓÒ Ò ÔØÙÜ Ó ÊÓÑÔÓØ Ó Ð ÕÓÙ Ø Ó Ò ÕÙØ Å : ÖÑÓ ØÓÒ Ô Ü Ó ÊÓÑÔÓØ É Ö Ñ Á ÃÌÇÊÁÃÀ Á ÌÊÁ À ÁÛ ÒÒ Æº Ã Ö ÒÒ Ò Ñ Ö Ó ¾¼½¾

2 ÂÆÁÃÇ Å ÌËÇ ÁÇ ÈÇÄÍÌ ÉÆ ÁÇ ËÉÇÄÀ ÀÄ ÃÌÊÇÄÇ ÏÆ ÅÀÉ ÆÁÃÏÆ Ã Á ÅÀÉ ÆÁÃÏÆ ÍÈÇÄÇ ÁËÌÏÆ ÌÇÅ Ë ËÀÅ ÌÏÆ Ä ÉÇÍ Ã Á ÊÇÅÈÇÌÁÃÀË ËÙÑ ÓÐ Ø Ò Ò ÔØÙÜ ÈÓÐÙÔÖ ØÓÖ ÖÕ Ø ØÓÒ Ò ÔØÙÜ Ó ÊÓÑÔÓØ Ó Ð ÕÓÙ Ø Ó Ò ÕÙØ Å : ÖÑÓ ØÓÒ Ô Ü Ó ÊÓÑÔÓØ É Ö Ñ Á ÃÌÇÊÁÃÀ Á ÌÊÁ À ÁÛ ÒÒ Æº Ã Ö ÒÒ ËÙÑ ÓÙÐ ÙØ Ô ØÖÓÔ ËÔÙÖ ÛÒ º ÌÞ Ø ÇÑ Ø ÑÓ Ã Ø ºÅºÈº È ØÖÓ º Å Ö Ã Ø ºÅºÈº ÃÛÒ Ø ÒØÒÓ Ëº ÌÞ Ø Ô ÓÙÖÓ Ã Ø ºÅºÈº ÈÖÓ Ö Ô Ø Ò ÔØ Ñ Ð Ü Ø Ø Ô ØÖÓÔ Ø ¾¼ Ñ ÖÓÙ ¾¼½¾º ºººººººººººººººººººººººººººººººººººººººº ËÔÙÖ ÛÒ º ÌÞ Ø ÇÑ Ø ÑÓ Ã Ø ºÅºÈº ºººººººººººººººººººººººººººººººººººººººº È ØÖÓ º Å Ö Ã Ø ºÅºÈº ºººººººººººººººººººººººººººººººººººººººº ÃÛÒ Ø ÒØÒÓ Ëº ÌÞ Ø Ô ÓÙÖÓ Ã Ø ºÅºÈº ºººººººººººººººººººººººººººººººººººººººº ôö Ó Èº È Ô Ð ÔÓÙÐÓ Ã Ø ºÅºÈº ºººººººººººººººººººººººººººººººººººººººº ÃÛÒ Ø ÒØÒÓ Áº ÃÙÖ ÔÓÙÐÓ Ã Ø ºÅºÈº ºººººººººººººººººººººººººººººººººººººººº Ò Ö º ËØ ÙÐÓÔ Ø Ã Ø ºÅºÈº ºººººººººººººººººººººººººººººººººººººººº ÒØôÒ Ó ÌÞ Ã Ø È Ò Ô Ø ÑÓÙ È ØÖôÒ Ò Ñ Ö Ó ¾¼½¾º

3 ººººººººººººººººººººººººººººººººººº ÁÛ ÒÒ Æº Ã Ö ÒÒ ÔÐÛÑ ØÓ ÕÓ ÀÐ ØÖÓÐ Ó Å Õ Ò Å Õ Ò ÍÔÓÐÓ ØôÒ ØÓÙ È Ò Ô Ø ÑÓÙ Concordia Montreal - Quebec, Canada. Copyright c ÁÛ ÒÒ Æº Ã Ö ÒÒ ¾¼½¾º Å Ô Ð Ü Ô ÒØ ôñ ØÓº All rights reserved. Ô ÓÖ Ø ÒØ Ö ÔÓ Ù ÒÓÑ Ø Ô ÖÓ Ö Ü ÓÐÓ¹ Ð ÖÓÙ ØÑ Ñ ØÓ ÙØ ÑÔÓÖ ÓÔ º Ô ØÖ Ô Ø Ò Ø ÔÛ ÔÓ ¹ Ù ÒÓÑ ÓÔ Ñ Ö Ó ÓÔ Ô ÙØ Ö ÙÒ Ø ÙÔ Ø Ò ÔÖÓÔ Ò Ò Ö Ø Ô ÔÖÓ Ð Ù Ò Ø Ö Ø ØÓ Ô Ö Ò Ñ ÒÙÑ º ÖÛØ Ñ Ø ÔÓÙ ÓÖÓ Ò Ø ÕÖ Ø Ö Ö Ó ÓÔ ÓÔ ÔÖ Ô Ò Ô Ù ÒÓÒØ ÔÖÓ ØÓ Ù Ö º Ç Ô Ý Ø ÙÑÔ Ö Ñ Ø ÔÓÙÔ ¹ Ö ÕÓÒØ ÙØ ØÓ Ö Ó Ö ÞÓÙÒ ØÓ Ù Ö Ò ÔÖ Ô Ò ÖÑ Ò Ù Ø ÒØ ÔÖÓ ÛÔ ÓÙÒ Ø Ô Ñ ØÓÙ Ò Ó Å Ø ÓÙ ÈÓÐÙØ ÕÒ ÓÙº

4

5 È ÖÐ Ý À Ô ÖÓ ØÖ ÔÖÓØ Ò Ñ Ö ÖÕ ÔÓÐÙÔÖ ØÓÖ ÖÕ Ø ØÓÒ ÖÑÓ Ñ Ò ØÓ Ô Ó ØÓÙ Ô Ü ÓÙ ÖÓÑÔÓØ Ó Õ Ö ÑÓ º À ÔÖÓØ Ò Ñ ¹ Ò ÖÕ Ø ØÓÒ Þ Ø Ñ Ñ ÛÐ ÙÑ Ò Ö ÖÕ ÓÑ ÔÓÙ ÔÖ ØÓÖ Õ Ñ ØÞ ØÓÔ µ Ò Ø ÙÒÓÐ Ò ÙÑ Ò µ Ø ¹ Ø ØÓÙ Ù Ø Ñ ØÓ ô Ô Ø Ò Ü Ð Ü Ø Ö Ñ Û Ñ Ò ÖÓÑ top-down» bottom-upµ º Å Ø Ò ÓÖ ÒÛ ØÛÒ ÔÖ Ø ÖÛÒ Ò Ù Ö Ñ ÒÓ ÔÖ ØÙÔÓ Ñ ÛÐ ÙÑ Ò ÖÕ Ø ØÓÒ ÔÛ ÙØ ÔÓÙ ÔÖÓØ Ò Ø ØÓ ÔÐ Ó Ø Ô ÖÓ ØÖ Ô ØÖ Ô Ø µ Ô ¹ Ö Ø ÖÛ Ô Ø Ñ Ø Ø ô Ô Ó Ò Ø Ò Ñ Ø ØÓÔÓÐÓ µ ÑÓÒØ ÐÓÔÓ ØÓÙ Ù Ø Ñ ØÓ ÙÒÓÐ Ñ Ò ØÑ Ñ Ø (modular) Ô Ö ÐÐ Ð ÓÑ Ñ ÒÓ (structural) ØÖ ÔÓº ÀÔÖÓØ Ò Ñ Ò Ñ Ó ÓÐÓ ¹ Þ Ø Ø Ò ÖÑÓ Ñ Õ Ò ÑôÒ Ó Ò ÕÙØ Ñ Ñ ÓÔ Ø Ò Ü Ð Ü ØÓÔ ÔÔ Ó ÔÖ ØÓÖ Ñ ÒØ ØÓÕ Ø ¹ Ø ÛÒ ¹ Ö ÛÒ Ò ÙÒ Õ Ô Ó Ñ ÓÙÖ ôòø Ñ ÙØ ØÓÒ ØÖ ÔÓ Ò ÔÓÐÙÔÖ ØÓÖ Ø Ñ ØÓ ÓÔÓÓ Ô Ò Ò ÔØÙÜ Ø Ø º Ç ÔÖ ØÓÖ ÒØ ØÓ ÕÓ Ò Ò Ü ÖØ ØÓÙ ÑÓ Ð Ù Ö ØÓÙ Ù Ø Ñ ØÓ Ó ÓÔÓÓ Ô ØÙ Õ ÒÓÙÒ Ò ÔÓ Ø ÓÙÒ ÑÔ Ö Ò Ò ÔØ ÜÓÙÒ Ü Ø Ø Õ Ø Ñ Ø Ò Ø Ð Ù Ö Ñ ÒÛÒ Ö ôò ÙÒ Ö Ø Ó Õ Ö ÑÓ Ñ Û Ñ ÙÒ Õ Ñ Ò Ü Ö Ò (exploration) Ü ÓÔÓ (exploitation) ØÓÙ ÕôÖÓÙ ÒØ ØÓÕ Ø Ø ÛÒ ¹ Ö ÛÒº À Ô ÖÓ ØÖ Ñ Ð Ø Ø Ò ÖÑÓ Ø ÔÖÓØ Ò Ñ Ò Ñ Ó ÓÐÓ ÔÓÐÙÔÖ ØÓÖ ¹ Ó Ò ÔØÙÜ Ó Ð ÕÓÙ ÔÖÓ Ð Ñ Ø ÔÓÙ ÔÖÓ ÖÕÓÒØ Ô ØÓ ÕôÖÓ ØÓÙ Ô Ü ÓÙ ÖÓÑÔÓØ Ó Õ Ö ÑÓ Òô Ô Ö ÐÐ Ð Ü Ø Þ Ø Ò Ô Ø Ñ Ø Ø Ø Ù Ö Ñ Ò ÖÕ Ø ØÓÒ ÙÒ Ö Ø ÙØÓ ÒÓ Ñ Ò ÖÓÑÔÓØ Ù Ø Ñ Ø º È Ó Ù Ö Ñ Ò Ø Ð Ò Ô ÖÓÙ ÞÓÒØ ØÖ ÒÓÐ Ô Ö Ñ Ø ôò Ó ÑôÒ Ñ Ø ÕÓ Ø Ò Ü ÓÐ Ø ÔÖÓØ Ò Ñ Ò Ñ Ó ÓÐÓ¹ ½µ ØÓ ÔÖôØÓ ÒÓÐÓ Ö Ñ Ø ôò Ô Ö Ñ ØÛÒ ÛÖ Ø Ò Ô ÖÔØÛ ÔÐ ÒÓ Ø Ò Ñ Ø ÐÙ ÓÔÓ Ô ÖÓÙ Þ Ò Ñ Ø Ó ÔÐ ÓÒ ÑÓ (kinematic redundancies) Û ÔÖÓ ØÓÒ Ô ÙÑ Ø Ø ÕÓ ¾µ ØÓ Ø ÖÓ Ô Ö Ñ Ô Ø Ò Ô Ö Ø ÖÛ Ø Ò ÔÖÓ Ó Ñ Ò Ô ÖÔØÛ ÛÖôÒØ ØÖ Ô Ö ÐÐ Ð Ò Ñ Ø ÐÙ Ó ÓÔÓ ÙÒ Ö Ø ÔÖÓ Ô Ó Ò Ò Ô Ø ÕÓÙÒ Ø Ö

6 ÖÓÑÔÓØ Ð Òô µ ØÓ Ø Ð ÙØ Ó Ô Ö Ñ ÖÑ Þ Ø Ò ÔÖÓØ Ò Ñ Ò ØÓÔÓ¹ ÐÓ ÙØÓ ÒÓ Ñ Ò ÖÓÑÔ Ø Ø ÓÔÓ ÔÖ Ñ ØÓÔÓ Ó Ò Ö Ø ÔÓÙ box - pushing Ð Ô Ó ÒÓ ô Õ Ö Þ Ñ ÒÓÙ ÒØ Ñ ÒÓÙ Ô ÙÑ ¹ Ø ¹ Ø ÕÓµº Ç Ô Ö Ñ Ø ÙØ Ó Ñ ÔÓ ÓÔÓ Ò Ø Ò ÔÓØÑ Ø Ò Ø Ø ÔÓÙ Ô ÖÓÙ Þ ØÓ ÔÖÓØ Ò Ñ ÒÓ ÔÓÐÙÔÖ ØÓÖ Ø Ñ Û ÔÖÓ Ø Ò ÙØ ÒÓÑ ÔÖÓÓ ÙØ Ô Ø ÙÒ Ö Ø ôò Ü ÓØ ØÛÒ Ñ Û Ñ ÛØ Ö Ö Ñ º ÙØ ÛØ Ö Ö Ñ Ò Þ Ø ÔÓ Ó ØÛÒ ÔÖÓØ ÖÛÒ ÓÑ ÒÓ ÔÐ Ö ÑÓÒØ ÐÓ Ø Ø ¹ ÐÓ Ñ Ò Ö Ó Ø ÓÐÓÙ ÔÓ ØÖ Ø ÓÐ Õ Ö Ò Ø ØÓ ÓÙ ÙÒÓÐ Ó ÑÓÒØ ÐÓÙº Ì Ô Ö Ñ Ø ÔÓØ Ð Ñ Ø ÔÓÙ Ô ÖÓÙ ÞÓÒØ Ø Ò Ô ÖÓ ØÖ ÕÒÓÙÒ Ø Ò Ô Ø Ñ Ø Ø Ø ÔÖÓØ Ò Ñ Ò Ñ ÛÐ ÙÑ Ò - Ö ÖÕ ÖÕ Ø ØÓÒ ÔÓÙ Ò Ó ÔÖ ØÓÖ ÑÔÓÖÓ Ò Ò ÖÓÑ Ò ÔÖÓ Ø Ó Ò Ø Ò ØÓÔÓÐÓ Ð ÔØÓÒØ ÓÖ Ø ¹ Ó ÑÓ Ð Ù Ö º Ô ÔÐ ÓÒ Ò Ð ÓÒØ Õ Ö Ø Ö Ø Ò Ù Òô ô ÙÖÛ Ø Ø ÔÖÓØ Ò Ñ Ò Ñ Ó ÓÐÓ Ò Ñ Ø Ó Ð ÕÓÙ ÔÖ Ð ÔØ ØÓÕ ÓÑ ôò ØÓ Õ ÛÒ ØÓÙ ÖÓÑÔÓØ Ó Ù Ø ¹ Ñ ØÓº Ì Ô Ö Ñ Ø ÔÓØ Ð Ñ Ø Ø ÓÔÓ Ô ÖÓÙ ÞÓÒØ ÙÔÓ Ö ÑÑÞÓÙÒ Ø ÙÒ Ø Ø Ø ÔÓÙ Ô Ö Õ Ò Ø ØÓ Ó Ø Ò Ñ Ñ ÒÓ Õ Ñ ÖÓÑÔÓØ Ó Ð ¹ ÕÓÙ Ø Ò ÓÒØ Ø Ò Ô ØÙÕ Ø Ð ÙÒ Ö Ø ôò Ò ÛÒ Ó ÓÔÓ Ó Ó Ò ØÓ ÖÓÑÔÓØ Ø Ñ Ò Ñ Ø Ð Ù Ö Ñ Ñ Ø Û¹ Ö Ø ÐØ Ø (near-optimal)º Ò Ð ÓÒØ Ø ÔÓØ Ð Ñ Ø ÔÓÙ ÔÖÓ ÙÝ Ò Ô Ø Ò Ô ÖÓ ØÖ Ò Ø Ø Ò Ø ØÓ Ó Ø Ò Ñ Ñ ÒÓ ÔÐ Ó ÖÓѹ ÔÓØ Ñ Ø ÙÒ Ø ÙÝ Ð Ñ Ô Ø Ñ Ø Ø ØÓÒ Ð ÕÓ ÖÓÑÔÓØ ôò Ù Ø Ñ ØÛÒ Ø ÓÔÓ ÑÔÓÖ Ò Ò Ò Ñ Ø Ô Ó Ò Ø ÔÓ¹ Ø ÐÓ Ñ Ò Ô ÔÓÐÐ ÔÐÓ ÑÓ Ð Ù Ö Ø Ó ÒÓ Ø Ó Ð Ø Ò Ñ Ø ØÓÔÓÐÓ º Ä Ü Ð Ì ÕÒ Ø ÆÓ ÑÓ Ò Ò ÔØÙÜ ÊÓÑÔÓØ Ò ÕÙØ Å Ô Ü Ó ÊÓÑÔÓØ É Ö Ñ ÈÓÐÙÔÖ ØÓÖ ÊÓÑÔÓØ ËÙ Ø Ñ Ø

7 Abstract This thesis proposes a model-free learning mechanism based on a nestedhierarchical multi-agent architecture, which is applied in the context of dexterous robot manipulation control. In the proposed multi-agent system, each agent forms a local (partial) view of the global system state and task progress, through a recursive (top-down/bottom-up) learning process. By organizing the agents in a nested architecture, the goal is to facilitate modular scaling to more complex kinematic topologies, with loose control coupling among the agents. Reinforcement learning is applied within each agent, to evolve a local state-to-action mapping in a continuous domain, thus leading to a system that exhibits developmental properties. The agents correspond in fact to independent degrees-of-freedom (DOF) of the system, managing to gain experience over the task that they collaboratively perform by continuously exploring and exploiting their state-to-action mapping space. This thesis addresses problem settings in the domain of kinematic control of dexterous robot manipulation. Three sets of numerical experiments are performed: (i) the first one considers the case of a single-linkage open kinematic chain, presenting kinematic redundancies given the desired task-goal, (ii) the second experiment extends further on the previous case by considering three individual kinematic chains cooperatively acting to achieve a quasi-static multifinger grasp, and (iii) the last experiment extends the proposed multi-agent framework to a control problem in the field of autonomous mobile robots, by considering two e-puck robots performing a collaborative box-pushing task. The focal issue in all experiments is to assess the capacity of the proposed multi-agent system to progressively and autonomously acquire cooperative sensorimotor skills through a self-learning process, that is, without the use of any explicit model-based planning strategy. Generalization and robustness properties of the overall multi-agent system are also explored. Furthermore, these experiments aim to demonstrate the scaling properties of the proposed nested-hierarchical architecture, where new higher-level agents can be recursively added in the hierarchy to encapsulate individual active DOFs. The experimental results presented in this thesis demonstrate the feasibility of

8 such a distributed multi-agent control framework, showing that the solutions which emerge are plausible and near-optimal. Keywords Artificial Intelligence, Developmental Robotics, Reinforcement Learning, Dexterous Manipulation, Multiagent Robotic Systems

9 ÖôÒ Ø Ø Ò Ö ÑÓÙ Å ØÒ ØÓÒ Ó ÑÓÙ Æ Ð & Ø Ò Ô Ñ Ò ÑÓÙ ÞÙ Ó Å Ö

10 ÙÕ Ö Ø À ØÖ ÙØ Ô ÖÓÙ Þ Ø Ö ÙÒ Ø ÔÓØ Ð Ñ Ø Ñ Ñ Ö ÕÖÓÒ ÔÓÖ ØÓ Ö Ø Ö Ó ÊÓÑÔÓØ ÙØÓÑ Ø ÑÓ Ø ËÕÓÐ ÀÐ ØÖÓ¹ Ð ÛÒ Å Õ Ò ôò Å Õ Ò ôò ÍÔÓÐÓ ØôÒ ØÓÙ Ò Ó Å Ø ÓÙ ÈÓ¹ ÐÙØ ÕÒ ÓÙº Ë ÙØ Ø Ö ÑÑ Ð Ø ÖÕ Ò Ò ÙÕ Ö Ø Û ØÓÒ Ô Ð ÔÓÒØ Ø ÑÓÙ º ÃÛ Ø ÒØÒÓ ÌÞ Ø Ô ÓÙÖÓ Ã Ø ÅÈ Ø Ò ÔÓÐ Ø Ñ Ó ØÓÙ Ø Ó Ô Ø ÑÓÒ Ñ Ø Ó Ø Ù ÓÐ ÔÓÙ ÔÖÓ ÙÝ Ò Ø Ø Ö ÙØôÒ ØÛÒ ØôÒº À ÑÔ ¹ ØÓ Ò ÔÓÙ Ü ØÓ ÔÖ ÛÔÓ ÑÓÙ Ø Ò Ñ Ö Ô ÑÔÒ Ù ÐÐ Ò ØÖÓ Ø Ò ÓÐÓ Ð ÖÛ Ø Ô Ø ÑÓÒ ÑÓÙ ÓÒØ Ø Ø º Ð Ö Ò ØÓÒ ÙÕ Ö Øô ÙØ Ø Ò Ù Ö º Ô Ø ÙÔ ÐÓ Ô Ñ Ð Ø ÙÑ ÓÙ¹ Ð ÙØ Ô ØÖÓÔ º ËÔÙÖ ÛÒ ÌÞ Ø ÇÑ Ø ÑÓ Ã Ø ÅÈ º È ØÖÓ Å Ö Ã Ø ÅÈ Ø ÙÔÓ Ü Ø Ô Ö Ø Ö ØÓÙ Ø Ö Ô Ò Ø Ô ÖÓ ØÖ º Ù ÙØ ØÓ Ø Ü Ò ÑÓÙÒ Ñ ÒÓº Õ Ö ØÓ Ò ÖôÔÓÙ ÔÐ ÑÓÙ ØÓÙ ÓÔÓÓÙ Ð Ò ÙÕ Ö Ø Ûº ÖÕ ÐÓ Ô Ò ÔÖ Ô Ò ÒÛ Ø Ö Ò ÓÖ ØÓ ÐÓ ÙÒ Ð Ó ÂÓ ÛÖ Ê Ø Ò º À ÙÑ ÓÐ ØÓÙ Ø ØÖ ÑÓÙ Ø Ö ÙÒ Ø ÔÓØ Ð Ñ Ø Ø Ò Ñ Ð ô Ó ÓÖ ¹ Ñ Ò Ô Ö Ñ Ø ÙÐÓÔÓ Ò Ò Ñ Ø Ó ØÓÙº Ô ØÓ ÐÓ ÙÒ Ð Ó ËÛØ Ö ÔÓ ØÓÐ ÔÓÙÐÓ Ñ ØÓÒ ÓÔÓÓ ÔÖ Ñ ØÓÔÓ Ñ Ô Ö Ñ ¹ Ø ÙÐÓÔÓ ÖÓÑÔÓØ Ø ØÖ ÔÓ º Â Ð Ô Ò ÙÕ Ö Ø Û ØÓÙ ÙÒ Ð ÓÙ ØÓ Ö Ø Ö Ó ØÓÒ ËÔ ÖÓ Ð Ò ØÓÒ Æ Ó Å Ø ÓÙ Ø ÔÓÐ ÛÖ ÙÞ Ø Ñ Ñ Ø Ö ÙÒ Ø ô ØÓ ÙÕ ¹ Ö ØÓ Ô Ö Û ÐÑ ÔÓÙ Õ Ñ º Ô ÔÐ ÓÒ Ô ÙÑô Ò ÙÕ Ö Ø Û ÖÑ ØÓÒ º È Ò ôø Ã Ð Ã ¹ Ø ÅÈ ØÓ Ò ÖÓÒ Ø ÙÑÔ Ö Ø Ø Ó ÔÓÙ ÑÓÙ Ô Ö Õ Ø Ó Ô Ø ÑÓÒ Ó ÔÖÓ ÛÔ ÔÔ Óº ËØ Ò ÔÓÖ ÑÓÙ ÙØ ÔÖ Ô Ù Ò Ò Ö ô Ø ØÓÑ Ø ÓÔÓ Ñ Ø Ö Ü Ò Ñ Ñ Ö Ø Ô ÔÓÐÐ ÓÖ ÙÔÓÑÓÒ º Â Ð Ò ÙÕ ¹

11 ½¼ Ö Ø Û Ø Ò Ô Ñ Ò ÑÓÙ ÞÙ Ó Å Ö Ø Ó Ü ÕÛÖ Ø Ô ÑÓÙ Ó ÓÔÓÓ Ñ Ø Ö Ü Ò ÝÙÕÓÐÓ Ð Ø ÓÐ Ø Ñ ÔÓÙ ÔÖÓ ÙÝ Ò ÙØ Ø Ø ÔÓÖ º Ì ÐÓ ÔÓØ Ò Ö Ø Ó ÙÕ ¹ Ö Ø ÑÓÙ ÔÖÓ ØÓÙ ÓÒ ÑÓÙ Æ Ó Å ØÒ ô Ø Ò Ô Ñ Ò ÑÓÙ Ö Ã Ø ÖÒ º À Ø Ö Ü Ô ÓÙ Ø ÙÑÔ Ö Ø ØÓÙ Ø Ò Ô ÒØ ØÓ ÐØ Ö Ó Ò Ô ôüû ØÓÙ Ñ ÒØ Ø ÖÓÙ Ø ÕÓÙ Ø ÞÛ ÑÓÙº ÁÛ ÒÒ Æº Ã Ö ÒÒ

12

13 È Ö Õ Ñ Ò ½ Û ¾¼ ½º½ ÃÒ ØÖ ËØ ÕÓ Ø ³ Ö ÙÒ º º º º º º º º º º º º º º º º º ¾½ ½º½º½ Ò ÔØÙÜ ÊÓÑÔÓØ º º º º º º º º º º º º º º º º º º ¾½ ½º¾ ËÙÒÓÔØ Ô Ô Ö ÙÒ Ø Ó ÒØ Ñ ÒÓÙ º º º º º º º ¾ ½º¾º½ ÊÓÑÔÓØ Å Õ Ò Å º º º º º º º º º º º º º º ¾ ½º¾º¾ Ù Ù ÊÓÑÔÓØ ³ Ð ÕÓ º º º º º º º º º º º º º º º ½º ËÙÒ ÓÖ Ø ØÖ º º º º º º º º º º º º º º º º º º º º ½º ÇÖ ÒÛ Ø ØÖ º º º º º º º º º º º º º º º º º º º º º ¾ ÈÓÐÙÔÖ ØÓÖ ÊÓÑÔÓØ ÖÕ Ø ØÓÒ ½ ¾º½ Û º º º º º º º º º º º º º º º º º º º º º º º º º º º º º ¾ ¾º¾ Ì Ò ÈÖ ØÓÖ º º º º º º º º º º º º º º º º º º º º º º º º ¾º ÅÓÒÓÔÖ ØÓÖ ÛØ Ö ÓÑ º º º º º º º º º º º º º º º º ¾º Ì Ò ØÓ ÈÓÐÙÔÖ ØÓÖ Ë Ø Ñ º º º º º º º º º º º º º º ¼ ¾º ÈÖÓØ Ò Ñ ÒÓ ÈÓÐÙÔÖ ØÓÖ ÈÐ Ó º º º º º º º º º º º º º ½ ¾º ÈÓÐÙÔÖ ØÓÖ ÈÐ Ó Ã Ò Ñ Ø ÐÙ º º º º º º º º º ¾ ¾º ÈÓÐÙÔÖ ØÓÖ Á Ö ÖÕ º º º º º º º º º º º º º º º º º º º º º ¾º ÈÓÐÙÔÖ ØÓÖ ÈÐ Ó ËÙÒ Ö Ø ôò ÙØÓ ÒÓ Ñ ÒÛÒ ÊÓÑÔ Ø ¾º É Ö Ø Ö Ø ÈÓÐÙÔÖ ØÓÖ ÖÕ Ø ØÓÒ º º º º º º º º ¾ Å ¹ Ô Ð Ô Ñ Ò ÊÓÑÔÓØ Å º½ Û º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º¾ Ô Ø ÅÓÒØ ÐÓÙ ÊÓÑÔÓØ Å º º º º º º º º º º º º Ò ÕÙØ Å (RL) º º º º º º º º º º º º º º º º º º º º º º º½ Ð Ö ÑÓ Ò ÕÙØ Å º º º º º º º º º º º º º º¾ ÈÖÓ Ð Ñ Ø Å Ö Ó ÒôÒ ôò Ä Ý ÔÓ ¹ ÛÒ º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º ÐØ ØÓÔÓ ÈÓÐ Ø º º º º º º º º º º º º º º º º º º ËÙÒ ÖØ Ü Ü ô Bellman º º º º º º º º º º Ð Ö ÑÓ Ô Ò Ð Ý Ü º º º º º º º º º º º º º º º º Ð Ö ÑÓ Ô Ò Ð Ý ÈÓÐ Ø º º º º º º º º º º º ¼

14 È ÊÁ ÉïÇÅ Æ ½ º ËÙÒ Õ ÉôÖÓ-Ã Ø Ø ÛÒ º º º º º º º º º º º º º º º º º º ¾ º º½ ÓÔÓ ÉôÖÓÙ¹Ã Ø Ø º º º º º º º º º º º º º Ò ÕÙØ Å Ã Ò Ñ Ø ÐÙ º º º º º º º º º º º½ Ð Ö ÑÓ Å Fuzzy Q-Learning º º º º º º º º º º¾ Å Õ Ò Ñ Ô ÐÓ Ö ËÙÒ ÖØ ÒØ Ô ¹ Ó º º º º º º º º º º º º º º º º º º º º º º º º º º º ¼ º Ò ÕÙØ Å ÙØÓ ÒÓ Ñ Ò ÊÓÑÔ Ø º º º º º º º º º º º½ Ð Ö ÑÓ Å TD(λ) º º º º º º º º º º º º º º º º º¾ Å Ó Ó Ö ÑÑ ËÙÒ ÖØ ÈÖÓ º º º º º º º Å Ó Ó Ö ÑÑ ËÙÒ ÖØ ÈÖÓ Ã ¹ Ò ÒÛÒ Ó ÄÓ º º º º º º º º º º º º º º º º º È Ö Ñ Ø ÖÑÓ È Ö Ñ Ø Ü ÓÐ ÔÓ¹ Ø Ð Ñ Ø ½¼¾ º½ Û º º º º º º º º º º º º º º º º º º º º º º º º º º º º º ½¼ º¾ ËÕ Ñ RL ÊÓÑÔÓØ Ó Ð ÕÓÙ º º º º º º º º º º º º º º º º º ½¼ º ÔÐ Ã Ò Ñ Ø ÐÙ Ñ ÈÐ ÓÒ ÞÓÒØ ÑÓ Ð Ù Ö ½¼ º º½ Ô Ù ËØ ÕÓÙ ÈÓÐÐ ÔÐ Ò ÐÙ Ò Ù¹ Òô º º º º º º º º º º º º º º º º º º º º º º º º º ½½ º º¾ ÙÖÛ Ø Û ÔÖÓ ÐÐ Ø Ò Ã Ò Ñ Ø ÌÓÔÓÐÓ ½¾¼ º º Ô Ø Ñ Ø Ø ÈÓÐÙÔÖ ØÓÖ ÖÕ Ø ØÓÒ Ö¹ Ñ È Ö ÓÖ ÑÓ ÃÒ º º º º º º º º º º º º º ½¾ º ÈÓÐÙ Ö ÖÛØ ÊÓÑÔÓØ Ä º º º º º º º º º º º º º º º º º º ½ º ÖÑÓ ËÙÒ Ö Ø ÙØÓ ÒÓ Ñ Ò ÊÓÑÔ Ø º º º º º º º ½ ½ º ÍÔÓÐÓ Ø Ã ØÓ º º º º º º º º º º º º º º º º º º º º º º ½ ¼ ËÙÑÔ Ö Ñ Ø ¹ Å ÐÐÓÒØ Ã Ø Ù Ò ³ Ö ÙÒ ½ º½ ËÙÑÔ Ö Ñ Ø º º º º º º º º º º º º º º º º º º º º º º º º º º º ½ º¾ ËÙÞ Ø º º º º º º º º º º º º º º º º º º º º º º º º º º º º º ½ º¾º½ ÈÓÐÙÔÖ ØÓÖ Ò ÕÙØ Å º º º º º º º º º º ½ º¾º¾ ÈÓÐÙÔÖ ØÓÖ Ã Ò Ñ Ø ÐÙ º º º º º º º º º º ½ º È Ö ÓÖ ÑÓ & Å ÐÐÓÒØ ÈÖÓ Ø º º º º º º º º º º º º ½ ½ Ð Ó Ö ½

15 Ã Ø ÐÓ Ó ËÕ Ñ ØÛÒ ¾º½ ÈÖ ØÓÖ ÔÓÙ ÐÐ Ð Ô Ö Ñ ØÓ Ô Ö ÐÐÓÒ º º º º º º º º º º ¾º¾ ÓÖ ÑÓÖ ÔÔ µ ÐÐ Ð Ô Ö ÔÖ Ø ÖÛÒ º º º º º ¾º ÈÖÓØ Ò Ñ Ò ÛØ Ö ÓÖ ÒÛ Ò ÔÖ ØÓÖ º º º º º º º ¾º Ô Ü Ó Õ Ö Ø n- ÑôÒ Ð Ù Ö º º º º º º º º º º º ¾º Ò ÓÑ Ð ÓÖ ÑÓÙ ÔÓÐÙÔÖ ØÓÖ Ñ º º º º º º º ¾º Ò ÓÑ Ñ ÛÐ ÙÑ Ò - Ö ÖÕ ÔÓÐÙÔÖ ØÓÖ ÖÕ ¹ Ø ØÓÒ º º º º º º º º º º º º º º º º º º º º º º º º º º º º º ¾º ÈÓÐÙÔÖ ØÓÖ ÖÕ Ø ØÓÒ Ò Ñ Ø ÐÙ Ñ n- ÑÓ Ð Ù Ö º º º º º º º º º º º º º º º º º º º º º º º º ¾º Ó ÙØÓ ÒÓ Ñ Ò ÓÕ Ñ Ø Û Ó Ò Ò ÒØ Ñ ÒÓ ÙÒ Ö ¹ Ø Ø ¹ Ø ÕÓ ÔÖ Ñ ØÓÔÓ ôòø Ö Ø ÔÓÙ boxpushing º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º ¾º Ç ØÖÓÕÓ ØÛÒ ÙØÓ ÒÓ Ñ ÒÛÒ ÖÓÑÔ Ø ÒØ ØÓ ÕÓ Ò ØÓÙ ÙØ ¹ ÒÓÑÓÙ ÔÖ ØÓÖ ØÓÙ Ù Ø Ñ ØÓ º º º º º º º º º º º º º º º º ½ º½ ÅÓÒØ ÐÓ Ò ÕÙØ Ñ º º º º º º º º º º º º º º º º º º ¼ º¾ Ð Ö ÑÓ Ò ÕÙØ Ñ ÙÒ Ñ Ó ÔÖÓ Ö ÑÑ Ø ÑÓ º Ð Ö ÑÓ Q-Learning º º º º º º º º º º º º º º º º º º º º º º ¼ º Ð Ö ÑÓ SARSA º º º º º º º º º º º º º º º º º º º º º º º º ½ º È Ö Ñ Ø ÓÔÓ Ô Ö Ñ ØÖÛÒ q θ Ñ Ø Ð Ø ØÓÙ s S º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º Ó ÙÒ ÖØ ÙÑÑ ØÓÕ Ñ Ø Ð Ø Ø Ø Ø Ò Ô ÖÔØÛ Ñ ÔÐ Ò Ñ Ø ÐÙ º º º º º º º º º Ð Ö ÑÓ Fuzzy Q-Learning º º º º º º º º º º º º º º º º º º º Ð Ö ÑÓ Joint Action Selection Mechanism - JASM º º º º Ð Ö ÑÓ Ñ TD(λ) º º º º º º º º º º º º º º º º º º º º½ º¾ À ÔÖÓØ Ò Ñ Ò RL ÖÕ Ø ØÓÒ Ð ÕÓÙ º º º º º º º º º º º ½¼ ÓÔÓ Ô Ö Ñ ØÖÛÒ ÛÒ Ö ÖÛ Ø ÕÓ ¹ Ø Ð Ó ØÓ Õ ÓÙ Ö º º º º º º º º º º º º º º º º º º º º º º º º º º ½¼

16 à Ìï ÄÇ ÇË ËÉÀÅï ÌÏÆ ½ º Å Ó ÐÑ Ò ÕÖÓÒ ÑÓÒ Ò ÔÓÕ ÙÒØ Ð ¹ Ø Ñ Ñ Û (decay factor) s =0.35 º º º º º º º º º ½¼ º Å Ó ÐÑ Ò ÕÖÓÒ ÑÓÒ Ò ÔÓÕ ÙÒØ Ð ¹ Ø Ñ Ñ Û (decay factor) s =0.75 º º º º º º º º º ½¼ º Å Ó ÐÑ Ø ÔÖôØ ½ ¼ ÔÓÕ ÙÒØ Ð Ø ¹ Ñ Ñ Û (decay factor) s =0.35 º º º º º º º º º º º º º ½¼ º Å Ó ÐÑ Ø ÔÖôØ ½ ¼ ÔÓÕ ÙÒØ Ð Ø ¹ Ñ Ñ Û (decay factor) s =0.75 º º º º º º º º º º º º º ½¼ º Ã Ò Ñ Ø Ð ÔÓÙ ÔÖÓ ÔØÓÙÒ s =0.75 s =0.35 s =0.05 º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º ½½½ º Å Ø Ñ ØÙÔ Ô Ð ØÓÙ ÐÑ ØÓ Õ Ñ Ø ÐØ Ø Ø Ü ÙÔ Ø Ò ÒÒÓ ØÛÒ Ð Õ ØÛÒ Ø ØÖ ôòûòµ Ù Ö Ñ ÒÓ ÖÓ ÙÒØ Ð ØôÒ Ñ Ñ Û Ñ Ø Ô 10 ÔÓÕ Ñ º º º º º º º º º º º º º º º º º º º º º º ½½¾ º Å Ø Ñ ØÙÔ Ô Ð ØÓÙ ÐÑ ØÓ Õ Ñ Ø ÐØ Ø Ø Ü ÙÔ Ø Ò ÒÒÓ ØÛÒ Ð Õ ØÛÒ Ø ØÖ ôòûòµ Ù Ö Ñ ÒÓ ÖÓ ÙÒØ Ð ØôÒ Ñ Ñ Û Ñ Ø Ô 100 ÔÓÕ Ñ º º º º º º º º º º º º º º º º º º º º º ½½¾ º½¼ Å Ø Ñ ØÙÔ Ô Ð Ø ÔÖÓ Ô ØÓ ÙÒÓÐ ÖÓ Ñ ØÛÒ ÔÓÐ ØÛÒ Ø ÑôÒØÛÒ Ò ÙÑ ÒÛÒ Ñ Ø ØÓÔ ÛÒ Ö ÖÛ ÔÓÙ ÔÖ Ñ ØÓÔÓ Ø ÕÖÓÒ Ñ t Ô ÐÓÙ ØÓÙ ÔÖ ØÓÖ Ñ ÓÔ Ø Ò ÔÖÓ Ø - Ø ÕÓÙµ Ù Ö Ñ ÒÓ ÖÓ ÙÒØ Ð ØôÒ Ñ Ñ Û¹ Ñ Ø Ô 100 ÔÓÕ Ñ º º º º º º º º º º º º º º º º ½½ º½½ À Ò Ø Ò Ñ Ø ÐÙ Ø Ø Ò Ö ÔÖÓ ¹ Ø - Ø ÕÓÙº µ  ÛÖ Ø ÐØ Ø Ð LSoptimal (pseudo-inverse)º µ È Ö Ñ Ð ÔÓÐÙÔÖ ØÓ¹ Ö ÔÖÓ ÕÛÖ ÑÓÒØ ÐÓ ÓÔÓ ÔÖÓ ÙÝ Ñ Ø Ô 100 ÔÓÕ Ô Ù Ñ ÙÒØ Ð Ø s =0.5µº º º º º º º º º ½½ º½¾ Ñ ÓÙÖ ÔÓÐÐ ÔÐôÒ Ô Ô ÛÒ Ò ÐÙ Ô Ù ØÓÙ Ù Ø Ñ ØÓ º º º º º º º º º º º º º º º º º º º º º º º º º º º º ½½ º½ ÈÓÐÐ ÔÐ ÔÔ Ò ÐÙ ÒØ ØÓ Õ - Ø ÕÛÒ º º º ½½ º½ Ë ÐÑ ÔÖÓ Ø ÕÛÒ ÓÐ Ð ÖÓ ØÓ ÕôÖÓ Ö Ñ Ò ÐÙ Ñ ÛÒ Ô Ù º º º º º º º º º º º º º º º ½½ º½ Ë ÐÑ ÔÖÓ Ø ÕÛÒ ÓÐ Ð ÖÓ ØÓ ÕôÖÓ Ö Ñ Ò ÐÙ ½ Ñ ÛÒ Ô Ù º º º º º º º º º º º º º º º ½½ º½ Ë ÐÑ ÔÖÓ Ø ÕÛÒ ÓÐ Ð ÖÓ ØÓ ÕôÖÓ Ö Ñ Ò ÐÙ ¾ Ñ ÛÒ Ô Ù º º º º º º º º º º º º º º ½½ º½ Å Ø Ñ ØÙÔ Ô Ð ÐÑ ØÓ ÔÖÓ Ø ÕÓÙ ØÓ ÕôÖÓ Ø Ø Ñ Ø Ô Ô Ù ÔÔ ÓÖ ¹ Ø ôò Ò Ð ÛÒ º º º º º º º º º º º º º º º º º º º º º º º º º ½¾¼

17 à Ìï ÄÇ ÇË ËÉÀÅï ÌÏÆ ½ º½ Ã Ò Ñ Ø Ð ÓÔÓ ÔÖÓ ÙÝ Ô ØÓ ÔÓÐÙÔÖ ØÓÖ ¹ Ø Ñ Ü Ð Ü ØÓÙ ÐÑ ØÓ ÙÒ ÖØ ØÓÙ ÕÖ ÒÓÙ ÔÐ ÖÛ Ð ØÓÙÖ Ø Ñ ¹ ÐÓ Ó ÔÖ ØÓÖ Ò Ò Ö Óµº ½¾½ º½ Ö ÛÒ Ñ Ø ØÓÔ µ ÐÓÙ ØÓÙ ÔÖ ØÓÖ º ³ÇÐÓ Ó ÔÖ ØÓÖ Ò Ò Ö Ó ÙÒ Ö ÞÓÒØ Ø Ò ÔÖÓ Ø ¹ Ø ÕÓÙº º º º º º º º º º º º º º º º º º º º º º º º º ½¾¾ º¾¼ Ã Ò Ñ Ø Ð ÓÔÓ ÔÖÓ ÙÝ Ô ØÓ ÔÓÐÙÔÖ ØÓÖ ¹ Ø Ñ Ü Ð Ü ØÓÙ ÐÑ ØÓ ÙÒ ÖØ ØÓÙÕÖ ÒÓÙ Ñ Ø Ø ÔÓØÙÕ Ø Ò ÔÖÓÓ ÙØ Ò ÑÝ ØÛÒ ÔÖ Ø ¹ ÖÛÒ ½ Û º º º º º º º º º º º º º º º º º º º º º º º º º º º º º ½¾ º¾½ Ç ÔÖ ØÓÖ ÔÖÓ ÖÑ ÞÓÙÒ Ø Ö ØÓÙ ÙÒ Ñ Ò ÒØ ÔÓ Ö Ó Ò Ø Ò ÔÖ Ð ÔØ ÔÓØÙÕ Ò ÙÒ Õ Ò ¹ ÑÝ ØÛÒ ÔÖ Ø ÖÛÒ ½ Û º º º º º º º º º º º º º º º º º º º ½¾ º¾¾ Ã Ò Ñ Ø Ð ÓÔÓ ÔÖÓ ÙÝ Ô ØÓ ÔÓÐÙÔÖ ØÓÖ ¹ Ø Ñ Ü Ð Ü ØÓÙ ÐÑ ØÓ ÙÒ ÖØ ØÓÙÕÖ ÒÓÙ Ø Ø Õ Ö Ò Ø Ø Ø fail-disturb-fail ØÓÙ ÔÖ ØÓÖ ¾ º º º º º º º º º º º º º º º º º º º º º º º ½¾ º¾ Ç ÔÖ ØÓÖ ½ ÔÖÓ ÖÑ ÞÓÙÒ Ø Ö ØÓÙ ÙÒ Ñ Ò ÒØ ÔÓ Ö Ó Ò Ø Õ Ö Ø Ò Ø Ø Ø fail-disturb-fail ØÓÙ ÔÖ ØÓÖ ¾ º º º º º º º º º º º ½¾ º¾ Ã Ò Ñ Ø Ð ÓÔÓ ÔÖÓ ÙÝ Ô ØÓ ÔÓÐÙÔÖ ØÓÖ ¹ Ø Ñ Ü Ð Ü ØÓÙ ÐÑ ØÓ ÙÒ ÖØ ØÓÙÕÖ ÒÓÙ Ø Ò Ô ÖÔØÛ complete fail (fully blocked) ØÛÒ ÔÖ Ø ÖÛÒ ¾ º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º ½¾ º¾ Ç ÔÖ ØÓÖ ½ ÔÖÓ ÖÑ ÞÓÙÒ Ø Ö ØÓÙ ÙÒ Ñ Ò ÒØ ÔÓ Ö Ó Ò Ø Õ Ö Ø Ø Ø complete fail (fully blocked) ØÛÒ ÔÖ Ø ÖÛÒ ¾ º º º º º º º º º º º º ½¾ º¾ ËÙ Ö Ø ÔÓØ Ð Ñ Ø Ü Ð Ü ÐÑ ØÓ (modelbased vs. multi-agent approach) Ø Ò Ô ÖÔØÛ ÓÐ ØÓÕ ØÛÒ ÔÖ Ø ÖÛÒ ¾ (fully blocked)º º º º º º º º º º ½¾ º¾ Ë Ø Ñ ¹ÅÓÒØ ÐÓÙ ËÙ Ö Ø ÔÓØ Ð Ñ Ø (modelbased vs. multi-agent approach) Ø Ò Ô ÖÔØÛ ÓÐ ØÓÕ ØÛÒ ÔÖ Ø ÖÛÒ ¾ (fully blocked)º º º º º º º º º º ½¾ º¾ ÈÓÐÙÔÖ ØÓÖ Ë Ø Ñ ËÙ Ö Ø ÔÓØ Ð Ñ Ø (modelbased vs. multi-agent approach) Ø Ò Ô ÖÔØÛ ÓÐ ØÓÕ ØÛÒ ÔÖ Ø ÖÛÒ ¾ (fully blocked)º º º º º º º º º º ½¾ º¾ Ô Ø Ñ Ø Ø ÖÕ Ø ØÓÒ dof Ò Ñ Ø ÐÙ ÓÔÓ Ø Ð Ò ÙÔ Ô Ö ÓÖ ÑÓ Ñ ÓÙ Ø Ò ¹ ÓÙ ÕÛÖ Ù ÖÓ º º º º º º º º º º º º º º º º º º º º º º ½ ½

18 Ã Ìï ÄÇ ÇË ËÉÀÅï ÌÏÆ ½ º ¼ Ô Ø Ñ Ø Ø Ø ÖÕ Ø ØÓÒ dof Ò Ñ Ø ÐÙ¹ ÓÔÓ Ø Ð Ò ÙÔ Ô Ö ÓÖ ÑÓ ÕÛÖ Ù ÖÓ ¹ µ Ñ Ø Ø Ô Ö ÐÐÓÒ ÙÒ Ù Ñ Ø ÖÛÒ ÒÓ ¹ Ñ ÒÛÒ ÑÔÓ ÛÒµ º º º º º º º º º º º º º º º º º º º º º º º º º ½ ¾ º ½ ÌÓ ÔÓÐÙÔÖ ØÓÖ Ø Ñ Ø Ö Ô Ñ ØÓ Ø ÕÓ ËÕ ¹ Ñ º ½bµ Òô ÔÓ Ù ÖÓ Ñ Ð Ø ÒÓ Ñ Ò ÑÔ Ø ÖôÒØ Ð Õ Ø Ô Ø Ð Ø Ø Ù¹ ÒÓÐ Ö Ø Ð ØÓÙ Ô Ö Ñ ØÓ ËÕ Ñ º ½aµ º º º ½ ¾ º ¾ Ä ØÖ ôò Ø ÐÛÒ Ø ÔÓÙ quasi-static grasp º º º º º º º º ½ º ÈÓÐÙÔÖ ØÓÖ Ò Ô Ö Ø Õ Ö Ø ØÖ ôò Ø ÐÛÒ º º º º ½ º ÈÖÓ ÓÑÓÛ Ñ ÓÙ Ô Ñ ØÓÙ ÔØÓÑ Ò Ó ÙÒØ Ð Ø Ô ¹ Ð Ø ÖÓÙ º º º º º º º º º º º º º º º º ½ º ËÙÒÓÐ Ò Ñ (Net Force) ÙÒ ÖØ ØÓÙ ÕÖ ÒÓÙ ¹ ÓÖ Ø ÔÓÕ Ñ ÙÒØ Ð Ø Ñ Ñ Û s =0.05µ º ½ º Å Ó Ø ØÖ ÛÒ ÐÑ ÓÖ Ø ÔÓÕ ÙÒØ ¹ Ð Ø Ñ Ñ Û s =0.05µ º º º º º º º º º º º º º º º º ½ º ËÙÒÓÐ Ò Ñ (Net Force) ÙÒ ÖØ ØÓÙ ÕÖ ÒÓÙ ¹ ÓÖ Ø ÔÓÕ Ñ ÙÒØ Ð Ø Ñ Ñ Û s =0.35µ º ½ º Å Ó Ø ØÖ ÛÒ ÐÑ ÓÖ Ø ÔÓÕ ÙÒØ ¹ Ð Ø Ñ Ñ Û s =0.35µ º º º º º º º º º º º º º º º º ½ º ËÙÒÓÐ Ò Ñ (Net Force) ÙÒ ÖØ ØÓÙ ÕÖ ÒÓÙ ¹ ÓÖ Ø ÔÓÕ Ñ ÙÒØ Ð Ø Ñ Ñ Û s =0.75µ º ½ º ¼ Å Ó Ø ØÖ ÛÒ ÐÑ ÓÖ Ø ÔÓÕ ÙÒØ ¹ Ð Ø Ñ Ñ Û s =0.75µ º º º º º º º º º º º º º º º º ½ º ½ Ã ÑÔ Ð Ñ ØÓÙ Ù Ø Ñ ØÓ ÔÖÓ Ø ÑÔ Ð Ü Ð Ü Ñ ÓÙØ ØÖ ÛÒ Ó ÐÑ ØÓ ÙÒ ÖØ Ø ÔÓÕ Ñ ÓÖ Ø Ó ÙÒØ Ð Ø Ñ Ñ Û s ½ ¼ º ¾ ÈÖÓ ÖÑÓ ØÓÙ ÖÓ Ø ÐÓÙ Fingertipµ Ø Ö ØÓÙ ôòóù ØÖ ÙÒØ Ð Ø Ñ Ñ Û s =0.05 º º º º º º º ½ ¼ º È Ö Ñ Ø Ô Ö Ñ ÒÛÒ Ð ôò ÙÒØ Ð Ø Ñ Ñ Û s =0.75, 0.35, 0.05µ º º º º º º º º º º º º º º º º ½ ½ º ÈÖÓ ÓÑÓÛ Ó ÙØÓ ÒÓ Ñ ÒÛÒ Ø ÔÓÙ e-puck ÔÓÙ ÔÖ Ñ ØÓ¹ ÔÓ Ó Ò Ö box-pushing Ù Ö Ñ Ò ¹ Ø ÕÓ º º º ½ º ÔÓØ Ð Ñ Ø ÔÖÓ ÓÑÓÛ ÓÖ Ø ÔÓÕ º º º º º º ½ º µ Ç ÔÖ ØÓÖ Ô ØÙ Õ ÒÓÙÒÒ ØÖ ÝÓÙÒØÓ ÒØ Ñ ÒÓ ÔÖÓ Ø ¹ Ø ÕÓº µ Ç ÔÖ ØÓÖ Ô ØÙ Õ ÒÓÙÒÒ Ñ ô ÓÙÒ Ø Ò Ô Ø ØÓÙ ÒØ Ñ ÒÓÙ Ô Ø ¹ Ø ÕÓº º º º º º º º º º ½ º ËÕ Ñ Ø Ô Ò Ø ÙÒÓÐ ÖÕ Ø ØÓÒ Ð ÕÓÙ Ø Ò ÙÐÓÔÓ ÔÖ Ñ Ø ÙØÓ ÒÓ Ñ Ò ÓÕ Ñ Ø º º º º ½ º À ØÓÔÓ Ø Ò marker ÖÓÑÔ Ø Ø ÔÓÙ e-puck º º º º º º ½

19 à Ìï ÄÇ ÇË ËÉÀÅï ÌÏÆ ½ º À ÙÒÓÐ Ô Ö Ñ Ø Ø Ü Ñ ØÓÙ ÒØ ØÓ ÕÓÙ markers ØÓÔÓ Ø Ñ ÒÓÙ Ø ÖÓÑÔ Ø ØÓ Õ Ö Þ Ñ ÒÓ ÒØ Ñ ÒÓ Ø Ó ÓÖ Ø Ô Ö ÔØô ÔÓÙ µ Ó Ñ Õ Ò Ñ ÕÒ ¹ Ð Ø Ò Ò Ò Ö µ Ø Ò Ô ÖÔØÛ ÔÓÙ ÙØ Ò Ö¹ ÓÔÓ Ø º º º º º º º º º º º º º º º º º º º º º º º º º º º º º ½ º ¼ À Ò Ø Ô Ö Ñ Ø Ø Ü ÔÛ Ô Ö Õ Ø Ô Ø Ò Ñ Ö ÓÔÓ Ö Ø ØÓÔÓ Ø Ñ Ò Ö ô Ô ÒÛ Ô ØÓÒ ÕôÖÓ Ö º º º º º º º º º º º º º º º º º º º º º º º º º º º ½ ¼ º ½ ËÙÒÓÐ Ô Ö Ñ Ø Ø Ü Ø Ò ÙÐÓÔÓ ÔÖ Ñ Ø ÙØÓ ÒÓ Ñ Ò ÓÕ Ñ Ø º º º º º º º º º º º º º º º º º º º º º º ½ ½ º ¾ ËÙÒ Ö Ø Õ Ö Ñ ÒØ Ñ ÒÓÙ Ö Ø ÔÓÙ box-pushing µ Ñ Û Ó ÔÖ Ñ Ø ôò ÙØÓ ÒÓ Ñ ÒÛÒ ÖÓÑÔ Ø Ø ÔÓÙ e-puck Ñ ÔÓØ Ð Ñ Ø Ò Ô ØÙÕ ô ØÓÙ ÒØ Ñ ÒÓÙ ÔÖÓ Ø ¹ Ø ÕÓº Ô Ð Ý ØÓÙ ÔÖ Ñ Ø Ó ÕôÖÓÙ Ö Ñ Û Ø ÑÓÒ ÓÔØ ÕÒ Ð Ø º º º º º º º º º º º º º º º º ½ ¾ º Ò Ø ÕÒ Ò ÖÓÑÔÓØ ôò ÓÕ Ñ ØÛÒ ÒØ Ñ ÒÓÙ ½ º½ Ò ÖÖ ÕôÑ Ò ÖÓÑÔÓØ ÐÙ ¹ µ º º º º º º º º º º º º º ½ ¾ º¾ Ò ÖÖ ÕôÑ Ò ÖÓÑÔÓØ ÐÙ ¹ µ º º º º º º º º º º º º º ½

20 Ã Ø ÐÓ Ó È Ò ÛÒ º½ È Ö Ñ Ø Ô Ö Ñ ØÖÓ Ø Ò Ô ÖÔØÛ Ø ÔÐ Ò Ñ ¹ Ø ÐÙ º º º º º º º º º º º º º º º º º º º º º º º º º º º ½¼ º¾ ÓÖ Ø Ò Ñ Ø Ð Ô Ö Ñ Ò Ô Ø Ò ÔÖÓØ ¹ Ò Ñ Ò ÔÓÐÙÔÖ ØÓÖ ÖÕ Ø ØÓÒ Ö Ñ Ø Ð ÔÓÙ Ô Ö Ñ Ó Ó ÙÔÓÐÓ ÑÓ Ø Ý Ù Ó Ò ØÖÓ J + ½½¼ º ÉÖ ÒÓ Ô Ù ÙÒ ÖØ Ñ Ø Ò Ò ÐÙ ØÓÙ ÕôÖÓÙ Ö º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º ½½ º È Ö Ñ ØÖÓ Ø Ø ÖÓÑÔÓØ Ð º º º º º º º º º º º º º ½ º È Ö Ñ Ø Ô Ö Ñ ØÖÓ º º º º º º º º º º º º º º º º º º º º º ½

21 Ã Ð Ó ½ Û

22 ½º½ ÃÒ ØÖ ËØ ÕÓ Ø ³ Ö ÙÒ ¾½ ½º½ ÃÒ ØÖ ËØ ÕÓ Ø ³ Ö ÙÒ Ì ÕÖÓÒ ÖÓÑÔÓØ Ù Ø Ñ Ø ÐÓ ÒØ Ò Ø Ð ÓÙÒ Ö Ô Ö ÐÐÓÒØ ÔÓÙ Ò ÙÒ Û Ñ Ö ô Ô Ö Ø Ö Ñ (Partially Observable) ÙÒ Ñ Ñ Ø ÐÐ Ñ Ò Ñ Ø Ø µ ØÓÕ Ø Ñ Ñ ÒØ Ñ Ø Ø Ñ ÓÑ Ñ Ò (Unstructured)) Ù ÙÒ Õ (Continuous)º ܳ Ø ÙØ Ø ÔÓÐÙÔÐÓ Ø Ø ÔÓÙ Õ ØÞ Ø Ñ Ø ÔÖ Ñ Ø ÙÒ ¹ Ø Õ Ö Ø Ö Ø ØÓÙ Ô Ö ÐÐÓÒØÓ ÖÓÑÔÓØ Ö Ø ÕÖÓ¹ Ò ÖÓÑÔÓØ Ù Ø Ñ Ø Ò Ô Ö Ø ØÓ Ò Ò ÛÑ ØôÒÓÙÒ Ñ ÒØ Ñ ÆÓ ÑÓ Ò Ø ô Ø Ò Ò ÒØ Ò Ñ ÒÓÙÒ Ö ÓÖ Ò Ð ØÓÙÖ¹ Ó Ò Ñ Ð Ö Ü ÓÔ Ø º Å ÔÖôØ ÖôØ ÐÓ Ô Ò ÔÓÙ ÔÖÓ ÔØ Ô Ø Ô Ö Ô ÒÛ Ò Ø Ö ô ÒÒÓÓ Ñ Ñ ØÓÒ ÖÓ ÆÓ ÑÓ ¹ Ò º Ò Ñ ØÓÒ ÖÓ ÆÓ ÑÓ Ò ÑÔÓÖ Ò ÛÖ ÓÙÑ Ø Ò Ö Ñ Ø ÙÒ Û Ò ÒÓÐÓ ÓØ ØÛÒ Ó ÓÔÓ Ô Ö Ð Ñ ÒÓÙÒ Ø Ò Ò Ø Ø ÐÓ Ý Ø Ò Ò Ø Ø Ñ Ñ Û Ø ÑÔ Ö Ø Ò ÔÖÓ ÖÑÓ¹ Ø Ø Ø Ò Ø Ø º À Ø ÔÛ ÑÛ Ò Ö Ó ÓÖ ÑÓ Ø ÆÓ ÑÓ Ò ÑÔÔØ ØÓ Ô Ó Ø Ó Ø ÐÓ Ó Ó Ø ÝÙÕÓÐÓ ºººÅ Ø Ö Ò ÒÓ Ø Ò Ø Ø ÓÔÓ Ñ Ø Ü ÐÐÛÒ Ô Ö Ð Ñ Ò Ø Ò Ò Ø Ø Ø ÐÓ Ý Õ ÑÓ Ø ÔÐÙ ÔÖÓ Ð Ñ ØÛÒ Ø Ö Ñ Ò Ý Ø Ø Ò Ô ÖÔÐÓ ÛÒ ôò ô Ø Ñ Ñ Û ÑÔ Ö ôòººº ÒÓ ÑÓ Ò ÒØ ØÓÔØÖÞ Ñ ÙÖ Ø Ö ¹ Ø Ö Ò Ø Ø Ø Ò ØÓÙ Ô Ö ÐÐÓÒØ Ñ Ò ÒØ Ð Ñ Ò Ñ Ø Ø ÔÖ Ñ Ø ÖÛ Ñ Ø ÙÒ Õ Ò ÙÑÔ Ö ÒÓÙÑ ØÓÒ ØÖ ÔÓ Ñ ØÓÒ ÓÔÓÓ ÔÖ Ô Ò Ò Ö Ó Ñ ºº º ÅÔÓÖÓ Ñ Ò ÕÛÖ ÓÙÑ Ø Ò ÆÓ ÑÓ ¹ Ò ÓÐÓ Ì ÕÒ Ø º À ÓÐÓ ÆÓ ÑÓ Ò Õ Ø Ü Ð Ü (Gradation)) ÙØÓ¹ÓÖ ÒôÒ Ø Ñ Ô Ò Ð Ñ Ò Ñ ÒÓ ØÖ ÔÓ ÕÓÐ Ø Ñ Ø Ò ÒØ Ñ ØôÔ ÔÖÓ Ð Ñ ØÛÒ ÕÖ ÑÓÔÓ ôòø ÐÓ Ó Ò Ò Òô Õ Ø ÙÒ Ø Ø Ø Ö Ø Ò Ø Ø ÒØÐ Ý ÙÐÐÓ Ø º ÈÓÐ ¹ ØÓ Õ Ó ÔÓØ Ð ØÓ ÓÒ Ø Ì ÕÒ Ø ÆÓ ÑÓ Ò Þ Ø Ø ÕÖ ÙÔÓÐÓ Ø ôò ÑÓÒØ ÐÛÒ ÖÕôÒ Ñ Ò ÔÐ Ó ØÓ ÓÔÓÓ Ò ô ÓÖ Ñ ÒÓº ³ÇØ Ò ØÓ ÔÐ Ó Ô Ò Ò ÓÖ Ñ ÒÓ Ø Ø ÖÕ¹ Þ Ò Ò Ø ÒØ Ð ÔØ Ü Ö Ø Ñ ÔÓÙ ÔÓ ØÓ Ò Ø Ø ÔÛ ÔÖÓ ÖÑÓ Ø Ø Ø Ù Ð Ü Ø ÙÑÔ Ö ÓÖ Ò ÙÒ Õô Ñ Ø Ð¹ Ð Ñ ÒÓ Ó ÑÓº ½º½º½ Ò ÔØÙÜ ÊÓÑÔÓØ ³ Ò Ô ØÓÙ Ó Ø ÕÓÙ ÐÓ Ô Ò Ø ÖÓÑÔÓØ Ô Ø Ñ Ø ÕÒÓÐÓ Ò Ó Õ Ñ ÙÐÓÔÓ ÖÓÑÔÓØ ôò Ñ Õ Ò ÑôÒ Ù Ø Ñ ØÛÒ Ø ÓÔÓ Ò ÒØ Ò Ø ÐÓ Ò ÔÓÐ ÔÐÓ Ö Ò ¹

23 ½º½ ÃÒ ØÖ ËØ ÕÓ Ø ³ Ö ÙÒ ¾¾ Ø Ù Ô Ö ÐÐÓÒØ º Ç Ô Ö Ó Õ Ñ Ò ÔØÙÜ ÖÓÑÔÓØ ôò Ù Ø Ñ ØÛÒ Ñ ÓÙÖ ÔÓÐ ÔÓ ÓØ ÙÔÓ Ù Ø Ñ Ø Ô Ö Ø Ø Ø Ò ÔÓØ Ð Ñ Ø Ð ØÓÙÖ Ò ÖÓÑÔ Ø ÔÛ Ø Ö Ø Ü ÒÕÒ Ù¹ Ù Ö Ñ ÒÛÒ Õ Ö Ø Ö Ø ôò ÑÓÒ Ð ØôÒ ô Ñ Ó ÓÐÓ¹ ØÖ Ø ÙÑÔ Ö ÓÖ Ö Ó ÓÔÓ ÑÛ Ò ÙÒ Û Ø ÐÐ Ð Ñ ÒÓ Ò ÒÓÐÓ Ø ÖÛÒ Ù Ø Ñ ØÛÒ Ð ÕÓÙ ÔÓÙ ÙÒ ØÓÙÒ Ò Ù Ö Ñ ÒÓ ÖÓÑÔÓØ Ô Ö ÐÐÓÒ ØÓ ÓÔÓÓ Ø ÙÒ Õ Ð Ø Ò Ð Ý Ø Ò Ñ ÔÓÐ Ù Ö Ñ Ò Ö º ÈÓÐ Ù¹ ÕÒ Ñ Ñ Ö Ðл ÔÓ Ð Ø ÙÔÓ Ñ ÛÒ Ñ Ø ÓÔÓ Õ ÞÓÒØ ÙØ Ø ØÑ Ñ Ø ÔÓÙ ÙÒ ØÓÙÒ Ò ÖÓÑÔÓØ Ø ¹ Ñ Ô ØÓ Ò Ø Ò Ô Ò Ö Ñ ØÓÙ Ò Õ ØÓÒ ÔÐ Ö Ô Ò Õ Ñ ØÓÙº Ã Ò Ó ÙÒ Ù Ñ Ö Ô Ö ÐÐÓÒØÓ ÜÓÔÐ ÑÓ (hardware) ØÓÙ ÖÓÑÔ Ø Ô ÖÓÙ Þ Ò Òô Ò Ó Ñ Õ Ò ÔÖ Ð Ñ Õ ÙÐÓÔÓ º Ô ÔÐ ÓÒ ÖÓÑÔÓØ ÙÑÔ Ö ÓÖ Ó ÓÔÓ ÕÓÙÒ Õ Ø Ñ ÔÖÓ Ø ÔÓÙ hard - coded ÙÕÒ ÔÓØÙ Õ ÒÓÙÒ Ø Ò ÕÓÙÒ Ò ÒØ Ñ ¹ ØÛÔ ÓÙÒ Ò ÔÖ Ð ÔØ Ø Ø º Ô Ø Ô Ö Ô ÒÛ ÐÓ Ô Ò ÔÖÓ ÔØ Ø Ó Ñ Õ Ò ÖÓÑÔÓØ ÔÖ Ô Ø Ø Õ ÑÓ Ø Ò ÔÖÓ Ð Ý ÔÖ ÓÔØÓ Ò ØÖÓÔÓÔÓ ØÓ Ô Ö ÐÐÓÒ ØÓÙ ÖÓÑÔ Ø ô Ø Ò Ô Ö ÓÖ¹ ØÓ Ô Ó Ö ØÓÙº ÓÑ ÒÓÙ Ø ÙØ Ò Ñ Ü Ö Ø ÔÔÓÒ Ò ÓÐÓ Ò ÒØ ØÓ Ñ Ø ÑÔÓÖÓ Ñ Ò ÕÓÙÑ ÖÓÑÔ Ø Ø ÕÒ Ø ÓÒØ Ø Ø µ ÔÓÙ ÑÔÓÖÓ Ò Ò Ð ØÓÙÖ Ó Ò ÙØ ÒÓÑ ÔÐ Ò ÖôÔÓÙ ÓÐÓ ÓÒØ Ø Ø µ Ñ Ô Ö ÓÖ Ñ Ò Ñ ÓÑ Ñ Ò Ô Ö ¹ ÐÐÓÒØ ÕÛÖ Ò ÙØÓÑ ØÓÔÓ ÓÙÑ Ø Ò Ø Ò Ø ÒØÐ Ý Ò ÔØÙÜ Õ Ø ÙÑÔ Ö ÓÖ Ñ Û Ø ÐÐ ÐÓÙ ÙÒ Ù ÑÓ Ø ÕÒ ¹ ôò Å Õ Ò Å (Machine Learning) ½ º ÇÙ Ø Ø ÕÓ ô ÔÓØ Ð Õ Ò ÔØÙÜ ÖÓÑÔÓØ ôò Ù Ø Ñ ØÛÒ ÔÓÙ Ò ÛÑ Øô¹ ÒÓÙÒ ÔÓ ÑÓÖ ÙÒ ØÓØ ØÛÒ Ð ØÓÙÖ ôò ÙØÓ¹ÔÖÓ ÖÑÓÞ Ñ Ò Ò ÔØÙÜ Ñ Õ Ò Ñ (Developmental Learning) Ô ØÖ ¹ ÔÓÒØ Ø ÖÓÑÔ Ø Ò Ñ ÓÙÖ Ó Ò Ø ØÓÙ Ø Ö Ò Ø Ö Ò Ô Ö Ø ÙÑÔ Ö ÓÖ ÔÖÓ ÖÑÓÞ Ñ Ò Ø Ø Ò Ø Ø ÔÛ Ø Ò Ò ÔÖÓ ÔØÓÙÒº Ç Ô Ö Ô ÒÛ ÖÕ ÕÓÙÒ Ó Ø Ò Ò ÔØÙÜ Ñ Ò ÔÖÓ ØÓ ÕôÖÓ Ø ÖÓÑÔÓØ ÓÔÓ Ô ÒØÖôÒ Ø Ø Ò ÙØ ¹ ÒÓÑ ÙØÓ¹ÓÖ ÒÛ Ù Ø Ñ ØÛÒ ÖÓÑÔÓØ Ó Ð ÕÓÙ Ø ÓÔÓ Ò Ü ÖØôÒØ Ô Ø Ò ØÓØ Ò Ø Ñ Ò ÖÓÑÔÓØ Ö º À ÔÖÓ ÙØ Ð Ø ÙÕÒ ÙÔ ØÓÒ ÖÓ Ò ÔØÙÜ ÊÓÑÔÓØ (Developmental Robotics) º À Ø Ô Þ Ô Ø Ò Ò ÔØÙÜ ÝÙÕÓÐÓ Ø Ò Ò ÔØÙÜ Ò ÙÖÓ¹ ÐÓ º À Ò ÔØÙÜ ÖÓÑÔÓØ ÔÖÓÕÛÖ Ò Ñ Ô Ö Ô ÒÛ Ô Ø Ò Ð ÔÖÓ ÔÓÙ ØÓ ÖÓÑÔÓØ Ø Ñ Õ Þ Ø Ò ô Ð Ò Ù Ö Ñ ÒÓ ÔÖÓ ÓÖ Ñ ÒÓ ÔÖ Ð Ñ ÔÛ Ó Õ Ñ ÔÓÖ ÔÖÓ Ñ

24 ½º½ ÃÒ ØÖ ËØ ÕÓ Ø ³ Ö ÙÒ ¾ Ô ÙÑ Ø ¹ Ø ÕÓµº ÒØ Ø Ò ÔØÙÜ ÖÓÑÔÓØ Ö ÙÒ Ø ¹ Ò Ø Ø ØÓÙ ÖÓÑÔ Ø ÒØÐ Ý Òô ÙÑÔ Ö ÓÖ ÔÓÙ ÑÔÓÖ ØÓ ÓÒ Ò Ð Ý Ñ Û Ò Ö ôò ÔÓÙ Ò ÞÓÒØ Ô ØÓ Ó Ò Ñ ¹ Ò Ø ØÓÙ Ù ÑÓÖ ÓÐÓ Ø ÙÒ Ñ ÓÑ ØÓÙ Ô Ö ÐÐÓÒØ ØÓÙ º Ë ÙØ ØÓ Ñ Ó Û Ø Ò Ô ÑÓ Ò Ó Ñ ÔÓ Ò Ò Ô Ø ÔÓÙ ÙÔ ÖÕ Ø ô Ø Ò ÑÔÓÖ ÓÙÑ Ø ÙÒ Õ Ò ÒØ Ð Ó ¹ Ñ Ø Ù ÓÐ ÔÓÙ ÔÖÓ ÔØÓÙÒº ÈÖ Ô ÐÓ Ô Ò Ò Ð ÓÙÑ ÙÔ Ý Ø ØÓÙ Ò ÖôÔÓÙ Ò Ô ÙÑ Ø Ò Ð ÕÓÙÒ Û Ð Ø Ö Ò Ô Ó ÒÛÒÓ Ò Ñ µ Ø ÖÓÑÔ Ø Ñ Û ÙÝ ÐÓ Ô Ô ÓÙ ÒØÓÐôÒ (Higher Level Commands) Òô Ò Ô Ü Ö Ø ÓÙÖ Ø ÒÓÙ Ò ÒÓÙÒ Ð ÔØÓÑ Ö ÒØÓÐ Ñ Ò Ö ØÓ ØÓÙ ÙØ ÖÓÐ ÔØÓÙº À Ù ÓÐ ÐÓ Ô Ò ÔÓÙ ÔÖÓ ÔØ Ô ÙØ Ø Ò Ð ØÓÙÖ Ô Ø ÓÔÓ ÔÓØ Ð ÓÙ Ø ¹ ÔÖ Ð Ò ÙÒ Ø Ø Ø Ò ÔÖÓ Ö ÑÑ Ø Ø Ò ÖÓÑÔ Ø Ø ÐÐ Ð ô Ø Ò ÒØ Ð Ñ Ò Ø Ò Ø Ð Ø ØÓ ÙÝ ÐÓ Ô Ô ÓÙ ÒØÓÐ ÒÛ Ø Ò ÖôÔ Ò ¹ Ù Ô Ö ÐÐÓÒØ º À ÙØ ÒÓÑ ÒÓ Ø Ò ÔØÙÜ ØÛÒ ÖÓÑÔÓØ ôò Ù Ø Ñ ØÛÒ Ò Ò Ò Ó Ô Ó ÔÓÙ Ð ÐÓ Ô Ö Ø ÖÓ ØÓ Ò ÖÓÒ Ø ÖÓÑÔÓØ Ø Ò Ø ÕÒ Ø ÒÓ ÑÓ Ò º ÈÖ Ø Ü ÐÜ Ø Ò ÙÖÓÐÓ ÕÓÙÒ Ñ Ø Ø Ò Ø ÓÑ ØÓÙ ÐÓÙ Ò Ô Ö Ø Ø Ò Ñ ÐÓ Ñ ÔÖÓ ÓÖ Ñ Ò Ô Ø Ò ÖôÔ Ò ÓÒ º ÌÓ Ò ÔØÙÜ ÔÖ Ö ÑÑ Ø Ò ÖôÔ Ò ÓÒ Ò Ø Ò Ò Ô Ö Ø ÖÓ Ò Ô Ø Ô Ø Ù Ò ÔÓÐÐÓ Ô ØÖ Ô ØÓÙ Ò ÖôÔÓÙ Ò Ò ÔØ ÓÙÒ ØÓ ÑÙ Ð ØÓÙ Ô Ø Ö Ð Ñ ÕÖ Ø Ò Ò Ð Û Ñ Û ÑÔ Ö ôò ÔÖ ¹ Ñ Ø ÕÖ ÒÓ ¾ º Ò ØÖÓ Ø Ò Ö ÙÒ Ñ ÔÓØ Ð Ñ ÒØ ÔÖÓ Ô ÓÔÓ Õ Ø Ð Ø Ø Ð ÙØ ÕÖ Ò Ø Ò Ø Ù ÙÔÓÐÓ Ø ôò ÑÓÒØ ÐÛÒ ÔÓÙ Ô ØÖ Ô Ò Ø ÖÓÑÔ Ø Ò Ò ÔØ ÜÓÙÒ Ø ¹ Ò Ø Ø ØÓÙ ÙØ ÒÓÑ Ñ Û ÐÐ Ð Ô Ö Ñ ØÓ Ô Ö ÐÐÓÒ ØÓÙº Ì ØÓ Ù Ø Ñ Ø ÑÔÓÖÓ Ñ Ò Ø Õ Ö Ø Ö ÓÙÑ Û Ò ÔØÙÜ ÖÓÑÔÓØ Ù¹ Ø Ñ Ø º ÙØ ÔÖÓÔÓ Ø Ø ÛØ Ö ÖÕ Ø ØÓÒ Ò Ô Ö Ø ØÓÙ ÖÓÑÔ Ø ÔÖ Ô Ò Ñ ÓÙÖ Ø ÙØ Ñ Ø Ñ ÙÜ Ø ØÖ ÔÓ Ñ Û Ñ Ø ØÓ Ò ÔØÙÜ º Ç Ø ÕÓ ÙØÓ ØÓÙ Ò ÓÙ Ö ÙÒ Ø Ó Ô ÓÙ Ò Ò Ô ØÖ Ý Ø Ñ ÓÙÖ Ò ÔØÙÜ ÙØ ÒÓÑÛÒ ÖÓÑÔÓØ ôò Ù Ø Ñ ØÛÒ Ø ÓÔÓ Ò ÒØ Ò Ñ Ðô ÓÙÒ ÒÓ Ø Ò ÔÓ Ø ¹ ÓÙÒ Ò Ò Ø Ø ÙÐÐÓ ÑÓ Ð Ý ÔÓ ÛÒ Ö Ñ Û Ø ÐÐ Ð Ô Ö ØÓÙ Ñ ØÓ Ò ÖôÔ ÒÓ Ô Ö ÐÐÓÒº Ç Ñ ÖÓÔÖ ÑÓ Ø ÕÓ ØÓÙ Ö ÙÒ Ø Ó ÔÐ ÓÙ ØÓ ÓÔÓÓ ÒØ Ø Ô ÖÓ Ö ÙÒ Ø ÔÖÓ Ô ØÓ ÓÔÓÓ Ô Ö Ö Ø Ø ÙÔ ÐÓ Ô ØÑ Ñ Ø ÙØ Ø ØÖ Ò Ô Ø Ñ ÙÑ ÓÐ Ñ Ñ Ó ØÖ ÔÓµ Ø Ñ ÓÙÖ Ò ÛÒ Ø ÕÒ ôò ÔÖÓ Ø Ò Ò ÔØÙÜ ÔÓ ÓØ ôò Ù Ø Ñ ØÛÒ Ø ÕÒ ¹

25 ½º½ ÃÒ ØÖ ËØ ÕÓ Ø ³ Ö ÙÒ ¾ Ø ÒÓ ÑÓ Ò Ô Ø Ò ÐÐ ÑÑ Ûµ ÙÒ ÓÖ Ø Ò Ð Ø Ö ¹ Ø Ò ôò ÓÐÓ ÒÓ ÑÓ Ò º À Ô ÖÓ ØÖ Ø Þ ØÓ Ù Ö Ñ ÒÓ ØÓÑ ÔÓÙ ÓÖ Ø Ò Ò ÔØÙÜ ÔÓÐÙÔÖ ØÓÖ ôò (Multi-Agent) Ù Ø Ñ ØÛÒ Ð ÕÓÙ ÖÑÓ Ô Ü ÓÙ Ò Ò ØÓÙ ÖÓÑÔÓØ Ó Õ Ö ÑÓ º À Ø Ò Ø ÔÓÐÙÔÐÓ Ø Ø ØÛÒ ôò ÓÐÓ ÒÓ ¹ ÑÓ Ò ÔÓÙ ÙÒØ ÐÓ Ò Ø Ò Ø Ð Ô Ü ÛÒ Ö ôò ÑÔÓÖ Ò Ó Ñ ÒØ Ñ Ô Ø Ò Ñ ÙÒ Ø Ñ ØÓÐÓ ÔÓÙ Ñ Ð Ø Ô ¹ Ø Ñ Ø Ø ÕÒ Ø ÒÓ ÑÓ Ò ÒØ ØÖÓ Ø ÕÒ Ø ÒÓ ÑÓ Ò ÑÔÓÖ Ò Û Ð Ø Ö Ô Ø Òô ØÛÒ ôò ÔÓÙ ÒÓÒØ Ø Ó¹ ÐÓÙ Ó ÒØ Ø Ø Ø Ñ ÓÙÖ Ò ÔØÙÜ Ù ÙôÒ Ù Ø Ñ ØÛÒ ÒôÒ Ò ÒØ Ñ ØÛÔ ÓÙÒ ØÓ Ù Ö Ñ ÒÓ ÔÔ Ó ÔÓÐÙÔÐÓ Ø Ø º Å ÙØ Ò ÒÒÓÓ Ñ Ø Ø ÕÒ Ø ÒÓ ÑÓ Ò ÔÖ Ô Ô Ö Ø Ø Ò Ñ Ñ Ö ô Ø ÓÐÓ ÒÓ ÑÓ Ò Ø ÓÐÓ ÒÓ ÑÓ Ò ÔÖ Ô Ò ÔÓ Õ Ø Ð ØÓÙÖ Ö ô ÔÛ Ø Ð Ø Ö Ù Ø Ñ Ø Ø ÕÒ Ø ÒÓ ÑÓ Ò º ³ÇÑÛ Ò Ø Ø ÔÖ Ô Ò ÙÔ ÖÕÓÙÒ Ò ÖÕ Ø ÒÓ ÑÓ Ò Ø ÓÔÓ ÑÔÓÖ Ò Ò Ò Þ Ø Ñ Û Ñ Ø ØÓ ÙÒ Ö Ø Ñ Ð Ø ÔÓÙ ÓÖÓ Ò Ø Ó ÓÐÓ Ù Ø Ñ Ø Ó Ù Ø Ñ Ø Ø ÕÒ Ø ÒÓ ÑÓ¹ Ò º ³ ÕÓÒØ ÓÖ Ø ÒÒÓ Ñ Ø ÓÔÓ ÔÖÓ ÞÓÙÑ Ø Ò Ô ÖÓ ØÖ ØÓ Ô Ó Ø Ø ÕÒ Ø ÒÓ ÑÓ Ò ÑÔÓÖÓ Ñ Ò ÔÖÓÕÛÖ ¹ ÓÙÑ Ø Ò Þ Ø Ñ Ö Ñ Ó ÓÐÓ Ò ÛÑ ØÛ ÒÓ ÑÓ Ò Ø ÖÓÑÔÓØ Ù Ø Ñ Ø Ø ÓÔÓ Ñ Ð ØÓ Ñ ÓÔÓ Þ Ø ØÓ ÙÖ Ø ÖÓ Ô ¹ Ø ÑÓÒ Ô Ó ÔÓÙ Ò ÒÛ Ø Û ËÙÒ Ø Ñ (Connectionism) º Ë ÙØ Ø Ò ÔÖÓ ÒÓ ÑÓ Ò Ô Þ Ô Ò Ñ ÐÓ Ö Ñ ØÓ ¹ Õ ÛÒ Ô Ü Ö ÔÓÙ ÙÒ ÓÒØ Ð Ñ Þ Ñ ØÓ Ò Ò Ø Ð Ñ ÔÐ Ð ØÓÙÖ ÔÛ Ô Ö Ñ Ø Æ ÙÖÛÒ ØÙ µ ½ º ËØ Ò Ö¹ ÔÓÙ Ô ÖÓÙ ÞÓÙÑ ô Ü Ø ÞÓÙÑ Ø Ò ÔÖÓ ØÓÙ ËÙÒ Ø ÑÓ (Connectionism) Ô Ñ ÓÖ Ø ÓÔ ¹ ÙØ Ò Ø ÒÛ Ô Ø ¹ Ñ (Cognitive Science) ÒÛ Ô Ø Ñ Ñ Ð Ø Ø Ð ØÓÙÖ ØÓÙ ÐÓÙ Ñ ÙÒ Ù Ñ ÓÖ Ø ôò ÒÛ ôò ÒØ Ñ ÒÛÒµ ¾ º ÙØ ÔÖÓ ÕÖ ÑÓÔÓ ØÓÒ ËÙÒ Ø Ñ Ò ô Ô ÒØ ÖÛØ ¹ Ñ Ø ÔÓÙ Õ ØÞÓÒØ Ñ Ø Ò Ò ÖôÔ Ò Òô» ÒØÐ Ý Ð ÔØÓÒØ Ô Ø ÒØ Ð ÔØ Ñ ÕÖ Ø ÙÐÐÓ Ø (Reasoning)º Ç ËÙÒ Ø Ñ ¹ ØÓ ÔÐ Ó Ø ÒÛ Ô Ø Ñ ¹ ÔÓØ Ð ÓÙ Ø Ñ ÛÖ Ô Ü Ö ÔÐ ÖÓ ÓÖ ôò º ÒØ Ø Ñ Ø Ð Ù Ø Ñ Ø ÔÓÙ ÕÖ ÑÓÔÓ Ó Ò ÙÕÒ ÐÓ Ó Ò Ò Ù Ø Ñ ÒÓÙ Ö ÖÕ ØÓ Õ Ö Ñ ØÛÒ ÙÑ ÐÛÒ Ñ Ö ØÖ ÔÓ Ø Ù Ø Ñ Ø ÔÓÙ ÞÓÒØ Ø Ò ÔÖÓ ØÓÙ ËÙÒ Ø ÑÓ Ø ÖÞÓÒØ Ø Ò Ô Ö ÐÐ Ð Ô Ü Ö ÙÔÓ¹ ÙÑ ÐÛÒ ÕÖ ÑÓÔÓ ôòø Ø Ø Ø Ø Ø ÒØ ÐÓ Ó ¹ Ò Ò Ø Ñ Ø ØÖÓÔ ØÛÒ ÔÐ ÖÓ ÓÖ ôòº Ô ÔÐ ÓÒ ÔÖÓ ØÓÙ ËÙÒ¹

26 ½º½ ÃÒ ØÖ ËØ ÕÓ Ø ³ Ö ÙÒ ¾ Ø ÑÓ Þ Ø ÑÓÒØ Ð ÔÓÙ Ñ ÓÙÖ Ó ÒØ Ø Òô Ø Ò Ø Ò ÙÖÓ Ù ÓÐÓ (Neurophysiology) ØÓÙ ÐÓÙ Òô Ô Ö ÐÐ Ð ÔÖÓ¹ Ô Ò Ò ÛÑ Øô ÙØ Ø Ð ØÓÙÖ Ø Ø Ø Ö Ø Ò Ô Ø Ø Òô º ËØ Ò Ö Ñ Ù Ó Ø Ñ ÙØ Ò Ø Ò ÔÖÓ ØÓÙ ËÙÒ Ø ÑÓ ØÓ Ù Ö Ñ ÒÓ ØÓÑ Ø ÒÛ Ô Ø ¹ Ñ Ø Ô Ö ÐÐ Ð Ð Ô Ü Ö ÙÔÓ¹ ÙÑ ÐÛÒ ÔÖÓ Ô ôòø Ò Ò Õ ÓÙÑ ØÓÙ ÖÓÑÔÓØ Ó Ñ ÔÖ ØÓÖ Ñ Ô Ö Ñ ÙÑÔ Ö ÓÖôÒ ÙØÓ¹ Ô Ð Ý ÙØÓ¹ÓÖ ÒÛ Ø ô Ø Ò ÑÔÓÖÓ Ò Ò ÒØ Ô Ü ÖÕÓÒ¹ Ø ÙÒ Ñ Ñ Ø ÐÐ Ñ Ò Ô Ö ÐÐÓÒØ º ÌÓ Ô Ó ÔÓÙ Ð ÔØ Ì ÕÒ Ø ÆÓ ÑÓ Ò Ò Ø Ö ÙÖ º ÕÓ¹ Ð Ø Ñ ÓÖ Õ Ñ ØÛÒ Ò Ô Ö Ø Òô ÓÖ Ø Ñ ¹ ÓÙ Ø Ò ÔÐÙ Ø Ø Ø Ø ÓÑ Ò Ø Òô Ó¹ Ö Ø Õ Ñ Ø Ø Ò ÙØÓÑ ØÓÔÓ Ñ Ò Ñ Õ Ò Ñ ÔÓÐÐ ÐÐ º Ò Ñ ØÓÙ ØÓÑ ÖÑÓ Ø Ì ÕÒ Ø ÆÓ ÑÓ Ò Ò Ø ³ ÑÔ Ö ËÙ Ø Ñ Ø Â ÛÖ È ÒÛÒ Ô Ü Ö Ù Ðô Ò Òô¹ Ö ÒÛÒ Ù ÊÓÑÔÓØ º Å ØÓ Ð ÓÖ Ñ ÒÓ ÔÐ Ó Ø Ì ÕÒ Ø ÆÓ ÑÓ Ò ØÛÒ ÔÓÐÙÔÖ ØÓÖ ôò ÖÓÑÔÓØ ôò Ù Ø Ñ ØÛÒ ÔÖÓ Ô Ó Ñ Ò ÓÖ ÓÙÑ Ò Ù Ö Ñ ÒÓ ÔÐ Ó ØÓ ÓÔÓÓ ÔÖÓ¹ Ô ÓÙÑ Ò ÖÑ ÓÙÑ Ñ Ò ÔÓÐÙÔÖ ØÓÖ ÖÕ Ø ØÓÒ ÓÔÓ ÙÒ Ù Þ Ò Ø Ø Ñ ÔÖÓ ÖÑÓ Ø Ø Ø ÙÒ Ñ Ô Ö Ð¹ ÐÓÒØ Ø ÙÑÔ Ö ÓÖ ÔÓÙ Þ Ø ØÛÒ ÔÖÓØ ÖÛÒ ÒÛ Ø ÑÓÒØ Ð Ð ÙØ ÖÑÓ Ñ Ò ØÓÒ Ù Ö Ñ ÒÓ ØÓÑ ØÓÙ Ô Ü ÓÙ ÖÓÑÔÓØ Ó Õ Ö ÑÓ º À ÒÒÓ Ø Ñ ÓÙÖ Ñ ÔÓÐÙÔÖ ØÓÖ ÓÑ ÔÓÙ Ô Ø Ñ Ñ Ö Ø ÓÑ Ù Ø Ø Ø ÓÐÓÙ Ó Ò Ñ Ó Ò ÔÐ Ö ÖÕ ÖÕ Ø ØÓÒ Òô Ô Ø Ò ÐÐ Ò ÔØ ÓÙÒ Ò Ø Ø ÙÑÔ Ö ÓÖ Ñ Ø Ò Ô ÖÓ Ó ØÓÙ ÕÖ ÒÓÙ ÕÛÖ Ò ÒÓÙÒ ÕÖ ÔÓ ÔÖÓ ÓÖ Ñ Ò ØÖ Ø ÔÓÙ Ò Þ Ø ÔÓ Ó ØÛÒ ÔÖÓØ ÖÛÒ ÒÛ Ø ÑÓÒØ ÐÓ ÒÓ Ò Ñ Ø Ø Ñ Ð ÙÒ Ø Ø Ø º Ô ÔÖ ¹ Ø ÔÖÓ Ô Ñ Ò Ò ÔÓÑÓÒô ÓÙÑ Ù Ö Ñ Ò ÒÒÓ Ô ØÓÙ ØÓÑ Ø ÔÓÐÙÔÖ ØÓÖ ÛÖ ØÛÒ ÙØÓ ÒÓ Ñ ÒÛÒ ÖÓÑÔ Ø (Mobile Robotics) Ø Ó ÐÓ Ø Ñ Õ Ò Ñ ØÓÙ ÔÖÓ Ö¹ ÑÓ Ø Ó Ð ÕÓÙ Ò Ø ÙÒ ÓÙÑ Ñ Ñ Ó ØÖ ÔÓ Ñ ÓÙÖ ôòø Ø Ò Ù Ö Ø Ñ ÖÓÑÔÓØ Ó Ð ÕÓÙ ØÓ ÓÔÓÓ Ü ÓÐÓ ØÓÒ ØÓÑ ØÓÙ Ô Ü ÓÙ Õ Ö ÑÓ º ³ ÕÓÒØ Ô Ö Ö Ý Ø ÒÒÓ ÔÓÙ ÙÒ ØÓÙÒ ØÓ Ò ØÖÓ Ø Ö Ù¹ Ò Ø Ñ ÔÖÓ Ô Ø Ó Ð ÔÓÙ ÑÔÓÖ Ò ÔÖÓ ÝÓÙÒ Ñ Û Ñ Ø ØÓ ÔÖÓ ÒÓÒØ Ô Ö Ø ÖÓ Ò Ö º Å Ø ÕÖ ÑÓÔÓ Ñ ÔÖÓ Ö¹ ÑÓ Ø ÔÓÐÙÔÖ ØÓÖ ÖÕ Ø ØÓÒ ÔÓÙ Ò Þ Ø ÑÓÒØ Ð ÙÒ Ù Ñ Ñ Ø Ò ÔÖÓ ØÓÙ ËÙÒ Ø ÑÓ ÔÖÓ Ô Ó Ñ Ò Ô Ø ÕÓÙ¹

27 ½º½ ÃÒ ØÖ ËØ ÕÓ Ø ³ Ö ÙÒ ¾ Ñ Ñ ÙÑ ÓÐ ØÓ Ô Ó Ø Ò ÔØÙÜ ÖÓÑÔÓØ ÔÓÙ ÔÓØ Ð ØÓÒ ÔôØ ÖÓ Ø ÕÓ Ø Ö ÙÒ Ø Ñ ÔÖÓ Ô º Ç Ø ÕÓ ÙØ ÓÖ Ó ¹ Ø Ø Ø ÖÕ Û Ó Õ Ñ Ñ ÖÕ Ø ØÓÒ Ð ÕÓÙ ÔÓÙ ÑÔÓÖ Ò ÖÑÓ Ø Ò Ô Ü Ó ÖÓÑÔÓØ Õ Ö Ø Ø ô Ø Ø Ò ØÓ ÖÓÑÔ Ø ÔÖ Ñ ØÓÔÓ Ò ÔÖôØ ÓÖ Ò Ò Þ Ñ ÙÒ Õ ÙØ ÒÓ¹ Ñ Ò ÔØÙÜ º ÙØ ÔÖ Ô Ò Ò Ñ Ô Ð Ô Ñ Ò ÕÛÖ ÔÖÓ Ö ÑÑ Ø Ñ Ò Ü ÖØ Ø Ô Ø Ò Ö Ø Ò ÓÔÓ ØÓ ÖÓÑÔ Ø Ò Ø Ò Ð Ò ÔÖ Ñ ØÓÔÓ º Ò Ö Ñ Ø Ð Ñ ÖÕ Ø ¹ ØÓÒ ÓÔÓ ÔÖ Ô Ò Ò Ø Ò Ð ØÓÙÖ Ü ÓÙ Ð ÓÔÓ ÔÓØ ÖÓÑÔÓØ ÔÐ Ø ÖÑ Ò Ø Ö ÖÓÑÔÓØ Ö ÕÓÒ Ò Ô Ü Ó ÖÓÑÔÓØ Õ Ö Ò ÖÓÑÔ Ø Ñ Ö Ò ÖÓÑÔ Ø Ñ Ô º À Ò Ò ÔØÙÜ ÔÓÙ Ü Ø ÞÓÙÑ Ô Ö Õ ØÖ Ó ÜÓÒ Ö Ø Ø Ø (abstraction) ÔÖ Ð Ý (prediction) ÛØ Ö ¹ Ò ØÖÓ (Self-Motivation)º Ë Ò Ö Ð Ø ÙÒ Ñ Ô Ö ÐÐÓÒ Ò ÖÓÑÔ Ø Ø Ð Þ Ø Ô Ñ ÙÒ Õ ÖÓ ÒØ Ð ÔØ ôò ÔÐ ÖÓ ÓÖ ôòº Ò ÑÔÓÖ Ò ÕÖ ÑÓÔÓ ÙØ Ø ÔÐ ÖÓ ÓÖ ÔÓØ Ð Ñ Ø ØÓÒ ÓÖ Ñ Ò Ö ôò Ò ÖÓÑÔ Ø ÔÖ Ô Ò Õ Ø Ò Ò Ø Ø Ò Ð ØÓÙÖ Ö Ø Ø ô Ø Ò Ô ÒØÖôÒ Ø Ø Ô Ó Ñ ÒØ ØÓ Õ ØÓÙ Ô Ö ÐÐÓÒØÓº Þ Ñ ÒÓ ÙØ Ø Ö ØÓ ÖÓÑÔ Ø ÔÖ Ô Ò ÑÔÓÖ Ò ÔÖÓ Ð Ý Ø Ô Ò ÐÐ ØÓ Ô Ö ÐÐÓÒ ØÓÙ Ø Ò Ô ÖÓ Ó ØÓÙ ÕÖ ÒÓÙ Ø ô Ø Ò ÔÖÓÕÛÖ Ô Ñ ÔÐ ÒØ Ò Ð Ø ÙÑÔ Ö ÓÖ Ñ Ô Ó Ò Ø Ð Ñ Ò ÙÑÔ Ö ÓÖ º È Ó Ñ ÒØ Ð ÑÔÓÖ Ò Û Ø Ô Ò ØÖ ÔÓÙ Ô ÞÓÙÒ ØÛÒ Û Ø ÓÔÓ Û Ó Ò ØÓ Ø Ñ ÔÖÓ Ñ ¹ Ð Ø Ö Ö Ô ÓÔÓÐ ÔÐÓ ÔÖÓ Ð Ý º È Ø ÓÙÑ Ô Ø Ò ÔØÙÜ ÔÖ Ô Ò ÖÑ Þ Ø Ñ Ö ÖÕ ÙØÓ Ò ÑÓ ØÖ ÔÓ Ø ô Ø Ò Õ Û ÔÓØ Ð Ñ Ø Ò Ñ ÓÙÖ Ñ Ñ ÙÒ ÕÓ ÙÜ Ò ¹ Ñ Ò Ô Ø ÙÑ Ò ÙÑÔ Ö ÓÖ º ÒôÒØ Ñ Ñ Ñ ÓÙÖ Ñ Ò Ñ ÙØ ÙÑÔ Ö ÓÖ ØÓ ÖÓÑÔ Ø ÑÔÓÖ Ò ØÓÙ Ø Ö Ø Ò ¹ Ò ØÓÙ Ò ÕÖ ÑÓÔÓ ØÓÙ Ñ Õ Ò ÑÓ Ö ÔÖ Ð Ý ô Ø Ò Ò Ð Ý Ø Ò ÔÐ ÒØ Ò Ð Ø ÙÑÔ Ö ÓÖ º ³ Ô Ø Ò Self- Motivated Õ Ñ Ð ÕÓÙ Ñ Ø ÐÐ Ù Ø Ò ÙØ Ø Ò Ð Ý Ò ÒØ Ø Ø Ø Ò Ò ÙÑÔ Ö ÓÖ ØÓÙ ÖÓÑÔ Øº ÙØ ÔÓØ Ð ØÓ ÔÖôØÓ Ø Ó Ø ÙØÓ ÙÒ Ñ º Ç Ó Ò Ò ÔØÙÜ Ð ¹ Ö ÑÓ ÑÔÓÖ Ò ÖÑÓ Ø Ô Ö Ó Ñ Ø Ô Ø Ø ÕÖ ÑÓÔÓ ôòø Ø Ò Òô ÔÓÙ Õ Ò ÐÙ Ø ÔÖÓ Ó Ñ Ò Ø º ÙØ Ó Ó¹ ÐÓÙ ÙÑÔ Ö ÓÖ ÔÓÙ Ñ ÓÙÖ Ó ÒØ ÑÔÓÖ Ò ÕÖ ÑÓÔÓ Ó Ò Ò Ó ÓÙÒ ØÓ ÖÓÑÔ Ø Ñ Ö Ø Ø ÛÒ ØÓ Ô Ö ÐÐÓÒ Ø ÔÓÙ ØÓ Ó Ò Ô Ô Ö Ø ÖÓ Ò ÖÓÙ Ø Ø ÔÛ ÓÖÞ Ø Ô ØÓ ÛØ Ö ØÓÙ ÑÓÒØ ÐÓ Ò ØÖÛÒº

28 ½º¾ ËÙÒÓÔØ Ô Ô Ö ÙÒ Ø Ó ÒØ Ñ ÒÓÙ ¾ Ò Ò Ð ô ÓÙÑ ÐÓ Ô Ò ÔÖÓØ ÒÓÙÑ Ñ ÔÓÐÙ¹ ÔÔ ÔÓÐÙÔÖ ØÓ¹ Ö ÖÕ Ø ØÓÒ ÓÕ Ò ÐÙÝ Ð ÕÓÙ Ò Ö ÙÒ ÓÙÑ Õ Ñ Ø Ò ÔØÙÜ ÖÓÑÔÓØ ØÓ Ù Ö Ñ ÒÓ ØÓÑ ØÓÙ Ô Ü ÓÙ Õ ¹ Ö ÑÓ º ËØ Ò ÐÓÙ Ò Ø Ø Ô ÖÓÙ ÓÙÑ Ñ ÒØÓÑ Ô Ô Ø Ü Ò Ñ Ø Õ Ø Ö ÙÒ ÔÓÙ Õ Ü Õ ÔÓÙ Ò Ñ Ü Ð Ü ØÓÒ Ô Ø ÑÓÒ Ð Ó ØÓÒ ÓÔÓÓÒ ÔÖÓ ÞÓÙÑ Ø Ò Ô ÖÓ ØÖ º ½º¾ ËÙÒÓÔØ Ô Ô Ö ÙÒ Ø Ó Ò¹ Ø Ñ ÒÓÙ Ã Ò Ø Ö Ó ÑÓÕÐ Ø Ò Ô ÖÓ ØÖ ÔÓØ Ð Ô ÛÜ Ø Ò Õ Ò ÔØÙÜ Ñ ÖÕ Ø ØÓÒ ÖÓÑÔÓØ Ó Ð ÕÓÙ ÓÔÓ Ò Ø Ö Ð Ñ ÛØ Ô ÔÐ ÓÒ Ô ØÖ Ô ØÓÒ Ð ÕÓ Ò Ñ Ø ¹ ÔÓÐ ÔÐÓ ÛÒ ÖÓÑÔÓØ ôò Ù Ø Ñ ØÛÒ ÔÓÙ Ô Ö ÕÓÙÒ ÔÓÐÐ ÔÐÓ Ô Ò ÔÐ ÓÒ ÞÓÒØ ÑÓ Ð Ù Ö Õ Ñ ØÞÓÒØ ÒÓ Ø Ð Ø Ò¹ Ø Ò Ñ Ø ÐÙ º Ò Ñ ÒØ ÙØ ØÓ ÔÖô ÑÓ Ø Ó Ø Ô ÖÓ ØÖ Ò ÔÖ Ñ ØÓÔÓ ÓÙÑ Ñ ÙÒÓÔØ Ô Ô ØÛÒ ¹ ÓÖ Ø ôò Ö ÙÒ Ø ôò ÔÖÓ Ô ôò ÔÓÙ ÕÓÙÒ ÙÒØ Ð Ø ÙØ Ò ØÓÒ ØÓ¹ Ñ ô Ñ ÒØ ØÓ Õ Ø Ü Ò Ñ ØÓÙ Ö ÙÒ Ø Ó ÙØÓ Ô ÓÙ Ò Ù ÓÐ ÒÓÙÑ Ø Ò Ø Ò ØÓÙ ÔÐ ÓÙ ØÓ ÓÔÓÓ Õ Ø Ò ÐÓ ÓÜ Ò ÙÒ Ö Ö ÙÒ Ø Ñ ÔÖÓ Ô º ½º¾º½ ÊÓÑÔÓØ Å Õ Ò Å Ë Ñ Ó Ø Ö Ø Ò Ô ÖÓ ØÖ ÔÓØ Ð Ó Ñ Õ Ò Ñ Ñ ¹ ÔÓÙ ÔÖ Ô Ò Ù Ó Ø Ô ØÓ ÖÓÑÔÓØ Ñ Ø Ñ Ø ô Ø Ò ÑÔÓÖ ÙØ Ò Ð ØÓÙÖ Ö Ø Ö ÓÖ Ñ Ð Ñ ÛÒ Ñ ØÓÙ Ô Ö ÓÖ ÑÓ ÔÓÙ Ø ÒØ Ô Ò Ô Ö ÐÐÓÒ ØÓ ÓÔÓÓ ÐÐ Þ ÙÒ Õô ØÓ ÓÔÓÓ Ò Ø Ò Õ Ù Ö Ñ Ò ØÛÒ ÔÖÓØ ÖÛÒ ÓÑ Ò µ ÙÑÔ ¹ Ö ÓÖ ÑÓÒØ Ð Ø ÓÔÓ ÔÓÙÒ Ø Ð ØÓÙÖ Ñ ÙØ º À Ñ Ð Ñ Ò ÕôÖ ô Ó ÔÖ ØÓÖ Ô Ö Ø Ö Ø ÐÐ Ð Ô Ö ØÓÙ Ñ ØÓÒ ÑÓ ô Ô Ø Ò ÒØ ØÓ Õ ØÓÙ Ð Ý ÔÓ ÛÒº À Ö Ô Û Ô Ø Ñ Ò Ø Ó ÔÐ ÖÓ ÓÖ ÔÓÙ ÑÔÔØÓÙÒ Ø Ò ÒØÐ Ý Ò ÖÓÑÔ Ø ÔÖ Ô Ò ÕÖ ÑÓÔÓ Ó ÒØ Õ Ñ ÒÓ Ø Ò ÔÖ Ñ ØÓÔÓ ØÛÒ ÖÛÒ Ô Ö Ø ôò Ò Ö ôò ÐÐ Ø ÐØÛ Ø ÙÒÓÐ Ò Ø Ø ØÓÙ ÔÖ ØÓÖ Ò Ð ØÓÙÖ ØÓ Ñ Ð¹ ÐÓÒº Ç ØÓÑ Ø Ñ Õ Ò Ñ ÙÒ Û ÕÛÖÞ ØÖ Ô Ö ÔØô

29 ½º¾ ËÙÒÓÔØ Ô Ô Ö ÙÒ Ø Ó ÒØ Ñ ÒÓÙ ¾ Ñ ôò ÔÖÓ Ð Ñ ØÛÒ Ø ÓÔÓ ÕÓÙÒ Ò ÒØ Ñ ØÛÔ ÓÙÒ Ó ÔÖ ØÓÖ Ô Ð Ô Ñ Ò (Supervised) [29] Ñ ¹ Ô Ð Ô Ñ Ò (Unsupervised) [29] Ò ÕÙØ Ñ (Reinforcement Learning) [120], [62] º ÌÓ ÔÖ Ð Ñ Ø Ò Ô Ð Ô Ñ Ò Ñ Ò Ø ØÓ Ø Ñ Ð Ø Ò Ñ Ñ Ð ØÓÙÖ Ñ Û Ô Ö Ñ ØÛÒ ÔÓÙ ÓÖÓ Ò Ù Ö Ñ Ò ÓÑ Ò ÓÙ¹ Ü ÓÙº ËØ Ò Ô ÖÔØÛ ÔÓÙ ØÓ Ô Ö ÐÐÓÒ ÑÔÓÖ Ò Ô Ö Ø Ö ÔÐ ÖÛ Õ Ô ÒØ Ø Ó ÖÓÑÔÓØ ÔÖ ØÓÖ ÑÔÓÖ Ò Ô Ö Ø Ö Ø ÔÓØ Ð Ñ Ø ØÛÒ Ò Ö ôò ØÓÙ ÔÓÑ ÒÛ ÑÔÓÖ Ò ÕÖ ÑÓÔÓ Ô Ð Ô Ñ Ò Ñ ÓÙ Ñ Ò Ñ Ò Ò Ø ÔÖÓ Ð Ô º ÌÓ ÔÖ Ð Ñ Ò Ô Ó ÓÐÓ Ñ ÙØ Ø Ò ÔÖÓ Ø Ò ØÓ Ô Ö ÐÐÓÒ Ò Ñ Ö ô Ô Ö Ø Ö ÑÓ Ø Ø Ñ ÔÓØ Ð Ñ Ø ØÛÒ Ò Ö ôò ØÓÙ ÖÓÑÔ Ø ÑÔÓÖ Ò Ñ Ò Ò Ñ ÓÖ ¹ Ø º ÌÓ ÔÖ Ð Ñ Ñ Ø Ñ ¹ Ô Ð Ô Ñ Ò Ñ Õ Ò Ò Ñ Ø Ñ ÔÖÓØ ÔÛÒ Ø Ò Ó Ó ÓÑ ÒÛÒ Ø Ò Ò ÕÓÙÒ Ó Ù Ö Ñ Ò Ø Ñ Ø ÔÖÓ Ó ôñ Ò Ü ÖÕ Ñ Ò (Reference Output) ÓÑ Ò º ³ Ò ÖÓÑÔÓØ ÔÖ ØÓÖ ÔÓÙ Ñ Ò ÕÛÖ Ñ Ô Ð Ý Ò ÑÔÓÖ Ò Ñ Ø ÔÖ Ô Ò Ò Ø Ò Õ ÔÐ ÖÓ ÓÖ Û ÔÖÓ Ø ÔÓØ Ð Ñ Û Ø Ò Ö Ñ Ô ÙÑ Ø Ø Ø º ÙØ Ó Ø ÔÓ Ñ Ó ÔÖÓ Ð Ñ ØÓ Ñ Ð Ø Ø ÔÖÛØ ÖÕ ØÓ ÔÐ Ó ØÛÒ Ô ÒÓÐÓ ôò Ù Ø Ñ ØÛÒ ÐÓ º ÀØÖØ ¹ Ø ÓÖ ÓÖ ØÓ ÔÖ Ð Ñ Ø Ò ÕÙØ Å ½¾¼ ¾ º À ÙØ Ø ÔÖÓ Ò Ø ÒØ Ò ÐÓ Ò ÙÔÓ Ò ØÓ Ø Ñ ÔÓ Ò Ö Ò Ò Ñ Ò Ñ Ù Ö Ñ Ò Ø Ø ØÓ Ø Ñ Ñ Ò Ñ ÑÑ Ó ØÖ ÔÓ Ñ Û Ñ Ù Ö Ñ Ò Ò Ö ÓÔÓ ØÓÙ ÔÓÒ Ñ Ø Ò ÙÒ Ô Ò Ö Ø Ò ÓÔÓ ÙØ Ø Ð º À Ò Ö ÙØ ÓÒÓÑ Þ Ø ÒØ ÑÓ ÒØ Ô Ó (reward)[8], Ô Þ ØÓ Ñ ÒØ Ö ÐÓ Ò Ø Ò ØÓ ÖÓÑÔÓØ Ø Ñ Ò Ñ Ù Ö ¹ Ñ Ò ÙÑÔ Ö ÓÖ ÓÑ Ò Ø Ø Ó Ô ÙÑ Ø ÔÓØ Ð Ñ Õ ÙÒ Ôô Ò ÑÔÓÖ ÙØ Ò ÛÖ ØÓÙ ÔÓØ Ð Ñ ØÓµ Û Ò Ñ Ò Õ Ø ÓÑ Ò Ø Ø º Áµ Ò ÕÙØ Å ÈÓÐÙÔÖ ØÓÖ ËÙ Ø Ñ Ø Ò Ö Ø Ø Ò Ð Ó Ö Ò Ñ ÒØ Ö Ñ Ö ÙÒ Ø ôò ÔÖÓ Ô ôò ÔÓÙ ÕÓÙÒ ÖÑ ÔÓ ÓÙ ÓÙ Ø ÕÒ Ñ Õ Ò Ñ ÔÓÐÙÔÖ ØÓÖ ÖÓÑÔÓØ Ù Ø Ñ Ø º Ç Ö ÙØ ÕÓÙÒ ÖÑÓ Û Ô ØÓ ÔÐ ØÓÒ Ò Ù Ö Ñ ÒÓ ØÓÑ Ø ÖÓÑÔÓØ Ø ÙØÓ ÒÓ Ñ ¹ Ò ÖÓÑÔÓØ Ù Ø Ñ Ø (Mobile Robotics) ½¾ ½ º À Ô ØÛ Ø ÐÐ Ý ÓÙ Ø ÖÑÓ ôò ÔÓÐÙ¹ÔÖ ØÓÖ ôò Ù Ø Ñ ØÛÒ ØÓÒ ØÓ¹ Ñ ØÛÒ Ô Ü ÛÒ ÖÓÑÔÓØ ôò Õ Ö ØôÒ Ò Ø ÔÓÙ ÜÞ Ò Ñ ô ÓÙÑ ÓÙÖ ÔÓØ Ð Ò ÔÓÐ ÕÙÖ Ò ØÖÓ Ø Ò Ö ÙÒ Ø Ñ ÔÖÓ¹ Ô º À Ò ÕÙØ Å Ò Ò Ò Ö Ö ÙÒ Ø ØÓÑ Ø Ò

30 ½º¾ ËÙÒÓÔØ Ô Ô Ö ÙÒ Ø Ó ÒØ Ñ ÒÓÙ ¾ Ô Ö ÓÕ Ø Ñ Õ Ò Ñ Ó ÓÔÓÓ Ô Ð Ø Ò ÔÖÓ ÓÕ Ô ØÓÙ ØÓÑ Ø ÛÖ ÔÓ ÛÒ ØÓÙ ÙØÓÑ ØÓÙ Ð ÕÓÙº Ð Ö ÑÓ Ò ¹ ÕÙØ Ñ ÔÖÓ Ô Ó Ò Ò Ð ÓÙÒ ØÓ Ù Ö Ñ ÒÓ ÔÖ Ð Ñ Ôô Ò ÔÖ ØÓÖ Ñ ÓÑ ÔÖ Ø ÖÛÒ ÑÔÓÖÓ Ò Ò Ñ ÓÙÒ Ò ÔÖÓ ÞÓÙÒ Ø Ò Ð Ø Ö ØÖ Ø ÙÑÔ Ö ÓÖ Òô ÐÐ Ð Ô ÖÓ Ò Ñ Ñ ØÓ Ô Ö ¹ ÐÐÓÒº À Ò ÕÙØ Ñ Ò Ñ Ø ÕÒ Ñ ÔÓÙ Þ Ø Ø Ò ÑÔ Ö º Å Û Ø Ô Ð Ñ Ò Ò Ö ÖÒ Ô Ö Ù ÙÜ ÒÓÒØ Ø Ò Ô Ò Ø Ø Ò Ô Ð ÙÑÔ Ö ÓÖ ØÓ Ñ ÐÐÓÒ ½¾¼ º Ô Ø Ò ÐÐ Ñ ÐÑ Ò Ò Ö ÔÖÓ Ð Ø ÑÛÖ Ñ ôòóòø Ø Ò Ô Ò Ø Ø Ô Ò ¹ Ð Ý Ø º Ï ÔÓØ Ð Ñ Ò ÔÖ ØÓÖ Ñ ÓÑ ÔÖ Ø ÖÛÒ Ñ ÒÓÙÒ Ôô Ô Ù Ö Ñ Ò Ø Ø Ø ÓÔÓ Ñ Ø ÒÓÙÒ Ô Ð ÓÙÒ Ù ¹ Ö Ñ Ò Ò Ö Ó ÓÔÓ Ñ ØÓÔÓ Ó Ò Ø Ò Ô Ö Ù ÔÓÙ ÕÓÒØ º ËÙ Ö Ñ Ò Ø ÕÒ Ò ÕÙØ Ñ ÔÛ Q-Learning ½ ¼ Actor-Critic ½¾ ½ ¾ ÕÓÙÒ ÖÑÓ Ø Ñ ÕÖ ØôÖ Ñ Ô ¹ ØÙÕ ÔÓÐÙÔÖ ØÓÖ ÖÕ Ø ØÓÒ Ó ÓÔÓ ØÓÕ ÓÙÒ ØÓÒ Ð ÕÓ ÙØÓ ÒÓ Ñ ÒÛÒ ÖÓÑÔ Ø ÔÓÙ Ð ØÓÙÖ Ó Ò Ô Ö ÐÐÓÒ ÔÓÙ Ò ÔÐ ÖÛ Ô ¹ Ö Ø Ö ÑÓ Õ ÑÛ ØÓ ÔÐ Ó ÖÑÓ ôò Ô Ü ÓÙ ÖÓÑÔÓØ Ó Õ Ö ¹ ÑÓ Ó ÙÒ Ñ Ñ Ø ÐÐ Ñ ÒÓ Ô Ö ÐÐÓÒ ÔÛ Ô ô ÓÙÑ Ø Ò Ö ÙÒ Ø Ñ Ö º Ô ÔÐ ÓÒ Ø ÕÒ Ø ÔÓÙ Actor-Critic Ø Ô ¹ Ö Ø Ö Ô Ö ÔØô ÖÑ ÞÓÒØ ÙÒ Û ÙÒ Ù Ñ Ñ Æ ÙÖÛÒ ØÙ Õ ÔÓÐÙÔÖ ØÓÖ Ô Ö ÐÐÓÒ ÖÑÓ ÔÐÓ ÒÓ ¹ Ñ ÒÛÒ ÖÓÑÔ Ø ÕÖ ÑÓÔÓ ôòø Ò Õ ÖØ ÙØÓ¹ÓÖ ÒÛ (self-organizing map) º Ö ÔÓÙ ÕÓÙÒ Ñ ÕÖ Ñ Ö Ò Ó ÒÛ ¾ ½¼ Ò ÖÓÒØ ÖÑÓ Ø Ø ÓÔÓ ØÓ ÖÓÑÔ Ø Ò Ø ØÓ ÕôÖÓ ØÓÙ Ö Ø ÕÖ ÒÓ ô Ø Ò ØÓÒ Ø Ö Ý Ò ÔÓ Ø ÒÓÔÓ Ø ÓÑ Ò Ô Ø Ò Ø ÓÖ Òô ÕÖ ÑÓÔÓ ôòø ØÓÒ Ð Ö ÑÓ ØÓÙ Kohonen º ËØ ÙÒ Õ ÖÑ Þ Ø Ò ØÙÓ Ò ÙÖôÒÛÒ ØÓ ÓÔÓÓ ÙÐÓÔÓ ØÓÒ Ð ¹ Ö ÑÓ Ò ÕÙØ Ñ Ñ ÓÔ Ò ÔÐÓ ØÓ ÙØÓ ÒÓ Ñ ÒÓ ÖÓÑÔ Ø Ñ ØÓÒ Õ ÖØ º ³ Ò ÔÖÓ Ò Ô Ö ÓÖ Ñ Ñ Ø ØÓ Ñ Ó ÓÐÓ Ò ØÓ ÓÒ Ø Ò Ó ÕôÖÓ ÐÐ Ü Ø Ñ ÔÖ Ô Ò ÖÕ Ô Ø Ò ÖÕ Ó Ó Õ ÖØ ÙØÓ¹ÓÖ ÒÛ ÔÖ Ô Ò Ô Ò ÔÖÓ ÓÖ Ø º À Ø Ò ÔØÙÕôÒ Ø Ò ÖôÔ Ò ÙÒ Ö Ø ÙÑÔ Ö ÓÖ ÔÓØ Ð ô ÒØ Ñ ÒÓ Ö ÙÒ ØÓ Ô ÓØÛÒ ÔÓÐÙÔÖ ØÓÖ ôò Ù Ø Ñ ØÛÒº ËØ ÖÓÑÔÓØ Õ Ø Ñ Ø ÕÓÙÒ Ö ÙÒ Ø ÔÐ Ö ôò ÔÓÙ ÔÖ Ñ ¹ ØÓÔÓ Ò ÙØÓ ÒÓ Ñ Ò ÖÓÑÔ Ø ¾ ÖÓÑÔÓØ Õ Ö ÔÓÐÐ ÔÐÓ ÙÒ Ö Þ Ñ ÒÓÙ ÖÓÑÔÓØ Ó Õ Ö Ø ¾ ¾ ¾ º ËÙ Ö Ñ Ò Ø Ö¹ ½ Ò ÔØ Õ Ò ÔÖÛØ ÓÐÐ Õ Ö ÑÓ Ñ ÓÑ ÙØÓ ÒÓ Ñ ÒÛÒ ÖÓÑÔ Ø Ø ô Ø Ò ÙÒ Ö Ø Ò Ô Ø ÕÓÙÒ Ò ÔÖôÜÓÙÒ Ñ Ð ôø º ËØÓ ¼ Ñ Ð ÓÖ Ñ ÓÑ ÙÒØÓÒÞ Ø Ò ÔÖÓ Ò ØÓÐ ÑÓ ÒØ Ñ ÒÛÒ ØÓ ÔÔ Ó Ô Ò Ü ÖØ ØÓÙ ÖÓÑÔÓØ Ó ÔÖ ØÓÖ º ËØÓ ¾ Ô ÖÓÙ Þ Ø Ñ Ñ Ð Ø ÔÓÙ Ø Ò Ñ Ñ Ò ØÖ Ø ÙÒ Ö Ø

31 ½º¾ ËÙÒÓÔØ Ô Ô Ö ÙÒ Ø Ó ÒØ Ñ ÒÓÙ ¼ Õ Ö ÒØ Ñ ÒÛÒ Ô ØÓ ÒØ Ô Ñ ÓÑ ÙØÓ ÒÓ Ñ ÒÛÒ ÖÓÑÔ Ø Ø ÓÔÓ ÕÓÙÒ Ò ÛÑ ØÛÑ Ò ÙÑÔ Ö ÓÖ º ÌÓ Ó Ò Ñ Ó ÐÛÒ ÙØôÒ ØÛÒ Ö ôò Ò Ø Ò ØÛÒ ÒØ Ñ ÒÛÒ ÔÓÙ ÙÔ ÒØ Õ Ö Ñ ¹ ÔÓ ÑÓÖ Ò Ø ÓÙ Ò Ø Ø quasi-static µ Ô ÔÐ ÓÒ ÐÓ Ó ÔÖ ØÓÖ ÔÓÙ ÑÔÐ ÓÒØ Ø Õ Ø Ö ÕÓÙÒ ÔÖÓ ÓÖ Ñ Ò ÑÓÒ¹ Ø Ð ÙÑÔ Ö ÓÖôÒ Ø ÓÔÓ Ø ÙÒ Ù ÞÓÙÒ ÒÓÒØ ÕÖ Ù Ö Ñ ÒÛÒ ÖÕ Ø ØÓÒ ôò ÔºÕº ÙÔ Û subsumptionµ ¾ µº Ô ÔÐ ÓÒ Ø ÙÒ Ö ¹ Ø Ø Ø Ò ÖôÔ Ò ÙÑÔ Ö ÓÖ Ô Ò Õ Ö Ø Ö Ø Ü Ð Ü Ò Ø Ø ÙØÓ¹ÓÖ ÒÛ º ÙØ Ó ÑÓÒ Ø Ø Ø Ò ÖôÔ Ò Ùѹ Ô Ö ÓÖ ÕÓÙÒ Ñ Ð Ø Ô Ö ô Ø Õ ÑÓ Ù ÙôÒ ÖÓÑÔÓ¹ Ø ôò Ù Ø Ñ ØÛÒ Ø ÓÔÓ ÔÖ Ô Ò Ð ØÓÙÖ Ó Ò ÙÒ Ö Ø ÙØ ÒÓÑ ÔÖÓ ÖÑÓ Ø ØÓ Ô Ö ÐÐÓÒ ØÓÙº Ë ÙØ ØÓ ÔÐ Ó ÐÓ Ô Ò ÕÖ ¹ Ø ÕÒ ôò ÔÖÓ ÖÕ Ñ ÒÛÒ Ô Ø Ò ÓÐÓ ÔÛ Ò Ò ÕÙØ Ñ Ü Ð Ø ÙÔÓÐÓ Ø (evolutionary computation) ô Ø Ù Ø Ñ Ø ÙÒ ØÓÙÒ Ò Ò Ó ÔÓÐÙ Ò ØÓ Ñ Ø Ö ÙÒ Ø Ô Ó ØÓ ÓÔÓÓ ØÓÕ ÓÙÑ Ò ÙÒ ÖÓÙÑ Ñ Ø Ò Ô ÖÓ ØÖ º À Ò ÕÙØ Ñ ½ ¾ ÔÓØ Ð Ò Ñ ÒØ Ñ Õ Ò Ñ Ô ¹ Ø Ü ÓØ ØÛÒ ÖÓÑÔÓØ Ó Õ Ö ÑÓ º Å ÐÐ ÔÖÓ Ô Ø Õ Ø ôò Ü ÓØ ØÛÒ Þ Ø Ø ÔÓÙ Å Ñ Û Ô Ü (Learning from Demonstration - LfD) Ò Ö Ñ Ò Ô Ø ¹ Ð Ó Ö Û Å Ñ Û ÅÑ (Learning by Imitation) º Å Û ÙØ Ø ÔÓÐ Ø Ø Ò ÓÔÓ ÕÖ Þ Ø ØÓ ÖÓÑÔÓØ Ø ¹ Ñ Ò Õ Ñ Ø Ò Ð ØÓÙÖ Ø Ñ Ò Õ Ñ Û Ü Ö Ò Ö Ñ ØÓ Ô Ö ÐÐÓÒ ÐÐ Ñ Û Ø Ô Ü Ø Ò ÓÔÓ ØÓÙ Ô Ö Õ Ó ÛÒº ÌÓ ÒÓÐÓ ØÛÒ Ô Ö Ñ ØÛÒ ÔÓÙ Ô ÖÓÙ ÞÓÒØ Ø Ø Ö Ø Ô Ü ÓÖÞÓÒØ Û ÓÐÓÙ Ô Þ Ø Ø - Ö (stateaction) Ø ÓÔÓ Ø Ö ÓÒØ Ø Ø Ò Ü Ð Ü Ø Ô Ü Ù Ö Ñ Ò ÙÑÔ Ö ÓÖ ØÓ ÖÓÑÔÓØ Ø Ñ º Æ Ñ Û ÙØ ØÓ Ñ Ó Ø ØÓ ÔÐ Ó Ø Ñ LfD ÔÓÐ Ø ÓÔÓ Õ Ñ ØÞ Ø Ô Ö Ð Ñ Ò Ñ ¹ ÒÓ Ø Ø Ø Ø ÓÔÓ Ô Ö Õ Ô Ü ÔÖÓ Òô Ø ÒØ ØÓ Õ Ö º ÑÔÒ Ù Ñ Ò Ô Ø Ô Ö Ô ÒÛ Ö ÙÒ Ø Ø Ù Ò Ô ÖÓ ¹ ØÖ ÔÖÓ Þ Ñ Õ Ò ÑÓ Ô Ø Ü ÓØ ØÛÒ ÖÓÑÔÓØ Ù Ø ¹ Ñ Ø (skills) Õ Ñ Û Ô Ü ÐÐ Ñ Û Ü Ö Ò Ö ØÓÙ Ù Ø Ñ ØÓ Ñ ØÓ Ô Ö ÐÐÓÒ ØÓÙº ÙØ ØÓ ÔÐ Ó Ø ÔÓÐÙÔÖ ØÓÖ ØÓ¹ ÔÓÐÓ ÔÓÙ ÔÖÓØ ÒÓÙÑ Ô ØÖ Ô ØÓÒ ÔÖ ØÓÖ Ò Ò ÔØ ØÓÔ Ø Ó¹ Ò Ø (sensori-motor) ÙÑÔ Ö ÓÖ Ø ØÛÒ ÒØ ÑÓ ôò ÔÓÙ ÔÖ ØØ Ó ÓÔÓ ÔÓØ ÐÓ Ò ÔÓ ÓØ Ö Ø Ö Ó Ø Ô Ó ØÓÙ Ù Ø Ñ ØÓº À ÔÖÓØ Ò Ñ Ò ÐÓ Ô Ò ÖÕ Ø ØÓÒ Þ Ø Ñ Ñ ÛÐ Ù¹ Ñ Ò Ö ÖÕ ÓÑ ÔÓÙ Ó ÔÖ ØÓÖ ÙÒ Ø ÙÒØ Ö ØÓÔ Ñ Ö ¹ ØÑ Ñ Ø Ò Ø ÙÒÓÐ Ø Ø ØÓÙ Ù Ø Ñ ØÓ ¹

32 ½º¾ ËÙÒÓÔØ Ô Ô Ö ÙÒ Ø Ó ÒØ Ñ ÒÓÙ ½ ô Ø Ü Ð Ü Ø Õ Ø Ö Ñ Û Ñ Ò ÖÓÑ Ø ÔÓÙ top-down / bottom-upµ º Ø ÕÓ ÐÓ Ô Ò Ø Ò Ô ÖÓ ØÖ ÔÓØ Ð Ó Õ Ñ Ò Ò ÔØÙÜ Ó Ñ Õ Ò ÑÓ Ð ÕÓÙ Ó ÓÔÓÓ Ñ ÒÓ Ñ ÔÓÐÙÔÖ ØÓÖ ¹ Ö ÖÕ ÖÕ Ø ØÓÒ Ô ØÖ Ô Ò ÖÓÑÔÓØ Ø Ñ Ò ÔÓ Ø Ñ ÙØ ÒÓÑÓ ØÖ ÔÓ Ò Ü Ø Ø º Ì Ô Ö Ñ Ø Ø ÓÔÓ Ô ÖÓÙ ÞÓÒØ Ø Ô ÖÓ ØÖ ØÓÕ ÓÙÒ Ø Ò ÔÓØÑ Ü ÓÐ Ø ÔÖÓØ Ò Ñ Ò Ñ Ó ÓÐÓ ØÖ µ Ñ ÔÖôØ ÔÖÓ Ð Ñ Ø Ò Ñ ¹ Ø Ó Ð ÕÓÙ ÖÓÑÔÓØ ôò ÐÙ ÛÒ Ñ ÔÐ ÓÒ ÞÓÒØ ÑÓ Ð Ù Ö µ Ø Ö ÔÖÓ Ð Ñ Ø Ø Ø Ó Ð ÕÓÙ Ô Ö ÐÐ ÐÛÒ Ò Ñ Ø ôò ÐÙ ÛÒ Ó ÓÔÓ ÙÒ Ö ÞÓÒØ Ñ Ø ÕÓ Ø Ò ÔØ ÙÜ Ø Ø ÖÓÑÔÓØ Ð Ø ÐÓ µ ÔÖÓ Ð Ñ Ø ÙÒ Ö Ø Ó Ð ÕÓÙ ÙØÓ ÒÓ Ñ ÒÛÒ ÖÓÑÔÓØ ôò ÓÕ Ñ ØÛÒº ÁÁµ ËÙÒ Õ ÉôÖÓ-Ã Ø Ø ³ Ò ÑÔ Ó ØÓÒ Ø ÔÓØÓÙ ÔÖÓ Ð Ñ ØÓ ÔÓÙ ÔÖÓ Ô Ó Ñ Ò Ð ¹ ÓÙÑ Ò ÙÒ Õ (Continuity) ØÓÙ ÉôÖÓÙ¹Ã Ø Ø (State-Space) º Å Ò ÖÓÙ ÔÖÓ Û ÔÖÓ Ø Ò ÖÕ Ø ØÓÒ Ò ÔÖ ØÓÖ ÔÓÙ Õ ÖÞ Ø ÙÒ Õ ÉôÖÓ¹Ã Ø Ø Ñ Ñ Ö Ñ Ø Ñ Ó Ó Ò ÕÙØ Ñ ÕÖ ÑÓÔÓ ôòø ÔÖÛØÓ Ò Ñ ÓÑ Ñ Ò Ø Ö ÓÑ Ò µ Ô ÖÓÙ Þ Ø ØÓ ¾ º Ø Ò ÖÑÓ Ñ Ø ØÓ ÔÖÓ Ô Ø ¹ Ø Ø³ ÖÕ ØÛÒ ÔÖÓØ ÖÛÒ Ñ Ø Ö ØÓÙ ÕôÖÓÙ Ö ØÓÙ ÖÓѹ Ô Øº Å Ø Ò ØÛÒ ÔÖÓØ ÖÛÒ ÙØ Ø Ö Ô Ð ÓÒØ Ø ÕÛÖÓ ÒØ Ù Ö Ñ Ò Õ Ö Ø Ö Ø ØÓÙ ÕôÖÓÙ Ò Ô ÖØ ÖÓÑÓ ÛÑ Ø ÐÔºµº Å Ø ØÓÙ ÖÓÑÔ Ø Ò ÓÖ Ñ ÙØ Ø Õ Ö Ø Ö Ø Ñ ÓÙÖ Ø Ñ Ö ÑÔ Ö ôò Ò ÒÛÒº ÙØÓ Ó Ò Ò ÙÒ ÓÙÒ Ø Õ Ñ Ð ÔÔ ÖÓ ØÛÒ Ø Ö ôò Ñ ØÛÒ (sensory signals) Ñ Ø Ò ÙÝ ÐÓ Ô Ô ÓÙ ÒØ Ð ÔØ Òô (cognitive knowledge) ÔÓÙ Ô ÖÓÙ Þ ØÓ ÖÓÑÔ Øº Å Ü ÕÛÖ Ø ÑÓÒ Ð ÕÓÙ ØÓÙ ÒØÖ Ó Ð Ø Õ ÖÞ Ø Ò Ù Ö Ñ ÒÓ Õ Ö Ø Ö Ø ØÓÙ ÕôÖÓÙº À ÖÕ Ø ØÓÒ ÔÓÙ ÔÖÓ ÔØ ÑÓ Þ Ò Ò ÒÓÐÓ ôò ÔÓÙ Ó Ò Ò Ü ÙÑ ÒÓ ØÓÒ Ð ÕÓ Ñ Ü ÕÛÖ Ø ÑÓÒ ØÓÙ Ù Ø Ñ ØÓº ËØ Ò Ô ÖÔØÛ ÙØ Ñ ÙÒØ Ð Ø Ø Ñ ÑÓÒÓÔÖ ØÓÖ ÓÑ ÙÔ Ø Ò ÒÒÓ Ø ÑÓÐÓÒ Ø ÑÓÒ Ð ÕÓÙ Ô Ø Ò Õ ÖÞ Ø Ù Ö Ñ Ò Ö ¹ Ó ÒØÖ Ð Ø ÙÑÔ Ö Ö Ø Ò Ò Ñ ÒÓ ÔÖ ØÓÖ º ËØ Ò Ö ÙÒ Ø Ñ Ö Ñ Ó ÓÐÓ Ø Ò ÕÙØ Ñ ÖÑ Þ Ø Ò ÕôÖÓ Ø Ø ÛÒ (fuzzy state-space)º Ô ô¹ ÓÙÑ Ø³ ÙØ Ò ØÓÒ ØÖ ÔÓ ØÓ Õ Ñ Ñ Ñ Ó ÓÐÓ Ð ÕÓÙ ÔÓÙ Ð ØÓÙÖ Ò ÙÒ Õ ÕôÖÓ ÓÔÓ Ô ØÖ Ô ØÓÙ ÔÖ ØÓÖ Ò

33 ½º¾ ËÙÒÓÔØ Ô Ô Ö ÙÒ Ø Ó ÒØ Ñ ÒÓÙ ¾ Ñ ÒÓÙÒ Ñ Ø Ò Ô ÖÓ Ó ØÓÙ ÕÖ ÒÓÙ Ôô Ò Ø ÐÓ Ò ÙÒ Ö ÐÐ ¹ ÐÓÙÕ ÙÒ ÕôÒ Ò ÛÒ Ò Ô Ø ÕÓÙÒ ØÓÒ Ø ÕÓ ØÓÙ ÕÛÖ ÔÖ Ø Ö Òô Ø Ö º Ç ÔÖ ØÓÖ Ó ÓÔÓÓ ÒØ ØÓ ÕÓ Ò ÙØ ÒÓÑÓÙ ¹ ÑÓ Ð Ù Ö ØÓ ÖÓÑÔÓØ Ñ Ø Ñ Ô ØÙ Õ ÒÓÙÒ Ò ÔÓ Ø ÓÙÒ Ñ¹ Ô Ö Ø Ò Ö ÔÓÙ Ø ÐÓ Ò Ô Ó ÒÓ Ü Ö ÙÒôÒØ Ü ÓÔÓ ôòø ØÓ ØÓÙ ÕôÖÓ Ñ Ø Õ Ñ Ø ÑÓ Ø Ø - Ö (state-to-action mapping space). ÁÁÁµ Á Ö ÖÕ ÖÕ Ø ØÓÒ ÊÓÑÔÓØ Ó Ð ÕÓÙ À ÒÒÓ Ø Ø ÒÓÑ Ü ÓØ ØÛÒ Ò ØÓ Õ Ó ØÓ ÓÔÓÓ Ù Ó Ø Ø ÔÐ Ø Ö Ñ º À Ø ÒÓÑ ØôÖ ØÛÒ Ü ÓØ ØÛÒ Ü ÕÛÖ ¹ ØÓ ÔÖ ØÓÖ Ø ô Ø Ò ÔÖÓ ÔØ Ñ ÔÓÐÙÔÖ ØÓÖ ÖÕ Ø ØÓÒ ÔÓØ Ð Ô ÐÓ ØÓ ÔÐ Ó Ð ÕÓÙ ØÓ ÓÔÓÓ ÔÖÓØ ÒÓÙÑ º Å Ö Ù¹ Ò Ø Ø ÙÒ ÔÓÙ Õ Ô Ö Ø Ö Ø Ò Ö Ñ ÙÔ ØÓ ÔÖ Ñ Ø ÙÒ Õ ØÓÙ ÕôÖÓÙ¹ Ø Ø ÔÖÓ ÖÕ Ø Ô ØÓ Ö ÓØÓÙ Doya º ËØÓ Ö Ó ÙØ ÔÖÓØ Ò Ø Ò Ð Ö ÑÓ ÙÒ ÕÓ ÕôÖÓÙ¹ Ø Ø Ñ ÓÔ Ø Ù ÐÙÒ Ø ÖÑÓ Ø ÕÒ ôò Ò ÕÙØ Ñ Ö¹ ÑÓ Ð ÕÓÙ ÔÖ Ñ Ø ôò ÙÒ ôòº Ø Ò Ü ÓÐ ØÓÙ Ù Ö Ñ ¹ ÒÓÙ ÔÐ ÓÙ Õ ÖÑÓ Ø Ò Ñ Õ Ò Ñ Ñ Actor-Critic Ó ÓÔÓÓ ÙÐÓÔÓ Ñ ØÙ Ø Ò ôò ËÙÒ ÖØ ÛÒ (Radial Basis Functions) ØÓ ÔÖ Ð Ñ Ð ÕÓÙ Ò Ò ØÖÓ ÓÙ Ö ÑÓ Ñ Ô Ö ÓÖ Ñ Ò ÖÓÔ º Å ÔÓÐÐ ÙÔÓ Õ Ñ Ò ÔÖÓ ÔÓÙ ÓÒÓÑ Þ Ø Á Ö ÖÕ ÈÓÐÙÔÖ ¹ ØÓÖ Ò ÕÙØ Å Õ Ò ÐÙ Ø Òô Ø ¾ Ñ ÓÔ ÔÖôØÓÒ Ò ÐØ ô Ø ÔÓÐÙÔÖ ØÓÖ ÖÕ Ø ØÓÒ Ø Ò Ø Ð ¹ ÔÓÐ ÔÐÓ ÛÒ Ö ôò Ò Ð ÓÒØ ÙØ ÙÔÓ¹ Ø ÕÓÙ Ø ÖÓÒ Ø Ò ÔØ ÙÜ ÔÓÐÐ ÔÐôÒ Ø ÕÛÒº À Ñ Ó ÓÐÓ Ø Ò ÓÔÓ ÔÖÓØ ÒÓÙÑ Ø Ò Ô ÖÓ ØÖ Ø Ò ÓÔÓ Ø Þ Ö ÙÒ Ø Ñ ÔÖÓ Ô Ò Û¹ Ñ ØôÒ Ù Ö Ñ Ò ÔÓÙ Õ Ò Ô Ø Ò Á Ö ÖÕ ÈÓÐÙÔÖ ØÓ¹ Ö Ò ÕÙØ Å º Ô Ö Ñ ÕÖ ÑÓÔÓ Ó Ñ Ü ÓÙ Ø Ò ÒÒÓ ØÛÒ ØÖ Ø ôò ÙÝ ÐÓ Ô Ô ÓÙ ÔÓÙ ÙØ Ñ Ø Ò Ð ÔØÓÙÒ ÙÔÓ¹ Ø ÕÓÙ Òô Ó ØÖ Ø Õ Ñ ÐÓ Ô Ô ÓÙ Ñ ÒÓÙÒ Ò ÓÒØ ÓÖ ¹ Ø Ó ÙÔÓ¹ Ø ÕÓÙº ÈÖÓ Ô Ñ Ò Ò ÛÑ Øô ÓÙÑ Ø ØÓ ÒÒÓ Ñ Ñ ÛÐ ÙÑ Ò (nested-agent) ÖÕ Ø ØÓÒ ÓÔÓ Ô ÖÓÙ Ø Ø Ô Ñ Ò Ð Ò Ø Ò ÖÑ ÓÙÑ ØÓÒ ØÓÑ ØÓÙ Ð ÕÓÙ Ô Ü ÓÙ ÖÓÑÔÓØ Ó Õ Ö ÑÓ º ËØÓ Ô Ö Ñ ÔÓÙ Ô ÖÓÙ Þ Ø ØÓ Ã º 4 Ø ¹ ØÖ Ó Ò ÑÓ (links) ØÓÙ ÖÓÑÔÓØ Ó Õ Ö Ø ÛÖÓ ÒØ Ü ÕÛÖ ØÓ ÔÖ ØÓÖ ÔÓÙ Ü ÓÔÓ Ó Ò Ñ ÓÙ Ò ÕÙØ Ñ Ò Ò ÔØ ÜÓÙÒ

34 ½º¾ ËÙÒÓÔØ Ô Ô Ö ÙÒ Ø Ó ÒØ Ñ ÒÓÙ Ù Ö Ñ Ò Ò Ø Ø º Ã Ø ÙÒ Ô Ô ÙØ ØÓ Ñ Ó Ô Ø Ó Ó Ó ÖÓÑÔÓØ Õ Ö Ø Ù Ø Ø Û Ò ÔÓÐÙÔÖ ØÓÖ Ô Ö ÐÐÓÒ ÔÓÙ Ó ÔÖ ØÓÖ ÔÓÙ ØÓÒ Ô ÖØÞÓÙÒ Ò Ð Ñ ÒÓÙÒ ØÓÑ Ó Ø ÕÓÙ Ñ Û Ø ÑÔ Ö Ø ÖÒÓÙÒ Ò ÔÓ Ø ÓÙÒ Ù Ö Ñ Ò Ò Ø Ø» Ü Ø Ø º Ò ÙØ ÒÓÑÓ Ó ÔÖ ØÓÖ Ò Ø Ò ÙÒ Ñ ÒÓ Ó Ò Ñ ØÓÒ ÐÐÓ Ü Ø Ø Ù Ò ÒÓÒØ Ø Ö Ñ ÒØ Ø Ò Ö ÙÒ Ö ÙÒØÓÒ Ñ Ñ Ø Ü ØÓÙ Ø ô Ø Ò Ô Ø ÙÕ Ô ÙÑ Ø ÙÑÔ Ö ÓÖ ØÓÙ Ù Ø Ñ ØÓº À Ö Ñ ØÓ ÔÐ Ó ØÓÙ ÔÓÐÙÔÖ ØÓÖ Ó ÖÓÑÔÓØ Ó Ô Ö ÐÐÓÒØÓ ÔÖÓØ Ò Ñ Ø Ò Ñ Ñ Ò Ö¹ Õ Ø ØÓÒ ÖÓÑÔÓØ Ó Ð ÕÓÙ ÔÓÙ Ò ÛÑ ØôÒ Ø ÕÒ Ø ÕÒ Ø ÒÓ ÑÓ¹ Ò Ð Ñ Ó ÓÐÓ Ð ÕÓÙ Þ Ø Ø Ò ÙÐÓÔÓ Ñ ÓÑ ÖÓÑÔÓØ ôò ÔÖ Ø ÖÛÒ ÔÓÙ Ñ Ò Ò ÙÒ Õ ÕôÖÓ Ø Ø ÛÒº ½º¾º¾ Ù Ù ÊÓÑÔÓØ ³ Ð ÕÓ ÌÓ Ó ØÛÒ ÔÖÓ Ð Ñ ØÛÒ ÔÓÙ ÔÖÓ Ô Ó Ñ Ò Ð ÓÙÑ ÕÓÙÒ Ñ Ò¹ Ø Ñ ÔÓÐÙÔÐÓ Ø Ø ØÓÙÒ Ø ÕÓÙ ÔÓÙ ÔÖ Ô Ò Ô Ø ÙÕ Ó Ò ÙÒ Ñ Ð Ø Ø º Ò Ò Ö Ø Ó Ñ Ó ÓÐÓ ÖÛ¹ ØÓÙ Ð ÕÓÙ Ñ ÔÖÓ ÓÖ Ñ Ò Ø Ö Ò ØÖÓ Ó Ø (fixed feedback robust controllers) Ò ÑÔÓÖÓ Ò Ò ÒØ Ñ ØÛÔ ÓÙÒ Ø ÔÖÓ Ð Ñ Ø ÙØ ØÓ Ù Ö Ñ ÒÓ ÔÐ Ó ÔÓÙ Ò Ð Ø ÔÖÓ Ó Ñ Ò Ô Ö Ö ÓÙº ÙØ ÔÓÙ ÕÖ Þ Ø Ò Ñ Ò ÕÙÑ Ò Ñ Ó ÓÐÓ Ð ÕÓÙ ÔÓÙ ÕÖ ÑÓÔÓ ÙØ Ø ÙÑ Ø ÔÖÓ Ð ÕÓÙ Ò Ô Ð ÔÖÓ Ð Ñ Ø Ð ¹ ÕÓÙ Ò Õ Ñ Ð Ø ÖÓ ÔÔ Ó Ô ÒÛ ØÓ ÓÔÓÓ ÔÖ Ô Ò Ñ ÓÙÖ Ò Ù Ù ÔÐ Ó ØÓ ÓÔÓÓ ØÓ Õ ÖÞ Ø º ÙØ Õ Ó Ø Ò Ò ÔØÙÜ Ù Ö ôò Ù Ø Ñ ØÛÒ Ð ÕÓÙ Ø ÓÔÓ Ð ÕÓÙÒ ÙÒ Ñ ¹ ÙÒ ÕÓ ÕôÖÓÙ Ø Ø (continuous-state) Ñ Ð Ø Ó ÓÔÓÓ Ð ØÓÙÖ Ó Ò Ö Ø ÕôÖÓ (discreet-state)º ËØ Ò Ô ÖÔØÛ Ñ ØÓ ÔÖ ¹ Ð Ñ ÔÓ Ø Ñ Ñ Ð Ø Ö Ù ÓÐ Ó Ø ÔÛ Õ Ò Ö Ó Ô Ö ÓÒØ Ø Ô Ü Ø Ø ÔÓÐÙÔÐÓ Ø Ø Ø ¹ Õ Ö ÑÓ º Áµ Ò ÖÕ Í Ö Ó Ð ÕÓÙ À ÖÑÓ ÔÓ ÓÙ Õ Ñ ØÓ Ù Ö Ó Ð ÕÓÙ ÔÓØ Ð Ñ ÓÙ Ø Ò µ Ô ÐÓ Ø Ò Ô ÖÓ ØÖ Û ÔÖÓ Ø Ò ÔØ ÙÜ ØÛÒ Ö ÙÒ Ø ôò Ñ Ø ÕÛÒº ³ Ò Ô Ö Ó Ð Ø Õ Ñ ÐÓ Ô Ô ¹ ÓÙ ÙÒ Ù Þ Ñ ÒÓ Ñ Ñ ÙØ ÒÓÑ ÑÓÒ Ø ÕÒ Ø ÒÓ ÑÓ Ò Ð ¹ ØÓÙÖ ôòø Ô Ó ÒÓ Ò Ö ÖÕ Õ Ñ Ø Ñ ÙÒ ØÓÙÒ Ø Ò Ò

35 ½º¾ ËÙÒÓÔØ Ô Ô Ö ÙÒ Ø Ó ÒØ Ñ ÒÓÙ ØÓÙ Ð Ø ÔÓÙ ÕÖ Þ Ñ Ø º ÙØ ÔÖÓ Õ Ù Ó Ø Õ Ò Ð Ø ÔÖÓ Ô ØÓ Ù Ö Ñ ÒÓ ØÓÑ Ö ÙÒôÒ ÔÓÙ Ü Ø ÞÓÙÑ ½¾½ ½ ¼ º Ï Ø Ó ÔÐ ÓÒ Ø Ø ØÛÒ Ö ÙÒ Ø ôò ÙØôÒ ÔÖÓ Ô ¹ ôò Ø ÞÓÙÒ ÔÓ Ð Ø ÖÑÓ ÙØÓ ÒÓ Ñ ÒÛÒ ÖÓÑÔ Øº Ë Ò Ò Ø ÖÓ Ö ÙÒ Ø ÔÐ Ó ÔÛ ÙØ ÔÓÙ Ò ÔØ Ø Ø Ò Ô ÖÓ ØÖ ÔÖ Ô Ò ÓÖ Ó Ò ÔÓ Ò Õ Ö Ø Ö Ø Ø ÓÔÓ Ð Ø Ò ÔÐ Ö Ò ÔÖ ØÙÔÓ Ñ ¹ ÙÒ µ ÖÓÑÔÓØ Ð Ø º È Ó Ù Ö Ñ ¹ Ò Ò Ø ØÓ Ó ÖÓÑÔÓØ Ø Ñ Ð ÕÓÙ ÔÖ Ô Ò ÒÓÔÓ Ò ÒÓÐÓ ôò ÔÖÓ Ö ôò Õ Ø ôò Ô Ø ÛÒ Ó ÓÔÓ Ô Ö Ö ÓÒØ Ô Ó Ò ÐÙØ ÓÐÓ Û Æ ÒØ Ö ØÓ Ô Ö ÐÐÓÒ ¹ ÔÖ Ô Ó Ð Ø Ò Ò Ò ÒØ ¹ Ö Ü Ò ÐÐ ØÓ Ô Ö ÐÐÓÒ Ò Ò Ò Ò Ð Ñ Ò ÙÔ Ý ÜÛØ Ö Ô Ö Ø Ø Ñ ÕÖÓÒ Ö ÔÓÙ Ò ÙÑ Ø Ñ Ø Û Ø ÔÓØ Ð Ñ Ø Ð Ø Ð ØÛÒ Ö ôò ØÓÙº Æ Ô Ò ÒÓ ÑÓÒ ÙÑÔ Ö ÓÖ ¹ ÙØ Ô Ø Ò ÒÓÒØ ÓÖÓ ÙÑ ÑÓ Ñ ØÓÙ Ò Ò Ø Ó Ò ÐÓ ô Ø Ó Ð Ø Ò Ô Ò Ù Ù ÙÑÔ Ö ÓÖ º Ç ÒØ Ö ØÓÙ ÖÓÑÔ Ø ÜÛØ ¹ Ö Ö Ñ Ø ÔÖ Ô Ò Ó Ó ÒØ Ô ØÓÙ Ø ÕÓÙ Ø Ö Ö ØÓÙº Æ Ô ØÙ Õ Ò Ð ÔÓÐÐ ÔÐôÒ Ø ÕÛÒ ¹ Ò Ò Ô Ù ØÓ Ø ÔÖÓ¹ ÝÓÙÒ Ø Ø ÔÓÙ Ô ØÓ Ò ÒØ ÖÓÙ Ñ Ò Ô Ö ÐÐ Ð Ò Ö¹ º ÌÓ Ø Ñ Ð ÕÓÙ ÔÖ Ô Ò Ô Ö Õ Ø Ñ Ø Ò ÔÐ ¹ ÖÛ ÙØôÒ ØÛÒ ÔÓÐÐ ÔÐôÒ Ø ÕÛÒº Ë Ò Ö Ø Ø ÙÖÛ Ø (Robustness) ¹ ØÓ ÖÓÑÔ Ø ÔÖ Ô Ò Õ ÖÞ ¹ Ø Ø Ð ÖÓ ÓÑ ÒÛÒ Ñ Ò Ñ Ò Ñ Ò Ø Ø Ü Ò Ð º Ü ÓÔ Ø ¹ Ò Ø Ø Ø Ð ØÓÙÖ ÕÛÖ ÔÓØÙÕ Õ ÖÓØ Ö Ù Ø Ô Ó Ø Ò Ô ÖÓ Ó ØÓÙ ÕÖ ÒÓÙº Ô Ò ÔÖÓ Ö ÑÑ Ø Ñ ¹ ÔÖ Ô ØÓ Ø Ñ Ð ÕÓÙ Ò Ò Ò Ò Ô Ø Õ ÔÓÐÐ ÔÐ Ö ÔÓÙ Ô Ö Ö ÓÒØ ÔÓ Ó Ö Ø Ô¹ Ô Ó ÒØ Ñ Ñ ÒÓ Ö º ÌÑ Ñ Ø Ø Ø (Modularity) ¹ ØÓ Ø Ñ Ð ÕÓÙ ÔÖ Ô Ò ÕÛ¹ ÖÞ Ø Ñ Ö Ø Ö ÙÔÓ¹ Ù Ø Ñ Ø ÙÔÓ¹ÑÓÒ µ ÔÓÙ ÑÔÓÖÓ Ò Ò Õ ØÓ Ò ÙÐÓÔÓ Ó Ò Ð Õ Ó Ò ÙÒØ Ö Ó Ò Ü ÕÛÖ Ø ÔÖÓ Ø º

36 ½º¾ ËÙÒÓÔØ Ô Ô Ö ÙÒ Ø Ó ÒØ Ñ ÒÓÙ Ù Ð Ü (Flexibility) ¹ Ô Ö Ñ Ø ÖÓÑÔÓØ Ô Ø ÙÒ Õô ÐÐ ØÓ Õ Ñ Ø Ö Ø ÙÐÓÔÓ º ÔÓÑ ÒÛ Ô ØÓ Ò¹ Ø Ù Ð Ø ÓÑ Ð ÕÓÙ Ò Ô ØÖ Ô ØÓ Õ Ñ Ò Ó Ô Ø Ò Ô ØÙÕ Ø Ò ÔÓØÙÕ ØÛÒ ØÓÑ ôò ØÓ Õ ÛÒº ÈÖÓ ÖÑÓ Ø Ø Ø (Adaptability) ¹ ô Ø Ø ØÓÙ ÑÓÙ ÐÐ Þ Ö Ñ Ø ÔÖ Ð ÔØ ØÓ Ø Ñ Ð ÕÓÙ ÔÖ Ô Ò Ò ÔÖÓ ÖÑ ÑÓ Ø ô Ø Ò ÑÔÓÖ Ò ÐÐ Þ ÓÑ Ð Ø Õ Ø Ø Ñ Ø Ü ÓÖ Ø ôò ØÖ Ø ôò Ð ÕÓÙº Ò ÕÖ ÐÓ Ý ¹ Ô Ø Ø Ò Ò ÔÖ ØÓÖ Ð Ý ÔÓ ÛÒ ÙÝ ÐÓ Ô Ô ÓÙ ÙÔ ÙÒÓ Ø Ò Ø Ò Ø Ò Ø Ø Ó ÓÔÓÓ Ü Ø Þ Ø Ð ÔÓÙ ÓÒØ Ü Ø Ø Ô Ö Ò ØÛÒ Ø Ö ÛÒ ÓÑ ÒÛÒ Ù ÕÛÒ Ø Ñ Ö ô Ñ ÔÐ ÖÓ ÓÖ º ÁÁµ Ô Ü Ó ÊÓÑÔÓØ É Ö Ñ Ò Ø Ö Ñ ÒØ Ò ÙÔÓ Ö ÑÑ ÓÙÑ Ø Ò ÐÐ Ý Ñ Ô Ö Ó Ù Ö ÔÓÐÙÔÖ ØÓÖ Ñ Ó ÓÐÓ Ð ÕÓÙ ØÓÒ ØÓÑ ØÓÙ Ô Ü ÓÙ ÖÓÑÔÓØ Ó Õ Ö ÑÓ º À Ö ÙÒ Ø Ñ ÔÖÓ Ô ÔÛ ÙØ Ô ÖÓÙ Þ ¹ Ø Ø Ò Ô ÖÓ ØÖ ÔÓ ÓÔ ØÓ Ò ÙÒ Ö Ø Ò Ò ÔØÙÜ Ò Ø ØÓ ÓÙ Ù Ö Ñ ÒÓÙ ÔÐ ÓÙ ÖÓÑÔÓØ Ó Ð ÕÓÙº Å Õ Ø Ö ÙÒ Ø ÔÖÓ Ô Ô ÖÓÙ Þ Ø Ô ØÓÒ Borst ½ ÔÓÙ Ô Ö Ö Ø Ñ Ñ Ó Ó Ø Ñ ÓÙÖ Ñ Ø Ü ÖÓÑÔÓØ Ó Õ Ö Ó Ø Ò Ù Ø Ð Õ Ö Ñ Ò ÒØ Ñ ÒÓÙ Ñ ÓÑ Ò ÓÑ Ñ ÛÒ Ô º ÌÓ ÖÓÑÔÓØ Õ Ö DLR-II ÔÓÙ ÕÖ ÑÓÔÓ Ø Û ÔÐ Ø ÖÑ Ø Ò Ô Ö Ô ÒÛ Ö ÔÓ¹ Ø Ð ÓÙÖ Ò Ô Ø Ñ ÒØ Ø Ö Ô Ø Ñ Ø Ø ÕÖÓÒ ÖÓÑÔÓØ Ñ Õ ØÖÓÒ Ø ÕÒÓÐÓ ØÓÒ ØÓÑ ØÓÙ Ô Ü ÓÙ Õ Ö ÑÓ º Å ÐÐ ÙÒ ÔÖÓ Ô Ô ÖÓÙ Þ Ø Ô ØÓÙ Pollard, Hodgins Ó ÓÔÓ¹ Ó Ô Ö Ö ÓÙÒ Ñ Ñ Ó Ó Ø Ò ÔÖÓ ÖÑÓ Ò Ô Ö Ñ ØÓ Ö Ô Ü ÓÙ Õ Ö ÑÓ Ô Ò Ù Ö Ñ ÒÓ ÒØ Ñ ÒÓ Ò Ò Óº Å Ü ÓÙ ÒØÙÔÛ Ö Ô ÖÓÙ Þ Ø Ô ØÓÙ Martin, Ambrose, Diftler, Platt & Butzer ÔÓÙ Ô ÖÓÙ Þ Ø Ñ Ñ Ó Ó Ð ÕÓÙ Ø Ò Ô Ò Ð ÔØ ¹ ÐØÛ Ø ÔÓ Ø Ø Ð Ò ÒØ Ñ ÒÓÙ Ñ ÒÛ Ø ÛÑ ØÖ ÕÖ ÑÓÔÓ ôòø Ñ ÒÓ ÔØ (haptic -tactile) Ø Ö ÔÐ ÖÓ ÓÖ º ÙØ ÔÓÙ Ò Ø Ð ÙØ Ø Ø Ö Ñ ÒØ Ö ÙÒ Ø Ö Ø Ö Ø Ø Ò ÔÖÓ Ô Ò ÔØÙÜ Ñ Ù Ö ÔÖÓ ÔÓÐÙÔÖ ØÓÖ ÖÕ Ø ØÓÒ Ñ ØÓ Õ Ø ÕÒ Ø ÒÓ ÑÓ Ò Ñ Ö¹ ÑÓ ØÓ Ù Ö Ñ ÒÓ ÔÓÐ Ô Ø Ø ØÓÑ ØÓÙ ÖÓÑÔÓØ Ó Õ Ö ÑÓ º

37 ½º ËÙÒ ÓÖ Ø ØÖ Ü Ø ÞÓÒØ Ø Õ Ø Ö Ô Ô ÔÓÙ Ò ÖÓÒØ Ø Ò Ü Ð Ü ÔÓÙ Õ ÔÖ Ñ ØÓÔÓ Ø Ø Ð ÙØ ÕÖ Ò ØÓÒ ØÓÑ ØÓÙ Ô Ü ÓÙ Õ ¹ Ö ÑÓ ÜÞ Ò Ò ÖÓÙÑ ÔÓ ÔÖÓØ Ô Ø Ò Ö ØÛÒ Rodney Brooks, Leslie Kaelbling, Trevor Darrell & Push Singh ½½ ØÓ Ë ÔØ Ñ Ö Ó ØÓÙ ¾¼¼ ººº Ì ÕÖ Þ Ø Ò Ò Ø Ù ÓÙÑ Ñ Ñ Õ Ò Ò Ô Ü Ó Õ Ö Ñ ÒØ Ñ ÒÛÒ ÙÒ Ñ ÒÓ Ñ ÓÑ Ñ ÒÓ Ò ÖôÔ ÒÓ Ô Ö ÐÐÓÒ ÈÓÐÐ Ô Ø ÙÔÓ ÔÓÙ Ò Ò Ô ÔÖ Ø Ö Ö ØÓÒ Ô Ü Ó Õ Ö Ñ ÔÖ Ô Ò Ô Ò Ü Ø ØÓ Ò Ô Ò Ø Ø Ò Ø Ð Ó Òº ÍÔÓÝ Þ Ñ Ø Ø Ð ÙØÓ ØÓÙ ÔÖÓ Ð Ñ ØÓ Ô Ø ÒØ Ðô Ò ÔÖÓ ººº ÙÒ ÕÞ ººº Ø mobile ÖÓÑÔÓØ ÙÔ ÖÜ Ø Ö Ð¹ Ð Ð Ô Ö Ñ ØÓ Ö Ó ÔÓÙ Ü Ø Ø Ò Ø ÕÒ Ø ÒÓ ÑÓ Ò ØÓ Ö Ó Ø Ñ Õ Ò Ñ Ø Ô ÒÓÐÓ Ò Ô Ö Ø º Ð Ô Ô Ö Ñ ØÓ Ò ÖÓÒ Ñ Ø Ø ÙØ ÕÖÓÒÓÙ ÙØÓ ÒØÓÔ ÑÓ Û Õ ÖØÓ Ö ÕôÖÓÙ (simultaneous localization and mapping) Ñ ¹ Ø ÓÖ Ø ÕÒ ôò ÔÓÙ ÓÖ Ø Ò ÔÐÓ ÒÓ Ñ ÒÛÒ ÖÓÑÔ Ø ÒÛ Ø Ô Ö ÐÐÓÒØ º ³ÇÑÛ Ò ÒØÙÔÛ ØÓ ÓÒ Ø Ò ÙÔ ÖÕ Ñ Õ Ñ Ø Ü ØÓÙ Ö ÓÙ ÔÓÙ Ü Ø Ø Ò Ø ÕÒ Ø ÒÓ ÑÓ Ò ØÓÙ Ö¹ ÓÙ ØÓÒ Ô Ü Ó Õ Ö Ñ º Ò Ô Ò Ø ÙØ ØÓ Ò Ó Ð Ø ÙØ ÔÓÙ Ò Ø Ò Ò Ñ Ñ Û ØÓ Ö Ó ÔÓÙ Ò Ö Ø ØÓÒ Ô Ü Ó Õ Ö ¹ Ñ Ø Ø Ø ØÓÙ ½ ¼ Ø Ò Ò ÔØ Õ Ò ÔÓÐÐ Ô Ø ÕÖÓÒ Ô ÒÓÐÓ ÛÖ Ñ º ÙØ Ó Ø ÕÒ Õ Ø Ò Ò Ñ ¹ ÒÓÙÒ ÑÓÒØ Ð ØÓÙ Ô Ö ÐÐÓÒØÓ ô Ò ÖÓÙÒ Ñ ÙØ ÔÓÑ ÒÛ Ò Ø ÐÐ Ð Ø Ò Ô ÖÔØÛ ØÓÙ Ô Ü ÓÙ Õ Ö ÑÓ Ñ ÓÑ Ñ Ò Ô Ö ÐÐÓÒØ º ÅÓÙ Ò Ø Ø Ó Ô Ü Ó Õ Ö Ñ Ò Ò ¹ Ó ÔÖÓ Ð Ñ ØÓ ÔÓÙÑÔÓÖ Ò Û Ð Ø Ö Ô Ø Ñ Õ Ò Ñ ººº º È Ø ÓÙÑ ÐÓ Ô Ò Ô Ø Ñ Ö Ñ Ø Ó ØÓÑ ØÓÙ Ô Ü ÓÙ ÖÓÑÔÓ¹ Ø Ó Õ Ö ÑÓ ÔÓØ Ð Ò Ô Ø Ô Ó Ò ÖÓÒØ Ñ ÒØ Ñ Ø ÔÓÙ ÒØ Ñ ØÛÔÞ ÖÓÑÔÓØ Ñ Ö ÔÛ Ñ Ô ÙØ Ø ÓÔÓ ÔÖÓØ ¹ ÒÓÙÑ ØÓ ÔÐ Ó Ø Ô ÖÓ ØÖ ô ÓÙÑ ÔÓ Ø Ù Ò Ô Ö Ø ÖÛ Ö Ò Ø ô Ø Ø Ð Ò Ó Ó Ñ Ñ Ó ÓÐÓ Ó ÓÔÓ ÒØ Ñ ØÛÔÞÓÙÒ ÔÓ Ó Ñ Ø ÔÖÓ Ð ÔÓÙ Ò Ö Ñ Ô Ö Ô ÒÛº ½º ËÙÒ ÓÖ Ø ØÖ Ç Ô Ø ÑÓÒ ÙÒ ÓÖ Ø Ô ÖÓ ØÖ Ø ÞÓÙÒ Ó ÔÔ º ÌÓ ÔÖôØÓ ÔÔ Ó Ô Ö Ð Ñ Ò ØÓÒ Õ Ñ Ø Ò Ò ÔØÙÜ Ñ ÔÓÐÙÔÖ ØÓÖ ÖÕ Ø ØÓÒ ØÓÒ Ð ÕÓ ÖÓÑÔÓØ ôò Ù Ø Ñ ØÛÒº Å ¹

38 ½º ËÙÒ ÓÖ Ø ØÖ Û Ñ Ö ÖÕ ¹ Ñ ÛÐ ÙÑ Ò ÖÕ Ø ØÓÒ ÓÔÓ Ô ÖÓÙ Þ Õ ¹ Ö Ø Ö Ø ÙÜ Ñ Ò Ô Ø Ñ Ø Ø Ò Ø ÖÓÑÔÓØ ÔÖÓ Ð Ñ Ø Ô ØÙ Õ Ò Ø Ñ ÓÙÖ Ò Ð Ø Ó ÓÔÓÓ Ô Ò Ñ ÒØ ÙÖÛ¹ Ø º È Ó Ù Ö Ñ Ò ØÓ ÖÓÑÔÓØ Ø Ñ ØÓ ÓÔÓÓ Ò ÛÑ ØôÒ Ø Ò ÔÖÓ¹ Ø Ò Ñ Ò ÖÕ Ø ØÓÒ Ô Ò Ñ ÒØ ÒÓÕ ÔÖ Ð ÔØ ØÓÕ ÔÓÙ Ò ÔØÓÙÒ ÓÑ ØÓÙ ÑÓÒ º ËØÓ Ø ÖÓ ÔÔ Ó ÙÒ ÓÖ Ø Ô ÖÓ ØÖ Ø ØÓÒ Õ Ñ Ø Ò ÙÐÓÔÓ Ñ Ñ Ó ÓÐÓ ÖÓÑÔÓØ Ñ Ø ÕÒ ôò Ó Ò ÕÙØ Ñ ÔÖÓ ÖÑÓ Ñ Ò ÙÒ Õ ÕôÖÓ¹ Ø Ø º Å Ø Ò ÔÖÓØ Ò Ñ Ò Ñ Ó ÓÐÓ Ò ÔØÙÜ ÖÓÑÔÓØ Ñ ¹ Ô ØÖ Ô Ø ÙØÓ¹ Ò ÔØÙÜ ÙØÓ¹ÓÖ ÒÛ ØÓÙ ÔÓÐÙÔÖ ØÓÖ Ó Ù Ø Ñ ØÓ ÕÛÖ Ø Ò Ò Ò ÓÙ ÑÓÒØ ÐÓÔÓ Ô Ò ÔÖÓ Ö ÑÑ Ø ¹ ÑÓ º Ç ÙÒ ÓÖ Ø ØÖ Ø Ó ÔÔ Ü ÓÐÓ Ò Ó Ø ÓÖ ÔÖÓ Ð Ñ ØÛÒ µ ØÓÒ Ò Ñ Ø Ð ÕÓ ÖÓÑÔÓØ ôò ÐÙ ÛÒ Ñ ÔÐ ÓÒ ÞÓÒØ ÑÓ Ð Ù Ö µ ÖÑÓ ÙÒ Ö Þ Ñ ÒÓÙ ÖÓѹ ÔÓØ Ó Õ Ö ÑÓ º Ì Ù Ö Ø ÔÓØ Ð Ñ Ø Õ Ñ Ù ÒØÖÛØ ÑÓÒØ ÐÓÙµ ÔÖÓ ÕÒÓÙÒ Ø Ò ÔÓ ÓØ Ø Ø Ø ÔÖÓØ Ò Ñ ¹ Ò ÔÓÐÙÔÖ ØÓÖ ÖÕ Ø ØÓÒ Ø Ò Ñ Ñ Ò Ñ Ø Ó Õ Ñ Ò Õ Ö Ø Ö Ø Ô Ø Ñ Ø Ø Ò Ù Ø ÔÓ Ø Òô Ó Õ Ñ Ø Ò ÙÖÛ Ø Ô Ò Ñ ÑÓÒØ ÐÓÔÓ Ñ Ò ØÓÕ ÙÔÓÑÓÒ ÛÒ ØÓÙ Ù Ø Ñ ØÓº Ç Ó Ø ÕÓ Ø Ô ÖÓ ØÖ ÔÓÙ ÙÒ ØÓ Ò Ø Ò ÓÙ Ø Ô Ø ÑÓÒ ÙÑ ÓÐ Ø Ò Ó ÐÓÙ Ó ½º Ò ÔØÙÜ Ù Ð Ø Ð Ñ ÛØ ÔÓÐÙÔÖ ØÓÖ ÖÕ Ø ØÓÒ Ð ¹ ÕÓÙ ÖÑ Ñ ÔÖÓ Ð Ñ Ø Ô Ü ÓÙ ÖÓÑÔÓØ Ó Õ Ö ÑÓ º ËØÓ ÔÐ Ó Ø Ô ÖÓ ØÖ Ñ ÓÙÖ Ñ ÔÐ ÓÑ ØÓ Õ Ø ÓÔÓ ÒØ ØÓ ÕÞÓÒØ Ñ ÔÐ Ù ÓÒØ Ø Ø ÔÛ ÖÓÑÔÓØ Ó Ò ÑÓ ØÖÓÕÓ ÙØÓ ÒÓ Ñ ÒÛÒ ÖÓÑÔ Øº ÙØ Ó ÔÐ ÓÑÓ Ó Ò ÓÒØ Ø Ø ÑÔÓÖÓ Ò Ò ÙÒ Ù ØÓ Ò Ò Õ Ñ Ø¹ ÓÙÒ ÓÑ ÔÓÙ Ø ÖÒÓÙÒ Ò Ô Ð ÓÙÒ Ô Ó Ô ÖÔÐÓ Ö ÐÐ Ø ÙØ ÕÖÓÒ Ò Ø ÖÓ Ò Ø Ò ÔÐ Ø Ø ØÓÙº ÌÓ ÔÓØ Ð Ñ ÐÓ Ô Ò ¹ Ò ÙÐÓÔÓ Ñ Ø Ò Ñ Ñ Ò ÔÓÐÙÔÖ ØÓÖ ÖÕ Ø ØÓÒ ÓÔÓ Ò Ö ÖÕ Ô Ò Ö ÖÛØ ÓÑ ØÓ Ô Ó ÖÑÓ Ø ÑÔÓÖ Ò Ð ÔØ ØÓÒ ØÓÑ ØÓÙ Ô Ü ÓÙ ÖÓÑÔÓØ Ó Õ Ö ÑÓ º ¾º Ò ÔØÙÜ Ñ ÓÙ Ò ÕÙØ ÖÓÑÔÓØ Ñ ÖÑ Ñ

39 ½º ËÙÒ ÓÖ Ø ØÖ ÙÒ Õ ÕôÖÓ¹ Ø Ø º ÙÒ ÓÖ Ø Ô ÖÓ ØÖ Ò Ò ÔØÙÜ Ñ Ñ ÓÙ Ò ÕÙØ Ñ ÖÑ Ñ ÙÒ Õ ÕôÖÓ¹ Ø Ø ÛÒº Ô ¹ ÔÐ ÓÒ Ñ Û Ø ÔÖÓØ Ò Ñ Ò Ò ÔØÙÜ Ñ ØÓ ÔÓÐÙÔÖ ØÓÖ ¹ Ø Ñ Ô ØÙ Õ Ò Ø Ò ÔÖÓ ÖÑÓ ØÓÙ ÙÒ Ñ Ñ Ø ÐÐ Ñ ¹ Ò Ô Ö ÐÐÓÒØ Ô Ò ÓÒØ Ò Ø Ø ÙØÓ¹ÓÖ ÒÛ ÙØÓ¹ Ò ÔØÙÜ º À ÙÒ Ü Ð Ø Ñ Ø Ò ÔÖÓØ Ò Ñ Ò ÔÓÐÙÔÖ ØÓÖ ¹ ØÓÔÓÐÓ Ô ØÙ Õ Ò Ø Ò ÔÐÙ ØÓÙ ÙÒÓÐ Ó Ò ÙÑ ÒÓÙµ Ø ÕÓÙ Ñ Û ØÛÒ ØÖ Ø ôò ÔÓÙ Ñ ÒÓÙÒ Ó ÔÖ ØÓÖ ÔÓÙ ÙÒ ¹ ØÓÙÒ ØÓ Ø Ñ º È Ó Ù Ö Ñ Ò Ó Ñ Õ Ò Ñ Ò ÕÙØ Ñ ÔÓÙ ÔÖÓØ Ò Ø ÙÒ Ø Ñ Ò ÙÑ Ò ÒØ ØÓÕ Ø Ø ÛÒ¹ Ö ÛÒ Ø Ò ÔÐÙ ØÓÙ ÙÒÓÐ Ó Ø ÕÓÙ Ñ Û Ñ ÙÒ Ñ Ò ÐÙ ØÓÙ ÙÒÓÐ Ó Ø ÕÓÙ ÙÔÓ¹ Ø ÕÓÙ ÔÓÙ Ò Ò Ô ÙØÓ Ó ÔÖ ØÓÖ Ð Ø Ò Ò ÔØ Ü ØÓÔ ØÖ Ø ÒØ ØÓ Õ Ø Ø ÛÒ¹ Ö ÛÒµº Ô ÔÐ ÓÒ ÐÓ Ò Ø Ñ Û ÙØÓ ØÓÙ Ñ Õ Ò ÑÓ Ø Ò Ñ Ø ØÓ ÙÔÓÐÓ Ø ÖÓ Ø Ñ ØÓ ÒÓÐÓ ØÛÒ ÔÖ Ø ÖÛÒ ÔÓÙ Ô ÖØÞÓÙÒ ØÓ Ø Ñ º º ËÕ Ò Õ Ñ ØÓ Ù Ö Ó ÖÓÑÔÓØ Ó Ð ÕÓÙº Ô Ñ ÒÓ Ø ÕÓ ÔÓÙ ÙÒ Ø ÓÙ Ø Ô Ø ÑÓÒ ÙÑ ÓÐ Ø Ô ¹ ÖÓ ØÖ Ò Ó Ô ØÙÕ ÙÒ Ù Ñ Ð Ñ Ó ÓÐÓ Ð ÕÓÙ Ñ ÙÔÓÐÓ Ø ÑÓÒØ Ð Ø ÕÒ Ø ÒÓ ÑÓ Ò Ñ ÓÙÖ ôò¹ Ø Ø Ò Ù Ö Õ Ñ ØÓ ÓÔÓÓ ÑÔÓÖ Ò ÕÖ ÑÓÔÓ ØÓÒ Ð ÕÓ Ù Ö Ñ ÒÛÒ ÖÓÑÔÓØ ôò Ø Ü ÛÒ ÔÐ Ò Ñ Ø ÐÙ Ø ÖÛÒ ÙÒ ÑÛÒ Ò Ñ Ø ÐÙ ÔØ ÙÒ ÑÛÒ ÔÓÐÙ Ö ÖÛØ ÖÓÑÔÓØ Ð ô ÙÒ Ö Þ Ñ Ò ÙØÓ ÒÓ Ñ Ò ÖÓÑÔ Øµº º È ÖÓÙ Ò ÐÙ Ô Ö Ñ ØÛÒ ÖÑÓ Ì ÐÓ Ñ Û Ø Ô ÖÓÙ Ø ÒØ ØÓ Õ Ò ÐÙ Ô Ö ¹ Ñ ØÛÒ ÖÑÓ Ô ØÙ Õ Ò Ø Ò Ü ÓÐÓ ÔÖÓØ Ò Ñ Ò Ñ Ó¹ ÓÐÓ ÙØ ÒÓÑ Ò ÔØÙÜ µ ÖÓÑÔÓØ Ñ Ü ÓØ ØÛÒ ÔÖÓ Ð Ñ Ø Ð ÕÓÙ Ô Ü ÓÙ ÖÓÑÔÓØ Ó Õ Ö Ø ô Ù¹ ØÓ ÒÓ Ñ Ò ÖÓÑÔ Ø Ò ÛÑ ØôÒÓÒØ Ø Ò ÔÖÓØ Ò Ñ Ò ÔÓÐÙÔÖ ØÓÖ ØÓÔÓÐÓ º Ì Ô Ö Ñ Ø ÖÑÓ ÔÓÙ Ö ÙÒ Ò Ø Ò Ô ÖÓ ¹ ØÖ Ô Ö Ð Ñ ÒÓÙÒ µ ÔÔ Ó ÖÓÑÔÓØ Õ Ö Ø Ñ ÔÐ ÓÒ ¹ ÞÓÒØ ÑÓ Ð Ù Ö ØÓÔÓ Ø Ö Ð ÓÙ ÖÓÑÔÓØ Ó Õ Ö Ø Ø ÖÛÒ ÙÒ ÑÛÒ Ô Ø Ø ÙØ ÕÖÓÒ ÔÓ Ù ÑÔÓ ÛÒ ÖÓÑÔÓØ Õ Ö Ø ÔØ ÙÒ ÑÛÒµ µ ÔÓÐÙ Ö ÖÛØ ÖÓÑÔÓØ Ð µ ÖÓÑÔÓØ Õ Ö Ñ ÒØ Ñ ÒÓÙ box-pushing µ Ñ Û Ó ÙÒ Ö Þ Ñ ÒÛÒ ÙØÓ ÒÓ Ñ ÒÛÒ ÓÕ Ñ ØÛÒº