Διεπαφές με Χειρονομίες (Gesture Interfaces) Αλληλεπίδραζη Ανθρώπου Υπολογιζηή ΠΜΣ-Τμήμα Πληροφορικής ΑΠΘ 2010 1

Διεπαφές με Χειρονομίες (Gesture Interfaces) Αλληλεπίδραζη Ανθρώπου Υπολογιζηή ΠΜΣ-Τμήμα Πληροφορικής ΑΠΘ 2010 1

Παξαδείγκαηα Φεηξνλνκίεο Πεξηερόκελα Γεληθά Ταμηλόκεζε ρεηξνλνκηώλ Γηεπαθέο κε Φεηξνλνκίεο Δηζαγσγή Μεραληθέο θαη απηηθέο δηεπαθέο Γηεπαθέο computer vision Δθθξάζεηο πξνζώπνπ Βαζηθέο ηερληθέο αιιειεπίδξαζεο κε ρεηξνλνκίεο Δθαξκνγέο δηεπαθώλ κε ρεηξνλνκίεο Γεκηνπξγία θαη Έιεγρνο Λεμηθνύ Φεηξνλνκηώλ Σρεδίαζε Γηεπαθώλ κε Φεηξνλνκίεο Σρεδηαζηηθέο αξρέο 2

3

Γηαδξαζηηθόο Πίλαθαο Video 3D Tracking and Control Interface Video Head Gesture Interface Video 4

5

Γεληθά Οη ρεηξνλνκίεο είλαη πξντόλ ηεο αιιειεπίδξαζεο κεηαμύ ησλ αλζξώπσλ θαη απνηεινύληαη από θηλήζεηο ηνπ ζώκαηνο θαη ηνπ πξνζώπνπ, νη νπνίεο αληηθαζηζηνύλ ηελ πξνθνξηθή επηθνηλσλία. 6

Οη ρεηξνλνκίεο είλαη απαξαίηεηεο γηα ηελ θπζηθή θαη παξαζηαηηθή αλζξώπηλε επηθνηλσλία. Η θπζηθόηεηα είλαη ην δεηνύκελν, αιιά θάπνηεο δηεπαθέο κπνξεί λα ρξεζηκνπνηήζνπλ έληνλεο ρεηξνλνκίεο γεγνλόο πνπ απνηειεί βαζηθό ζρεδηαζηηθό δήηεκα. Οη ρεηξνλνκίεο πνπ ρξεζηκνπνηνύκε γηα λα αιιειεπηδξάζνπκε κε κηα δηεπαθή θαίλνληαη ζηελ παξαθάησ ιίζηα: Κηλήζεηο δαρηύισλ (λνεκαηηθή) Κηλήζεηο ρεξηώλ Κηλήζεηο-ζηάζεηο ζώκαηνο Κηλήζεηο πνδηώλ (πίεζε, πξνζαλαηνιηζκόο, βεκαηηζκόο, ηξέμηκν θιπ) Δθθξάζεηο πξνζώπνπ Βιέκκα Γξαθίδα Οη ζρεδηαζηέο δηεπαθώλ κε ρεηξνλνκίεο πξέπεη λα έρνπλ κηα βαζηθή θαηαλόεζε ηνπ αλζξώπηλνπ ζώκαηνο πξηλ ζρεδηάζνπλ γηαηί όζν πην πνιύπινθε είλαη κηα ρεηξνλνκία, ηόζν ιηγόηεξνη ζα κπνξνύλ λα ηελ θάλνπλ. 7

Οη άλζξσπνη επηδίδνληαη ζε ρεηξνλνκίεο κε θηλήζεηο παιάκεο θαη δαρηύισλ, κε θηλήζεηο ρεξηώλ, κε εθθξάζεηο ηνπ πξνζώπνπ θαη θηλήζεηο ζώκαηνο θαη πνδηώλ. Γηα λα αζθεζεί κηα ρεηξνλνκία ρξεζηκνπνηνύληαη νη αλζξώπηλνη κύεο θαη ηέλνληεο 8

Σηελ εηθόλα πνπ αθνινπζεί θαίλνληαη ηα βαζηθά ζεκεία ηνπ αλζξώπηλνπ ρεξηνύ. 9

Σηνλ παξαθάησ πίλαθα παξνπζηάδεηαη ην εύξνο ησλ θηλήζεσλ (ζε κνίξεο) ηνπ αλζξώπηλνπ ρεξηνύ. 10

Μηα γεληθή πεξηγξαθή ελόο ζπζηήκαηνο δηεπαθήο κε ρεηξνλνκίεο. Ο αηζζεηήξαο (sensor) είλαη κηα ζπζθεπή πνπ παξαθνινπζεί ή θαη κεηξάεη κηα θπζηθή πνζόηεηα (πνπ πξνθαιείηαη από ηε ρεηξνλνκία) θαη ηελ κεηαδίδεη. Ο θαλόλαο ζύγθξηζεο (comparator) απνθαζίδεη αλ ε ρεηξνλνκία είλαη γλσζηή ζην ζύζηεκα. Ο ελεξγνπνηεηήο (actuator) εθηειεη ηελ (αλά)δξάζε ηνπ ζπζηήκαηνο. 11

Οη πην ζπρλνί ηύπνη αηζζεηήξσλ γηα δηεπαθέο κε ρεηξνλνκίεο αληρλεύνπλ: Πίεζε αληρλεύνπλ όηη θάηη πηέζηεθε/παηήζεθε (θαη ελδερνκέλσο λα ππνινγίδνπλ δύλακε, θιίζε, θίλεζε, θιπ.) Γξαθίδεο Φώο αληρλεύνπλ ηελ παξνπζία πεγώλ θσηόο (θαη ελδερνκέλσο θαη άιια ζηνηρεία όπσο έληαζε) Φσηναληρλεπηέο Δγγύηεηα ηελ παξνπζία ελόο αληηθεηκέλνπ (ελδερνκέλσο λα ππνινγίδνπλ απόζηαζε, θίλεζε θιπ.) Αληρλεπηέο θσηόο, ζπζηήκαηα ςεθηαθήο θάκεξαο Αθνπζηηθνί αληρλεύνπλ ηελ παξνπζία ήρσλ Μηθξόθσλα Κίλεζε κπνξεί λα αληρλεύνπλ θαη ηαρύηεηα Σπλήζσο κε παικνύο κηθξνθπκάησλ Πξνζαλαηνιηζκόο Σπζηήκαηα πινήγεζεο, ρεηξηζηήξηα (Wii) 12

Ταμηλόκεζε Φεηξνλνκηώλ σο πξνο Σεκαζία Λεηηνπξγία Πεξηγξαθή Σεκαζία Η ζεκαζία ηεο ρεηξνλνκίαο, δειαδή πνηα είλαη ε επηθνηλσλία θαη ν ζθνπόο ηεο. Λεηηνπξγία Πεξηγξάθεη ηελ επίδξαζε κηαο ρεηξνλνκίαο πάλσ ζε κηα δηεπαθή. Πεξηγξαθή Πεξηγξάθεη πσο εθηειείηαη ε ρεηξνλνκία, πνηεο είλαη νη απαξαίηεηεο θηλήζεηο. 13

Ταμηλόκεζε ρεηξνλνκηώλ θαηά ζημαζία Σπλεηδεηέο Απζόξκεηεο Σπλεηδεηέο Οη ρεηξνλνκίεο έρνπλ λόεκα αθόκα θαη αλ δελ αθνινπζνύληαη από νκηιία. Απζόξκεηεο Οη ρεηξνλνκίεο έρνπλ λόεκα κόλν όηαλ πιαηζηώλνληαη από νκηιία. 14

Οη ζπλεηδεηέο ρεηξνλνκίεο ρσξίδνληαη κε ηε ζεηξά ηνπο ζε εκβιεκαηηθέο θαη πξνηαζηαθέο. Οη εκβιεκαηηθέο ρεηξνλνκίεο είλαη ζπκβνιηζκνί πνπ αλαπαξηζηνύλ ιέμεηο. Οη πξνηαζηαθέο ρεηξνλνκίεο ρξεζηκνπνηνύλ ραξαθηεξηζηηθά ηνπ πεξηβάιινληνο ηνπ πξνζώπνπ πνπ ηηο ρξεζηκνπνηεί, γηα λα επηδείμνπλ θάπνην κέγεζνο ε κηα θίλεζε. Π.ρ. «Βάιε ην θνξηίν εθεί», δείρλνληαο ηελ ηνπνζεζία. 15

Οη απζόξκεηεο ρεηξνλνκίεο ρσξίδνληαη κε ηε ζεηξά ηνπο ζε εηθνληθέο, κεηαθνξηθέο, δεηθηηθέο θαη έληαζεο. Οη εηθνληθέο ρεηξνλνκίεο αλαπαξηζηνύλ ραξαθηεξηζηηθά ελόο θπζηθνύ γεγνλόηνο ή κηαο θπζηθήο δξάζεο, π.ρ. Πσο ραιαξώλεη κηα βίδα, πσο ρηππάκε ην ζθπξί θιπ. Οη κεηαθνξηθέο ρεηξνλνκίεο είλαη όπσο νη εηθνληθέο αιιά γηα αθεξεκέλεο έλλνηεο θαη ζπλαηζζήκαηα, π.ρ. Άξλεζε-θαηάθαζε, θαζπζηέξεζε, βαξεκάξα, θιπ. Οη δεηθηηθέο ρεηξνλνκίεο δείρλνπλ αληηθείκελα ή ρώξνπο, π.ρ. Ο παξαηεηακέλνο, έλδεημε πάρνπο, κεγέζνπο, απόζηαζεο θιπ. Οη ρεηξνλνκίεο έληαζεο είλαη απηέο πνπ θάλνπκε όηαλ κηιάκε, π.ρ. απηέο πνπ ρξεζηκνπνηνύλ νη πνιηηηθνί. 16

Ταμηλόκεζε ρεηξνλνκηώλ θαηά λειηουργία Δληνιώλ Γεηθηηθέο Φεηξηζκνύ Διέγρνπ Δληνιώλ Γίλνπλ πξόζβαζε ζηηο ιεηηνπξγίεο ηνπ ζπζηήκαηνο, π.ρ. Έμνδνο, Αλαίξεζε θ.α. Γεηθηηθέο Δπηιέγνπλ αληηθείκελα πάλσ ζηε δηεπαθή, π.ρ. Γείρλνληάο ηα, «καδεύνληάο» ηα, θιπ. Φεηξηζκνύ Γηαρείξηζε θαη επεμεξγαζία 2D ή 3D αληηθεηκέλσλ, όπσο αιιαγή κεγέζνπο, πεξηζηξνθή θ.α. Διέγρνπ Θέηνπλ ηηο θηλήζεηο πνπ θάλνπκε πάλσ ζε έλα αληηθείκελν π.ρ. Avatar ή θίλεζε θάκεξαο. 17

Γεηθηηθή ρεηξνλνκία Φεηξνλνκία ειέγρνπ 18

Φεηξνλνκία ρεηξηζκνύ 19

Φεηξνλνκία εληνιήο 20

Ταμηλόκεζε ρεηξνλνκηώλ θαηά περιγραθή Σηαηηθέο Γπλακηθέο «Φσξνρξνληθέο» Σηαηηθέο Σπγθεθξηκέλε ζέζε ησλ ρεξηώλ θαη ησλ δαρηύισλ ρσξίο λα ιακβάλεηαη ππόςε θάπνηα θίλεζε, π.ρ. Τν παίμηκν ελόο εηθνληθνύ πηάλνπ ζε κηα πνιπαπηηθή δηεπαθή Γπλακηθέο Βαζίδνληαη ζηελ θίλεζε. «Φσξνρξνληθέο» Δίλαη ππνθαηεγνξία ησλ δπλακηθώλ θαη ζρεηίδνληαη κε ηελ ζπλερή θίλεζε κε ηελ πάξνδν ηνπ ρξόλνπ. 21

Σηαηηθέο Φεηξνλνκίεο Γπλακηθέο Φεηξνλνκίεο 22

Ταμηλόκεζε Φεηξνλνκηώλ σο πξνο Σεκαζία Λεηηνπξγία Πεξηγξαθή Σπλεηδεηέο Απζόξκεηεο Σηαηηθέο Γπλακηθέο Φσξνρξνλη θέο Δληνιώλ Γεηθηηθέο Φεηξηζκνύ Διέγρνπ Δκβιεκαηηθέο Πξνηαζηαθέο Δηθνληθέο Γεηθηηθέο Μεηαθνξηθέο Έληαζεο 23

24

Δηζαγσγή Η έξεπλα ζηηο δηεπαθέο κε ρεηξνλνκίεο επηθεληξώζεθε ζηελ δεκηνπξγία εύρξεζησλ, αζύξκαησλ δηεπαθώλ θαζώο ε ρξήζε θπζηθώλ θαη ελζύξκαησλ ζπζθεπώλ ζα έθαλε ηηο ρεηξνλνκίεο βαξεηέο θαη κε έιιεηςε θπζηθόηεηαο. Οη πξώηεο ιύζεηο πνπ παξνπζηάζηεθαλ ήηαλ πνιύ αθξηβά γάληηα δεδνκέλσλ θαη άιιεο ζπζθεπέο κε θαιώδηα νη νπνίεο έθαλαλ ηνλ ρξήζηε λα ληώζεη άβνια. Σηε ζπλέρεηα όκσο παξνπζηάζηεθαλ δηεπαθέο κε ρξήζε εηδηθώλ ζηπιό θαη αλαγλώξηζεο ηεο θίλεζεο ηνπ ρεξηνύ. 25

Γηεπαθέο κε Φεηξνλνκίεο Μεραληθέο θαη Απηηθέο Γηεπαθέο Γηεπαθέο Computer Vision Δθθξάζεηο Πξνζώπνπ 26

Μεραληθέο θαη Απηηθέο δηεπαθέο Οη πξόζθαηεο δηεπαθέο κε ρεηξνλνκίεο βαζίδνληαη ζε κεραληθέο ζπζθεπέο ή ζπζθεπέο καγλεηηθήο εηζόδνπ. Παξαδείγκαηα ηέηνησλ ζπζθεπώλ είλαη ηα γάληηα δεδνκέλσλ, ε ζηνιή αλαγλώξηζεο θηλήζεσλ θαη ην Nintendo Wii. Γάληη δεδνκέλσλ Nintendo Wii 27

Οη δηεπαθέο πνπ ζπλαληάκε ζηα Palmtops, όπνπ ρξεζηκνπνηνύκε εηδηθά ζηπιό, είλαη κόλν ελόο ζεκείνπ επηινγήο θαη αλαθέξνληαη σο «pen gestures». Πξόζθαηεο έξεπλεο έρνπλ δεκηνπξγήζεη δηεπαθέο πνιιαπιώλ ζεκείσλ επηινγήο πάλσ ζηελ νζόλε νη νπνίεο αλνίγνπλ κηα λέα, πην απνηειεζκαηηθή πξννπηηθή. igesturepad 28

Γηεπαθέο Computer Vision Όηαλ ζέινπκε λα θάλνπκε ηηο δηεπαθέο κε ρεηξνλνκίεο αόξαηεο πξνο ηνπ ρξήζηεο ηόηε ε ρξήζε ηεο «όξαζεο ηνπ ππνινγηζηή» είλαη έλα θαιόο ηξόπνο εληνπηζκνύ ησλ ρεηξνλνκηώλ. Με ηνλ όξν «όξαζε ηνπ ππνινγηζηή» ελλννύκε θάκεξεο νη νπνίεο εληνπίδνπλ θαη αλαιύνπλ ηελ αλζξώπηλε θίλεζε. Όξαζε ηνπ Υπνινγηζηή Καηάηκεζε Ιρλειαζία Ταμηλόκεζε 29

Η θάκεξα αλαγλσξίδεη ηελ ρεηξνλνκία 30

Καηάηκεζε Δληνπηζκόο ζπγθεθξηκέλσλ ζεκείσλ ζην πεδίν όξαζεο. Ιρλειαζία Παξαθνινύζεζε ζεκείσλ πνπ αιιάδνπλ ηα ραξαθηεξηζηηθά ηνπο (ζέζε, κνξθή θ.α.). Ταμηλόκεζε Δληνπηζκόο ησλ ρεηξνλνκηώλ κε αληηζηνίρεζή ηνπο ζε ζπγθεθξηκέλα κνληέια Markov ή κε Bayesian logic. 31

Μηα από ηηο κεζόδνπο γηα ηελ παξαθνινύζεζε ελόο θηλνύκελνπ αληηθεηκέλνπ είλαη απηή ηνπ particle filtering. Πξόθεηηαη γηα ζηαηηζηηθή κέζνδν πνπ βαζίδεηαη ζηνλ θαλόλα ηνπ Bayes θαη έρεη ρξεζηκνπνηεζεί ζε πνιιά ζπζηήκαηα παξαθνινύζεζεο αληηθεηκέλσλ. Βαζηθά βήκαηα ηεο κεζόδνπ particle filtering 32

Δθθξάζεηο Πξνζώπνπ Η αλαγλώξηζε ησλ εθθξάζεσλ ηνπ πξνζώπνπ είλαη κηα ππνθαηεγνξία ηεο έξεπλαο ζηηο δηεπαθέο κε ρεηξνλνκίεο θαη έρεη θπξίσο σο ζθνπό ηελ δηεπθόιπλζε αηόκσλ κε εηδηθέο αλάγθεο πνπ πηζαλά δε κπνξνύλ λα θάλνπλ θάπνηα άιιε ρεηξνλνκία πέξα από εθθξάζεηο ηνπ πξνζώπνπ ηνπο. Με ηηο εθθξάζεηο ηνπ πξνζώπνπ κπνξνύκε επίζεο λα πάξνπκε ζηνηρεία γηα ηελ ζπλαηζζεκαηηθή θαηάζηαζε ηνπ ρξήζηε. Η «όξαζε ηνπ ππνινγηζηή» ρξεζηκνπνηείηαη γηα ηελ αλαγλώξηζε εθθξάζεσλ ηνπ πξνζώπνπ αιιά ε ηερλνινγία γηα λα γίλεηαη απνηειεζκαηηθά απηό βξίζθεηαη ζε εμέιημε. 33

Αλαγλώξηζε Έθθξαζεο 34

Βαζηθέο ηερληθέο αιιειεπίδξαζεο κε ρεηξνλνκίεο Τερληθή αιιειεπίδξαζεο = ρεηξνλνκία + απόθξηζε ζπζηήκαηνο. Γηα λα αλαγλσξηζηεί κηα ηερληθή αιιειεπίδξαζεο πξέπεη λα είλαη ζρεηηθά θαζηεξσκέλε. Τερληθέο αιιειεπίδξαζεο ζην ρώξν: Η εγγύηεηα (απ)ελεξγνπνηεί Η θίλεζε ηνπ ζώκαηνο ελεξγνπνηεί Τν δείμηκν επηιέγεη/ελεξγνπνηεί Ο θπκαηηζκόο ηνπ ρεξηνύ ελεξγνπνηεί Η εηζαγσγή ησλ ρεξηώλ ελεξγνπνηεί Η πεξηζηξνθή αιιάδεη ηελ θαηάζηαζε ελόο αληηθεηκέλνπ Τν πάηεκα κε ην πόδη ελεξγνπνηεί Τν ηαξαθνύλεκα ελεξγνπνηεί Η θιίζε πξνθαιεί θίλεζε 35

Η εγγύηεηα ελεξγνπνηεί 36

Η εγγύηεηα (απ)ελεξγνπνηεί Δίλαη ε απινύζηεξε ρεηξνλνκία. Πξέπεη λα πηνζεηείηαη όηαλ είλαη πην εύθνιν γηα ηνλ ρξήζηε, ή δελ είλαη θπζηθό γηα ηνλ ρξήζηε λα αγγίμεη, πηέζεη, θιπ. Δπίζεο γηα ιόγνπο νηθνινγηθήο ζρεδίαζεο (ζε ηνπαιέηεο) θαη όηαλ ζέινπκε λα μαθληάζνπκε ηνλ ρξήζηε. Δπεηδή είλαη εύθνιν λα ελεξγνπνηεζεί κηα ιεηηνπξγία ζα πξέπεη λα ππάξρνπλ δηθιείδεο αζθαιείαο. Απαηηείηαη: α) αηζζεηήξεο θίλεζεο ή ξαδηνζπρλόηεηαο, β) ςεθηαθή θάκεξα, γ) κηθξόθσλν. 37

Η θίλεζε ηνπ ζώκαηνο ελεξγνπνηεί 38

Η θίλεζε ηνπ ζώκαηνο ελεξγνπνηεί Τν ζύζηεκα θάλεη θάηη όηαλ ν άλζξσπνο πεξπαηάεη, ηξέρεη, ρνξεύεη θιπ. Θα πξέπεη λα «ζπλδέζνπκε» ηελ δξαζηεξηόηεηα πνπ θάλεη ν ρξήζηεο κε θάηη άιιν πνπ ζα ήζειε λα ζπκβεί, π.ρ. Πιεζηάδνπκε ηελ πόξηα γηα λα ηελ αλνίμνπκε Η πην ζπρλή εθαξκνγή είλαη ζπζηήκαηα ζπλαγεξκνύ Απαηηείηαη: α) ςεθηαθέο θάκεξεο, β) ππέξπζξν θώο, γ) επηηαρπλζίκεηξν 39

Τν δείμηκν επηιέγεη/ελεξγνπνηεί 40

Τν δείμηκν επηιέγεη/ελεξγνπνηεί Γείρλνπκε κε ην δάρηπιν ή κε ην ρεηξηζηήξην (ή θαη κε ην βιέκκα) γηα λα ελεξγνπνηήζνπκε έλα αληηθείκελν γηα παξαπέξα ρεηξηζκό Όηαλ ζέινπκε λα ελεξγνπνηήζνπκε κηα επηινγή, π.ρ. λα «παίμεη» έλα βίληεν Τν λα δείρλνπκε είλαη κηα πνιύ θπζηθή θίλεζε Απαηηείηαη: α) θάκεξα, β) εηδηθό ρεηξηζηήξην, γ) εηδηθό γάληη, δ) ην θάζε αληηθείκελν πνπ ζέιεη λα δείμεη ν ρξήζηεο λα έρεη αηζζεηήξα 41

Ο θπκαηηζκόο ηνπ ρεξηνύ ελεξγνπνηεί 42

Ο θπκαηηζκόο ηνπ ρεξηνύ ελεξγνπνηεί Δίλαη θπζηθή θίλεζε, όηαλ ζέινπκε από θάπνηνλ άιιν λα καο δεη θαη λα καο πξνζέμεη ζε έλαλ δεκόζην ρώξν Άξα έρεη λόεκα γηα αιιειεπίδξαζε ζε δεκόζην ρώξν Δπίζεο είλαη δύζθνιν λα γίλεη θαηά ιάζνο Απαηηείηαη: α) ςεθηαθή θάκεξα, β) ππέξπζξνο αηζζεηήξαο, γ) αηζζεηήξαο ζεξκνθξαζίαο 43

Η εηζαγσγή ησλ ρεξηώλ ελεξγνπνηεί 44

Η εηζαγσγή ησλ ρεξηώλ ελεξγνπνηεί Ιδηαίηεξα ρξήζηκε ηερληθή όηαλ ζέινπκε λα θάλνπκε θάηη κε ηα ρέξηα καο, αιιά ρσξίο λα αγγίμνπκε ην αληηθείκελν Καηά θαλόλα ρξεζηκνπνηείηαη ζε δεκόζηεο ηνπαιέηεο Απαηηείηαη: α) ππέξπζξνη αηζζεηήξεο 45

Η πεξηζηξνθή αιιάδεη ηελ θαηάζηαζε ελόο αληηθεηκέλνπ 46

Η πεξηζηξνθή αιιάδεη ηελ θαηάζηαζε ελόο αληηθεηκέλνπ Ιδηαίηεξα ρξήζηκε ηερληθή όηαλ έρνπκε κηα ζπζθεπή κε πνιιέο ιεηηνπξγίεο, ώζηε ε πεξηζηξνθή λα ζεκαηνδνηεί θαη άιιε ιεηηνπξγία. Απαηηείηαη: α) γπξνζθόπην, β) επηηαρπλζίκεηξν 47

Τν πάηεκα κε ην πόδη ελεξγνπνηεί 48

Τν πάηεκα κε ην πόδη ελεξγνπνηεί Φξήζηκε ηερληθή ζε πεξηπηώζεη όπνπ ζέινπκε λα ελεξγνπνηεζεί κηα δξάζε ηνπ ζπζηήκαηνο κε ην πάηεκα ηνπ πνδηνύ ηνπ ρξήζηε, όηαλ ηα ρέξηα είλαη θαηεηιεκκέλα Απαηηείηαη: α) αηζζεηήξαο πίεζεο 49

Τν ηαξαθνύλεκα ελεξγνπνηεί 50

Τν ηαξαθνύλεκα ελεξγνπνηεί Η ηερληθή απηή είλαη ρξήζηκε όηαλ ζέινπκε λα αιιάμνπκε ηελ θαηάζηαζε ελόο αληηθεηκέλνπ πνπ θξαηάκε ζην ρέξη καο. Δίλαη πην εύθνιν από ην λα δνύκε ην αληηθείκελν θαη λα παηήζνπκε θάπνην θνπκπί Απαηηείηαη: α) Δπηηαρπλζίκεηξν 51

Η θιίζε πξνθαιεί θίλεζε 52

Η θιίζε πξνθαιεί θίλεζε Με ηελ θιίζε πξνθαινύκε ηελ θίλεζε ελόο εηθνληθνύ ραξαθηήξα (καο «κηκείηαη»), ηελ θίλεζε ελόο εηθνληθνύ ή θπζηθνύ αληηθεηκέλνπ Πξέπεη λα δνζεί πξνζνρή ζε θηλήζεηο όπσο ζθύςηκν, θιίζε πξνο ηα πιάγηα ή πίζσ θ.α. γηαηί κπνξεί λα κελ είλαη εύθνιεο ή αθόκα θαη επηθίλδπλεο γηα ειηθησκέλνπο ή κηθξά παηδηά Απαηηείηαη: α) Δπηηαρπλζηόκεηξν ζε πνιινύο άμνλεο, β) γπξνζθόπην, γ) πνιιαπινί αηζζεηήξεο πίεζεο 53

Δθαξκνγέο Γηεπαθώλ κε Φεηξνλνκίεο Τν gesture cube είλαη κηα ζπζθεπή ςπραγσγίαο ε νπνία βαζίδεηαη απνθιεηζηηθά ζε δηεπαθή κε ρεηξνλνκίεο. Όπσο ιέεη θαη ην όλνκά ηεο έρεη ηε κνξθή θύβνπ όπνπ θάζε επηθάλεηα εκθαλίδεη θαη θάπνηα ιεηηνπξγία. Video 54

Τν g-speak είλαη έλα ππνινγηζηηθό πεξηβάιινλ ην νπνίν βαζίδεηαη ζε δηεπαθέο ρεηξνλνκηώλ. Η κνξθή ηνπ ζπκίδεη πνιύ ηελ δηεπαθή ηεο ηαηλίαο Minority Report. Video 55

Τν Canesta TV gesture είλαη ε δηεπαθή πνπ πινπνίεζε ε νκώλπκε εηαηξία γηα ηνλ ρεηξηζκό ηεο ηειεόξαζεο απνθιεηζηηθά κε ηελ ρξήζε ρεηξνλνκηώλ. Video 56

Τν Opera Face Gesture αλαπηύρζεθε γηα ηελ πινήγεζε ζην δηαδίθηπν κε ηε ρξήζε εθθξάζεσλ θαη θηλήζεσλ ηνπ πξνζώπνπ. Η δπλαηόηεηα απηή είλαη δηαζέζηκε ζηελ έθδνζε 10 ηνπ αληίζηνηρνπ browser. Video 57

Τν Παλεπηζηήκην Boğaziçi ηεο Τνπξθίαο δεκηνύξγεζε ην 2006 κηα εθαξκνγή κε ηελ νπνία ν ρξήζηεο κπνξεί λα ρεηξηζηεί κε ρεηξνλνκίεο ησλ ρεξηώλ ηνπ ην ιεηηνπξγηθό ζύζηεκα Windows XP θαη Millennium. Πιεξνθνξίεο θαη ινγηζκηθό ζηελ ζειίδα: http://www.cmpe.boun.edu.tr/~keskinc/index.htm Video 58

To 2009 ε Microsoft παξνπζίαζε ην Project Natal ην νπνίν εηζάγεη ηηο εκπεηξίεο καο ζε παηρλίδηα ζε κηα λέα δηάζηαζε όπνπ πιένλ δελ ππάξρνπλ ρεηξηζηήξηα αιιά όια βαζίδνληαη ζε Gesture Interface. Video 59

Τν Atlas Gloves είλαη έλα project ζρεηηθό κε ηελ δεκηνπξγία κηαο δηεπαθήο γηα ηελ δηαρείξηζε ηνπ Google Earth κε ρεηξνλνκίεο. Γηα λα γίλεη απηό ρξεηάδνληαη απιά 2 θαθνί, κηα web-camera θαη ην ινγηζκηθό Atlas Gloves πνπ είλαη open source. Πιεξνθνξίεο θαη ινγηζκηθό ζηελ ζειίδα: http://atlasgloves.org/ Video 60

Τν HandVu είλαη ειεύζεξν ινγηζκηθό κε ην νπνίν κπνξνύκε εύθνια θαη απιά λα εληνπίζνπκε ηελ θίλεζε ησλ ρεξηώλ καο. Μπνξεί επνκέλσο λα ρξεζηκνπνηεζεί γηα ηελ δεκηνπξγία δηεπαθώλ κε ρεηξνλνκίεο. Πιεξνθνξίεο θαη ινγηζκηθό ζηελ ζειίδα: http://www.movesinstitute.org/~kolsch/handvu/handvu.html 61

Τν 2001 ην Απζηξαιηαλό Δζληθό Παλεπηζηήκην δεκηνύξγεζε έλα ζύζηεκα πεξηήγεζεο ζε εηθνληθνύο θόζκνπο κε ηελ ρξήζε δηεπαθώλ κε ρεηξνλνκίεο. Πιεξνθνξίεο ππάξρνπλ ζηελ ζειίδα: http://users.cecs.anu.edu.au/~rsl/rsl_vr.html 62

63

- Δληνπηζκόο ησλ ιεηηνπξγηώλ ηεο δηεπαθήο Καζνξίδνπκε ηηο ιεηηνπξγίεο ζηηο νπνίεο ζα έρνπλ πξόζβαζε νη ρεηξνλνκίεο ηνπ ρξήζηε. Λακβάλνπκε ππόςε δηεπαθέο από ζρεηηθά ινγηζκηθά ή δηαδηθηπαθέο εθαξκνγέο. Photoshop -Δηζαγσγή εηθόλαο -Απνζήθεπζε εηθόλαο Gesture Interface -Φεηξνλνκία γηα εηζαγσγή εηθόλαο -Φεηξνλνκία γηα απνζήθεπζε εηθόλαο 64

- Δληνπηζκόο «ινγηθώλ» ρεηξνλνκηώλ Γηα ηηο ιεηηνπξγίεο πνπ θαζνξίζηεθαλ ζην πξνεγνύκελν βήκα, πξέπεη λα νξίζνπκε ηηο αληίζηνηρεο ρεηξνλνκίεο. Φξήζε ζπλεληεύμεσλ θαη παξαηήξεζεο ζε πεξίπνπ 10 άηνκα πνπ ηνπο αλαηίζεηαη λα επηθνηλσλήζνπλ κε ρεηξνλνκίεο κε ηνλ ππνινγηζηή. Η ρξήζε βηληενζθόπεζεο είλαη ζεκαληηθή γηα ηελ απνηειεζκαηηθή θαηαγξαθή ησλ ρεηξνλνκηώλ. 65

- Δπεμεξγαζία ησλ δεδνκέλσλ ηεο παξαηήξεζεο Απαξηζκνύκε ηελ ζπρλόηεηα ησλ ελαιιαθηηθώλ ρεηξνλνκηώλ Μεηξάκε ηελ δηάξθεηα ηεο θάζε ρεηξνλνκίαο Αμηνινγνύκε ηηο ρεηξνλνκίεο σο πξνο ηελ θπζηθόηεηα θαη ηελ επθνιία κε ηελ νπνία κπνξνύλ λα εθηειεζηνύλ Κξαηάκε θσηνγξαθίεο ησλ ρεηξνλνκηώλ Δπηβεβαηώλνπκε ηα επξήκαηα καο κε ρξήζηεο 66

- Έιεγρνο ησλ ρεηξνλνκηώλ Τεζη 1 Γίλνπκε ζηνπο ρξήζηεο κηα ιίζηα από ιεηηνπξγίεο. Σηε ζπλέρεηα παξνπζηάδνπκε ζηνπο ρξήζηεο ηηο ρεηξνλνκίεο θαη ηνπο δίλνπκε ηελ γεληθή ηδέα ηνπ ζπζηήκαηνο. Τέινο, δεηάκε από ηνπο ρξήζηεο λα θάλνπλ ηελ αληηζηνίρηζε ιεηηνπξγίαο-ρεηξνλνκίαο. Τν απνηέιεζκα πξνθύπηεη από ηνλ ηύπν: Βαζκόο = ιάζνο πξνβιέςεηο/ αξηζκόο ρεηξνλνκηώλ. Τεζη 2 Παξνπζηάδνπκε ζηνπο ρξήζηεο ηηο ρεηξνλνκίεο θαη ηνπο δεηάκε λα ζπκεζνύλ ηελ ιεηηνπξγία ζηελ νπνία αληηζηνηρεί ε θαζεκηά. Οη ρεηξνλνκίεο πξέπεη λα παξνπζηάδνληαη κε ηπραία ζεηξά θαη ε παξνπζίαζε ζπλερίδεηαη κέρξη ν ρξήζηεο λα βξεη ζσζηά όιεο ηηο ιεηηνπξγίεο. Τν απνηέιεζκα πξνθύπηεη από ηνλ ηύπν: Βαζκόο = αξηζκόο επαλαιήςεσλ κέρξη λα βξεζνύλ ζσζηά όιεο νη ιεηηνπξγίεο. Τεζη 3 Διέγρνπκε ηελ θπζηθόηεηα, ηελ επθνιία εθηέιεζεο θαη ηελ ελδερόκελε θόπσζε ηνπ ρξήζηε. Σπγθεθξηκέλα δίλνπκε ζηνλ ρξήζηε κηα ιίζηα από ρεηξνλνκίεο θαη ηνλ βάδνπκε λα εθηειέζεη ηελ θάζε ρεηξνλνκία ηνπιάρηζηνλ 200 θνξέο. Έπεηηα ηνλ βάδνπκε λα ραξαθηεξίζεη ηελ επθνιία θαη ηελ εξγνλνκία ηεο θάζε ρεηξνλνκίαο επηιέγνληαο γηα ηελ θαζεκία έλαλ ραξαθηεξηζκό από ηνπο εμήο: 1) θαλέλα πξόβιεκα, 2) θάπσο θνπξαζηηθή, 3) θνπξαζηηθή, 4) πνιύ ελνριεηηθή, 5) αδύλαηε (λα γίλεη πνιιέο θνξέο). Τεζη 4 Μεηά ηελ πινπνίεζε ηνπ ζπζηήκαηνο πξνρσξνύκε πάιη ζηνλ έιεγρό ηνπ γηα λα αμηνινγήζνπκε ηελ θαηαιιειόηεηα θαη ηελ αθξίβεηά ηνπ. 67

68

Σρεδηαζηηθέο Αξρέο -Τν άγγηγκα ηνπ Μίδα Η δηεπαθή καο πξέπεη λα θαηαιαβαίλεη πόηε λα αξρίδεη θαη πόηε λα ζηακαηά ηελ εξκελεία κηαο ρεηξνλνκίαο. Μπνξνύκε λα θαζνξίζνπκε θάπνηεο ρεηξνλνκίεο σο ελαξθηήξηεο θαη θαηαιεθηηθέο γηα κηα ζύλνδν όπνπ ην ζύζηεκα ζα αλαγλσξίδεη ηηο θηλήζεηο καο. Όπσο ν Μίδαο δελ ήζειε όηη άγγηδε λα γίλεηαη ρξπζόο, έηζη θη εκείο δελ ζέινπκε όπνηε θηλνύκαζηε λα ελεξγνπνηείηαη ην ζύζηεκα 69

-Πνιηηηζκηθά ζέκαηα Δίλαη γλσζηό πσο νη κε πξνθνξηθή επηθνηλσλία εμαξηάηαη από πνιηηηζκηθά ζηνηρεία. Ο πνιηηηζκόο κπνξεί λα επεξεάδεη ηελ ζεκαζία ηεο ρεηξνλνκίαο, ηνλ ξπζκό εθηέιεζεο ηεο θαη ηελ ηαρύηεηά ηεο. Όηαλ κηα ρεηξνλνκία δελ ηαηξηάδεη ζε θάπνηνλ πνιηηηζκό ηόηε κπνξνύκε λα πξνζαξκόζνπκε ηελ δηεπαθή καο αλάινγα κε ηνλ ρξήζηε θαη λα επηιέγεη ν ίδηνο ηηο ρεηξνλνκίεο πνπ ηνπ ηαηξηάδνπλ γηα λα ρξεζηκνπνηεί. 70

- Σεηξά εθηέιεζεο επηκέξνπο ελεξγεηώλ Καζνξίδεηαη ην θάζε βήκα πνπ πξέπεη λα εθηειέζεη ν ρξήζηεο ζηελ δηεπαθή καο γηα λα θέξεη ζε πέξαο κηα ζπγθεθξηκέλε δηεξγαζία. Παξάδεηγκα: 1) Ο ρξήζηεο θάλεη κηα ρεηξνλνκία γηα εηζαγσγή θαη ε ρεηξνλνκία εθηειείηαη ζην ζεκείν ηνπνζέηεζεο ηνπ αληηθεηκέλνπ 2) Η δηεπαθή επηζηξέθεη έλα ζύλνιν από αληηθείκελα γηα εηζαγσγή 3) Ο ρξήζηεο θάλεη κηα ρεηξνλνκία επηινγήο θαη δηαιέγεη ην αληηθείκελν πνπ ζέιεη 4) Η δηεπαθή αθαηξεί ηελ ιίζηα αληηθεηκέλσλ θαη εηζάγεη ην αληηθείκελν πνπ επηιέρζεθε 71

- Σρεδίαζε κε βάζε ην πιαίζην ρξήζεο Η εθαξκνγή ζα πξέπεη λα εξκελεύεη ηηο ρεηξνλνκίεο ζε ζρέζε κε ην πιαίζην ρξήζεο. Α) Φσξηθέο δώλεο Ο ρώξνο γύξσ από ηνλ ρξήζηε κπνξεί λα ρσξηζηεί ζε δηάθνξεο δώλεο δηάδξαζεο, όπσο ρώξνο κελνύ, ρώξνο εξγαζίαο, ρώξνο εληνιώλ θ.α. Η ζέζε ζηελ νπνία γίλεηαη κηα ρεηξνλνκία θαζνξίδεη θαη ην απνηέιεζκά ηεο. Β) Τξόπνο ρξήζεο Μπνξνύκε λα επαλαρξεζηκνπνηνύκε ρεηξνλνκίεο κε δηαθνξεηηθνύο ηξόπνπο. Όπσο γηα παξάδεηγκα ην πνληίθη ζην Photoshop όπνπ αλάινγα κε ηνλ ηξόπν πνπ επηιέγνπκε λα ρξεζηκνπνηεζεί κπνξεί λα δσγξαθίζεη, λα απνθόςεη εηθόλα θ.α. 72

- Αλάδξαζε Η ρξήζε ρεηξνλνκηώλ γηα ηελ επηθνηλσλία κε ην ζύζηεκα κπνξεί λα θάλεη ηνλ ρξήζηε λαη ληώζεη απνθνκκέλνο. Πξέπεη επνκέλσο λα ηξνθνδνηνύκε ηνλ ρξήζηε κε αλάδξαζε ε νπνία ζα ηνλ πιεξνθνξεί όηη ην ζύζηεκα θαηαιαβαίλεη ηελ παξνπζία θαη ηηο θηλήζεηο ηνπ. Η αλάδξαζε ηνπ ζπζηήκαηνο πξνο ηνλ ρξήζηε δελ πξέπεη λα είλαη κόλν νπηηθή αιιά θαη αθνπζηηθή θαη απηηθή. 73

- Οινθιήξσζε θαη Απνζαθήληζε Η ζρεδίαζε κηαο απνθιεηζηηθά θαη κόλν δηεπαθήο ρεηξνλνκηώλ είλαη δύζθνιε εξγαζία. Η ηαμηλνκία ζπλεξγαζίαο όηαλ έρνπκε πνιιέο ηξνπηθόηεηεο θαίλεηαη παξαθάησ: - Μεηαθνξά: Πξώηα εθηειείηαη ε κηα ηξνπηθόηεηα θαη κεηά ε άιιε. - Ιζνδπλακία: Φξήζε νπνηαζδήπνηε ηξνπηθόηεηαο ζα θέξεη ην ίδην απνηέιεζκα. - Σπκπιεξσκαηηθόηεηα: Βάιε απηό εθεί (Λέο «βάιε» δείρλνληαο ην αληηθείκελν θαη κεηαθηλείο ην ρέξη ζνπ ζηελ ηνπνζεζία θαη ιεο «εθεί» γηα λα νινθιεξσζεί ε δηαδηθαζία). - Πιενλαζκόο: Πνιιέο ηαπηόρξνλεο ηξνπηθόηεηεο. - Δηδηθόηεηα: Μόλν κηα ηξνπηθόηεηα έρεη πξόζβαζε ζε θάπνηα ιεηηνπξγία. 74

Παξάδεηγκα: Έρνπκε έλα ζύζηεκα ην νπνίν δέρεηαη θσλεηηθέο εληνιέο, ρεηξνλνκίεο θαη είζνδν από πιεθηξνιόγην. Γηα λα εθηειέζνπκε ηελ ιεηηνπξγία «Έμνδνο» κπνξνύκε λα πνύκε «έμνδνο» θαη λα θάλνπκε κηα ρεηξνλνκία εμόδνπ (πιενλαζκόο) θαη ζηε ζπλέρεηα λα επηθπξώζνπκε ηελ ιεηηνπξγία εμόδνπ κέζσ ηνπ πιεθηξνινγίνπ (κεηαθνξά). 75

- Δξγνλνκηθέο αξρέο Η ζρεδίαζε κηαο δηεπαθήο ρεηξνλνκηώλ πξέπεη λα βαζηζηεί ζε νξηζκέλεο εξγνλνκηθέο αξρέο νη νπνίεο ζα ηελ θάλνπλ πην εύρξεζηε θαη μεθνύξαζηε: Απνθπγή ηνπνζέηεζεο ησλ ρεξηώλ θαη ηνπ ζώκαηνο ζε αθξαίεο ζέζεηο Απνθπγή επαλαιήςεσλ Ξεθνύξαζε ησλ κπώλ Η μεθνύξαζηε νπδέηεξε ζέζε είλαη κεηαμύ ησλ αθξαίσλ Απνθπγή δηαηήξεζεο κηαο ζηαζεξήο ζέζεο (αθηλεζία) Απνθπγή εθαξκνγήο εζσηεξηθήο θαη εμσηεξηθήο πίεζεο ζηηο αξζξώζεηο 76

77

Η ρξήζε ησλ δηεπαθώλ κε ρεηξνλνκίεο κπνξεί λα δηεπθνιύλεη πάξα πνιύ ηνλ ηξόπν κε ηνλ νπνίν ρεηξηδόκαζηε κέρξη ζήκεξα ηηο δηάθνξεο ζπζθεπέο καο αιιά επίζεο κπνξεί λα θαλεί ηδηαίηεξα ρξήζηκε θαη γηα άηνκα κε εηδηθέο αλάγθεο. Οη ρεηξνλνκίεο πνηθίινπλ από θηλήζεηο ησλ ρεξηώλ κέρξη θαη εθθξάζεηο ηνπ πξνζώπνπ. Οη δηεπαθέο πνπ έρνπλ ζρεδηαζηεί κέρξη ζήκεξα βαζίδνληαη ζε κεραληθέο θηλήζεηο εηδηθώλ ζπζθεπώλ θαη ζε αλαγλώξηζε θίλεζεο από θάκεξεο. Η ζρεδίαζε ησλ δηεπαθώλ πξέπεη λα βαζηζηεί ζηελ θπζηνινγία ηνπ αλζξώπηλνπ ζώκαηνο αιιά θαη ζε γεληθέο ζηξαηεγηθέο ζρεδίαζεο. Οη ρεηξνλνκίεο πνπ επηιέγνπκε θαηά ηελ ζρεδίαζε κηα δηεπαθήο πξέπεη λα είλαη εύρξεζηεο θαη ινγηθέο. Η ρξήζε ρεηξνλνκηώλ ζηηο νηθηαθέο καο ζπζθεπέο είλαη θάηη πνπ βξίζθεηαη ζηα ζθαξηά αιιά δελ ζα αξγήζεη λα εκθαληζηεί ζε εκπνξηθέο εθαξκνγέο. 78

Το μέλλον. 79