Klára Ponczová, 16. 03. 21
Rozvoj sociálních robotů používaných v domácnostech, kancelářích i školách, kteří jsou schopni komunikovat s lidmi a dalšími roboty společensky přijatelným a srozumitelným způsobem, je úzce spjatý s hlubokým porozuměním psychologii lidské komunikace. Její nedílnou součástí je i chápání významů gest a našich dalších neverbálních projevů. Tomu se právě teď intenzivně věnují vědci z Cornellovy univerzity. V budoucnu by vám tak mohl robot porozumět i bez nutnosti neustále snímat detailní obraz vás i vašeho okolí.
Vědci z Cornellovy univerzity se rozhodli obohatit roboty o schopnost rozpoznávat významy gest a vnímat dotek za použití robotického vidění. To znamená, že přenosná USB kamera uvnitř nafukovacího robota zachycuje gesta rukou, která se ve formě stínů objevují na povrchu robota, a dále je klasifikuje za pomocí softwaru pro strojové učení. Tuto metodu vědci nazvali ShadowSense a jde v podstatě o “vnímání a interpretaci doteků zrakem”. Díky tomu jsou vědci schopni robotovi zajistit vysokou rozlišovací schopnost, zprostředkovat mu zážitek doteku a naučit jej na něj adekvátně reagovat.
Vidím, že na mě saháš
Vnímání dotyků se u sociálně orientovaných robotů obvykle dosahuje silovými nebo kapacitními senzory, říká spoluautor studie vizuálního dotykového vnímání Guy Hoffman ze Sibley School mechanického a vesmírného inženýrství z Cornellovy univerzity. Nevýhodou tradičního přístupu však je, že i pro dosažení hrubých rozlišovacích schopností je na malé ploše potřeba mnoho senzorů. Při práci s nafukovacími roboty však Hoffman a jeho kolegové nainstalovali do robota zmíněnou klasickou USB přenosnou kameru, ke které připojili objektiv s rybím okem pro širší zorné pole.
“Vzhledem k tomu, že náš testovací „robot” je dutý a má měkkou a průsvitnou pokožku, můžeme provádět dotykovou interakci pohledem na stíny vytvořené lidmi, kteří se jej dotýkají,” říká Hoffman. K interpretaci stínů pak použili hluboké neurální sítě. Robot přitom dokázal interpretovat šest různých dotykových gest jako je například ukazování, objímání nebo píchnutí, a taky dokázal rozpoznat, jestli šlo o dotek jednou nebo oběma rukama, a to s přesností 87,5 až 96 procent, v závislosti na osvětlení.
Pro větší soukromí
Historicky to není poprvé, co bylo počítačové vidění použito pro hmatové snímání, i když rozsah a způsob interpretace ShadowSense jsou něčím unikátní. Cílem Hoffmanova týmu je totiž vyvinout mysl, která by dokázala „cítit” a chápat, co se s její tělesnou schránkou děje (co jí chce druhá osoba říct), ať už by k tomu docházelo kdekoli na celém jejím povrchu.
Potenciální aplikace ShadowSense by v sobě pak zahrnovala možnost navádět robota pomocí dotyků a umožnila by měkké roboty ovládat za pomocí zobrazené interaktivní „obrazovky”. Kdyby takový robot rozuměl signálům skrze vnímaný dotek, nepotřeboval by totiž neustále snímat ani vás ani celou místnost. Tento druh garantovaného soukromí by pak určitě ocenila řada lidí využívajících služeb sociálního robota v domácnosti.
Až všechna světla zhasnou
Aktuálně se vědci soustředí na to, aby robot dokázal detekovat gesta, která jsou od jeho kůže ve větší vzdálenosti. Uživatelé by tak mohli kdykoli zakrýt kameru robota průsvitným materiálem a on by stále dokázal interpretovat akce a gesta ze stínů. Nedocházelo by tak k zachycení uživatele a jeho okolí ve vysokém rozlišení, ale robot by pořád dokázal “vnímat” určité druhy povelů a činností.
Aktuálně však podle Hoffmana ShadowSense nefunguje úplně stoprocentně ani při přímém doteku za špatných světelných podmínek. Světelný šum nebo stíny z okolních objektů klasifikaci obrazu značně narušují. Spoléhání se jen na jednu kameru zároveň znamená, že není s čím její vyhodnocení konfrontovat a robot nemá možnost dojít k přesnějšímu výsledku. V této studii výzkumníci použili metodu takzvaného „učení přenosem”. Nejprve systém vycvičili v hlubokém učení a pak naučené aplikovali na nový problém - analýzu obrazu.
“Opět jsme však narazili na jeden z problémů neuronových sítí,” říká Hoffman. “Je jím skutečnost, že ke schopnosti přesné odpovědi potřebují spoustu tréninkových dat. A je asi jasné, že kvanta dat o tom, jakými způsoby se lidé dotýkají dutého nafukovacího robota, jednoduše nemáme,” dodává. “Umíme však využít sítě, které se cvičily na obecných obrázcích lidských gest - těch máme miliardy! Poslední vrstvy sítě bychom pak už snad měli zvládnout proškolit pomocí našich vlastních reálných dotykových sad,” nastiňuje směr dalšího pokračování výzkumu vizuálního vnímání doteku Hoffman.
Tento článek je chráněn pomocí blockchainové služby Mytitle.
