Počítačové rozhraní nemusí čekat, až se prst dotkne klávesy nebo obrazovky. Výzkumný náramek vyvinutý v laboratořích Reality Labs snímá slabé elektrické projevy svalové činnosti na zápěstí a z nich odhaduje zamýšlené pohyby ruky. V testech pak lidé ovládali kurzor, volili gesta a dokonce „psali“ krátké texty pouhým pohybem prstu, jako kdyby psali perem do neviditelného bloku.
Základem zařízení je povrchová elektromyografie, zkráceně sEMG. Jde o měření elektrických signálů, které vznikají při aktivaci svalových vláken a lze je zachytit elektrodami přiloženými na kůži. Náramek tedy nečte myšlenky ani neměří aktivitu mozku. Zachytává důsledky nervových povelů v okamžiku, kdy se už šíří do svalů předloktí a ruky.
To podstatné není samotné měření: podobné signály se pro rozpoznávání gest používají dlouho. Problémem bývalo, že každý člověk vytváří při stejném pohybu trochu jiný elektrický vzorec. Záleží na tvaru ruky, síle svalů, poloze náramku i stylu pohybu. Dosavadní systémy proto často potřebovaly osobní kalibraci, tedy několik minut až hodin dat nasbíraných od konkrétního uživatele.
Model se učil na tisících lidí
Podle studie zveřejněné v časopise Nature tým tento handicap obešel rozsáhlým sběrem dat. Model strojového učení trénoval na záznamech od tisíců účastníků, aby se neučil jednotlivé ruce nazpaměť, ale hledal společné rysy svalových signálů. Při následných testech dostali náramek lidé, kteří s daným rozhraním předtím smysluplně nepracovali. Systém přesto dokázal fungovat bez kalibrace pro konkrétní osobu a bez zvláštního nastavování při každém nasazení.
Výzkumníci ověřovali tři různé úkoly. V prvním účastníci ovládali pohyb kurzoru vodorovně po obrazovce pohybem zápěstí. Ve druhém procházeli mřížkou pomocí nenápadných gest palcem a prsty. Třetí zkouška byla nejpůsobivější: účastníci psali rukou znaky do vzduchu a software jejich pohyby převáděl na text. Dvacet lidí v tomto úkolu dosáhlo mediánu 20,9 slova za minutu.
To není rychlost, která by zatím nahradila běžnou klávesnici. Ve srovnávacím pokusu zvládli lidé psát podobným pohybem ruky bez náramku rychleji, medián činil 25,1 slova za minutu. Také při navigaci a rozpoznávání jednotlivých gest byl klasický ovladač rychlejší. Výsledek proto není hotovým nástupcem myši ani telefonního displeje, ale přesvědčivou ukázkou, že svalové signály dokážou poskytnout použitelný vstup i bez předchozího výcviku každého uživatele.
Důležitý je i rozdíl mezi velkým pohybem a sotva patrným pokynem. Kamerové systémy pro ovládání gesty potřebují obvykle vidět ruku a mohou selhávat při zakrytí nebo špatném světle. Náramek naopak snímá, co se děje přímo pod kůží. Člověk tak může podle autorů provádět jen velmi malé pohyby prstů, aniž by musel držet před kamerou celou paži. To se hodí pro mobilní elektroniku i zařízení rozšířené reality, kde jsou ruce často zaměstnané.
Nezávislý odborný komentář v časopise Nature Electronics upozornil, že testovaný náramek není jen sada elektrod připojená k laboratorní aparatuře. Obsahoval baterii, anténu, mikrokontrolér i další elektroniku potřebnou pro bezdrátový provoz. To je pro podobné rozhraní prakticky zásadní: technologie má být nositelná, ne jen přesná v experimentální místnosti.
Výsledky současně ukazují hranice nápadu. Krátké přizpůsobení konkrétnímu člověku výkon ještě zlepšilo; u rozpoznávání rukopisu vedlo dvacet minut osobních dat k mediánovému zlepšení o 16 %. Univerzální model tedy funguje jako výchozí bod, nikoli jako konečné řešení. Právě schopnost začít ihned a teprve potom se nenápadně doučovat však může rozhodnout, zda se podobné ovládání jednou dostane z laboratoře na běžné zápěstí.
Tento článek byl vytvořen s pomocí umělé inteligence a redakčně zkontrolován.