Již dříve jste si mohli na stránkách HW serveru přečíst článek o projektu společnosti Google s názvem Soli, umožňující pomocí mikroradarového systému uzavřeného do součástky velikosti cca 1 cm² detekovat gesta a i obecně "řeč těla" lidí pro potřeby zcela bezkontaktního ovládání - viz článek pana Michalece "Rozpoznání gest pomocí radaru" na HW serveru z roku 2016.

Aktuálně má Google tento systém / čip Soli již plně certifikovaný a schválený pro implementaci do zařízení. Jeho první uplatnění bude v přímo v Google vyvinutém chytrém telefonu PIXEL 4, který se v ČR začne prodávat za několik týdnů (listopad 2019). 

První praktické nasazení čipu Soli je ve smartphonu Google PIXEL 4.

Obecné možnosti systému Soli

Čip Google Soli používá integrovaný mikroradar, který pracuje na principu emise elektromagnetických vln, které se následně odrážejí zpět do antény od vnějších objektů nacházející se v cestě paprsku. Informace shromážděné z odraženého signálu, tedy informace o časovém zpoždění nebo změnách frekvence, pak poskytují zařízení informace o interakci. Čip Soli pak průběžně v reálném čase jemné změny v přijímaném signálu vyhodnocuje a tím dokáže rozlišit jak tvary a pohyb celých rukou, tak i složité pohyby prstů.

Pro tyto aplikace také byl vývojovým centrem Googlu primárně vyvinutý, tedy pro potřeby snadného bezdotykového ovládání i velmi miniaturních zařízení s velmi malými displeji jako jsou například chytré hodinky, různé přehrávače, ale i chytré telefony. Právě smartphone Google Pixel 4 je první zařízení, kam Google již Soli čip implementoval.

Čip s integrovanou vysílací i přijímací anténou v reálném čase generuje signál z pohybu.

Nicméně u tak sofistikovaného radarového systému umožňující spolehlivě rozeznávat různá gesta se nabízí výrazně zajímavější uplatnění než použití v hračkách či spotřební elektronice.

Ti, co rádi sledují filmy americké produkce, by si jistě mohli vybavit postavu Tonyho Starka z filmů "Ironman", kde celkem běžně ovládá gesty virtuální obrazovky, nastavení zařízení i své pomocné roboty, kteří mu pomáhají konstruovat. Tam to rozhodně také nevypadalo na nějaké kamerové snímání. A právě pro ovládání robotů či řízení a nastavování senzorů a strojů může být systém radarový Soli něco, co může výrazně změnit spolupráci lidí a strojů.

Přímo Google na svém webu https://atap.google.com/soli/ uvádí aktuální následující možnosti radarového snímání systému Soli:

• Soli umožňuje ve snímané oblasti rozeznávat polohy lidí, zda někdo další vstoupil do místnosti, ve které se již někdo jiný nachází, nebo například detekovat, kdo sedí a kdo stojí.
• Soli umožňuje realizovat rozpoznávání "řeči těla", tedy pohybů obvykle doprovázející, zahajující nebo ukončující interakce, například navázání očního kontaktu.
• Soli umí reagovat na mikro gesta rukou (např. pohyby prstů) i makro gesta těla (pohyby celých končetin) pro provádění konkrétních úkolů, jako je výběr, manipulace a navigace obsahu atd.

Soli může detekovat přítomnost lidí i jejich chování v místnostech.

Soli umí rozeznávat řeč těla (např. zájem či nezájem) a tak řídit reakci systému.

Pomocí i velmi jemných gest rukou je možné vybírat a rolovat v menu přístroje, měnit parametry, zastavovat a spouštět funkce apod.

Soli - ideální pro domácí / kancelářskou automatizaci?

Snadno představitelnou oblastí použití radarového ovládacího systému je domácí / kancelářská automatizace. Když už budete mít v bytě elektronickou regulaci osvětlení, teploty, vlhkosti, žaluzií, ventilace, multimediálního systému apod., nebylo by nejlepší to ovládat z pohodlí svého křesla jen gesty?  Protože jaký je to komfort kvůli každé změně chodit k displeji na stěně, nebo hledat tablet s dotykovým nastavením?  A hlasové ovládání nemusí být vždy zcela pohodlné a hlavně spolehlivé, zvláště když třeba zrovna hlučí vařící rychlovarná konvice či kávovar, nebo na plné pecky ozvučená rocková skladba... Radarové snímání gest se mi za těchto podmínek jeví jako obecně nejspolehlivější. Navíc Google dodává, že radarové vyhodnocení je proti obrazovému více "private", protože neexistují žádné kompromitující obrazové záběry pro možnost zcizení a vydírání různými hackery.

Ukázka bezkontaktního ovládání přehrávače gesty pomocí za budovaneho radarového čipu Soli.

Další možnou aplikací hlavně pro veřejné prostory (bary, úřady, nemocnice apod.) může být rozbor celé řeči těla a  vyhodnocení celého pohybu lidí po místnosti díky možnosti snímání v celém rozsahu 360° a navíc i skrz některé materiály (včetně opticky neprůhledných). Například  lze zjišťovat zda někdo odchází či přichází nebo prostě jen "korzuje okolo místnosti", zda někdo stojí nebo sedí (nebo si podle řeči těla chce sednout nebo vstát), zda je například natočen směrem k baru či přepážce a chce tedy obsloužit, nebo je otočen od baru do místnosti a tedy aktuálně obsluhu nepotřebuje.

Toto každý člověk dokáže více či méně nevědomě průběžně vyhodnocovat ve svém mozku a díky to mu jsme jako lidé schopni se docela dobře orientovat i ve společnosti neznámých lidí. Díky systému Soli je zde možnost tyto schopnosti implementovat i strojům, zvláště přidáme-li k tomu i možnosti učení umělé inteligence.

Systém Soli rozpozná z řeči těla osoby, kdy jeví či nejeví zájem a zda chce či nechce komunikovat.

Soli - ideální pro komunikaci s roboty?

Systém Soli by mohl být již aktuálně velmi zajímavý pro aktuálně intenzivně řešené zajištěné vzájemné komunikace mezi lidskými pracovníky a kolaborativními roboty. Zde je stále problematické kvalitně vyřešit onu chybějící vizuální vazbu robot - člověk, kdy robot byl schopen plynule a hlavně i s předstihem reagovat na gesta a obecně celé chování / řeč těla lidí. A to jak pro zajištění bezpečnosti, tak pro pochopení pracovního procesu, co člověk hodlá udělat, zda chce robotovi nějaký předmět předat, nebo mu ho naopak vzít.

V oblasti bezpečnosti lze spojením celkové řeči těla, tedy spojením celkového pohybu těla a i jemných gest, lze lépe dopředu odhadnout, co člověk hodlá udělat, zda chce zasáhnou přímo do pracovního prostoru robota, či jen okolo prochází, zda pohyb robota sleduje a má v úmyslu se mu vyhnout, zda je nepozorný a o robotovi neví, nebo naopak očekává střed apod. Kolaborativní roboti by tak mohli pracovat i ve těsné blízkosti člověka větší rychlostí, silou a i s nebezpečnými předměty, jako jsou různé obráběcí nože či jeli nebo těžké předměty, se kterými aktuálně ani kolaborativní roboti bez bezpečnostních zábran nemohou pracovat.

Z provozního hlediska, by roboti podle směrů a rychlosti pohybu člověka, hlavně jeho rukou a hlavy, by sami mohli spolehlivě odhadnout, zda jim chce lidský pracovník něco předat nebo naopak vzít, nebo zda mu gesty dává najevo, že se má například otočit, zrychlit nebo zpomalit, upustit či zvednou výrobek, vysoko zvednout či naopak "připažit" svoje rameno pro snadný průchod/průjezd okolo něho apod.

Výhody radarového provedení ve srovnání s kamerovými systémy je jednoznačně ve vynikající odolnosti proti okolním provozním podmínkám, jak pro vysoké znečištění v průmyslovém prostředí, tak naopak ve vyžadovaných velmi čistých a chemicky umývaných prostorách farmacie i potravinářství. V obou případech dostávají snímací objektivy kamerových systému "dost zabrat", zatímco vhodně hermeticky zapouzdřený radarový systém není možné jak poškodit. Navíc různé měnící se světelné podmínky výrobní hal a laboratoří, kde se míchá přírodní světlo s umělým v různých poměrech, taky jakémukoliv kamerovému systému na spolehlivosti funkce nepřidává.

Výhody radarové detekce Soli dle prezentace Google.

 Ukázková videa systému Soli

Závěr

Zatímco použití radarového snímaná gest Soli pro různé telefony a chytré hodinky nebo pro virtuální hry (zábavní průmysl) je sice efektní, ale pořád jde jen o takové "hračkové" aplikace. Skutečně zajímavé bude až případné nasazení a otestování v ostrém provozu na spolehlivost náročného průmyslu a i komplexní kancelářské / bytové automatizace. Zde již jsou obvykle již kladené vysoké nároky jak na spolehlivost každé reakce a vyhodnocení, tak na mnohaletou životnost při nepřetržité funkci. Ale rozhodně by toto ovládání gesty či přímo implementovanou automatickou reakci zařízení a chování lidí byla dost výrazné revoluce, výrazně větší než implementace dotykových HMI panelů. 

Odkazy:

• Webová stránky Google o projektu Soli : https://atap.google.com/soli/
• Článek "Rozpoznání gest pomocí radaru" na HW serveru https://vyvoj.hw.cz/soli-rozpoznani-gest-pomoci-radaru.html
• Článek "What is Google's Soli chip and how does Motion Sense work?" na webu https://www.pocket-lint.com/phones/news/google/134079-what-is-google-project-soli-and-will-it-forever-change-the-way-we-use-wearables