Potom, čo mobilné platformy ARKit a ARCore pre rozšírenú realitu presťahovali predtým prelomový projekt Project Tango (platforma AR, ktorá nám poskytla prvé smartphones s hĺbkovými senzormi) do zastarania v roku 2018 sme zaznamenali trochu znovuzrodenia v tom čase významného komponentu pre vlajkové lode.
Samsung svojim senzorom oživil snímač času letu Galaxy Poznámka 10 a Galaxy S10 5G, hoci v modeloch súčasnej generácie vyhodil senzor. Radar urobil krátke cameo prostredníctvom Project Soli v službe Google Pixel 4. V poslednej dobe, Apple implementoval senzory LiDAR do zostáv iPhone 12 Pro a iPad Pro po tom, ako prerazili s predným fotoaparátom TrueDepth, ktorý zahájil éru The Notch.
Výskumný tím spoločnosti Google pre AI teraz sprístupnil vývojárom sadu nástrojov, ktoré môžu využiť výhody 3D údajov, ktoré senzory generujú.
Tento týždeň spoločnosť Google pridala do úložiska TensorFlow na použitie v autonómnych autách a robotoch, ako aj v knižnici modelov 3D hĺbkového učenia TensorFlow 3D (TF 3D), vrátane sémantickej segmentácie 3D, detekcie 3D objektov a segmentácie 3D inštancií, a tiež pre skúsenosti s mobilnou AR pre zariadenia s porozumením 3D hĺbke.
AppleSenzory LiDAR umožňujú pokročilejšiu AR s 3D mapovaním. Obrázok od Apple/YouTube
„Pole počítačového videnia začalo v poslednom čase napredovať v porozumení 3D scéne, vrátane modelov pre detekciu mobilných 3D objektov, detekcie transparentných objektov a ďalších, ale vstup do poľa môže byť náročný kvôli obmedzenej dostupnosti nástrojov a zdrojov, ktoré môžu byť aplikované na 3D údaje, “uviedli Alireza Fathi (vedecký pracovník) a AI Rui Huang (rezident AI spoločnosti Google Research) v oficiálnom blogovom príspevku. „TF 3D poskytuje súbor obľúbených operácií, stratových funkcií, nástrojov na spracovanie údajov, modelov a metrík, ktoré širšej výskumnej komunite umožňujú vyvíjať, školiť a nasadzovať najmodernejšie modely 3D porozumenia scéne.“
Model 3D sémantickej segmentácie umožňuje aplikáciám rozlišovať medzi objektom alebo objektmi v popredí a pozadím scény, ako je to s virtuálnymi pozadiami v programe Zoom. Google implementoval podobnú technológiu s virtuálnym pozadím videa pre YouTube.
Naproti tomu model 3D inštancie segmentácie identifikuje skupinu objektov ako jednotlivé objekty, ako napríklad objektívy Snapchat, ktoré môžu v zobrazení kamery nasadiť virtuálne masky viac ako jednej osobe.
Výstup modelu detekcie 3D objektu (vľavo) a segmentačného modelu 3D (vpravo). Obrázok cez Google
Nakoniec model 3D detekcie objektov posúva segmentáciu inštancie o krok ďalej tým, že triedi aj objekty v zobrazení. Knižnica TF 3D je k dispozícii prostredníctvom GitHub.
Aj keď boli tieto schopnosti preukázané pomocou štandardných kamier pre smartfóny, dostupnosť údajov o hĺbke z LiDAR a ďalších senzorov času letu otvára nové možnosti pre pokročilé skúsenosti s AR.
Aj bez úložiska 3D prispel TensorFlow k niektorým šikovným zážitkom z AR. Wannaby využil TensorFlow ako nástroj na vyskúšanie laku na nechty a tiež pomohol Capital One s funkciou mobilnej aplikácie, ktorá dokáže identifikovať autá a prekrývať o nich informácie v AR. V podivnejšej a divokejšej kategórii použil nezávislý vývojár pomocou systému TensorFlow z srolovaného kusu papiera svetelný meč pomocou systému InstaSaber.
TensorFlow 3D umožní vylepšené rozpoznávanie 3D objektov, akým je napríklad tento zážitok z Capital One. Obrázok Jessica Chobot/Periscope
V posledných rokoch Google využíva strojové učenie prostredníctvom TensorFlow aj na iné účely AR. V roku 2017 spoločnosť vydala svoje úložisko MobileNets na detekciu obrázkov a la Google Lens. A TensorFlow je tiež technológiou API Augmented Faces API (ktorá funguje aj na iOS), ktorá prináša filtre selfie podobné Snapchatu do iných mobilných aplikácií.
Nie je to tiež prvýkrát, čo spoločnosť Google využila údaje senzorov hĺbky pre skúsenosti s AR. Aj keď Depth API pre ARCore umožňuje oklúziu, teda schopnosť virtuálneho obsahu zobrazovať sa pred a za objektmi reálneho sveta, v prípade mobilných aplikácií prostredníctvom štandardných kamier smartphone táto technológia funguje lepšie so snímačmi hĺbky.
Strojové učenie sa ukázalo ako nevyhnutné pri vytváraní pokročilých skúseností s AR. Na základe svojho zamerania na samotný výskum AI zohráva Google pre budúcnosť AR rovnako dôležitú úlohu Apple, Facebook, Snap a Microsoft.
Nenechajte si ujsť: NR30: 30 ľudí budúcej reality, ktorých treba sledovať v rozšírenej realite do roku 2020
