Vedci z Google Synthesis AI a Columbia University vyvinuli nový vzdelávací algoritmus ClearGrasp, ktorý pomôže robotom pracovať s priehľadnými objektmi. Algoritmus používa obrazy RGB-D na opätovné vytvorenie priestorových informácií 3D predmetného objektu.
Roboti využívajú kamery RGB-D na vykreslenie presného 3D obrazu prostredia, v ktorom sa nachádzajú. Určite však existujú obmedzenia pre okolie, ktoré tieto kamery vytvárajú; napríklad nepracuje efektívne pre priehľadné predmety, ako je sklo.
Vytvorenie 3D priestorových informácií pre priehľadné objekty sa ukázalo byť pre výskumníkov herkulóznou úlohou. K dispozícii bolo len veľmi málo údajov určených pre priehľadné povrchy a väčšina údajov očividne ignorovala priehľadné povrchy. Na prekonanie tohto problému vedci vytvorili rozsiahlu transparentnú dátovú sadu objektov, ktorá obsahuje 50 000 realistických vykreslení rôznych povrchov objektov.
Algoritmus ClearGrasp používa 3 neurónové siete na správne identifikovanie priehľadných objektov. Jedna zo sietí odhaduje normálny povrchový vektor, jedna vypočíta okraj oklúzie a druhá vypočíta priehľadnosť objektu. Maska objektu sa používa na vylúčenie pixelov nepriehľadných objektov, aby sa vyplnila správna hĺbka.
Modul globálnej optimalizácie môže predpovedať normálne vektory iných povrchov z povrchov známej hĺbky, aby rekonštruoval tvar objektu a rozlíšil medzi dvoma objektmi.
Algoritmus však nemohol správne detegovať normálne vektory iných základných povrchov kvôli obmedzeniu súboru syntetických údajov. Na vyriešenie tohto problému vedci prišli so súborom údajov Matterport3D a ScanNet.
ClearGrasp je však jediný dostupný algoritmus, ktorý dokáže zrekonštruovať hĺbku priehľadných objektov, čím zvyšuje mieru úspešnosti uchopenia priehľadných objektov robotickým ramenom z 12% na 74%.
