VLA оқыту

Телебасқару көрсетілімдерінде «көру-тіл-әрекет» модельдерін оқыту — мысалы, G1 шам бұрап салады.

Шолу

«Көру-тіл-әрекет» (VLA) модельдері роботқа камерадан сурет пен нұсқауды — «шамды бұрап сал» — алып, бірден әрекет шығаруға мүмкіндік береді.

Біз телебасқару жүйемізбен жиналған көрсетілімдерде VLA-ны қосымша оқытып, антропоморфты қолы бар Unitree G1-ді нәзік манипуляцияларға үйреттік.

Шамды бұрап салу үшін саусақтарды дәл басқару, үнемі ұсақ түзетулер және шамның орнына түскенін түсіну керек.

VLA жұмысының сапасы көрсетілімдердің сапасы мен біркелкілігіне қатты байланысты.

Синхрондалған камералар мен буын күйлері бар телебасқару көрсетілімдерінің жинағын жинап, іріктедік.

Ашық VLA моделін осы деректерде әрекеттерді мұқият бөлу және нормализациялау арқылы қосымша оқыттық.

Шамның әртүрлі орындары мен жарықта нақты роботта тексеріп, сәтсіздіктерді деректер жинауға қайтардық.

Робот шам міндетін жаңа бастапқы орындардан орындайды (толтырғыш — сәттілік пайызын қосыңыз)
Жаңа манипуляция міндеттері үшін қайталанатын «деректер → оқыту → бағалау» циклі