Телеуправление всем телом
Телеуправление гуманоидом всем телом для живых демонстраций и сбора данных.
- Teleoperation
- Humanoid
- Data Collection
Обзор
Мы создали систему телеуправления, которая в реальном времени переносит движения всего тела оператора на гуманоидного робота — руки, корпус, кисти и ходьбу.
У неё две задачи: эффектные живые демонстрации и запись качественных демонстраций для обучения моделей.
Задача
У человека и робота разные пропорции и ограничения суставов, поэтому движения нельзя копировать напрямую.
Задержка должна быть настолько малой, чтобы оператор чувствовал контроль, и при этом робот никогда не должен получить команду на опасную позу.
Наш подход
Данные захвата движений в реальном времени перенацеливаются на кинематику робота с учётом ограничений суставов и самостолкновений.
Контроллер нижней части тела с учётом баланса держит робота устойчивым, пока верхняя часть повторяет за оператором.
Каждая сессия записывается как синхронизированные данные камер, суставов и команд — готовые для обучения на демонстрациях.
Результаты
- Управление в реальном времени с малой ощутимой задержкой (заглушка — добавьте измеренную задержку)
- Часы чистых демонстраций, собранных для дальнейшего обучения
- Используется на публичных демонстрациях и презентациях для клиентов
Технологии
- Unitree G1
- Motion capture
- ROS 2
- Python
- C++
