NVIDIA cùng Đại học Carnegie Mellon và Đại học California, Berkeley đồng phát hành khung đào tạo robot ENPIRE. Hệ thống này giao quy trình đào tạo cho đại lý mã hóa AI thực hiện, cho phép robot trên phần cứng thực tế lặp đi lặp lại thử nghiệm, chỉnh sửa mã và học kỹ năng mới, con người chỉ tham gia vào thiết lập cơ bản ban đầu.
Hai công cụ cơ bản được xây dựng thủ công trước
ENPIRE chia quy trình thành hai giai đoạn. Giai đoạn đầu do các nhà nghiên cứu hướng dẫn đại lý xây dựng hai công cụ có thể tái sử dụng lâu dài: một là quy trình đặt lại, dùng để khôi phục bàn làm việc về trạng thái ban đầu đồng nhất; hai là hàm thưởng, đánh giá nhiệm vụ hoàn thành dựa trên hình ảnh camera.
Sau khi hai công cụ này hoàn thành, quá trình đào tạo tiếp theo chủ yếu do đại lý tự tiến hành. Hệ thống sẽ tự tìm kiếm nghiên cứu công khai, lựa chọn phương pháp học mô phỏng, học tăng cường hoặc quy tắc viết tay, sau đó chỉnh sửa mã và trực tiếp thử nghiệm trên robot.
8 robot đào tạo song song rút ngắn thời gian
NVIDIA triển khai 8 trạm robot hai cánh tay tại phòng thí nghiệm GEAR. Mỗi trạm đều có phần cứng, tài nguyên tính toán và đại lý mã hóa riêng biệt. Các trạm chia sẻ tiến độ qua Git, khi một phương án hiệu quả, các robot khác có thể đồng bộ nhanh chóng.
Nhóm nghiên cứu thử nghiệm các nhiệm vụ Push-T và cắm ghim. Kết quả cho thấy khi số robot tăng từ 1 lên 8, thời gian đào tạo nhiệm vụ Push-T giảm từ khoảng 5 giờ xuống còn 2 giờ, nhiệm vụ cắm ghim giảm từ hơn 90 phút xuống khoảng 40 phút.
- Push-T: thời gian đào tạo giảm từ khoảng 5 giờ xuống còn 2 giờ
- Nhiệm vụ cắm ghim: thời gian đào tạo giảm từ hơn 90 phút xuống khoảng 40 phút
- Trong 4 nhiệm vụ thực tế, tỷ lệ thành công đạt 99%
Môi trường thực tế vẫn khó hơn mô phỏng
Bài báo đề cập, 3 loại đại lý mã hóa đều có thể hoàn thành nhiệm vụ Push-T trong môi trường mô phỏng, nhưng khi chuyển sang robot thực tế, 2 loại không thể tái hiện kết quả thành công. Điều này cho thấy khoảng cách rõ ràng giữa mô phỏng và môi trường thực, các yếu tố như ma sát, sai số đặt vật ảnh hưởng đến hiệu quả đào tạo.
Nhóm nghiên cứu cũng thử nghiệm ENPIRE trên chuẩn bếp mô phỏng RoboCasa. Kết quả cho thấy khung này vượt trội hơn mô hình đầu-cuối GR00T của NVIDIA và CaP-X không có vòng nghiên cứu tự động.
ENPIRE cũng được xem là phần mở rộng của dự án Eureka 2023 của NVIDIA. Dự án trước chủ yếu cho phép mô hình lớn viết hàm thưởng trong mô phỏng, còn ENPIRE đưa quy trình tự cải tiến lên phần cứng robot thực tế.
Phát hành này diễn ra đúng lúc cạnh tranh về trí tuệ nhân tạo thể hiện ngày càng nóng. Cùng tuần, Alibaba ra mắt Qwen-Robot Suite, phát triển mô hình điều hướng, thao tác và mô phỏng vật lý cho robot. Hai công ty đi theo con đường khác nhau nhưng cùng hướng tới xu thế chung: đại lý mã hóa AI đang chuyển từ phát triển phần mềm sang đào tạo robot thực tế.
