Cách đánh giá các chính sách Robot đa năng cho triển khai thực tế

Các mô hình nền tảng về robot đã đạt được những tiến bộ đáng kể. Các hệ thống tốt nhất hiện nay có thể làm theo các chỉ dẫn bằng ngôn ngữ tự nhiên để nhặt, đặt, phân loại và thao tác với nhiều loại vật thể khác nhau. Nhưng khi các mô hình này ngày càng có năng lực, việc đánh giá chúng một cách nghiêm ngặt đã trở thành một trong những vấn đề khó chưa được giải quyết của lĩnh vực này. Trong bài đăng blog này, chúng tôi giới thiệu các vấn đề chính và phương pháp của chúng tôi để giải quyết chúng.

Tại sao các tiêu chuẩn hiện tại còn thiếu sót

Việc thử nghiệm trong thế giới thực tốn kém, chậm và khó tái tạo. Để đánh giá đầy đủ hiệu suất của robot trong thế giới thực, chúng ta cần một đại diện hợp lý. Mô phỏng là nơi tự nhiên để chạy các đánh giá robot quy mô lớn. Tuy nhiên, hầu hết các tiêu chuẩn hiện có đều có một vài vấn đề nghiêm trọng.

Sự chồng lấn miền thị giác trong huấn luyện và đánh giá

Thứ nhất, dữ liệu và môi trường được sử dụng trong huấn luyện và đánh giá chính sách gần như luôn được lấy từ cùng một nguồn thị giác. Khi một mô hình được tinh chỉnh trên dữ liệu mô phỏng và được đánh giá trong cùng môi trường mô phỏng đó, hiệu suất cao chỉ cho thấy mô hình đã ghi nhớ thiết lập, chứ không phải nó có thể tổng quát hóa. Đây vẫn là một vấn đề nghiêm trọng trong đánh giá robot, vì chất lượng thị giác của mô phỏng chưa đạt được sự tương đương với các quan sát hình ảnh trong thế giới thực. Các phương pháp Real2sim giải quyết vấn đề này bằng cách tái tạo các môi trường siêu thực từ hình ảnh thế giới thực bằng cách sử dụng các kỹ thuật như Gaussian Splatting, nhưng việc thiết lập cho từng cảnh có thể mất hơn một giờ, khiến việc thử nghiệm quy mô lớn trở nên không thực tế.

Hình 1. Các tiêu chuẩn mô phỏng hiện có bị ảnh hưởng bởi sự chồng lấn miền thị giác và tác vụ, độ chân thực thấp và chi phí cao cho việc tạo cảnh và tác vụ. Việc tạo cảnh thủ tục truyền thống thường bị ảnh hưởng bởi chất lượng kết xuất thấp, tạo ra những khoảng cách thị giác sim2real lớn. Các môi trường được tái tạo 3D (3DR) mang lại tính chân thực hơn cho các môi trường mô phỏng thông qua các phương pháp như inpainting hoặc Gaussian splatting, nhưng thường phải trả giá bằng nỗ lực của con người được sử dụng để tạo ra mỗi cảnh.

Benchmark saturation

Thứ hai, việc tạo ra các tác vụ là một nỗ lực tẻ nhạt. Hầu hết các bài kiểm tra tiêu chuẩn đều có một bộ tác vụ cố định và hiếm khi được cập nhật. Điều này nhanh chóng dẫn đến sự bão hòa hiệu suất: các mô hình nhanh chóng đạt điểm tối đa trên các bộ tác vụ tĩnh, khiến việc phân biệt mô hình nào thực sự có năng lực hơn trở nên bất khả thi. Khi mọi hệ thống đều báo cáo tỷ lệ thành công trên 90% trên cùng một bài kiểm tra tiêu chuẩn, các con số trở nên kém ý nghĩa hơn.

Hình 2. Hầu hết các bài báo mô hình đều báo cáo kết quả trên tiêu chuẩn này, nhưng sự bão hòa như được thể hiện khiến việc rút ra kết luận có ý nghĩa về hiệu suất của mô hình trở nên khó khăn.

Khoảng cách chẩn đoán

Còn có một khoảng cách chẩn đoán sâu hơn. Một điểm thành công/thất bại nhị phân không giải thích tại sao robot lại thất bại. Nó bị nhầm lẫn bởi màu sắc của vật thể? Cách diễn đạt hướng dẫn? Một camera bị dịch chuyển? Nó có thực hiện nhiệm vụ hiệu quả theo hướng dẫn ngôn ngữ cụ thể không? Nếu không có câu trả lời cho những câu hỏi này, các nhà nghiên cứu sẽ có rất ít điều để hành động.

Hình 3. Một tập đánh giá ví dụ cho nhiệm vụ “Đặt cốc đo màu cam và cốc đo màu xanh lam ra ngoài đĩa” với chính sách pi0.5

Độ tin cậy thống kê

Mọi công cụ vật lý và chính sách đều chịu một số tính ngẫu nhiên. Một tỷ lệ thành công duy nhất trên N lần chạy không cho bạn biết gần như bất cứ điều gì về mức độ tự tin bạn nên có vào hiệu suất thực sự của một chính sách. Nếu một chính sách thành công chín trên mười lần, nó có phải là chính sách “thành công 90%” không, hay nó có thể dễ dàng là chính sách 80% hoặc 95% đã may mắn trong một mẫu nhỏ? Để điều tra điều này, chúng tôi xem xét phương pháp Clopper-Pearson.

Hình 4. Khoảng tin cậy Clopper Pearson là một phương pháp “chính xác” để giới hạn tỷ lệ thành công nhị thức.

Phương pháp Clopper-Pearson là một phương pháp “chính xác” để xây dựng khoảng tin cậy nhị thức xung quanh tỷ lệ thành công, được tính toán trực tiếp từ phân phối nhị thức. Hãy xem ví dụ sau: Đối với tỷ lệ thành công quan sát được là 90% chỉ với 70 lần chạy, khoảng tin cậy Clopper-Pearson 95% trải rộng 15,4 điểm phần trăm đầy đủ (tỷ lệ thành công từ 80,5% đến 95,9%). Với 1.030 lần chạy, sai số này thu hẹp lại thành một dải ±2 điểm phần trăm (tỷ lệ thành công từ 88,0% đến 91,8%). Hầu hết các tiêu chuẩn được xuất bản không chạy đủ số lần chạy để đạt được ý nghĩa thống kê khi so sánh hiệu suất của hai chính sách.

Hình 5. Khoảng tin cậy Clopper-Pearson 95% cho tỷ lệ thành công 90%, với các dấu gạch màu xanh lam minh họa khoảng CP xung quanh 90%. Việc thu hẹp khoảng tin cậy từ 10 xuống 2 điểm phần trăm đòi hỏi khoảng 15 lần số lần chạy thử (từ 70 lên 1.030).

Giới thiệu RoboLab

Chúng tôi đã xây dựng một nền tảng đánh giá mô phỏng có tên là RoboLab để giải quyết những vấn đề này. RoboLab được xây dựng dựa trên ba nguyên tắc:

Cho phép đánh giá các tác vụ độc lập với robot đồng thời cung cấp các số liệu có ý nghĩa
Cho phép tạo nhanh các tác vụ mới để tránh bão hòa tiêu chuẩn, với hỗ trợ cho quy trình làm việc AI tác tử
Cung cấp một bộ công cụ phân tích đầy đủ để phác họa bức tranh toàn cảnh về mức độ hoạt động của một chính sách, khi nào nó thất bại và tại sao nó thất bại.

Hình 6. Các tiêu chuẩn cần thích ứng với các khả năng mới khi lĩnh vực phát triển. Khi hiệu suất của tiêu chuẩn hiện có đạt đến mức bão hòa, đã đến lúc phải điều chỉnh và mở rộng tiêu chuẩn.

Đánh giá robot trong kỷ nguyên AI tác tử

Hình 7. Quy trình tạo cảnh, tác vụ và môi trường 3 bước của RoboLab.

RoboLab mô phỏng quy trình thiết lập trong thế giới thực: đặt các đối tượng, thêm một hướng dẫn ngôn ngữ và chạy một chính sách. Với một thư viện các đối tượng, người dùng chỉ cần đặt các đối tượng vào cảnh và chỉ định một hướng dẫn ngôn ngữ (hoặc ba!) cho tác vụ, với toàn bộ quá trình chỉ mất vài phút. RoboLab cũng đi kèm với các kỹ năng của tác nhân có thể được một tác nhân mã hóa tận dụng để tạo ra các tác vụ mới trực tiếp trong quy trình làm việc của người dùng. Hiệu quả này cũng giúp bài kiểm tra tiêu chuẩn có khả năng thích ứng trong tương lai: các tác vụ mới có thể được thêm vào và các tác vụ lỗi thời có thể được loại bỏ khi các mô hình tổng quát được cải thiện.

Mang theo robot của riêng bạn

Việc xây dựng một chính sách robot tổng quát đòi hỏi phải giải quyết một loạt các tác vụ cụ thể, và không có đội ngũ đơn lẻ nào có lượng dữ liệu dồi dào trên mọi hình thái cơ thể. Một phòng thí nghiệm có thể có hàng nghìn giờ trên cánh tay Franka nhưng hầu như không có trên robot hình người, hoặc ngược lại. Một tiêu chuẩn đánh giá gắn liền với một robot cụ thể buộc mọi người dùng phải rơi vào khoảng trống dữ liệu đó, bất kể họ thực sự đang cố gắng xây dựng hay kiểm tra điều gì.

Các tác vụ của RoboLab không phụ thuộc vào robot và chính sách, nghĩa là cùng một tập hợp các tác vụ có thể được đánh giá bất kể kiến trúc cơ thể robot hay chính sách. Người dùng được tự do đưa ra các lựa chọn thiết kế của riêng mình; RoboLab chỉ đơn giản là biên dịch cùng các cảnh và tác vụ đối với bất kỳ robot nào họ mang đến. Điều này cũng hợp lý vì số lượng các lựa chọn cơ thể robot sẽ tăng lên trong tương lai; điều quan trọng ít hơn là robot nào đã được sử dụng để tạo dữ liệu và huấn luyện, mà chỉ cần nó đã giải quyết được tác vụ.

Nhiệm vụ cụ thể theo năng lực

Một tiêu chuẩn hữu ích cần phải cô lập các khả năng riêng biệt, chứ không chỉ đo lường xem robot có hoàn thành nhiệm vụ hay không. Chúng tôi đã quan sát thấy rằng thao tác đa năng dựa trên ít nhất ba năng lực riêng biệt:

Bài kiểm tra năng lực thị giác xác định xem một chính sách có thể nhận ra và hành động dựa trên các thuộc tính nhận thức như màu sắc, kích thước và danh mục ngữ nghĩa hay không, chẳng hạn như phân biệt cốc nhỏ màu đỏ với các vật thể khác trên bàn.
Năng lực thủ tục đánh giá khả năng suy luận hướng hành động: xếp chồng các vật thể, định hướng lại chúng, hoặc suy luận cách tương tác với một công cụ.
Các câu hỏi về năng lực quan hệ thăm dò logic không gian và ngôn ngữ, bao gồm các liên từ (“chọn quả cam và quả chanh”), đếm, và các vị trí tương đối như bên trái hoặc bên trong.

Bằng cách thiết kế các nhiệm vụ nhằm nhắm mục tiêu một hoặc nhiều khả năng cụ thể, chúng tôi có thể đảm bảo phạm vi bao phủ rộng khắp toàn bộ không gian các kỹ năng mà một chính sách đa dụng cần. Trong RoboLab-120, bộ tiêu chuẩn ban đầu của chúng tôi gồm 120 nhiệm vụ nhặt và đặt trên bàn được con người tuyển chọn, mỗi nhiệm vụ được gắn thẻ với nhiều khả năng mà nó yêu cầu, do đó phạm vi bao phủ của bộ tiêu chuẩn trên các năng lực vẫn rõ ràng và cân bằng, đồng thời được điều chỉnh khi các nhiệm vụ mới được thêm vào.

Competency	Nó Kiểm Tra Những Gì	Example Task
Visual	Màu sắc, kích thước, nhận dạng ngữ nghĩa	“Đặt chiếc cốc nhỏ màu đỏ vào thùng”
Thủ tục	Xếp chồng, định hướng lại, khả năng	“Đặt tất cả các cốc úp thẳng và xếp những chiếc màu đỏ lên kệ”
Quan hệ	Logic không gian, đếm, liên từ	“Lấy quả cam hoặc quả chanh và đặt nó vào bát”

Bảng 1. Năng lực là khả năng của chính sách để thực hiện các nhiệm vụ trong một miền năng lực. Chúng tôi minh họa một số ví dụ về năng lực và các kỹ năng mà chúng tôi thiết kế nhiệm vụ cho trong bộ tiêu chuẩn của mình.

Đánh giá các chính sách robot

Những chỉ số nào cho thấy một chính sách robot là “tốt”?

Tỷ lệ thành công tự nó hầu như không cho bạn biết điều gì về cách robot thực hiện một nhiệm vụ, chỉ cho biết liệu nó có về đích hay không. Một chính sách nắm đúng vật thể nhưng lại làm rơi nó sớm có thể được ghi nhận là thất bại, trong khi một chính sách chỉ thành công sau những chuyển động giật cục, lảo đảo hoặc chậm chạp có thể được ghi nhận là thành công. Cả hai trường hợp này đều không được ghi lại bằng thành công nhị phân.

Để giải quyết vấn đề này, RoboLab sử dụng ba công cụ đánh giá bổ sung giúp vẽ nên một bức tranh hoàn chỉnh hơn về hành vi của chính sách:

Điểm nhiệm vụ được chấm điểm: Cho điểm một phần cho việc hoàn thành các nhiệm vụ phụ trong một hướng dẫn nhiều bước, vì vậy một robot nắm đúng vật thể nhưng lại bỏ lỡ mục tiêu thả sẽ không được tính điểm giống như một robot không làm gì cả.
Chất lượng quỹ đạo: Đo lường hiệu quả chuyển động thông qua độ dài đường đi và SPARC (Spectral Arc-Length), một chỉ số phù hợp với con người nắm bắt sự mượt mà thông qua phổ Fourier của vận tốc. Các chuyển động ngắn hơn, mượt mà hơn được ưu tiên.
Tốc độ thực thi: Đo vận tốc của bộ phận tác động cuối, một chỉ số khác phù hợp với con người nắm bắt nhận thức của con người rằng chuyển động nhanh hơn được ưu tiên.

Khi nào các chính sách robot thất bại?

Biết được nhiệm vụ đã sai ở đâu cũng quan trọng như biết rằng nó đã sai. Ngoài các chỉ số hiệu suất thông thường, RoboLab đi sâu hơn vào việc tại sao một chính sách thành công hay thất bại và chính xác nơi nào trong quá trình mọi thứ bị đổ vỡ. Ghi nhật ký sự kiện thất bại tự động theo dõi các lần nắm sai vật thể, vật thể bị rơi và va chạm của bộ kẹp, xác định chính xác nơi việc thực thi nhiệm vụ bị chệch hướng. Hãy quan sát nhiệm vụ này: nhiệm vụ “Bỏ tất cả chai nhựa vào thùng”. Chính sách đã nhặt tất cả các chai nhựa và đặt chúng vào thùng; tuy nhiên, nó cũng đặt thêm một quả cam vào thùng. Người ta có thể nhận thấy rằng về mặt kỹ thuật, nhiệm vụ đã được hoàn thành thành công! Một nhiệm vụ về mặt kỹ thuật có thể được hoàn thành theo thông số kỹ thuật, nhưng robot vẫn có thể nắm nhầm vật thể trên đường đi trước khi phục hồi.

Hình 8. Ba sự kiện lỗi riêng biệt đã xảy ra trong quá trình thực thi chính sách, trong một lần triển khai thành công của “Bỏ tất cả chai nhựa vào thùng”.

Để kiểm tra các sự kiện này, RoboLab bao gồm một bảng điều khiển tích hợp hiển thị các sự kiện khi chúng xảy ra trong một tập phim, vì vậy người dùng có thể chuyển thẳng đến khung hình nơi xảy ra lỗi. Điều này biến việc chẩn đoán từ một trò chơi đoán mò thủ công, sau sự kiện thành thứ gì đó gần giống với trình gỡ lỗi cho hành vi của robot: thay vì hỏi “nó có hoạt động không?”, bạn có thể hỏi “chính xác nó ngừng hoạt động ở đâu, và bối cảnh nào đã dẫn đến sự kiện đó?”

Hình 9. RoboLab bao gồm một bảng điều khiển tích hợp để xem các sự kiện trong các tập phim. Điều này cho phép người dùng nhanh chóng xem khi nào các lỗi xảy ra và bối cảnh của lỗi đó.

Chính sách robot của bạn mạnh mẽ đến mức nào trước sự gia tăng độ phức tạp?

Việc triển khai trong thế giới thực hiếm khi mang lại các điều kiện sạch sẽ, được kiểm soát như trong một bài kiểm tra chuẩn. Các hướng dẫn được diễn đạt theo vô số cách, các cảnh thường lộn xộn thay vì thưa thớt, và các nhiệm vụ có thể kéo dài qua nhiều bước thay vì chỉ một hoặc hai. Để hiểu liệu một chính sách có thực sự mạnh mẽ hay không, chúng ta phải phân tích hiệu suất trước sự gia tăng độ phức tạp về ngôn ngữ, cảnh và phạm vi nhiệm vụ.

Độ phức tạp của ngôn ngữ

Một robot chỉ hiểu các lệnh được diễn đạt chính xác thì có ích hạn chế bên ngoài phòng thí nghiệm, vì mọi người tự nhiên diễn đạt hướng dẫn theo nhiều cách khác nhau và không chính xác. Việc kiểm tra với nhiều hướng dẫn bằng ngôn ngữ cho thấy một chính sách phụ thuộc vào cách diễn đạt chính xác hay sự hiểu nhiệm vụ thực sự đến mức nào. RoboLab cho phép người dùng chỉ định nhiều hướng dẫn bằng ngôn ngữ trong thông số kỹ thuật nhiệm vụ của họ và chọn biến thể nào để sử dụng tại thời gian chạy. Trong bài kiểm tra chuẩn ban đầu của chúng tôi, chúng tôi cung cấp 3 biến thể: mơ hồ, mặc định và cụ thể. Chúng tôi nhận thấy rằng các hướng dẫn mơ hồ luôn dẫn đến thất bại, cho thấy các mô hình hiện tại vẫn còn dễ bị tổn thương trước cách diễn đạt. Chúng tôi cũng nhận thấy rằng đôi khi việc có quá nhiều chi tiết trong hướng dẫn cũng có thể dẫn đến hiệu suất suy giảm.

Hình 10. Minh họa một chính sách gặp khó khăn khi các lệnh ngôn ngữ trở nên mơ hồ hơn. Nhiệm vụ là loại bỏ tất cả 3 quả chuối khỏi thùng, nhưng khi các hướng dẫn trở nên mơ hồ hơn và đòi hỏi nhiều suy luận hơn, chính sách không hiểu được mục tiêu nhiệm vụ dự định.

Độ phức tạp của cảnh

Các môi trường thực tế hiếm khi gọn gàng như các cảnh huấn luyện, thường chứa các vật thể gây nhiễu, sự lộn xộn và nhiễu thị giác có thể làm nhầm lẫn việc nhận dạng đối tượng. Việc đánh giá hiệu suất khi độ phức tạp của cảnh tăng lên cho thấy liệu một chính sách có thể vẫn cô lập được mục tiêu chính giữa các yếu tố gây nhiễu thị giác hay không.

Độ phức tạp của nhiệm vụ: chân trời nhiệm vụ ngắn so với dài

Nhiều tác vụ trong thế giới thực không phải là các hành động đơn bước mà là chuỗi các tác vụ phụ phụ thuộc, nơi những thất bại nhỏ ở giai đoạn đầu có thể lan truyền thành thất bại hoàn toàn của tác vụ sau này. Ví dụ, một tác vụ như “Cất cốc vào tủ” có thể yêu cầu mở tủ trước khi lấy cốc. Việc đo lường hiệu suất suy giảm khi tầm nhìn tác vụ tăng lên cho thấy một chính sách duy trì độ chính xác tốt như thế nào qua các chuỗi suy luận kéo dài. Các nhà thiết kế tác vụ có thể chỉ định trình tự các tác vụ phụ dự kiến trong các tác vụ RoboLab và theo dõi mức độ chính sách tiến triển theo. Chúng tôi nhận thấy rằng hầu hết các chính sách đều gặp khó khăn với các tác vụ tầm xa, không có chính sách nào có thể thực hiện thành công nhiều hơn bốn tác vụ phụ phức tạp.

Chính sách robot của bạn nhạy cảm với các biến thể đến mức nào?

Hình 11. Các biến thể cảnh có thể ảnh hưởng đến hiệu suất. Việc kiểm tra từng biến thể trong một lần chạy là theo cấp số nhân với số lượng thí nghiệm. Chúng tôi giới thiệu phân tích độ nhạy, cho phép chúng tôi xác định các biến số ảnh hưởng đến hiệu suất mà không cần kiểm tra trong điều kiện cô lập.

Một số biến thể môi trường có thể gây ra sự sụt giảm hiệu suất, nhưng ở quy mô lớn, việc kiểm tra từng biến số một cách riêng lẻ nhanh chóng trở nên bất khả thi. Thay vào đó, chúng tôi chạy các đánh giá trên nhiều biến thể cảnh cùng một lúc và áp dụng phân tích độ nhạy, điều này xác định những biến môi trường nào liên quan nhiều nhất đến thành công hoặc thất bại, biến những trực giác như “vị trí camera có thể quan trọng” thành những phát hiện được định lượng.

Với các lần triển khai tập (episode rollouts) dưới biến thể với kết quả quan sát (ví dụ: thành công của nhiệm vụ), phân phối hậu nghiệm mô tả những điều kiện nào liên quan nhiều nhất đến kết quả . Chúng tôi ước tính phân phối hậu nghiệm này bằng cách sử dụng Neural Posterior Estimation (NPE), cho phép chúng tôi xác định chính xác biến môi trường nào chịu trách nhiệm cho sự sụt giảm hiệu suất nhất định, thay vì đoán tác động của từng yếu tố một.

Tại sao điều này lại quan trọng

Việc đánh giá tiêu chuẩn trong lĩnh vực Robotics vẫn còn tụt hậu xa so với phần còn lại của nghiên cứu AI, và nếu không có một nền tảng đánh giá tiêu chuẩn ngành, sẽ rất khó để đo lường tiến bộ. Khi các chính sách trở nên có năng lực hơn, tỷ lệ thành công đơn thuần sẽ không cho chúng ta biết liệu một mô hình có thực sự tổng quát hóa hay chỉ ghi nhớ các điều kiện kiểm tra của nó, và khoảng cách đó sẽ chỉ nới rộng khi các mô hình được cải tiến. Con đường phía trước đòi hỏi một sự đánh giá phát triển nhanh như các mô hình mà nó đo lường: các tiêu chuẩn đánh giá mở rộng thay vì bão hòa, các chỉ số chẩn đoán thay vì chỉ chấm điểm, và phân tích cho các nhà nghiên cứu biết không chỉ chính sách hoạt động tốt như thế nào, mà còn cách cải thiện nó. RoboLab thiết lập một lộ trình có thể mở rộng để đánh giá robot mang tính chẩn đoán cho các chính sách trong thế giới thực bằng cách sử dụng mô phỏng.

Để biết thêm thông tin về RoboLab, hãy xem bài báo và mã nguồn trên GitHub. RoboLab được phát triển bởi NVIDIA Research, bao gồm các nhà nghiên cứu có liên kết tại Đại học Sydney và Đại học Toronto.

Nghiên cứu của RoboLab cung cấp sức mạnh cho NVIDIA Isaac Lab-Arena, một khuôn khổ mô phỏng mã nguồn mở để thiết lập và đánh giá chính sách quy mô lớn. Các tính năng chính của RoboLab được lên kế hoạch thương mại hóa vào tháng 8 năm 2026.

Trang web: https://research.nvidia.com/labs/srl/projects/robolab
Giấy tờ: https://arxiv.org/abs/2604.09860
Mã: https://github.com/NVLabs/RoboLab

Lời cảm ơn

Tác giả xin cảm ơn Alex Zook, Alperen Degirmenci, Ankit Goyal, Elie Aljalbout, Fabio Ramos, Hugo Hadfield, Jonathan Tremblay, Karl Pertsch, Moritz Reuss, Rishit Dagli, Stan Birchfield (liệt kê theo thứ tự bảng chữ cái) vì những cuộc thảo luận sâu sắc trong suốt quá trình chúng tôi thực hiện đánh giá robot quy mô lớn.

Trích dẫn

@misc{yang2026benchmarking,
  title    	= {How to evaluate real-world policies for general-purpose robots},
  author   	= {Yang, Xuning},
  year     	= {2026},
  month    	= {July},
  organization = {Seattle Robotics Lab (SRL), NVIDIA},
  howpublished = {https://developer.nvidia.com/blog/how-to-evaluate-general-purpose-robot-policies-for-real-world-deployment},
  note     	= {Blog post},
}

Tài liệu tham khảo

Yu, T., và cộng sự Meta-World: Một Tiêu chuẩn và Đánh giá cho Học Tăng cường Đa nhiệm và Siêu học Tăng cường. CoRL 2019. https://arxiv.org/abs/1910.10897

Liu, B., et al. LIBERO: Đánh giá Chuyển giao Kiến thức cho Học tập Robot Trọn đời. NeurIPS 2023. https://arxiv.org/abs/2306.03310

Zhu, Y., et al. robosuite: Một Khung Mô Phỏng và Chuẩn Mực Mô-đun cho Học Robot. arXiv 2020. https://arxiv.org/abs/2009.12293

Mu, Y., et al. RoboTwin: Điểm chuẩn Robot Hai Cánh tay với Bản sao Kỹ thuật số Tạo sinh. CVPR 2025. https://arxiv.org/abs/2504.13059

Jain, A., et al. PolaRiS: Đánh giá Thực-sang-Mô phỏng có khả năng mở rộng cho các Chính sách Robot Tổng quát. arXiv 2025. https://arxiv.org/abs/2512.16881

Jangir, Y., et al. RobotArena ∞: Đánh giá Robot có khả năng mở rộng thông qua Dịch thuật Thực-sang-Mô phỏng. arXiv 2025. https://arxiv.org/abs/2510.23571

Li, X., et al. Đánh giá các chính điều khiển thao tác robot trong thế giới thực bằng mô phỏng. CoRL 2024. https://arxiv.org/abs/2405.05941

TRI LBM Team và cộng sự, “Một Nghiên Cứu Kỹ Lưỡng về Các Mô Hình Hành Vi Lớn cho Thao Tác Khéo Léo Đa Nhiệm”, Science Robotics, 2026, https://arxiv.org/abs/2507.05331

Frazier, D. T., et al. “Độ chính xác thống kê của Ước lượng Hậu nghiệm và Khả năng của Mạng thần kinh.” 2024, https://arxiv.org/abs/2411.12068

Black, K., Brown, N., Driess, D., et al. “𝜋 0: Một Mô hình Luồng Thị giác-Ngôn ngữ-Hành động cho Điều khiển Robot Tổng quát.” 2024, https://arxiv.org/abs/2410.24164

Pertsch, K., Stachowicz, K., Ichter, B., et al. “FAST: Token hóa Hành động Hiệu quả cho các Mô hình Thị giác-Ngôn ngữ-Hành động.” 2025, https://arxiv.org/abs/2501.09747

Black, K., Brown, N., Driess, D., Esmail, A., et al. “ 𝜋 0.5: Một Mô hình Thị giác-Ngôn ngữ-Hành động với Khả năng Tổng quát hóa Thế giới Mở.” CoRL 2025, https://arxiv.org/abs/2504.16054

Beyer, L., Steiner, A., Pinto, A. S., et al. “PaliGemma: Một VLM 3B đa năng cho việc chuyển giao.” 2024, https://arxiv.org/abs/2407.07726

____
Bài viết liên quan