NVIDIA vừa công bố những bước tiến quan trọng đối với Universal Scene Description, hay OpenUSD, nhằm mở rộng việc áp dụng khung trao đổi dữ liệu 3D toàn cầu cho lĩnh vực robot, thiết kế công nghiệp và kỹ thuật, nhằm thúc đẩy khả năng của các nhà phát triển trong việc xây dựng các thế giới ảo chính xác cao cho sự phát triển tiếp theo của AI.

Thông qua các mô hình AI sáng tạo dựa trên OpenUSD mới và các framework được tăng tốc bởi NVIDIA xây dựng trên nền tảng NVIDIA Omniverse, nhiều ngành công nghiệp hơn có thể phát triển ứng dụng để hình dung các dự án thiết kế và kỹ thuật công nghiệp, và mô phỏng các môi trường để xây dựng làn sóng AI vật lý và robot tiếp theo.

Các sản phẩm mới bao gồm các dịch vụ vi mô NVIDIA NIM™ cho các mô hình AI có thể tạo ra ngôn ngữ OpenUSD để trả lời các câu hỏi của người dùng, tạo mã OpenUSD Python, áp dụng vật liệu lên các đối tượng 3D, và hiểu về không gian 3D và vật lý để giúp thúc đẩy phát triển các bản sao kỹ thuật số. Ngoài ra, các kết nối USD mới đến các định dạng dữ liệu mô phỏng robot và công nghiệp và các công cụ phát triển cho phép người dùng truyền các bộ dữ liệu khổng lồ, được kết xuất hoàn toàn bằng NVIDIA RTX đến Apple Vision Pro.

“Làn sóng AI sáng tạo cho các ngành công nghiệp nặng đã đến,” Rev Lebaredian, phó chủ tịch công nghệ mô phỏng và Omniverse tại NVIDIA, cho biết. “Cho đến gần đây, các thế giới kỹ thuật số chủ yếu được sử dụng bởi các ngành công nghiệp sáng tạo; giờ đây, với các cải tiến và khả năng truy cập mà các dịch vụ vi mô NVIDIA NIM mang lại cho OpenUSD, các ngành công nghiệp thuộc mọi thể loại có thể xây dựng các thế giới ảo và bản sao kỹ thuật số dựa trên vật lý để thúc đẩy đổi mới trong khi chuẩn bị cho làn sóng AI tiếp theo: robot.”

AI Sáng Tạo Đến Với USD Với NVIDIA NIM

Các mô hình AI sáng tạo đầu tiên trên thế giới cho phát triển OpenUSD, được phát triển bởi NVIDIA, sẽ có sẵn dưới dạng các dịch vụ vi mô NVIDIA NIM. Các mô hình này cho phép các nhà phát triển tích hợp các trợ lý AI sáng tạo vào quy trình làm việc USD, mở rộng các khả năng trong các thế giới 3D và giúp tăng tốc độ chấp nhận USD trong các ngành công nghiệp mới, như sản xuất, ô tô và robot.

Các dịch vụ vi mô có sẵn trong bản xem trước bao gồm:

• USD Code NIM — trả lời các câu hỏi kiến thức chung về OpenUSD và tự động tạo mã OpenUSD-Python dựa trên các văn bản gợi ý có thể được nhập vào một ứng dụng xem OpenUSD, chẳng hạn như usdview từ Pixar, hoặc một ứng dụng dựa trên NVIDIA Omniverse Kit để hình dung dữ liệu 3D tương ứ\
• USD Search NIM — cho phép các nhà phát triển tìm kiếm thông qua các thư viện khổng lồ của dữ liệu OpenUSD, 3D và hình ảnh sử dụng ngôn ngữ tự nhiên hoặc đầu vào hình ả
• USD Validate NIM — kiểm tra sự tương thích của các tệp tải lên với các phiên bản phát hành OpenUSD và tạo ra hình ảnh kết xuất bằng đường dẫn, được tăng tốc hoàn toàn bằng RTX, được cung cấp bởi các API của NVIDIA Omniverse

Các dịch vụ vi mô NIM mới được công bố sẽ sớm có sẵn bao gồm:

• USD Layout NIM — cho phép người dùng lắp ráp các cảnh dựa trên OpenUSD từ một loạt các gợi ý văn bản dựa trên trí tuệ không
• USD SmartMaterial NIM — dự đoán và áp dụng vật liệu thực tế lên một đối tượng thiết kế bằng máy tính.
• fVDB Mesh Generation NIM — tạo ra một lưới dựa trên OpenUSD, được kết xuất bởi các API của Omniverse Cloud, từ dữ liệu điểm đám mây.
• fVDB Physics Super-Res NIM — thực hiện Siêu Phân Giải AI trên một khung hoặc chuỗi khung để tạo ra một mô phỏng vật lý độ phân giải cao dựa trên OpenUSD.
• fVDB NeRF-XL NIM — tạo ra các trường chiếu sáng thần kinh quy mô lớn trong OpenUSD sử dụng các API của Omniverse

Foxconn, một công ty hàng đầu thế giới về sản xuất với hơn 170 nhà máy trên toàn cầu, đã hưởng lợi từ nền tảng tính toán của NVIDIA, sử dụng các dịch vụ vi mô NIM và Omniverse để tạo ra một bản sao kỹ thuật số của một nhà máy đang phát triển.

“Các bản sao kỹ thuật số sẽ giúp chúng tôi đẩy nhanh làn sóng tiếp theo của sản xuất công nghiệp và máy móc tự động,” Tiến sĩ Zhe Shi, Giám đốc Kỹ thuật số của Foxconn và là người đứng đầu nền tảng Sản xuất Thông minh của công ty, cho biết. “NVIDIA Omniverse và các dịch vụ vi mô NIM mới sẽ phổ biến khả năng phát triển các bản sao kỹ thuật số và giúp các đội ngũ của chúng tôi xây dựng các nhà máy ảo dựa trên vật lý nhanh hơn bao giờ hết.”

WPP, công ty dịch vụ tiếp thị và truyền thông lớn nhất thế giới, là một trong những người tiên phong trong việc áp dụng các dịch vụ vi mô USD Search và USD Code NIM, triển khai chúng trong quy trình tạo nội dung hỗ trợ AI sáng tạo của mình, được xây dựng trên NVIDIA Omniverse, cho các khách hàng như công ty Coca-Cola.

“Vẻ đẹp của sự đổi mới là tính tương thích với cách chúng tôi làm việc và tận dụng các tiêu chuẩn mở — không chỉ tăng tốc công việc trong tương lai, mà còn cho phép chúng tôi tiếp tục xây dựng và mở rộng tính hữu dụng của tất cả các khoản đầu tư trước đây của chúng tôi vào các tiêu chuẩn như OpenUSD,” Stephan Pretourius, giám đốc công nghệ của WPP, cho biết. “Sử dụng các dịch vụ vi mô NVIDIA NIM với NVIDIA Omniverse đã làm cho chúng tôi có thể khởi chạy các công cụ sản xuất mới sáng tạo với các công ty như The Coca-Cola Company với tốc độ chưa từng có.”

Các Kết Nối USD Đưa AI Sáng Tạo Đến Nhiều Ngành Công Nghiệp Hơn

Một loạt các kết nối USD mới cho các định dạng dữ liệu robot và truyền tới Apple Vision Pro mở ra các cổng tương thích OpenUSD và tác giả nâng cao cho nhiều ngành công nghiệp hơn.

NVIDIA và Siemens, một nhà lãnh đạo toàn cầu trong tự động hóa công nghiệp và phần mềm, đang mở rộng hợp tác của họ để tạo điều kiện cho nhiều tải công việc công nghiệp hơn sử dụng OpenUSD. Siemens sẽ tích hợp các quy trình OpenUSD với danh mục công nghệ mô phỏng Simcenter của mình để hỗ trợ quyết định dựa trên bằng chứng và sự cộng tác giữa các bên liên quan chính.

Sự tích hợp này cho phép hình dung thời gian thực, độ chân thực cao và thực tế của dữ liệu mô phỏng phức tạp, cung cấp cái nhìn sâu sắc hơn về hiệu suất của sản phẩm trong môi trường hoạt động thực tế của nó. Công việc sẽ dựa trên các nỗ lực của Siemens trong việc kết hợp Omniverse vào danh mục Quản lý Vòng đời Sản phẩm Teamcenter của mình.

NVIDIA cũng phát hành một kết nối từ Định Dạng Mô Tả Robot Thống Nhất đến OpenUSD, cho phép các nhà robot học mang dữ liệu robot của họ qua các ứng dụng một cách liền mạch, bao gồm thiết kế, mô phỏng và học tăng cường.

Để tiếp tục thúc đẩy mở rộng hệ sinh thái OpenUSD, NVIDIA công bố bộ phát triển phần mềm OpenUSD Exchange, cho phép các nhà phát triển xây dựng các kết nối dữ liệu OpenUSD mạnh mẽ của riêng họ.

Các công cụ phát triển và API mới để truyền các cảnh OpenUSD quy mô lớn từ một ứng dụng được xây dựng trên nền tảng Omniverse đến Apple Vision Pro qua Mạng Lưới Phân Phối Đồ Họa NVIDIA hiện có sẵn trong truy cập sớm.

“OpenUSD đang cách mạng hóa cách chúng tôi tạo và tương tác với nội dung 3D,” Steve May, giám đốc công nghệ của Pixar và chủ tịch của Liên Minh OpenUSD (AOUSD), cho biết. “Bây giờ, với các dịch vụ và API mới cho OpenUSD do NVIDIA xây dựng, chúng tôi mong đợi sẽ thấy sự tăng trưởng và chấp nhận nhanh chóng của USD, mở đường cho người dùng và ngành công nghiệp mới dễ dàng tương tác với hệ sinh thái của chúng tôi hơn.”

Động Lực Hệ Sinh Thái OpenUSD

Năm ngoái, NVIDIA đồng sáng lập AOUSD cùng với Pixar, Adobe, Apple và Autodesk. Thông qua AOUSD, NVIDIA và các đối tác đã công bố một bản phát hành OpenUSD mới, tiến triển về một đặc tả lõi OpenUSD và các thành viên mới.

Khả Dụng

USD Search, USD Code và USD Validate NIM có sẵn trong bản xem trước trên danh mục API của NVIDIA. Kết nối OpenUSD với URDF hiện có sẵn với NVIDIA Isaac Sim.

Các nhà phát triển có thể bắt đầu tích hợp AI sáng tạo vào quy trình làm việc OpenUSD với các công cụ phát triển Omniverse mới và một quy trình tham chiếu để xây dựng một quy trình tạo dữ liệu tổng hợp được hỗ trợ bởi AI sáng tạo với OpenUSD.

Tìm hiểu thêm về những điều mới nhất trong AI sáng tạo và tính toán tăng tốc bằng cách lắng nghe buổi trò chuyện fireside của nhà sáng lập và CEO của NVIDIA, Jensen Huang, tại SIGGRAPH, hội nghị đồ họa máy tính hàng đầu, diễn ra đến ngày 1 tháng 8 tại Denver.

Với các dịch vụ vi mô NVIDIA NIM, USD Search và USD Code, công ty tiếp thị hàng đầu WPP đang giúp công ty đồ uống Coca- Cola tăng tốc quá trình lặp lại các chiến dịch sáng tạo ở quy mô toàn cầu.

Khi công ty Coca-Cola Company sản xuất các chiến dịch tiếp thị giải khát, các yếu tố sáng tạo không chỉ được để ngẫu nhiên — mà có một công thức kỳ diệu. Giờ đây, công ty đồ uống này, thông qua quan hệ đối tác với WPP Open X, đang bắt đầu mở rộng các chiến dịch toàn cầu của mình bằng AI sáng tạo từ NVIDIA Omniverse và các dịch vụ vi mô NVIDIA NIM.

“Với NVIDIA, chúng tôi có thể cá nhân hóa và tùy chỉnh hình ảnh của Coke và bữa ăn trên hơn 100 thị trường, mang lại sự phù hợp tuyệt đối với tốc độ và quy mô toàn cầu,” Samir Bhutada, phó chủ tịch chuyển đổi số và tiếp thị toàn cầu tại The Coca- Cola Company, cho biết.

Coca-Cola đã làm việc với WPP để phát triển các công cụ và triển khai Prod X — một trải nghiệm studio sản xuất tùy chỉnh được tạo ra đặc biệt cho nhà sản xuất đồ uống toàn cầu.

WPP đã công bố hôm nay tại SIGGRAPH rằng công ty Coca-Cola sẽ là một trong những người đầu tiên tích hợp các dịch vụ vi mô NVIDIA NIM cho Mô tả Cảnh Quan Tổng quát (OpenUSD) vào lộ trình Prod X của mình. OpenUSD là một khung làm việc 3D cho phép tương tác giữa các công cụ phần mềm và các loại dữ liệu để xây dựng thế giới ảo. Các dịch vụ vi mô suy luận NIM cung cấp các mô hình dưới dạng các container tối ưu hóa.

USD Search NIM cho phép WPP tận dụng một kho lưu trữ lớn các mô hình để tạo ra các tài sản thương hiệu, và USD Code NIM có thể được sử dụng để lắp ráp chúng thành các cảnh.

Các dịch vụ vi mô NIM này sẽ cho phép người dùng Prod X tạo ra các tài sản quảng cáo 3D chứa các yếu tố văn hóa phù hợp trên toàn cầu, sử dụng kỹ thuật gợi ý để nhanh chóng điều chỉnh hình ảnh do AI tạo ra để các thương hiệu có thể nhắm mục tiêu sản phẩm của họ tốt hơn vào các thị trường địa phương.

Sử dụng Dịch Vụ Vi Mô NVIDIA NIM để Triển Khai AI Sáng Tạo

WPP cho biết các dịch vụ vi mô NVIDIA NIM sẽ có ảnh hưởng lâu dài đến thế giới kỹ thuật và nghệ thuật 3D. NIM cho USD Search có thể làm cho các thư viện tài sản hình ảnh khổng lồ của WPP có sẵn nhanh chóng thông qua các gợi ý viết. NIM cho mã USD cho phép các nhà phát triển nhập gợi ý và nhận mã Python để tạo ra các thế giới 3D mới.

“Vẻ đẹp của giải pháp là nó nén nhiều giai đoạn của quá trình sản xuất thành một giao diện và quy trình duy nhất,” Perry Nightingale, phó chủ tịch cao cấp của AI sáng tạo tại WPP, nói về các dịch vụ vi mô NIM mới. “Nó giúp các nghệ sĩ tận dụng công nghệ tốt hơn và tạo ra công việc tốt hơn.”

Tái Định Nghĩa Sản Xuất Nội Dung với Production Studio

WPP vừa công bố việc phát hành WPP Open Production Studio, được phát triển cùng với công ty sản xuất Hogarth. Nó sử dụng nền tảng phát triển Omniverse và USD cho các quy trình làm việc có khả năng AI sáng tạo. Những điều này được tích hợp vào WPP Open, hệ điều hành tiếp thị thông minh của công ty.

Production Studio là một ứng dụng sản xuất được trang bị AI có thể đơn giản hóa và tự động hóa việc tạo văn bản, hình ảnh và video đa ngôn ngữ, đơn giản hóa quá trình tạo nội dung cho các nhà quảng cáo và tiếp thị. Production Studio trực tiếp giải quyết những thách thức mà các nhà quảng cáo tiếp tục phải đối mặt trong việc sản xuất nội dung tuân thủ thương hiệu và chính xác về sản phẩm ở quy mô lớn.

“Nghiên cứu đột phá của chúng tôi với NVIDIA Omniverse trong vài năm qua, và nghiên cứu và phát triển liên quan đến việc xây dựng quy trình USD cốt lõi của chúng tôi và hàng thập kỷ kinh nghiệm trong quy trình làm việc 3D, đã làm cho chúng tôi có thể thiết lập một trải nghiệm tùy chỉnh như thế này cho công ty Coca-Cola,” Priti Mhatre, giám đốc điều hành tư vấn chiến lược và AI tại Hogarth, cho biết.

Người tham dự tại SIGGRAPH có thể nghe thêm về nỗ lực của WPP bằng cách tham gia phiên họp của công ty về “Robotics, Generative AI, and OpenUSD: How WPP is Building the Future of Creativity.”

CEO của NVIDIA, Jensen Huang, cũng sẽ tham gia sự kiện trong các buổi trò chuyện Fireside với nhà sáng lập và CEO của Meta, Mark Zuckerberg, và nhà văn cao cấp của WIRED, Lauren Goode. Bạn có thể xem các buổi trò chuyện fireside và các phiên họp khác từ NVIDIA tại SIGGRAPH 2024 theo yêu cầu.

Để thúc đẩy phát triển robot hình người trên quy mô toàn cầu, NVIDIA hôm nay thông báo cung cấp cho các nhà sản xuất robot hàng đầu thế giới, các nhà phát triển mô hình AI và các nhà sản xuất phần mềm một loạt dịch vụ, mô hình và nền tảng tính toán để phát triển, đào tạo và xây dựng thế hệ robot hình người tiếp theo.

Trong số các sản phẩm được cung cấp có các dịch vụ và khung vi mô NVIDIA NIM mới cho mô phỏng và học hỏi robot, dịch vụ điều phối NVIDIA OSMO để chạy các tải công việc nhiều giai đoạn của robot, và một quy trình làm việc điều khiển từ xa bằng AI và mô phỏng cho phép các nhà phát triển đào tạo robot bằng cách sử dụng một lượng nhỏ dữ liệu biểu diễn của con người.

“Làn sóng AI tiếp theo là robot và một trong những phát triển thú vị nhất là robot hình người,” Jensen Huang, nhà sáng lập và CEO của NVIDIA cho biết. “Chúng tôi đang nâng cao toàn bộ ngăn xếp robot của NVIDIA, mở quyền truy cập cho các nhà phát triển và công ty robot hình người trên toàn thế giới để sử dụng các nền tảng, thư viện tăng tốc và mô hình AI phù hợp nhất với nhu cầu của họ.”

Thúc Đẩy Phát Triển Với NVIDIA NIM và OSMO

Các dịch vụ vi mô NIM cung cấp các container được dựng sẵn, được cung cấp bởi phần mềm suy luận của NVIDIA, cho phép các nhà phát triển giảm thời gian triển khai từ vài tuần xuống còn vài phút. Hai dịch vụ vi mô AI mới sẽ cho phép các nhà robot học nâng cao quy trình làm việc mô phỏng cho AI vật lý sáng tạo trong NVIDIA Isaac Sim, một ứng dụng tham chiếu cho mô phỏng robot được xây dựng trên nền tảng NVIDIA Omniverse™.

MimicGen NIM tạo ra dữ liệu chuyển động tổng hợp dựa trên dữ liệu điều khiển từ xa được ghi lại từ các thiết bị tính toán không gian như Apple Vision Pro. Robocasa NIM tạo ra các nhiệm vụ robot và môi trường sẵn sàng mô phỏng trong OpenUSD, một khung làm việc toàn cầu để phát triển và cộng tác trong các thế giới 3D.

NVIDIA OSMO là một dịch vụ quản lý đám mây gốc cho phép người dùng điều phối và mở rộng các quy trình phát triển robot phức tạp trên các tài nguyên tính toán phân tán, cho dù tại chỗ hay trên đám mây.

OSMO đơn giản hóa đáng kể các quy trình đào tạo và mô phỏng robot, rút ngắn thời gian triển khai và phát triển từ vài tháng xuống dưới một tuần. Người dùng có thể hình dung và quản lý một loạt các nhiệm vụ — như tạo dữ liệu tổng hợp, đào tạo mô hình, thực hiện học tăng cường và triển khai thử nghiệm phần mềm khép kín ở quy mô cho robot hình người, robot di động tự động và các thiết bị thao tác công nghiệp.

Đẩy nhanh quy Trình Thu Thập Dữ Liệu cho Các Nhà Phát Triển Robot mang hình dạng con người

Đào tạo các mô hình nền tảng cho robot hình người đòi hỏi một lượng dữ liệu khổng lồ. Một cách để thu thập dữ liệu biểu diễn của con người là sử dụng điều khiển từ xa, nhưng đây đang trở thành một quy trình ngày càng đắt đỏ và tốn thời gian.

Một quy trình làm việc tham chiếu điều khiển từ xa được trang bị AI và Omniverse của NVIDIA, được trình diễn tại hội nghị đồ họa máy tính SIGGRAPH, cho phép các nhà nghiên cứu và nhà phát triển AI tạo ra một lượng dữ liệu chuyển động và nhận thức tổng hợp lớn từ một lượng nhỏ các biểu diễn của con người được ghi lại từ xa.

Đầu tiên, các nhà phát triển sử dụng Apple Vision Pro để ghi lại một số lượng nhỏ các biểu diễn điều khiển từ xa. Sau đó, họ mô phỏng các bản ghi trong NVIDIA Isaac Sim và sử dụng MimicGen NIM để tạo ra các bộ dữ liệu tổng hợp từ các bản ghi.

Các nhà phát triển đào tạo mô hình nền tảng hình người Project GR00T với dữ liệu thực và tổng hợp, giúp tiết kiệm thời gian và giảm chi phí. Sau đó, họ sử dụng Robocasa NIM trong Isaac Lab, một khung làm việc cho học robot, để tạo ra các trải nghiệm để đào tạo lại mô hình robot. Trong suốt quy trình làm việc, NVIDIA OSMO tự động gán các công việc tính toán cho các tài nguyên khác nhau, giúp các nhà phát triển tiết kiệm hàng tuần công việc hành chính.

Fourier, một công ty nền tảng robot đa dụng, thấy lợi ích của việc sử dụng công nghệ mô phỏng để tạo dữ liệu đào tạo tổng hợp.

“Phát triển robot hình người cực kỳ phức tạp — đòi hỏi một lượng dữ liệu thực đáng kể, được thu thập tỉ mỉ từ thế giới thực,” Alex Gu, CEO của Fourier, cho biết. “Các công cụ phát triển AI và mô phỏng mới của NVIDIA sẽ giúp khởi động và tăng tốc các quy trình phát triển mô hình của chúng tôi.”

Mở Rộng Tiếp Cận Công Nghệ Phát Triển Robot Hình Người của NVIDIA

NVIDIA cung cấp ba nền tảng tính toán để dễ dàng phát triển robot hình người: siêu máy tính AI của NVIDIA để đào tạo các mô hình; NVIDIA Isaac Sim được xây dựng trên Omniverse, nơi robot có thể học và hoàn thiện kỹ năng trong các thế giới mô phỏng; và máy tính robot hình người NVIDIA Jetson Thor để chạy các mô hình. Các nhà phát triển có thể truy cập và sử dụng toàn bộ — hoặc bất kỳ phần nào của — các nền tảng này theo nhu cầu cụ thể của họ.

Thông qua Chương Trình Phát Triển Robot Hình Người NVIDIA mới, các nhà phát triển có thể sớm tiếp cận các sản phẩm mới cũng như các phiên bản mới nhất của NVIDIA Isaac Sim, NVIDIA Isaac Lab, Jetson Thor và các mô hình nền tảng hình người đa dụng Project GR00T.1x, Boston Dynamics, Field AI, Figure, Fourier, Galbot, LimX Dynamics, Mentee, Neura Robotics, RobotEra và Skild AI là một trong những công ty đầu tiên tham gia chương trình truy cập sớm.

“Boston Dynamics và NVIDIA có lịch sử hợp tác chặt chẽ để đẩy ranh giới của những gì có thể trong robot,” Aaron Saunders, giám đốc công nghệ của Boston Dynamics, cho biết. “Chúng tôi rất vui mừng khi thấy kết quả của công việc này đang thúc đẩy ngành công nghiệp rộng lớn hơn, và chương trình truy cập sớm là một cách tuyệt vời để tiếp cận công nghệ hàng đầu.”

Khả Dụng

Các nhà phát triển có thể tham gia Chương Trình Phát Triển Robot Hình Người NVIDIA ngay bây giờ để có quyền truy cập vào NVIDIA OSMO và Isaac Lab, và sẽ sớm có quyền truy cập vào các dịch vụ vi mô NVIDIA NIM.

Tìm hiểu thêm về những điều mới nhất trong AI sáng tạo và tính toán tăng tốc bằng cách xem các buổi trò chuyện fireside của Huang tại SIGGRAPH, hội nghị đồ họa máy tính hàng đầu, diễn ra đến ngày 1 tháng 8 tại Denver.