Hoy en GTC Taipei y Computex, NVIDIA Corp. reveló varias habilidades y herramientas de IA física de código abierto-para ayudar a los desarrolladores de robótica, vehículos autónomos, IA visual y gemelos digitales industriales. La compañía afirmó que pueden ayudar a reducir los costos, el tiempo y la complejidad de crear flujos de trabajo físicos de IA a escala.
Disponible como parte delKit de herramientas del agente NVIDIA, las nuevas habilidades permitirán a los agentes de IA acelerar los procesos de generación de datos, simulación, capacitación, evaluación e implementación detrás de robots, vehículos autónomos (AV), fábricas y laboratorios, dijo la compañía.
"Los agentes de IA están revolucionando el desarrollo de software, y ese cambio ahora está llegando a la IA física, extendiéndose a los sistemas que transformarán el transporte, la fabricación, la atención médica y la robótica", afirmó Jensen Huang, fundador y director ejecutivo de NVIDIA, en GTC Taipei. "Cuando los agentes puedan utilizar directamente las bibliotecas, modelos y marcos de NVIDIA, el desarrollo de la IA física avanzará más rápido, lo que permitirá a los desarrolladores construir robots, vehículos autónomos y sistemas industriales del futuro a un ritmo increíble".
"La IA física requiere cantidades masivas de datos de entrenamiento en diversos entornos", señaló Rev Lebaredian, vicepresidente de simulación de IA física de NVIDIA. "Los datos de teleoperación, simulación y escala de Internet-conducen a modelos de base mundial para una diversidad infinita de casos de uso".
NVIDIA prepara el agente físico de pila de IA-
NVIDIA afirmó que está optimizando toda su pila de IA física para los agentes al convertir bibliotecas, modelos y marcos en herramientas{0}}invocables por los agentes. Esto incluye:
NVIDIA Cosmos3 modelos de fundamento mundial para el razonamiento y la generación del mundo físico
Omniverso de NVIDIABibliotecas para simulación y gemelos digitales.
nvidia isaacpara simulación robótica y aprendizaje de robots
Metrópolis de NVIDIApara visión AI
NVIDIA Alpamayoparaconducción autónoma
Supersónico NVIDIAplataforma para el desarrollo de IA de vanguardia
"Cosmos 3 es el modelo básico de frontera para la IA física", dijo Lebaredian. "Entiende vídeos y textos y puede señalar lo que importa. Cosmos es una simulación físicamente precisa y es capaz de predecir lo que sucederá a continuación y generar acciones".
Para ayudar a aplicar estas herramientas, NVIDIA está lanzandonuevas habilidadesconvertir los procesos físicos de desarrollo de IA en instrucciones repetibles que los agentes codificadores puedan seguir. Esto incluye qué herramientas llamar, qué resultados producir y cómo los desarrolladores pueden validar los resultados.
Los desarrolladores también pueden crear e implementar agentes autónomos de forma segura utilizando estas habilidades con laNVIDIA NemoClawplano y elNVIDIA OpenShellruntime, que proporciona gobernanza de privacidad y seguridad basada-en políticas en hardware local o en la nube. Los agentes funcionarán al límite en Jetson y ya han demostrado mejoras en el tiempo de actividad, dijo Lebaredian.
NVIDIA dijo que sus habilidades y herramientas físicas de IA están acelerando el desarrollo agente en:
Robótica e IA de vanguardia:Los desarrolladores de robots pueden utilizar sus habilidades para acelerar todo el proceso de desarrollo de la robótica, desde la generación de datos de entrenamiento de percepción y movilidad hasta la simulación, la automatización del entrenamiento de navegación, el avance del aprendizaje de robots y el ajuste de los sistemas de borde basados en Jetson-para su implementación.
Vehículos autónomos:Para los desarrolladores de AV, las habilidades pueden dirigir a los agentes a reconstruir datos capturados por flotas en entornos de simulación, generar escenarios de conducción fotorrealistas a escala y ejecutar aprendizaje de refuerzo de bucle cerrado-para ampliar la cobertura de capacitación y evaluación.
Agentes de IA con visión-en tiempo real:Para la inspección automatizada y la inteligencia de vídeo, NVIDIA afirmó que las habilidades de sus agentes pueden ayudar a los equipos a generar datos de entrenamiento sintéticos,-afinar modelos, automatizar el etiquetado y crear agentes de IA de vídeo que busquen, resuman y analicen vídeos en vivo o grabados.
IA industrial:Los desarrolladores de software industrial pueden utilizar estas habilidades para convertir datos de ingeniería en recursos de diseño asistido por computadora (CAD)-para simulación de gemelos digitales, optimizando escenas OpenUSD grandes con menos configuración manual.
Cuidado de la salud:Antes de implementar la automatización en entornos clínicos, los equipos de atención médica pueden guiar a los agentes a través de la creación de gemelos digitales de entornos hospitalarios, la generación de datos sim-a-real y el software-en-las-pruebas de políticas de bucle.
Según NVIDIA, las habilidades se pueden combinar e integrar en sistemas agentes más grandes. Esto permite a los desarrolladores organizar y automatizar flujos de trabajo complejos, como generación de datos, simulación, optimización, ajuste de inferencias, evaluación continua y más.
Los desarrolladores de robótica adoptan una pila de IA física
1X Technologies, Agile Robots, Agility, FieldAI, Hexagon Robotics, NEURA Robotics, Skild AI y Universal Robots se encuentran entre las empresas de robótica que ya utilizan la pila de IA física-lista para agentes de NVIDIA.
"Con las actualizaciones de pila en NVIDIA Isaac GR00T, se pueden configurar nuevos flujos de trabajo de extremo a extremo en horas en lugar de semanas", afirmó Lebaredian. "'Omni-modal' significa que funciona con diferentes modos - de vídeo, sensores, texto y sonido para entradas y salidas de acciones".
Además, Foxconn y Compal están utilizando NVIDIA Isaac for Healthcare para acelerar la robótica hospitalaria. Compal está avanzando en el proceso de desarrollo de su robot PolyMedX hacia una plataforma de orquestación para todo el hospital-, integrando simulación, inteligencia artificial y operaciones del mundo real-.
Foxconn está ampliando Nurabot en varios hospitales y entornos de atención a largo plazo-al llevar robótica impulsada por IA-a la atención al paciente, además de presentar su nuevo robot colaborativo Scrub Nurse para ayudar a optimizar los flujos de trabajo del quirófano.
Los líderes de la industria construyen con tecnologías NVIDIA
Los socios y clientes de NVIDIA en los sectores de fabricación, transporte, atención médica y software industrial están utilizando sus bibliotecas físicas de IA para avanzar en el desarrollo de sistemas autónomos e IA industrial.
A medida que estas bibliotecas estén listas para los agentes, los desarrolladores podrán utilizar las habilidades de NVIDIA para ayudar a los agentes a automatizar la configuración, la ejecución y la iteración en complejos flujos de trabajo físicos de IA.
En la fabricación de productos electrónicos, TSMC y Pegatron están-afinando los modelos de inspección visual. Según se informa, Pegatron redujo el tiempo de implementación y entrenamiento del modelo en un 67% utilizando datos sintéticos generados a partir de la habilidad Generación de imágenes de defectos.
Delta Electronics generó datos de defectos sintéticos y utilizó la habilidad para detectar el exceso de soldadura en barras colectoras metálicas, mejorando la tasa de detección en un 17 %. Inventec desarrolló su canal de inspección visual del Agente de Observación integrando la habilidad Generación de imágenes de defectos, lo que redujo el esfuerzo de recopilación de datos de defectos para la fabricación de chasis de portátiles en un 30 %.
Foxconn, en colaboración con DeepHow, utilizó esta habilidad para mejorar la eficiencia de fabricación detectando errores de forma temprana, lo que aumentó el rendimiento del primer paso en aproximadamente un 3 %.
En IA industrial, Cadence, Dassault Systèmes, Siemens y Synopsys están utilizando bibliotecas y habilidades de NVIDIA Omniverse para la inspección de datos de ingeniería, simulación y gemelos digitales interactivos. PTC, MetAI y Lightwheel están aprovechando el marco NVIDIA Isaac Sim y los flujos de trabajo basados en OpenUSD-para transformar datos CAD en activos y entornos-preparados para la simulación.
Como parte de su hoja de ruta "Autonomous Fab 2030", SK hynix está implementando gemelos digitales fabulosos de semiconductores utilizando NVIDIA Omniverse. El fabricante de chips también está colaborando con NVIDIA y SK Telecom para validar el NVIDIA Agent Toolkit para la fabricación-de IA física específica.
Los desarrolladores de conducción autónoma Li Auto, Afari y DeepRoute.ai están utilizando modelos NVIDIA Omniverse NuRec para la reconstrucción y el renderizado de escenas neuronales. Han generado más de 1.000 reconstrucciones y más de 300.000 renders y simulaciones al día.
Además, las empresas audiovisuales están utilizando el nuevo repositorio de habilidades de los agentes para acelerar y mejorar el desarrollo de sistemas de conducción autónoma más seguros y capaces. Foxconn, VinFast, Uber y HUMAIN se han unido al ecosistema NVIDIA DRIVE Hyperion para desarrollar e implementar robotaxis SAE Nivel 4.
Alpamayo 2 Super ya se ha descargado más de 500.000 veces y fue nombrada "Mejor Tecnología" en Computex, dijo Spencer Huang, director de producto de robótica de NVIDIA.
Las herramientas físicas para agentes de IA ya están disponibles
NVIDIA dijo que sus herramientas y habilidades físicas para agentes de IA están disponibles a través deGitHubyhabilidades.shpara uso con cualquier agente codificador.
Habilidades y herramientas de agentes para la generación de datos sintéticos -Reconstrucción neuronal, Aumento de vídeo, Generación de imágenes de defectos- también están disponibles en NVIDIA Brev comoLanzables físicos de IAEntornos preconfigurados que combinan habilidades y herramientas de agentes para una generación y evaluación de datos sintéticos más rápida.
microsoft,Tejido central, yNebioestán integrando estas habilidades y herramientas de agentes con sus servicios en la nube para permitir a los desarrolladores optimizar y escalar la generación e implementación de datos sintéticos.
Unitree humanoide la referencia para NVIDIA Isaac GR00T
NVIDIA también anunció el robot humanoide de referencia NVIDIA Isaac GR00T, un diseño de referencia de robot humanoide abierto construido sobre NVIDIA Jetson Thor y la plataforma de desarrollo NVIDIA Isaac GR00T. La compañía dijo que esto ayudará a democratizar el acceso a hardware y software avanzados sin requerir plataformas costosas y propietarias como el interés enhumanoides-de propósito generalaumenta.
NVIDIA combinó un cuerpo de robot-de tamaño completo con manipulación diestra, detección, control y computación de IA integrada:
Chasis humanoide Unitree H2,mide casi 1,8 m (6 pies) de altura y pesa 68 kg (150 lb), con 31 grados de libertad para pruebas a escala humana-.
DualOla Sharpamanos táctiles de cinco-dedos,permitiendo una manipulación diestra con 22 grados de libertad y llevando el robot a 75 grados de libertad en todo el cuerpo y las manos.
Detección de vistas múltiples-,que incluye una cámara estéreo montada en la cabeza-con amplio campo de visión (140 grados en horizontal, 102 grados en vertical), cámaras en la muñeca para manipulación a corta distancia-y una unidad de medición de inercia para seguimiento de movimiento.
control-de todo el cuerpo,con un torque en el brazo de hasta 120 Newton-metros, un torque en las piernas de hasta 360 Newton-metros, una carga útil nominal del brazo de 7 kg (15,4 lb) y una carga útil máxima de 15 kg (33 lb), desbloqueando una mayor capacidad de elevación y alcance.
Computación integrada NVIDIA Jetson AGX Thor T5000,Incluye una GPU NVIDIA Blackwell con 2070 teraflops FP4 de rendimiento de IA, una CPU Arm de 14-núcleos, 128 GB de memoria unificada y un rango de potencia configurable de 40 a 130 vatios para procesamiento de sensores e inferencia de robots en tiempo real.
Conectividada través de Ethernet, Wi-Fi 6, Bluetooth 5.2, USB y una variedad de micrófonos y parlantes para interacción de voz.
Batería para funcionamiento prolongado,con una capacidad de 15Ah, 0,972kWh y unas tres horas de vida.
En-parada de emergencia remotaFunción para desacoplar rápidamente el robot de forma segura.
La plataforma Isaac GR00T incluye:
NVIDIA Isaac Teleoppara capturar datos de demostración de robots de alta-calidad para capacitación y desarrollo de políticas.
Modelos de base abierta NVIDIA Isaac GR00Tpara apoyar el razonamiento humanoide, el aprendizaje y el comportamiento multitarea.
NVIDIA Isaac Sim yLaboratorio Isaacpara simular, entrenar, probar y evaluar políticas de robots antes de su implementación en el mundo real.
Middleware acelerado NVIDIA Isaac ROStrasladar políticas capacitadas a los robots.
NVIDIA Supersónico Thorpara ejecutarse en-tiempo real, mediante-inferencia y control de robots.
El sistema está diseñado para ser modular, de modo que los equipos de robótica puedan utilizar la plataforma completa o integrar capacidades seleccionadas en los procesos de desarrollo existentes, ayudándoles a escalar el desarrollo humanoide sin reconstruir la misma infraestructura para cada robot o tarea.
Instituciones de investigación líderes, incluidas Ai2, ETH Zurich, Stanford Robotics Center y el Laboratorio de Control y Robótica Avanzada de UC San Diego, planean utilizar este diseño de referencia para avanzar en la investigación de robótica humanoide.
"Para avanzar hacia robots-de uso general, los investigadores necesitan plataformas que sean capaces y ampliamente accesibles", afirmó Deepak Pathak, co-fundador y director ejecutivo de Skild AI. "Un diseño de referencia permite que más investigadores participen en investigaciones humanoides de vanguardia y pasen de ideas a experimentos más rápidamente. Esto ayuda a impulsar todo el ecosistema de investigación en robótica".