Most enterprises need to optimize token cost within existing data center footprints and environment constraints. For instance, the average rack power density is around 27 kilowatts (kW), and 75 percent of data centers are still air-cooled instead of water-cooled. Enterprises also often have mixed workloads outside of AI, such as data or graphic processing, and limited upfront capital availability to address these constraints. NVIDIA offers purpose-fit options. The NVIDIA HGX™ B200 and B300 deliver the lowest token cost for air-cooled AI factories. The NVIDIA RTX PRO™ 6000 Blackwell delivers up to 3x the token efficiency of prior-generation NVIDIA Hopper™ systems for enterprise inference workloads.
IA physique
NVIDIA Cosmos
Une plateforme ouverte de pointe permettant de créer, de spécialiser et de déployer plus rapidement des modèles de monde pour l'IA physique.
Modèles de fondation de monde
Créez avec Cosmos 3
La famille d'omni-modèles de pointe pour l'IA physique avec le raisonnement natif, la simulation de monde et la génération d'actions. Basé sur le système Mixture-of-Transformers pour offrir une précision de pointe au classement.
Raisonnement et analyse
Utilisez-le comme modèle de langage de vision (VLM) pour raisonner avec des objets, des interactions et des intentions dans des scénarios complexes et réels.
Fournit des alertes en temps réel et un sous-titrage dense dédié à l'inspection de la qualité, la sécurité publique, la surveillance du trafic, la logistique et la conduite autonome.
Créez des modèles spécialisés
Accélérez l'apprentissage des politiques par les robots avec NVIDIA Cosmos 3 pour structurer les Modèles d'action du monde (World Action Models, WAM).
Post-entraînez le modèle de fondation du monde généralisé à l'aide de données de caméra et d'incarnation spécialisées. Le modèle de politique adapte les actions pré-apprises à des tâches, des domaines et des comportements spécifiques à grande échelle.
Simulez des mondes
Procédez à une simulation de monde contrôlable et basée sur la physique pour prédire les états du monde à vue unique ou multiple, évaluer les résultats en boucle fermée et trouver le bon comportement.
Adaptez la boucle à travers les environnements, les tâches et les conditions pour progresser en continu sans prendre de risque concret.
Générez des données
Générez des futurs plausibles à l'infini à partir de textes, d'images, de vidéos, de sons ambiants et d'actions.
Utilisez la génération vidéo comme imagination pour entraîner l'IA physique sans la contrainte imposée de la capture physique.
Plateforme
Créez votre propre modèle de monde
Données ouvertes, frameworks d'entraînement et déploiement optimisé pour créer plus rapidement des modèles de monde de pointe.
-
Data
-
Créez et déployez
Cas d'utilisation
Comment Cosmos accélère l'IA dans les industries
-
Entraînement des véhicules autonomes
-
Robot Learning
-
Agents d'IA d'analyse de vidéos
Entraînement des véhicules autonomes
Générez des données de capteurs personnalisées, diversifiées et haute fidélité pour entraîner, tester et valider des véhicules autonomes en toute sécurité.
- Amplifiez la diversité des données existantes avec de nouvelles données météorologiques, d’éclairage et de géolocalisation
- Post-entraînez pour inclure des vues multi-capteurs
- Créez un pipeline d'augmentation et d'évaluation de données synthétiques de bout en bout à l'aide des compétences des agents intégrées à Cosmos
Robot Learning
Créez une politique d'apprentissage pour les robots qui permet aux agents incarnés d'opérer dans des environnements réels, à la fois dans des conditions visibles et invisibles.
- Post-entraînez Cosmos 3 sur des tâches, des environnements, des dispositions de caméras ou de capteurs et des politiques spécifiques à l'incarnation
- Exécutez des simulations en boucle fermée physiquement précises
- Créez un pipeline d'augmentation et d'évaluation de données synthétiques de bout en bout à l'aide des compétences des agents intégrées à Cosmos
Agents d'IA d'analyse de vidéos
Renforcez l’automatisation, la sécurité et l’efficacité opérationnelle dans les environnements industriels et urbains.
Avec Cosmos, les agents d'IA peuvent analyser, synthétiser et interagir avec des flux vidéo en temps réel ou enregistrés afin de :
- Délivrer des alertes contextuelles en temps réel
- Interagir avec vos vidéos et extraire des informations à partir de flux de caméras en direct ou de vidéothèques à grande échelle
- Créer des agents d'IA d'analyse vidéo avec NVIDIA Metropolis Blueprint pour la recherche et la synthèse vidéo
- Générer des données d'entraînement synthétiques pour augmenter la précision de la compréhension
Performances
Exécution optimale avec NVIDIA AI
Cosmos 3 est optimisé pour offrir des performances optimales sur du matériel NVIDIA. Les serveurs NVIDIA RTX PRO™ 6000 de la série Blackwell accélèrent le développement de l'IA physique des robots, des véhicules autonomes et des agents d'IA dans l'entraînement, la génération de données synthétiques, la simulation et l'inférence.
Débloquez des performances maximales des modèles de fondation de monde Cosmos sur NVIDIA Blackwell GB200 pour les charges de travail de post-entraînement et d'inférence industriels.
Écosystème
Adopté par les principaux innovateurs en IA physique
Les développeurs de modèles dans les secteurs de la robotique, des véhicules autonomes et de la vision par l'IA utilisent Cosmos pour accélérer le développement de l'IA physique.
Étapes suivantes
Ressources
Dernières nouveautés des développeurs de Cosmos
-
Actualités récentes
-
Presentaciones
-
Transmisiones en directo
-
Sesiones
-
Demos
Foire aux questions
NVIDIA Cosmos est une plateforme ouverte pour la création de modèles de monde, avec des modèles de fondation de monde de pointe, des jeux de données ouverts, des frameworks d'entraînement et d'optimisation, ainsi que des plans directeurs de génération et de traitement des données tout au long du cycle de vie du développement.
Cosmos 3 est basé sur l'architecture Mixture of Transformers. Les modules de raisonnement et de génération utilisent des transformateurs différents pour une génération et des performances efficaces. Le modèle raisonne d'abord avant de passer à la génération, ce qui permet d'obtenir une précision physique de pointe pour toutes les capacités. Découvrez-en plus sur l'architecture ici.
Les WFM de Cosmos sont disponibles dans le cadre d'une licence de modèle ouvert de NVIDIA pour tous.
Cosmos 3 est ouvertement disponible avec des scripts de post-entraînement sur GitHub pour chaque modalité et module. NVIDIA TAO 7 fournit en outre une suite de compétences et d'outils d'agent pour l'ajustement précis des modèles de vision avec l'IA incluant Cosmos 3, avec des agents de codage et des invites en langage naturel.
Oui, vous pouvez exploiter Cosmos pour développer à partir de zéro avec votre modèle de fondation ou votre architecture de modèle préféré. Vous pouvez commencer par utiliser Cosmos Curator pour le prétraitement des données vidéo. Ensuite, compressez et décodez vos données avec le générateur de jetons Cosmos. Une fois que vous avez traité vos données, vous pouvez entraîner ou ajuster votre modèle.
Grâce aux microservices NVIDIA NIM™, vous pouvez facilement intégrer vos modèles d'IA physique à vos applications dans le Cloud, les Data Centers et les stations de travail.
Vous pouvez également utiliser NVIDIA DGX Cloud pour entraîner des modèles d'IA et les déployer n'importe où à grande échelle.
Cosmos 3 est un omni-modèle capable de générer des textes, des images, des vidéos, des sons et des actions. Cosmos 2.5 et Cosmos 2 ont conservé la perception et la génération en tant que modèles distincts, tandis que leurs modalités se limitaient aux textes, aux images et aux vidéos.
Omniverse crée des simulations 3D réalistes de tâches réelles à l'aide de différentes API génératives, de kits de développement logiciel et de la technologie de rendu NVIDIA RTX.
Les développeurs peuvent intégrer des simulations Omniverse sous forme de vidéos d'instructions aux modèles Cosmos Transfer pour générer des données synthétiques contrôlables et photoréalistes.
Omniverse fournit l'environnement de simulation avant et après l'entraînement, tandis que Cosmos fournit les modèles de fondation pour générer des données vidéo et entraîner des modèles d'IA physique.
En savoir plus sur NVIDIA Omniverse.
