Microservices NVIDIA NIM
Conçu pour un déploiement rapide et fiable de modèles d'IA accélérés, où que ce soit.
Aperçu
Qu'est-ce que NVIDIA NIM ?
NVIDIA NIM™ fournit des microservices d'inférence préconstruits et optimisés permettant de déployer rapidement les derniers modèles d'IA sur n'importe quelle infrastructure accélérée par NVIDIA : Cloud, Data Center, station de travail et Edge.
Accélérez le déploiement de l'IA avec NVIDIA NIM
NVIDIA NIM combine la facilité d'utilisation et la simplicité opérationnelle des API gérées à la flexibilité et à la sécurité des modèles auto-hébergés sur votre infrastructure préférée. Les microservices NIM sont fournis avec tout ce dont les équipes travaillant avec l'IA ont besoin (les derniers modèles de fondation, des moteurs d'inférence optimisés, des API aux normes du secteur et les dépendances runtime), le tout packagé dans des conteneurs logiciels d'entreprise prêts à être déployés et étendus n'importe où.
Avantages
Déployez des modèles d'IA plus rapidement, avec des performances intégrées
Passez du prototype à la production avec des microservices d'inférence préconstruits et optimisés pour les derniers modèles d'IA. NVIDIA NIM fournit une inférence à faible latence et à haut débit grâce à des API standard du secteur, avec la flexibilité nécessaire pour être déployée dans le Cloud, les Data Centers, les stations de travail et à l'Edge.
Simplicité d’utilisation
Accélérez l'innovation et les délais de mise sur le marché grâce à des microservices préconstruits, optimisés pour les derniers modèles d'IA. Grâce à des API standard, les modèles peuvent être déployés en cinq minutes et intégrés facilement aux applications.
Niveau entreprise
Déployez des microservices de niveau entreprise gérés en permanence par NVIDIA grâce à des processus de validation rigoureux et à des fonctionnalités spécialisées dédiées, le tout soutenu par l'assistance de NVIDIA, qui offre également un accès direct aux experts de NVIDIA AI.
Performances et évolutivité
Améliorez le coût total de possession avec une inférence de l'IA à faible latence, haut débit et évolutive dans le Cloud, et profitez d'une précision hors pairs grâce à la prise en charge intégrée des modèles affinés.
Portabilité
Profitez d'un déploiement n'importe où grâce à des microservices natifs du Cloud préconstruits pouvant s'exécuter sur n'importe quelle infrastructure accélérée par NVIDIA (Cloud, Data Center et station de travail), et passez en toute simplicité sur Kubernetes et des environnements de fournisseurs de services Cloud.
Démo
Développez des agents d'IA avec NIM
Découvrez comment configurer deux agents d'IA, l'un pour la génération de contenu et l'autre pour la conception graphique numérique, et découvrez à quel point il est facile de les mettre en service avec les microservices NIM.
Technologie
Composants-clés de l'IA agentique
Benchmarks
Boostez le rendement avec NIM
NVIDIA NIM fournit une latence et un débit optimisés dès la première utilisation, pour maximiser la génération de jetons, prendre en charge plusieurs utilisateurs simultanés aux heures de pointe et améliorer la réactivité. Les microservices NIM sont constamment mis à jour avec les derniers moteurs d'inférence optimisés, ce qui permet d'améliorer les performances sur la même infrastructure au fil du temps.
Configuration : Llama 3.1 8B instruct, 1x H100 SXM ; demandes simultanées : 200. NIM ON : FP8, débit de 1 201 jetons/s, ITL 32 ms. NIM OFF : FP8, débit de 613 jetons/sec, ITL 37 ms.
Modèles
Débloquez une inférence prête pour l'entreprise pour des milliers de modèles ouverts
Déployez des LLM pris en charge par NVIDIA TensorRT™-LLM, vLLM ou SGLang pour une inférence à faible latence et à haut débit sur une infrastructure accélérée par NVIDIA.
Fonctionnalités
Le bouton Facile du développement et du déploiement de l'IA
Les microservices NIM sont conçus pour fonctionner n'importe où et utilisent des API aux normes du secteur pour être facilement intégrés aux systèmes et aux applications d'entreprise. Ils passent en outre sans encombre sur Kubernetes pour fournir une inférence haut débit et faible latence dans le Cloud.
Déployez NIM
Déployez NIM pour votre modèle avec une seule commande. Vous pouvez également facilement exécuter NIM avec des LLM pris en charge par NVIDIA TensorRT-LLM, vLLM ou SGLang, notamment avec des modèles ajustés.
Exécutez l'inférence
Lancez NIM avec le moteur d'exécution optimal en fonction de votre infrastructure accélérée par NVIDIA.
Créez
Intégrez des points de terminaison NIM auto-hébergés en seulement quelques lignes de code.
Cas d'utilisation
Utilisation de NIM
Découvrez des cas d'utilisation de NVIDIA NIM spécifiques à chaque secteur et accélérez le développement de l’IA dans votre entreprise grâce à des exemples triés sur le volet.
-
Assistants IA virtuels
-
Traitement des documents
-
Achats hyperpersonnalisés
-
Configurateurs de produits 3D
Assistants basé sur l’IA
Améliorez l'expérience des clients et les processus métiers grâce à l'IA générative.
Traitement intelligent des documents
Utilisez l'IA générative pour accélérer et automatiser le traitement des documents.
IA appliquée à l'hyper-personnalisation des achats
Offrez des expériences personnalisées qui améliorent la satisfaction client grâce à la puissance de l'IA.
Configurateurs de produits 3D
Utilisez OpenUSD et l'IA générative pour développer et déployer des outils et des expériences de configurateurs de produits 3D sur presque tous les appareils.
Options de démarrage
Comment démarrer avec NVIDIA NIM
Ressources
Nouvelles ressources NVIDIA NIM
-
Articles de blog
-
Sessions
-
Cours
-
Vidéos
Prochaines étapes
