🇺🇸 États-Unis generalistSortie octobre 2024
Llama 3.1 Nemotron 70B
NVIDIA
Open-sourceSelf-host
Verdict
Une option solide pour l'auto-hébergement et le contrôle total des données.
Profil de compétences
Non communiqué
Forces
- Open-source et auto-hébergeable
Limites
- Pas de garantie RGPD native
- Tarification API non publiée
À qui ça s'adresse
Pour vous si…
- vous voulez maîtriser vos coûts ou auto-héberger
À éviter si…
- vous manipulez des données sensibles européennes
Accès & disponibilité
Auto-hébergeable (poids ouverts)
Caractéristiques clés
Contexte
128K
Prix entrée
—
Prix sortie
—
Vitesse
—
Prix non auditéBenchmarks non audités
Confidentialité
Non conforme RGPD
Faire tourner en local
Station de travail (64 Go+)38k2k
| Quantization | Disque | RAM / VRAM | Matériel type |
|---|---|---|---|
| Q4 · recommandé | 40.2 Go | 46 Go | Mac 64 Go / bi-GPU 24 Go |
| Q8 · équilibré | 75.5 Go | 85 Go | Mac Studio 96-128 Go / 4× GPU |
| FP16 · qualité max | 141.2 Go | 157 Go | Infra GPU serveur (H100/A100…) |
Estimations pour un contexte modéré. Un long contexte augmente la RAM nécessaire (KV cache).
🤗 Hugging Face
ollama run nemotron:70b
Données avancées · pour expertsArchitecture, modalités, coût détaillé, benchmarks complets▾
Données avancées · pour experts
Architecture, modalités, coût détaillé, benchmarks complets
Architecture
—
Taille
70.6B
Date de coupe
—
Entrées
text
Sorties
text
Licence
llama3.1
Hébergement
—
Score d'hallucination
—
Coût estimé (API)
Échange type (~3k entrée / 1k sortie)
Non communiqué
1M entrée + 1M sortie
Non communiqué
Tous les benchmarks
| Arena Elo | — |
| MMLU | — |
| GPQA | — |
| HumanEval | — |
| SWE-Bench | — |
| MATH | — |