Cloud-NIM und lokaler NIM sind zwei Betriebsmodelle

NIM standardisiert die Inferenzoberfläche, nimmt dir aber nicht jede Betriebsentscheidung ab. Ein lokaler Container muss zur GPU, zum Treiber und zur Modelllizenz passen. Für Hermes zählt zusätzlich, dass das Modell strukturierte Tool-Aufrufe und mindestens das benötigte Kontextfenster zuverlässig bedient.

VarianteEndpointStärkeVerantwortung
NVIDIA BuildGehostete NVIDIA-APISchneller Test ohne eigene GPUKey, Limits, Datenweg und Tarif prüfen
Lokaler NIMZum Beispiel localhost:8000/v1Daten- und KapazitätskontrolleGPU, Container, Treiber, Modell und Updates
Interner NIM-ServicePrivate Netzwerk-URLMehrere Hermes-Instanzen teilen InferenzTLS, Auth, Quoten, Monitoring und Mandantentrennung

NVIDIA Build in wenigen Schritten testen

  1. 01

    NVIDIA-Key erstellen

    Erzeuge im NVIDIA-Portal einen API-Key und behandle ihn wie ein Produktionssecret.

  2. 02

    Key in Hermes speichern

    Hinterlege NVIDIA_API_KEY in ~/.hermes/.env oder über den Konfigurationsweg, nicht in AGENTS.md.

  3. 03

    Modell explizit testen

    Starte eine Session mit Provider und Modell-ID. Nutze zunächst eine ungefährliche Aufgabe mit strukturiertem Tool-Output.

  4. 04

    Dauerhafte Auswahl setzen

    Wenn der Test stabil ist, trage Provider und Default-Modell in config.yaml ein oder wähle sie über hermes model.

  5. 05

    Limits beobachten

    Miss Rate Limits, Latenz, Kontextkosten und Fehlerrate unter der tatsächlichen geplanten Parallelität.

Einmaliger Test
hermes chat --provider nvidia --model nvidia/nemotron-3-super-120b-a12b
Dauerhafte Modellkonfiguration
model:
  provider: nvidia
  default: nvidia/nemotron-3-super-120b-a12b

Von der Build-API zum lokalen NIM-Endpoint

Der Providerwechsel besteht auf Hermes-Seite primär aus der Base-URL. Der eigentliche Aufwand liegt im NIM-Betrieb: Containerzugriff, GPU-Kompatibilität, Modellcache, Authentifizierung, TLS und Kapazitätsplanung. Setze niemals einen ungeschützten OpenAI-kompatiblen Inferenzport ins öffentliche Internet.

  • NIM nur auf localhost oder in einem privaten, kontrollierten Netzwerk binden.
  • Bei mehreren Clients Authentifizierung und Quoten vor den Endpoint setzen.
  • GPU-Auslastung, Queue-Länge, Tokenrate, Fehler und Neustarts zentral beobachten.
  • Modell-ID und verfügbare Kontextlänge nicht aus Beispielen übernehmen, sondern am laufenden Endpoint prüfen.
  • Updates gegen repräsentative Hermes-Tool-Aufgaben testen, bevor der produktive Endpoint wechselt.
Lokalen Endpoint für eine Session verwenden
NVIDIA_BASE_URL=http://localhost:8000/v1 \
hermes chat --provider nvidia --model nvidia/nemotron-3-super-120b-a12b
Endpoint prüfen
curl -s http://localhost:8000/v1/models | jq '.data[].id'

Wann NIM für Hermes die richtige Wahl ist

Pilot

Nemotron schnell evaluieren

Build-API nutzen, ohne vorher GPU-Infrastruktur aufzubauen.

On-Prem

Daten im eigenen Netz

Hermes und Modell innerhalb kontrollierter Infrastruktur betreiben, während Tools gezielt freigeschaltet werden.

Skalierung

Mehrere Agenten, ein Endpoint

Zentrale Inferenz mit Quoten und Beobachtbarkeit statt Modellkopien pro Hermes-Instanz.

Portabilität

Cloud und lokal ähnlich ansprechen

Provider und Modelllogik behalten, Base-URL und Betriebsverantwortung ändern.

Fehlersuche: Auth, Modell-ID, Kontext und Tool-Calling

SymptomPrüfung
401/403 bei BuildNVIDIA_API_KEY, Key-Rechte und tatsächlich verwendeten Endpoint prüfen
Modell nicht gefunden/v1/models abfragen und exakte ID übernehmen
Hermes lehnt Modell abKontextfenster auf mindestens 64K konfigurieren
Ungültige Tool-ArgumenteModell-/Prompt-Kompatibilität mit repräsentativen Tool-Schemas testen
Lokaler Endpoint hängtGPU-Speicher, Containerlogs, Queue und Prefill großer Kontexte prüfen
Falscher Key am internen EndpointProvider-spezifische Secrets und Base-URL-Auflösung kontrollieren

Häufige Fragen

Unterstützt Hermes NVIDIA NIM nativ?

Ja. Der Provider heißt nvidia und nutzt NVIDIA_API_KEY; über NVIDIA_BASE_URL lässt sich ein lokaler NIM-Endpoint angeben.

Brauche ich für NVIDIA Build eine eigene GPU?

Nein. Die Build-API ist gehostet. Eine eigene kompatible GPU brauchst du erst für einen lokalen oder selbst betriebenen NIM.

Kann ich zwischen Cloud und lokal wechseln?

Ja, sofern Modell-ID und API-Verhalten kompatibel sind. Setze für lokal die Base-URL um und teste Kontext sowie Tool-Calling erneut.

Ist lokaler NIM automatisch privat?

Nur wenn Netzwerk, Logs, Tools und Datenflüsse ebenfalls privat konfiguriert sind. Hermes kann weiterhin externe Messenger, Suche oder APIs nutzen.

Quellen, Methodik und Aktualität

Dieser Beitrag wurde aus praktischer Arbeit mit Hermes Agent und den unten verlinkten Primärquellen erstellt. Produktstände ändern sich schnell; Versions- und Befehlsangaben wurden zuletzt am geprüft.

  1. Hermes Agent – AI Providers / NVIDIA NIM – Nous Research
  2. Environment Variables – NVIDIA – Nous Research
  3. NVIDIA NIM Documentation – NVIDIA
  4. NVIDIA Build – NVIDIA