Claude Code lokal auf RTX 4090: Setup mit Ollama 2026

Hand aufs Herz: Wenn du Claude Code bisher nur über die Anthropic-API kennst, denkst du wahrscheinlich, das Tool ist fest an die Cloud gebunden. Falsch gedacht. Seit Ollama in Version 0.14.0 die Anthropic Messages API-Kompatibilität implementiert hat, kannst du Claude Code vollständig lokal auf deinem eigenen Rechner betreiben – ohne API-Kosten, ohne dass dein Code irgendwohin abfließt. Mit einer RTX 4090 läuft das richtig flüssig – aber nur, wenn du die häufigste Falle vermeidest: das Context-Length-Problem. Wir zeigen dir den kompletten Setup, welche Modelle du Stand Mai 2026 wirklich nehmen solltest, und warum die Standard-Konfiguration in 90 % der Fälle versagt.

Wie geht das überhaupt – Claude Code ohne Anthropic?

Die Antwort steckt in einem cleveren Architektur-Detail: Claude Code ist als CLI-Tool darauf ausgelegt, mit der Anthropic Messages API zu sprechen. Es schickt Anfragen an einen HTTP-Endpunkt und erwartet Antworten in einem bestimmten Format. Welcher Server hinter diesem Endpunkt steht, ist Claude Code prinzipiell egal – Hauptsache, das API-Format passt.

Genau hier setzt Ollama an. Mit Version 0.14.0 (Januar 2026) hat das Open-Source-Tool die Anthropic Messages API-Kompatibilität implementiert. Du startest Ollama lokal auf localhost:11434, lädst dir ein Open-Source-Coding-Modell herunter, setzt drei Umgebungsvariablen in Claude Code – und schon spricht das Tool nicht mehr mit Anthropics Servern, sondern mit deinem lokalen Modell. Claude Code selbst merkt davon nichts. Es funktioniert weiter wie gewohnt: Dateien lesen, Code schreiben, Tests ausführen, Git-Operationen durchführen.

RTX 4090 als Sweet Spot – was läuft darauf wirklich gut?

Mit 24 GB VRAM ist die RTX 4090 aktuell so etwas wie der goldene Standard für lokale Coding-Modelle. Sie schafft die Modelle, die qualitativ wirklich relevant sind, ohne dass du in den Bereich gebrauchter Workstation-Karten oder Multi-GPU-Setups vorstoßen musst. Der entscheidende Punkt: Es gibt mittlerweile mehrere 27B- bis 30B-Modelle, die im quantisierten Q4-Format zwischen 17 und 20 GB VRAM brauchen – das passt komfortabel auf eine 4090, mit Headroom für KV-Cache und 64K Kontext.

Eine wichtige Klarstellung: Modelle wie Qwen3-Coder 30B und GLM-4.7-Flash sind Mixture-of-Experts (MoE). Das bedeutet, von den 30 Milliarden Gesamtparametern sind pro Token nur etwa 3 Milliarden aktiv. Das ist der Grund, warum diese Modelle auf einer 4090 so erstaunlich schnell laufen – du bekommst die Qualität eines deutlich größeren Modells bei der Geschwindigkeit eines kleinen. Genau das macht den lokalen Einsatz erst praktisch nutzbar.

Modellvergleich: Was sich seit Januar 2026 geändert hat

Die Lage hat sich seit dem ursprünglichen Setup deutlich gewandelt. GLM-4.7-Flash von Z.AI (Januar 2026) hat Qwen3-Coder in Coding-Benchmarks teils dramatisch überholt – vor allem bei SWE-Bench Verified mit 59,2 % gegenüber 22 % bei Qwen3-30B. Auch beim Tool Calling, was für agentische Workflows in Claude Code zentral ist, schneidet GLM-4.7 messbar zuverlässiger ab.

Meine aktuelle Empfehlung Mai 2026: Starte mit GLM-4.7-Flash (MIT-Lizenz, dominiert die Coding-Benchmarks) als primäres Modell. Falls du Probleme mit langen Sessions hast, wechsle auf Qwen3-Coder 30B – das Modell hält die Performance bei 48K+ Kontext stabiler, ohne Performance-Cliffs. Beide passen auf eine 4090 und liegen bei rund 17 GB VRAM. * Qwen3.6 nutzt einen anderen Benchmark-Setup, deshalb sind Werte nicht direkt vergleichbar.

Setup Schritt für Schritt

# Ollama installieren
curl -fsSL https://ollama.com/install.sh | sh

# KRITISCH: Context-Length VOR dem Start setzen
export OLLAMA_CONTEXT_LENGTH=65536

# Service starten
ollama serve

# In neuem Terminal: Modell herunterladen (~17 GB)
ollama pull glm-4.7-flash
# oder: ollama pull qwen3-coder:30b

# macOS / Linux / WSL
curl -fsSL https://claude.ai/install.sh | bash

# Windows PowerShell
irm https://claude.ai/install.ps1 | iex

# Verifizieren
claude --version

# Lokaler Ollama-Endpunkt statt Anthropic Cloud
export ANTHROPIC_BASE_URL="http://localhost:11434"

# Dummy-Token (Ollama prüft ihn nicht)
export ANTHROPIC_AUTH_TOKEN="ollama"

# Leere API-Key-Variable verhindert Cloud-Auth-Versuche
export ANTHROPIC_API_KEY=""

{
  "env": {
    "ANTHROPIC_BASE_URL": "http://localhost:11434",
    "ANTHROPIC_AUTH_TOKEN": "ollama",
    "ANTHROPIC_API_KEY": "",
    "CLAUDE_CODE_DISABLE_NONESSENTIAL_TRAFFIC": "1"
  }
}

# Im Projektverzeichnis
cd ~/mein-projekt

# Claude Code mit lokalem Modell starten
claude --model glm-4.7-flash

# In Claude Code prompten:
# "Analysiere die Struktur dieses Projekts und schlage Verbesserungen vor"

Alternative Backends: Ollama ist nicht die einzige Option

Inzwischen unterstützen mehrere Backends die Anthropic-Messages-API nativ. Falls du mit Ollama Probleme hast – etwa Hänger bei längeren Sessions oder Auto-Compact-Issues – sind die Alternativen einen Blick wert. Alle laufen auf einer 4090 und sprechen Claude Code direkt ohne Proxy an.

Wo sind die Grenzen des lokalen Setups?

Ehrlich bleiben gehört dazu. Lokale Open-Source-Modelle sind 2026 verdammt gut geworden – GLM-4.7-Flash erreicht auf SWE-Bench Verified Werte, die noch vor 18 Monaten nur Frontier-Cloud-Modellen vorbehalten waren. Aber es gibt klare Grenzen, die du kennen solltest, bevor du voll auf lokal umsteigst.

Bei komplexem Multi-File-Reasoning über große Codebases hinweg sind Anthropics Frontier-Modelle weiterhin überlegen. Wenn du eine Architektur-Entscheidung über zehn Module hinweg analysieren lässt oder ein subtiler Race-Condition-Bug in einem 200K-Zeilen-Repo zu finden ist, wirst du den Qualitätssprung zur Cloud merken. Auch die Kontextlänge bleibt ein Faktor: Claude Code mit Sonnet hat bis zu 200.000 Tokens Kontextfenster, lokale Modelle auf einer 4090 schaffen praktisch komfortabel 64K – was bei großen Refactorings tatsächlich limitiert.

Die Tool-Calling-Zuverlässigkeit ist ein weiterer Punkt. Auch wenn die neuen Modelle deutlich besser geworden sind, kommt es bei lokalen LLMs immer noch häufiger zu Fehlern in der Tool-Aufruf-Syntax als bei Anthropic Sonnet. Manche Modelle antworten mit <function=Skill> statt korrekt formatiertem JSON, und Claude Code kann mit solchen Antworten nichts anfangen. Wenn du wiederholt solche Probleme siehst, wechsle das Modell – GLM-4.7-Flash und Devstral haben hier deutlich bessere Werte als Qwen-Varianten.

Mein Praxis-Vorschlag: Hybrid arbeiten. Lokal für 80 % der täglichen Tasks – Boilerplate, einfache Refactorings, Doku, Test-Generierung, einzelne Bugfixes, Code-Erklärungen. Für die schwierigen 20 % – komplexe Architektur-Reviews, Cross-Repo-Refactorings, knifflige Bugs in Legacy-Code – wechselst du gezielt auf die Cloud-API. Die Konfiguration umzuschalten ist eine Frage von zwei Sekunden, einfach die Umgebungsvariablen unsetzen.

Lohnt sich der Aufwand?

Wenn du eine RTX 4090 schon im Rechner hast: absolut. Die Hardware ist da, das Setup dauert eine halbe Stunde, und du sparst dir bei intensiver Nutzung schnell drei- bis vierstellige API-Beträge pro Monat. Ein Entwickler, der über Nacht autonom Code iterieren lässt, kann mit Cloud-API leicht 200–500 € im Monat verbrennen – lokal zahlst du den Strom, der bei einer 4090 unter Volllast bei rund 0,12 € pro Stunde liegt.

Wenn du noch keine entsprechende Hardware hast, ist die Rechnung schwieriger. Eine neue RTX 4090 ist 2026 nicht mehr ganz billig, eine gebrauchte 3090 mit 24 GB läuft als günstigere Alternative – etwa 700 bis 850 €. Dazu sollten 32 GB Systemspeicher und eine vernünftige NVMe-SSD vorhanden sein, damit das Modell-Loading nicht zur Tortur wird.

Für mich ist der entscheidende Punkt aber gar nicht primär die Kostenersparnis: Es ist die Souveränität. Du bist nicht abhängig von Anthropic-Pricing-Änderungen, von Modell-Deprecations, von Service-Outages oder von Sperren wegen vermeintlicher Policy-Verletzungen. Dein Setup läuft, wenn das Internet ausfällt. Es läuft, wenn Anthropic morgen pleite geht. Es läuft, wenn du in einem Hochsicherheits-Netz arbeitest. Das ist ein Wert für sich, der weit über die Stromrechnung hinausgeht.

Häufig gestellte Fragen zu Claude Code lokal mit Ollama

Wenn du Hilfe beim Setup deiner lokalen KI-Infrastruktur brauchst oder eine Strategie für dein Team entwickeln willst – meld dich gern bei uns über die Hotline 0800 188 7 100 oder per Mail an 301@seo-manager.info. Wir haben mittlerweile mehrere lokale Setups produktiv im Einsatz und wissen, wo die Stolpersteine liegen.