Zum Inhalt springen
SEO NW – Alexander Müller 18 FachportaleHotline 0800 188 7 100 rund um die UhrGratis Sprechstunde
SEO ManagerSEO Agentur seit 2012
Menü

News · SEO News

Claude Code mit lokalem Modell betreiben

Claude Code kann statt mit den Modellen von Anthropic auch mit einem lokal betriebenen Modell arbeiten. Seit Ollama 0.14.0 vom 16.01.2026 genügt dafür die Umlenkung über Umgebungsvariablen, ein eigener Zwischendienst ist nicht mehr nötig. Sinnvoll ist das vor allem aus Gründen der Vertraulichkeit, Anthropic unterstützt das Umleiten auf Nicht-Claude-Modelle über ein Gateway laut Dokumentation nicht.

Kompakter Computer mit Glasseite und großer Grafikkarte im Inneren im blauen Licht auf einem Schreibtisch
Bild: KI-generiert

Stand: 30.10.2026. Claude Code ist ein Werkzeug von Anthropic, das über die Kommandozeile an einem Softwareprojekt arbeitet: Es liest Dateien, ändert sie und führt Befehle aus. Üblicherweise spricht es dabei mit den Claude-Modellen über die Schnittstelle von Anthropic. Es lässt sich aber auch auf ein Modell umlenken, das auf dem eigenen Rechner läuft. Diesen Beitrag haben wir im Mai 2026 erstmals veröffentlicht und jetzt aktualisiert, weil sich der Aufbau seitdem deutlich vereinfacht hat.

Wie der Aufbau heute funktioniert

Früher brauchte man zwischen Claude Code und der lokalen Laufzeitumgebung einen kleinen Vermittler, der die Formate übersetzte. Das ist für Ollama nicht mehr nötig. Seit Version 0.14.0, veröffentlicht am 16.01.2026, ist Ollama mit der Messages-Schnittstelle von Anthropic kompatibel [1]. Unterstützt werden laut Ollama unter anderem mehrstufige Unterhaltungen, Streaming, Systemanweisungen, Werkzeugaufrufe und Bildeingaben [1].

Entwickler tippt in einem abgedunkelten Raum auf einer Tastatur, Monitor von hinten gesehen
Bild: KI-generiert

Die Einrichtung besteht aus zwei Schritten. Zuerst läuft Ollama mit einem Modell, das Werkzeugaufrufe beherrscht. Danach wird Claude Code über die Umgebungsvariablen ANTHROPIC_BASE_URL und ANTHROPIC_AUTH_TOKEN auf die lokale Adresse von Ollama umgelenkt [2]. Ollama bietet dafür inzwischen auch einen eigenen Startbefehl an, der beide Schritte zusammenfasst [2].

Eine Verwechslung sollte man dabei vermeiden. Ollama bietet neben lokalen Modellen auch Modelle in der eigenen Cloud an, die sich ohne lokale Installation mit Claude Code verbinden lassen [2]. Diese Modelle laufen auf fremden Servern. Wer wegen der Vertraulichkeit lokal arbeiten will, muss also darauf achten, ein Modell zu wählen, das tatsächlich auf dem eigenen Rechner läuft.

Was die Hardware können muss

Entscheidend ist, dass das Modell vollständig in den Speicher der Grafikkarte passt. Sobald ausgelagert werden muss, bricht die Geschwindigkeit ein, und ein kleineres Modell, das komplett hineinpasst, ist dann meist die bessere Wahl. Dazu kommt die Länge des Zusammenhangs, den das Modell auf einmal verarbeiten kann. Ollama empfahl im Januar 2026 mindestens 32.000 Token [1], in der aktuellen Anleitung für größere Projekte 64.000 Token oder mehr [2]. Je länger dieser Zusammenhang, desto mehr Speicher braucht das Modell zusätzlich.

Noch eine Frage offen?

In der gratis Sprechstunde beantworten wir Fragen zu SEO live, jeden ersten Samstag im Monat um 18 Uhr. Oder Sie rufen einfach an.

Wofür sich das lohnt

Der beste Grund ist Vertraulichkeit. Code, der das Unternehmen nicht verlassen darf, bleibt bei einem lokalen Modell auf dem eigenen Rechner. Für Kunden mit strengen Vorgaben, etwa aus dem Gesundheitswesen oder mit Geheimhaltungsvereinbarungen, kann das die Voraussetzung sein, überhaupt mit einem solchen Werkzeug zu arbeiten.

Geschlossene Bürotür mit Schlüssel im Schloss im warmen Licht eines Flurs
Bild: KI-generiert

Der zweite Grund ist Unabhängigkeit. Ein lokales Modell kennt kein Kontingent und hängt nicht an der Verfügbarkeit eines Dienstes. Wie schnell sich das ändern kann, zeigte im Juni 2026 die Aussetzung von Claude Fable 5, die wir im Beitrag Claude Fable ist zurück beschreiben.

Der dritte Grund sind wiederholbare Aufgaben: Dateien umbenennen, Formate vereinheitlichen, Muster ersetzen. Dafür reicht oft ein kleines Modell.

Wo die Grenzen liegen

Ein Modell, das auf eine einzelne Grafikkarte passt, ist deutlich kleiner als die Modelle, die über die Schnittstelle von Anthropic antworten. Bei mehrschrittigen Aufgaben, die Urteilsvermögen verlangen, merkt man das schnell. Das kleine Modell hält den Faden weniger lange, übersieht Zusammenhänge und braucht kleinteiligere Anweisungen.

Kleiner Spielzeugroboter neben einem hohen Stapel schlichter Ordner auf einem Schreibtisch
Bild: KI-generiert

Dazu kommt eine Einschränkung, die viele übersehen. Anthropic schreibt in der Dokumentation von Claude Code, dass es das Umleiten von Claude Code auf Nicht-Claude-Modelle über ein Gateway nicht unterstützt [3]. Ollama nennt diese Dokumentation nicht. Wer lokal arbeitet, sollte deshalb nicht mit Unterstützung von Anthropic rechnen. Auch Ollama nennt Funktionen, die über die Kompatibilitätsschicht nicht vollständig abgedeckt sind [2].

Wer den Aufbau wegen der Kosten plant, sollte nachrechnen. Anschaffung, Strom und die Zeit für Einrichtung und Pflege übersteigen die Nutzungsgebühren nach unserer Erfahrung in vielen Fällen. Die tragfähigen Gründe bleiben Vertraulichkeit und Unabhängigkeit.

Unsere Einordnung

Ein lokales Modell ist eine Ergänzung zu den großen Modellen. Für vertrauliche Projekte und einfache, wiederkehrende Aufgaben ist es eine gute Lösung, für anspruchsvolle Arbeit bleibt der Abstand deutlich. Vor dem Einsatz im Unternehmen gehört geklärt, wer die Umgebung pflegt und wie Ergebnisse geprüft werden. Mehr zum Einsatz von KI im Betrieb steht im Beitrag KI im Unternehmen, zur Frage der Datenhaltung bei Cloud-Diensten im Beitrag Cloud-Dienste und US-Zugriff.

Sie überlegen, ob ein lokales Modell für Ihr Team in Frage kommt? Stellen Sie Ihre Frage in der gratis Sprechstunde. Was ein Sprachmodell ist, erklärt das Glossar unter LLM.

  1. Organisation Claude Code with Anthropic API compatibility. Ollama Blog. Stand 16.01.2026. abgerufen am 30.10.2026
  2. Organisation Claude Code (Integration). Ollama Dokumentation. Stand laufend. abgerufen am 30.10.2026
  3. Organisation Other LLM gateways. Anthropic (Claude Code Docs). Stand laufend. abgerufen am 30.10.2026

Häufige Fragen

Brauche ich für Claude Code mit Ollama noch einen Zwischendienst?

Nein. Seit Ollama 0.14.0 vom 16.01.2026 ist Ollama mit der Messages-Schnittstelle von Anthropic kompatibel. Claude Code wird über Umgebungsvariablen direkt auf die lokale Adresse umgelenkt.

Spart der lokale Betrieb Geld?

Selten. Anschaffung, Strom und die Zeit für Einrichtung und Pflege übersteigen die Nutzungsgebühren nach unserer Erfahrung in vielen Fällen. Die tragfähigen Gründe sind Vertraulichkeit und Unabhängigkeit von einem Dienst.

Welches Modell sollte ich nehmen?

Das größte Modell mit Unterstützung für Werkzeugaufrufe, das vollständig in den Grafikspeicher passt. Ollama empfiehlt für größere Projekte einen Zusammenhang von 64.000 Token oder mehr, was zusätzlichen Speicher braucht.

Unterstützt Anthropic diese Nutzung?

Nicht nach der Dokumentation. Sie schreibt, dass Anthropic das Umleiten von Claude Code auf Nicht-Claude-Modelle über ein Gateway nicht unterstützt. Der Aufbau mit Ollama funktioniert technisch; für Fragen dazu ist die Dokumentation von Ollama die erste Anlaufstelle.

Noch eine Frage offen?

In der gratis Sprechstunde beantworten wir Fragen zu SEO live, jeden ersten Samstag im Monat um 18 Uhr. Oder Sie rufen einfach an.

Zuletzt geprüft am 03.11.2026, nächste Prüfung spätestens im November 2027. Haben Sie einen Fehler entdeckt? Schreiben Sie uns.

Weiterlesen