Lokale KI oder Cloud? Eigene Hardware gegen die API gerechnet

Was „lokale KI“ heißt

Neben den Modellen, die nur über die Schnittstellen von OpenAI, Anthropic oder Google erreichbar sind, gibt es offene Modelle mit frei verfügbaren Gewichten: Metas Llama, die Modelle von Mistral, Alibabas Qwen, Googles Gemma und viele weitere. Sie lassen sich herunterladen und auf eigener Hardware betreiben. Das verbreitetste Werkzeug dafür ist Ollama: ein Programm, das Modelle lädt, im Speicher hält und über eine lokale Schnittstelle anspricht, die derjenigen der Cloud-Anbieter ähnelt — Automatisierungen lassen sich also mit überschaubarem Aufwand von der API auf ein lokales Modell umstellen und zurück.

Die Rechnung dreht sich damit um: Statt je Token zu zahlen, zahlen Sie einmalig für Hardware und laufend für Strom und Pflege — unabhängig davon, ob das Modell hundert oder hunderttausend Anfragen im Monat beantwortet. Ob das günstiger ist, hängt am Volumen und am Modell, mit dem Sie vergleichen. Eine Einführung in die Werkzeuge und Modelle finden Sie auf machichdigital.de/lokale-ki; hier geht es um die Kosten.

Modellklassen und Speicherbedarf

Offene Modelle gibt es in Größenklassen, gemessen in Milliarden Parametern. Je größer, desto fähiger — und desto mehr Speicher braucht das Modell. Die Downloadgrößen bei Ollama (in der dort üblichen komprimierten Fassung) sind die beste Orientierung dafür, wie viel Arbeits- oder Grafikspeicher das Modell belegt; dazu kommt Speicher für den Kontext, also den Text, den das Modell gerade verarbeitet.

Downloadgrößen laut Ollama-Modellbibliothek. Die Spalte „Läuft typischerweise auf“ ist eine qualitative Einordnung nach der Regel „Modell plus Kontext muss in den Speicher passen“ — keine Herstellerangabe. Größere Kontexte (lange Dokumente) erhöhen den Bedarf.

Welche Hardware passt

Die eine Regel, die alles bestimmt: Das Modell muss vollständig in den schnellen Speicher passen. Passt es nicht, lagert der Rechner Teile in den langsamen Hauptspeicher oder auf die Festplatte aus, und aus Sekunden je Antwort werden Minuten. Drei Geräteklassen kommen in Frage:

Exakte Speicherangaben je Modell nennen die Hersteller nicht einheitlich, deshalb bleibt es hier bei der qualitativen Zuordnung. Verlässlich ist der Test: Modell mit Ollama laden, eine typische Anfrage stellen, Antwortzeit stoppen. Liegt sie im Bereich weniger Sekunden, passt die Hardware; dauert es eine Minute, ist der Speicher zu klein.

Stromkosten nach BDEW

Strom ist der laufende Posten, der bei lokaler KI am häufigsten vergessen wird. Die BDEW-Strompreisanalyse vom August 2026 nennt für Haushalte einen durchschnittlichen Preis von 37,0 Cent je Kilowattstunde, für kleine bis mittlere Industriebetriebe 17,2 Cent. Kleinbetriebe und Selbstständige zahlen meist Tarife nahe dem Haushaltspreis; wir rechnen deshalb mit 37,0 Cent.

Die Leistungsaufnahme hängt von der Hardware ab. Für eine Workstation mit einer Grafikkarte der 450-Watt-Klasse nehmen wir unter Last 600 Watt für das Gesamtsystem an, im Leerlauf 50 Watt — beides Annahmen, keine Messwerte. Bei acht Stunden Last an 22 Werktagen sind das 176 Stunden × 0,6 kW = 105,6 kWh, also rund 39 Euro; der Leerlauf über die restlichen rund 554 Stunden des Monats kostet 27,7 kWh, rund 10 Euro. Zusammen rund 49 Euro im Monat — fast 600 Euro im Jahr, allein für Strom. Ein kompakter Rechner mit gemeinsamem Speicher kommt mit einem Bruchteil aus; wer eine solche Maschine wählt, darf diesen Posten deutlich niedriger ansetzen.

Anschaffung über drei Jahre gegen die API

Für den Vergleich nehmen wir dieselbe Beispiel-Workstation wie auf der Startseite an: 3.000 Euro Anschaffung, abgeschrieben über drei Jahre — 83 Euro im Monat. Mit den 49 Euro Strom sind das rund 132 Euro im Monat, bevor eine einzige Stunde Pflege gerechnet ist. Diese 132 Euro sind die Messlatte: Erst wenn die Token-Rechnung der API darüber liegt, gewinnt die lokale Lösung finanziell.

Wie hoch die API-Rechnung bei gegebenem Volumen ausfällt, liefert der KI-Kostenrechner. Für die Grafik unten nehmen wir seine Voreinstellung — 2.000 Token Eingabe, 600 Token Ausgabe je Anfrage — ohne Caching und rechnen mit dem EZB-Kurs vom 9. September 2026 (1 € = 1,1652 $). Je Anfrage kostet das bei Claude Haiku 4.5 (1/5 $) 0,005 $, bei Claude Sonnet 5 (2/10 $) 0,01 $, bei GPT-6 Astra (10/50 $) 0,05 $ (Preisseiten, 10.09.2026). Die 132 Euro erreicht Haiku 4.5 bei rund 30.800 Anfragen im Monat, Sonnet 5 bei rund 15.400, GPT-6 Astra bei rund 3.100.

Break-even-Grafik

Die Grafik macht zwei Dinge deutlich. Erstens: Gegen ein kleines Cloud-Modell braucht es sehr viel Volumen, bevor sich eigene Hardware rechnet — 30.000 Anfragen im Monat sind rund 1.400 am Werktag. Zweitens: Gegen ein Spitzenmodell kippt die Rechnung früh. Der ehrliche Nachsatz: Das lokale Modell, das auf einer 3.000-Euro-Workstation läuft, ersetzt in der Qualität ein kleines Cloud-Modell, kein Spitzenmodell. Der faire Vergleich ist deshalb die grüne Linie, nicht die rote.

Der Datenschutz-Vorteil

Der stärkste Grund für lokale KI ist nicht das Geld. Wer Personalakten, Patientendaten, Mandantenschreiben oder Konstruktionsunterlagen verarbeiten will, steht bei der Cloud vor der Frage, ob diese Daten überhaupt an einen Anbieter dürfen — und wenn ja, mit welchem Auftragsverarbeitungsvertrag, welcher Verarbeitungsregion (OpenAI und Anthropic berechnen für eine feste Region 10 % Aufschlag, Preisseiten 10.09.2026) und welcher Information der Betroffenen. Beim lokalen Modell entfällt die Übertragung vollständig: Die Daten bleiben auf Ihrem Rechner, es gibt keinen Dritten, keine Übermittlung, keinen Vertrag mit einem Modellanbieter.

Was bleibt, ist die Verarbeitung selbst. Auch lokal gelten Rechtsgrundlage, Zweckbindung, Löschfristen und Zugriffsschutz; ein Rechner, auf dem ein Modell Personaldaten sortiert, braucht dieselbe Absicherung wie der Aktenschrank. Aber der Teil, an dem KI-Projekte am häufigsten scheitern — „dürfen die Daten raus?“ — ist erledigt. Für viele Berufe mit Schweigepflicht ist das der Grund, weshalb die Frage nach dem Break-even gar nicht erst gestellt wird.

Qualität: ehrlich verglichen

Lokale Modelle sind gut geworden — und sie sind nicht die Spitzenmodelle. Die 8-Milliarden-Klasse sortiert, extrahiert Felder aus Rechnungen, fasst Texte zusammen und schreibt brauchbare Entwürfe auf Deutsch; bei Komposita, Fachsprache und langen Dokumenten stolpert sie öfter als die Cloud. Die 14- bis 32-Milliarden-Klasse ist für die meisten Büro-Automatisierungen ausreichend. Die 70-Milliarden-Klasse und größer nähert sich den mittleren Cloud-Modellen, braucht aber Hardware, die den Kostenvergleich oben sprengt.

Drei Dinge fehlen lokal fast immer: eine eingebaute Websuche, die Zuverlässigkeit bei mehrstufigen Analysen, und die Geschwindigkeit bei vielen gleichzeitigen Anfragen — ein Chatbot mit dreihundert Gesprächen am Tag bringt eine einzelne Workstation an ihre Grenze. Ob die Qualität für Ihre Aufgabe reicht, entscheidet kein Benchmark, sondern der Test mit Ihren zwanzig echten Beispielen, wie ihn der Artikel Kleines oder großes Modell? beschreibt. Läuft das lokale Modell dort auf Augenhöhe mit dem kleinen Cloud-Modell, ist der Kostenvergleich oben der richtige; fällt es ab, vergleichen Sie Äpfel mit Birnen.

Entscheidungshilfe

Wie hoch die Gesamtrechnung einer Automatisierung mit allen Nebenkosten ausfällt — lokal wie in der Cloud —, rechnet der Artikel Was eine KI-Automatisierung wirklich kostet an drei Szenarien durch.

Häufige Fragen