KI auf eigenen Servern, wo Ihre Daten bleiben müssen

Lokale KI heißt, ein Sprachmodell auf Hardware zu betreiben, die Sie selbst kontrollieren, im Büro oder auf einem eigenen Server, statt Anfragen an einen Anbieter zu schicken. Der wichtigste Grund ist die Kontrolle über die Daten: Wo ein Mandat, ein Vertrag oder eine Aufsicht externe Verarbeitung ausschließt, ist der lokale Betrieb oft der einzige Weg, KI überhaupt zu nutzen. Am häufigsten fragen Kanzleien, Steuerberatungen, Arztpraxen und Zulieferer mit strengen Vertraulichkeitsklauseln danach.

Lokaler Betrieb ist eine Abwägung, kein Gütesiegel. Sie gewinnen Kontrolle darüber, wohin Daten gehen. Dafür tragen Sie Hardware, Updates und Überwachung, und bei manchen Aufgaben erreicht ein kleineres offenes Modell womöglich nicht die Qualität der größten Cloud-Modelle. Ob es eine Lücke gibt, hängt von der Aufgabe ab. Sortieren, Felder auslesen und Standardantworten entwerfen sind gute Kandidaten für kleinere Modelle, doch erst ein Vergleich an Ihren eigenen Fällen zeigt die Qualität. Wie Sie diesen Vergleich durchführen, steht in unserem Artikel zum eigenen KI-Benchmark.

Zwischen eigenem Server und weltweitem Cloud-Dienst liegt ein Mittelweg: Modelle über AWS Bedrock oder Azure OpenAI in EU-Regionen, mit Auftragsverarbeitungsvertrag. In typischen EU-Projekten nutzen wir genau das. Zwei Details zählen. Der Ort der angelegten Ressource ist nicht immer der Ort, an dem eine Anfrage verarbeitet wird: Die geografischen Profile von Bedrock halten die Verarbeitung innerhalb einer Geografie wie der EU, können Anfragen aber zwischen Regionen dieser Geografie verteilen. Und die EU-Datengrenze von Microsoft umfasst die EU und die EFTA-Staaten, nicht nur EU-Mitgliedstaaten. Unser Artikel Lokale KI oder EU-Cloud? vergleicht die Optionen mit einer Datenschutz-Checkliste und einem Kostenbeispiel.

Eine Mischung ist üblich: ein lokales Modell für die sensibelsten Daten, ein Modell in der EU-Cloud für den Rest. Der Ablauf entscheidet je Fall, welchen Weg ein Dokument nimmt.

Drei Dinge bestimmen die Größe der Hardware: das Modell und seine Quantisierung, die benötigte Kontextlänge und wie viele Anfragen gleichzeitig laufen. Die Zahl der Parameter allein sagt nicht, wie viel Speicher Sie brauchen, und Grafikspeicher ist nicht gegen Arbeitsspeicher austauschbar. Unser Artikel zur Hardware für lokale KI erklärt die Dimensionierung und schlägt einen Abnahmetest für gleichzeitige Nutzung vor, denn keine Herstellerangabe sagt Ihnen, wie viele Ihrer Nutzer eine Maschine bedient.

Die Software ist die kleinere Entscheidung. Ollama und LM Studio machen es leicht, Modelle auszuprobieren. Für mehrere Nutzer und gleichmäßige Last ist ein Produktionsserver wie vLLM üblich, mit Anmeldung und Zugriffsregeln davor; ein API-Schlüssel allein ist kein vollständiger Schutz. Unser Leitfaden zu Ollama im Unternehmen behandelt Einrichtung, Modellwahl und Lizenzen.

Lokal heißt nicht automatisch privat. Die Dokumentation von Ollama hält fest, dass Ollama Prompts und Daten nicht sieht, wenn Sie lokal arbeiten; Ollama kann aber auch Cloud-Modelle und eine Websuche nutzen. Diese lassen sich mit der Einstellung OLLAMA_NO_CLOUD=1 abschalten. Anwendungen, die an das Modell angebunden sind, können Daten von sich aus anderswohin senden. Prüfen Sie deshalb Einstellung, angebundene Anwendungen und Netzwerkregeln und halten Sie das Ergebnis fest.

Offene Modelle haben außerdem unterschiedliche Lizenzen. Die Lizenz der Laufzeitumgebung deckt das heruntergeladene Modell nicht ab, und Lizenzen können sich zwischen Modellgenerationen ändern. Prüfen Sie die Lizenz jedes Modells für die gewerbliche Nutzung, bevor es in Ihrem Unternehmen läuft.

1. Benennen Sie die Aufgabe und die Datenregeln, die für sie gelten.
2. Entscheiden Sie, welche Daten lokal bleiben müssen und welche in eine EU-Region dürfen.
3. Testen Sie zwei oder drei mögliche Modelle an zwanzig oder mehr eigenen Fällen.
4. Dimensionieren Sie die Hardware nach der gemessenen Last, oder beginnen Sie auf einem gemieteten GPU-Server in einem EU-Rechenzentrum.
5. Vereinbaren Sie vor dem Start Updates, Überwachung, Zugriffe und einen Testlauf nach jedem Modellwechsel.

Unsere Seite zur lokalen KI beschreibt, wie ein erstes Projekt mit uns abläuft.