Hardware für lokale KI: Was braucht ein KMU wirklich?

Schreiben Sie die Aufgabe auf, bevor Sie den Rechner auswählen. Benennen Sie Modellartefakt, Eingabematerial, konfigurierten Kontext, erwartete Ausgabelänge und gleichzeitig aktive Anfragen. Ergänzen Sie Betriebszeiten und den Ersatzablauf bei Ausfall.

Trennen Sie aktive Generierung von registrierten Nutzern. Eine Benutzerliste zeigt nicht, wie viele Anfragen gemeinsam eintreffen oder wie lange diese die Laufzeitumgebung belegen. Verwenden Sie typische Eingaben und erwartete Lastspitzen im Test. Behalten Sie schwierige Fälle mit längeren Eingaben bei, statt ausschließlich nach einer kurzen Vorführung zu dimensionieren.

Definieren Sie fachlich, wann eine Anfrage erfolgreich ist. Das Ergebnis muss Aufgabe, Quellen- und Zugriffsanforderungen erfüllen und nicht bloß ohne technischen Fehler fertig werden. Nutzen Sie den Abnahmeleitfaden für Wissensassistenten neben der Leistungsmessung, damit die Kaufentscheidung sowohl Nutzbarkeit als auch Kapazität berücksichtigt.

Dieser Artikel behandelt den Kauf oder die Miete von Kapazität. Installation, Authentifizierung und gemeinsam genutzte Dienste gehören in einen gesonderten Betriebsablauf. Beziehen Sie dessen verantwortliche Person in die Beschaffungsentscheidung ein, auch wenn jemand anderes den Hardwaretest durchführt.

Erfassen Sie bei einer separaten Grafikkarte deren VRAM getrennt vom System-RAM. Addieren Sie die Kapazitäten nicht zu einem angeblichen GPU-Speicher. Die Ollama-FAQ unterscheidet Nutzung von System- und GPU-Speicher. Prüfen Sie das tatsächliche Lade- und Auslagerungsverhalten der gewählten Laufzeitumgebung.

Die Mac-mini-Spezifikationen und Mac-Studio-Spezifikationen nennen gemeinsamen Speicher für die Apple-Kandidaten unten. Das ist eine andere Konfiguration als eine separate Grafikkarte mit eigenem Speicher, aber auch dieser gesamte Speicherbereich ist nicht frei für das Modell verfügbar. Lassen Sie Raum für Betriebssystem und Laufzeitumgebung und messen Sie die geladene Anwendung.

Fordern Sie vom Anbieter oder Testverantwortlichen eine getrennte Angabe der Speicherarten. Ein Angebot mit einer großen System-RAM-Zahl beantwortet nicht, ob Modell und Arbeitslast in den vorgesehenen GPU-Pfad passen. Ebenso ist mehr gemeinsamer Speicher ein Testkandidat und kein Nachweis ausreichenden Durchsatzes.

Hardware- und Modellwerte, Stand: Oktober 2026. Die Modellkarte von Qwen3-8B nennt 8,2 Milliarden Parameter und 32.768 native Kontext-Token. Der Modellname ist gerundet; die Kontextangabe ist keine Kapazitätszusage für einen Rechner.

Der Anbieter führt die Q4_K_M-Datei mit 5,03 GB und Q8_0 mit 8,71 GB auf. Dies sind Artefaktgrößen und keine vollständigen Laufzeitspeicheranforderungen. Prüfen Sie die konkrete Datei, die Sie laden wollen.

Für eine nachvollziehbare Rechnung nehmen wir eine einheitliche Genauigkeit über die dokumentierte Parameterzahl an. Bei angenommenen 4 Bit je Parameter ergeben 8,2 Milliarden × 4 / 8 = 4,1 GB idealisierten Speicher allein für Gewichte. Bei angenommenen 16 Bit sind es 16,4 GB, jeweils dezimale GB. Dies sind Beispielwerte und keine Beschreibung der tatsächlichen Kodierung von Q4_K_M.

Die tatsächliche quantisierte Datei oben ist größer als die idealisierte Rechnung mit geringerer Genauigkeit. Laufzeitzuteilungen müssen außerdem den gewählten Kontext und Cache abdecken. Nutzen Sie die Rechnung, um die Grenze einer reinen Parameterschätzung zu verstehen, und messen Sie danach das reale Artefakt.

Ollama dokumentiert den Einfluss paralleler Anfragen auf den Kontextspeicher und bietet Einstellungen für Parallelität und KV-Cache-Quantisierung. Die Quantisierung der Gewichte und die des Caches sind getrennte Entscheidungen. Erfassen Sie beide, statt den Speicherbedarf ausschließlich aus dem Format der heruntergeladenen Gewichte abzuleiten.

Auch die Dokumentation verlangt Aufmerksamkeit. Die FAQ nennt einen pauschalen Standardkontext, während der gesonderte Kontextleitfaden VRAM-abhängige Vorgaben beschreibt. Dimensionieren Sie keinen Kauf anhand eines angenommenen Standardwerts. Setzen Sie den Kontext im Test ausdrücklich und prüfen Sie das Verhalten der festgelegten Laufzeitversion.

Prüfen Sie Speicherreserve und mögliche Arbeitslast für Ihre gewählte Konfiguration. Fordern Sie Spitzenspeicher, Auslagerungsverhalten und vollständige Antwortzeiten bei der geplanten Parallelität an. Scheitert eine Konfiguration, begrenzen Sie die vereinbarte Last oder testen Sie einen anderen Kandidaten. Leiten Sie aus einem Einzelversuch keine Zusage für gemeinsame Nutzung ab.

Stand: Oktober 2026. Die folgenden vollständigen Rechnerkonfigurationen verwenden deutsche Apple-Ankündigungspreise vom 25. August 2026, einschließlich deutscher Mehrwertsteuer. Es sind Einstiegspreise, keine aktuellen Warenkorbangebote. Hardwarekompatibilität und Anwendungsleistung müssen noch getestet werden. Nutzen Sie die Stufen, um die Prüfung möglicher Kaufgeräte zu strukturieren.

Nicht enthalten sind Peripherie, Sicherungsziel, USV, Einrichtungsarbeit, Service und Redundanz. Aktuelle Warenkorbpreise und Liefertermine bleiben zu bestätigen. Der größte Kandidat ist nicht als Voraussetzung für gewöhnliche Büroentwürfe belegt. Ebenso besitzen die kleineren Kandidaten keine garantierte Zahl gleichzeitig arbeitender Nutzer.

Ein Linux/CUDA-Tower ist ein gesonderter Kandidat. NVIDIA nennt für die RTX 5090 32 GB GDDR7, 575 W gesamte Grafikleistung und 1.000 W erforderliche Systemleistung. Das sind Spezifikationen mit Stand Oktober 2026, weder ein vollständiges Serverangebot noch gemessener durchschnittlicher Verbrauch an der Steckdose.

Fordern Sie ein aktuelles EU-Angebot für einen vollständigen Tower mit kompatibler CPU, Mainboard, RAM, Datenträgern, Gehäuse, Kühlung, Netzteil und Service an. Ein Grafikkartenpreis darf nicht als Kaufpreis des betriebsfähigen Gesamtsystems dienen.

Wir empfehlen den folgenden Abnahmetest. Halten Sie Hardware, Betriebssystem, Treiber, Laufzeitumgebung, Modellprüfsumme, Gewichtsquantisierung, Cache-Format, Kontext und Eingabefälle fest. Verwenden Sie beim Vergleich mit Cloud-Ausführung dieselben Aufgabenfälle.

Testen Sie als beispielhafte Eingaben 1, 2, 4 und 8 gleichzeitige Anfragen, ausdrücklich konfigurierte Kontexte von 4.096 und 16.384 Token sowie eine Ausgabegrenze von 512 Token. Diese Werte sind Annahmen des Testentwurfs und weder Standardwerte noch universelle Empfehlungen. Stoppen Sie an der Fehlergrenze, statt den Dienst weiter zu überlasten.

Erfassen Sie kalte und warme Starts, Spitzenspeicher, Swap oder andere Auslagerung, Zeit bis zum ersten Token, Wartezeit, vollständige Antwortzeit und Fehler. Nehmen Sie erwartete Lastspitzen und anhaltende Nutzung in wiederholte Läufe auf. Messen Sie Strom und Geräusch während dieser Läufe, statt Spezifikationen als Ergebnisse einzutragen.

Für die Ausgaberate stellt Ollama eval_count und eval_duration bereit; die Generierungsdauer wird in Nanosekunden angegeben. Die Rechnung lautet eval_count / (eval_duration / 1_000_000_000) Token pro Sekunde. Sie enthält weder Wartezeit noch Eingabeverarbeitung. Messen Sie deshalb zusätzlich die vollständige Anfrage.

Vereinbaren Sie aufgabenspezifische Grenzen für Antwortzeit und Durchsatz vorab. Wir empfehlen, dass 95. Perzentil und Verteilung neben dem Mittelwert erscheinen. Lehnen Sie Kandidaten ab, die Anfragen verlieren, Speicher erschöpfen oder Qualitäts- und Zugriffstests verfehlen. Bewahren Sie den Fehlerfall auf, um Konfigurationsänderungen daran zu prüfen.

Testen Sie Neustart, unterbrochene Anfragen, erneutes Laden des Modells sowie Wiederherstellung von Anwendungsdaten und Konfiguration. Hardwareangaben belegen weder Verfügbarkeit noch Wiederherstellungsleistung. Lassen Sie die spätere Betriebsperson die Wiederherstellung anhand der schriftlichen Anleitung durchführen, bevor Sie das System abnehmen.

Apple nennt für den Mac mini mit Stand Oktober 2026 155 W maximale kontinuierliche Leistungsaufnahme, 10–35 °C Betriebstemperatur und 5 dBA am Nutzerplatz im inaktiven Zustand. Die Leistungsangabe ist kein gemessener Inferenzdurchschnitt; das Ruhegeräusch ist keine Zusage für Geräusch unter KI-Last. Es gelten die Messbedingungen der Quelle.

Auch die genannten NVIDIA-Werte für Grafik- und Systemleistung sind keine addierbaren Verbrauchsmessungen. Messen Sie das gesamte System an der Steckdose getrennt im Leerlauf und unter Last. Prüfen Sie Belüftung und tatsächliches Geräusch am vorgesehenen Standort, bevor Sie einen Büroschreibtisch als dauerhaften Aufstellort einplanen.

Ein hypothetisches Energieblatt ergibt 0,100 kW × 160 Stunden × 0,30 EUR/kWh = 4,80 EUR monatlich, bei 16 kWh. Sämtliche Eingaben sind Annahmen mit Stand Oktober 2026, keine Hardwaremessungen oder nationalen Stromtarife. Ersetzen Sie diese durch gemessene Leistung, tatsächliche Einschaltstunden und Ihren Standorttarif.

Planen Sie kontrollierten physischen Zugang, Sicherungsumfang, Wiederherstellung und Aufbewahrung. Der EDSA-Sicherheitsleitfaden berücksichtigt Räumlichkeiten und Sicherungsplanung. Legen Sie fest, welcher Anwendungszustand und welche Konfiguration wiederherstellbar sein müssen. Der Sicherungsplan braucht ein getestetes Wiederherstellungsverfahren und eine verantwortliche Person.

Miete kommt infrage, wenn Sie einen Aufbau mit separater GPU vor dem Kauf testen wollen oder vorübergehenden Bedarf erwarten. Vergleichen Sie abgerechnete Stunden, Speicher, Netzwerk, Support, Betriebsarbeit und Wiederherstellung. Nehmen Sie nicht an, der sichtbare Rechenpreis umfasse den gesamten Betrieb.

Stand: Oktober 2026. Scaleways öffentliche Vergleichsseite nennt eine L4 mit 24 GB VRAM, einen Einstiegspreis von 0,79 EUR je GPU-Stunde, Verfügbarkeit in Paris und minutengenaue Abrechnung. Konkrete Variante, Kapazität, Steuern, Zusatzkosten und Abrechnung bei ausgeschaltetem Gerät bleiben zu bestätigen.

Mit beispielhaften Monatsstunden ergeben sich beim Einstiegspreis 160 × 0,79 EUR = 126,40 EUR beziehungsweise 730 × 0,79 EUR = 576,70 EUR. Dies sind reine Rechenkostenszenarien und keine angebotenen Monatspakete. Prüfen Sie, welche Stunden der ausgewählte Dienst tatsächlich abrechnet.

Hetzners aktuelle Matrix enthält GEX45 mit 24 GB GPU-Speicher und GEX131 mit 96 GB, mit veröffentlichten deutschen und finnischen Standortoptionen. Bestätigen Sie aktuelle Einrichtungs- und Monatspreise, Konfiguration und Standort vor dem Vergleich.

Ein EU-Gerätestandort gibt die Datenverarbeitung der umgebenden Anwendung nicht automatisch frei. Erfassen Sie Kopien, Zugriffe und Löschung mithilfe des Datenschutzleitfadens zur Dokumentenverarbeitung. Ordnen Sie Ablauf- und Wiederherstellungsverantwortung mit dem Leitfaden zum selbst gehosteten Betrieb zu.

Bewahren Sie gewählte Konfiguration, datiertes Angebot, Testeingaben, gescheiterte und bestandene Fälle, Betriebsverantwortung und Wiederherstellungsnachweis gemeinsam auf. Erfassen Sie offene Kompatibilitäts- oder Leistungsfragen als zu klärende Bedingungen und nicht als zugesagte Eigenschaften. Vergleichen Sie erfolgreiche Arbeit und das vollständige Betriebsbudget vor der Stufenwahl.

Der RAG-Kostenleitfaden hilft, Anwendungsarbeit und Wissenspflege über den Rechner hinaus einzubeziehen. Schulung gehört zum Projekt: Die Betriebsperson braucht Wiederherstellungsanleitungen, Mitarbeitende brauchen Nutzungsgrenzen und Ersatzablauf. Beschaffen Sie Kapazität für den bestandenen Ablauf und testen Sie vor seiner Erweiterung erneut. Weitere Orientierung bietet unsere Übersicht zu lokaler KI.