Für einen ersten Versuch mit lokaler KI muss nicht sofort ein neuer Server gekauft werden. Ein vorhandener Rechner kann zeigen, ob ein kleineres Sprachmodell für die gewünschte Aufgabe brauchbare Ergebnisse liefert. Für tägliche Arbeit zählen danach auch Wartezeit, verfügbare Kapazität und ein verlässlicher Betrieb.
Die wichtigste Frage lautet deshalb: Was soll das Modell erledigen? Eine kurze Textüberarbeitung stellt andere Anforderungen als die Auswertung langer Dokumente, umfangreiche Codearbeit oder mehrere gleichzeitig arbeitende Personen. „Das Modell startet“ ist ein erster technischer Befund. Ein geeigneter Arbeitsplatz oder Unternehmensdienst ergibt sich daraus noch nicht.
Was ohne besondere Grafikkarte möglich ist
Sprachmodelle können auf einer unterstützten CPU laufen. Die Laufzeit llama.cpp unterstützt dafür unterschiedliche Prozessorplattformen und auch die Aufteilung zwischen CPU und GPU. Eine GPU ist also keine allgemeine Voraussetzung für jeden Test; sie kann die Verarbeitung deutlich beschleunigen. Der tatsächliche Unterschied wird mit der gewählten Aufgabe gemessen. llama.cpp: unterstützte Hardware und Ausführung (externer Link).
Ein CPU-Test eignet sich beispielsweise, um aus unkritischen Stichpunkten einen Textentwurf zu erstellen, eine kurze Notiz zu strukturieren oder ein kleines Codebeispiel einzuordnen. Das Modell muss sprachlich und fachlich passen. Ein langer Eingangstext, eine aufwendige Antwort oder eine zweite gleichzeitige Anfrage kann einen zunächst brauchbaren Einzeltest stark verändern.
32 oder 64 GB RAM: Planungsszenarien statt Universalminimum
Die folgenden Stufen sind bewusst als Beispiele gekennzeichnet. Sie ersetzen weder die Prüfung der konkreten Modelldatei noch einen Lasttest. Kleinere Modelle können mit weniger Speicher auskommen; größere Modelle, lange Kontexte oder mehrere Dienste können deutlich mehr benötigen.
| Ausbaustufe | Beispielhafte Grundlage | Was der Test klären soll |
|---|---|---|
| Vorhandenen Rechner prüfen | Unterstützte CPU, beispielsweise 32 GB RAM und ausreichend freie SSD-Kapazität; zunächst ohne zusätzliche GPU. | Passt ein kleineres Modell fachlich? Ist die Wartezeit für einzelne kurze Aufgaben akzeptabel? |
| Regelmäßig genutzter Arbeitsplatz | Beispielsweise 32–64 GB RAM, NVMe-SSD und eine gezielt nach Modell und Kontext ausgewählte GPU. | Bleibt die Arbeit flüssig, wenn Anwendungen parallel laufen und Eingaben länger werden? |
| Gemeinsamer Dienst | Dedizierte Ressourcen; beispielsweise 64 GB System-RAM als Ausgangspunkt einer Planung, passende Beschleunigung und geregelter Betrieb. | Welche Gleichzeitigkeit, Antwortqualität und Verfügbarkeit sind unter realer Last erreichbar? |
64 GB System-RAM ersetzen keinen ausreichend großen Grafikspeicher. Ebenso beweist eine passende Modelldatei auf der SSD nicht, dass das vollständige Modell mit dem gewünschten Kontext auf die GPU passt. Bei Systemen mit gemeinsam genutztem Speicher muss die gesamte Speicheraufteilung betrachtet werden.
Warum die Modellgröße allein nicht reicht
Ein einfaches Rechenbeispiel verdeutlicht die Größenordnung: Acht Milliarden Parameter mit rechnerisch vier Bit pro Parameter ergeben 8.000.000.000 × 4 ÷ 8 = 4.000.000.000 Byte, also etwa 4 GB beziehungsweise 3,73 GiB reine Gewichtsdaten. Das ist keine vollständige Speicheranforderung eines ausführbaren Modells.
Hinzu kommen unter anderem Quantisierungsinformationen, nicht im gleichen Format gespeicherte Teile, Laufzeitpuffer und Speicher für den Kontext. Die tatsächliche Datei und die gewählte Laufzeit sind maßgeblich. GGUF enthält beispielsweise neben den Tensoren auch Metadaten und unterstützt unterschiedliche Quantisierungsformate. Hugging Face: GGUF und Quantisierung (externer Link).
Ein größeres Kontextfenster benötigt zusätzlichen Speicher. Deshalb wird die gewünschte Eingabelänge ausdrücklich im Test festgehalten. Ein kurzer Chat mit einer kleinen Eingabe sagt wenig über die spätere Arbeit mit langen Dokumenten aus. Ollama: Kontextlänge und Speicherbedarf (externer Link).
Eine GPU muss zur gesamten Umgebung passen
Bei der Auswahl zählen nutzbarer Grafikspeicher, unterstützte Treiber und Laufzeit, Leistungsaufnahme, Kühlung und Einbausituation. Zwei Karten mit ähnlich klingender Produktbezeichnung können unterschiedlich viel Speicher haben. Auch „im Betriebssystem erkannt“ bedeutet noch nicht, dass die gewünschte Modelllaufzeit sie passend nutzt.
Vor einem Kauf werden deshalb das genaue Kartenmodell, Betriebssystem und Treiberversion gegen die aktuelle Unterstützung der Laufzeit geprüft. Ollama dokumentiert unterschiedliche Wege für NVIDIA, AMD, Apple Metal und weitere Backends. Daraus folgt keine pauschale Unterstützung jeder Karte einer Marke. Ollama: aktuelle Hardwareunterstützung (externer Link).
Was NVMe und Linux beitragen
Eine NVMe-SSD ist eine sinnvolle Planungsoption für lokale Modelldateien, Updates und Arbeitsdaten. Freier Platz wird für die tatsächlich verwendeten Modelle und zusätzliche Fassungen reserviert. Ein größeres Laufwerk ist allerdings kein Ersatz für RAM oder Grafikspeicher; auch eine schnelle SSD macht ein zu großes Modell nicht automatisch interaktiv nutzbar.
Linux kann für einen dauerhaft betriebenen Dienst gut passen, wenn Treiber, Wartung und Zuständigkeiten im Unternehmen dazu passen. Ollama beschreibt dafür unter anderem den Betrieb als eigener Systemdienst. Das Betriebssystem wird anhand der vorhandenen Umgebung gewählt; es muss nicht für jeden Arbeitsplatz neu eingeführt werden. Ollama: Linux-Betrieb und Versionspflege (externer Link).
Ein kurzer Pilot liefert die bessere Einkaufsliste
- Eine Aufgabe festlegen: etwa einen Entwurf aus freigegebenen Stichpunkten statt gleich die gesamte Wissensablage anzubinden.
- Testbedingungen notieren: Modellfassung, Quantisierung, Kontext, Hardware und sonstige laufende Anwendungen.
- Ergebnisse beurteilen: fachliche Richtigkeit, notwendige Korrekturen und tatsächlich eingesparte Arbeit.
- Wartezeiten messen: typische und längere Eingaben sowie die erwartete gleichzeitige Nutzung.
- Betrieb mitprüfen: Datenwege, Freigaben, Updates, Sicherung und einen Wiederanlauf.
Die ausführlichere Prüflogik steht im Beitrag Lokale KI testen: Ein Pilot mit aussagekräftiger Last. Für den Übergang zum gemeinsamen Dienst erklärt Ollama und Open WebUI im Firmennetz die Aufteilung von Zugang, Oberfläche und Modell.
Bestehendes sinnvoll nutzen und gezielt ergänzen
Ein vorhandener Rechner kann für den Einstieg genügen. Ergibt der Pilot einen belastbaren Nutzen, wird anschließend gezielt aufgerüstet oder ein eigener Dienst geplant. Für seltene oder besonders anspruchsvolle Aufgaben kann auch eine freigegebene Cloud-API oder ein Hybridmodell wirtschaftlich passen. Ausschlaggebend sind Daten, Qualität, Nutzung und Betriebsaufwand.
DAXS unterstützt bei dieser Einordnung und bei der Integration in die vorhandene IT. Einen Einstieg bieten Lokale LLM & Infrastruktur und die Anfrage zu KI-Beratung & Automatisierung.
Quellen: Speicherwerte sind ausdrücklich beschriebene Planungsszenarien beziehungsweise eine theoretische Gewichtsrechnung. Sie sind kein Benchmark, Preisangebot oder Nachweis einer bestimmten Nutzerzahl. Die konkrete Modelllizenz und Systemkompatibilität werden vor dem Einsatz geprüft.