Ein Open-Source-LLM ist ein Sprachmodell, dessen trainierte Gewichte öffentlich zum Herunterladen bereitstehen. Du kannst es auf eigener Hardware betreiben, anpassen und in Produkte einbauen, ohne bei jedem Aufruf einen fremden Dienst zu fragen. Das ist der entscheidende Unterschied zu Modellen, die ausschließlich über die Schnittstelle ihres Anbieters erreichbar sind.
Der Begriff ist allerdings unsauber, und zwar systematisch. Was in Blogbeiträgen als „Open Source" läuft, ist in den meisten Fällen ein Open-Weight-Modell: Die Gewichte sind da, der Weg zu ihnen bleibt im Dunkeln.
Was „offen" jeweils bedeutet
Zwischen einem Download-Link und echtem Open Source liegen mehrere Stufen.
| Stufe | Was verfügbar ist | Was fehlt |
|---|---|---|
| Offene Gewichte, eigene Lizenz | Modelldatei zum Herunterladen, Nutzung mit Auflagen | Freie Weitergabe, teils Einschränkungen für große Anbieter oder bestimmte Zwecke |
| Offene Gewichte, freie Lizenz | Modelldatei unter Apache 2.0 oder MIT, kommerzielle Nutzung ohne Sonderregeln | Trainingsdaten und Trainingscode |
| Vollständig offen | Zusätzlich Datensätze, Trainingsskripte, Zwischenstände | Praktisch nichts, aber die Wiederholung des Trainings bleibt eine Frage der Rechenleistung |
Die erste Stufe ist die verbreitetste. Metas Llama-Modelle etwa kommen mit einer eigenen Lizenz, die Nutzungsbedingungen enthält, wie sie in klassischen Open-Source-Lizenzen nicht vorkommen. Mistral hat mehrere Modelle unter Apache 2.0 veröffentlicht und liegt damit auf der zweiten Stufe. Die dritte ist selten und stammt meist aus dem akademischen Umfeld, etwa aus der OLMo-Reihe des Allen Institute for AI, das Daten und Trainingscode mitveröffentlicht.
Die Open Source Initiative hat 2024 eine eigene Definition für offene KI vorgelegt, die neben den Gewichten auch Angaben zu Daten und Trainingsprozess verlangt. Nach diesem Maßstab wäre ein großer Teil dessen, was heute „Open-Source-LLM" heißt, keiner. Für die Praxis ist die Unterscheidung trotzdem wichtig: Sie entscheidet, ob du das Modell weitergeben, in ein Produkt einbetten und ohne Rückfrage kommerziell nutzen darfst.
Warum Unternehmen selbst betreiben
- Daten bleiben im Haus. Personenbezogene Daten, Patientenakten, Konstruktionsunterlagen, Verträge. Wenn nichts das eigene Netz verlässt, entfällt ein ganzer Block an Prüfungen und Verträgen.
- Kein Modellwechsel von außen. Ein Anbieter kann sein Modell abkündigen oder still nachschärfen. Was du selbst betreibst, verhält sich morgen wie heute. Für regulierte Abläufe mit Nachweispflicht ist das ein echtes Argument.
- Kostenstruktur statt Kostenkurve. Statt einer Abrechnung pro Token trägst du feste Infrastruktur. Bei sehr hohem, gleichmäßigem Durchsatz kippt die Rechnung irgendwann zugunsten der eigenen Hardware, bei sporadischer Nutzung nie.
- Anpassbarkeit. Ein offenes Modell lässt sich auf die eigene Fachsprache nachtrainieren, in der Größe beschneiden und in ein Gerät oder eine abgeschottete Umgebung packen.
- Kein Netz nötig. Modelle laufen offline, in der Produktionshalle, im Fahrzeug, auf dem Notebook.
Was der Betrieb verlangt
Der Download ist kostenlos, der Betrieb nicht. Vier Punkte werden regelmäßig unterschätzt.
Hardware. Große Modelle brauchen Grafikspeicher, und zwar mehr, als in einer üblichen Serverkonfiguration steckt. Quantisierung, also das Rechnen mit gröberer Zahlengenauigkeit, senkt den Bedarf erheblich und kostet je nach Aufgabe etwas Qualität. Für viele Anwendungen ist ein kleineres, quantisiertes Modell die richtige Antwort.
Betrieb. Wer selbst hostet, betreibt einen Dienst: Überwachung, Aktualisierungen, Lastverteilung, Ausfallsicherheit. Werkzeuge wie Ollama, llama.cpp oder vLLM nehmen viel ab, aber sie ersetzen keine Zuständigkeit.
Qualität. Offene Modelle haben stark aufgeholt und lösen alltägliche Aufgaben zuverlässig. An der Spitze, bei langen Ketten aus Werkzeugaufrufen und schwierigem Schlussfolgern, liegen die großen geschlossenen Modelle in der Regel weiter vorn. Die ehrliche Antwort lautet: Es hängt von der Aufgabe ab, und man misst es am eigenen Fall.
Recht. Die Lizenz gehört gelesen, bevor das Modell im Produkt landet. Der EU AI Act kennt Erleichterungen für frei und quelloffen bereitgestellte Modelle, die aber entfallen, sobald das System in einem der geregelten Hochrisiko-Bereiche eingesetzt wird. Verantwortlich ist, wer das System in Betrieb nimmt, nicht wer die Gewichte veröffentlicht hat.
Wann die fremde Schnittstelle besser passt
| Situation | Sinnvoller Weg |
|---|---|
| Prototyp, Machbarkeit, erste Version | Fremde Schnittstelle, in Minuten startklar |
| Schwankende oder geringe Last | Fremde Schnittstelle, keine Grundkosten |
| Anspruchsvollstes Schlussfolgern nötig | Fremde Schnittstelle, aktuell meist stärker |
| Personenbezogene oder streng vertrauliche Daten | Eigener Betrieb |
| Hoher, gleichmäßiger Durchsatz | Eigener Betrieb, ab einem gewissen Volumen |
| Offline- oder Inselbetrieb | Eigener Betrieb, ohne Alternative |
Ein verbreiteter Mittelweg: Der Prototyp entsteht an einer fremden Schnittstelle, die Anwendung wird über eine austauschbare Schicht angebunden, und der Wechsel auf ein selbst betriebenes Modell bleibt eine Konfigurationsfrage. Das ist deutlich billiger als eine spätere Migration.
Häufige Fragen zu Open-Source-LLM
Ist ein offenes Modell automatisch DSGVO-konform? Nein. Es entfällt die Übermittlung an einen fremden Anbieter, das ist ein großer Punkt. Alles andere bleibt: Rechtsgrundlage, Zweckbindung, Löschkonzept, Protokollierung und die Frage, was mit den Eingaben deiner Nutzerinnen passiert.
Kann ich so ein Modell auf meinem Laptop laufen lassen? Kleine Modelle ja, mit ordentlicher Geschwindigkeit sogar. Für die größeren Varianten braucht es dedizierte Grafikhardware. Zum Ausprobieren reicht ein aktuelles Notebook allemal.
Was bringt Nachtrainieren auf eigene Daten? Es verschiebt Stil, Format und Fachvokabular, macht das Modell aber nicht wissender. Für „das Modell soll unsere Handbücher kennen" ist Retrieval Augmented Generation fast immer der bessere und billigere Weg.
Kann man einem offenen Modell trauen, das aus dem Ausland kommt? Die Gewichte sind eine Datei, keine Verbindung. Sie telefonieren nirgendwohin. Zu prüfen bleibt, was ein Modell inhaltlich ausgibt, wo es Lücken oder Schlagseite hat und ob die Lizenz zu deinem Vorhaben passt. Genau das lässt sich bei einem offenen Modell besser prüfen als bei einem geschlossenen.
Fazit
Offene Sprachmodelle haben die Frage „KI ja oder nein" von der Frage „wessen Server" getrennt. Für alles, was mit sensiblen Daten arbeitet oder ohne Netz laufen muss, ist das der Unterschied zwischen machbar und nicht machbar. Der Preis dafür ist Betriebsverantwortung: Hardware, Aktualisierungen, Messung der Qualität am eigenen Fall. Wer das nicht mitplant, tauscht eine Rechnung gegen eine andere. Wie wir solche Bausteine in bestehende Systeme einbauen, steht auf unserer Seite zur Custom-Software-Entwicklung, und unsere Erfahrungen mit KI im Entwicklungsalltag im Artikel KI in der Softwareentwicklung. Ob am Ende ein offenes Modell auf eigener Hardware läuft oder ein Dienst über eine Schnittstelle angebunden wird, entscheidet der Anwendungsfall; beide Wege beschreibt die Seite zur KI-Integration in bestehende Software. Für eine Einschätzung zu deinem Vorhaben gibt es das unverbindliche Beratungsgespräch.