Wer ein großes Sprachmodell (Large Language Model, LLM) über eine öffentliche API eines US-Anbieters nutzt, überträgt dabei zwangsläufig Daten außerhalb der eigenen Infrastruktur – häufig auch außerhalb der EU. Für viele Anwendungsfälle mag das unkritisch sein. Sobald jedoch personenbezogene Daten, Geschäftsgeheimnisse oder regulierte Branchen betroffen sind, wird die Frage des Hosting-Orts und der Datenkontrolle zu einer zentralen Compliance-Frage.
Was bedeutet "Self-hosted" konkret?
Self-hosted bedeutet, dass ein KI-Modell nicht über die API eines Drittanbieters aufgerufen wird, sondern auf eigener oder gezielt ausgewählter Infrastruktur (eigene Server, ein EU-Rechenzentrum oder eine private Cloud-Umgebung mit vertraglich klar geregeltem Standort) betrieben wird. Die Anfragen und die verarbeiteten Daten verlassen dabei die kontrollierte Umgebung nicht.
Warum das für die DSGVO relevant ist
Die Datenschutz-Grundverordnung (DSGVO) verlangt unter anderem, dass die Übermittlung personenbezogener Daten in Drittstaaten (außerhalb der EU/des EWR) nur unter bestimmten Voraussetzungen zulässig ist – etwa bei einem Angemessenheitsbeschluss der EU-Kommission oder zusätzlichen Garantien wie Standardvertragsklauseln. Bei der Nutzung US-basierter KI-APIs bestehen hier regelmäßig rechtliche Unsicherheiten, insbesondere im Hinblick auf den Zugriff durch US-Behörden auf Basis US-amerikanischer Gesetze. Self-hosting innerhalb der EU vermeidet diese Unsicherheit von vornherein, da keine Datenübermittlung in Drittstaaten stattfindet.
Geeignete Open-Source-Modelle für Self-hosting
Für den Betrieb auf eigener Infrastruktur eignen sich insbesondere offen verfügbare Modellfamilien wie Llama (Meta), Mistral (Mistral AI) oder weitere leistungsfähige Open-Weight-Modelle, die sich lokal oder in einer EU-Cloud betreiben lassen, ohne dass die Modellgewichte oder Nutzungsdaten an den Modellentwickler zurückfließen müssen. Die Leistungsfähigkeit dieser Modelle hat sich in den letzten Jahren deutlich an proprietäre Cloud-Modelle angenähert, insbesondere für klar definierte Unternehmensanwendungsfälle.
Technische Voraussetzungen für den Betrieb
Rechenleistung (GPU-Infrastruktur): Größere Modelle benötigen leistungsfähige Grafikprozessoren (GPUs) mit ausreichendem Grafikspeicher. Kleinere, für spezifische Aufgaben feinabgestimmte Modelle lassen sich dagegen teils auch mit deutlich geringerem Hardwareaufwand betreiben.
Modellauswahl nach Anwendungsfall: Nicht jedes Unternehmen benötigt das größte verfügbare Modell. Für spezifische, wiederkehrende Aufgaben (Klassifizierung, Zusammenfassung, strukturierte Extraktion) liefern kleinere, spezialisierte Modelle oft vergleichbare Ergebnisse bei deutlich geringeren Betriebskosten.
Absicherung der Infrastruktur: Wie jede unternehmenskritische Infrastruktur muss auch die KI-Umgebung gegen unautorisierten Zugriff abgesichert werden – inklusive Netzwerksegmentierung, Zugriffskontrollen und Verschlüsselung der verarbeiteten Daten.
Monitoring und Wartung: Anders als bei einer API eines Drittanbieters liegt die Verantwortung für Verfügbarkeit, Updates und Skalierung bei Self-hosting beim Unternehmen selbst beziehungsweise dem beauftragten Dienstleister.
Kosten-Nutzen-Abwägung
Self-hosting bedeutet höhere initiale Infrastrukturkosten im Vergleich zur einfachen Nutzung einer Cloud-API. Bei regelmäßiger, hoher Nutzung kehrt sich dieses Verhältnis jedoch häufig um: Während Cloud-APIs pro verarbeitetem Token (Texteinheit) abgerechnet werden und die Kosten linear mit dem Nutzungsvolumen steigen, sind die Kosten für Self-hosting nach der Anfangsinvestition weitgehend fix. Ab einem bestimmten Nutzungsvolumen wird Self-hosting damit auch wirtschaftlich attraktiver – zusätzlich zum Compliance-Vorteil.
Für welche Unternehmen ist Self-hosting besonders relevant?
Besonders relevant ist dieser Ansatz für Unternehmen, die mit besonders sensiblen personenbezogenen Daten arbeiten (Gesundheitswesen, Personalwesen, Finanzdienstleistungen), für regulierte Branchen mit strengen Compliance-Anforderungen, sowie für Unternehmen, die Geschäftsgeheimnisse oder vertrauliche Kundendaten mit KI verarbeiten möchten, ohne diese einem externen Anbieter zugänglich zu machen.
Wie sich ein Self-hosting-Projekt in der Praxis über die Zeit entwickelt
Ein typischer, realistischer Verlauf eines Self-hosting-Projekts beginnt mit einer Pilotphase, in der ein einzelnes, überschaubares Modell für einen klar definierten Anwendungsfall auf vergleichsweise moderater Hardware getestet wird. Zeigt sich in dieser Phase ein klarer Nutzen und eine ausreichende Ergebnisqualität, folgt eine Ausbauphase, in der zusätzliche Anwendungsfälle erschlossen und gegebenenfalls leistungsfähigere Hardware angeschafft wird. Erst in einer dritten, reiferen Phase etablieren Unternehmen häufig einen vollständig eigenständigen Betrieb mit redundanter Infrastruktur und einem dedizierten Verantwortlichen für den laufenden Betrieb. Diese stufenweise Entwicklung reduziert das anfängliche Investitionsrisiko erheblich, verglichen mit einem sofortigen Aufbau einer vollständigen, hochverfügbaren Infrastruktur.
Ein kurzer Hinweis zur Bedeutung von Branchenkontext
Für welche Branchen sich diese Investition besonders lohnt, hängt stark vom Grad der Datensensibilität ab. Ein Unternehmen, das ausschließlich öffentlich verfügbare Marketingtexte mit KI-Unterstützung erstellt, hat einen deutlich geringeren Compliance-Druck als ein Unternehmen, das Patientendaten, Personalakten oder Finanzinformationen verarbeitet. Eine realistische Einschätzung der eigenen Datensensibilität sollte daher am Anfang jeder Entscheidung für oder gegen Self-hosting stehen, statt diese Technologiefrage losgelöst von der eigentlichen Datenschutzfrage zu betrachten.
Wie sich die Modellqualität von Open-Source-Modellen in den letzten Jahren entwickelt hat
Ein häufiges, aber zunehmend veraltetes Vorurteil lautet, offen verfügbare Modelle seien den proprietären, ausschließlich über Cloud-APIs zugänglichen Modellen grundsätzlich unterlegen. Diese Einschätzung galt in den früheren Entwicklungsphasen dieser Technologie deutlicher als heute. Für viele klar definierte Unternehmensanwendungsfälle – Klassifizierung, Zusammenfassung, strukturierte Textextraktion – liefern aktuelle offene Modelle inzwischen Ergebnisse, die für den praktischen Einsatz ausreichend nah an den leistungsfähigsten proprietären Modellen liegen. Der verbleibende Qualitätsunterschied ist vor allem bei sehr allgemeinen, komplexen Aufgaben mit hohem Anspruch an kreatives oder tiefes Schlussfolgern noch spürbar – für die meisten strukturierten Geschäftsprozesse ist er zunehmend zu vernachlässigen.
Die rechtliche Grauzone bei außereuropäischen Cloud-Anbietern genauer betrachtet
Auch wenn ein außereuropäischer Cloud-Anbieter vertraglich zusichert, Daten innerhalb eines EU-Rechenzentrums zu verarbeiten, bleibt eine rechtliche Unsicherheit bestehen, die in Fachkreisen intensiv diskutiert wird: Unterliegt der Anbieter selbst – etwa aufgrund seines Firmensitzes – Gesetzen eines Drittstaats, die einen behördlichen Zugriff auch auf im Ausland gespeicherte Daten ermöglichen könnten? Diese Frage ist rechtlich komplex und wird unterschiedlich bewertet. Self-hosting durch einen Anbieter, der selbst vollständig der EU-Rechtsordnung unterliegt, vermeidet diese Diskussion von vornherein, was insbesondere für Unternehmen mit hohem Sicherheitsbedürfnis ein entscheidendes Argument sein kann.
Ein praktischer Einstiegspfad für Unternehmen
Der Einstieg in Self-hosted LLMs muss nicht sofort mit dem größten verfügbaren Modell und maximaler eigener Infrastruktur erfolgen. Ein bewährter, risikoärmerer Ansatz beginnt mit der Auswahl eines klar abgegrenzten, gut definierten Anwendungsfalls – etwa der automatisierten Klassifizierung eingehender Dokumente oder der Zusammenfassung interner Berichte. Für einen solchen Anwendungsfall reicht häufig ein kleineres, spezialisiertes Modell, das mit vergleichsweise moderater Hardware betrieben werden kann. Erst mit wachsender Erfahrung und nachgewiesenem Nutzen erweitern Unternehmen typischerweise sowohl die Modellgröße als auch die Anzahl der abgedeckten Anwendungsfälle.
Der Betrieb als fortlaufende Aufgabe
Ähnlich wie bei jeder unternehmenskritischen Infrastruktur ist der Betrieb eines self-hosted Modells kein einmaliges Projekt. Neue Modellversionen erscheinen regelmäßig mit verbesserter Leistungsfähigkeit, Sicherheitsupdates für die zugrunde liegende Infrastruktur müssen eingespielt werden, und die tatsächliche Nutzung sollte überwacht werden, um Kapazitätsengpässe frühzeitig zu erkennen. Unternehmen, die diesen Betrieb nicht selbst mit eigenem Fachpersonal abdecken können, greifen hier häufig auf spezialisierte externe Partner zurück, die den Betrieb der Infrastruktur übernehmen, ohne dass die Datenkontrolle an einen außereuropäischen Cloud-Anbieter abgegeben werden muss.
Häufige Fragen
Ist ein self-hosted LLM automatisch DSGVO-konform? Nein, Self-hosting löst primär die Frage der Datenübermittlung in Drittstaaten. Weitere DSGVO-Anforderungen (Rechtsgrundlage der Verarbeitung, Betroffenenrechte, Löschkonzepte) müssen zusätzlich erfüllt werden.
Welche Hardware benötige ich für den Einstieg? Das hängt stark vom gewählten Modell und Anwendungsfall ab – von einem einzelnen leistungsfähigen Server für kleinere Modelle bis zu mehreren spezialisierten GPU-Servern für große, allgemeine Modelle.
Kann ich auch eine EU-Cloud statt eigener Hardware nutzen? Ja, viele Unternehmen nutzen eine EU-ansässige Cloud-Infrastruktur mit vertraglich zugesicherter Datenverarbeitung ausschließlich innerhalb der EU als Kompromiss zwischen Kontrolle und Betriebsaufwand.
Muss ich mich für ein einziges Modell entscheiden, oder kann ich mehrere parallel betreiben? Viele Unternehmen setzen mehrere, unterschiedlich spezialisierte Modelle für verschiedene Anwendungsfälle parallel ein, statt ein einzelnes, universelles Modell für alle Aufgaben zu verwenden.
Wie behalte ich den Überblick über neue Modellversionen und deren Sicherheitsrelevanz? Ein regelmäßiger, definierter Prozess zur Beobachtung relevanter Modell-Updates und deren Testung in einer Staging-Umgebung, bevor sie produktiv eingesetzt werden, hat sich hier als sinnvoll erwiesen.
Was Self-Hosting in der Praxis technisch bedeutet
Self-Hosting eines Sprachmodells bedeutet, dass die KI-Anfragen nicht an einen externen Cloud-Anbieter außerhalb der EU gesendet werden, sondern auf Servern verarbeitet werden, die vollständig unter Kontrolle des Unternehmens oder eines EU-ansässigen Dienstleisters stehen. Das schließt die Übertragung sensibler Daten – Kundendaten, interne Dokumente, Vertragsinhalte – an Drittanbieter aus, deren Datenschutzpraktiken und Serverstandorte oft nur schwer nachvollziehbar sind.
Technisch ist das heute deutlich zugänglicher, als viele Unternehmen annehmen. Offene Sprachmodelle haben in den vergangenen Jahren enorme Fortschritte gemacht und erreichen für viele Geschäftsanwendungen – Textzusammenfassung, Klassifizierung, strukturierte Datenextraktion – eine Qualität, die für den praktischen Einsatz völlig ausreicht, ohne dass die Rechenleistung eines Großkonzerns notwendig wäre. Für viele Anwendungsfälle reicht bereits ein dedizierter Server oder eine private Cloud-Instanz innerhalb der EU.
Der Kompromiss liegt in der Flexibilität: Ein selbst gehostetes Modell erfordert etwas mehr initiale Einrichtung und gelegentliche Wartung, bietet dafür aber volle Kontrolle über Daten, Kosten und Verfügbarkeit – unabhängig von den Preisänderungen oder Nutzungsbedingungen eines externen Anbieters. Für Unternehmen mit hohen Datenschutzanforderungen, etwa im Gesundheits-, Finanz- oder Rechtsbereich, überwiegt dieser Kontrollgewinn in aller Regel den zusätzlichen Aufwand deutlich.
Fazit
Self-hosted LLMs sind keine rein technische Spielerei, sondern für viele Unternehmen der einzige Weg, KI-Funktionalität mit maximaler Datenkontrolle und rechtlicher Sicherheit zu kombinieren. Die Anfangsinvestition amortisiert sich bei regelmäßiger Nutzung häufig innerhalb überschaubarer Zeiträume. Lynox.ai unterstützt Sie beim Aufbau und Betrieb einer datenschutzkonformen, selbst gehosteten KI-Infrastruktur.