Lokal heißt nicht automatisch lokal

In unseren eigenen Firmen gilt eine einfache Regel: Kundendaten werden von einer KI nur noch auf eigener Hardware oder auf eigenen Servern in der EU verarbeitet, die wir selbst betreiben. Prüfberichte, Gesprächsaufnahmen, Mails, Sprachnachrichten von Kunden. Das klingt nach einer klaren Entscheidung. In der Umsetzung steckten mehr Fallstricke, als wir erwartet hatten.

Warum wir den Aufwand überhaupt treiben

Die bequemste Lösung ist fast immer ein großes Cloud-Modell. Es ist schnell, es ist klug, und die Einrichtung dauert Minuten. Für öffentliche Inhalte nutzen wir das auch bewusst, zum Beispiel für Fachseiten im Internet, die ohnehin jeder lesen kann.

Bei Kundendaten sieht das anders aus. Ein Aufzugsbetreiber, der uns einen Prüfbericht hochlädt, vertraut darauf, dass dieses Dokument nicht irgendwo auf einem fremden Server in einem anderen Rechtsraum ausgewertet wird. Für uns ist das keine Formalie, sondern eine Frage von Anstand.

Stolperstein 1: Der Name sagt nicht, wo gerechnet wird

Wir betreiben offene Sprachmodelle mit einer verbreiteten Software für lokale KI. Dort lassen sich Modelle mit einem Befehl herunterladen. Manche Modellvarianten tragen aber einen Zusatz im Namen, der bedeutet: Gerechnet wird nicht hier, sondern beim Anbieter in der Cloud. Die Bedienung ist identisch. Man merkt es nur, wenn man genau hinsieht.

Ähnlich bei einem Programm zur Spracherkennung: Ohne passende Einstellung wäre es still auf einen Cloud-Dienst ausgewichen, sobald das lokale Modell nicht bereitstand. Kein Fehler, keine Warnung. Es hätte einfach funktioniert, nur eben nicht so, wie wir es wollten.

Stolperstein 2: Dokumentation und Wirklichkeit

Einer unserer Assistenten war in unseren Unterlagen als „lokal“ beschrieben. Bei einer Prüfung stellte sich heraus, dass er tatsächlich über ein Cloud-Modell lief. Niemand hatte gelogen. Die Einstellung war irgendwann geändert worden, die Beschreibung nicht.

Seitdem gilt bei uns:

• Wo eine KI rechnet, wird nachgesehen, nicht vermutet.
• Jede Lösung hat eine schriftliche Angabe, welches Modell auf welcher Maschine läuft.
• Systeme, die nicht lokal laufen, bekommen keine vertraulichen Inhalte. Auch nicht „nur kurz zum Testen“.

Stolperstein 3: Kleine Modelle, große Erwartungen

Lokale Modelle sind kleiner als die großen Cloud-Modelle. Wir haben anfangs versucht, möglichst große offene Modelle auf einem Server ohne Grafikkarte zu betreiben. Ergebnis: Der Arbeitsspeicher reichte nicht, Anfragen brachen ab.

Ein deutlich kleineres Modell lief dagegen zuverlässig, und für viele Aufgaben reicht es völlig. Eine Mail als Werbung oder Kundenanfrage einzuordnen, braucht kein Riesenmodell. Der Preis dafür ist Zeit: Auf einem reinen Prozessor dauert eine Antwort spürbar länger. Wir mussten Zeitlimits anheben und Abläufe so bauen, dass niemand vor einem Ladekreis sitzt.

Für das Auslesen von Prüfberichten war das zu langsam. Auf unserem Mac Mini mit Grafikeinheit dauert eine Seite rund 13 Sekunden, auf dem Prozessor waren es rund drei Minuten. Deshalb lief diese Aufgabe zuerst auf dem Mac Mini. Heute übernimmt sie unser eigener KI-Server mit Grafikkarte, und der Mac Mini springt ein, wenn er ausfällt.

Was wir daraus empfehlen

Wenn Sie über lokale KI nachdenken, beginnen Sie nicht mit der Frage nach der größten Hardware. Beginnen Sie mit drei anderen Fragen:

• Welche Daten sind wirklich vertraulich, und welche sind ohnehin öffentlich?
• Welche Aufgabe soll die KI erledigen, und wie schnell muss sie dabei sein?
• Wer prüft regelmäßig, ob das System noch so läuft, wie es beschrieben ist?

Aus den Antworten ergibt sich meistens eine Mischung: lokale Modelle für alles mit Kundenbezug, Cloud-Modelle dort, wo nur öffentliche Inhalte im Spiel sind. Das ist weniger glamourös als „alles in der eigenen Cloud“, aber ehrlich und bezahlbar im Betrieb.

Lokal ist eine Eigenschaft, die man regelmäßig nachweisen muss. Nicht ein Häkchen, das man einmal setzt.

Genau das zeigen wir Unternehmen in unseren Workshops und bei der Einrichtung eigener Server: nicht nur, wie man ein Modell startet, sondern wie man sicherstellt, dass es auch in einem Jahr noch dort rechnet, wo es soll.