Eine eigene KI wie ChatGPT, auf eigenem Server

Bei der UNS GmbH betreuen wir unter anderem Flughäfen, Kliniken, Banken und Behörden. Deren Daten gehören nicht in ChatGPT, Gemini und Co. Gleichzeitig wollte das Team die Vorteile einer KI im Alltag nutzen: Texte, Mails, Zusammenfassungen, schnelle Auskünfte.

Ein Verbot hilft nicht, dann wird heimlich die Cloud genutzt. Wir wollten eine eigene Lösung mit klaren Regeln.

Auf einem gemieteten Server mit Grafikkarte in der EU läuft ein offenes Sprachmodell (Qwen mit 27 Milliarden Parametern), dazu Spracherkennung und eine Suche über Firmendokumente. Der Server hat keinen öffentlichen Zugang, alles läuft über ein verschlüsseltes privates Netz.

Das Team arbeitet in einer Oberfläche, die aussieht wie ChatGPT: dem „UNSiversum“. Anmeldung nur mit Zwei-Faktor, jede Gruppe sieht nur die Assistenten ihrer Rolle.

Dahinter arbeiten mehrere kleine Agenten statt eines allmächtigen: für die Geschäftsführung, für das Büro, für Websuche und für Gesprächsnotizen. Die Firmen-Agenten haben kein Internet, lesen im CRM und im Firmenwissen und ändern direkt nur zwei Dinge: eine interne Notiz und einen Ticket-Status. Alles andere wird ein Vorschlag, den das Büro bestätigt.

Nachts kommen die CRM-Daten und der Text aus den Firmendokumenten ins Firmenwissen, ohne Bank-, Personal- und Zugangsdaten. Die Agenten nennen bei jeder Antwort die Quelle.

Ein eigenes Modell bedient Team-Chat, CRM-Assistent, Kundenportal, Mail-Sortierung und Agenten. Keine Kundendaten gehen an eine Cloud-KI.

Jede Änderung eines Agenten steht im Protokoll und lässt sich rückgängig machen. Stammt eine Anweisung aus einer Mail oder einem Dokument, wird daraus automatisch nur ein Vorschlag.

Vor jeder Änderung an Anleitung oder Modell laufen mindestens 50 Testfälle je Agent, beim Geschäftsführungs-Agenten 70, auch mit eingeschleusten Anweisungen.

Ehrlich: Bei sehr komplexen Denkaufgaben sind die größten Cloud-Modelle besser. Bei Texten, Mails und Firmendaten ist das eigene Modell sehr gut.