Lokale KI & Infrastruktur
Ihre Daten bleiben im Haus. Ohne US-Cloud.
Viele Unternehmen möchten KI nutzen, aber keine Kundendaten an große Cloud-Anbieter schicken. Das kenne ich aus meinen eigenen Firmen. Deshalb verarbeite ich vertrauliche Daten mit offenen Sprachmodellen auf eigener Hardware und eigenen Servern in der EU. Genau das baue ich auch für Sie auf.
Im Einsatz bei mir
Was bei mir tatsächlich läuft.
Sprachmodelle mit Grafikkarte
Eigener KI-Server
Ein angemieteter Server mit Grafikkarte bei Hetzner, Rechenzentrum in Finnland (EU), nur über ein privates Netz erreichbar. Darauf rechnen die KI im Kundenportal und im CRM, die Mail-Sortierung, die Spracherkennung, der Firmen-Chat für mein Team und der Chat auf dieser Webseite.
- offenes Sprachmodell (Qwen) für Text und Bildverständnis
- Spracherkennung (Whisper) ohne Cloud
- eigener Zugangsschlüssel für jeden Dienst
Agent und Automatisierung
Mac Mini „Nummer 1“
Ein kleiner Rechner, der rund um die Uhr im Haus läuft. Er erledigt Automatisierungen und Sicherungen und springt mit eigenen Sprachmodellen ein, wenn der KI-Server einmal nicht erreichbar ist. Auf ihm ist meine lokale KI entstanden.
- offene Sprachmodelle (Gemma) direkt auf dem Gerät
- Rückfall für Kundenportal, CRM und Mails
- Automatisierungen und Sicherungen
Stimme rein, Text raus
Sprache & Telefonie
Sprachnachrichten aus WhatsApp, Telegram und Teams sowie Gesprächsaufnahmen werden lokal verschriftet. Die Notrufgeräte in Aufzügen (2N) sind an meine Systeme angebunden, ihr Zustand und Anrufverlauf ist jederzeit sichtbar.
- Sprachnachrichten werden automatisch zu Text
- Gesprächsaufnahmen per Diktiergerät (Plaud)
- Anbindung der Aufzug-Notrufgeräte (2N)
Die Anbindung an eine Telefonanlage per SIP teste ich derzeit. Einen Telefon-Agenten für Routineanrufe entwickle ich gerade für die Notrufannahme der UNS GmbH. Zum Stand des Projekts
Lokal oder Cloud?
Ich bin kein Dogmatiker.
Für öffentliche Inhalte, etwa Fachseiten im Internet, nutze ich bewusst auch Cloud-Modelle. Sobald Kundendaten, Gespräche oder interne Unterlagen im Spiel sind, rechnet die KI bei mir lokal.
Lokal
Kundendokumente, Mails, Gesprächsaufnahmen, Sprachnachrichten, CRM-Daten.
Cloud, bewusst
Öffentliche Fachtexte, Webseiten-Inhalte, Bildideen für Beiträge. Nie mit Kundendaten.
Was ich gelernt habe
„Lokal“ muss man prüfen, nicht glauben. Manche Modellvarianten rechnen trotz lokaler Bedienung beim Anbieter, manche Programme weichen ohne Warnung auf die Cloud aus. Mehr dazu im Blog
Für Ihr Unternehmen
So kommen Sie zu Ihrer eigenen KI.
Bedarf klären
Welche Daten sind vertraulich, welche Aufgaben soll die KI übernehmen, wie schnell muss sie sein? Daraus ergibt sich, welche Hardware Sie wirklich brauchen.
Einrichten und testen
Ich richte Hardware und offene Sprachmodelle ein, binde Ihre Systeme an und messe mit Ihren echten Daten, bevor jemand damit arbeitet.
Betreiben
Überwachung, Updates und neue Modelle, wenn sie besser sind. Auf Wunsch übernehme ich den Betrieb dauerhaft.
Datenschutz ist bei mir Handarbeit.
- Kundendaten verlassen für die KI-Auswertung nicht Ihre oder meine Hardware
- offene Modelle statt Abhängigkeit von einem einzelnen Anbieter
- schriftlich festgehalten, welches Modell wo rechnet
- regelmäßige Prüfung, ob das auch noch stimmt
Ihre eigene KI, ohne Ihre Daten herzugeben?
Im Erstgespräch klären wir, was lokal sinnvoll ist und wie groß der Einstieg sein muss. Oft kleiner als gedacht.