KI-Modelle
Im System arbeiten mehrere KI-Bausteine mit klar getrennten Aufgaben: die Antwortmodelle, der Planer, der die Suchergebnisse prüft, und das Embedding-Modell für die Bedeutungssuche. Alle sind mit Blick auf europäische Datenverarbeitung gewählt.
Die Antwortmodelle: Standard und Premium
Die eigentliche Antwort formuliert eines von zwei Modellen:
- Das Standardmodell beantwortet die meisten Fragen. Für Antworten im Portal, im internen Chat und über die Schnittstellen ist das derzeit Claude Haiku von Anthropic. Es ist im Abo enthalten und nicht begrenzt.
- Das Premium-Modell übernimmt schwierige Fragen, etwa wenn Angaben aus mehreren Dokumenten zusammenkommen müssen. Das ist derzeit Claude Opus von Anthropic. Es ist deutlich stärker, kostet aber je Antwort ein Vielfaches und wird aus Ihrem monatlichen Premium-Guthaben bezahlt.
Beide Claude-Modelle laufen über die Cloud-Plattform von Google in Rechenzentren der EU (EU-Mehrfachregion); Ihre Anfragen werden dort verarbeitet und nicht zum Training verwendet. Das jeweilige Modell bekommt nur die zu Ihrer Frage gefundenen Dokumentstellen und formuliert daraus die Antwort — mit Quellenangabe. Es greift nicht auf Weltwissen zurück und erfindet nichts (siehe „Wie die Suche funktioniert").
Welches Modell antwortet, legen Administratoren je Bereich fest: Standard, Automatisch (Memory entscheidet je Frage) oder Immer Premium. Vorgabe ist Automatisch für Antworten und Aufgaben. Aufgaben haben ein eigenes Standardmodell, das Werkzeuge bedienen kann; derzeit ist das weiterhin das europäische Sprachmodell von Mistral. Der Website-Chat startet auf Standard und nutzt derzeit ein europäisches Sprachmodell (Mistral, Frankreich, EU-gehostet). Wie die Entscheidung fällt, was eine Antwort kostet und was bei aufgebrauchtem Guthaben passiert, lesen Sie unter „Premium-Guthaben und KI-Kosten".
Ist ein Modell vorübergehend nicht erreichbar, antwortet bei Fragen automatisch ein Ausweichmodell, in der Regel Mistral, damit keine Frage unbeantwortet bleibt. Bei Aufgaben greift das Ausweichmodell nur, wenn das Modell schon beim Start des Laufs nicht erreichbar ist; fällt es während des Laufs aus, bricht der Lauf mit einer Fehlermeldung ab. Welche Modelle bei Ihnen aktiv sind, sehen Administratoren unter Einstellungen → KI-Modelle und unter Datenschutz.
Mehrstufige Suche
Manche Fragen lassen sich nur über mehrere Dokumente beantworten, etwa wenn ein Vertrag einen Lieferanten nennt und dessen Konditionen in einem anderen Dokument stehen. Ist die mehrstufige Suche für Ihr Unternehmen eingeschaltet, prüft ein kleines Modell (der Planer) nach der ersten Suche, ob Angaben fehlen, und sucht gezielt nach. Es sieht dabei Auszüge der gefundenen Dokumente und arbeitet mit denselben Zugriffsrechten wie die fragende Person. Antworten dauern dadurch einige Sekunden länger. Ob die mehrstufige Suche aktiv ist und welches Modell plant, sehen Sie in den Einstellungen unter Datenschutz.
Dieselbe Prüfung nutzt die Stufe Automatisch, um zu entscheiden, ob das Premium-Modell antwortet. In dieser Stufe läuft sie auch ohne mehrstufige Suche, dann nur als Prüfung ohne Nachsuche.
Das Embedding-Modell
Damit Bedeutungssuche möglich ist, wird jeder Wissensbaustein in einen Suchvektor übersetzt. Dieser Schritt läuft auf einem offenen Modell auf unseren eigenen Servern — Ihre Dokumenteninhalte verlassen dafür die Infrastruktur nicht. Das Modell ist mehrsprachig und bildet Deutsch und Englisch im selben Bedeutungsraum ab.
Ein ehrlicher Trade-off: Ein offenes Modell hat gegenüber proprietären API-Spitzenmodellen minimal geringere Rohleistung. Dafür bleiben Ihre Inhalte vollständig bei uns und werden nicht an Dritte weitergegeben. Das ist bewusst so gewählt.
Ausblick: lokale Sprachmodelle
Für Anforderungen an höchste Datenhoheit ist vorgesehen, künftig auch das Antwortmodell lokal zu betreiben — also ohne externen KI-Anbieter. Sobald dies verfügbar ist, wird es hier ergänzt.