101 Dinge, die ich bei KnowGravity lernte, Oktober 2026, Jonas Bucher
Die firmenspezifische Nutzung von LLMs ist gerade omnipräsent. Ein eigener Arbeitsbereich ist in wenigen Tagen aufgesetzt, die ersten Antworten wirken überzeugend. Genau dort beginnt das Problem.
Für unseren KnowTalk habe ich ein fiktives Beispielunternehmen gebaut, einen regionalen Energieversorger, und einer KI eine einfache Frage gestellt: Ab welcher Mahnstufe darf eine Verbrauchsstelle gesperrt werden, und welche Ankündigungsfrist gilt? Die Antwort war sachlich korrekt. Sie verwies dreimal auf die Reglemente des Unternehmens. Nur stehen die Fristen dort an drei Stellen unterschiedlich, und kein Dokument hat Vorrang. Die KI hatte also recht – und wir waren keinen Schritt weiter.
Das eigentliche Problem ist nicht die falsche Antwort. Es ist die Antwort, die man nicht überprüfen kann. Wir haben das mit zwanzig Fragen durchgespielt: einmal an ein Sprachmodell ohne Kontext, einmal mit dem üblichen Dokumentenbestand aus Firmenbeschreibung, Prozesshandbuch und Richtlinie, einmal mit einem gepflegten Unternehmensmodell. Mit Unternehmensmodell ist hier kein Sprachmodell gemeint, sondern ein Konzeptmodell nach SBVR: festgelegte Begriffe, ihre Bedeutungen und die Regeln, die darauf aufbauen. Mit dem Dokumentenbestand lagen vier Antworten falsch. Ausgerechnet bei Sperrfrist, Kündigungsfrist und Wechseltermin. Also dort, wo es Geld kostet oder die Aufsicht ruft.
Entscheidender war aber etwas anderes: Keine einzige dieser Antworten liess sich auf eine verbindliche Aussage zurückführen. Ein Dokument nennen kann jedes LLM. Nur sagt ein Dokumentverweis nicht, ob dieses Dokument das massgebende ist. Mit dem Konzeptmodell führte jede Antwort auf ein Element mit festgelegter Bedeutung, einer stabilen ID, einem Verantwortlichen und einem Gültigkeitsdatum.
Was heisst das für ein Unternehmen, das LLMs intern nutzen will? Vier Dinge haben sich bewährt:
- Vokabular zuerst. Wenige Begriffe genügen für den Anfang. Am besten die strittigen. Jene, über die im Haus gestritten wird, die in zwei Abteilungen etwas anderes bedeuten und die in Regeln mit Zahlen und Fristen vorkommen.
- Intensionale Definitionen. Eine brauchbare Definition sagt, was ein Begriff bedeutet: zu welcher Art von Dingen er gehört und wodurch er sich von ähnlichen unterscheidet. Sie verwendet dabei nur Begriffe, die selbst definiert sind. Eine Aufzählung von Beispielen ist keine Definition.
- Erst die Grundlagen, dann das Werkzeug. Wer mit der Werkzeugauswahl beginnt, baut eine Suchmaschine über ein Chaos. Beginnen Sie stattdessen mit Konzepten, Faktentypen und Regeln.
- Klären, wer das Konzeptmodell pflegt. Wer darf einen Begriff neu erfassen, wer eine Regel ändern? Und wie kommt die Änderung im laufenden Betrieb beim LLM an? Ein Modell ohne diese Antworten veraltet genauso wie die Dokumente, die es ersetzen sollte.
Rolf hat in #18 beschrieben, wie wenig Aufwand nötig ist, um KI sinnvoll einzusetzen. Das stimmt – vorausgesetzt, in den Beschreibungen, mit denen man sie füttert, bedeutet derselbe Begriff überall dasselbe.
Das Formproblem haben die Anbieter gelöst. Sprachmodelle verstehen uns und formulieren besser als die meisten Prozesshandbücher. Das Bedeutungsproblem nehmen sie uns jedoch nicht ab: Was bei uns gilt, müssen wir selbst entscheiden und festhalten.
Siehe auch:
Erste-Hilfe-Set für Vokabulare
101#18: KI-Doping für smarte Architekten und Business Analysten
101#15: Wissensmanagement mit Modellen