Mehrere Fachsysteme an ein lokales Sprachmodell anschließen
Die Aufgabe
Die Antwort steckt in zwei Systemen, die nichts voneinander wissen. Wer sie will, öffnet beide und setzt sie im Kopf zusammen.
der Machbarkeitsnachweis ist umgesetzt und von ausgewählten Anwendern im tatsächlichen Einsatzkontext bewertet worden
Datensätze im Zugriff, ohne dass sie dem Sprachmodell vorgelegt werden
Daten in der Cloud: das Sprachmodell läuft im eigenen Haus und bleibt vollständig kontrollierbar
Kurz zum Kunden
Wohnungs- und Entwicklungsgesellschaft mit einer über neunzigjährigen Geschichte, eine der größten ihres Bundeslandes. Das Haus bewirtschaftet Wohn- und Gewerbeimmobilien, entwickelt ganze Quartiere und entwickelt selbst. Digitalisierung ist dort kein neues Thema — das Unternehmen gilt in seiner Branche als früh dran und sucht seine Vorhaben selbst, statt sie sich verkaufen zu lassen. Entsprechend ist der Ausgangspunkt nicht die Frage, ob Künstliche Intelligenz eingesetzt wird, sondern wo sie zuerst etwas einbringt.
Unsere Lösung
Ein Sprachmodell muss die Daten nicht sehen, um mit ihnen zu arbeiten. Es muss nur wissen, welche Werkzeuge es hat.
Die Aufgabe
Die Systemlandschaft des Hauses ist stark aufgeteilt: mehrere Datensilos, verschachtelte Schnittstellen, unterschiedliche Zuständigkeiten. Für eine Frage, die zwei Systeme berührt, gibt es keinen gemeinsamen Ort — man öffnet beide und führt die Antwort selbst zusammen. Der übliche Ausweg wären Einzelintegrationen, für jedes Systempaar eine, jede mit eigener Pflege. Gefragt ist deshalb der Nachweis, dass es auch anders geht: über eine offene Werkzeugschnittstelle, die den Zugriff auf verschiedene Systeme vereinheitlicht, sodass ein Sprachmodell sie in natürlicher Sprache abfragen kann. Zwei Bedingungen stehen fest. Cloud-Lösungen für das Sprachmodell sind aus Datenschutzgründen ausgeschlossen — das Modell muss im eigenen Haus laufen und vollständig kontrollierbar sein. Und die angebundenen Bestände umfassen rund hunderttausend Datensätze, also deutlich mehr, als sich einem Modell vorlegen lässt.
Unser Ansatz
Eine Schnittstelle statt vieler Integrationen. Für jedes Systempaar eine eigene Anbindung zu entwickeln, erzeugt eine Pflegelast, die mit jedem weiteren System quadratisch wächst. Eine offene Werkzeugschnittstelle vereinheitlicht stattdessen den Zugriff: Jedes System bekommt Werkzeuge, das Modell kennt die Werkzeuge, und ein neues System bedeutet neue Werkzeuge statt einer neuen Integration. Das ist der Unterschied zwischen einem Machbarkeitsnachweis, der sich ausbauen lässt, und einem, den man später wegwirft.
Nicht die Daten ins Modell, sondern die Frage an die Datenbank. Hunderttausend Datensätze passen in kein Kontextfenster, und der Versuch, es trotzdem zu tun, ist die häufigste Ursache für teure und schlechte Antworten. Stattdessen filtern, aggregieren und rechnen die Werkzeuge dort, wo die Daten liegen; das Modell bekommt nur, was für die Antwort gebraucht wird. Damit ist die Größe des Bestands kein Problem mehr, sondern eine Frage des Zuschnitts.
Das Modell bleibt im Haus, und das schränkt die Auswahl ein. Weil Cloud-Betrieb ausgeschlossen war, kommen nur offen verfügbare Modelle in Frage. Das ist keine Einschränkung, die man beklagt, sondern eine Anforderung, die man durchrechnet: welches Modell die Analyseaufgaben bewältigt, wie groß das Kontextfenster sein muss und welche Hardware das kostet. Diese Rechnung gehört in den Machbarkeitsnachweis und nicht in die Beschaffung danach — sonst steht am Ende ein funktionierender Nachweis, für den niemand die Anlage bezahlen will.
Entwickelt wird spezifikationsgetrieben, und der Code entsteht KI-gestützt. Am Anfang jeder Umsetzung steht eine Spezifikation: ein versioniertes Dokument, das wie Code geprüft wird, für Technik und Fachbereich gleichermaßen lesbar, in dem Entscheidungen, Sonderfälle und Abwägungen geklärt sind, bevor eine Zeile entsteht. Die Architektur wird nach einem etablierten Rahmenwerk dokumentiert. Der Grund für diese Reihenfolge ist nicht Ordnungsliebe, sondern Prüfbarkeit: Erzeugter Code wächst schneller, als die Zeit reicht, ihn zu lesen. Wer einem Modell nur beschreibt, was er ungefähr will, bekommt schnell Code und bei jedem Durchlauf einen anderen. Die Spezifikation ist zugleich die Dokumentation, die sonst am Ende fehlt — und wo ein Modell auf mehrere Fachsysteme zugreift, wird dort festgelegt, welches Werkzeug welche Rechte mitführt.
Ein Nachweis mit Ausbaupfad, nicht ohne. Am Ende steht nicht die Frage, ob es funktioniert hat, sondern eine Entscheidungsvorlage. Der Test mit ausgewählten Anwendern ist deshalb Bestandteil des Nachweises und nicht ein späteres Nachfassen: Sie haben das System im eigenen Einsatzkontext bewertet, und aus ihren Rückmeldungen entscheidet sich der Ausbau — weitere Datenquellen, ein abgestuftes Berechtigungskonzept, ein größerer Nutzerkreis. Ein Machbarkeitsnachweis ohne diesen Schritt endet als Video.
Berechtigungen sind der eigentliche Prüfstein. Solange ein Nachweis mit wenigen Anwendern läuft, ist die Frage nachrangig; sobald das Haus mitliest, ist sie die Hauptsache. Wer über eine gemeinsame Schnittstelle auf mehrere Fachsysteme zugreift, muss die Rechte dieser Systeme mitführen und nicht umgehen. Deshalb ist das abgestufte Berechtigungskonzept ausdrücklich als Bestandteil des Ausbaus benannt und nicht als vorausgesetzt.
Das Ergebnis
Ein umgesetzter Machbarkeitsnachweis, der zwei Cloud-Fachsysteme des Hauses über eine einheitliche Werkzeugschnittstelle verbindet und per Chat abfragbar macht.
, ohne Einzelintegration. Dazu ein technisches Konzept für den Betrieb im eigenen Haus: die Auswahl offen verfügbarer Sprachmodelle, weil nur sie lokal betrieben werden können, die Bemessung des Kontextfensters auf mindestens Zeichen, damit umfangreiche Abfragen ohne Informationsverlust verarbeitet werden, und eine konkrete nach Grafikspeicher, Arbeitsspeicher, Rechenkernen und Speicherdurchsatz.
Für den Umgang mit großen Beständen ist ein Zugriffsmuster ausgearbeitet: Werkzeuge als Zugriffspunkte — eines für die Datenbankabfrage, eines für den Suchindex, eines für Aggregationen —, Vorverarbeitung und Filterung vor der Übergabe an das Modell, begrenzte Ergebnismengen und die Verlagerung von Berechnungen in die angebundenen Datenbanken. Der Test mit ausgewählten Anwendern ist durchgeführt: Das System ist ihnen vorgestellt, erläutert und im tatsächlichen Einsatzkontext bewertet worden. Aus diesen Erfahrungen entscheidet sich, ob weitere Datenquellen, ein abgestuftes Berechtigungskonzept und ein größerer Nutzerkreis folgen.
Diese Leistungen steckten im Projekt
Weitere Projekte
Alle Referenzen ansehen


Kontakt
Sprechen Sie uns an
Schreiben Sie uns eine Zeile. Wir ordnen Ihre Frage ein und melden uns.
