Zum Inhalt springen
Strategion GmbH

Eine eigene Chatanwendung mit den führenden Sprach­modellen betreiben

Die Aufgabe

Die Mitarbeitenden brauchen Zugang zu leistungs­fähigen Sprach­modellen. Öffentliche Dienste kommen nicht in Frage, eine Lizenz pro Kopf auch nicht.

Kunde
Kommunaler Immobilien­konzern
Branche
Wohnungs- und Immobilien­wirtschaft
Dauer
rund sechs Monate, seither im Betrieb
Eine eigene Chatanwendung mit den führenden Sprachmodellen betreiben
4

Bausteine im Betrieb: Anwendung im eigenen Netz, Modellzugang über eine Plattform, Vektordaten­bank für Dokumente, Werkzeug­schnittstelle für strukturierte Daten

2

Plattform­welten vor der Entscheidung verglichen, nach Modellauswahl, Betriebs­regionen und Preis je Million Token

0

zweite Benutzer­verwaltung: Anmeldung und Zugriffsrechte kommen aus dem vorhandenen Verzeichnisdienst

Kurz zum Kunden

Kommunaler Immobilien­konzern einer westdeutschen Großstadt. Unter einer Konzernmutter sind Wohnungs­bestand, Gewerbe-, Verwaltungs-, Kultur- und Schulimmobilien, Projekt­entwicklung und technisches Gebäude­management zusammengefasst; der Konzern ist damit das Immobilien­kompetenz­zentrum seiner Stadt. Mehrere Gesellschaften, ein gemeinsamer Cash-Pool, ein Rechnungs­wesen und ein Bestand, der von der Mietwohnung bis zur Schule reicht: Das erzeugt genau die Art wiederkehrender Abstimmarbeit, für die sich Automatisierung rechnet, und genau die Art verstreuten Wissens, für das sich Sprachmodelle eignen.

Unsere Lösung

Wer eine Chatanwendung selbst betreibt, kauft kein Werkzeug ein. Er behält eine Entscheidung: welches Modell, welcher Anbieter, welche Daten.

Die Aufgabe

Der Konzern will seinen Mitarbeitenden leistungs­fähige Sprachmodelle im Arbeitsalltag verfügbar machen, für Textentwürfe, Zusammenfassungen und Recherche. Öffentliche Chatdienste sind dafür keine Option, weil Unternehmens­daten in die Eingaben geraten. Eine Lizenz pro Kopf bei einem einzelnen Anbieter ist ebenfalls keine: Die Nutzung ist ungleich verteilt, und die Bindung an ein Modell wird in einem Markt teuer, in dem sich die Spitze halbjährlich verschiebt. Der Auftrag ist deshalb, eine eigene Chatanwendung zu konzipieren und umzusetzen — im eigenen Verantwortungs­bereich betrieben, daten­schutz­konform, mit Zugang zu den jeweils führenden Modellen, angebunden an die Anmeldung des Hauses und mit einem Weg zu den eigenen Daten.

Unser Ansatz

Die Basis ist offene Software, die Arbeit steckt im Anschluss an das Haus. Für die Anwendung selbst gibt es ausgereifte offene Projekte. Wir haben zwei davon bewertet und eines an den Konzern angepasst: Gestaltung im eigenen Erscheinungs­bild, Anbindung an die Anmeldung, Administrations­bereich für Rollen und Zugriffe. Eine Eigen­entwicklung wäre an dieser Stelle Verschwendung gewesen. Der Wert liegt nicht in der Chatoberfläche, sondern darin, wie sie mit der Umgebung des Hauses verbunden ist.

Modelle über eine Plattform, nicht über einen Anbieter. Die Anwendung spricht nicht direkt mit einem Modell­hersteller, sondern mit einer Plattform, die mehrere Anbieter daten­schutz­konform bereitstellt. Das klingt nach einem technischen Detail und ist eine strategische Entscheidung: Ein neues Spitzenmodell wird verfügbar, ohne dass Verträge, Architektur oder Nutzergewohnheiten angefasst werden müssen. Vor der Entscheidung haben wir zwei Plattform­welten gegeneinander gestellt, mit Blick auf Modellauswahl, Betriebs­regionen und Preise je Million Token.

Die Berechtigungen kommen aus dem Verzeichnis, nicht aus der Anwendung. Der teuerste Fehler bei internen KI-Anwendungen ist eine zweite Rechtewelt: eine Anwendung, die eigene Nutzer, eigene Gruppen und eigene Zugriffsregeln pflegt und im Laufe der Zeit von der ersten abweicht. Die Anmeldung läuft deshalb über den bestehenden Verzeichnisdienst, und die Zugriffsstufen für Dokumente folgen den Rollen, die es dort schon gibt. Wer im Haus keinen Zugriff auf ein Dokument hat, erreicht es auch über die Chatanwendung nicht.

Entwickelt wird spezifikations­getrieben, und der Code entsteht KI-gestützt. Am Anfang jeder Umsetzung steht eine Spezifikation: ein versioniertes Dokument, das wie Code geprüft wird, für Technik und Fachbereich gleichermaßen lesbar, in dem Entscheidungen, Sonderfälle und Abwägungen geklärt sind, bevor eine Zeile entsteht. Die Architektur wird nach einem etablierten Rahmenwerk dokumentiert. Der Grund für diese Reihenfolge ist nicht Ordnungsliebe, sondern Prüfbarkeit: Erzeugter Code wächst schneller, als die Zeit reicht, ihn zu lesen. Wer einem Modell nur beschreibt, was er ungefähr will, bekommt schnell Code und bei jedem Durchlauf einen anderen. Die Spezifikation ist zugleich die Dokumentation, die sonst am Ende fehlt — und weil die Anwendung im eigenen Netz vom IT-Dienstleister des Konzerns betrieben wird, ist sie das, was dieser in die Hand bekommt.

Zwei Wege zu den eigenen Daten, weil es zwei Arten von Daten gibt. Unstrukturierte Bestände, also die Dokumente aus der Ablage, laufen über eine Aufbereitungs­strecke in eine Vektordaten­bank und werden in der Antwort mit Quelle belegt. Strukturierte Bestände in den Datenbanken werden nicht kopiert, sondern über eine offene Werkzeug­schnittstelle angefragt, die die Abfrage ausführt und das Ergebnis zurückgibt. Der Unterschied ist entscheidend: Eine Kennzahl aus einer Datenbank will man aktuell und nachrechenbar haben, nicht als Erinnerung eines Modells.

Abrechnung nach Nutzung heißt, den Zugang nicht rationieren zu müssen. Bei Lizenzen pro Kopf entscheidet die Beschaffung darüber, wer ein Werkzeug ausprobieren darf, und ein Teil der Lizenzen liegt danach brach. Hier zahlt das Haus, was gerechnet wird. Das erlaubt, den Zugang breit zu öffnen und die Nutzung zu beobachten, anstatt vorab zu schätzen, wer sie braucht. Für die nächste Stufe ist das die wichtigere Eigenschaft: Agenten und Auswertungen verbrauchen ungleich mehr als ein Chatfenster, und das lässt sich nur steuern, wenn es gemessen wird.

Das Ergebnis

Eine Chatanwendung, die auf einem eigenen Server beim IT-Dienstleister des Konzerns läuft und die Modelle über eine Plattform bezieht.

Anbieter und Modell lassen sich in der Anwendung mit einem Klick wechseln. Die Anmeldung läuft über den vorhandenen Verzeichnisdienst und nutzt dessen Berechtigungen; eine zweite Benutzer­verwaltung entsteht nicht. Für Dokumente gibt es eine Vektordaten­bank mit Anbindung an die Dokumenten­ablage und mit Zugriffsstufen je Dokument, für strukturierte Bestände eine offene Werkzeug­schnittstelle auf die Datenbanken. Dazu die Funktionen, die im Alltag den Unterschied machen: Websuche mit Quellenangabe, verwaltete Promptvorlagen, erzeugte Artefakte wie Auswertungen und Dashboards, Bildgenerierung bei Bedarf und ein Administrations­bereich für Rollen und Zugriffe. Abgerechnet wird nach Nutzung. Die Anwendung ist umgesetzt und im Betrieb.

Diese Leistungen steckten im Projekt

Weitere Projekte

Alle Referenzen ansehen

Kontakt

Sprechen Sie uns an

Schreiben Sie uns eine Zeile. Wir ordnen Ihre Frage ein und melden uns.

Gespräch vereinbaren

Schreiben Sie uns, worum es geht. Wir melden uns zeitnah.

Lieber zur Kontaktseite