Eine eigene Chatanwendung mit den führenden Sprachmodellen betreiben
Die Aufgabe
Die Mitarbeitenden brauchen Zugang zu leistungsfähigen Sprachmodellen. Öffentliche Dienste kommen nicht in Frage, eine Lizenz pro Kopf auch nicht.
Bausteine im Betrieb: Anwendung im eigenen Netz, Modellzugang über eine Plattform, Vektordatenbank für Dokumente, Werkzeugschnittstelle für strukturierte Daten
Plattformwelten vor der Entscheidung verglichen, nach Modellauswahl, Betriebsregionen und Preis je Million Token
zweite Benutzerverwaltung: Anmeldung und Zugriffsrechte kommen aus dem vorhandenen Verzeichnisdienst
Kurz zum Kunden
Kommunaler Immobilienkonzern einer westdeutschen Großstadt. Unter einer Konzernmutter sind Wohnungsbestand, Gewerbe-, Verwaltungs-, Kultur- und Schulimmobilien, Projektentwicklung und technisches Gebäudemanagement zusammengefasst; der Konzern ist damit das Immobilienkompetenzzentrum seiner Stadt. Mehrere Gesellschaften, ein gemeinsamer Cash-Pool, ein Rechnungswesen und ein Bestand, der von der Mietwohnung bis zur Schule reicht: Das erzeugt genau die Art wiederkehrender Abstimmarbeit, für die sich Automatisierung rechnet, und genau die Art verstreuten Wissens, für das sich Sprachmodelle eignen.
Unsere Lösung
Wer eine Chatanwendung selbst betreibt, kauft kein Werkzeug ein. Er behält eine Entscheidung: welches Modell, welcher Anbieter, welche Daten.
Die Aufgabe
Der Konzern will seinen Mitarbeitenden leistungsfähige Sprachmodelle im Arbeitsalltag verfügbar machen, für Textentwürfe, Zusammenfassungen und Recherche. Öffentliche Chatdienste sind dafür keine Option, weil Unternehmensdaten in die Eingaben geraten. Eine Lizenz pro Kopf bei einem einzelnen Anbieter ist ebenfalls keine: Die Nutzung ist ungleich verteilt, und die Bindung an ein Modell wird in einem Markt teuer, in dem sich die Spitze halbjährlich verschiebt. Der Auftrag ist deshalb, eine eigene Chatanwendung zu konzipieren und umzusetzen — im eigenen Verantwortungsbereich betrieben, datenschutzkonform, mit Zugang zu den jeweils führenden Modellen, angebunden an die Anmeldung des Hauses und mit einem Weg zu den eigenen Daten.
Unser Ansatz
Die Basis ist offene Software, die Arbeit steckt im Anschluss an das Haus. Für die Anwendung selbst gibt es ausgereifte offene Projekte. Wir haben zwei davon bewertet und eines an den Konzern angepasst: Gestaltung im eigenen Erscheinungsbild, Anbindung an die Anmeldung, Administrationsbereich für Rollen und Zugriffe. Eine Eigenentwicklung wäre an dieser Stelle Verschwendung gewesen. Der Wert liegt nicht in der Chatoberfläche, sondern darin, wie sie mit der Umgebung des Hauses verbunden ist.
Modelle über eine Plattform, nicht über einen Anbieter. Die Anwendung spricht nicht direkt mit einem Modellhersteller, sondern mit einer Plattform, die mehrere Anbieter datenschutzkonform bereitstellt. Das klingt nach einem technischen Detail und ist eine strategische Entscheidung: Ein neues Spitzenmodell wird verfügbar, ohne dass Verträge, Architektur oder angefasst werden müssen. Vor der Entscheidung haben wir zwei Plattformwelten gegeneinander gestellt, mit Blick auf Modellauswahl, Betriebsregionen und Preise je Million Token.
Die Berechtigungen kommen aus dem Verzeichnis, nicht aus der Anwendung. Der teuerste Fehler bei internen KI-Anwendungen ist eine zweite Rechtewelt: eine Anwendung, die eigene Nutzer, eigene Gruppen und eigene Zugriffsregeln pflegt und im Laufe der Zeit von der ersten abweicht. Die Anmeldung läuft deshalb über den bestehenden Verzeichnisdienst, und die Zugriffsstufen für Dokumente folgen den Rollen, die es dort schon gibt. Wer im Haus keinen Zugriff auf ein Dokument hat, erreicht es auch über die Chatanwendung nicht.
Entwickelt wird spezifikationsgetrieben, und der Code entsteht KI-gestützt. Am Anfang jeder Umsetzung steht eine Spezifikation: ein versioniertes Dokument, das wie Code geprüft wird, für Technik und Fachbereich gleichermaßen lesbar, in dem Entscheidungen, Sonderfälle und Abwägungen geklärt sind, bevor eine Zeile entsteht. Die Architektur wird nach einem etablierten Rahmenwerk dokumentiert. Der Grund für diese Reihenfolge ist nicht Ordnungsliebe, sondern Prüfbarkeit: Erzeugter Code wächst schneller, als die Zeit reicht, ihn zu lesen. Wer einem Modell nur beschreibt, was er ungefähr will, bekommt schnell Code und bei jedem Durchlauf einen anderen. Die Spezifikation ist zugleich die Dokumentation, die sonst am Ende fehlt — und weil die Anwendung im eigenen Netz vom IT-Dienstleister des Konzerns betrieben wird, ist sie das, was dieser in die Hand bekommt.
Zwei Wege zu den eigenen Daten, weil es zwei Arten von Daten gibt. Unstrukturierte Bestände, also die Dokumente aus der Ablage, laufen über eine Aufbereitungsstrecke in eine Vektordatenbank und werden in der Antwort mit Quelle belegt. Strukturierte Bestände in den Datenbanken werden nicht kopiert, sondern über eine offene Werkzeugschnittstelle angefragt, die die Abfrage ausführt und das Ergebnis zurückgibt. Der Unterschied ist entscheidend: Eine Kennzahl aus einer Datenbank will man aktuell und nachrechenbar haben, nicht als Erinnerung eines Modells.
Abrechnung nach Nutzung heißt, den Zugang nicht rationieren zu müssen. Bei Lizenzen pro Kopf entscheidet die Beschaffung darüber, wer ein Werkzeug ausprobieren darf, und ein Teil der Lizenzen liegt danach brach. Hier zahlt das Haus, was gerechnet wird. Das erlaubt, den Zugang breit zu öffnen und die Nutzung zu beobachten, anstatt vorab zu schätzen, wer sie braucht. Für die nächste Stufe ist das die wichtigere Eigenschaft: Agenten und Auswertungen verbrauchen ungleich mehr als ein Chatfenster, und das lässt sich nur steuern, wenn es gemessen wird.
Das Ergebnis
Eine Chatanwendung, die auf einem eigenen Server beim IT-Dienstleister des Konzerns läuft und die Modelle über eine Plattform bezieht.
Anbieter und Modell lassen sich in der Anwendung mit einem Klick wechseln. Die Anmeldung läuft über den vorhandenen Verzeichnisdienst und nutzt dessen Berechtigungen; eine zweite Benutzerverwaltung entsteht nicht. Für Dokumente gibt es eine Vektordatenbank mit Anbindung an die Dokumentenablage und mit Zugriffsstufen je Dokument, für strukturierte Bestände eine offene Werkzeugschnittstelle auf die Datenbanken. Dazu die Funktionen, die im Alltag den Unterschied machen: Websuche mit Quellenangabe, verwaltete Promptvorlagen, erzeugte Artefakte wie Auswertungen und Dashboards, Bildgenerierung bei Bedarf und ein Administrationsbereich für Rollen und Zugriffe. Abgerechnet wird nach Nutzung. Die Anwendung ist umgesetzt und im Betrieb.
Diese Leistungen steckten im Projekt
Weitere Projekte
Alle Referenzen ansehen


Kontakt
Sprechen Sie uns an
Schreiben Sie uns eine Zeile. Wir ordnen Ihre Frage ein und melden uns.
