Cloudplattformen für Objekterkennung vergleichen

Die Aufgabe

Datenblätter zu Cloudplattformen gibt es reichlich. Es fehlt die Erfahrung, wie sich ein Erkennungsmodell dort wirklich aufsetzen lässt.

Kunde: Automobilhersteller
Branche: Automotive, Mobilität und Logistik
Dauer: rund drei Monate

Plattformen nicht bewertet, sondern je einmal komplett durchlaufen — von den Bildern über das Training bis zum Test

Klassen von Angeboten unterschieden: vollständig integrierter Arbeitsablauf und reine Infrastruktur

Kurz zum Kunden

Premiumhersteller von Fahrzeugen mit weltweiter Produktion. Auftraggeber ist ein Bereich, der Innovation, Digitalisierung und Datenanalyse verantwortet und Verfahren erprobt, bevor sie in die Serienfertigung gehen.

Unsere Lösung

Ein Anbietervergleich aus Datenblättern sagt, was möglich ist. Erst der Durchlauf sagt, wo es hakt.

Die Aufgabe

Der Bereich für Innovation, Digitalisierung und Datenanalyse will wissen, was die großen Cloudplattformen bei der Objekterkennung mit tiefen neuronalen Netzen tatsächlich leisten. Die Antwort ist die Grundlage für die Entscheidung, wo künftige Bilderkennungsvorhaben aufgesetzt werden. Datenblätter und Benchmarks gibt es reichlich. Was fehlt, ist die Erfahrung, wie sich ein Erkennungsmodell dort wirklich aufsetzen lässt, wie viel Vorwissen das verlangt, wo die Grenzen der Anpassung liegen und was der Betrieb kostet.

Unser Ansatz

Nicht lesen, sondern durchlaufen. Auf jeder Plattform haben wir denselben Arbeitsablauf vollständig ausgeführt: Anwendung starten, Bilder hochladen, Objekte kennzeichnen, Modell über Transferlernen trainieren, Ergebnis testen. Genau dabei zeigt sich, was in keiner Übersicht steht — wie schnell erste Ergebnisse kommen, wie brauchbar die Bewertungsmetriken sind, wie gut das Kennzeichnungswerkzeug ist und an welcher Stelle man auf eine Wand läuft.

Dieselbe Referenzhardware für alle drei. Skalierbarkeit und Kosten wurden an einer Hochleistungs-Grafikeinheit gemessen, die alle drei Anbieter im Programm haben, und am selben Standort verglichen. Ohne diese Festlegung vergleicht man Preislisten statt Leistung: Die Angebote unterscheiden sich in Konfiguration, Region und Bindungsdauer so stark, dass jede Zahl für sich genommen belegen kann, was man belegen will.

Zwei Klassen, nicht drei Produkte. Die eigentliche Erkenntnis war keine Rangfolge, sondern eine Unterscheidung: Auf der einen Seite der vollständig integrierte Arbeitsablauf — keine Vorkenntnisse in tiefen neuronalen Netzen nötig, bedienbare Oberfläche, dafür wenig Anpassung, keine Wahl der Hardware und ein Modell, in das man nicht hineinsieht. Auf der anderen Seite reine Infrastruktur — volle Freiheit bei Hardware und Modell, dafür eigene Programmierung. Die richtige Frage ist nicht, welcher Anbieter besser ist, sondern in welcher der beiden Klassen der eigene Anwendungsfall liegt.

Eine Empfehlung, die gegen den günstigsten Preis argumentiert. Die niedrigsten Stundensätze entstehen bei Bindung über ein oder drei Jahre. Davon haben wir abgeraten, und zwar ausdrücklich: Der Markt für Rechenhardware entwickelt sich schneller als eine solche Laufzeit. Wer sich bindet, zahlt im dritten Jahr für Technik, die es längst besser und billiger gibt. Eine Empfehlung, die nur dem Rechenblatt folgt, hätte hier das Gegenteil gesagt.

Das Ergebnis

Ein Vergleich der drei großen Plattformen, bei dem jede nicht bewertet, sondern benutzt worden ist.

Anwendung starten, Bilder hochladen, Objekte kennzeichnen, ein Modell über Transferlernen trainieren, testen. Beurteilt nach Skalierbarkeit und Kosten je Rechenstunde auf identischer Referenzhardware, nach Freiheit bei der Wahl von Modell und Hardware, nach dem Kennzeichnungswerkzeug und danach, wie viel Fachwissen die Bedienung verlangt. Dazu die Unterscheidung, die die Auswahl eigentlich entscheidet — vollständig integrierter Arbeitsablauf gegenüber reiner Infrastruktur —, und eine begründete Empfehlung gegen mehrjährige Bindungen. Übergeben als Ergebnispräsentation.