Wie man eine Coverage-Matrix für einen visuellen Datensatz erstellt

Die Qualität von Datensätzen für Computer Vision hängt von mehr ab als nur von der Anzahl der Bilder. Wenn Teams AI training datasets, kann eine große Sammlung dennoch schwach sein, wenn ihr Beleuchtungsvarianten, Blickwinkel, Objektgrößen, Okklusionen, Kamerabedingungen und Randfälle fehlen, denen das Modell nach der Bereitstellung begegnen wird.

Die bloße Anzahl an Dateien kann die Abdeckung auch überschätzen, wenn viele Beispiele nahezu identisch sind – zum Beispiel, weil sie Duplikate sind oder aus derselben Szene, Fotosession, Aufnahme oder Videosequenz stammen. Die praktische Frage ist, ob der Datensatz genügend verwertbare, hinreichend unabhängige Belege für die Bedingungen enthält, die das Modell bewältigen soll, und ob das Evaluationsset aufzeigen kann, wo das Modell versagt.

Eine Datensatz-Abdeckungsmatrix macht diese Frage zu einem messbaren Audit. Sie kreuzt wichtige Variablen wie Klasse, Beleuchtung, Blickwinkel, Maßstab, Okklusion, Umgebung oder Gerät und dokumentiert dann, wie viele aussagekräftige Belege an jeder Schnittstelle vorhanden sind. Richtig eingesetzt verwandelt sie eine vage Aufforderung nach „more diverse data“ in eine konkrete Entscheidung über Sammlung, Kuratierung, Training oder Evaluation.

Die Abdeckung ist nur ein Aspekt der Qualität von Datensätzen für Computer Vision. Bilddatensätze können zwar eine breite visuelle Abdeckung haben und trotzdem schwach sein, wenn Annotationen ungenau sind, Beispiele stark dupliziert werden, Dateien technisch ungeeignet sind, eng verwandte Szenen zwischen Trainings- und Evaluationssplits durchsickern oder Quellen- und Herkunftsinformationen unvollständig sind.

Eine praktische Überprüfung sollte mehrere Aspekte voneinander abgrenzen:

• Abdeckung: Sind wichtige Klassen und Betriebsbedingungen mit genügend Beispielen vertreten?

• Qualität der Annotationen: Sind Labels und Annotationen korrekt und konsistent genug für die Aufgabe?

• Unabhängigkeit: Überschätzen die rohen Dateizahlen die Anzahl unterschiedlicher Belege?

• Technische Validität: Sind die Dateien für Training und Evaluation verwendbar?

• Dokumentation und Provenienz: Kann der Datensatz verstanden, reproduziert, überprüft und angemessen verwendet werden?

Eine Coverage-Matrix ergänzt daher die Qualitätssicherung von Annotationen, die Deduplizierung, die Validierung der Splits und die Datensatzdokumentation. Sie ersetzt diese nicht.

Diese Konzepte überschneiden sich, beantworten jedoch unterschiedliche Fragen. Die Klassenverteilung beschreibt, wie die Labels verteilt sind. Diversität beschreibt, wie vielfältig die Beispiele insgesamt sind. Abdeckung fragt, ob bestimmte Bedingungen mit ausreichender Beleglage vertreten sind. Repräsentativität fragt, wie gut der Datensatz die für den beabsichtigten Einsatz relevante Population oder den relevanten Betriebskontext widerspiegelt.

Ein Datensatz kann visuell vielfältig sein und trotzdem eine kritische Teilmenge vermissen. Er kann viele Motorräder, viele Nachtaufnahmen und viele Seitenansichten enthalten und doch kaum Motorräder zeigen, die bei Nacht von der Seite abgebildet sind.

Repräsentativität ist nicht dasselbe wie Gleichförmigkeit. Ein Evaluationsset kann absichtlich mehr seltene oder risikoreiche Szenarien enthalten, als ihre natürliche Häufigkeit vermuten lässt, weil diese Szenarien eine verlässliche Messung benötigen.

Illustratives Beispiel: Die Prozentsätze in dieser Heatmap sind hypothetisch und dienen nur dazu, zu zeigen, wie eine Coverage-Matrix schwache Schnittmengen aufdecken kann.

Eine Abdeckungsmatrix für Datensätze ist eine Tabelle oder Heatmap, die einsatzrelevante Variablen kreuzt und die Menge verwertbarer Belege in jeder Zelle dokumentiert. Es gibt keine universelle Matrix, die auf jedes Computer-Vision-Datasets-Projekt anwendbar ist. Die Dimensionen, die Einheit der Belege und die Zielgrößen sollten für die jeweilige Aufgabe definiert werden.

Typische Abdeckungsachsen umfassen:

• Beleuchtung: Tageslicht, künstliches Licht, schwache Beleuchtung, Gegenlicht, gemischte Beleuchtung

• Blickwinkel: Frontal, hinten, seitlich, erhöht, schräg, First-Person

• Entfernung oder Objektskala: nah, mittel, weit, kleines Objekt, teilweiser Bildausschnitt

• Okklusion: keine, teilweise, stark, selbstverdeckend

•  Szenendichte: vereinzelt, mäßig, dicht

•  Bildqualität: sauber, verrauscht, unscharf, komprimiert, über- oder unterbelichtet

•  Kontext: Ort, Wetter, Gerät, Sensor, Hintergrund, Umgebung, Tageszeit

Welche sinnvolle Einheit gezählt wird, hängt ebenfalls vom Projekt ab. Ein Rohbild ist eine Datei, aber nicht unbedingt ein unabhängiger Beleg. Eine Serie von 50 nahezu identischen Fotos kann die Dateianzahl um 50 erhöhen, ohne 50 tatsächlich unterschiedliche Beispiele zu liefern. Dasselbe Problem tritt auf, wenn Hunderte aufeinanderfolgender Frames aus einem Video extrahiert werden.

Aus diesem Grund können einzigartige Szenen, Motive, Quellvideos, Fotoshootings, Standorte, Geräte oder Aufnahmesitzungen aussagekräftiger sein als allein die Dateianzahl.

1. Definieren Sie die Einsatzumgebung

Beginnen Sie mit den Bedingungen, denen das Modell tatsächlich begegnen wird. Beschreiben Sie die Szenen, Motive, Geräte, Umgebungen und Ausfallbedingungen, die das System bewältigen soll. Beginnen Sie nicht nur mit den Metadatenfeldern, die zufällig verfügbar sind.

Ein im Freien eingesetzter Fußgängerdetektor benötigt möglicherweise Nachtaufnahmen, Aufnahmen bei Regen, Schatten, Menschenmengen, teilweise Verdeckungen, Kamerahöhe, Entfernung zur Person, Kleidungsschwankungen und Bewegung. Ein System zur Fabrikinspektion legt möglicherweise mehr Wert auf Produktvariante, Defektart, Oberflächenbeschaffenheit, Kontamination, Beleuchtung, Kameraposition und Defektgröße.

Eine nützliche Abdeckungsdimension liegt in der Regel vor, wenn sie mindestens einen der drei Tests besteht: sie kann plausibel das Modellverhalten verändern; sie stellt ein wichtiges Produktionsszenario dar; oder das Auffinden einer Lücke würde beeinflussen, was das Team als Nächstes sammelt, annotiert, testet oder priorisiert.

Dieser Deployment-first-Ansatz ist konsistent mit dem übergeordneten Prinzip im NIST AI Risk Management Framework, dass KI-Systeme in Bezug auf ihren beabsichtigten Einsatzkontext und das Risiko bewertet werden sollten.

2. Wählen Sie Abdeckungsachsen, die spezifisch genug sind, um Maßnahmen zu ermöglichen

Breite Labels führen zu breiten Schlussfolgerungen. „Schwierige Bilder“ liefert einem Sammlungsteam nur wenig Anhaltspunkte. Schwaches Licht, Bewegungsunschärfe, Blendung, starke Verdeckung, überladene Hintergründe und extreme Blickwinkel können jeweils zu messbaren Beschaffungs- oder Annotierungszielen werden.

Kontinuierliche Variablen können in operative Bereiche gruppiert werden, wenn die Bereiche mit sinnvollen Änderungen im Modellverhalten korrespondieren. Die Objektgröße könnte nach dem Anteil des Bildfeldes, den das Ziel einnimmt, eingeteilt werden. Die Kameradistanz könnte in nah, mittel und fern unterteilt werden.

Vermeiden Sie eine zu hohe Granularität zu Beginn. Eine kleinere Matrix, die gepflegt und genutzt wird, ist wertvoller als eine erschöpfende Taxonomie, die niemand aktualisiert.

3. Zählen Sie nutzbare, unabhängige Belege

Rohvolumen sollte nicht automatisch als effektive Abdeckung betrachtet werden. Überlegen Sie, ob die geeignete Einheit eine einzelne Datei, eine gültige Annotation, ein einzigartiges Subjekt, eine einzigartige Szene, ein Quellvideo, eine Aufnahmesitzung, ein Fotoshooting, ein Standort oder ein Gerät ist.

Für aus Video abgeleitete Datensätze können Quellvideo, Einstellung, Szene, Zeitstempel und Aufnahmesitzung wichtiger sein als die Anzahl der extrahierten Frames. Wo möglich, berichten Sie sowohl das Rohvolumen als auch eine effektive Zählung auf Basis der Einheit, die die aussagekräftige Variation am besten repräsentiert.

4. Legen Sie Ziele fest, bevor Sie entscheiden, was fehlt

Eine Matrix wird erst operativ, wenn das Team definiert, was angemessene Abdeckung bedeutet. Ohne ein Ziel kann eine Zelle mit 2.000 Beispielen mit einer anderen mit 200 Beispielen verglichen werden, aber keine von beiden lässt sich als ausreichend oder unzureichend bewerten.

Ziele können eine Mindestanzahl nutzbarer Beispiele, eine Mindestanzahl unabhängiger Szenen oder Aufnahmesitzungen, Repräsentation über mehrere Geräte oder Umgebungen hinweg und ausreichend zurückgehaltene Beispiele für die Evaluierung kombinieren. Das Risiko sollte diese Ziele beeinflussen. Ein seltenes Szenario, das teure oder sicherheitsrelevante Ausfälle verursacht, verdient möglicherweise mehr Evaluationsabdeckung, als seine natürliche Häufigkeit vermuten lässt.

Eine einfache projektspezifische Berechnung ist:

Zielabdeckungsquote = nutzbare unabhängige Belege / projektspezifisches Ziel

Ein Verhältnis von 1,0 bedeutet, dass das Ziel erreicht wurde. Ein Verhältnis von 0,5 bedeutet, dass die Zelle die Hälfte der erforderlichen Belege enthält. Dies ist eine operative Planungsmetrik, keine universelle Messgröße für die Datensatzqualität.

5. Wandeln Sie Lücken in Sammlungs- oder Kuratierungsaufgaben um

Die Abdeckungsanalyse sollte die Datenpipeline speisen, statt in einem Bericht zu enden. Eine schwache Zelle sollte zu einer konkreten Aufgabe mit einem Verantwortlichen, einer Evidenzeinheit, einer Beschaffungsmethode, einem Ziel und einer Akzeptanzregel werden.

Die Intervention kann Archivsuche, gezielte Stichprobenahme, neue reale Erfassungen, Annotation, synthetische Daten, Augmentation, Neugewichtung im Training oder Erweiterung der Evaluierung sein. Diese Optionen lösen unterschiedliche Probleme. Augmentation kann vorhandene Beispiele variieren, aber sie kann eine nie erfasste Umgebung nicht vollständig ersetzen. Synthetische Daten können helfen, seltene Kombinationen zu erzeugen, sollten aber gegen die reale Ziel-Domäne validiert werden. Neugewichtung verändert die Exposition während des Trainings; sie schafft keine fehlenden Belege.

Hier ist eine Abdeckungsmatrix informativer als eine Reihe von Häufigkeitsdiagrammen. Randhäufigkeiten können gut aussehen, während wichtige Kombinationen fast leer sind.

Bei Datensätzen zur Objekterkennung interagieren Blickwinkel, Maßstab, Beleuchtung, Hintergrund und Okklusion oft miteinander. Ein Datensatz kann viele Motorräder, viele Nachtaufnahmen und viele Seitenansichten enthalten, aber fast keine Motorräder, die nachts von der Seite aufgenommen wurden. Wenn diese Kombination im Einsatz relevant ist, stellt die Lücke ein reales Problem dar, obwohl jede Oberkategorie auf den ersten Blick gut vertreten erscheint.

Besonders relevante Schnittmengen umfassen häufig:

• Objektklasse x Beleuchtung

• Objektklasse x Okklusion

• Beleuchtung x Blickwinkel

• Geografie x Wetter

• Gerätetyp x Bildqualität

• Defekttyp x Produktvariante

• Hintergrundtyp x Objektmaßstab

Kombiniere nicht jede Variable mit jeder anderen. Priorisiere Kombinationen, die wahrscheinlich das Modellverhalten beeinflussen, häufig genug vorkommen, um relevant zu sein, oder im Falle eines Modellversagens bedeutende Folgen haben.

Eine volle Zelle kann dennoch schwach sein

Die Abdeckung sollte nicht mit Nutzbarkeit oder Qualität verwechselt werden. Eine Zelle kann gut bevölkert erscheinen, während ein Großteil ihres Inhalts aus nahezu Duplikaten, wiederholten Serienaufnahmen, aufeinanderfolgenden Videoframes, beschädigten Dateien, schwachen Annotationen, wiederholten Motiven oder schlecht dokumentiertem Quellmaterial besteht.

Hohe Datenmengen können daher schwache Belege verbergen. Wenn eine Zelle 3.000 Dateien aus 20 eng beieinander liegenden Aufnahmesitzungen enthält, während eine andere 1.000 Dateien aus 400 wirklich unterschiedlichen Szenen umfasst, liefert die reine Dateianzahl allein ein unvollständiges Bild.

Normalisieren Sie die Zahlen, damit Ungleichgewichte leicht erkennbar sind

Absolute Zahlen sind nützlich, aber Verhältnisse und Prozentsätze erleichtern den Vergleich der Abdeckung zwischen Klassen und Bedingungen unterschiedlicher Größe.

Eine Zelle kann die Rohanzahl, die unabhängige Anzahl, den Anteil an einer Klasse, den Fortschritt gegenüber einem Ziel oder eine effektive Anzahl nach Duplikatbereinigung anzeigen.

Bei natürlichen Datensätzen sind perfekt gleichmäßige Zellen selten erforderlich. Häufige Szenen sammeln sich oft schneller als Randfälle. Problematisch ist nicht das Ungleichgewicht selbst, sondern wenn es unsichtbar, zufällig oder für die Aufgabe und den Evaluationsplan zu gravierend ist.

Illustratives Beispiel: Die Zahlen in diesem Diagramm sind hypothetisch und dienen nur dazu, zu zeigen, wie ungleichmäßige Abdeckung sichtbar werden kann.

Trainingsdatensätze und Evaluationsdatensätze haben unterschiedliche Aufgaben, daher sollten ihre Abdeckungsanforderungen getrennt gemessen werden. Die Trainingsmatrix fragt, ob das Trainingsset dem Modell ausreichend vielfältige Beispiele zum Lernen bietet. Die Evaluationsmatrix fragt, ob Tests zuverlässig aufdecken können, wo das Modell erfolgreich ist und wo es versagt.

Eine seltene Bedingung kann einen großen Trainingspool erfordern und zusätzlich einen separaten, zurückgehaltenen Ausschnitt, der groß genug ist, um eine aussagekräftige Leistungsschätzung zu ermöglichen. Die Evaluationsabdeckung sollte daher um explizite Bedingungen und schwierige Fälle herum geplant werden, statt als zufälliger Rest der Trainingssammlung behandelt zu werden.

Wenn schwierige Szenarien im Testset kaum vertreten sind, kann die aggregierte Genauigkeit hoch bleiben, während die Leistung gerade dort schlecht sein kann, wo es darauf ankommt. Eine abdeckungsbewusste Evaluation profitiert davon, wenn Metriken nach Beleuchtung, Objektgröße, Gerät, Ort, Blickwinkel, Okklusion, Wetter, Szenendichte oder anderen relevanten Ausschnitten berichtet werden, zusätzlich zur Gesamtbewertung.

Die Coverage-Analyse sollte nicht enden, wenn der erste Datensatz zusammengestellt wurde. Validierungs- und Produktionsfehler decken oft Variablen auf, die während der anfänglichen Erhebung nicht offensichtlich waren.

Wenn ein Modell wiederholt unter einer ursprünglich nicht verfolgten Bedingung schlecht abschneidet, fügen Sie diese Bedingung der Coverage-Spezifikation hinzu und messen Sie die entsprechenden Trainings- und Evaluations-Slices erneut. Das schafft eine Rückkopplungsschleife: Anforderungen aus dem Einsatz prägen die erste Matrix, Modellfehler verfeinern sie, neue Daten schließen die gravierendsten Lücken und spätere Bewertungen prüfen, ob die Änderung geholfen hat.

Eine Abdeckungsmatrix kann Assoziationen sichtbar machen, die eine genauere Untersuchung verdienen. Stellen Sie sich vor, fast jedes positive Beispiel stammt aus Innenaufnahmen, während fast jedes negative aus Außenaufnahmen stammt. Ein Modell könnte den Hintergrund statt des beabsichtigten Objekts lernen.

Ähnliche Shortcut-Risiken können auftreten, wenn eine Klasse stark mit einer bestimmten Kamera, einem Ort, einer Jahreszeit, einer Farbpalette, einer demografischen Gruppe oder einem Bildqualitätsniveau assoziiert ist. Vergleichen Sie die Klassenlabels mit plausiblen Störvariablen und prüfen Sie auf starke Assoziationen.

Eine ungleichmäßige Assoziation ist ein diagnostisches Signal, aber kein Beweis für eine schädliche Verzerrung. Manche Korrelationen sind tatsächlich relevant für die Aufgabe; andere sind Artefakte der Datenerhebung. Die wichtige Frage ist, ob die Beziehung die Leistung unter den Bedingungen verändert, unter denen das System voraussichtlich betrieben werden soll.

Abdeckungsanalysen können schnell unhandlich werden. Zehn Dimensionen mit jeweils mehreren Werten können Tausende oder gar Millionen theoretischer Kombinationen erzeugen, von denen die meisten kein individuelles Erfassungsziel erfordern.

Priorisieren Sie Dimensionen nach ihrem erwarteten Einfluss auf die Modellleistung, ihrer Häufigkeit im Einsatz, den potenziellen Kosten eines Fehlers, der Konsistenz der Messung und danach, ob das Team aufgrund einer entdeckten Lücke handeln kann. Eine 30-Zellen-Matrix, die eine Erfassungsentscheidung verändert, ist nützlicher als eine 30.000-Zellen-Matrix, die niemand pflegt.

Die Abdeckung ändert sich immer dann, wenn Daten hinzugefügt, entfernt, dedupliziert, neu beschriftet, bereinigt oder zwischen Trainings- und Evaluierungssets verschoben werden. Jeder Abdeckungsbericht sollte daher zu einer bestimmten Datensatzversion gehören und, wo möglich, aus strukturierten Metadaten reproduzierbar sein.

Die Dokumentation der Abdeckung sollte neben der umfassenderen Datensatzdokumentation stehen und diese nicht ersetzen. Ansätze wie Datasheets for Datasets und das Data Cards Playbook bieten weitergehende Möglichkeiten, Motivation, Zusammensetzung, Erhebung, Provenienz, beabsichtigte Nutzung, Wartung und weitere Kontextinformationen eines Datensatzes festzuhalten. Eine Abdeckungsmatrix fügt eine enger gefasste operative Frage hinzu: Enthält diese Version genügend Belege für die relevanten Situationen?

Rechte, Lizenzierung, Datenschutz und Provenienz erfordern weiterhin eine gesonderte Prüfung. Visuelle Abdeckung allein legt nicht fest, ob Daten für eine bestimmte Verwendung geeignet oder zulässig sind.

Bevor Sie die Matrix erstellen, schreiben Sie die Messregeln auf. Eine kurze Spezifikation verhindert, dass Nenner, Ziel oder Aufteilungslogik mitten in der Analyse auseinanderdriften.

• Einsatzbereich: Erkennung von Fußgängern im Freien auf städtischen Straßen. Legt fest, welche Bedingungen in die Matrix gehören.

•  Abdeckungsachsen: Beleuchtung x Blickwinkel x Okklusion. Macht wichtige Schnittmengen explizit.

•  Erfassungseinheit: Einzigartige Aufnahmesitzung. Verhindert, dass sich wiederholte Frames die Abdeckung aufblähen.

• Zellenmetrik: Verwendbare Beispiele plus einzigartige Szenen. Trennt Menge von aussagekräftiger Variation.

•  Ziel: Projektdefiniertes Minimum pro Zelle. Wandelt Zählwerte in Akzeptanzkriterien um.

• Status: Ausreichend / grenzwertig / unzureichend / leer. Macht Priorisierung sichtbar; Schwellenwerte bleiben projektspezifisch.

•  Aufteilungsregel: Quelle – gruppiert in Training / Validierung / Test, wo angebracht. Reduziert Datenleck zwischen eng verwandten Beispielen.

• Datensatzversion: Versions-ID plus Manifestdatum. Macht die Analyse über die Zeit reproduzierbar.

Eine einfache Abdeckungsprüfung für ein bestehendes visuelles Archiv

Ein nützlicher erster Schritt ist der Vergleich der Anzahl der Roh-Assets mit unabhängigen Belegen. Wählen Sie eine definierte Stichprobe, gruppieren Sie zusammengehörige Dateien nach Szene oder Aufnahme und berechnen Sie sowohl Randverteilungen als auch eine kleine Anzahl wertvoller Überschneidungen.

Dokumentieren Sie die Stichprobendefinition, die Gruppierungsregel, die Abdeckungsachsen, den Umgang mit mehrdeutigen Fällen, die Anzahl der Rohdateien, die Anzahl der unabhängigen Belege und die schwächsten unter diesen wertvollen Überschneidungen. Wenn die Prüfung über verschiedene Datensatzversionen hinweg wiederholt wird, können Teams sehen, ob schwache Zellen tatsächlich besser wurden, anstatt davon auszugehen, dass allgemeines Wachstum automatisch eine bessere Abdeckung bedeutet.

Checkliste zur Abdeckung von Computer-Vision-Datensätzen

• Klassen: Sind die wichtigen Klassen mit ausreichend verwertbaren Belegen vertreten?

• Blickwinkel: Sind Front-, Seiten-, schräge- und erhöhte Ansichten sowie andere erforderliche Blickwinkel abgedeckt?

• Beleuchtung: Sind schwache Beleuchtung, Gegenlicht, künstliche Beleuchtung und gemischte Lichtverhältnisse vertreten?

• Skalierung: Sind Nah-, Mittel-, Fern- und Kleinobjektfälle eingeschlossen?

• Okklusion: Sind partielle und starke Okklusionen vertreten?

• Umgebung: Sind Einsatzorte, Hintergründe, Wetterbedingungen und Geräte abgedeckt?

• Bildqualität: Werden Unschärfe, Kompression, Belichtung und Sensordifferenzen dort berücksichtigt, wo relevant?

• Unabhängigkeit: Werden Zählungen durch Duplikate, verwandte Frames oder wiederholte Szenen aufgebläht?

• Randfälle: Werden seltene, aber kostspielige Bedingungen gezielt einbezogen?

• Evaluation: Enthält der Testdatensatz die schwierigen Ausschnitte, die wirklich zählen?

• Versionierung: Lässt sich der Abdeckungsbericht für eine bestimmte Datensatzveröffentlichung reproduzieren?

Was ist eine Abdeckungsmatrix für Datensätze?

Eine Abdeckungsmatrix für Datensätze ist eine Tabelle oder Heatmap, die misst, wie gut ein Datensatz wichtige Kombinationen von Klassen, Bedingungen, Umgebungen und Randfällen repräsentiert. Sie ist am nützlichsten, wenn jede Zelle eine klar definierte Evidenzeinheit und ein projektspezifisches Ziel hat, anstatt nur als einfache Dateianzahl behandelt zu werden.

Wie misst man die Abdeckung eines Datensatzes in der Computer-Vision?

Beginnen Sie mit den Einsatzbedingungen, wählen Sie Variablen, die das Modellverhalten beeinflussen können, zählen Sie wichtige Schnittmengen mithilfe nutzbarer und hinreichend unabhängiger Beispiele und vergleichen Sie diese Zählungen mit projektdefinierten Zielen. Prozentangaben oder Verhältnisse können Lücken leichter vergleichbar machen, aber der Nenner sollte die Aufgabe widerspiegeln und nicht eine willkürliche globale Formel.

Worin besteht der Unterschied zwischen Datensatzabdeckung und Datensatzdiversität?

Datensatzdiversität beschreibt, wie vielfältig die Beispiele insgesamt sind. Datensatzabdeckung fragt, ob diese Variation die spezifischen Bedingungen in ausreichendem Maße enthält, die für den beabsichtigten Einsatz erforderlich sind. Eine Sammlung kann deshalb vielfältig sein und trotzdem ein wichtiges betriebliches Szenario vermissen.

Wie erkennt man, ob ein Computer-Vision-Datensatz repräsentativ ist?

Repräsentativität hängt vom beabsichtigten Nutzungskontext ab. Vergleichen Sie den Datensatz mit den relevanten Objekten, Umgebungen, Geräten, Bedingungen und Betriebsszenarien, die im Einsatz zu erwarten sind, und dokumentieren Sie wichtige Unterschiede. Evaluationsmengen können seltene oder hochriskante Bedingungen bewusst überrepräsentieren, wenn genügend Beispiele benötigt werden, um diese Szenarien verlässlich zu messen.

Wie viele Bilder benötigt ein Computer-Vision-Datensatz?

Es gibt keine universelle Bildanzahl. Die Anforderungen hängen von der Schwierigkeit der Aufgabe, der Anzahl der Klassen, der Variation innerhalb der Klassen, der Qualität der Annotationen, der Unabhängigkeit der Beispiele, der Variabilität der Einsatzbedingungen, den Modell- und Trainingsentscheidungen sowie der Präzision, die die Evaluation erfordert, ab. Ein praktischer Ansatz ist, anfängliche Abdeckungsziele zu definieren, ein Pilotmodell zu trainieren und zu evaluieren und dann rund um unterrepräsentierte Bedingungen und beobachtete Fehler weiter auszubauen.

Können Datenaugmentation oder synthetische Daten eine Abdeckungslücke schließen?

Manchmal, aber keines von beiden ist ein automatischer Ersatz für fehlende Evidenz aus der realen Welt. Datenaugmentation kann Variation um bereits vorhandene Beispiele herum hinzufügen. Synthetische Daten können helfen, seltene oder kontrollierte Szenarien zu erzeugen. Beides sollte letztlich danach bewertet werden, ob es die Leistung bei der beabsichtigten Echtwelt-Aufgabe verbessert.

Behandle die Abdeckung visueller Daten als einen fortlaufenden Prozess

Kein visueller Datensatz bleibt für immer vollständig. Produkte ändern sich, Kameras bewegen sich, Einsatzumgebungen erweitern sich und Modellfehler offenbaren Variablen, die bei der ursprünglichen Sammlung nicht offensichtlich waren. Die Abdeckung sollte daher neu berechnet werden, sobald sich sowohl der Datensatz als auch das System ändern.

Die beste Abdeckungsmatrix ist nicht die mit den meisten Dimensionen. Sie ist diejenige, die die nächste Entscheidung verändert: was gesammelt, kuratiert, gelabelt, für die Evaluation zurückgehalten oder nicht mehr gesammelt wird, weil bereits ausreichende Evidenz vorliegt.

Fünf Prinzipien, die man im Hinterkopf behalten sollte:

✓ Klassenbalance ist nicht Bedingungsabdeckung.

✓ Dateianzahl ist kein unabhängiger Beleg.

✓ Eine volle Matrixzelle kann trotzdem Daten von schlechter Qualität enthalten.

✓ Eine Abdeckungslücke kann nicht ohne ein Ziel bewertet werden.

✓ Trainingsabdeckung und Evaluationsabdeckung beantworten unterschiedliche Fragen.

Sobald eine schwache Zelle spezifisch genug ist, um — zum Beispiel Gabelstapler in Seitenansicht bei schwachem Licht mit teilweiser Verdeckung — zu beschreiben, kann sie zu einer Beschaffungsanforderung werden, anstatt in einer vagen Aufforderung nach mehr Daten zu münden.

Ein nützliches Briefing kann die erforderliche Anzahl unabhängiger Szenen, Zielumgebungen, erlaubte Geräte oder Sensoren, Anforderungen an die Objektgröße, Annotationsregeln, Anforderungen an Quelle und Rechte, Trennung von Training und Test sowie Abnahmekriterien festlegen.

Wenn die benötigten Beispiele bereits in einem visuellen Archiv vorhanden sind, kann eine gezielte Kuration ausreichen. Fehlt die Kombination, kann eine neue Sammlung realer Bilder oder Videos erforderlich sein. Für Projekte, die externe Beschaffung erfordern, können die Image- und Video-Datasets von Wavebreak Media um explizite Anforderungen an Motiv, Umfeld, Blickwinkel, Metadaten, Aufteilung und Abdeckung herum geplant werden, anstatt eine generische Aufforderung nach mehr Dateien zu stellen.

Diese Anforderungen vor der Auswahl oder Erfassung zu definieren, erleichtert die Beurteilung, ob ein gelieferter Datensatz wirklich breiter, unabhängiger und nützlicher ist, statt einfach nur größer zu sein.