La qualité d'un jeu de données pour la vision par ordinateur ne dépend pas uniquement du nombre d'images. Lorsque les équipes évaluent ensembles de données d'entraînement pour l'IA, une grande collection peut néanmoins être faible si elle ne couvre pas les différents éclairages, points de vue, échelles des objets, occlusions, conditions de la caméra et cas limites auxquels le modèle sera confronté après son déploiement.

Le simple nombre de fichiers peut aussi exagérer la couverture lorsque de nombreux exemples sont très proches — par exemple, des doublons ou des images issues de la même scène, d'une séance photo, d'une session de capture ou d'une séquence vidéo. La question pratique est de savoir si le jeu de données contient suffisamment d'exemples utilisables et suffisamment indépendants pour couvrir les conditions que le modèle est censé gérer, et si le jeu d'évaluation peut révéler où le modèle échoue.

Une matrice de couverture du jeu de données transforme cette question en un audit mesurable. Elle croise des variables importantes telles que la classe, l'éclairage, le point de vue, l'échelle, l'occlusion, l'environnement ou le dispositif, puis enregistre le nombre d'exemples significatifs présents à chaque intersection. Bien utilisée, elle transforme une demande vague de « données plus diversifiées » en une décision concrète de collecte, de curation, d'entraînement ou d'évaluation.

Qu'est-ce qui caractérise un jeu de données de vision par ordinateur de haute qualité ?

La couverture n'est qu'une partie de la qualité d'un ensemble de données de vision par ordinateur. Les ensembles de données d'images peuvent présenter une large couverture visuelle et rester néanmoins faibles si les annotations sont inexactes, si les exemples sont fortement dupliqués, si les fichiers sont techniquement inadaptés, si des scènes étroitement liées se retrouvent à la fois dans les partitions d'entraînement et d'évaluation, ou si les informations sur la source et la provenance sont incomplètes.

Une revue pratique devrait distinguer plusieurs questions :

• Couverture : Les classes importantes et les conditions d'exploitation sont-elles représentées avec suffisamment d'exemples ?

• Qualité des annotations : Les étiquettes et annotations sont-elles correctes et suffisamment cohérentes pour la tâche ?

• Indépendance : Les décomptes bruts de fichiers surestiment-ils le nombre d'exemples distincts ?

• Validité technique : Les fichiers sont-ils utilisables pour l'entraînement et l'évaluation ?

• Documentation et provenance : Le jeu de données peut-il être compris, reproduit, examiné et utilisé de manière appropriée ?

Une matrice de couverture complète vient donc compléter l'assurance qualité des annotations, la déduplication, la validation des partitions et la documentation du jeu de données. Elle ne les remplace pas.



Couverture du jeu de données vs diversité, équilibre des classes et représentativité

Ces concepts se recoupent, mais ils répondent à des questions différentes. L'équilibre des classes décrit comment les étiquettes sont réparties. La diversité décrit à quel point les exemples sont variés dans l'ensemble. La couverture évalue si les conditions spécifiées sont représentées par un nombre suffisant d'exemples. La représentativité examine dans quelle mesure le jeu de données reflète la population ou le contexte d'exploitation pertinent pour l'utilisation prévue.

Un jeu de données peut être visuellement varié et pourtant manquer d'un sous-ensemble critique. Il peut contenir de nombreuses motos, de nombreuses images de nuit et de nombreuses vues latérales, et pourtant presque aucune moto montrée de côté la nuit. Chaque catégorie de haut niveau peut sembler saine alors que les intersections importantes restent peu représentées.

La représentativité n'est pas la même chose que l'uniformité. Un ensemble d'évaluation peut délibérément contenir davantage de scénarios rares ou à haut risque que ne le laisserait supposer leur fréquence naturelle, car ces scénarios nécessitent une mesure fiable.

Carte thermique montrant les pourcentages de performance selon les conditions d'éclairage et les angles de caméra, y compris en plein jour, en faible luminosité, en intérieur sous éclairage artificiel et en contre-jour.

Exemple illustratif : les pourcentages figurant sur cette carte thermique sont hypothétiques et n'ont été inclus que pour montrer comment une matrice de couverture peut mettre en évidence des intersections faibles.

Qu'est-ce qu'une matrice de couverture d'un jeu de données ?

Une matrice de couverture d'un jeu de données est un tableau ou une carte thermique qui croise des variables pertinentes pour le déploiement et qui enregistre la quantité de preuves exploitables dans chaque cellule. Il n'existe pas de matrice universelle applicable à chaque projet de jeu de données de vision par ordinateur. Les dimensions, l'unité de preuve et les cibles doivent être définies pour la tâche.

Les axes de couverture typiques incluent :

• Éclairage: lumière du jour, lumière artificielle, faible luminosité, contre-jour, éclairage mixte

• Point de vue: avant, arrière, latéral, en hauteur, oblique, à la première personne

• Distance ou échelle de l'objet: proche, moyen, éloigné, petit objet, partiellement dans le cadre

• Occlusion: aucune, partielle, sévère, auto-occlusion

•  Densité de la scène: isolée, modérée, encombrée

•  Qualité de l'image: nette, bruitée, floue, compressée, surexposée ou sous-exposée

•  Contexte: emplacement, météo, appareil, capteur, arrière-plan, environnement, heure de la journée

L'unité utile comptée dépend aussi du projet. Une image brute est un fichier, mais ce n'est pas forcément une preuve indépendante. Une rafale de 50 photographies presque identiques peut augmenter le nombre de fichiers de 50 sans fournir 50 exemples réellement différents. Le même problème se pose lorsque des centaines d'images consécutives sont extraites d'une vidéo.

Pour cette raison, une unité telle qu'une scène, un sujet, une vidéo source, une séance photo, un lieu, un appareil ou une session de capture unique peut être plus informative que le seul décompte de fichiers.



Comment construire une matrice de couverture d'un jeu de données en cinq étapes

Un photographe de rue capture des piétons et des cyclistes à une intersection très fréquentée de la ville, avec des gratte-ciel baignés par la lumière chaude de l'après-midi.

1. Définir l'environnement de déploiement

Commencez par les conditions que le modèle rencontrera réellement. Décrivez les scènes, les sujets, les appareils, les environnements et les conditions d'échec que le système est censé gérer. Ne partez pas uniquement des champs de métadonnées disponibles.

Un détecteur de piétons en extérieur peut nécessiter des scènes nocturnes, de la pluie, des ombres, des foules, des occlusions partielles, la hauteur de la caméra, la distance au sujet, des variations de vêtements et du mouvement. Un système d'inspection en usine peut accorder plus d'importance à la variante de produit, au type de défaut, à la finition de surface, à la contamination, à l'éclairage, à la position de la caméra et à la taille du défaut.

Une dimension de couverture utile satisfait normalement au moins un des trois tests suivants : elle peut vraisemblablement changer le comportement du modèle ; elle représente un scénario de production important ; ou le fait de constater une lacune modifierait ce que l'équipe collecte, étiquette, teste ou priorise ensuite.

Cette approche, axée d'abord sur le déploiement, est cohérente avec le principe plus général du NIST AI Risk Management Framework selon lequel les systèmes d'IA doivent être évalués en relation avec leur contexte d'utilisation et les risques.

2. Choisir des axes de couverture suffisamment précis pour agir

Des étiquettes larges produisent des conclusions larges. « Images difficiles » donne très peu d'éléments exploitables à une équipe de collecte. Faible luminosité, flou de mouvement, éblouissement, occlusion sévère, arrière-plans encombrés et points de vue extrêmes peuvent chacun devenir des objectifs mesurables de sourcing ou d'annotation.

Les variables continues peuvent être regroupées en plages opérationnelles lorsque ces plages correspondent à des changements significatifs du comportement du modèle. La taille d'un objet peut être classée selon la proportion du cadre occupée par la cible. La distance de la caméra peut être catégorisée en proche, moyenne et éloignée.

Évitez une granularité excessive au départ. Une matrice plus petite qui est maintenue et utilisée vaut plus qu'une taxonomie exhaustive que personne ne met à jour.

3. Compter des preuves utilisables et indépendantes

Le volume brut ne doit pas être automatiquement considéré comme une couverture effective. Réfléchissez à l'unité appropriée : un fichier individuel, une annotation valide, un sujet unique, une scène unique, une vidéo source, une session de capture, une séance photo, un lieu ou un appareil.

Pour les jeux de données dérivés de vidéos, la vidéo source, la prise, la scène, l'horodatage et la session de capture peuvent avoir davantage d'importance que le nombre d'images extraites. Dans la mesure du possible, indiquez à la fois le volume brut et un décompte effectif basé sur l'unité qui représente le mieux la variation significative.

4. Fixer des objectifs avant de décider ce qui manque

Une matrice devient opérationnelle uniquement lorsque l'équipe définit ce que signifie une couverture adéquate. Sans objectif, une cellule contenant 2 000 exemples et une autre contenant 200 exemples peuvent être comparées, mais aucune ne peut être jugée suffisante ou insuffisante.

Les objectifs peuvent combiner un nombre minimum d'exemples utilisables, un nombre minimum de scènes ou de sessions de capture indépendantes, une représentation sur plusieurs appareils ou environnements, et suffisamment d'exemples mis de côté pour l'évaluation. Le risque doit influencer ces objectifs. Un scénario rare qui provoque des échecs coûteux ou liés à la sécurité peut mériter une couverture d'évaluation plus importante que ne le suggérerait sa fréquence naturelle.

Un calcul simple spécifique au projet est :

Ratio de couverture cible = preuves indépendantes utilisables / cible définie par le projet

Un ratio de 1,0 signifie que l'objectif a été atteint. Un ratio de 0,5 signifie que la cellule contient la moitié des preuves requises. Il s'agit d'une métrique opérationnelle de planification, pas d'une mesure universelle de la qualité d'un jeu de données.

5. Transformer les lacunes en tâches de collecte ou de curation

L'analyse de couverture doit alimenter le pipeline de données plutôt que de s'achever par un rapport. Une cellule faible doit devenir une tâche spécifique avec un responsable, une unité de preuve, une méthode d'approvisionnement, un objectif et une règle d'acceptation.

L'intervention peut être une recherche d'archives, un échantillonnage ciblé, une nouvelle capture en conditions réelles, une annotation, des données synthétiques, de l'augmentation, un rééquilibrage de l'entraînement ou une extension de l'évaluation. Ces options résolvent des problèmes différents. L'augmentation peut s'appuyer sur des exemples déjà existants, mais elle ne peut pas entièrement remplacer un environnement qui n'a jamais été capturé. Les données synthétiques peuvent aider à créer des combinaisons rares, mais elles doivent être validées par rapport au domaine cible réel. Le rééquilibrage modifie l'exposition pendant l'entraînement ; il ne crée pas de preuves manquantes.

Diagramme de flux décrivant cinq étapes pour l'équilibrage d'un jeu de données : définir le cas d'utilisation, choisir les axes de couverture, compter et normaliser, fixer des seuils d'écart et collecter ou rééquilibrer.

Mesurez les intersections, pas seulement les catégories individuelles

Des photographes capturent des motos et des voitures roulant sous une forte pluie dans une rue de la ville au crépuscule, les lumières se reflétant sur la chaussée mouillée.

C'est là qu'une matrice de couverture devient plus informative qu'un ensemble de graphiques de fréquence. Les totaux marginaux peuvent sembler solides alors que des combinaisons importantes sont presque vides.

Pour les jeux de données de reconnaissance d'objets, le point de vue, l'échelle, l'éclairage, l'arrière-plan et l'occlusion interagissent souvent. Un jeu de données peut contenir de nombreuses motos, de nombreuses images de nuit et de nombreux profils latéraux, mais presque aucune moto vue de côté, la nuit. Si cette combinaison a de l'importance lors du déploiement, le manque est réel même si chaque catégorie principale semble bien représentée.

Les intersections à forte valeur incluent souvent :

• Classe d'objet x éclairage

• Classe d'objet x occlusion

• Éclairage x point de vue

• Géographie x météo

• Type d'appareil x qualité d'image

• Type de défaut x variante de produit

• Type d'arrière-plan x échelle de l'objet

Ne croisez pas chaque variable avec toutes les autres. Priorisez les combinaisons susceptibles d'influencer le comportement du modèle, qui se produisent assez souvent pour être importantes ou qui entraînent des conséquences significatives en cas d'échec du modèle.

Une cellule pleine peut quand même être une cellule faible

La couverture ne doit pas être confondue avec l'utilisabilité ou la qualité. Une cellule peut sembler bien fournie alors qu'une grande partie de son contenu est constituée de quasi-doublons, d'images en rafale répétées, d'images vidéo consécutives, de fichiers corrompus, d'annotations faibles, de sujets ou de lieux répétés, ou de matériel source mal documenté.

Un volume élevé peut donc masquer des lacunes. Si une cellule contient 3 000 fichiers issus de 20 sessions de capture très rapprochées tandis qu'une autre contient 1 000 fichiers provenant de 400 scènes réellement différentes, le seul décompte brut de fichiers donne une image incomplète.

Normalisez les chiffres pour que le déséquilibre soit facile à repérer

Les comptes absolus sont utiles, mais les ratios et pourcentages facilitent la comparaison de la couverture entre des classes et des conditions de taille très différentes. Une cellule peut afficher le nombre brut, le décompte indépendant, la part d'une classe, l'avancement vers un objectif ou le décompte effectif après déduplication.

Les jeux de données naturels ont rarement besoin de cellules parfaitement uniformes. Les scènes courantes s'accumulent souvent plus rapidement que les cas limites. Le problème n'est pas le déséquilibre en soi ; c'est un déséquilibre invisible, accidentel ou trop important pour la tâche et le plan d'évaluation.

Graphique à barres horizontales montrant le nombre d'exemples utilisables répartis entre cinq catégories de scènes, les scènes courantes étant les plus fréquentes et l'occlusion la moins fréquente.

Exemple illustratif : les valeurs de ce graphique sont hypothétiques et ne servent qu'à montrer comment une couverture inégale peut devenir visible

Maintenez la couverture d'entraînement et la couverture d'évaluation séparées.

Les jeux de données d'entraînement et les jeux d'évaluation ont des rôles différents; leurs exigences de couverture doivent donc être mesurées séparément. La matrice d'entraînement vise à déterminer si le modèle dispose de preuves suffisamment variées pour apprendre. La matrice d'évaluation vise à déterminer si les tests peuvent révéler de façon fiable où le modèle réussit et échoue.

Une condition rare peut nécessiter un important jeu d'entraînement et, séparément, une portion réservée et contrôlée suffisamment grande pour permettre une estimation de performance utile. La couverture de l'évaluation doit donc être planifiée autour de conditions explicites et de cas difficiles plutôt que d'être considérée comme le reliquat aléatoire de l'ensemble d'entraînement.

Si les scénarios difficiles sont à peine représentés dans le jeu de test, la précision globale peut rester élevée alors que les performances sont mauvaises précisément là où cela compte. Une évaluation prenant en compte la couverture gagne à rapporter des indicateurs par éclairage, taille de l'objet, appareil, emplacement, angle de vue, occlusion, météo, densité de la scène ou autres tranches pertinentes, en plus d'un score global.

Utiliser les échecs du modèle pour mettre à jour les priorités de couverture

L'analyse de couverture ne doit pas s'achever lorsque le premier jeu de données est constitué. Les échecs en validation et en production révèlent souvent des variables qui n'étaient pas évidentes lors de la collecte initiale.

Si un modèle obtient de mauvais résultats de façon répétée sur une condition qui n'était pas suivie à l'origine, ajoutez cette condition à la spécification de couverture et mesurez à nouveau les tranches d'entraînement et d'évaluation correspondantes. Cela crée une boucle de rétroaction : les exigences de déploiement façonnent la première matrice, les erreurs du modèle la précisent, de nouvelles données comblent les lacunes les plus significatives, et des évaluations ultérieures vérifient si cette modification a été bénéfique.

Utilisez la matrice pour examiner les raccourcis et les biais potentiels dans le jeu de données

Une matrice de couverture peut révéler des associations qui méritent d'être examinées de plus près. Imaginez que presque tous les exemples positifs aient été capturés à l'intérieur tandis que presque tous les exemples négatifs proviennent de scènes à l'extérieur. Un modèle peut apprendre l'arrière-plan plutôt que l'objet visé.

Des risques de raccourcis similaires peuvent apparaître lorsqu'une classe est fortement associée à un seul appareil photo, à un lieu, à une saison, à une palette de couleurs, à un groupe démographique ou à un niveau de qualité d'image. Croisez les étiquettes de classe avec des variables de nuisance plausibles et inspectez les associations fortes.

Une association inégale est un signal diagnostique, pas une preuve d'un biais préjudiciable. Certaines corrélations sont réellement pertinentes pour la tâche ; d'autres sont des artefacts de la collecte. La question importante est de savoir si cette relation modifie les performances dans les conditions où le système est censé fonctionner.

Évitez le piège combinatoire

L'analyse de couverture peut rapidement devenir ingérable. Dix dimensions, chacune avec plusieurs valeurs, peuvent créer des milliers ou des millions de combinaisons théoriques, dont la plupart ne nécessitent pas une cible de collecte individuelle.

Priorisez les dimensions selon leur influence prévue sur les performances du modèle, leur fréquence en production, le coût d'une défaillance, la cohérence des mesures et la capacité de l'équipe à agir sur un écart identifié. Une matrice de 30 cellules qui modifie une décision de collecte est plus utile qu'une matrice de 30 000 cellules que personne n'entretient.


Associer la couverture aux versions des jeux de données et à la documentation

La couverture change chaque fois que des données sont ajoutées, supprimées, dédupliquées, réétiquetées, nettoyées ou réaffectées entre les ensembles d'entraînement et d'évaluation. Chaque rapport de couverture devrait donc appartenir à une version spécifique du jeu de données et être reproductible à partir des métadonnées structurées lorsque cela est possible.

La documentation de la couverture devrait s'accompagner de la documentation plus générale du jeu de données plutôt que de la remplacer. Des approches telles que Datasheets for Datasets et le Data Cards Playbook offrent des moyens plus larges d'enregistrer la motivation, la composition, la collecte, la provenance, l'utilisation prévue, la maintenance et d'autres éléments de contexte du jeu de données. Une matrice de couverture ajoute une question opérationnelle plus restreinte : cette version contient-elle suffisamment de preuves pour les situations qui comptent ?

Les droits, les licences, la confidentialité et la provenance nécessitent toujours un examen séparé. La couverture visuelle n'établit pas à elle seule que les données sont appropriées ou autorisées pour une utilisation particulière.

Spécification pratique d'une matrice de couverture

Avant de construire la matrice, notez les règles de mesure. Une courte spécification empêche le dénominateur, la cible ou la logique de séparation de dériver au cours de l'analyse.

• Portée de déploiement: Détection des piétons en extérieur dans des rues urbaines. Définit quelles conditions font partie de la matrice.

•  Axes de couverture: Éclairage x point de vue x occlusion. Rend explicites les intersections importantes.

•  Unité d'enregistrement: Session de capture unique. Évite que des images répétées gonflent la couverture.

• Métrique de cellule: Exemples utilisables plutôt que scènes uniques. Sépare le volume de la variation significative.

•  Cible: Minimum par cellule défini par le projet. Transforme les comptages en critères d'acceptation.

• Statut: Adéquat / limite / insuffisant / vide. Rend la priorisation visible ; les seuils restent spécifiques au projet.

•  Règle de séparation: Source : regrouper train / validation / test lorsque cela est approprié. Réduit les fuites entre exemples étroitement liés.

• Version du jeu de données: ID de version et date du manifeste. Permet de rendre l'analyse reproductible dans le temps.

Un audit de couverture simple pour une archive visuelle existante

Un premier passage utile consiste à comparer le nombre brut d'éléments avec des preuves indépendantes. Sélectionnez un échantillon défini, regroupez les fichiers apparentés par scène ou session de capture, et calculez à la fois les distributions marginales et un petit ensemble d'intersections à forte valeur.

Documentez la définition de l'échantillon, la règle de regroupement, les axes de couverture, le traitement des cas ambigus, le nombre brut de fichiers, le nombre d'éléments de preuve indépendants, et les intersections de forte valeur les plus faibles. Si l'audit est répété sur plusieurs versions du jeu de données, les équipes peuvent vérifier si les cellules faibles se sont réellement améliorées plutôt que de supposer que la croissance globale équivaut à une meilleure couverture.

Liste de contrôle de la couverture d'un jeu de données pour la vision par ordinateur

• Classes: Les classes importantes sont-elles représentées avec suffisamment d'éléments exploitables ?

• Angles de vue :Les vues de face, de profil, obliques, en hauteur et autres vues requises sont-elles couvertes ?

• Éclairage :Les situations de faible luminosité, de contre‑jour, d'éclairage artificiel et d'éclairage mixte sont-elles représentées ?

• Échelle :Les cas de gros plan, de plan moyen, de grande distance et d'objets de petite taille sont-ils inclus ?

• Occlusion :Les occlusions partielles et sévères sont-elles représentées ?

• Environnement :Les lieux de déploiement, les arrière‑plans, les conditions météorologiques et les dispositifs sont‑ils couverts ?

• Qualité d'image :Le flou, la compression, l'exposition et les différences de capteur sont‑ils représentés lorsque c'est pertinent ?

• Indépendance :Les décomptes sont‑ils gonflés par des doublons, des images liées ou des scènes répétées ?

• Cas limites :Les conditions rares mais coûteuses sont‑elles délibérément incluses ?

• Évaluation :L'ensemble de test contient‑il les sous‑ensembles difficiles qui comptent ?

• Gestion des versions :Le rapport de couverture peut‑il être reproduit pour une version spécifique du jeu de données ?

FAQ sur la qualité des jeux de données en vision par ordinateur

Une photographe animalière saisit des hérons et des oiseaux d'eau dans un marais embrumé entouré de roseaux et de montagnes lointaines.

Qu'est-ce qu'une matrice de couverture d'un jeu de données ?

Une matrice de couverture d'un jeu de données est un tableau ou une carte de chaleur qui mesure dans quelle mesure un jeu de données représente des combinaisons importantes de classes, de conditions, d'environnements et de cas limites. Elle est particulièrement utile lorsque chaque cellule correspond à une unité de preuve clairement définie et à un objectif spécifique du projet, plutôt que d'être traitée comme un simple décompte de fichiers.

Comment mesure-t-on la couverture d'un jeu de données en vision par ordinateur ?

Commencez par les conditions de déploiement, choisissez des variables susceptibles d'influencer le comportement du modèle, comptez les intersections importantes en utilisant des exemples exploitables et suffisamment indépendants les uns des autres, et comparez ces décomptes aux objectifs définis par le projet. Les pourcentages ou les ratios peuvent faciliter la comparaison des lacunes, mais le dénominateur doit refléter la tâche plutôt qu'une formule globale arbitraire.

Quelle est la différence entre couverture et diversité d'un jeu de données ?

La diversité d'un jeu de données décrit à quel point les exemples sont variés dans l'ensemble. La couverture d'un jeu de données se demande si cette variation inclut en quantités suffisantes les conditions spécifiques requises pour le déploiement prévu. Une collection peut donc être diverse et pourtant manquer d'un scénario opérationnel important.

Comment savoir si un jeu de données en vision par ordinateur est représentatif ?

La représentativité dépend du contexte d'utilisation prévu. Comparez le jeu de données aux sujets, environnements, dispositifs, conditions et scénarios d'exploitation pertinents attendus en production, puis documentez les différences importantes. Les jeux d'évaluation peuvent délibérément surreprésenter des conditions rares ou à haut risque lorsque suffisamment d'exemples sont nécessaires pour mesurer ces scénarios de manière fiable.

Combien d'images un jeu de données en vision par ordinateur doit-il contenir ?

Il n'existe pas de nombre universel d'images. Les besoins dépendent de la difficulté de la tâche, du nombre de classes, de la variation intra-classe, de la qualité des annotations, de l'indépendance des exemples, de la variabilité du déploiement, des choix de modèle et d'entraînement, et de la précision requise pour l'évaluation. Une approche pratique consiste à définir des objectifs initiaux de couverture, entraîner et évaluer un modèle pilote, puis étendre la collecte autour des conditions sous-représentées et des échecs observés.

L'augmentation ou les données synthétiques peuvent-elles combler une lacune de couverture ?

Parfois, mais aucune des deux ne constitue un substitut automatique aux preuves manquantes du monde réel. L'augmentation peut ajouter de la variation autour d'exemples déjà existants. Les données synthétiques peuvent aider à créer des scénarios rares ou contrôlés. Les deux doivent finalement être jugées sur leur capacité à améliorer les performances sur la tâche réelle visée.

Considérez la couverture des données visuelles comme un processus vivant

Aucun jeu de données visuel ne reste complet indéfiniment. Les produits évoluent, les caméras changent d'emplacement, les environnements de déploiement s'étendent, et les échecs du modèle révèlent des variables qui n'étaient pas évidentes lorsque la collecte initiale a été réalisée. La couverture doit donc être recalculée à mesure que le jeu de données et le système changent.

La meilleure matrice de couverture n'est pas celle qui a le plus de dimensions. C'est celle qui modifie la décision suivante : quoi collecter, sélectionner, annoter, mettre de côté pour l'évaluation, ou arrêter de collecter parce que l'on dispose déjà de preuves suffisantes.

Cinq principes sont à garder en tête :

✓ L'équilibre des classes n'est pas la couverture des conditions.

✓ Le nombre de fichiers n'est pas une preuve d'indépendance.

✓ Une cellule de matrice pleine peut quand même contenir des données de mauvaise qualité.

✓ Une lacune de couverture ne peut pas être évaluée sans objectif défini.

✓ La couverture d'entraînement et la couverture d'évaluation répondent à des questions différentes.

De l'analyse de couverture à une fiche de jeu de données

Un photographe animalier examine et trie des tirages de photos de nature, qu'il classe dans les catégories « à revoir », « doublon » et « valide », dans un espace de travail en plein air en montagne.

Une fois qu'une cellule faible est suffisamment précise pour décrire — par exemple des chariots élévateurs vus de côté, en faible luminosité et avec occlusion partielle — elle peut devenir une exigence d'approvisionnement plutôt qu'une demande vague de plus de données.

Un brief utile peut préciser le nombre requis de scènes indépendantes, les environnements cibles, les appareils ou capteurs autorisés, les exigences concernant la taille des objets, les règles d'annotation, les exigences relatives aux sources et aux droits, la séparation train/test et les critères d'acceptation.

Si les exemples requis existent déjà dans une archive visuelle, une curation ciblée peut suffire. Lorsque la combinaison est absente, il peut être nécessaire de procéder à une nouvelle collecte d'images ou de vidéos réelles. Pour les projets nécessitant un sourcing externe, les jeux de données d'images et de vidéos de Wavebreak Media peuvent être cadrés autour d'exigences explicites sur le sujet, l'environnement, le point de vue, les métadonnées, la séparation (split) et la couverture, plutôt que par une demande générique de fichiers supplémentaires.

Définir ces exigences avant la sélection ou la capture facilite l'évaluation pour savoir si un jeu de données livré est réellement plus diversifié, plus indépendant et plus utile, plutôt que simplement plus volumineux.


Jen Togonon

Jen Togonon