Le hard negative mining consiste à trouver des exemples négatifs valides que le modèle juge anormalement similaires à la cible, à vérifier qu'ils sont réellement négatifs, puis à exposer de manière contrôlée pendant l'entraînement ceux qui sont utiles. Pour les équipes qui construisent AI training datasets, c'est particulièrement utile lorsque des détecteurs d'objets déclenchent à plusieurs reprises sur des régions d'arrière-plan ou des objets non ciblés. En classification ou en retrieval, la même idée s'applique aux exemples d'autres classes qui se trouvent près de la frontière de décision actuelle du modèle.
L'objectif n'est pas de collecter les erreurs les plus étranges ni de remplacer les données d'arrière-plan ordinaires. Il s'agit d'ajouter les contrastes spécifiques que le modèle continue de ne pas distinguer dans des conditions opérationnelles réalistes. Un bon programme de hard negative mining réduit les faux positifs récurrents tout en préservant le rappel, la calibration et les performances sur des classes non liées.
Cela fait du hard negative mining un problème de qualité des jeux de données autant qu'une technique d'entraînement. Les candidats les plus proches de la frontière de décision sont aussi les endroits où s'accumulent les étiquettes manquantes, les scènes dupliquées, les définitions de classes ambiguës et les cas-limites inhabituels. L'extraction, la revue, la déduplication, l'échantillonnage et l'évaluation hold-out doivent donc fonctionner comme un seul système.
Qu'est-ce qu'un hard negative ?
Un exemple négatif est un exemple qui ne devrait pas recevoir la prédiction cible. Pour un classifieur, il peut appartenir à une autre classe. Pour un détecteur d'objets, il peut s'agir d'une région d'arrière-plan ou d'un objet non-cible étiqueté comme négatif par les règles d'appariement et d'étiquetage de ce détecteur.
Un hard negative est un négatif valide que le modèle « current » trouve difficile. Il peut recevoir un score élevé pour la classe cible, se classer près d'une vraie correspondance, être proche d'un embedding positif, ou déclencher à plusieurs reprises la même fausse détection en conditions de déploiement.
Le mot « current » importe. La difficulté est relative au modèle et peut changer avec la version du modèle, le seuil d'exploitation, la caméra, la chaîne de compression, la géographie ou la saison. Un panneau réfléchissant qui trompe un détecteur peut devenir trivial après réentraînement, puis redevenir difficile après un changement de domaine.
Type d'exemple | Ce que cela signifie | Que faire |
|---|---|---|
Positif | Contient la cible selon la politique de classification actuelle. | Utiliser comme supervision positive. |
Négatif évident | Ne contient clairement pas la cible et est rejeté avec confiance. | Conserver suffisamment d'exemples pour représenter le fond ordinaire et le contenu non ciblé. |
Négatif difficile | Ne contient pas la cible mais obtient un score élevé pour celle-ci ou ressemble fortement aux exemples positifs. | Vérifier, identifier et étiqueter le mécanisme de confusion, et utiliser une exposition contrôlée pendant l'entraînement. |
Négatif mal étiqueté | Contient en réalité la cible mais est étiqueté comme négatif. | Corriger l'annotation ; ne pas l'entraîner en tant que négatif. |
Exemple ambigu | Ne peut pas être étiqueté de manière cohérente selon la politique actuelle. | Faire remonter la classe ou la règle d'annotation avant de l'utiliser. |
Un hard negative n'est pas une erreur d'étiquetage.
Un recadrage qui semble ne contenir aucun casque peut dissimuler un petit casque au bord. Une région identifiée comme arrière-plan peut chevaucher un objet non étiqueté. Une image de produit peut montrer une photo de la cible sur l'emballage, ce qui soulève une question de politique : la tâche prend-elle en compte les représentations, les exemplaires physiques, ou les deux ?
Un vrai négatif difficile signifie : « Cela ressemble de manière convaincante à la cible, mais la bonne réponse est non. » Un négatif mal étiqueté signifie : « la bonne réponse est oui, mais le jeu de données indique non. » Le premier peut aider à affiner la frontière. Le second crée une supervision contradictoire, et les dégâts sont amplifiés si l'exemple est suréchantillonné parce qu'il paraît difficile.
Les réviseurs devraient voir l'image complète chaque fois que possible, pas seulement le recadrage extrait. Ils ont également besoin de la définition de la classe, des règles de chevauchement, des exclusions et d'une indication explicite d'ambiguïté afin que l'incertitude ne soit pas transformée silencieusement en supervision négative.
Comment le Hard Negative Mining réduit les faux positifs
Les grands jeux de données d'images et les collections vidéo contiennent un nombre énorme de négatifs faciles. La plupart des pixels de la route ne sont pas des piétons ; la plupart des zones d'un entrepôt ne sont pas des chariots élévateurs ; la plupart des produits d'un catalogue ne sont pas le SKU ciblé. Ces exemples restent importants, car ils définissent le vaste monde que le modèle rencontrera, mais montrer à plusieurs reprises des exemples que le modèle rejette déjà apporte moins de signal correctif que de montrer un exemple confondant récurrent.
Le hard-negative mining concentre la pression d'entraînement sur les distinctions locales à l'origine de faux positifs. Le modèle voit un objet non ciblé, une texture, un contexte ou un motif partiel qui, auparavant, semblait positif, et reçoit une preuve explicite que ce signal n'est pas suffisant à lui seul.
Plus difficile n'est pas forcément mieux. Un flux dominé par des négatifs proches des frontières peut faire baisser les scores globaux, éliminer des positifs difficiles ou conduire au surapprentissage d'une galerie finie d'erreurs. La question pertinente n'est pas « combien de négatifs difficiles pouvons-nous ajouter ? » mais « quelles familles d'erreurs récurrentes ont besoin de plus de contraste, et quelle exposition améliore ces cas sans compromettre les garde-fous ? »
Hard negative mining vs OHEM, focal loss et apprentissage actif
Jen Togonon
