Doublons exacts, quasi-doublons et déduplication sémantique pour les jeux de données multimédias

La déduplication d'images est le processus consistant à identifier des ressources visuelles répétées ou étroitement liées afin que les occurrences redondantes puissent être supprimées, regroupées ou traitées délibérément. Pour les équipes qui construisent jeux de données d'entraînement pour l'IA, la déduplication est plus qu'un simple nettoyage du stockage : les doublons peuvent fausser la fréquence des échantillons, donner l'impression qu'une collection est plus variée qu'elle ne l'est réellement, et contaminer l'évaluation lorsque des contenus connexes se retrouvent à la fois dans les ensembles d'entraînement, de validation et de test.

La difficulté tient au fait que « doublon » ne décrit pas un seul problème. Dans les pipelines d'images et de vidéos, les équipes doivent généralement séparer trois questions : les fichiers sont-ils identiques au niveau des octets, sont-ils des versions transformées de la même capture sous-jacente, ou s'agit-il de ressources indépendantes simplement similaires sur le plan sémantique ?

• Doublons exacts  -  fichiers identiques au niveau des octets. Ce sont généralement les doublons les moins coûteux et les plus sûrs à supprimer.

• Doublons proches  -  versions transformées de la même image, du même clip, plan ou capture, comme un redimensionnement, un recadrage, une recompression, un montage alternatif ou un segment vidéo chevauchant.

• Redondance sémantique  -  ressources indépendantes qui occupent des régions très similaires de l'espace des caractéristiques sémantiques. Cela peut être utile à élaguer, mais ce n'est pas automatiquement un doublon au sens de la provenance.

Cette distinction importe car l'action correcte diffère à chaque niveau. Les copies exactes peuvent souvent être supprimées automatiquement. Les familles de doublons proches nécessitent généralement une détection de similarité robuste et un regroupement par source. L'élagage sémantique demande le plus de jugement, car une suppression agressive peut effacer des variations utiles.

La déduplication exacte est une référence utile car elle est rapide, déterministe et facile à auditer. Un hachage cryptographique tel que SHA-256 peut identifier des fichiers identiques octet par octet, même s'ils sont arrivés par des voies d'ingestion différentes ou ont été copiés dans plusieurs versions d'un jeu de données.

Il y a une limitation importante : un hachage de fichier ordinaire n'ignore pas les métadonnées. Si deux JPEG contiennent les mêmes pixels visibles mais des blocs EXIF, des horodatages ou des détails d'encodage différents, leurs octets diffèrent, et leurs hachages de fichier diffèrent généralement aussi. Un pipeline qui a besoin d'un appariement insensible aux métadonnées doit d'abord normaliser le fichier ou calculer le hachage d'une représentation décodée canonique.

Le hachage exact détecte donc les fichiers strictement identiques, mais pas l'ensemble du problème des doublons. Il n'identifiera pas de manière fiable une exportation redimensionnée, un nouveau réencodage JPEG, un recadrage, une modification du filigrane, une variante d'étalonnage des couleurs ou une vidéo coupée différemment.

Règle pratique : utilisez le hachage exact tôt car il est peu coûteux, mais ne prenez pas un rapport indiquant zéro doublon comme preuve qu'un jeu de données visuel est réellement dédupliqué.

La détection des quasi-doublons recherche des fichiers qui ne sont pas identiques octet par octet mais proviennent néanmoins de la même capture sous-jacente. Cela est courant dans les grands jeux de données d'images, les archives sous licence, les collections récupérées et les pipelines de production où une même source peut être redimensionnée, recompressée, recadrée, légèrement retouchée ou exportée via plusieurs systèmes de diffusion.

Hachage perceptuel

Des hachages perceptuels tels que pHash, aHash et dHash compressent la structure visuelle en empreintes qui peuvent être comparées par distance. Ils sont utiles pour des passes de génération de candidats larges et peu coûteuses et peuvent tolérer certains redimensionnements, recompressions et changements de tonalité.

Leur robustesse dépend des transformations. Des recadrages importants, des rotations, des superpositions, des modifications du rapport d'aspect ou des retouches localisées peuvent rendre inefficaces les hachages perceptuels simples ; un pipeline de production devrait donc les calibrer sur des exemples qui ressemblent aux transformations attendues dans ses propres médias.

Caractéristiques locales et représentations d'images apprises

La mise en correspondance de caractéristiques locales peut aider lorsque deux images partagent le même contenu après un recadrage ou des modifications géométriques. Les représentations visuelles apprises peuvent récupérer un éventail plus large de candidats quasi-doublons car elles représentent les images dans un espace de caractéristiques plutôt que de comparer les pixels bruts ou un seul hachage compact.

La distance entre embeddings n'est pas un seuil universel de duplication. Le modèle, le domaine d'images, le prétraitement et le type de transformation affectent tous les scores de similarité. Un flux de travail utile étiquette un échantillon de paires candidates, puis choisit des seuils en fonction des coûts de faux positifs et de faux négatifs du projet plutôt que de copier un seuil d'un autre jeu de données.

Les recherches récentes sur les quasi-doublons continuent de combiner des empreintes perceptuelles rapides avec des représentations apprises pour traiter les transformations plus difficiles ; voir Jakhar et Dutta Borah (2025).

La vidéo ajoute à chaque image une dimension temporelle : un problème de similarité. Un master clip peut générer de nombreux fichiers techniquement différents : des montages alternatifs, des fréquences d'images différentes, plusieurs résolutions, des recadrages pour les réseaux sociaux, des extraits, des montages réordonnés ou des segments de B-roll issus du même enregistrement source.

• Représentatif — récupération d'images clés — échantillonner des images-clés ou des plans et comparer des hashs visuels ou des embeddings pour trouver des chevauchements candidats.

• Segmentation des plans et des scènes — comparer des séquences à une unité temporelle significative plutôt que de traiter chaque image comme indépendante.

• Appariement temporel  — aligner des séquences d'empreintes, au niveau des images ou des embeddings, pour détecter des sections chevauchantes même lorsque les fichiers commencent et se terminent à des points différents.

• Traçabilité de la source  —  utiliser les identifiants du clip source, du tournage, de la prise et des dérivés dès qu'ils sont disponibles. La provenance peut résoudre des relations que les modèles de similarité devraient autrement inférer.

La déduplication sémantique opère au-delà de la similarité provenant de la même source. Des embeddings issus d'un modèle vision ou d'un modèle vision-langage sont utilisés pour trouver des ressources proches dans l'espace des caractéristiques sémantiques, puis un regroupement ou un échantillonnage basé sur le voisinage réduit les régions surreprésentées.

Il faut faire preuve de prudence. Deux photographies indépendantes de personnes différentes effectuant la même action ne sont pas des doublons au sens de la provenance. Elles peuvent précisément constituer la variation de sujet, de démographie, d'environnement ou de point de vue dont un modèle a besoin. La similarité sémantique est donc un indice d'une redondance possible, et non une instruction automatique de suppression.

Un exemple bien connu est SemDeDup, qui a utilisé des embeddings de modèles préentraînés pour supprimer des données sémantiquement redondantes à l'échelle du web. Dans une expérience basée sur LAION, les auteurs ont rapporté qu'un élagage substantiel pouvait préserver les performances du modèle tout en réduisant le coût d'entraînement. Ce résultat démontre le potentiel de l'élagage sémantique ; ce n'est pas un pourcentage universel à appliquer à chaque jeu de données.

Une mise en œuvre plus sûre combine la similarité sémantique avec des informations que l'embedding peut ne pas préserver suffisamment : étiquettes de classe, légendes, identité du sujet lorsque c'est pertinent, environnement, session source, géographie, point de vue, qualité, et les exigences de couverture de la tâche en aval.

L'élagage sémantique peut modifier la distribution du jeu de données.

Supprimer les amas sémantiques les plus denses change ce que le modèle voit. Cela peut être souhaitable lorsqu'un ensemble restreint de scènes domine la collection, mais cela peut aussi réduire la représentation de sous-groupes légitimes ou de variantes rares.

Des recherches telles que FairDeDup montrent pourquoi il est nécessaire de mesurer explicitement cet impact : les choix de déduplication sémantique peuvent affecter des résultats liés à l'équité, même lorsque la performance agrégée vision-langage reste compétitive. La leçon pratique est d'auditer qui et quoi sont supprimés, et pas seulement combien de fichiers le sont.

La duplication entre partitions (cross-split) est l'une des raisons les plus évidentes de procéder à une déduplication avant de finaliser les ensembles d'évaluation. Si une version transformée de la même image source ou du même clip apparaît à la fois dans les données d'entraînement et dans les données de validation ou de test, la métrique rapportée peut récompenser la mémorisation de contenus propres à la source plutôt que la généralisation à du matériel véritablement inédit.

Ce n'est pas que théorique. Un audit en vision par ordinateur de CIFAR-10 et CIFAR-100 a trouvé des doublons train/test affectant 3,3 % et 10 % des ensembles de test respectifs. Après avoir remplacé les exemples de test dupliqués, les auteurs ont rapporté une baisse relative d'exactitude de 9 % à 14 % pour les modèles évalués.

Une mesure de sécurité efficace consiste à réaliser la séparation des partitions en tenant compte des dépendances. Lorsque des fichiers proviennent de la même photo originale, du même clip source, de la même prise, d'un même mode rafale, d'une même séance de prise de vue ou d'enregistrement, ils devraient normalement rester dans la même partition si les séparer risquerait de divulguer des informations propres à la source.

Distinction importante : la similarité sémantique seule n'est pas automatiquement une fuite. Des images indépendantes de la même classe, de la même action ou du même type de scène doivent souvent apparaître à la fois dans les ensembles d'entraînement et de test. La fuite concerne la dépendance ou le chevauchement inapproprié, pas le fait que des exemples soient conceptuellement liés.

Il n'existe pas de norme de production universelle que tous les jeux de données doivent respecter. La séquence suivante est un flux de travail pratique pour les collections d'images et de vidéos puisqu'elle va des contrôles peu coûteux et hautement fiables vers des décisions plus dépendantes du jugement humain.

1. Préserver la filiation en premier. Enregistrer l'actif source, la prise de vue, la session, le clip, la prise et les relations entre dérivés avant toute suppression destructive. Lorsqu'il existe des métadonnées de filiation fiables, elles peuvent fournir une preuve de parenté des sources plus solide que la similarité seule.

2. Supprimer les fichiers identiques octet par octet. Calculer des hachages cryptographiques des fichiers pour détecter les copies exactes et les réingestions.

3. Générer des candidats à la quasi-duplication. Utiliser des hachages perceptuels, des descripteurs locaux ou des embeddings appris pour les images ; ajouter un échantillonnage de plans/images et un appariement temporel pour la vidéo.

4. Calibrer et vérifier. Étiqueter un ensemble représentatif de paires candidates et choisir des seuils adaptés au domaine. Inspecter manuellement les clusters ambigus ou utiliser une seconde étape de vérification.

5. Analyser la redondance sémantique là où cela compte. Regrouper les embeddings et inspecter les régions denses, mais conserver les variations légitimes nécessaires pour la classe, la démographie, l'environnement, le point de vue et la couverture des cas limites.

6. Choisir une règle de rétention par cluster. Ne supposez pas « garder un seul ». Certains groupes ont besoin d'un actif canonique ; d'autres nécessitent plusieurs exemples parce que les différences sont utiles à la tâche.

7. Assigner les partitions par groupe de dépendance. Conserver les familles de doublons liées à une même source dans une même partition et auditer les partitions finales pour détecter les chevauchements exacts et quasi-duplications entre partitions.

8. Versionner et documenter le résultat. Enregistrer les algorithmes de hachage, le modèle/version d'embeddings, le prétraitement, la métrique de similarité, les seuils, les règles de revue, les suppressions et les limitations connues afin que le processus puisse être reproduit.

Il n'existe pas de pourcentage global de doublons correct ni de seuil universel de similarité. La politique appropriée dépend de la tâche, de la répartition des sources et de ce que les exemples répétés apportent.

Les copies exactes d'octets sont généralement des suppressions à faible risque. La suppression des quasi-doublons demande plus de prudence lorsque de petites transformations contiennent des informations utiles à la tâche. L'élagage sémantique est le plus dépendant de la tâche, car des exemples « similaires » peuvent encore apporter une diversité utile.

• Pour la classification d'images, des exportations répétées de la même photographie apportent rarement beaucoup de signal.

• Pour le suivi vidéo ou la compréhension du mouvement, des images adjacentes peuvent être essentielles même si elles semblent quasi-identiques.

• Pour les jeux de données de visages, d'actions humaines ou d'ensembles de données « lifestyle », des sujets différents effectuant la même action peuvent être sémantiquement proches mais importants pour la représentation et la généralisation.

• Pour les données d'évaluation, les doublons provenant des sources d'entraînement sont particulièrement risqués car ils peuvent invalider l'indépendance prévue du test.

Évaluez la déduplication à la fois par rapport à la couverture du jeu de données et aux performances en aval. L'objectif n'est pas d'obtenir le jeu de données le plus petit possible. Il s'agit d'un jeu de données dans lequel l'exposition répétée est intentionnelle plutôt qu'accidentelle.

La politique de déduplication mérite d'être évaluée avant la livraison d'un jeu de données. Un acheteur doit pouvoir comprendre ce que « unique » signifie dans le processus du fournisseur et si cette définition protège la conception d'entraînement et d'évaluation prévue.

• Qu'est-ce qui compte comme un doublon exact : octet — fichier identique, décodé — correspondance de contenu, ou les deux ?

• Quelles transformations sont incluses dans la détection des quasi-doublons, et comment les seuils ont-ils été validés ?

• Comment les trims vidéo, les recadrages (reframes) et les segments sources qui se chevauchent sont-ils traités ?

• Les relations entre l'actif source, le shoot, la session et les dérivés sont-elles disponibles pour le regroupement ?

• Un élagage sémantique est-il utilisé, et si oui, comment la variation utile est-elle protégée ?

• Les doublons sont-ils vérifiés entre les partitions train, validation et test après la création des splits ?

• Le fournisseur peut-il fournir un enregistrement QA reproductible décrivant les méthodes, les versions de modèles, les seuils et les exceptions ?

Pour les projets qui nécessitent la curation d'archives ou une collection d'images et de vidéos conçue sur mesure, les jeux de données d'images et de vidéos de Wavebreak Media peuvent être sélectionnés à partir d'une bibliothèque existante ou définis pour une production personnalisée. La spécification de déduplication et d'intégrité des splits devrait néanmoins être définie pour chaque projet afin que « unique » ait une signification testable.

✓ Traçabilité - conserver les identifiants de source, de tournage, de clip, de prise et des dérivés avant de supprimer les fichiers.
✓ Doublons exacts - calculer des hachages cryptographiques des fichiers et définir si une correspondance insensible aux métadonnées est également requise.
✓ Quasi-doublons - tester le détecteur sur les transformations réellement présentes dans la collection.
✓ Vidéo - comparer des segments temporels, pas seulement des images isolées.
✓ Seuils - calibrer sur des exemples étiquetés du domaine cible.
✓ Redondance sémantique - examiner les effets sur la couverture avant de réduire les groupes denses.
✓ Intégrité des partitions - garder les familles liées à la source ensemble et vérifier le chevauchement inter-partitions après l'attribution.
✓ Documentation - consigner les algorithmes, modèles d'embedding, prétraitement, seuils, exceptions conservées et version du jeu de données. 

Qu'est-ce que la déduplication d'images ?

La déduplication d'images est le processus consistant à identifier des données visuelles répétées ou étroitement apparentées afin que les exemples redondants puissent être supprimés, regroupés ou traités délibérément. La déduplication exacte permet de trouver des fichiers identiques octet par octet, tandis que la détection de quasi-doublons repère des versions modifiées d'une même image ou d'un même clip sous-jacent. La déduplication sémantique va plus loin en identifiant des exemples indépendants très similaires ; ces exemples nécessitent toutefois une curation plus attentive, car la similarité n'implique pas nécessairement une redondance.

Quelle est la différence entre un doublon exact et une image quasi-doublon ?

Un doublon exact est identique octet par octet à un autre fichier. Un quasi-doublon provient de la même capture sous-jacente mais a été modifié par des opérations telles que la recompression, le redimensionnement, le recadrage, l'ajustement des couleurs, l'ajout d'un filigrane ou d'autres retouches. Les hachages de fichiers exacts détectent le premier cas ; des méthodes de similarité visuelle sont nécessaires pour le second.

Quelle est la différence entre la déduplication de quasi-doublons et la déduplication sémantique ?

La détection de quasi-doublons cherche à déterminer si deux fichiers sont des variantes de la même source sous-jacente. La déduplication sémantique examine si des éléments indépendants sont si proches en représentation qu'en conserver tous pourrait être redondant. La similarité sémantique est donc un signal de curation, et non une preuve que les éléments sont des doublons.

Le hachage perceptuel peut-il détecter tous les quasi-doublons d'images ?

Non. Le hachage perceptuel est rapide et utile pour de nombreuses transformations courantes, mais un recadrage important, une rotation, des superpositions, une recomposition du cadrage et d'autres retouches peuvent nécessiter un appariement de caractéristiques locales ou l'utilisation d'embeddings appris. Les seuils de détection doivent être testés sur des exemples représentatifs plutôt que supposés transférables d'un jeu de données à un autre.

Comment faut-il gérer les doublons entre les ensembles d'entraînement, de validation et de test ?

Les familles de doublons liées à la même source devraient généralement être assignées ensemble afin que la même capture sous-jacente ne traverse pas les frontières des partitions. Après la séparation, effectuez un audit croisé entre les partitions. Ne regroupez pas automatiquement tous les exemples sémantiquement similaires ; des membres indépendants d'une même classe appartiennent en général à plusieurs partitions.

La déduplication peut-elle nuire à la couverture d'un jeu de données ?

Oui, si la politique est trop agressive. Les doublons exacts peuvent généralement être supprimés sans risque, mais la suppression de quasi-doublons et, surtout, l'élagage sémantique peut écarter des points de vue utiles, des sujets, des variations temporelles ou des conditions rares. Comparez le jeu de données conservé aux exigences de couverture et, si possible, à la performance des modèles en aval.

Comment déduplique-t-on des jeux de données vidéo ?

Combinez la filiation des sources avec la similarité au niveau d'images représentatives (frames) ou de plans, et la détection de recouvrements temporels. La vidéo doit être groupée à un niveau de source ou de séquence pertinent, car des fichiers tronqués différemment peuvent partager de longues séquences même lorsqu'aucun fichier individuel n'est identique.

Un jeu de données propre n'est pas celui dont on a supprimé chaque exemple similaire. C'est celui où la répétition est maîtrisée, intentionnelle et compatible avec la tâche.

La déduplication exacte répond à la question de savoir si le même fichier apparaît deux fois. La détection des quasi-doublons répond à la question de savoir si la même capture existe sous une autre forme. L'analyse de la redondance sémantique s'interroge pour savoir si le jeu de données consacre trop de sa capacité à des concepts presque interchangeables. Séparer ces questions rend la déduplication plus précise, protège la diversité utile et rend l'évaluation sur les ensembles d'entraînement et de test plus fiable.