Concevoir des jeux de données de tâches ménagères à la première personne pour la robotique et l'IA incarnée

La vidéo égocentrique désigne des images prises à la première personne, enregistrées du point de vue de la personne qui réalise une activité. En robotique et en IA incarnée, ce point de vue place les mains, les objets manipulés, les occlusions, le mouvement de la caméra et le contexte de la tâche au plus près de l’interaction. Pour les équipes qui construisent des jeux de données d'entraînement pour l'IA, les images à la première personne peuvent apporter des preuves utiles pour l'interaction main‑objet, la compréhension des actions et les tâches procédurales. Des ressources importantes comme Ego4D ont placé la vidéo égocentrique au cœur de la recherche sur la prévision, la mémoire épisodique et la perception incarnée.

Mais un jeu de données vidéo égocentrique ne constitue pas automatiquement des données d'entraînement pour un robot. Les séquences filmées depuis une caméra montée sur la tête humaine ne reproduisent pas nécessairement toutes les géométries des caméras robotisées, et la trajectoire d'une main humaine ne correspond pas aux mouvements d'un robot. Le jeu de données doit être conçu en fonction de l'hypothèse de transfert en aval : le pré‑entraînement visuel peut nécessiter des vidéos RGB soigneusement sélectionnées et des métadonnées de tâche, tandis que l'apprentissage ou le retargeting de trajectoire peut exiger une pose calibrée, la géométrie de la caméra, des informations de contact et une validation spécifique au robot.

Pour la robotique domestique, la couverture est aussi importante que la durée. Les cuisines, chambres, salles de bains et pièces à vivre sont souvent encombrées, contiennent des objets déformables, des états d'objet changeants, de longues séquences de tâches et de grandes différences entre les foyers. Une collection utile nécessite une spécification claire des tâches, une couverture mesurable, un ensemble d'annotations adapté à l'objectif d'apprentissage et un plan d'évaluation qui teste si le modèle fonctionne en dehors du jeu de données de capture.

Dans un ensemble de données de vision par ordinateur, la vidéo égocentrique, ou à la première personne, est capturée par une caméra portée par la personne qui réalise l'activité. Pour la robotique, sa valeur ne réside pas dans le fait que le point de vue humain corresponde parfaitement à celui du robot : elle tient au fait que la caméra se déplace avec l'acteur et reste proche de l'interaction. Cela la rend utile en complément des ensembles de données de reconnaissance d'activités humaines lorsque le modèle doit comprendre ce qui est visé, saisi, déplacé, ouvert, posé ou relâché.

Cette distinction est importante. Une caméra fixe en vue tierce peut être excellente pour la géométrie de la scène, la posture du corps, la supervision et le contexte global de la tâche. Une caméra au poignet peut être meilleure pour la manipulation locale. Une caméra montée sur la tête peut offrir une vue plus large, centrée sur l'acteur. De nombreux ensembles de données bien conçus combinent délibérément les points de vue plutôt que de traiter un emplacement de caméra comme universellement supérieur.

La tendance croissante dans la recherche est de privilégier une approche complémentaire plutôt que de choisir l'une ou l'autre. Ego-Exo4D synchronise les vidéos égocentriques et exocentriques avec des capteurs supplémentaires, tandis que DROID fournit 76 000 trajectoires de démonstration de robots à travers des centaines de scènes du monde réel. La vidéo humaine à la première personne élargit la couverture visuelle et comportementale ; les données robotiques ancrent l'apprentissage dans l'incarnation qui doit réellement exécuter la tâche.

Une taxonomie des tâches ménagères peut sembler simple jusqu'à ce que le protocole de capture doive définir ce qui varie réellement. « Charger le lave-vaisselle » implique la sélection d'objets, l'ouverture et la fermeture des mécanismes, la saisie d'objets rigides ou fragiles, l'évitement des collisions, le placement d'objets dans des emplacements contraints et la manipulation de cibles partiellement masquées. La même tâche prend aussi un aspect différent dans chaque cuisine.

• Diversité des objets et des états. Les foyers contiennent des objets rigides, des tissus déformables, des appareils articulés, des liquides, des emballages, des outils, de la nourriture, et des objets dont l'état change au cours de la tâche.
• Encombrement et occlusion. Les mains et les cibles disparaissent derrière des portes, des contenants, des étagères, d'autres objets et le corps même de l'acteur. Le mouvement de la caméra égocentrique rend le suivi encore plus difficile.
• Tâches à long horizon. Les activités domestiques contiennent souvent des étapes réutilisables et des embranchements plutôt qu'une action atomique unique.
• Variation de l'environnement. Les agencements, la hauteur des plans de travail, l'éclairage, la géométrie des appareils, les marques des objets, les conventions de rangement et l'encombrement d'arrière-plan peuvent varier d'un foyer à l'autre.
• Variations humaines. Les personnes utilisent différentes mains, vitesses, prises, séquences et stratégies de récupération. La répétition par un seul démonstrateur ne remplace pas la diversité comportementale.

La conséquence pratique est simple : les heures sont un mauvais substitut à la couverture. Une collection plus petite couvrant de nombreuses variantes de tâches, foyers, objets et démonstrateurs peut répondre à une question de généralisation plus large qu'une collection beaucoup plus importante concentrée dans un seul environnement. Ce n'est pas une règle universelle concernant la taille d'un jeu de données ; c'est un rappel de mesurer les dimensions qui importent pour le déploiement.

Il n'existe pas de pile d'annotations unique et obligatoire. Les couches de données appropriées dépendent de ce que le modèle est censé apprendre. Une erreur courante consiste à capturer le jeu de données le plus instrumenté possible sans décider si le modèle en aval utilisera ces signaux.

Placement des caméras, calibration et synchronisation

Choisissez le point de vue en fonction de la tâche et du signal d'apprentissage visé. Les caméras montées sur la tête préservent le contexte de la scène, mais peuvent faire sortir les mains hors du champ de vision lorsque le regard se porte devant l'action. Les caméras au poignet mettent la manipulation locale en avant, mais fournissent moins de contexte global. Les systèmes multi-caméras peuvent réduire ces angles morts, au prix d'une synchronisation, d'une calibration, d'un stockage et d'un contrôle de qualité plus complexes.

Si le projet utilisera la géométrie 3D, la correspondance inter-vues ou des trajectoires retargetées, enregistrez les intrinsèques et extrinsèques des caméras, les horodatages et la qualité de synchronisation pendant la capture. Ces données sont difficiles à reconstruire de façon fiable après qu'une collecte importante a déjà été réalisée.

Pose de la main, interaction avec l'objet et contact

Les données sur les mains peuvent aller de simples indicateurs de visibilité à des points clés 2D, des trajectoires d'articulations 3D, des maillages, de la segmentation main-objet et des événements de contact. Plus de détails n'est pas nécessairement mieux. Pour une tâche de reconnaissance ou de vidéo-langage, une pose de main 3D dense peut être d'un apport limité. Pour la prédiction de trajectoires dans des tâches de dextérité, elle peut être centrale.

Apple's EgoDex est un exemple utile de cette distinction. Il contient 829 heures de vidéos de manipulation égocentrique avec un suivi 3D apparié de la tête, du haut du corps, des mains et des doigts, collecté simultanément lors de l'enregistrement pour 194 tâches sur table. Le jeu de données a été conçu autour de la manipulation plutôt que comme des vidéos de la vie quotidienne au sens large ; sa capture et ses annotations diffèrent donc de celles d'une ressource générale telle qu'Ego4D.

Étapes de la tâche et changements d'état des objets

Les épisodes de longue durée sont plus faciles à entraîner et à évaluer lorsque la structure de la tâche est explicite. Selon le cas d'utilisation, les annotations peuvent inclure les limites d'épisode et d'étape, les verbes d'action, les objets manipulés, les préconditions, les postconditions, la réussite ou l'échec, et les transitions d'état des objets telles que ouvert/fermé, vide/plein, plié/déplié ou sur une surface/dans un contenant.

Évitez de transformer un vocabulaire de phases pratique en une prétendue norme industrielle. Une séquence telle que approach, grasp, transport, place, and release est utile pour de nombreuses tâches pick-and-place, mais elle ne décrit pas toutes les interactions domestiques. Le schéma doit suivre l'ontologie de la tâche.

Langage, audio, regard et autres signaux optionnels

Les modèles conditionnés par des instructions bénéficient d'un langage aligné sur les épisodes ou les étapes. L'audio peut être important lorsque la parole, les appareils, les impacts ou le raisonnement multimodal font partie de la tâche. Le suivi du regard peut fournir un signal d'attention dans les jeux de données qui le captent de manière fiable, mais ce n'est pas une exigence universelle pour l'apprentissage de la manipulation ou le retargeting.

Ego-Exo4D V2 illustre une conception fortement instrumentée : sa sortie inclut des vidéos ego/exo synchronisées et, pour la plupart des prises, le suivi du regard, des trajectoires et des nuages de points 3D. Cela se comprend au regard de ses objectifs de recherche multi-vue. Une collecte commerciale ne devrait pas reproduire cette configuration de capteurs à moins que le modèle en aval n'en ait besoin.

La distinction clé est que la vidéo égocentrique est une source de points de vue, et non un journal des actions du robot. Elle peut enseigner à un modèle la structure des interactions et le comportement humain, mais l'apprentissage de politiques nécessite toujours une correspondance justifiable entre les mouvements humains observés et des actions réellement exécutables par le robot, ou des données collectées directement par le robot.

Les mains humaines et les pinces robotisées diffèrent par leur apparence, leurs degrés de liberté, leur portée, la mécanique du contact, leurs limites de vitesse et leur contrôlabilité. L'écart d'incarnation comporte donc au moins deux volets : un écart visuel entre ce que la caméra voit et un écart d'action entre les mouvements physiquement exécutables.

Incarnation visuelle

Une politique pré-entraînée massivement sur des séquences vidéo humaines peut apprendre des caractéristiques liées aux bras, à la peau, à la forme des mains ou à des occlusions propres aux humains. Des travaux récents explorent l'édition de l'entrée visuelle pour qu'elle ressemble davantage au robot cible. Par exemple, l'étude Masquerade (2025) estime la pose de la main humaine, supprime les bras humains et superpose un rendu du robot pour réduire le décalage visuel avant l'apprentissage de la politique.

Cela montre que la robotisation visuelle peut aider dans un protocole expérimental particulier ; ce n'est pas la preuve que chaque jeu de données égocentrique doive être modifié de cette façon.

Réadaptation cinématique

La réadaptation estime une trajectoire humaine et la transpose dans l'espace d'actions ou de postures du robot cible. Cette correspondance nécessite des vérifications de faisabilité, car le robot peut ne pas partager la même portée, l'orientation du poignet, le type de préhension ou la trajectoire sans collision de l'humain. La réadaptation introduit également des erreurs d'estimation ; une trajectoire transposée, bien que visuellement plausible, ne doit donc pas être considérée comme exécutable ni sûre.

EgoVLA est un exemple récent qui apprend à partir de vidéos égocentriques humaines et utilise la cinématique inverse et la réadaptation avant le réglage fin du robot. La leçon plus générale est de concevoir la capture et l'annotation autour de la méthode de transfert prévue plutôt que de traiter le transfert comme une réflexion après coup.

1. Définir des tâches exécutables et des règles d'achèvement

Remplacez les noms de catégories tels que « nettoyage » ou « tâches de cuisine » par des épisodes spécifiques : charger cinq plats variés dans le lave-vaisselle, essuyer une éclaboussure sur un plan de travail, plier une serviette de bain, trier le courrier en deux bacs ou ranger des courses aux emplacements de stockage assignés. Définissez ce qui compte comme achèvement, échec, récupération et achèvement partiel avant le début de la capture.

2. Spécifier les dimensions de couverture avant le volume

Pour chaque tâche, identifiez les dimensions susceptibles d'affecter le comportement du modèle : agencement du domicile, instance d'objet, état de l'objet, point de vue, éclairage, encombrement, utilisation de la main gauche ou droite, démonstrateur, vitesse du mouvement, type d'échec et configuration de la caméra. Tous les projets n'ont pas besoin de quotas pour chaque intersection. L'objectif est de rendre visibles les omissions importantes avant que des milliers d'épisodes similaires ne s'accumulent.

3. Choisir les capteurs en fonction de l'objectif du modèle

Un dispositif RGB léger peut suffire pour le pré-entraînement visuel ou la compréhension de la tâche. Un projet qui requiert des trajectoires 3D métriques de la main peut nécessiter de la profondeur, des caméras calibrées, du SLAM ou du suivi instrumenté. Si le regard fait partie du modèle visé, il doit être capturé et contrôlé en tant que signal de première classe. N'achetez pas d'instrumentation simplement parce qu'elle est disponible.

4. Diversifier les domiciles, les personnes, les objets et l'exécution des tâches

La capture distribuée peut élargir l'ensemble de données, mais la diversité doit être mesurée plutôt que supposée. Suivez la contribution de chaque domicile, démonstrateur, famille d'objets, caméra et variante de tâche. Un participant prolifique ou un environnement facile à filmer peut dominer une collection de manière surprenante et rapide.

5. Décider de la façon de gérer les échecs et la récupération

Les démonstrations réussies sont essentielles, mais certains projets ont aussi besoin d'objets lâchés, de prises ratées, de nouvelles tentatives, de trajets bloqués, de tâches incomplètes ou de comportements de récupération. N'incluez ces cas que s'ils servent un objectif d'entraînement ou d'évaluation défini, et étiquetez-les clairement afin que les échecs ne se retrouvent pas, par accident, mêlés aux démonstrations réussies.

6. Traiter la vie privée, le consentement et les informations du foyer comme des contraintes de conception de l'ensemble de données

La vidéo domestique à la première personne peut capturer des visages, des voix, des écrans, du courrier, des photos de famille, des adresses, des médicaments, des enfants et d'autres informations privées. Le consentement, les règles de tournage, la politique de caviardage, le contrôle d'accès, la durée de conservation et les usages autorisés pour l'entraînement des modèles doivent être définis avant la collecte. Il en va de même pour les passants et les membres du foyer qui ne sont pas le démonstrateur principal.

Avant de commander des milliers d’heures, lancez un petit pilote en utilisant les appareils réels, les domiciles réels, les tâches réelles, les règles d’annotation réelles et le pipeline d’ingestion réel. Le pilote doit permettre de vérifier si les données proposées sont réellement exploitables, et pas simplement si les personnes peuvent téléverser des vidéos.

Ne publiez pas de résultats numériques sur la qualité tant que le pilote ne les a pas produits. Ce qui mérite d'être publié, c'est la méthodologie de mesure : comment un épisode exploitable est défini, comment la couverture est comptée, ce qui a été exclu et où la conception de la capture fait encore défaut. Cette méthodologie est plus réutilisable qu'un score de qualité non expliqué.

L'évaluation d'un dataset doit refléter l'assertion en aval. Si le dataset est destiné au pré-entraînement visuel, mesurez le transfert vers des environnements ou tâches tenus à l'écart. S'il vise l'apprentissage des trajectoires de la main, validez la qualité des poses et la prédiction des trajectoires. S'il doit permettre la réaffectation (retargeting), testez la faisabilité robotique et les performances des politiques en aval plutôt que de considérer la présence d'un champ de poses 3D comme une preuve de succès.

• Couverture. Les tâches, objets, foyers, démonstrateurs, points de vue et cas difficiles requis sont-ils représentés par suffisamment de preuves indépendantes ?
• Qualité des annotations. Les étiquettes sont-elles correctes, cohérentes en interne et adaptées au modèle visé ? L'accord entre annotateurs à lui seul ne garantit pas la justesse.
• Indépendance. Les partitions train, validation et test sont-elles protégées contre le fait de provenir du même épisode source, du même foyer, du même sujet ou d'un enregistrement dérivé lorsque ces relations pourraient divulguer de l'information ?
• Qualité des capteurs. La calibration, la synchronisation, le suivi de pose, la profondeur, le suivi du regard ou l'audio sont-ils suffisamment fiables pour les affirmations faites à leur sujet ?
• Confidentialité et droits. La licence effective du dataset et la chaîne de consentement autorisent-elles l'entraînement, l'évaluation, le stockage et l'utilisation commerciale prévus ?
• Performances en aval. L'ajout des données améliore-t-il la tâche ciblée sans provoquer de régressions sur d'autres environnements, objets ou comportements ?

Un jeu d'évaluation utile doit être indépendant des décisions de collecte qu'il est censé juger. Si une équipe de capture ajoute de manière répétée des exemples après avoir inspecté un benchmark fixe, ce benchmark devient progressivement partie intégrante de la boucle d'optimisation. Conservez un jeu de test réservé général et, lorsque c'est utile, des sous-ensembles de challenge séparés pour les conditions domestiques difficiles.

Les jeux de données publics sont précieux pour le pré-entraînement, le benchmarking et pour comprendre à quoi peut ressembler un schéma de données mature. Ils ne sont pas interchangeables : leurs licences, leurs capteurs, la répartition des tâches et les annotations diffèrent considérablement. Vérifiez la licence en vigueur directement plutôt que de supposer que « public » signifie un entraînement commercial sans restriction.

Les chiffres publiés ci‑dessous proviennent des pages officielles Ego4D, Ego - Exo4D, EgoDex, et DROID. Consultez l'accord d'utilisation des données en vigueur pour chaque ressource avant toute acquisition ou tout entraînement à des fins commerciales. La documentation d'accès actuelle d'Ego - Exo4D couvre explicitement l'usage à des fins de recherche et à des fins commerciales, tandis qu'EgoDex est distribué sous une licence non commerciale pour le jeu de données.

Les données publiques peuvent réduire le coût des recherches initiales, mais elles ne garantissent pas la couverture de la liste de tâches d'un produit, des domiciles, des objets, de la géométrie de la caméra, des exigences en matière de confidentialité ou de la conception physique du robot. C'est là que la capture spécifiquement conçue devient une exigence technique plutôt qu'une simple préférence d'achat.

Pré-entraînement des représentations visuelles

La vidéo à la première personne peut être utilisée pour pré-entraîner des représentations visuelles avant l'apprentissage spécifique au robot. Les travaux de Meta, VC - 1 work, ont utilisé des milliers d'heures de vidéos humaines égocentriques, y compris Ego4D, pour étudier les représentations à travers une gamme de tâches incarnées. C'est un cas d'utilisation solide pour la vidéo RGB à grande échelle, car le modèle apprend des caractéristiques visuelles plutôt que des actions robotisées directes.

Modélisation du mouvement humain et des trajectoires

Des jeux de données contenant des enregistrements du mouvement 3D des mains et du corps permettent de prédire les trajectoires humaines, la structure des contacts et la progression des tâches. Les modèles obtenus peuvent ensuite fournir des a priori ou des trajectoires candidates pour un pipeline robotique, sous réserve d'un mappage spécifique à l'incarnation et de vérifications de faisabilité.

Retargeting et co-entraînement avec des données robotiques

Des travaux récents tels que EgoVLA et Masquerade explorent comment la vidéo humaine égocentrique peut être convertie ou éditée pour soutenir l'apprentissage robotique. Ce sont des axes de recherche actifs, et non une recette établie. En pratique, les données humaines sont souvent les plus utiles lorsqu'elles sont combinées avec des démonstrations robotiques qui définissent l'espace d'action réel et les contraintes physiques.

Le contraste d'échelle aide à expliquer l'intérêt. La collaboration Open X - Embodiment agrège plus d'un million de trajectoires robotiques réelles dans de nombreuses incarnations, pourtant les données robotiques restent coûteuses à collecter et fortement structurées. La vidéo humaine peut fournir une couverture supplémentaire des scènes et des comportements, mais elle devrait compléter ces données plutôt que d'être à tort étiquetée comme des données d'interaction robotique.

• Considérer automatiquement que les séquences en vue à la première personne correspondent au déploiement. Les caméras robotisées diffèrent par leur placement, leur champ de vision, leurs mouvements, leur hauteur et leur morphologie. Testez la géométrie réelle du capteur.
• Collecter des heures de données avant de définir la couverture. Des épisodes répétés dans les mêmes ménages et ensembles d'objets peuvent gonfler le volume sans ajouter la variation dont le modèle a besoin.
• Supposer que chaque projet nécessite des annotations denses de la pose de la main, du regard et des contacts. L'instrumentation et l'annotation doivent suivre l'objectif d'apprentissage, pas une liste de contrôle générique.
• Prendre la pose 3D estimée pour la vérité de terrain. La reconstruction de pose comporte de l'incertitude. Validez le signal sur des cas représentatifs de mouvements, d'occlusions et de contacts avec des objets.
• Ignorer la dépendance à la source dans les séparations du jeu de données. Des épisodes liés, des ménages répétés ou des vues dérivées peuvent créer des fuites d'évaluation lorsque le test visé est la généralisation.
• Considérer que les licences des jeux de données publics sont uniformes. Les licences de code, les licences des jeux de données, les conditions de redistribution et les droits d'entraînement de modèles commerciaux peuvent différer.
• Ne pas laisser l'écart de morphologie jusqu'à la fin. Si le retargeting fait partie du plan, testez le mappage sur un pilote tant que les paramètres de capture peuvent encore être modifiés.

• Quelles tâches, quels objets, quels foyers, quels démonstrateurs et quels pays ou régions sont représentés, et comment ces décomptes sont-ils définis ?
• Quels emplacements de caméra, champs de vision, fréquences d'images, résolutions et modalités de capteurs sont fournis ?
• Des horodatages et des paramètres d'étalonnage sont-ils disponibles pour des modalités synchronisées ?
• Comment sont définies les limites des tâches, les actions, les interactions main-objet, les états des objets, le succès, l'échec et les cas ambigus ?
• Quelles annotations sont vérifiées par des humains, générées par des modèles, dérivées d'instruments ou reconstruites après la capture ?
• Comment les doublons, les épisodes répétés, les ménages et les démonstrateurs sont-ils traités entre les ensembles d'entraînement, de validation et de test ?
• Quelles preuves sont disponibles concernant la précision des annotations, la synchronisation des capteurs et le taux de captures utilisables ?
• Quels consentements, quelles règles de confidentialité, quels droits de diffusion, de conservation et d'entraînement à des fins commerciales s'appliquent aux séquences et aux annotations dérivées ?
• Le fournisseur peut-il exécuter un pilote sur le pipeline robotique cible avant d'étendre la collecte ?

Une collection personnalisée est particulièrement utile lorsque le périmètre requis pour la tâche est spécifique : par exemple, s'il manque, dans les données disponibles, un appareil particulier, une famille d'objets, l'agencement d'un logement, la géométrie de la caméra, un mode de défaillance, un schéma d'annotation ou une exigence en matière de droits commerciaux. Le cahier des charges doit définir ces exigences avant le début des enregistrements, et non après une livraison importante.

Les jeux de données d'images et de vidéos de Wavebreak Media et ses capacités de production sur mesure peuvent servir de point de départ pour définir une collecte conçue pour les besoins du projet. Pour un projet de robotique égocentrique, un cahier des charges utile préciserait la taxonomie des tâches, les environnements, le placement des caméras, l'ensemble des capteurs, les sorties d'annotation, les règles de confidentialité, les objectifs de couverture, la logique de partitionnement et les critères d'acceptation.

Qu'est-ce que la vidéo égocentrique en robotique ?

La vidéo égocentrique est un enregistrement à la première personne réalisé du point de vue de la personne qui effectue une activité. Les équipes de robotique l'utilisent parce qu'elle capture des vues centrées sur l'acteur — les mains, les objets et les interactions — dans des environnements naturels. Elle peut soutenir la perception, l'apprentissage vidéo-langage, la modélisation main-objet et le transfert humain-vers-robot, mais elle ne contient pas d'actions robotiques à moins que ces actions ne soient ajoutées ou dérivées séparément.

La vidéo égocentrique est-elle meilleure que la vidéo à la troisième personne pour la robotique ?

Pas universellement. Les images égocentriques sont souvent meilleures pour les interactions locales main-objet et les statistiques visuelles centrées sur l'acteur. Les vues à la troisième personne peuvent être supérieures pour le contexte global, la pose du corps, la géométrie et la supervision. Les jeux de données multi-vues peuvent combiner les deux. Le point de vue approprié dépend de l'objectif d'apprentissage et de la configuration de la caméra utilisée en déploiement.

Faut-il un robot pour collecter des données vidéo égocentriques utiles ?

Non. Des vidéos humaines à la première personne peuvent être collectées sans matériel robotique et être précieuses pour le pré-entraînement visuel, la compréhension des tâches, l'interaction main-objet et la modélisation des mouvements. Si l'objectif est l'apprentissage direct d'une politique robotique, la chaîne doit néanmoins inclure des actions robotiques, des démonstrations réalisées par un robot ou une méthode de transposition validée.

Les ensembles de données égocentriques nécessitent-ils le suivi de la pose 3D des mains et du regard ?

Seulement lorsque l'utilisation en aval le justifie. Le pré-entraînement visuel général peut ne nécessiter aucun des deux. La prédiction de trajectoire de la main ou la transposition peuvent bénéficier d'une pose 3D fiable et de la géométrie de la caméra. Le suivi du regard peut soutenir la modélisation de l'attention ou de l'intention, mais ce n'est pas une exigence universelle.

Combien de vidéo égocentrique suffit-il pour un projet en robotique ?

Il n'existe pas de nombre d'heures universel. Les besoins dépendent de la diversité des tâches, de la variation des environnements, de la couverture des objets, de la qualité des annotations, de l'objectif du modèle et de la portée de généralisation revendiquée. Lancez un pilote, mesurez la couverture et le rendement en données utilisables, entraînez un modèle initial, puis étendez la collecte en comblant les lacunes observées plutôt que de choisir un nombre d'heures de manière isolée.

Les ensembles de données égocentriques publics peuvent-ils être utilisés pour l'entraînement commercial d'IA ?

Cela dépend de la licence en vigueur du jeu de données. Certaines ressources autorisent l'utilisation commerciale sous conditions spécifiques, tandis que d'autres restreignent l'usage commercial ou la redistribution. Vérifiez la licence des données elles-mêmes, et non la licence du dépôt logiciel ni un résumé fourni par un tiers.

Qu'est-ce que l'embodiment gap ?

L'embodiment gap est la discordance entre le corps humain qui a produit la démonstration et le robot qui doit exécuter la tâche. Elle inclut l'apparence, la géométrie de la caméra, la cinématique, la mécanique de préhension, la portée et les contraintes physiques. La réduire peut impliquer l'apprentissage de représentations, la transposition, l'édition des données, le réglage fin du robot ou une combinaison de méthodes.

Les vidéos égocentriques sont précieuses car elles offrent aux systèmes incarnés une vue rapprochée des interactions réelles, à une échelle que les seules collections robotiques ont du mal à égaler. Leur utilité, cependant, provient de la correspondance entre les données et l'objectif d'apprentissage. Une caméra à la première personne ne génère pas automatiquement des actions robotiques, des annotations denses n'entraînent pas automatiquement une supervision précise, et davantage d'heures n'assurent pas automatiquement une couverture plus large.

Les ensembles de données les plus solides pour les tâches ménagères rendent explicite la voie de transfert. Ils définissent ce que le robot doit apprendre, capturent les points de vue et les environnements pertinents, instrumentent uniquement les signaux que le modèle utilisera, préservent les informations de provenance et de confidentialité, valident la qualité des annotations et des capteurs, et testent le transfert humain-vers-robot sur un pilote avant de passer à l'échelle.

Un principe utile est le suivant : la vidéo égocentrique doit être conçue comme une preuve en vue d'une tâche de robotique, et non collectée d'abord comme un fil d'images pour être interprétée ensuite comme des données d'entraînement.