Diseñando Egocentric Household-Task Data para robótica y Embodied AI

El vídeo egocéntrico consiste en grabaciones en primera persona realizadas desde el punto de vista de la persona que ejecuta una actividad. En robótica y embodied AI, desde ese punto de vista aparecen las manos, los objetos manipulados, las oclusiones, el movimiento de la cámara y el contexto de la tarea, todo muy cerca de la interacción. Para equipos que construyen AI training datasets, las grabaciones en primera persona pueden aportar evidencia útil sobre la interacción mano-objeto, la comprensión de acciones y las tareas procedimentales. Recursos extensos como Ego4D han convertido el vídeo egocéntrico en un elemento central de la investigación sobre predicción, memoria episódica y percepción encarnada.

Pero un conjunto de datos de vídeo egocéntrico no sirve automáticamente como datos de entrenamiento para robots. Las grabaciones montadas en la cabeza de una persona no reproducen la geometría de cámara de todos los robots, y la trayectoria de una mano humana no equivale a una acción de robot. El conjunto de datos debe diseñarse en torno a la hipótesis de transferencia aguas abajo: el preentrenamiento visual puede necesitar vídeo RGB bien curado y metadatos de la tarea, mientras que el aprendizaje de trayectorias o el retargeting pueden requerir poses calibradas, la geometría de la cámara, información de contacto y validación específica para el robot.

Para la robótica doméstica, la cobertura es tan importante como la duración. Cocinas, dormitorios, baños y salas de estar contienen desorden, objetos deformables, estados cambiantes de los objetos, secuencias largas de tareas y grandes diferencias entre hogares. Una colección útil necesita una especificación clara de tareas, cobertura medible, un conjunto de anotaciones ajustado al objetivo de aprendizaje y un plan de evaluación que ponga a prueba si el modelo funciona fuera del conjunto de captura.

En visión por computadora, el vídeo egocéntrico o en primera persona se captura con una cámara que la persona que realiza la actividad lleva puesta o transporta. Para la robótica, su valor no reside en que la vista humana coincida perfectamente con la del robot, sino en que la cámara se mueve con el actor y permanece cerca de la interacción. Eso la hace útil junto a conjuntos de datos de reconocimiento de actividades humanascuando el modelo necesita entender qué se está alcanzando, agarrando, moviendo, abriendo, colocando o soltando.

Esa distinción importa. Una cámara fija en tercera persona puede ser excelente para la geometría de la escena, la postura corporal, la supervisión y el contexto completo de la tarea. Una cámara montada en la muñeca puede ser mejor para la manipulación local. Una cámara montada en la cabeza puede ofrecer una vista más amplia centrada en el actor. Muchos conjuntos de datos sólidos combinan deliberadamente puntos de vista en lugar de considerar una ubicación de cámara como universalmente superior.

La tendencia creciente en la investigación hace que se consideren complementarias, más que mutuamente excluyentes. Ego-Exo4D sincroniza vídeo egocéntrico y exocéntrico con sensores adicionales, mientras DROID proporciona 76,000 trayectorias de demostración de robots a través de cientos de escenas del mundo real. El vídeo humano en primera persona amplía la cobertura visual y de comportamiento; los datos del robot anclan el aprendizaje en el cuerpo que debe ejecutar realmente la tarea.

Una taxonomía de tareas domésticas puede parecer simple hasta que el protocolo de captura debe definir qué realmente varía. “Cargar el lavavajillas” implica la selección de objetos, los mecanismos de apertura y cierre, agarrar elementos rígidos y frágiles, evitar colisiones, colocar objetos en ranuras con espacio limitado y manejar objetos parcialmente ocluidos. La misma tarea también se ve diferente en cada cocina.

• Diversidad de objetos y estados. Los hogares contienen objetos rígidos, telas deformables, electrodomésticos articulados, líquidos, envases, herramientas, alimentos y objetos cuyo estado cambia durante la tarea.
• Desorden y oclusión. Las manos y los objetos desaparecen detrás de puertas, contenedores, estantes, otros objetos y del propio cuerpo del actor. El movimiento de la cámara egocéntrica dificulta aún más el seguimiento.
• Tareas de largo horizonte. Las actividades domésticas a menudo contienen pasos reutilizables y resultados ramificados en lugar de una acción atómica.
• Variación del entorno. La disposición, las alturas de las encimeras, la iluminación, la geometría de los electrodomésticos, las marcas de los objetos, las convenciones de almacenamiento y el desorden de fondo pueden cambiar de un hogar a otro.
• Variación humana. Las personas usan diferentes manos, velocidades, agarres, secuencias y estrategias de recuperación. La repetición de un solo demostrador no equivale a diversidad de comportamiento.

La implicación práctica es simple: las horas son un mal sustituto de la cobertura. Una colección más pequeña que abarque muchas variantes de tarea, hogares, objetos y demostradores puede responder una pregunta de generalización más amplia que una colección mucho mayor concentrada en un solo entorno. Esto no es una regla universal sobre el tamaño de los conjuntos de datos; es un recordatorio de medir las dimensiones que importan para el despliegue.

No existe una única pila de anotaciones obligatoria. Las capas de datos adecuadas dependen de lo que se espere que el modelo aprenda. Un error común es capturar el conjunto de datos más instrumentado posible sin decidir si el modelo downstream utilizará esas señales.

Colocación de la cámara, calibración y sincronización

Elija el punto de vista en función de la tarea y de la señal de aprendizaje prevista. Las cámaras montadas en la cabeza preservan el contexto de la escena pero pueden perder las manos cuando la mirada se adelanta a la acción. Las cámaras en la muñeca mantienen la manipulación local en primer plano pero ofrecen menos contexto global. Las configuraciones multicámara pueden reducir esos puntos ciegos, a costa de la sincronización, la calibración, el almacenamiento y un control de calidad más complejo.

Si el proyecto va a usar geometría 3D, correspondencia entre vistas o trayectorias retargeteadas, registre los parámetros intrínsecos y extrínsecos de las cámaras, las marcas temporales y la calidad de la sincronización durante la captura. Estos campos son difíciles de reconstruir de forma fiable después de haber grabado una colección grande.

Postura de la mano, interacción con objetos y contacto

Los datos de la mano pueden ir desde simples indicadores de visibilidad hasta puntos clave 2D, trayectorias articulares 3D, mallas, segmentación mano–objeto y eventos de contacto. Un mayor nivel de detalle no es automáticamente mejor. Para una tarea de reconocimiento o de vídeo-lenguaje, una pose 3D densa de la mano puede aportar poco. Para la predicción de trayectorias en tareas de manipulación hábil, puede ser clave.

Apple's EgoDex es un ejemplo útil de esta distinción. Contiene 829 horas de vídeo egocéntrico de manipulación con seguimiento emparejado 3D de cabeza, parte superior del cuerpo, mano y dedos, recogido en el momento de la grabación a lo largo de 194 tareas sobre mesa. El conjunto de datos se diseñó en torno a la manipulación más que al vídeo de la vida diaria en general, por lo que su sensado y sus anotaciones son correspondientemente diferentes de un recurso general como Ego4D.

Pasos de la tarea y cambios de estado del objeto

Los episodios largos son más fáciles de entrenar y evaluar cuando la estructura de la tarea es explícita. Dependiendo del caso de uso, las anotaciones pueden incluir límites de episodio, límites de paso, verbos de acción, objetos manipulados, precondiciones, postcondiciones, éxito o fracaso, y transiciones objeto-estado como abierto/cerrado, vacío/lleno, plegado/desplegado o sobre la superficie/en el contenedor.

Evite convertir un vocabulario de fases conveniente en un supuesto estándar de la industria. Una secuencia como acercamiento, agarre, transporte, colocación y liberación es útil para muchas tareas pick-and-place, pero no describe todas las interacciones domésticas. El esquema debería seguir la ontología de la tarea.

Lenguaje, audio, seguimiento ocular y otras señales opcionales

Los modelos condicionados por instrucciones se benefician de lenguaje alineado con episodios o pasos. El audio puede ser importante cuando el habla, los electrodomésticos, los impactos o el razonamiento multimodal forman parte de la tarea. El seguimiento ocular puede proporcionar una señal de atención en conjuntos de datos que lo capturen de forma fiable, pero no es un requisito universal para el aprendizaje de manipulación ni para el retargeting.

Ego-Exo4D V2 ilustra un diseño fuertemente instrumentado: su lanzamiento incluye vídeo ego/exo sincronizados y, en la mayoría de las tomas, seguimiento ocular, trayectorias y nubes de puntos 3D. Eso tiene sentido para sus objetivos de investigación multivista. Una colección comercial no debería copiar ese conjunto de sensores a menos que el modelo downstream lo necesite.

La distinción clave es que el vídeo egocéntrico proporciona una perspectiva, no un registro de las acciones del robot. Puede enseñar a un modelo la estructura de la interacción y el comportamiento humano, pero el aprendizaje de políticas aún requiere un mapeo defendible que convierta el movimiento humano observado en acciones ejecutables por el robot o que se base en datos procedentes directamente del propio robot.

Las manos humanas y las pinzas robóticas difieren en apariencia, grados de libertad, alcance, mecánica de contacto, límites de velocidad y controlabilidad. Por lo tanto, la brecha de encarnación tiene al menos dos partes: una brecha visual, en cuanto a lo que la cámara ve, y una brecha de acción, en cuanto a qué movimientos son físicamente ejecutables.

Encarnación visual

Una política preentrenada en gran medida con datos humanos puede aprender características asociadas a brazos humanos, piel, forma de la mano u oclusiones específicas de humanos. Investigaciones recientes exploran editar la entrada visual para que se parezca más a la del robot objetivo. Por ejemplo, el trabajo Masquerade (2025) estima la pose de la mano humana, elimina los brazos humanos y superpone un robot renderizado para reducir el desajuste visual antes del aprendizaje de la política.

Eso es evidencia de que la robotización visual puede ayudar en una configuración experimental particular, pero no es prueba de que todos los conjuntos de datos egocéntricos deban editarse de esta manera.

Retargeting cinemático

El retargeting estima una trayectoria humana y la mapea al espacio de acciones o poses del robot objetivo. Ese mapeo requiere verificaciones de factibilidad porque el robot puede no compartir el alcance humano, la orientación de la muñeca, el tipo de agarre o una trayectoria libre de colisiones. El retargeting también introduce error de estimación, por lo que no debe asumirse que una trayectoria mapeada y visualmente plausible sea ejecutable o segura.

EgoVLA es un ejemplo reciente que aprende a partir de vídeo humano egocéntrico y utiliza cinemática inversa y retargeting antes del ajuste fino en el robot. La lección más general es diseñar la captura y la anotación en función del método de transferencia previsto, en lugar de considerar la transferencia como una ocurrencia tardía.

1. Definir tareas ejecutables y reglas de finalización

Reemplace nombres de categorías como “limpieza” o “tareas de cocina” por episodios específicos: cargar cinco platos variados en el lavavajillas, limpiar un derrame de la encimera, doblar una toalla de baño, clasificar el correo en dos bandejas o colocar las compras en los lugares de almacenamiento asignados. Defina qué se considera finalización, fallo, recuperación y finalización parcial antes de que comience la captura.

2. Especifique las dimensiones de cobertura antes que el volumen

Para cada tarea, identifique las dimensiones que podrían cambiar el comportamiento del modelo: disposición del hogar, instancia del objeto, estado del objeto, punto de vista, iluminación, desorden, uso de la mano izquierda o derecha, demostrador, velocidad del movimiento, tipo de fallo y configuración de la cámara. No todos los proyectos necesitan cuotas para cada intersección. La idea es hacer visibles las omisiones importantes antes de que se acumulen miles de episodios similares.

3. Seleccione sensores según el objetivo del modelo

Un equipo RGB ligero puede ser suficiente para preentrenamiento visual o comprensión de tareas. Un proyecto que requiera trayectorias métricas 3D de la mano puede necesitar profundidad, cámaras calibradas, SLAM o seguimiento instrumentado. Si la mirada forma parte del modelo previsto, debe capturarse y comprobarse su calidad como señal de primera clase. No compre instrumentación simplemente porque esté disponible.

4. Diversifique hogares, personas, objetos y la ejecución de las tareas

La captura distribuida puede ampliar el conjunto de datos, pero la diversidad debe medirse en lugar de suponerse. Registre cuánto aporta cada hogar, demostrador, familia de objetos, cámara y variante de tarea. Un participante prolífico o un entorno fácil de grabar puede dominar una colección sorprendentemente rápidamente.

5. Decida cómo manejar fallos y recuperación

Las demostraciones exitosas son esenciales, pero algunos proyectos también necesitan objetos caídos, agarres fallidos, reintentos, rutas bloqueadas, tareas incompletas o comportamientos de recuperación. Inclúyalos solo cuando sirvan a un objetivo definido de entrenamiento o evaluación, y etiquételos claramente para que el fallo no se mezcle por accidente con las demostraciones exitosas.

6. Trate la privacidad, el consentimiento y la información del hogar como restricciones de diseño del conjunto de datos

El vídeo doméstico en primera persona puede captar rostros, voces, pantallas, correo, fotografías familiares, direcciones, medicación, niños y otra información privada. El consentimiento, las normas de filmación, la política de redacción, el control de acceso, la retención y los usos permitidos para el entrenamiento del modelo deben definirse antes de la recopilación. Lo mismo aplica a los transeúntes y a los miembros del hogar que no sean el demostrador principal.

Antes de poner en marcha miles de horas, realiza un pequeño piloto utilizando los dispositivos, los hogares, las tareas, las reglas de anotación y el pipeline de ingestión reales. El piloto debe determinar si los datos propuestos son realmente utilizables, no simplemente si las personas pueden subir vídeo.

No publique hallazgos numéricos de calidad hasta que el piloto los haya producido. Lo que merece publicarse es el método de medición: cómo se define un episodio utilizable, cómo se cuenta la cobertura, qué se excluyó y dónde el diseño de captura aún falla. Esa metodología es más reutilizable que una puntuación de calidad sin explicación.

La evaluación del conjunto de datos debe reflejar la afirmación sobre su uso posterior. Si el conjunto de datos está destinado al preentrenamiento visual, mida la transferencia a entornos o tareas no vistos. Si está pensado para el aprendizaje de trayectorias de la mano, valide la calidad de la pose y la predicción de la trayectoria. Si va a usarse para retargeting, pruebe la factibilidad en el robot y el rendimiento de la política en tareas posteriores en lugar de considerar la presencia de un campo de pose 3D como evidencia de éxito.

• Cobertura. ¿Están representadas las tareas, objetos, hogares, demostradores, puntos de vista y casos difíciles requeridos con suficiente evidencia independiente?
• Calidad de las anotaciones. ¿Son las etiquetas correctas, internamente consistentes y adecuadas para el modelo previsto? El acuerdo por sí solo no prueba la corrección.
• Independencia. ¿Están protegidos los conjuntos de entrenamiento, validación y prueba frente a que procedan de los mismos episodios fuente, hogares, sujetos o grabaciones derivadas cuando esas relaciones podrían filtrar información?
• Calidad del sensor. ¿Son la calibración, la sincronización, el seguimiento de la pose, la profundidad, la mirada o el audio lo suficientemente fiables para las afirmaciones que se hacen sobre ellos?
• Privacidad y derechos. ¿Permite la licencia real del conjunto de datos y la cadena de consentimientos el entrenamiento, la evaluación, el almacenamiento y el uso comercial previstos?
• Rendimiento en tareas posteriores. ¿Mejora, al añadir los datos, el rendimiento en la tarea objetivo sin provocar regresiones en otros entornos, objetos o comportamientos?

Un conjunto de evaluación útil debe ser independiente de las decisiones de recolección que pretende juzgar. Si un equipo de captura añade repetidamente ejemplos tras inspeccionar un benchmark fijo, ese benchmark, gradualmente, se convierte en parte del ciclo de optimización. Mantenga un conjunto general reservado y, cuando sea útil, cree segmentos de desafío separados para condiciones domésticas difíciles.

Los conjuntos de datos públicos son valiosos para el preentrenamiento, la evaluación comparativa y para aprender cómo puede ser un esquema de datos maduro. No son intercambiables y sus licencias, sensores, distribuciones de tareas y anotaciones difieren sustancialmente. Verifique la licencia vigente directamente, en lugar de asumir que “public” significa entrenamiento comercial sin restricciones.

Las cifras publicadas más arriba provienen de las páginas oficiales Ego4D, Ego - Exo4D, EgoDex y DROID. Consulte los datos actualizados y los acuerdos de uso de cada recurso antes de su adquisición o de su uso para entrenamiento comercial. La documentación de acceso actual de Ego - Exo4D cubre explícitamente tanto el uso para investigación como el comercial, mientras que EgoDex se distribuye bajo una licencia de conjunto de datos no comercial.

Los datos públicos pueden reducir el coste de las primeras fases de investigación, pero no garantizan la cobertura de la lista de tareas del producto, de los hogares, de los objetos, de la geometría de la cámara, de los requisitos de privacidad ni de la configuración física del robot. Es ahí cuando la captura diseñada específicamente para el propósito se convierte en un requisito técnico más que en una mera preferencia de adquisición.

Preentrenamiento de representaciones visuales

El vídeo en primera persona puede utilizarse para preentrenar representaciones visuales antes del aprendizaje específico para robots. El trabajo VC-1 de Meta empleó miles de horas de vídeo egocéntrico humano, incluido Ego4D, para estudiar representaciones en una gama de tareas encarnadas. Este es un caso de uso potente para vídeo RGB amplio, porque el modelo está aprendiendo características visuales en lugar de acciones directas del robot.

Modelado del movimiento humano y de trayectorias

Los conjuntos de datos con movimiento 3D registrado de manos y cuerpo pueden apoyar la predicción de trayectorias humanas, la estructura de contacto y la progresión de tareas. Los modelos resultantes pueden entonces proporcionar conocimientos a priori o trayectorias candidatas para una canalización robótica, sujetas a mapeos específicos de la encarnación y comprobaciones de factibilidad.

Retargeting y coentrenamiento con datos de robots

Trabajos recientes como EgoVLA y Masquerade exploran cómo el vídeo egocéntrico humano puede convertirse o editarse para apoyar el aprendizaje robótico. Estas son direcciones de investigación activas, no recetas establecidas. En la práctica, los datos humanos suelen ser más útiles cuando se combinan con demostraciones robóticas que definen el espacio de acción real y las restricciones físicas.

El contraste de escala ayuda a explicar el interés. La Open X - Embodiment colaboración agrega más de un millón de trayectorias reales de robots a través de muchas encarnaciones, pero los datos robóticos siguen siendo caros de recopilar y altamente estructurados. El vídeo humano puede aportar cobertura adicional de escenas y comportamientos, pero debería complementar los datos robóticos, y no etiquetarse erróneamente como datos de interacción robótica.

• Tratar las grabaciones en primera persona como una equivalencia automática con el despliegue. Las cámaras robotizadas difieren en colocación, campo de visión, movimiento, altura y configuración física. Compruebe la geometría real del sensor.
• Recolectar horas antes de definir la cobertura. Los episodios repetidos en las mismas viviendas y conjuntos de objetos pueden inflar el volumen sin aportar la variedad que necesita el modelo.
• Asumir que todo proyecto necesita etiquetas densas de la pose de la mano, la mirada y el contacto. La instrumentación y la anotación deben seguir el objetivo de aprendizaje, no una lista de verificación genérica.
• Tratar la pose 3D estimada como la verdad de referencia. La reconstrucción de la pose tiene incertidumbre. Valide la señal en casos representativos de movimiento, oclusión y contacto con objetos.
• Ignorar la dependencia de la fuente en las particiones del conjunto de datos. Los episodios relacionados, los hogares repetidos o las vistas derivadas pueden generar fugas en la evaluación cuando la prueba prevista es la generalización.
• Tratar las licencias de conjuntos de datos públicos como uniformes. Las licencias de código, las licencias de conjuntos de datos, los términos de redistribución y los derechos para el entrenamiento comercial de modelos pueden diferir.
• Dejar la brecha de embodiment hasta el final. Si el retargeting forma parte del plan, pruebe el mapeo en un piloto mientras aún se puedan cambiar los parámetros de captura.

• ¿Qué tareas, objetos, hogares, demostradores y países o regiones están representados y cómo se definen esos recuentos?
• ¿Qué ubicaciones de cámaras, campos de visión, frecuencias de fotogramas, resoluciones y modalidades de sensores se entregan?
• ¿Están disponibles marcas de tiempo y parámetros de calibración para alguna de las modalidades sincronizadas?
• ¿Cómo se definen los límites de tarea, las acciones, las interacciones mano-objeto, los estados de los objetos, el éxito/fracaso y los casos ambiguos?
• ¿Qué anotaciones están verificadas por humanos, generadas por modelos, derivadas por instrumentos o reconstruidas después de la captura?
• ¿Cómo se manejan duplicados, episodios repetidos, hogares y demostradores a través de las particiones de entrenamiento, validación y prueba?
• ¿Qué evidencia está disponible sobre la precisión de las anotaciones, la sincronización de sensores y la tasa de captura utilizable?
• ¿Qué consentimiento, privacidad, permisos de publicación, retención y derechos para entrenamiento comercial se aplican al metraje y a las anotaciones derivadas?
• ¿Puede el proveedor ejecutar un piloto con el pipeline del robot objetivo antes de escalar la recopilación?

Una recopilación personalizada es más útil cuando el alcance requerido de la tarea es específico: un electrodoméstico concreto, una familia de objetos, la distribución de una vivienda, la geometría de la cámara, un modo de fallo, un esquema de anotación o un requisito de derechos comerciales que falte en los datos disponibles. El brief debe definir esos requisitos antes de que comience la grabación, no después de que se haya realizado una entrega masiva.

Los conjuntos de datos de imágenes y vídeo de Wavebreak Media y sus capacidades de producción personalizadas pueden usarse como punto de partida para acotar una colección construida con ese propósito. Para un proyecto de robótica egocéntrica, el brief útil especificaría la taxonomía de tareas, los entornos, la colocación de cámaras, la pila de sensores, los resultados de anotación, las reglas de privacidad, los objetivos de cobertura, la lógica de partición y los criterios de aceptación.

¿Qué es el vídeo egocéntrico en robótica?

El vídeo egocéntrico es material grabado en primera persona desde la perspectiva de quien realiza una actividad. Los equipos de robótica lo usan porque captura vistas centradas en el actor: manos, objetos e interacciones en entornos naturales. Puede apoyar la percepción, el aprendizaje vídeo‑lenguaje, el modelado mano‑objeto y la transferencia humano a robot, pero no contiene acciones del robot a menos que esas acciones se añadan o se deriven por separado.

¿Es el vídeo egocéntrico mejor que el vídeo en tercera persona para robótica?

No de forma universal. Las grabaciones egocéntricas suelen ser mejores para la interacción local mano‑objeto y las estadísticas visuales centradas en el actor. Las vistas en tercera persona pueden ser mejores para el contexto completo de la escena, la postura corporal, la geometría y la supervisión. Los conjuntos de datos multivista pueden combinar ambos. La vista correcta depende del objetivo de aprendizaje y de la configuración de la cámara que se vaya a usar en el despliegue.

¿Necesitas un robot para recopilar datos egocéntricos útiles para entrenamiento?

No. El vídeo humano en primera persona se puede recopilar sin hardware robótico y puede ser valioso para el preentrenamiento visual, la comprensión de tareas, la interacción mano‑objeto y el modelado del movimiento. Si el objetivo es aprender una política directamente para el robot, la canalización sigue necesitando acciones del robot, demostraciones del robot o un método de retargeting validado.

¿Los conjuntos de datos egocéntricos necesitan seguimiento de pose 3D de la mano y de la mirada?

Solo cuando el uso posterior lo justifique. El preentrenamiento visual general puede no necesitarlos. La predicción de la trayectoria de la mano o el retargeting pueden beneficiarse de una estimación 3D de la pose y de una geometría de cámara fiables. El seguimiento de la mirada puede ayudar en el modelado de atención o intención, pero no es un requisito universal.

¿Cuánto vídeo egocéntrico es suficiente para un proyecto de robótica?

No existe un número universal de horas. Los requisitos dependen de la diversidad de tareas, la variación del entorno, la cobertura de objetos, la calidad de las anotaciones, el objetivo del modelo y las exigencias de generalización. Realiza un piloto, mide la cobertura y el rendimiento de los datos utilizables, entrena un modelo inicial y amplía en función de las brechas observadas en lugar de seleccionar un recuento de horas objetivo de forma aislada.

¿Se pueden usar conjuntos de datos egocéntricos públicos para el entrenamiento comercial de IA?

Depende de la licencia actual del conjunto de datos. Algunos recursos permiten el uso comercial bajo acuerdos específicos, mientras que otros restringen el uso comercial o la redistribución. Verifica la licencia de los datos en sí, no la licencia del repositorio de software ni un resumen de terceros.

¿Qué es la brecha de encarnación?

La brecha de encarnación es el desajuste entre el cuerpo humano que produjo la demostración y el robot que debe ejecutar la tarea. Incluye la apariencia, la geometría de la cámara, la cinemática, la mecánica del agarre, el alcance y las restricciones físicas. Superarla puede implicar aprendizaje de representaciones, retargeting, edición de datos, ajuste fino del robot o una combinación de métodos.

El vídeo egocéntrico es valioso porque ofrece a los sistemas robóticos una vista cercana de la interacción real a una escala que las colecciones destinadas únicamente a robots tienen dificultades para igualar. Su utilidad, sin embargo, proviene de la correspondencia entre los datos y el objetivo de aprendizaje. Una cámara en primera persona no genera automáticamente acciones del robot; las anotaciones densas no producen necesariamente una supervisión precisa; y más horas no implican automáticamente una cobertura más amplia.

Los conjuntos de datos más sólidos sobre tareas domésticas hacen explícita la ruta de transferencia. Definen lo que el robot debe aprender, capturan los puntos de vista y los entornos que importan, registran únicamente las señales que el modelo utilizará, preservan la información de origen y la privacidad, validan la calidad de las anotaciones y de los sensores, y prueban la transferencia de humano a robot mediante un piloto antes de escalar.

Un principio útil es: el vídeo egocéntrico debe diseñarse como evidencia para una tarea de robótica; no debe recopilarse primero como grabaciones y luego interpretarse como datos de entrenamiento.