Projetando Dados Egocêntricos de Tarefas Domésticas para Robótica e IA Incorporada

Vídeo egocêntrico é uma filmagem em primeira pessoa, gravada do ponto de vista da pessoa que realiza uma atividade. Em robótica e IA incorporada, esse ponto de vista mantém mãos, objetos manipulados, oclusão, movimento da câmera e o contexto da tarefa próximos à interação. Para equipes que constroem conjuntos de dados de treinamento de IA, filmagens em primeira pessoa podem acrescentar evidências úteis sobre interação mão–objeto, entendimento de ações e tarefas procedurais. Recursos extensos como Ego4D tornaram o vídeo egocêntrico central para pesquisas sobre previsão, memória episódica e percepção incorporada.

Mas um conjunto de dados de vídeo egocêntrico não é automaticamente adequado como dado de treinamento para robôs. Imagens captadas por câmeras montadas na cabeça humana não reproduzem toda a geometria de câmera dos robôs, e a trajetória da mão humana não corresponde à de um robô. O conjunto de dados deve ser projetado em torno da alegação de transferência downstream: o pré-treinamento visual pode precisar de vídeos RGB bem curados e metadados de tarefa, enquanto o aprendizado de trajetórias ou o retargeting podem exigir poses calibradas, geometria da câmera, informações de contato e validações específicas para robôs.

Para robótica doméstica, a cobertura é tão importante quanto a duração. Cozinhas, quartos, banheiros e salas de estar contêm desordem, objetos deformáveis, estados variáveis dos objetos, longas sequências de tarefas e grandes diferenças entre residências. Uma coleção útil precisa de uma especificação clara de tarefas, cobertura mensurável, uma pilha de anotações adequada ao objetivo de aprendizado e um plano de avaliação que teste se o modelo funciona fora do conjunto de captura.

Em conjuntos de dados de visão computacional, o vídeo egocêntrico, ou em primeira pessoa, é capturado por uma câmera usada ou transportada pela própria pessoa que realiza a atividade. Para a robótica, o valor não reside em que a visão humana corresponda perfeitamente à do robô; reside no fato de que a câmera se move com o ator e permanece próxima à interação. Isso a torna útil juntamente com conjuntos de dados de reconhecimento de atividades humanas quando o modelo precisa entender o que está sendo alcançado, agarrado, movido, aberto, colocado ou solto.

Essa distinção é importante. Uma câmera fixa em terceira pessoa pode ser excelente para a geometria da cena, a pose corporal, a supervisão e o contexto completo da tarefa. Uma câmera no pulso pode ser melhor para a manipulação local. Uma câmera montada na cabeça pode oferecer uma visão mais ampla, centrada no ator. Muitos conjuntos de dados robustos combinam deliberadamente diferentes pontos de vista em vez de tratar uma única posição de câmera como universalmente superior.

O paradigma de pesquisa em crescimento é complementar, e não excludente. Ego - Exo4D sincroniza vídeos egocêntricos e exocêntricos com sensoriamento adicional, enquanto DROID fornece 76.000 trajetórias de demonstração de robôs em centenas de cenas do mundo real. Vídeos humanos em primeira pessoa ampliam a cobertura visual e comportamental; os dados de robô fundamentam o aprendizado na encarnação que realmente terá de executar a tarefa.

Uma taxonomia de tarefas domésticas pode parecer simples até que o protocolo de captura tenha de definir o que realmente varia. “Carregar a máquina de lavar louça” envolve a seleção de objetos, mecanismos de abertura e fechamento, agarrar itens rígidos e frágeis, evitar colisões, colocar objetos em compartimentos restritos e lidar com alvos parcialmente ocluídos. A mesma tarefa também parece diferente em cada cozinha.

• Diversidade de objetos e estados. Casas contêm objetos rígidos, tecidos deformáveis, eletrodomésticos articulados, líquidos, embalagens, ferramentas, alimentos e objetos cujo estado muda durante a tarefa.
• Desordem e oclusão. Mãos e alvos desaparecem atrás de portas, recipientes, prateleiras, outros objetos e do próprio corpo do ator. O movimento da câmera egocêntrica torna o rastreamento ainda mais difícil.
• Tarefas de longo horizonte. Atividades domésticas frequentemente contêm passos reutilizáveis e resultados ramificados em vez de uma única ação atômica.
• Variação do ambiente. Layouts, alturas das bancadas, iluminação, geometria dos aparelhos, marcas dos objetos, convenções de armazenamento e a desordem de fundo podem variar de casa para casa.
• Variação humana. Pessoas usam mãos diferentes, velocidades, pegadas, sequências e estratégias de recuperação. A repetição de um único demonstrador não é o mesmo que diversidade comportamental.

A implicação prática é simples: horas de gravação são um substituto pobre para cobertura. Uma coleção menor que abranja muitas variantes de tarefas, casas, objetos e demonstradores pode responder a uma questão de generalização mais ampla do que uma coleção muito maior concentrada em um único cenário. Isso não é uma regra universal sobre o tamanho do conjunto de dados; é um lembrete para medir as dimensões que importam para a implantação.

Não existe um único conjunto de anotações obrigatório. As camadas de dados adequadas dependem do que se espera que o modelo aprenda. Um erro comum é capturar o conjunto de dados mais instrumentado possível sem decidir se o modelo a jusante usará esses sinais.

Posicionamento, calibração e sincronização das câmeras

Escolha o ponto de vista conforme a tarefa e o sinal de aprendizado pretendido. Câmeras montadas na cabeça preservam o contexto da cena, mas podem perder as mãos quando o olhar se adianta à ação. Câmeras no pulso mantêm a manipulação local em destaque, mas fornecem menos contexto global. Sistemas multi-câmera podem reduzir esses pontos cegos, ao custo de sincronização, calibração, armazenamento e controle de qualidade mais complexos.

Se o projeto for usar geometria 3D, correspondência entre vistas ou trajetórias retargeteadas, registre os parâmetros intrínsecos e extrínsecos da câmera, os carimbos de tempo e a qualidade da sincronização durante a captura. Esses campos são difíceis de reconstruir de forma confiável depois que uma grande coleção tiver sido gravada.

Pose da mão, interação com objetos e contato

Os dados das mãos podem variar desde simples indicadores de visibilidade até pontos-chave 2D, trajetórias articulares 3D, malhas, segmentação mão-objeto e eventos de contato. Mais detalhes não são automaticamente melhores. Para uma tarefa de reconhecimento ou vídeo-linguagem, uma pose 3D densa da mão pode acrescentar pouco. Para previsão de trajetórias em manipulações hábeis, pode ser central.

EgoDex da Apple é um exemplo útil dessa distinção. Contém 829 horas de vídeo egocêntrico de manipulação com rastreamento 3D pareado da cabeça, da parte superior do corpo, das mãos e dos dedos, coletados no momento da gravação, cobrindo 194 tarefas de mesa. O conjunto de dados foi projetado em torno da manipulação em vez de vídeos mais amplos do dia a dia, por isso sua captação de dados e anotações são, correspondentemente, diferentes de um recurso geral como o Ego4D.

Passos da tarefa e mudanças de estado do objeto

Episódios longos tornam-se mais fáceis de treinar e avaliar quando a estrutura da tarefa é explícita. Dependendo do caso de uso, as anotações podem incluir limites de episódio, limites de etapa, verbos de ação, objetos manipulados, pré-condições, pós-condições, sucesso ou falha, e transições de estado do objeto, como aberto/fechado, vazio/cheio, dobrado/desdobrado, ou sobre a superfície/no interior de um recipiente.

Evite transformar um vocabulário de fases conveniente em um falso padrão da indústria. Uma sequência como approach, grasp, transport, place and release é útil para muitas tarefas pick-and-place, mas não descreve toda interação doméstica. O esquema deve seguir a ontologia da tarefa.

Linguagem, áudio, gaze e outros sinais opcionais

Modelos condicionados por instruções se beneficiam de linguagem alinhada a episódios ou etapas. Áudio pode ser importante quando fala, eletrodomésticos, impactos ou o raciocínio multimodal fazem parte da tarefa (veja conjuntos de dados multimodais). O olhar pode fornecer um sinal de atenção em conjuntos de dados que o capturam de forma confiável, mas não é um requisito universal para aprendizado de manipulação ou retargeting.

Ego-Exo4D V2 ilustra um design fortemente instrumentado: seu lançamento inclui vídeo ego/exo sincronizado e, na maioria das tomadas, rastreamento do olhar, trajetórias e nuvens de pontos 3D. Isso faz sentido para seus objetivos de pesquisa multi-view. Uma coleta comercial não deve copiar esse conjunto de sensores a menos que o modelo downstream precise desse conjunto.

A principal distinção é que o vídeo egocêntrico é uma fonte de perspectiva, e não um registro das ações do robô. Ele pode ensinar um modelo sobre a estrutura da interação e o comportamento humano, mas o aprendizado de políticas ainda exige um mapeamento defensável do movimento humano observado em ações executáveis pelo robô ou em dados diretos do robô.

Mãos humanas e garras de robô diferem na aparência, nos graus de liberdade, no alcance, na mecânica de contato, nos limites de velocidade e na controlabilidade. A lacuna de incorporação, portanto, tem pelo menos duas partes: uma lacuna visual no que a câmera vê e uma lacuna de ação no que movimentos são fisicamente executáveis.

Incorporação Visual

Uma política pré-treinada intensivamente em filmagens humanas pode aprender características associadas a braços humanos, pele, formato da mão ou oclusões específicas de humanos. Pesquisas recentes exploram editar a entrada visual para que ela se assemelhe mais ao robô-alvo. Por exemplo, o trabalho Masquerade (2025) estima a pose da mão humana, remove os braços humanos da cena e sobrepõe um robô renderizado para reduzir a incompatibilidade visual antes do aprendizado da política.

Isso evidencia que a robotização visual pode ajudar em determinados cenários experimentais, mas não prova que todo conjunto de dados egocêntrico deva ser editado dessa forma.

Retargeting Cinemático

O retargeting estima uma trajetória humana e a mapeia para o espaço de ação ou para o espaço de pose do robô-alvo. Esse mapeamento requer verificações de viabilidade, pois o robô pode não compartilhar o alcance do humano, a orientação do pulso, o tipo de preensão ou um caminho livre de colisões. O retargeting também introduz erro de estimativa; portanto, uma trajetória mapeada visualmente plausível não deve ser assumida como executável ou segura.

EgoVLA é um exemplo recente que aprende a partir de vídeos humanos egocêntricos e usa cinemática inversa e retargeting antes do ajuste fino no robô. A lição mais ampla é projetar a captura e a anotação com base no método de transferência pretendido, em vez de tratar a transferência como uma reflexão posterior.

1. Defina tarefas executáveis e regras de conclusão

Substitua nomes de categorias como “limpeza” ou “tarefas da cozinha” por episódios específicos: colocar cinco pratos variados na máquina de lavar louça, limpar um derramamento do balcão, dobrar uma toalha de banho, separar correspondência em duas bandejas ou guardar as compras nos locais de armazenamento designados. Defina o que conta como conclusão, falha, recuperação e conclusão parcial antes de iniciar a captura.

2. Especifique as dimensões de cobertura antes do volume

Para cada tarefa, identifique as dimensões que podem alterar o comportamento do modelo: planta da casa, instância do objeto, estado do objeto, ponto de vista, iluminação, desordem, uso da mão esquerda/direita, demonstrador, velocidade de movimento, tipo de falha e configuração da câmera. Nem todo projeto precisa de cotas para cada interseção. A ideia é tornar omissões importantes visíveis antes que milhares de episódios semelhantes se acumulem.

3. Escolha sensores com base no objetivo do modelo

Um conjunto RGB leve pode ser suficiente para pré-treinamento visual ou compreensão da tarefa. Um projeto que exija trajetórias métricas 3D da mão pode precisar de profundidade, câmeras calibradas, SLAM ou rastreamento instrumentado. Se o olhar fizer parte do modelo pretendido, ele deve ser capturado e ter sua qualidade verificada como um sinal de primeira classe. Não compre instrumentação simplesmente porque ela está disponível.

4. Diversifique casas, pessoas, objetos e a execução das tarefas

A captura distribuída pode ampliar o conjunto de dados, mas a diversidade deve ser medida em vez de assumida. Acompanhe quanto cada casa, demonstrador, família de objetos, câmera e variante de tarefa contribui. Um participante prolífico ou um ambiente fácil de filmar pode dominar uma coleção surpreendentemente rápido.

5. Decida como lidar com falhas e recuperação

Demonstrações bem-sucedidas são essenciais, mas alguns projetos também precisam de objetos deixados cair, apreensões falhadas, novas tentativas, caminhos bloqueados, tarefas incompletas ou comportamento de recuperação. Inclua-os apenas quando servirem a um objetivo definido de treinamento ou avaliação, e rotule-os claramente para que falhas não sejam misturadas por engano com demonstrações bem-sucedidas.

6. Trate privacidade, consentimento e informações do domicílio como restrições de projeto do conjunto de dados

O vídeo domiciliar em primeira pessoa pode capturar rostos, vozes, telas, correspondência, fotografias de família, endereços, medicamentos, crianças e outras informações privadas. Consentimento, regras de filmagem, política de redação, controle de acesso, retenção e usos permitidos para treinamento de modelos precisam ser definidos antes da coleta. O mesmo se aplica a transeuntes e membros do domicílio que não sejam o demonstrador principal.

Antes de encomendar milhares de horas, realize um pequeno piloto usando os dispositivos reais, os domicílios, as tarefas, as regras de anotação e o pipeline de ingestão. O piloto deve responder se os dados propostos são realmente utilizáveis e não apenas se as pessoas conseguem enviar vídeos.

Não publique resultados numéricos de qualidade até que o piloto os tenha produzido. O que vale a pena publicar é o método de medição: como um episódio utilizável é definido, como a cobertura é contabilizada, o que foi excluído e onde o desenho de captura ainda falha. Essa metodologia é mais reutilizável do que uma pontuação de qualidade sem explicação.

A avaliação do conjunto de dados deve refletir a afirmação sobre o uso downstream. Se o conjunto de dados se destina ao pré-treinamento visual, meça a transferência para ambientes ou tarefas mantidos fora dele. Se for destinado ao aprendizado de trajetórias da mão, valide a qualidade das poses e a previsão de trajetórias. Se for destinado a suportar retargeting, teste a viabilidade no robô e o desempenho da política downstream, em vez de considerar a presença de um campo de pose 3D como prova de sucesso.

• Cobertura. As tarefas, objetos, domicílios, demonstradores, pontos de vista e casos difíceis necessários estão representados com evidência independente suficiente?
• Qualidade da anotação. Os rótulos estão corretos, internamente consistentes e adequados para o modelo pretendido? O acordo entre anotadores por si só não garante a correção.
• Independência. As divisões de treino, validação e teste estão protegidas para evitar que compartilhem o mesmo episódio de origem, domicílio, sujeito ou gravação derivada quando essas relações poderiam vazar informações?
• Qualidade dos sensores. Calibração, sincronização, rastreamento de pose, profundidade, direção do olhar e áudio são confiáveis o suficiente para as alegações feitas sobre eles?
• Privacidade e direitos. A licença real do conjunto de dados e a cadeia de consentimento permitem o treinamento, avaliação, armazenamento e uso comercial pretendidos?
• Desempenho downstream. A adição dos dados melhora a tarefa-alvo sem criar regressões em outros ambientes, objetos ou comportamentos?

Um conjunto de avaliação útil deve ser independente das decisões de coleta que se pretende avaliar. Se uma equipe de captura adiciona repetidamente exemplos após inspecionar um benchmark fixo, esse benchmark gradualmente passa a fazer parte do ciclo de otimização. Mantenha um conjunto geral mantido fora e, quando útil, subconjuntos de desafio separados para situações domésticas difíceis.

Conjuntos de dados públicos são valiosos para pré-treinamento, benchmarking e para entender como pode ser um esquema de dados maduro. Eles não são intercambiáveis e suas licenças, sensores, distribuições de tarefas e anotações diferem substancialmente. Verifique a licença atual diretamente em vez de presumir que “público” significa treinamento comercial irrestrito.

As cifras publicadas acima provêm das páginas oficiais dos projetos Ego4D, Ego - Exo4D, EgoDex, e DROID. Verifique o acordo de uso de dados vigente para cada recurso antes da aquisição ou do treinamento comercial. A documentação de acesso atual do Ego - Exo4D cobre explicitamente tanto o uso em pesquisa quanto o uso comercial, enquanto o EgoDex é distribuído sob uma licença de uso não comercial para conjuntos de dados.

Dados públicos podem reduzir o custo da pesquisa inicial, mas não garantem a cobertura da lista de tarefas de um produto, de domicílios, de objetos, da geometria da câmera, dos requisitos de privacidade ou da integração do robô. É aí que a captura projetada para esse fim se torna um requisito técnico em vez de simplesmente uma preferência de aquisição.

Pré-treinamento de representações visuais

Vídeos em primeira pessoa podem ser usados para pré-treinar representações visuais antes do aprendizado específico para robôs. O trabalho VC-1 da Meta utilizou milhares de horas de vídeo egocêntrico humano, incluindo Ego4D, para estudar representações em uma variedade de tarefas incorporadas. Este é um caso de uso forte para vídeo RGB amplo porque o modelo está aprendendo características visuais em vez de ações diretas de robô.

Modelagem de movimento humano e de trajetórias

Conjuntos de dados com movimentos 3D gravados de mãos e corpo podem apoiar a previsão de trajetórias humanas, estrutura de contato e progressão de tarefas. Os modelos resultantes podem então fornecer priors ou trajetórias candidatas para um pipeline de robô, que devem passar por mapeamento específico de embodiment e verificações de viabilidade.

Retargeting e co-treinamento com dados de robô

Trabalhos recentes como EgoVLA e Masquerade exploram como vídeo egocêntrico humano pode ser convertido ou editado para apoiar o aprendizado de robôs. São direções de pesquisa ativas, não uma receita definida. Na prática, dados humanos costumam ser mais úteis quando combinados com demonstrações de robô que definem o espaço de ação real e as restrições físicas.

O contraste de escala ajuda a explicar o interesse. A colaboração Open X - Embodiment agrega mais de um milhão de trajetórias reais de robôs em diversos embodiments; ainda assim, os dados de robôs continuam caros de coletar e altamente estruturados. O vídeo humano pode fornecer cobertura adicional de cena e comportamento, mas deve complementar, e não ser indevidamente rotulado como dados de interação de robôs.

• Tratar filmagens em primeira pessoa como equivalente automático ao cenário de implantação. Câmeras robóticas diferem por posicionamento, campo de visão, movimento, altura e corporeidade. Teste a geometria real do sensor.
• Coletar horas de gravação antes de definir a cobertura. Episódios repetidos nas mesmas casas e conjuntos de objetos podem inflar o volume sem adicionar a variação que o modelo precisa.
• Assumir que todo projeto precisa de rótulos densos de pose das mãos, do olhar e do contato. A instrumentação e a anotação devem seguir o objetivo de aprendizado, não uma lista de verificação genérica.
• Tratar a pose 3D estimada como verdade de referência. A reconstrução de pose apresenta incerteza. Valide o sinal em casos representativos de movimento, oclusão e contato com objetos.
• Ignorar a dependência da fonte nas divisões do conjunto de dados. Episódios relacionados, lares repetidos ou visões derivadas podem criar vazamento na avaliação quando o teste pretendido é generalização.
• Tratar o licenciamento de conjuntos de dados públicos como uniforme. Licenças de código, licenças de conjuntos de dados, termos de redistribuição e direitos de treinamento de modelos comerciais podem diferir.
• Deixar a lacuna de corporeidade para o final. Se o retargeting fizer parte do plano, teste o mapeamento em um piloto enquanto os parâmetros de captura ainda possam ser alterados.

• Quais tarefas, objetos, domicílios, demonstradores e países ou regiões estão representados, e como essas contagens são definidas?
• Quais posicionamentos de câmera, campos de visão, taxas de quadros, resoluções e modalidades de sensor são fornecidos?
• Estão disponíveis carimbos de data/hora e parâmetros de calibração para quaisquer modalidades sincronizadas?
• Como são definidos os limites de tarefa, ações, interações mão-objeto, estados dos objetos, sucesso/fracasso e casos ambíguos?
• Quais anotações são verificadas por humanos, geradas por modelos, derivadas de instrumentos ou reconstruídas após a captura?
• Como são tratados duplicados, episódios repetidos, domicílios e demonstradores nas divisões de treino, validação e teste?
• Que evidências estão disponíveis sobre a precisão das anotações, sincronização dos sensores e taxa de captura utilizável?
• Quais direitos de consentimento, privacidade, liberação, retenção e uso para treinamento comercial se aplicam às filmagens e às anotações derivadas?
• O provedor pode executar um piloto no pipeline do robô-alvo antes de escalar a coleta?

Uma coleção personalizada é mais útil quando os limites da tarefa exigidos são específicos: um aparelho específico, uma família de objetos, o layout da casa, a geometria da câmera, o modo de falha, o esquema de anotação ou um requisito de direitos comerciais ausente nos dados disponíveis. O briefing deve definir esses requisitos antes do início das gravações, e não depois de uma grande entrega ter sido feita.

Os conjuntos de dados de imagens e vídeo da Wavebreak Media e as capacidades de produção personalizadas podem ser usados como ponto de partida para definir o escopo de uma coleção construída para um propósito específico. Para um projeto de robótica egocêntrica, um briefing útil especificaria a taxonomia de tarefas, os ambientes, o posicionamento da câmera, o conjunto de sensores, as saídas de anotação, as regras de privacidade, as metas de cobertura, a lógica de divisão e os critérios de aceitação.

O que é vídeo egocêntrico em robótica?

O vídeo egocêntrico consiste em filmagens em primeira pessoa gravadas a partir da perspectiva da pessoa que realiza uma atividade. Equipes de robótica o utilizam porque captura visões centradas no ator, incluindo mãos, objetos e interações em ambientes naturais. Pode apoiar percepção visual, aprendizado vídeo-linguagem, modelagem mão-objeto e transferência humano-para-robô, mas não contém ações de robôs a menos que essas ações sejam adicionadas ou derivadas separadamente.

O vídeo egocêntrico é melhor do que o vídeo em terceira pessoa para robótica?

Nem sempre. As filmagens egocêntricas costumam ser melhores para interações locais entre mão e objeto e para estatísticas visuais centradas no ator. Visões em terceira pessoa podem ser melhores para o contexto completo da cena, pose corporal, geometria e supervisão. Conjuntos de dados multiview podem combinar ambos. O ponto de vista correto depende do objetivo de aprendizado e da configuração de câmera usada na implantação.

É necessário um robô para coletar dados úteis de treinamento egocêntrico?

Não. Vídeos humanos em primeira pessoa podem ser coletados sem hardware robótico e são valiosos para pré-treinamento visual, compreensão de tarefas, interação mão-objeto e modelagem de movimento. Se o objetivo for o aprendizado direto de políticas para robôs, o pipeline ainda precisa de ações do robô, demonstrações com robô ou de um método de retargeting validado.

Conjuntos de dados egocêntricos precisam de rastreamento da pose 3D da mão e do olhar?

Apenas quando o uso justificar. Pré-treinamento visual geral pode não precisar de nenhum deles. A predição de trajetórias da mão ou o retargeting podem se beneficiar de uma pose 3D confiável e da geometria da câmera. O rastreamento do olhar pode apoiar modelagem de atenção ou intenção, mas não é um requisito universal.

Quanto vídeo egocêntrico é suficiente para um projeto de robótica?

Não existe um número universal de horas. Os requisitos dependem da diversidade de tarefas, variação do ambiente, cobertura de objetos, qualidade das anotações, objetivo do modelo e da reivindicação de generalização. Realize um piloto, meça a cobertura e o rendimento de dados utilizáveis, treine um modelo inicial e expanda com base nas lacunas observadas em vez de selecionar uma meta de horas isoladamente.

Conjuntos de dados egocêntricos públicos podem ser usados para treinamento comercial de IA?

Depende da licença atual do conjunto de dados. Alguns recursos permitem uso comercial sob acordos específicos, enquanto outros restringem o uso comercial ou a redistribuição. Verifique a própria licença dos dados, não a licença do repositório de software ou um resumo de terceiros.

O que é o embodiment gap?

O embodiment gap é a incompatibilidade entre o corpo humano que produziu a demonstração e o robô que deve executar a tarefa. Inclui aparência, geometria da câmera, cinemática, mecânica de preensão, alcance e restrições físicas. Superar essa lacuna pode envolver aprendizado de representação, retargeting, edição de dados, ajuste fino do robô ou uma combinação de métodos.

O vídeo egocêntrico é valioso porque oferece aos sistemas incorporados uma visão próxima da interação real em uma escala que as coleções compostas apenas por robôs têm dificuldade em igualar. Sua utilidade, no entanto, vem da correspondência entre os dados e o objetivo de aprendizagem. Uma câmera de primeira pessoa não cria automaticamente ações robóticas, anotações densas não criam automaticamente supervisão precisa, e mais horas não criam automaticamente uma cobertura mais ampla.

Os conjuntos de dados mais robustos de tarefas domésticas tornam explícito o caminho de transferência. Eles definem o que o robô deve aprender, capturam os pontos de vista e os ambientes que importam, instrumentam apenas os sinais que o modelo usará, preservam informações sobre a origem e a privacidade, validam a qualidade das anotações e dos sensores, e testam a transferência humano-para-robô em um piloto antes de escalar.

Um princípio útil é: o vídeo egocêntrico deve ser projetado como evidência para uma tarefa de robótica, e não coletado primeiro como filmagem para depois ser interpretado como dados de treinamento.