Editorial ilmu komputer
Open AccessOA2026
Touch2Robot: Sentuhan Robot dalam Lingkaran Demonstrasi Manusia
Kerangka kerja untuk pengumpulan data dexterous yang skalabel melalui demonstrasi manusia yang sadar taktil
Shengcheng Luo; Xiaoyang Cheng; Hong Ying; Xiaoying Zhou; Jiaming Jiang; Haoran Guo; Wanlin Li; Ziyuan Jiao; Chenxi Xiao· 2026· DOI 10.48550/arXiv.2609.24660
Masalah inti
Demonstrasi manusia adalah sumber data manipulasi yang skalabel, tetapi mentransfer kontak manusia ke tangan robot sering menimbulkan ketidakstabilan atau ketidaklayakan akibat ketidaksesuaian morfologi. Mengumpulkan demonstrasi langsung pada robot target menghindari ketidaksesuaian ini tetapi secara substansial meningkatkan biaya pengumpulan data. Touch2Robot mengatasi trade-off ini dengan membiarkan manusia mengumpulkan demonstrasi sambil mengamati bagaimana tangan robot target akan menyentuh objek. Kerangka kerja ini menangkap gerakan tangan manusia, pengukuran sarung tangan taktil, dan gerakan objek selama manipulasi. Rekaman ini memandu kebijakan reinforcement learning (RL) spesifik objek untuk mereproduksi gerakan objek yang didemonstrasikan sambil mengutamakan kontak yang konsisten dengan sentuhan manusia yang direkam. Perilaku yang dipelajari didistilasi menjadi retargeter real-time terpadu yang memetakan observasi manusia yang masuk dan geometri objek ke konfigurasi tangan robot. Selama pengumpulan, konfigurasi robot yang diprediksi disinkronkan dengan pose objek yang dilacak dalam simulasi untuk merekonstruksi kontak robot-objek, yang divisualisasikan untuk membantu demon
Inovasi
Kerangka kerja ini dievaluasi pada empat tugas dunia nyata. Hasil kuantitatif utama dirangkum di bawah ini.
**Penyelesaian Replay Robot Nyata.** Touch2Robot meningkatkan rata-rata penyelesaian replay robot nyata dari 37,9% (umpan balik visual saja) menjadi 72,1%, peningkatan relatif sebesar 90,2%.
**Efisiensi Pengumpulan.** Waktu pengumpulan per demonstrasi yang berhasil di-replay berkurang dari 58,6s menjadi 18,2s, percepatan 3,2×.
**Akurasi Rekonstruksi Kontak.** Kontak tangan target yang direkonstruksi mencapai 44,2% terhadap pengukuran taktil robot nyata.
**Kinerja Kebijakan Hilir.** Kebijakan yang dilatih pada demonstrasi Touch2Robot meningkatkan kinerja Diffusion Policy hilir sebesar 29,1 poin persentase dibandingkan umpan balik visual saja.
Hasil ini menunjukkan bahwa memasukkan sentuhan robot ke dalam lingkaran demonstrasi manusia secara signifikan meningkatkan kualitas dan efisiensi pengumpulan data dexterous yang skalabel.
Demonstrasi manusia adalah sumber data manipulasi yang skalabel, tetapi mentransfer kontak manusia ke tangan robot sering menimbulkan ketidakstabilan atau ketidaklayakan akibat ketidaksesuaian morfologi. Mengumpulkan demonstrasi langsung pada robot target menghindari ketidaksesuaian ini tetapi secara substansial meningkatkan biaya pengumpulan data. Touch2Robot mengatasi trade-off ini dengan membiarkan manusia mengumpulkan demonstrasi sambil mengamati bagaimana tangan robot target akan menyentuh objek. Kerangka kerja ini menangkap gerakan tangan manusia, pengukuran sarung tangan taktil, dan gerakan objek selama manipulasi. Rekaman ini memandu kebijakan reinforcement learning (RL) spesifik objek untuk mereproduksi gerakan objek yang didemonstrasikan sambil mengutamakan kontak yang konsisten dengan sentuhan manusia yang direkam. Perilaku yang dipelajari didistilasi menjadi retargeter real-time terpadu yang memetakan observasi manusia yang masuk dan geometri objek ke konfigurasi tangan robot. Selama pengumpulan, konfigurasi robot yang diprediksi disinkronkan dengan pose objek yang dilacak dalam simulasi untuk merekonstruksi kontak robot-objek, yang divisualisasikan untuk membantu demonstran menyesuaikan interaksi berikutnya dengan tangan target. Pada empat tugas dunia nyata, Touch2Robot meningkatkan rata-rata penyelesaian replay robot nyata dari 37,9% menjadi 72,1% dibandingkan umpan balik visual saja, sekaligus mengurangi waktu pengumpulan per demonstrasi yang berhasil di-replay dari 58,6s menjadi 18,2s. Kontak tangan target yang direkonstruksi mencapai 44,2% terhadap pengukuran taktil robot nyata, dan kebijakan yang dilatih pada demonstrasi Touch2Robot meningkatkan kinerja Diffusion Policy hilir sebesar 29,1 poin persentase dibandingkan umpan balik visual saja. Hasil ini menunjukkan bahwa membawa sentuhan robot ke dalam lingkaran demonstrasi manusia meningkatkan kualitas dan efisiensi pengumpulan data dexterous yang skalabel.
Touch2Robot terdiri dari tiga komponen utama: (1) penangkapan demonstrasi manusia multimodal, (2) pembelajaran kebijakan RL spesifik objek dengan panduan taktil, dan (3) retargeting real-time serta visualisasi kontak.
Mengapa penting
Hasil ini menyoroti pentingnya umpan balik taktil dalam transfer keterampilan manusia ke robot. Dengan memvisualisasikan prediksi kontak robot-objek selama demonstrasi, Touch2Robot memungkinkan demonstran menyesuaikan interaksi mereka dengan morfologi tangan target, mengurangi ketidaksesuaian yang biasanya menghantui pendekatan visual saja. Peningkatan substansial dalam penyelesaian replay (37,9% menjadi 72,1%) dan pengurangan 3,2× dalam waktu pengumpulan per demonstrasi yang berhasil menunjukkan bahwa umpan balik yang sadar taktil tidak hanya meningkatkan kualitas data tetapi juga mempercepat proses pengumpulan. 44,2% untuk rekonstruksi kontak menunjukkan bahwa retargeter dan prediksi kontak berbasis simulasi cukup akurat, meskipun masih ada ruang untuk perbaikan. Keuntungan 29,1 poin persentase dalam kinerja Diffusion Policy hilir menegaskan nilai demonstrasi berkualitas tinggi yang konsisten secara taktil untuk mempelajari manipulasi dexterous. Batasannya adalah pendekatan ini bergantung pada sarung tangan taktil dan simulasi, yang mungkin tidak menangkap dinamika kontak dunia nyata dengan sempurna. Pekerjaan selanjutnya dapat mengeksplorasi penginderaan taktil yang lebih akurat dan transfer sim-to-real. Secara keseluruhan, Touch2Robot menunjukkan bahwa membawa sentuhan robot ke dalam lingkaran demonstrasi manusia adalah arah yang menjanjikan untuk pengumpulan data dexterous yang skalabel.
Siapa yang sebaiknya membaca
Praktisi dan peneliti ilmu komputer
Membuka konten member…