Bayangkan jika robot AI dapat dengan mudah memanipulasi lingkungan sebagaimana halnya manusia. Kini, kenyataan ini semakin mendekati berkat terobosan dari peneliti Carnegie Mellon University dan Meta AI. Mereka telah mengembangkan pendekatan baru yang disebut Hybrid Actor Critical Maps for Manipulation, atau singkatnya HACMan, yang menangani tantangan besar dalam robotika, yaitu manipulasi nonprehensile, serangkaian tugas yang melampaui sekadar meraih dan menggenggam.
Manipulasi nonprehensile, seperti mendorong, menggulingkan, dan meluncurkan, adalah keterampilan yang dianggap remeh oleh manusia, tetapi bagi robot, ini adalah tantangan besar, terutama di lingkungan di mana objek sulit dipegang atau ruangannya sempit. Interaksi halus ini sangat penting. Meskipun penelitian yang ekstensif, teknik saat ini masih kesulitan mengatasi kompleksitas geometri objek, umpan balik taktil, dan pengambilan keputusan berurutan dalam tugas-tugas semacam ini.
Tapi bagaimana jika robot bisa menguasai manipulasi halus ini? Itulah pertanyaan yang mendorong penciptaan HACMan. Strategi reinforcement learning inovatif ini dirancang untuk melakukan tugas-tugas nonprehensile yang kompleks dan menggeneralisasi melintasi geometri objek yang berbeda dengan interaksi yang dapat disesuaikan. Pendekatan ini menawarkan solusi menarik dengan menggunakan data Point Cloud untuk menginformasikan proses manipulasi.
Terobosan Teknis HACMan
HACMan memiliki dua terobosan teknis utama. Pertama, ia menawarkan representasi aksi berpusat pada objek yang diabstraksikan secara temporal dan berdasarkan spasial. Ini berarti robot memutuskan di mana harus melakukan kontak, lalu memilih parameter gerakan untuk langkah selanjutnya. Posisi kontak diinformasikan oleh point cloud objek yang diamati, memberikan dasar geografis yang kuat pada tindakan tersebut.
Namun, proses ini menghasilkan keputusan yang lebih abstrak secara temporal untuk robot. Terobosan kedua adalah penggabungan kerangka kerja reinforcement learning aktor kritik untuk melaksanakan representasi aksi. Di sini, ruang aksi melintasi batas diskrit dan kontinu. Parameter gerakan didefinisikan dalam ruang kontinu, sementara lokasi kontak ditentukan dalam ruang diskrit, memilih titik kontak di antara titik-titik di point cloud objek.
Pengaturan unik ini memungkinkan HACMan memprediksi nilai kunci di setiap piksel pada point cloud objek, dengan jaringan aktor menghasilkan parameter gerakan kontinu untuk setiap piksel. Hasilnya mengesankan, dengan HACMan memiliki tingkat keberhasilan sebesar 79% pada objek nonflat yang belum pernah dilihat dalam simulasi, membuktikan kemampuannya untuk menggeneralisasi dengan baik ke kelas yang belum pernah terlihat sebelumnya.
Related Posts
Uji Coba di Dunia Nyata
Keberhasilan HACMan tidak hanya terjadi di simulasi. Peneliti menguji HACMan pada robot fisik dengan menggunakan transfer SIM2real zero shot. Hasilnya juga menggembirakan, dengan robot menunjukkan interaksi objek dinamis pada objek-objek yang belum pernah dilihat sebelumnya dengan bentuk dan tujuan yang tidak rata.
Namun, seperti semua inovasi, HACMan tidak luput dari tantangan. Ia mengandalkan registrasi point cloud untuk memperkirakan transformasi tujuan objek, dan kalibrasi kamera harus cukup akurat. Selain itu, posisi kontak terbatas pada bagian terlihat dari objek. Meskipun demikian, tim peneliti optimis tentang potensi HACMan dan berencana untuk memperluas pendekatan ini untuk mencakup meraih dan perilaku nonprehensile lainnya.
Interaktifitas Asisten Kecerdasan Buatan di Masa Depan
Selain itu, Google berusaha untuk membuat interaksi dengan asisten buatan menjadi lebih alami dan dinamis seperti berbicara dengan teman. Mereka menggunakan reinforcement learning untuk membuat interaksi antara asisten buatan dan manusia menjadi lebih menarik dan berorientasi pada tujuan. Ini bukan hanya tentang memberikan satu jawaban, tetapi tentang melakukan percakapan multi-giliran yang beradaptasi secara real time.
Google menggunakan dialog manager berbasis off-policy reinforcement learning sebagai bagian dari respon mekanisme asisten mereka. Untuk mengatasi masalah ruang keadaan yang besar, mereka mengandalkan model-model terlatih seperti Recurrent Neural Networks dan Transformers. Model-model ini digunakan untuk mewakili riwayat percakapan sebagai urutan interaksi pengguna dan asisten, yang kemudian diubah menjadi vektor laten yang ringkas dan efektif.
Ketika berbicara tentang ruang aksi yang tak terbatas, Google membatasi ruang aksi menjadi sejumlah respons yang masuk akal yang dihasilkan oleh penyedia konten pada setiap giliran percakapan. Dengan demikian, ruang aksi berubah dengan setiap keadaan, masuk ke dalam ranah himpunan aksi stokastik. Google mengatasi ini dengan menggunakan variasi dari key learning yang disebut stochastic action key learning, algoritma reinforcement learning off-policy populer yang tidak memerlukan model lingkungan untuk mengevaluasi dan meningkatkan kebijakan.
Dalam uji coba dengan Google Assistant, RL Dialog Manager memunculkan percakapan yang lebih panjang dan menarik, meningkatkan panjang percakapan sebesar 30%, dan meningkatkan metrik keterlibatan pengguna dalam merespons pertanyaan asisten sebesar 8%.
Lebih menarik lagi, Assistant yang menggunakan Reinforcement Learning lebih cenderung mengambil risiko dalam percakapan dengan bertanya pertanyaan yang berbeda. Asisten berbasis Reinforcement Learning juga efektif dalam memanfaatkan keragaman konten, menggunakan 26% lebih banyak penyedia konten yang berbeda dalam setiap percakapan dibandingkan dengan model terlatih terpantau. Selain itu, RL Assistant lebih suka terlibat dalam percakapan yang kaya akan konten, memilih 31% lebih banyak konten yang berhubungan dengan fakta.
Kesimpulan
Masa depan robot AI semakin menarik dengan hadirnya terobosan HACMan dalam manipulasi nonprehensile, dan interaktifitas yang semakin manusiawi dalam percakapan dengan asisten buatan. Ini adalah langkah maju dalam perkembangan teknologi AI yang semakin menghadirkan kecerdasan buatan yang dapat beradaptasi dengan kebutuhan manusia dan lingkungannya secara lebih efisien dan efektif.