Google memiliki agen AI baru yang dapat memberi tahu Anda banyak hal tentang apa yang ada di sekitar Anda. Agen tersebut bernama “Project Astra”.
Project Astra adalah alat AI multimodal berbasis Gemini yang memungkinkan Anda mengarahkan kamera ponsel ke objek nyata dan mendapatkan deskripsi suara tentang apa yang Anda lihat.
Dalam demo yang ditampilkan selama konferensi Google I/O pada hari Selasa, alat ini diarahkan ke pengeras suara, dengan tepat mengidentifikasi salah satu bagiannya sebagai tweeter. Yang lebih mengesankan, kamera ponsel kemudian diarahkan ke potongan kode pada layar komputer, dan Astra memberikan gambaran rinci tentang apa yang dilakukan kode tersebut.
Terakhir, orang yang menguji Project Astra mengarahkan ponsel mereka ke jendela dan bertanya, “Menurutmu aku berada di lingkungan mana?” Setelah beberapa detik, Gemini menjawab: “Ini tampaknya daerah King’s Cross di London,” bersama dengan beberapa detail tentang lingkungan tersebut. Terakhir, alat itu diminta untuk menemukan kacamata yang hilang, dan alat itu menurut, menyebutkan dengan tepat di mana kacamata itu diletakkan.
Di bagian video yang mungkin paling menarik, kita melihat bahwa kacamata itu sebenarnya adalah semacam kacamata pintar, yang sekali lagi dapat digunakan untuk memberi tahu Gemini tentang apa yang dilihat pemakainya – dalam hal ini memberikan saran pada diagram yang digambar di papan tulis.
Menurut CEO DeepMind Google, Demis Hassabis, sesuatu seperti Astra bisa tersedia di ponsel atau kacamata seseorang. Namun, perusahaan tidak menyebutkan tanggal peluncuran, meskipun Hassabis mengatakan bahwa beberapa kemampuan ini akan hadir di produk Google “akhir tahun ini.”