Salah satu ambisi AI Apple adalah mengaktifkan chatbot pada perangkat yang dapat berjalan di iPhone, dibandingkan menggunakan server untuk melakukan pemrosesan. Ini akan mampu mengakses data yang disimpan di iPhone Anda, serta meningkatkan privasi …
Nvidia telah mengambil pendekatan yang sama, dengan chatbot yang berjalan pada PC Windows – tentu saja, yang dilengkapi dengan salah satu produk kelas atas milik perusahaan. GPU.
Apple sedang mengerjakan chatbot di perangkat untuk iPhone
Makalah penelitian Apple yang diterbitkan akhir tahun lalu tampaknya menunjukkan bahwa perusahaan tersebut memungkinkan chatbot di perangkat untuk berjalan di iPhone.
Makalah ini membahas tentang meminimalkan jumlah data yang perlu ditransfer dari penyimpanan flash ke RAM. LLM adalah istilah umum untuk sistem obrolan AI yang telah dilatih tentang teks dalam jumlah besar.
Pendekatan ini memungkinkan LLM berjalan hingga 25 kali lebih cepat pada perangkat dengan RAM terbatas.
Meskipun makalah ini tidak mengungkapkan secara spesifik tentang rencana Apple, terdapat semakin banyak indikasi bahwa iOS 18 adalah titik di mana perusahaan akhirnya akan meluncurkan versi Siri yang jauh lebih kuat, menggunakan jenis teknologi AI generatif yang dijuluki AppleGPT . Versi iOS berikutnya, yang akan diluncurkan di WWDC pada bulan Juni, dikatakan sebagai pembaruan terbesar dalam sejarah perusahaan.
Nvidia on-device chatbot
Nvidia telah membuat versi demo dari satu chatbot di perangkat, meskipun versi tersebut memerlukan PC Windows dengan salah satu kartu GPU premium milik perusahaan.
Ngobrol Dengan RTX adalah aplikasi demo yang memungkinkan Anda mempersonalisasi model bahasa besar (LLM) GPT yang terhubung ke konten Anda sendiri—dokumen, catatan, video, atau data lainnya. Memanfaatkan generasi augmented pengambilan (RAG), TensorRT-LLM, dan akselerasi RTX, Anda dapat membuat kueri chatbot khusus untuk mendapatkan jawaban yang relevan secara kontekstual dengan cepat. Dan karena semuanya berjalan secara lokal di PC atau workstation Windows RTX Anda, Anda akan mendapatkan hasil yang cepat dan aman […]
Chat dengan RTX mendukung berbagai format file, termasuk teks, pdf, doc/docx, dan xml. Cukup arahkan aplikasi ke folder yang berisi file Anda dan itu akan memuatnya ke perpustakaan dalam hitungan detik. Selain itu, Anda dapat memberikan url daftar putar YouTube dan aplikasi akan memuat transkripsi video dalam daftar putar tersebut, memungkinkan Anda menanyakan konten yang dicakupnya.
Mesin Windows Anda memerlukan GPU NVIDIA GeForce RTX 30 atau 40 Series, atau GPU RTX Ampere atau Ada Generation dengan VRAM minimal 8 GB.
ChatGPT akhirnya mungkin mengingat Anda
Dalam berita AI lainnya, ChatGPT mendapatkan memori – setidaknya, untuk sejumlah kecil pengguna.
Salah satu keterbatasan ChatGPT hingga saat ini adalah setiap sesi berjalan secara terpisah – yaitu, ia tidak akan mengingat apa pun yang Anda lakukan di sesi sebelumnya.
OpenAI kini menguji versi yang dapat mengingat data dan preferensi tertentu, untuk pengalaman yang lebih koheren dari waktu ke waktu.
Kami sedang menguji memori dengan ChatGPT. Mengingat hal-hal yang Anda diskusikan di semua obrolan membuat Anda tidak perlu mengulangi informasi dan membuat percakapan selanjutnya lebih bermanfaat.
Anda mengontrol memori ChatGPT. Anda dapat secara eksplisit menyuruhnya mengingat sesuatu, menanyakan apa yang diingatnya, dan menyuruhnya melupakan melalui percakapan atau melalui pengaturan. Anda juga dapat mematikannya sepenuhnya […]
Memori ChatGPT akan menjadi lebih baik semakin sering Anda menggunakannya dan Anda akan mulai melihat peningkatannya seiring waktu. Misalnya:
Anda telah menjelaskan bahwa Anda lebih suka catatan rapat memiliki judul, poin, dan item tindakan yang dirangkum di bagian bawah. ChatGPT mengingat hal ini dan merangkum rapat dengan cara ini. Anda telah memberi tahu ChatGPT bahwa Anda memiliki kedai kopi di lingkungan sekitar. Saat melakukan brainstorming perpesanan untuk postingan sosial merayakan lokasi baru, ChatGPT tahu harus mulai dari mana. Anda menyebutkan bahwa Anda memiliki balita dan dia menyukai ubur-ubur. Saat Anda meminta ChatGPT untuk membantu membuat kartu ulang tahunnya, ia menyarankan ubur-ubur mengenakan topi pesta. Sebagai guru taman kanak-kanak dengan 25 siswa, Anda lebih memilih pelajaran 50 menit dengan kegiatan lanjutan. ChatGPT mengingat hal ini ketika membantu Anda membuat rencana pembelajaran. Perusahaan mengatakan bahwa mereka sedang diuji coba dengan sejumlah kecil pengguna minggu ini, dan mereka akan membagikan rencana peluncuran yang lebih luas setelah menilai hasilnya.
Itulah konten tentang Nvidia mempratinjau chatbot di perangkat, dengan pendekatan yang disukai oleh Apple, semoga bermanfaat.