Ingin berinteraksi dengan kecerdasan buatan canggih seperti ChatGPT tapi tanpa perlu internet? Ollama jawabannya! Ollama adalah proyek komunitas yang memungkinkan Anda mengunduh, menjalankan, dan mengakses Large Language Model (LLM) open-source seperti Meta Llama 3, Mistral, Gemma, Phi, dan lainnya, langsung dari terminal Linux Anda!
Apa itu Ollama?
Ollama bekerja dengan mengemas bobot model, konfigurasi, dan kumpulan data ke dalam satu paket yang mudah dikelola. Ini berarti Anda hanya perlu menjalankan beberapa perintah untuk mengunduh dan menjalankan LLM favorit Anda, dan mengakses antarmuka obrolan langsung di terminal.
Lebih dari Sekadar Pengguna Biasa?
Meskipun Ollama memungkinkan pembuatan model sendiri atau kustomisasi model yang ada, namun hal ini membutuhkan keahlian khusus. Artikel ini akan berfokus pada pengguna awam yang ingin memanfaatkan LLM yang sudah tersedia.
Memulai Petualangan LLM Lokal
Persiapan:
- Distribusi Linux (Ubuntu, Debian, Fedora, dll.) termasuk Raspberry Pi
- RAM minimal 16 GB (lebih disarankan)
- GPU dengan minimal 4 GB Nvidia 1060 atau sejenisnya (jika tidak ada, CPU octa-core Intel i5 atau AMD Ryzen 3 masih bisa digunakan)
- Koneksi internet (hanya untuk instalasi)
Langkah 1: Memasang Ollama
Kunjungi situs web resmi Ollama dan gunakan perintah curl berikut untuk instalasi mudah:
curl -fsSL https://ollama.com/install.sh | sh
Perintah ini akan mengunduh dan menginstal Ollama. Jika Anda tidak memiliki GPU, abaikan peringatan yang muncul.
Langkah 2: Memeriksa Status Ollama
Buka browser Anda dan kunjungi http://127.0.0.1:11434. Jika Ollama berjalan dengan baik, Anda akan melihat pesan “Ollama is running”.
Langkah 3: Memasang LLM Favorit
Kunjungi Ollama Library untuk melihat daftar LLM yang tersedia. Setelah menemukan yang Anda inginkan, gunakan perintah berikut untuk mengunduhnya:
ollama pull <LLM_NAME>
Misalnya, untuk mengunduh Meta Llama 3 7B (7 miliar parameter), gunakan:
ollama pull llama3
Tips: Lihat tabel di akhir artikel untuk perintah instalasi langsung beberapa LLM populer.
Langkah 4: Berinteraksi dengan LLM
Setelah LLM terinstal, gunakan perintah berikut untuk mengaksesnya:
ollama run <LLM_NAME>
Contoh:
ollama run llama3
Ketik pertanyaan Anda dan tekan Enter. LLM akan memproses pertanyaan Anda secara lokal menggunakan CPU atau GPU Anda.
Keluar dari LLM:
- Gunakan
Ctrl+D - Ketik
/bye - Ketik
/helpuntuk melihat perintah bantuan
Ingin Akses LLM dari Mana Saja?
Open WebUI adalah solusi tepat! Ini adalah antarmuka berbasis web open-source yang memungkinkan Anda mengakses LLM lokal dari browser web, baik secara lokal maupun jarak jauh.
Memasang Open WebUI:
Persiapan:
- Docker terinstal di sistem Anda
Langkah 1: Tarik Image Open WebUI
Jalankan perintah berikut untuk menarik image Open WebUI dari Docker Hub dan memulai container:
sudo docker run -d --network=host -e OLLAMA_BASE_URL=http://127.0.0.1:11434 -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
Langkah 2: Akses Open WebUI
Buka http://127.0.0.1:8080 di browser Anda. Daftar untuk akun baru, lalu login.
Langkah 3: Berinteraksi dengan LLM
Pilih LLM yang ingin Anda gunakan dari daftar di sudut kiri atas. Anda dapat berinteraksi dengan LLM tersebut layaknya chat, bahkan Open WebUI menawarkan fitur yang lebih kaya dibanding antarmuka ChatGPT.
Menghapus Ollama dan Open WebUI (Opsional)
Jika Anda tidak lagi membutuhkan Ollama dan Open WebUI, gunakan perintah berikut untuk menghapusnya:
Menghapus Open WebUI:
docker stop open-webui
docker remove open-webui
# Temukan Image ID Open WebUI dan gunakan perintah:
docker rmi <IMAGE
Use code with caution.
Menghapus Ollama:
Langkah 1: Daftar LLM Terinstal
Lihat daftar LLM terinstal dengan perintah:
ollama list
Langkah 2: Menghapus LLM
Gunakan perintah berikut untuk menghapus LLM satu per satu, ganti <LLM_NAME> dengan nama LLM:
ollama rm <LLM_NAME>
Tips: Anda dapat menghapus semua LLM sekaligus dengan menghapus direktori /usr/share/ollama/.ollama/models.
Langkah 3: Menghapus Layanan Ollama
sudo systemctl stop ollama
sudo systemctl disable ollama
sudo rm /etc/systemd/system/ollama.service
Langkah 4: Menghapus File Biner Ollama
sudo rm $(which ollama)
sudo rm -r /usr/share/ollama
sudo userdel ollama
sudo groupdel ollama
Akhir Kata
Selamat! Anda telah mempelajari cara mengatur dan menggunakan Ollama dan Open WebUI untuk mengakses LLM lokal di Linux.
Beberapa Catatan:
- Ollama dan Open WebUI masih dalam pengembangan aktif, jadi fitur dan fungsionalitasnya dapat berubah di masa depan.
- Pastikan Anda memiliki perangkat keras yang cukup kuat untuk menjalankan LLM yang lebih besar.
- Gunakan LLM dengan bertanggung jawab dan hindari menghasilkan konten yang berbahaya atau menyinggung.
Pertanyaan untuk Anda:
- Apakah Anda tertarik untuk mencoba Ollama dan Open WebUI?
- LLM mana yang paling ingin Anda coba?
- Bagaimana menurut Anda tentang LLM lokal dibandingkan dengan layanan online seperti ChatGPT?
Bagikan pendapat Anda di kolom komentar!
Daftar LLM Populer dan Perintah Instalasi Langsung:
| Model | Parameter | Ukuran | Perintah Instalasi |
|---|---|---|---|
| Llama 3 | 8B | 4.7GB | ollama pull llama3 |
| Llama 3 | 70B | 40GB | ollama pull llama3:70b |
| Phi-33.8B | 2.3GB | ollama pull phi3 | |
| Mistral | 7B | 4.1GB | ollama pull mistral |
| Neural Chat | 7B | 4.1GB | ollama pull neural-chat |
| Starling | 7B | 4.1GB | ollama pull starling-lm |
| Code Llama | 7B | 3.8GB | ollama pull codellama |
| Llama 2 Uncensored | 7B | 3.8GB | ollama pull llama2-uncensored |
| LLaVA | 7B | 4.5GB | ollama pull llava |
| Gemma: 2B | 1.4GB | ollama pull gemma:2b | |
| Gemma: 7B | 4.8GB | ollama pull gemma:7b | |
| Solar | 10.7B | 6.1GB | ollama pull solar |
drive_spreadsheetExport to Sheets
Sumber Daya Tambahan:
- Situs web resmi Ollama: https://github.com/ollama/ollama
- Repositori GitHub Ollama: https://github.com/meta-llama/llama
- Situs web resmi Open WebUI: https://github.com/open-webui
- Repositori GitHub Open WebUI: https://github.com/open-webui
Semoga bermanfaat!tunesharemore_vert