Bash adalah salah satu shell paling populer dan digunakan oleh banyak pengguna Linux. Salah satu hal hebat yang dapat Anda lakukan dengan Bash adalah menghapus baris duplikat dari file. Ini cara yang bagus untuk mendeklarasikan file dan membuatnya terlihat lebih bersih dan teratur. Ini dapat dilakukan dengan perintah sederhana di Bash shell.
Yang harus Anda lakukan adalah mengetikkan perintah “sort -u” diikuti dengan nama file. Ini akan mengambil file dan mengurutkan konten, lalu gunakan perintah “uniq” untuk menghapus semua duplikat. Ini cara yang mudah dan efisien untuk menghapus baris duplikat dari file Anda. Jika Anda pengguna Linux, ini adalah alat yang hebat untuk dimiliki di gudang senjata Anda. Jadi lain kali Anda perlu membersihkan file, cobalah perintah Bash ini dan lihat cara kerjanya untuk Anda! adalah contoh cara melakukannya:
sort file.txt | uniq > output.txt
Ini akan mengurutkan baris dalam file.txt, menghapus duplikat, dan menyimpan hasilnya ke file baru bernama output.txt.Menghapus baris duplikat dari file
Anda juga dapat menggunakan opsi -u dari perintah sortir untuk mendapatkan hasil yang sama:
sort -u file.txt > output.txt
Jika Anda ingin menghapus duplikat di tempat, tanpa membuat file baru, Anda dapat menggunakan perintah tee untuk mengarahkan output kembali ke file asli:
sort file.txt | unik | tee file.txt [ATAU]sort -u file.txt | tee file.txt
Perlu diingat bahwa perintah ini hanya akan menghapus duplikat jika garisnya persis sama. Jika Anda ingin mengabaikan ruang kosong di depan atau di belakang, atau perbedaan huruf besar-kecil, Anda dapat menggunakan opsi -i, -b, dan -f. Misalnya:
sort -f -u file.txt > output.txt
Ini akan menghapus duplikat, mengabaikan perbedaan kasus.
sort -f -b -u file.txt > output.txt
Ini akan menghapus duplikat, mengabaikan perbedaan huruf besar-kecil dan memimpin/mengikuti spasi putih.
Referensi tecadmin.com