HDFS adalah Sistem File Terdistribusi Hadoop. Ini adalah sistem penyimpanan terdistribusi untuk kumpulan data besar yang mendukung toleransi kesalahan, throughput tinggi, dan skalabilitas. Ia bekerja dengan membagi data menjadi blok yang direplikasi di beberapa mesin dalam sebuah cluster. Blok dapat ditulis atau dibaca secara paralel, memfasilitasi throughput yang tinggi dan toleransi kesalahan. HDFS menyediakan redundansi seperti RAID dengan failover otomatis. HDFS juga mendukung kompresi, replikasi, dan enkripsi.
Kasus penggunaan yang paling umum untuk HDFS adalah menyimpan kumpulan besar data seperti file gambar dan video, log, data sensor, dan sebagainya.
Membuat Struktur Direktori dengan HDFS
Utilitas baris perintah “hdfs” tersedia di bawah direktori ${HADOOP_HOME}/bin. Dengan asumsi bahwa direktori bin Hadoop sudah termasuk dalam variabel lingkungan PATH. Sekarang login sebagai pengguna HADOOP dan ikuti instruksi.
Buat direktori /data di sistem file HDFS. Saya bersedia menggunakan direktori ini untuk memuat semua data aplikasi.
hdfs dfs -mkdir /data
Membuat direktori lain /var/log, yang akan berisi semua file log. Karena direktori /var juga tidak ada, gunakan -p untuk membuat direktori induk juga.
hdfs dfs -mkdir -p /var/log
Anda juga dapat menggunakan variabel selama pembuatan direktori. Misalnya, membuat direktori dengan nama yang sama dengan pengguna yang saat ini masuk. Direktori ini dapat digunakan untuk menyimpan data pengguna.
hdfs dfs -mkdir -p /Users/$USER
Changing File Permissions with HDFS
Anda juga dapat mengubah kepemilikan file serta izin dalam sistem file HDFS.
Untuk mengubah pemilik file dan pemilik grup gunakan opsi baris perintah -chown:
hdfs dfs -chown -R $HADOOP_USER:$HADOOP_USER /Users/hadoop
Untuk mengubah izin file gunakan opsi baris perintah -chmod .
hdfs dfs -chmod -R 775 /Users/hadoop
Copy Files to HDFS
Perintah hdfs menyediakan parameter -get dan -put untuk menyalin file ke/dari sistem file HDFS.
Misalnya, untuk menyalin satu file dari sistem file lokal ke HDFS:
hdfs dfs -put ~/testfile.txt /var/log/ ]praSalin beberapa file seperti halnya pohon direktori menggunakan karakter wildcard.hdfs dfs - letakkan ~/log/* /var/log/Listing Files di HDFS
Saat bekerja dengan cluster Hadoop, Anda dapat melihat file es di bawah sistem file HDFS melalui baris perintah serta GUI.
Gunakan opsi -ls dengan hdfs untuk membuat daftar file dalam sistem file HDFS. Misalnya untuk membuat daftar semua file pada direktori root gunakan:hdfs dfs -ls /Perintah yang sama juga dapat digunakan untuk membuat daftar file dari subdirektori.
hdfs dfs -ls /Users /hadoopAnda akan mendapatkan output berikut:
Mencantumkan file dalam HDFSDaripada co mmand line, Hadoop juga menyediakan penjelajah grafis untuk melihat, mengunduh, dan mengunggah file dengan mudah. Jelajahi sistem file HDFS pada port NameNode di URL berikut:
http://localhost:9870/explorer.html
Jelajahi file dalam HDFSConclusion
HDFS juga mendukung berbagai aplikasi lain seperti pekerjaan MapReduce yang memproses data dalam jumlah besar serta pengguna otentikasi dan mekanisme kontrol akses. HDFS juga dapat digabungkan dengan sistem file terdistribusi lainnya seperti S3 dan Swift untuk membuat solusi cloud hybrid yang menggabungkan ketersediaan tinggi dan latensi rendah dengan penyimpanan berbiaya rendah.
Dalam artikel ini, Anda telah mempelajari tentang membuat struktur direktori di sistem file HDFS, mengubah izin, dan menyalin dan membuat daftar file dengan HDFS.
Referensi tecadmin.com