Belajar WordPress: Optimasi Robot.txt untuk SEO
SEO atau search engine optimation adalah salah satu cara yang dilakukan oleh pemilik blog atau website untuk mendapatkan trafik dan jangkauan pengguna yang lebih luas lewat search engine yang tersedia di Internet, utamanya Google. Salah satu kehebatan WordPress adalah telah handal sisi SEO-nya, tanpa dilakukan modifikasi apapun. Namun, kita masih bisa melakukan optimasi kemampuan SEO di WordPress dengan menambahkan plugin sitemap generator, SEO Search Term, All in One SEO Pack dll.
Pada tutorial kali ini kita akan melakukan optimasi robot.txt, sebuah file yang krusial sebagai patokan search engine melakukan crawling/penjelajahan ke website kita. Untuk pengguna WordPress, file robot.txt tidak secara langsung disediakan sehingga kita harus membuatnya dulu dan menguploadnya di server.
Adapun isi robot.txt yang direkomendasikan oleh WordPress adalah:
[code]
Sitemap: https://cms.emka.web.idsitemap.xml
# Google Image
User-agent: Googlebot-Image
Disallow:
Allow: /*
# Google AdSense
User-agent: Mediapartners-Google*
Disallow:
# digg mirror
User-agent: duggmirror
Disallow: /
# global
User-agent: *
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/cache/
Disallow: /wp-content/themes/
Disallow: /trackback/
Disallow: /feed/
Disallow: /comments/
Disallow: /category/*/*
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /*?
Allow: /wp-content/uploads/
[/code]
Silakan ganti variable URL situs dengan situs anda. Selamat mencoba.