Sebagai webmaster sebuah situs, Anda tentu sudah mengerti dan mengetahui apa itu robot.txt dan kegunaannya kan? Ya…file robot.txt adalah sebuah file dengan format text yang diletakkan dalam root domain situs di server hosting kita. Ini berlaku jika kita menggunakan WordPress self hosting yang menggunakan hosting Anda sendiri alias bukan yang gratisan seperti menggunakan wordpress.com
File robot.txt digunakan untuk mengontrol indexing robot crawler mesin pencari untuk semua folder file situs Anda ataupun hanya postingan dalam blog Anda. Dalam postingan, fungsi terpentingnya adalah untuk menghindari duplikat konten dimana duplikat konten dalam satu situs sangat berbahaya dan cenderung kena penalti Google yang mengakibatkan blog Anda rawan sandbox atau banned.
Folder admin dalam file blog seharusnya tidak di index oleh robot crawler dengan menempatkan sebuah perintah tertentu dalam file robot.txt yang membatasi atau melarang spider robot menjelajahi folder tersebut.
Bagi pengguna WordPress, Anda bisa dengan mudah melakukan setting robot.txt ini yaitu dengan menginstal plugin kbrobots yang bisa langsung didownload di direktori plugin wordpress. Untuk cara manualnya, Anda bisa membuat memasukkan perintah dibawah ini dan menyimpannya dalam format.txt dengan menggunakan notepad kemudian upload menggunakan aplikasi FTP seperti Filezilla ke dalam root domain blog Anda.
sitemap: http://handokotantra.com/sitemap.xml
User-agent: *
Allow: /User-agent: *
# disallow all files in these directories
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/
Disallow: /go/
Disallow: /archives/
disallow: /*?*
Disallow: /wp-*
Disallow: /author
Disallow: /comments/feed/User-agent: Mediapartners-Google*
Allow: /User-agent: Googlebot-Image
Allow: /wp-content/uploads/User-agent: Adsbot-Google
Allow: /User-agent: Googlebot-Mobile
Allow: /
Untuk setting robot.txt diatas adalah contoh penggunaan untuk blog saya ini, untuk menggunakannya buat blog Anda, silakan ganti nama domain untuk lokasi sitemapnya. Selanjutnya Anda bisa mengecek status robot.txt di Google Webmaster melalui Google webmaster tool > Under tools > Analyze robots.txt
Setting di atas akan mencegah robot menjelajahi file admin yang diikuti oleh feeds, trackbacks, comments feed, pages dan comments.
Selamat mencoba.
thanks mas, lebih enak pake manual kayaknya 😀
Kalau manual caranya gimana bro?
terima kasih banyak nie mas artikelnya sangat berguna sekali.
trim’s
maturnuwun kang handoko……….
mkasih mas hand0ko tutorial r0bot nya 🙂
Trims banget Mas Handoko untuk ilmunya. saya tak belajar pelan – pelan maklumlah masih awam…
artikel bagus..trims telah share..:D
Ko blog saya ga ada file robot.txt nya ya….kenapa??
Coba pasang plugin PC Robots.txt aja, tinggal instal via WordPressnya.
Informasi yang bagus bagi newbie seperti saya. 🙂
Thanks for sharing.
kalo untuk optimasi adsense, gimana om setting robots.txt nya. makasihh..
Sama aja seperti di atas.
siip mas atas …tutorialnya…langsung dicoba ke TKP
Kalo aku pake plugin robots meta, ngaruhnya sama gak ya. soalnya waktu aku cek ke webmaster tool, isi robots.txt gak berubah… hhmm.. bingung…
thanks mas info nya, ada yang saya variasi sedikit dari robot.txt nya sesuai keperluan. sekali lagi thanks
terima kasih utk artikelnya nih. Saya punya setting dasar di blog seperti ini
User-agent: *
Allow: /
Disallow: /cgi-bin/
Disallow: /wp-
Disallow: /trackback
Disallow: /feed
Disallow: */feed
Disallow: /feed/$
Disallow: /rss/
Disallow: /comments/
Disallow: */trackback
Disallow: /*/trackback/$
Disallow: */comments
Disallow: /*/comment-page
Disallow: /*?*
Disallow: /*?s=
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /search/
# Google Image
User-agent: Googlebot-Image
Disallow:
Allow: /*
# Google AdSense
User-agent: Mediapartners-Google*
Disallow:
Allow: /*
User-agent: duggmirror
Disallow: /
Yg jadi pertanyaan saya, kenapa trafik yg datang dari google hanya image saja, yah Pak. Kalau utk mengijinkan google bot mengindex artikel saya, apakah fungsi robots seperti ini bisa berjalan.
# Google bot
User-agent: Googlebot
Disallow:
Allow: /*
Disallow: /cgi-bin/
Disallow: /wp-
Disallow: /trackback
Disallow: */feed
Disallow: /feed/$
Disallow: /comments/
Disallow: */trackback
Disallow: /*/trackback/$
Disallow: */comments
Disallow: /*/comment-page
Disallow: /*?*
Disallow: /*?s=
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /search/
Contohnya, utk artikel yang sudah saya tulis dalam waktu 3-7 hari sebelumnya, kemudian artikel tsb saya copas di search enggine, kenapa masih belum muncul di search enggine yah. Kalau dulu, setting allow semua, sih bisa.
Atas bantuannya , thanks banget Mas Handoko
makasih mas, saya coba dulu…
terima kasih mas artikelnya langsung saya praktekan di web saya
Mau Nanya Nich Mas Itukan Buat WordPress Kalo Untuk Blogspot Gimana Ya Mas Handoko…
Sebelumnya Terimakasih…
terima kasih infonya yang saat bermanfaat untuk yang pakai WP.
Saya sangat mengharapkan artikel anda selanjutanya
Sukses buat anda
makasih infonya…
wah makasih gan atas infonya
ma kasih mas langsung dicoba buat blog ku
terima kasih, saya coba plug innya…
terimakasih mas infonya..itu kalo sudah ada robots.txtnya klo edit dmn ya mas?
Terima kasih mas artikelnya langsung saya praktekan di blog saya
kok saya coba dan tes ada eror di disallow: /*?* dan di User-agent: Mediapartners-Google* , kenapa ya gan??
makasih mas….mungkin settingan robots saya salah makanya akhir2 ini traffiknya berkurang 😀
Robot.txt yang ini bisa diterapkan pada blogger gak pak?
Setahu saya tidak bisa mas
Makasih buat tutorialnya mas… salam kenal…
ini setting file utk wordpress, tapi kalo untuk setting robot.txt buat blogspot dan joomla bagaimana Om Handoko..?
ouw harus manual yaa ternyata
Ulasan yang bermanfaat sekali untuk yang sedang belajar cara memasang sitemap pada wordpress…
akhirnya apa yang kucari terjawab sudah. makasih banyak panduannya mas 😀
Wah baru tau bisa setting robot.txt kaya begini, makasih mas
buat joomla 3 ada yg tau gak setingan nya
susah gan tapi akhir nya bisa setelah coba2 sih makasih ya gan
Sangat membantu..
Blog legend ini..
Makasih om..