Anda Ingin menjual produk digital atau ingin menjadi affiliate marketer?

KLIK DI SINI UNTUK SELENGKAPNYA!

Mau Tahu Bagaimana Cara Melewati 1 Tahun Pertama Anda di Dunia Internet Marketing?

KLIK DI SINI SEKARANG!

Bisnis Online

Cara Setting Optimal File Robot.txt

by on 04/01/2011

Setting optimal robot.txtSebagai webmaster sebuah situs, Anda tentu sudah mengerti dan mengetahui apa itu robot.txt dan kegunaannya kan? Ya…file robot.txt adalah sebuah file dengan format text yang diletakkan dalam root domain situs di server hosting kita. Ini berlaku jika kita menggunakan WordPress self hosting yang menggunakan hosting Anda sendiri alias bukan yang gratisan seperti menggunakan wordpress.com

File robot.txt digunakan untuk mengontrol indexing robot crawler mesin pencari untuk semua folder file situs Anda ataupun hanya postingan dalam blog Anda. Dalam postingan, fungsi terpentingnya adalah untuk menghindari duplikat konten dimana duplikat konten dalam satu situs sangat berbahaya dan cenderung kena penalti Google yang mengakibatkan blog Anda rawan sandbox atau banned.

Folder admin dalam file blog seharusnya tidak di index oleh robot crawler dengan menempatkan sebuah perintah tertentu dalam file robot.txt yang membatasi atau melarang spider robot menjelajahi folder tersebut.

Bagi pengguna WordPress, Anda bisa dengan mudah melakukan setting robot.txt ini yaitu dengan menginstal plugin kbrobots yang bisa langsung didownload di direktori plugin wordpress. Untuk cara manualnya, Anda bisa membuat memasukkan perintah dibawah ini dan menyimpannya dalam format.txt dengan menggunakan notepad kemudian upload menggunakan aplikasi FTP seperti Filezilla ke dalam root domain blog Anda.

sitemap: http://handokotantra.com/sitemap.xml

User-agent: *
Allow: /

User-agent: *
# disallow all files in these directories
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/
Disallow: /go/
Disallow: /archives/
disallow: /*?*
Disallow: /wp-*
Disallow: /author
Disallow: /comments/feed/

User-agent: Mediapartners-Google*
Allow: /

User-agent: Googlebot-Image
Allow: /wp-content/uploads/

User-agent: Adsbot-Google
Allow: /

User-agent: Googlebot-Mobile
Allow: /

Untuk setting robot.txt diatas adalah contoh penggunaan untuk blog saya ini, untuk menggunakannya buat blog Anda, silakan ganti nama domain untuk lokasi sitemapnya. Selanjutnya Anda bisa mengecek status robot.txt di Google Webmaster melalui Google webmaster tool > Under tools > Analyze robots.txt

Setting di atas akan mencegah robot menjelajahi file admin yang diikuti oleh feeds, trackbacks, comments feed, pages dan comments.

Selamat mencoba.

Download EBOOK Eksklusif Saya GRATIS !

Miliki 2 Ebook Gratis bagaimana cara memulai bisnis online yang menghasilkan profit hingga ribuan dollar plus ebook 125 Sumber Backlink High PR 7-9 GRATIS!

  • Mengenal Jenis-Jenis Bisnis Online Yang Menguntungkan Dan Mudah Dilakukan
  • Memahami Mindset Serta Cara Bisnis Online Yang Salah Dan Yang Benar
  • Rekomendasi Produk Eksklusif Dan Berkualitas Untuk Memulai Bisnis Online Anda
  • Gratis 125 Sumber Backlink Gratis Yang Memiliki Pagerank 7 hingga pagerank 9!

Masukkan nama dan email Anda:



Sponsor

GoBlog Theme

{ 36 comments… read them below or add one }

suhe January 19, 2011 at 05:57

thanks mas, lebih enak pake manual kayaknya :D

Reply

bro eser May 7, 2011 at 20:11

Kalau manual caranya gimana bro?

Reply

jasa seo murah October 23, 2011 at 13:39

terima kasih banyak nie mas artikelnya sangat berguna sekali.

Reply

acehomegazen January 30, 2011 at 13:35

trim’s

Reply

cd tutorial March 20, 2011 at 18:27

maturnuwun kang handoko……….

Reply

Vista Fantasia March 29, 2011 at 16:59

mkasih mas hand0ko tutorial r0bot nya :)

Reply

HARTONO May 7, 2011 at 23:09

Trims banget Mas Handoko untuk ilmunya. saya tak belajar pelan – pelan maklumlah masih awam…

Reply

sigit May 21, 2011 at 02:19

artikel bagus..trims telah share..:D

Reply

Bogor June 13, 2011 at 12:51

Ko blog saya ga ada file robot.txt nya ya….kenapa??

Reply

Handoko Tantra June 13, 2011 at 20:58

Coba pasang plugin PC Robots.txt aja, tinggal instal via Wordpressnya.

Reply

sph June 23, 2011 at 00:35

Informasi yang bagus bagi newbie seperti saya. :)
Thanks for sharing.

Reply

felix June 24, 2011 at 22:30

kalo untuk optimasi adsense, gimana om setting robots.txt nya. makasihh..

Reply

Handoko Tantra June 26, 2011 at 09:28

Sama aja seperti di atas.

Reply

mapia July 19, 2011 at 22:35

siip mas atas …tutorialnya…langsung dicoba ke TKP

Reply

tas maika etnik July 19, 2011 at 22:45

Kalo aku pake plugin robots meta, ngaruhnya sama gak ya. soalnya waktu aku cek ke webmaster tool, isi robots.txt gak berubah… hhmm.. bingung…

Reply

Peluang Usaha July 24, 2011 at 16:45

thanks mas info nya, ada yang saya variasi sedikit dari robot.txt nya sesuai keperluan. sekali lagi thanks

Reply

yanti July 26, 2011 at 08:05

terima kasih utk artikelnya nih. Saya punya setting dasar di blog seperti ini
User-agent: *
Allow: /
Disallow: /cgi-bin/
Disallow: /wp-
Disallow: /trackback
Disallow: /feed
Disallow: */feed
Disallow: /feed/$
Disallow: /rss/
Disallow: /comments/
Disallow: */trackback
Disallow: /*/trackback/$
Disallow: */comments
Disallow: /*/comment-page
Disallow: /*?*
Disallow: /*?s=
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /search/

# Google Image
User-agent: Googlebot-Image
Disallow:
Allow: /*

# Google AdSense
User-agent: Mediapartners-Google*
Disallow:
Allow: /*

User-agent: duggmirror
Disallow: /

Yg jadi pertanyaan saya, kenapa trafik yg datang dari google hanya image saja, yah Pak. Kalau utk mengijinkan google bot mengindex artikel saya, apakah fungsi robots seperti ini bisa berjalan.

# Google bot
User-agent: Googlebot
Disallow:
Allow: /*
Disallow: /cgi-bin/
Disallow: /wp-
Disallow: /trackback
Disallow: */feed
Disallow: /feed/$
Disallow: /comments/
Disallow: */trackback
Disallow: /*/trackback/$
Disallow: */comments
Disallow: /*/comment-page
Disallow: /*?*
Disallow: /*?s=
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /search/

Contohnya, utk artikel yang sudah saya tulis dalam waktu 3-7 hari sebelumnya, kemudian artikel tsb saya copas di search enggine, kenapa masih belum muncul di search enggine yah. Kalau dulu, setting allow semua, sih bisa.

Atas bantuannya , thanks banget Mas Handoko

Reply

arkhananta August 12, 2011 at 05:56

makasih mas, saya coba dulu…

Reply

msadzili August 13, 2011 at 09:45

terima kasih mas artikelnya langsung saya praktekan di web saya

Reply

Cafe Amaliun Indah October 4, 2011 at 06:59

Mau Nanya Nich Mas Itukan Buat Wordpress Kalo Untuk Blogspot Gimana Ya Mas Handoko…
Sebelumnya Terimakasih…

Reply

All Download Application October 9, 2011 at 19:57

terima kasih infonya yang saat bermanfaat untuk yang pakai WP.
Saya sangat mengharapkan artikel anda selanjutanya

Sukses buat anda

Reply

iTV-GEAR.com November 17, 2011 at 06:38

makasih infonya…

Reply

wawan December 27, 2011 at 16:17

wah makasih gan atas infonya

Reply

tiang lampu January 19, 2012 at 14:53

ma kasih mas langsung dicoba buat blog ku

Reply

deny January 26, 2012 at 22:41

terima kasih, saya coba plug innya…

Reply

Newest Gadget March 10, 2012 at 14:42

terimakasih mas infonya..itu kalo sudah ada robots.txtnya klo edit dmn ya mas?

Reply

Musik+ June 4, 2012 at 15:30

Terima kasih mas artikelnya langsung saya praktekan di blog saya

Reply

hendro June 12, 2012 at 11:16

kok saya coba dan tes ada eror di disallow: /*?* dan di User-agent: Mediapartners-Google* , kenapa ya gan??

Reply

giriayoga October 20, 2012 at 22:05

makasih mas….mungkin settingan robots saya salah makanya akhir2 ini traffiknya berkurang :D

Reply

Tokotua Forex October 23, 2012 at 18:07

Robot.txt yang ini bisa diterapkan pada blogger gak pak?

Reply

Handoko Tantra October 27, 2012 at 12:42

Setahu saya tidak bisa mas

Reply

stephanus christiono December 13, 2012 at 16:25

Makasih buat tutorialnya mas… salam kenal…

Reply

Ondel Ondel December 26, 2012 at 01:48

ini setting file utk wordpress, tapi kalo untuk setting robot.txt buat blogspot dan joomla bagaimana Om Handoko..?

Reply

keripik buah December 31, 2012 at 21:37

ouw harus manual yaa ternyata

Reply

Referensi Tempat Belajar IM March 18, 2013 at 12:18

Ulasan yang bermanfaat sekali untuk yang sedang belajar cara memasang sitemap pada wordpress…

Reply

Walter Pinem April 14, 2013 at 05:29

akhirnya apa yang kucari terjawab sudah. makasih banyak panduannya mas :D

Reply

Leave a Comment

*