robots.txt
Cara Setting Robots.txt - Mungkin sobat sudah sering mendengar istilah robots.txt. Apa sih robots.txt itu? apakah perlu di setting? bagaimana kalau saya biarkan saja? mungkin masih banyak pertanyaan lain.

Untuk lebih memahami pengertian dan cara kerja robots.txt, supaya lebih difahami, akan saya buat soal jawab seperti pada artikel Seputar Algoritma Hummingbird.

Apa itu robots.txt?

Robots.txt adalah perintah bagi robot mesin pencari untuk menelusuri atau tidak menelusuri halaman pada blog kita. Boleh dikatakan robots.txt adalah filter blog kita dari mesin pencari.

Apakah setiap blog mempunyai robots.txt?

Ya, semua blog sudah mempunyai robots.txt yang diberikan oleh blogger. Secara default robots.txt pada blog seperti ini :
User-agent: Mediapartners-Google
Disallow: 

User-agent: *
Disallow: /search
Allow: /

Sitemap: http://namablog/feeds/posts/default?orderby=UPDATED
Untuk melihat robots.txt default, silahkan ketik dibrowser http://namablogsobat.blogspot.com/robots.txt

Apa arti dari kode-kode di atas?

User-agent: Mediapartners-Google
Robot Google Adsense merayapi blog

Disallow:
Yang tidak diperbolehkan tidak ada

User-agent: *
Semua robot Search Engine / mesin pencari

Disallow: /search
Tidak diperbolehkan merayapi folder search dan setrusnya, seperti ..../search/label dan ... search/search?updated...

Allow: /
Mengizinkan semua halaman untuk dirayapi, kecuali yang tertulis pada Disallow di atas. Tanda (/) kurang lebih artinya nama blog.

Sitemap: http://namablog/feeds/posts/default?orderby=UPDATED
sitemap atau alamat feed blog kita.

Kenapa label tidak dimasukan ke pencarian?

Dengan penulisan kode default Disallow: /search, artinya perayapan untuk label seperti alamat http://namablog.com/search/label/Tutorial, nantinya tidak akan dirayapi oleh mesin pencari karena Label bukan URL yang real menuju satu halaman tertentu.

Bagaimana cara mencegah robot pada halaman tertentu?

Untuk mencegah google merayapi halaman tertentu di blog sobat, katakan sobat tidak ingin halaman about me diindex oleh mesin pencari. Untuk URL about me pada blog sobat misal : http://namablogsobat.blogspot.com/p/about.html

Maka untuk robots.txt, silahkan copy kode defaut di atas, tambahakan halaman yang tidak diperbolehkan, hasilnya seperti ini :
User-agent: Mediapartners-Google
Disallow: 

User-agent: *
Disallow: /search
Disallow: /p/about.html
Allow: /

Sitemap: http://namablog/feeds/posts/default?orderby=UPDATED

Dimana cara edit robots.txt?

Untuk menambahkan atau editing robots.txt, masuk ke Setelan > Preferensi Penelusuran, pada Robots.txt klik Edit kemudian klik Ya, kemudian tulis kode robots.txt yang diinginkan > Simpan Perubahan

Saya tidak pernah utak atik robots.txt, bagaimana?

Tidak apa-apa, blog sobat tetap akan dirayapi oleh robot-robot mesin pencari karena seperti saya sebutkan sebelumnya, setiap blog sudah mempunya robots.txt default.

Hati2 dengan penggunaan robots.txt, apabila salah penulisan bisa jadi blog sobat diabaikan oleh mesin pencari.

181 komentar

request tea mang... :) candak we ka pom nya

Balas

yang ditunggu akhirnya datang juga, makasih kang ..
btw yang tag tajuk robot khusus apa kang ??

Balas

coba untuklebih memahami, kesini aja sob https://developers.google.com/webmasters/control-crawl-index/docs/robots_meta_tag?hl=in

Balas

nuhun kang, urang baca2 heula. :-d :-d

Balas

Kang ada 2 pertanyaan:
1. Kalo sitemap pakai: namablog.blogspot.com/sitemap.xml gimana?
2. post diatas kan soal robots.txt khusus, terus gimana sama Tag tajuk robot khusus?

Balas

Haturnuhun kang ngartos ayena mah :)

Kang saya mau tanya, blog saya kan masih baru. postinganya aja baru 50. Tapi kesalahan perayapanya ada ratusan url, Semuanya belum pernah saya posting,tp terindek.

Screenshot:
https://lh4.googleusercontent.com/-cNHttU_IBio/Uls5l1U0iII/AAAAAAAAB2Q/jJdjiF-Wzq4/w1044-h502-no/Kesalahan+perayapan.png

Balas

naah ini baru lengkap + pengertian nya :)

jangan lupa tentang "Tag tajuk robot khusus" dibahas jg ya kang :)

Balas

saya juga banyak yang seperti itu bang mohon pencerahannya ya

Balas

Sayanyimak saja, soalnya takut ada apa-apa sama blog saya. terima kasih sudah berbagi ilmu.

Balas

izin nyimak kang ismet!
- selamat idul adha 1434 H -
salam damai!

Balas

Di hapus saja mas Heri di webmasters tools masuk ke crawl errors dan hapus masing-masing di atas satu persatu. Dulu awal pertama tahu ada yang crawl errors saya juga sampai ratusan juga, tetapi sering cek di webmasters jadi minimal.
Mungkin Kang Ismet bisa membuat simpel caranya

Balas

wow lengkap banget penjelasannya tentang robots.txt..
setelah baca ini sekarang ane lebih paham...

makasih kang udah berbagi :D

Balas

aku cek robots.txt blogku (http://www.edynlaskar.com/robots.txt) hasilnya ghini,,

User-agent: Mediapartners-Google
Disallow:
User-agent: *
Allow: /

Sitemap: http://edynlaskar09.blogspot.com/feeds/posts/default?orderby=updated

[ask] kok url sitemap masih ada embel-2 blogspotnya yah,,,?? kira-2 klo dirubah,, akan bermasalah gak kang ???

Balas

Sebagian sudah dihapus tapi muncul lagi munculagi url yang berbeda.
Blog baru dibuat sebulan yang lalu tapi ngindek url dari tahun 2010.

Balas

Saya nyimak aja dulu mas, soalnya masih belum terlalu paham tentang robot.txt, nanti diutak atik malah rusak blogx mas.
masih proses belajar terus ni tentang optimasi blog dari kang ismet.

Balas

baru2 ini saya baru faham mengenai robot text yang di share oleh mas adhy. untuk seorang blogger tentu hal ini perlu dipahami secara detail. mantap deh kang :-bd

Balas

Pengen dapat pertamax tapi selalu aja telat untuk mendapatkannya. Kayaknya musti ngantri terus depan rumahnya Kang Ismet nih.. :D

Balas

Numpang kasih pendapat ah di komentar sobat yg ini. Menurut yg saya tau untuk pertanyaan pertama, justru itu lebih bagus lagi sob kalau sitemap blog udah pake yg sitemap.xml tapi masih bisa kok pake sitemap yg lain maksimal katanya 3 sitemap yg bisa kita kirimkan ke SE lewat WMT blog. Terus untuk pertanyaan yang kedua menurut saya, pengaturan lebih spesifik lagi dari yg kita udah tetapkan pada robot.txt khusus yaitu pada halamn depan, halaman posting blog dan halaman arsip blog. Sama halnya dengan pengaturan robot.txt khusus, kesalahan pengaturan pada bagian Tag tajuk robot khusus akan berakibat fatal juga terhadap blog. Selanjutnya saya serahkan pada Kang Ismet untuk menanggapi lebih jauh tentang ini.. :)

Balas

Iya sob dihapus saja kalau muncul lagi. Nanti akan selesai juga tuh muncul2nya seperti itu. Saya juga ernah mengalamai seperti itu dulu tapi bedanya, kesalahan yg muncul adalah halaman2 yg udah pernah saya posting tapi waktu saya hapus postingannya, di webmster blog saya penghapusan url nya saya tidak lakukan akhirnya muncul deh laporan kesalahannya. Alhamdulillah saat ini nda ada lagi muncul kesalahan2 seperti itu.. :)

Balas

Ada yang lagi galau dengan kondisi sitemap blognya nih.. :D Tapi kayaknya udah kelar tuh coz saya coba cek tadi sitemap blognya udah nggak ada embel2 blogspotnya

Balas

Sobat Yori sebagai referensi dari saya tentang pengaturan "Tag tajuk robot khusus", sapa tau screenshot ini bisa membantu nanti
https://lh3.googleusercontent.com/-vwCRG8PtTHc/Ult5X9WAkxI/AAAAAAAAHkI/pZih1Dm1o0o/s710/Tag-Tajuk-Robot-Khusus.jpeg

Balas

aku jg perlu mengetahui engkau secara detail deh...eh!!!!

Balas

akhirnya ketemu juga,,sebenar banyak sihh yg sudah bahas ni artikel tapi saya kurang percaya,,hehehehe..kalau tutornya dari kang ismet sihh pasti percaya :-d

Balas

betul sekali kata temen" diatas delete aja via webmaster :d
setelah selesai ambil pilih ambil sebagai google bot trus pilih.homepage nya aja lalu pilih yg ke dua url+laman tertaut selesai
pengalaman sayA juga sama :) ato mungkin nanti kang ismet puna cara lebih praktis lg

Balas

Hal penting tuh tapi harus extra hati-hati kang dengan yg namana robot ..sok hese diatur hehe

Balas
Komentar ini telah dihapus oleh pengarang.

Mas, kalo untuk Tag Tajuk robot txt ini pengaturannya ..

http://oi40.tinypic.com/35hr8er.jpg

Balas

Nice Share Kang Jadi Saya Udah Ngerti Robot.txt. Mau Nanya Sedikit Mas Itu Tombol Click Me Pada Header Gimana Cara Buatnya Mas ?

Balas

izin nyimak kang :)
- absen dulu -
damai!

Balas

Untuk saat ini saya masih belom berani ngotak-atik robots.txt,, mending dibiarin aja yg penting gk diabaikan ama om google,, hehehhe...

Balas

Punya saya sudah di setting kang :D

Balas

Kalau saya biarkan saja Kang takut utak atik malah error atau de indeks sama googlenya :)

Balas

Merhaba blogun çok iyi benim sitemede beklerim :)

Balas

thx son
http://duniagame7.blogspot.com/

Balas

@Kang Agungtalaga: oh jadi gak masalah ya pakai sitemap.xml? kalau pengiriman sitemap di WMT saya udah kirim 3. Nah ada masalah disana, untuk sitemap.xml semua link terkirim, tapi untuk namablog/feeds/posts/default?orderby=UPDATED cuma beberapa link saja yang terkirim...
Tapi... itu kan WMT bukan robots.txt, apa untuk robots.txt bisa juga pakai 3 sitemap? Rada ngeri editingnya soalnya hehehehe...
@Kang Yandi Mulyadi: Itu penjelasannya gimana kang? ada link nggak?

Balas

Makin keren nih Kang Ismet blognya :D
Hehe gara-gara kemarin OFF beberapa hari, blog saya langsung banyak Error di WMT, dan Index di Google juga berubah :D

Balas

kalau menurut saya yang cukup satu saja yang pake sitemap.xml, trus yang tag tajuk itu, yang paling paling bawah noodp ga dicentang ga masalah, soalnya deteksi microdata

Balas

masih belum mudeng masalah webmaster tool :(

Balas

dari agung talaga cukup membantu, untuk deteksi microdata NOODP paling bawah ga usah dicentang ga apa2 ko

Balas

di diemin juga ga masalah ko.. saya juga ga pernah utak atik ko

Balas

sama2 sob.. selamet lebaran ya...

Balas

bener, saya cek udah berubah ko

Balas

mending cari aman aja sob

Balas

teu bisa diatur mah dagor we kang :)

Balas

itu pake lightbox evulotion sob

Balas

emang nyarinya kemana? :D

Balas

sama sob.. saya juga ga pernah utak atik... biarin default aja lah

Balas

congrats deh sob... :-bd

Balas

ga masalah sob. punya saya juga masih defailt ko

Balas

ziyaret ettiğiniz için teşekkür ederiz

Balas

biasa aja sob.. gimana blognya sudah normal?

Balas

Penjelasana rinci pisan kang heheheeh :-bd
Wilujeng boboran ah... salam oge kanggo keluarga kang....

Balas

waduh,, blog mas ini bner" bermanfaat.. rata" semua artikelnya sangat membantu.. :D thankssss...
hehehe mampir juga ya ke gubuk sederhana sya http://www.muamar-kurosaki.com/

Balas

sami2 kang.. salam oge ka sadayana :)

Balas

maaf.. komentar sobat terblok otomatis oleh sistem

Balas
Komentar ini telah dihapus oleh pengarang.

# diluar tema
[ask] kang gimana buat widget kayak gambar dibawah ini ?
http://i.imgur.com/C5KzDKl.png

Balas

Bahasa mana eta kang .. garut apa surade ?? hehe

Balas

bojong kenyot kang... :D

Balas

nanti saya buat postingan khusus sob.. kalau dijelasin disini kepanjangan

Balas

Untuk sementara cara menghapus sangat efektif, tapi ibarat perjuangan Mati satu tumbuh seribu he,,,

Balas

jadi pake feeds/posts/default?orderby=UPDATED ataupun sitemap.xml gak masalah ya?
kalo yang tag tajuk belum ngerti... nanti saya belajar lagi saja hehehe
maturnuwun...

Balas

mau tanya gan cara mengatasi Kesalahan: Missing required field "updated".
Kesalahan: Missing required hCard "author" saya sudah pake cara di blog agan masih gak berhasil tau gak caranya? saya cari digoogle juga gak bisa,,,plis gan bantu yg sesuai dengan blog syaa : www.bmaster23.blogspot.com ,,,makasih gan!

Balas

oke kang, saya tunggu ya postingannya, buat template saya gimana ya kang ?, saya pusing nih tampilannya harus gimana ?, maaf kang -> krizeer.tk

Balas

kalo yang 'notranslate' itu buat apa kang ?

Balas

tidak dilakukan translate pada hasil pencarian

Balas

ini maksudnya apaan kang, belum ngerti saya tentang ini ?

Balas

Coba cari code ini mas
<a class='timestamp-link' expr:href='data:post.url' rel='bookmark' title='permanent link'><abbr class='published' expr:title='data:post.timestampISO8601'><data:post.timestamp/></abbr></a>

Kalau gak salah kode seperti di atas ada 2 ganti semua dengan kode di bawah ini

<a class='updated' expr:href='data:post.url' rel='bookmark' title='permanent link'><abbr class='updated' expr:title='data:post.timestampISO8601'><data:post.timestamp/></abbr></a>


Balas

Untuk Masalah robotstxt....saya ngikut kang ismet..mending cari aman saja..

Balas

Ijin ngintip heula, kang...sapa tau ada template iklan buat blog terbaru :D
Sukses terus untuk akang Ismet.

Balas

Sama dengan mas Mahfid Mayanto saya maen aman aja mas, ndak pernah saya otak - atik robotstxt.

Tapi ada sedikit yang tanyakan mengenai masalah label yang tidak diarayapi oleh mesin pencari kang (emangnya kayu pake dirayapin segala) :D kebetulan link kategori atau label ini saya letakkan di navigasi menu. Ternyata ada yg janggal ketika saya coba search link url artikel di blog saya yakni kategori / label yang di navigasi menu tersebut ikut muncul di mesin pencari (rich snipped) contohnya :

http://1.bp.blogspot.com/-0BUBBDFB3cE/Ulwubp3nOzI/AAAAAAAABq0/JTck2F2ap1w/s1600/Untitled.png

Untuk saat ini sudah saya coba tambahkan atribut rel="nofollow" pada struktur link di nav menu saya niatnya biar ga kedetek mesin pencari. Pertanyaan saya, Apakah yang saya lakukan sudah bener atau barangkali mas ismet punya solusi lain?

Balas

kang, kalau untuk mencegah robot mengindex url dr feed komentar nulisnya gimana....???

Balas

Kalau menurut saya, lakukan saja pengaturan tsb pada webmster tools blognya sob tepatnya di bagian parameter URL supaya url feed komentar misalnya seperti ini : http://blog.kangismet.net/2013/10/cara-setting-robotstxt-di-blogger.html?showComment=1381775338199#c8938640957461620488 tidak diindeks. Menurut pengalaman saya sih. Kalau menurut Kang Ismet, gmn??

Balas

Selamat Pagi Kang :)
Selamat Idul Adha 1434 H :)

Balas

Kalau menurut saya sob nda usah pake rel='nofollow' pada link label yang ada di menu navigasi blognya tapi pake aja rel='tag'. Berdasarkan saran dan pengalaman dari master seo juga sih.. :D

Balas

numpang ngasih saran.

ksalahan pnelusuran kdang jga terjadi karena ada blog atau web lain yang salah bkin tautan ke blog kita.d blog sya ada skitar 4 eror yang kayak gtu.

kalau eror yang semacam ini kita ngk bisa apa2 kecuali kita bsa menghubungi orang yang bkin link ke blog kita dan minta dia buat edit link tersebut.

Balas

betul mas... paling diakali dengan link redirect

Balas

kalau soal tampilan, saya bingung sob.. tergantung selera :)

Balas

kang ismet salam damai -
semoga sehat selalu ^_^

Balas

nyuruh robot, memeriksa atau jangan memerikas blog kita. itu intinya

Balas

setuju mas... cari aman aja

Balas

saya juga kang, :)
- salam damai -

Balas

betul sob, coba paka rel="tag" kalau nofollow menyatakan link tidak dofollow

Balas

bisa kedua2 nya.. kalau mau di robot txt, tinggal tambah
Disallow: /feeds/comments/default

Balas

selamat idul Adha juga buat semua..

Balas

sipp deh kang :)

owh iya nih, saya mau tanya kalo pemasangan domain dot com di blogspot harus membeli domain sama hostingnya atau cukup domainnya aja kang? please help.. saya pengen pasang domain kang..

Balas

cukup domain aja.. order juga Manage DNS, kalau di myidwebhost.com manage DNS gratis, centang aja pas order, nanti saya bantu untuk settingnya

Balas

iya kang.. tapi nanti saja ya kang, saya belum ada ATMnya.. coba saja bisa lewat pulsa :( saya bayar hari ini juga..

Balas

ke teller langsung kan bisa :) cuman sekarang libur

Balas

ayena mah bukan teller bank , tapi teler ku sate sapi kang hehe

Balas

saya belum punya rekening kang :P

Balas

iya dong, sok nyodok emang is good

Balas

Oke master, akan saya coba terapkan sarannya. Tapi fungsi nya sendiri dari rel="tag" sendiri untuk apa ya? Apakah ada pengaruhnya nanti di rich snippet? :)

Balas

menyatakan bahwa link tersebut adalah tag, ada pengaruhnya.. nantinya tidak akan ditampilkan seperti di atas

Balas

gan di template ane gak ada kode diatas ? gimana?

Balas

Sip, matur nuwun mas atas jawaban saran dan bantuannya.
saya ucapkan Selamat hari raya idul Adha, mohon maaf lahir dan batin. Jangan lupa daging korbannya kirim ke jogja mas :D

Balas

sedikit tambahan Seperti yang sudah disampaikan dalam forum-forum webmaster dan oleh search engine seperti Google sendiri, menggunakan robots.txt tidak serta merta dapat langsung melarang indeks. Bahkan kadang-kadang, "suka-suka gue lah...," kata Google. Misalnya, sobat melarang satu halaman untuk diindeks, namun halaman tersebut punya backlink banyak (backlink bisa dari halaman web sendiri/internal link, atau web lain/external link), maka dia tetap akan ditampilkan dengan anchor text sesuai dengan backlink yang diindeks Google. Nah dengan penggunaan dua perintah sekaligus, setidaknya kita bisa menghilangkan sisa-sisa backlink yang masih follow di halaman blog sendiri. Dengan demikian, jika sobat mencantumkan link label di halaman tertentu, dan dia follow, maka masih diperhitungkan oleh Google dan masuk pada crawl error. Bahkan meskipun kita sudah menggunakan Disallow pada robot txt. So, jika ingin label tidak diindeks, untuk memaksimalkan SEO, gunakan juga rel=nofollow pada label. Asumsi ini tentunya juga berlaku pada halaman-halaman lain dimana sobat tidak ingin search engine mengindeksnya (arsip misalnya).

Balas

Seandainya saya bisa ketemu dengan robot teks google
saya akan menanyakan tentang kerja ngeblog yang baik hhh
Terima kasih artikel nya Kang Ismet

Balas

Mantab (y) ijin nyoba kang :D

Balas

kang untuk url yang di cekal di web master ada pengaruhnya tidak buat blog ?

Balas

justru bagus, kalau emang yang dicekal itu membahayakan blog kita

Balas

makasih kang sangat bermanfaat :)

Balas

sangat bermanfaat terimakasih

Balas

Ijin nyimak gan.. http://www.nehandnews.com

Balas

Ini yang saya suka dari kang ismet jelas bagt artikel nya hehehe

Balas

Ini yang saya cari...makasih banyak infonya mas :)

Balas

oh ya mau nanya kenapa blog saya tidak terindex, padahal tidak pernah utak-atik robots.txt

Balas

Menurut saya sih, hapus aja. Sebab indikasi duplikasi konten terjadi. Saya pernah alami yang sama dan saat ditelusuri, ternyata ada blog yang namanya mirip tapi sudah dihapus oleh google.. penghapusan link erroe memang butuh 2 - 3 kali karena proses index itu per url dan memiliki siklus waktu untuk reindex.. jadi bukan per blog.

Balas

cara mereset ulang pengaturan webmaster robot.txt gmn kang, robot.txt saya udah parah banget, artikel 1 pun gtak ada yg keindeks search engin

Balas

robot.txt-nya tidak pernah diutak-atik tapi kok dicekal ya kang waktu dicek di google webmaster?

Balas

kang kalo saya robots.txt khususnya [Dinonaktifkan] , apa harus di aktifkan kang? kaya cara di atas?
kalo robots.txt yang akan kaya gimana ?

Balas

kalo tag rajuk blogger gimana om?

Balas

untuk menampilkan iklan di search/label mohon diperjelas kang,......mksh

Balas

Terima kasih kang layak di coba nie

Balas

Blog saya banyak URL nya mengalami pencekalan robot txt. Makasih infonya Kang, moga terbebas dari pencekalan setelah praktik cara ini. Salam kenal Kang ?

Balas

Kunjungan perdana saya di blognya kang ismet :-bd soalnya baru punya semangat ngeblog di awal tahun baru. Saya punya masalah di webmaster tepatnya di kesalahan perayapan. Di tab ponsel cerdas banyak yang di blok, jumlah yang diblok sama dengan jumlah artikel yang sudah saya publikasikan. Saya menggunakan kode robots.txt seperti ini User-agent: Googlebot
Disallow: /search
Disallow: /?m=1
Disallow: /?m=0
Disallow: /*?m=1
Disallow: /*?m=0
Menurut sumber itu untuk mencegah duplikat konten pada mobile.
Menurut kang ismet, ini berbahaya gak? saran kang ismet saya tetap menggunakan ini apa mendingan default aja.

Balas

:) Langsung parktik kang :-d

Balas

Bung, kok blog ane kagak ada robotstxtnya ya? ruset69[dot]blogspot.com/robotstxt.html

Balas

biar kebaca google berapa jymlah postingan kita bung??

Balas

Mau tanya kang
carana agar halaman posting,label,arsip dll blog tidak di index mesin telusur? tapi pada alamat webnya bisa di index mesin telusur?
jadi kalau ngetik di gugel site:namablog.blogspot.com
ntar hanya menampilkan index alamat blognya saja "namablog.blogspot.com", dan tidak menampilkan halaman posting,label,arsip dll yg ada di blog tersebut?

kira-kira perintahnya gimana kang?

Balas

kang kalau feeds/posts/default?orderby=UPDATED di ganti pakai ini feeds/posts/default?max-results=9999&amp;alt=json-in-script&amp;callback=loadtoc bisa pa ga

Balas

kang di wmt ada robots.txt tapi di settingan blogernya gak ada

Balas

hmmm di artikel sdha lumayan bagus car amnjelaskan nya .tapi msih kurang jelas cara mebuat semua kode yg harus dimasuka ke bolg kita spya ga salah ....
skr sy mau nanya aja , kan itu ada 3 poin / 3 kode
nha.. ketika itu masing2 cara membuatny agmna... krn setingan asli bloger itu di nonaktifkan,,, jd klo bru di aktifkan robot,txt masih kosong ... tolng beri pnjlsan yg detil n akurat mksih

Balas

aduh kang imet klo jwb ga detil ih yg bawah kan bnyak kolom mksudnya ga di centang semuanya atau gmna , mohon slu dngn detil kl mnjawab ya masss,,, biar kami mudah ngikutin ny a,,, , mksih

Balas

membantu sekali tutornya ga,,
mari mampir blog sy

Balas

duh hatur nuhun kang.... by muizcyan-xp
check kang blog simkuring www.muizcyan.co.vu

Balas

bagus kang artikelnya :)

Balas

gampang gampang susah juga yaa bang klo kita bikin situs online itu khususnya website atau toko online pendidikan saya disini kurang mendalami yang saya dalami adalah prodak murah cari prodak murah untuk saya pasang di toko online saya ternyata kita harus bisa mengerti tentang seo dan para konco2 nya seo termasuk robots.tkt


lantas setinganya harus gmn ya bang agar bisa toko online saya bisa terdeteck oleh google


visite : www.herigrosir.com

Balas
Komentar ini telah dihapus oleh pengarang.

ok kang makasih infonya oh ya jangan lupa mampir ke tempat kami
nambah tali silaturahmi www.aslipermata.com

Balas

BLOG BARU GAN

http://kecantikan-alatbantusexsurabaya.blogspot.com/

Balas

Menyimak dari mulai artikel dan semua komentar, alhamdulillah dapat ilmu tentang robots.txt. Makasih kang ismet dan semua sahabat lainnya.

Balas
Komentar ini telah dihapus oleh pengarang.

Mohon ijin, sekedar tambahan,
File robots.txt paling sederhana menggunakan dua aturan:

User-agent: robot yang diterapkan dengan aturan sbb :
Mediapartners-Google
Googlebot
Googlebot-Mobile
Googlebot-Image
Adsbot-Google

Disallow: URL yang ingin Anda blokir

Setiap bagian di file robots.txt terpisah dan tidak disusun dari bagian sebelumnya. Misalnya:

User-Agent: Googlebot
Disallow: /file/

User-agent: *
Disallow: /search

Pada contoh diatas hanya URL dengan /file/ yang tidak akan diizinkan oleh Googlebot, yang kedua semua halaman diizinkan/ditelusuri oleh mesin pencari , kecuali untuk perayapan label karena ada penambahan fungsi /search .perlu diketahui, tanpa penambahan fungsi /allow dikarenakan fungsi User-agent: * atau dengan penambahan tanda bintang itu mengintruksikan seluruh halaman untuk dapat ditelusuri robot

CONTOH
Untuk memblokir seluruh situs
Disallow: /
Untuk memblokir direktori dan segala yang ada di dalamnya
Disallow: /junk-directory/
Untuk memblokir halaman tertentu
Disallow: /private_file.html
Untuk menghapus gambar tertentu dari Gambar Google
User-agent: Googlebot-Image
Disallow: /images/dogs.jpg
Untuk menghapus semua gambar
User-agent: Googlebot-Image
Disallow: /
Untuk memblokir file dari jenis file tertentu (misalnya, .gif), gunakan parameter berikut:
User-agent: Googlebot
Disallow: /*.gif$
Agar halaman situs Anda tidak ditelusuri, saat masih menampilkan iklan AdSense

User-agent: *
Disallow: /

User-agent: Mediapartners-Google
Allow: /

Untuk menentukan pencocokan akhir URL
Contoh :
gunakan $. Misalnya, untuk memblokir URL diakhiri .xls:
User-agent: Googlebot
Disallow: /*.xls$
Anda juga dapat menggunakan pola pencocokan ini bersama perintah Izinkan.
User-agent: *
Allow: /*?$
Disallow: /*?
artinya sbb :
Perintah Disallow: / *? akan memblokir URL apa pun yang memuat ?
perintah akan memblokir URL yang diawali dengan nama domain anda, diikuti beberapa string, diikuti tanda tanya, diikuti beberapa string.


Perintah Allow: /*?$ akan mengizinkan URL yang diakhiri dengan ?
mengizinkan URL yang dimulai dengan nama domain Anda, diikuti string, diikuti ?, tanpa karakter setelah ?


Langkah akhir, lakukan pengujian melaui Webmaster tools - Crawl - Blocked URLs - pilih user agent - klik test. lihat hasil test result nya apakah setting anda sudah benar ( apabila melakukan perubahan robot.txt , perubahan tsb akan terindex 2-3 hari pasca perubahan
atau
Bagi anda yang ingin optimalisasi SEO melalui test CHKME dapat melihat URLs/Image error tanpa label /"alt " yang biasanya include pada bawaan template. itu bisa anda non aktivkan URL Image dengan Setting robot.txt diatas.

Semoga bermanfaat....
Sumber : Support.Google

Balas

munkin bisa menyebabkan error crowl pada tampilan smartphone

Balas

Infonya sangat membantu sekali untuk saya yg newbie, trimakasih kang ismet. Mohon penjelasannya supaya cepet dapet backlink banyak
http://kebal-online.blogspot.com

Balas

ok kang ismet top lah.. tong hilap mampir kasaung abdi

Balas

kalo yang tag tajuk belum ngerti saya gan

Balas

Salam kenal kang, kalo ganti domain berarti harus juga dong URL di robot.txt nya ya kang?

Balas

ngiring nyimak nya kang kumplit sekali nih pembahasan nya sangat bermanfaat,
http://papaparpat78.blogspot.com

Balas

banyak pengaruh nggak sih url yang dicekal terhadap blog??
kyanya kok sma aja ya,g begitu ngaruh..

Balas

Ini informasi yang gamblang dan to the point, saya mudah memahaminya, terima kasih kang, salam.

Balas

Wah, ternyata resikonya berat juga ya kang kalo salah dalam settingan robot.txt

Balas

:-d sip gan terimakasih
http://gayakitakan.blogspot.com/

Balas

Bikin pusing kang robot txt ini,blog saya dicekal tidak di telusuri.mohon bantuannya kang jika berkenan.teimakasih banyak sebelumnya.

Balas

waah gan makasih nih tipsnya , btw ane juga sama seperti itu gan banyak kesalahan di webmaster tool nya -_- , oh iya gan , proses lamanya indexing oleh google setelah sitemap yg di submit ke webmaster berapa lama yah ?

Balas

Bagus nih Tipsnya gan.. Salam Kenal Gan Pendatang Baru nih.. Masih newbi http://multiglobalinfo.blogspot.com/

Balas

mantap kang ismed...

mampir juga di http://takgawekonteswae.blogspot.com untuk sekedar berkomen di blog pertama saya..hehehe baru belajar

Balas

Klo Sitemap diganti dengan Sitemap: http://namablog.blogspot.com/sitemap.xml bagaimana?? mohon pencerahannya mas.. :)

Balas

kang mau tanya nih..
saya kan daftar sitemap di webmaster tools cuma bukan pake sitemap.xml tp atom.xml karena blognya udah pake domain TLD.
Nah disitu jumlah yang terindeks dan terkirim berbeda.
Terkirim 107 terindex cuma 10. Gmn solusinya biar sama.

:)

Balas

ijin share kang.....
http://bukawww.blogspot.com/

Balas

permisi akang2 master...saya mau tanya :
1.bagaimana jika kita biarkan saja custom robot txt apa ada pengaruhnya.
2.jika kita melakukan perubahan pada custom dan tajuk robot apakah masih perlu melakukan pengeditan tag html templatenya.
3.seberapa pengaruh terhadapat terjadinya duplicate2 yg sering terjadi pada penyempurnaan html...
terimakasih sebelumnya dn maaf atas ketidak tahuan saya

Balas
Komentar ini telah dihapus oleh pengarang.
Komentar ini telah dihapus oleh pengarang.

Salam kenal, mohon pencerahannya kang...
1. misalnya saya ingin memblokir link2 ini :
/2014/02/&target=facebook
/2013/03/&target=email
/2012/01/&target=buzz

salah tidak kalau di robot.txt saya tulis
Disallow: /*/*/&target=

2. salah tidak untuk memblokir semua page saya tulis
Disallow: /p

Kalau salah bagaimana yang benarnya?

Terima kasih

Balas

bgmn cara setting tag tajuk robot khusus bro

Balas

Thanks infonya gan sangat bermanfaat

Balas

Maksih banyak buat bagi-bagi ilmunya. Semoga berkah.

Balas

maaf saya mau tanya, klo settingan robot.txt di tumblr carinya di sebelah mana ya? tumblr saya tidak bisa di search di google. makasih.

Balas

klo untuk memansang sitemap.xml di robot txt khusus gimana caranya gan ?

Balas

mantap gan... alatipsehat.blogspot.com
ane dah mulai masukin tag diatas di scritp.. moga moga bisa page one

Balas

SIp gannn sangat membantu :) jgn lupa mampir yaa http://blogsensei-nathan.blogspot.com/

Balas

wah2 luar bisa artikelnya sangat membantu,,...
jangan lupa mampirya gan....http://medanlapasilla.blogspot.com/

Balas

Setelah membaca penjelasan kang ismet dan para top komentator, saya jadi takut untuk melakukan settingan ini. salah dikit akibatnya ngeri :D hehehehe

Balas

masih belajar masalah robot txt trims gan infonya
www.blinggos.com

Balas

Poskan Komentar


×
Chat