Cara Tepat Mengatasi URL Yang di Cekal Robots.txt

Artikel terkait : Cara Tepat Mengatasi URL Yang di Cekal Robots.txt

Saya sempat berfikir tentang bagaimana cara mengatasi url yang dicekal oleh robot.txt yang terdapat di Google Webmasters tools, dan itu karena, saya merasakan ada dampak dari url yang di cekal tersebut ke situs buatblog.net ini, karena saya merasakan ada penurunan traffick yang cukup lumayan karena masalah tersebut.

Url yang dicekal robot.txt sangat perlu untuk segera di perbaiki, apa bila tidak segera di perbaiki, akan berdampak buruk dalam traffick blog. Banyak pengalaman dari para blogger yang trafficknya menurun drastis karna terlambat dalam mengatasi url yang di cekal dan itu pun terjadi juga pada buatblog.net ini sendiri. Dan berikut ini adalah cara tepat mengatasi url yang dicekal oleh robot .txt di Google Webmasters tools.

Apa Itu Robots.txt ?

Robots.txt adalah file atau artikel pada situs Anda yang menunjukkan bagian dalam situs yang tidak Anda izinkan untuk diakses oleh perayap mesin pencari. File atau artikel menggunakan Standar Pengecualian Robot, yang merupakan protokol dengan sekelompok kecil perintah yang dapat digunakan untuk menunjukkan akses ke situs berdasarkan bagian dan berdasarkan jenis perayap web tertentu.

Cara Mengatasi dan Memperbaiki URL Yang di Cekal Oleh Robot.Txt

Cara mengatasi url yang di cekal oleh robot.txt yang saya share ini adalah cara yang sudah Saya alami sendiri dan hasilnya berhasil. Namun tidak hanya sekejab langsung hilang, tapi membutuhkan beberapa minggu atau bahkan berbulan-bulan.

1.Silahkan masuk ke blogger Anda.

2.Lalu klik pada settings - search preferences - custom robots.txt lalu klik edite pilih yes. Lihat contoh:

Cara-Tepat-Mengatasi-URL-Yang-di-Cekal -Robots.txt-1

3.Saat pada menu edite seperti gambar di atas, silahkan masukkan robot.txt di bawah ini:
  -Ganti url buatblog.net menjadi url blog Anda.
  -Setelah itu klik Save.

User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow:
Allow: /
Sitemap: http://www.buatblog.net/feeds/posts/default?orderby=updated

4.Langkah selanjutnya klik pada custom robots header tags dan pilih edite pilih yes. Lihat contoh:
  -Centang seperti gambar di bawah ini.
  -Lalu klik Save.

Cara-Tepat-Mengatasi-URL-Yang-di-Cekal -Robots.txt-2

5.Terakhir silahkan bersabar dan silahkan kembali menulis artikel. Sedikit demi sedikit url yang di cekal akan hilang dengan sendirinya.

Sekian artikel dari saya tentang cara mengatasi url yang di cekal robot.txt. Semoga dapat membantu Anda. Karna blog ini di buat agar bermanfaat bagi pembaca dan dapat menemukan solusinya.

Artikel Belajar Membuat Blog Lainnya :

63 comments :

  1. Thank you very much for this excellent post tied to mengatasi URL Yang di Cekal Robots.txt Solusi Terbaik. I will in any case try this for your site www.3dyee.com

    BalasHapus
    Balasan
    1. allhamdulillah if my article about overcoming url blocked diwebmaster this tool useful. Yes I will come

      Hapus
  2. apakah url tersebut salah satu dari artikel kita ya ?

    BalasHapus
    Balasan
    1. bukan mas, url yang di cekal robot txt adalah url yang memang sengaja tidak di perbolehkan untuk di index oleh mesin pencari dan biasanya itu di seting dari robot.txt

      Hapus
  3. gan blog ane kok malah lebih besar yg di cekal ya gan apa penyebabnya?

    BalasHapus
    Balasan
    1. Biasanya itu penyebabnya, karena settingan robot.txt, sebenarnya url yang di cekal itu bukanlah url artikel kita, tapi melainkan url yang memang tidak di perbolehkan untuk di rayapi robot.txt

      Hapus
  4. makasih mas Luki untuk infonya,,,akan saya coba,,,mudah-mudahan berhasil....
    mas Luki, setelah dirubah apakah kita mesti ke webmasters bagian perayapan sub penguji robot txt, untuk mengklik tombol kirim ? terimaksih
    yunus....http://kantongherbal.blogspot.com

    BalasHapus
    Balasan
    1. jika ingin mengetahui langsung kinerja robot txt itu bagus saja, tapi kalau tidak, gak perlu juga tidak apa apa

      Hapus
  5. Mas bantu dong klo mengatasi hal ini tapi lewat wordpress bagaimana soalnya kan klo wordpress itu robot.text nya ga bisa di edit soalnya saya menggunakan plugin Google XML Sitemap Generator yang robot.text nya digenerate sendiri dari situs wordprees :(

    BalasHapus
    Balasan
    1. Untuk memperbaiki url yang dicekal di wordpress jujur saya belum pernah menggunakannya, tapi untuk url yang di cekal sebenarnya itu bukan url dari artikel blog, tapi itu url yang memang sengaja tidak boleh dirayapi oleh robot txt. Sebenarnya tidak ada pengaruh besar untuk SEO blog sobat.

      Hapus
  6. mas mau tanya soal indeks google blog saya yang kembali menjadi nol padahal sebelumnya terindeks hingga puluhan, udah gitu indeks di cekal oleh robot apa yang harus di lakukan

    BalasHapus
    Balasan
    1. Google index akan terus berubah ubah seiring perkrmbangan algoritma baru.

      Ada kemungkinan terlalu over dalam melakukan optimasi seo, hingga terkena google dance atau bahkan terkena jaring pinalti google.

      Untuk mengatasi coba perbanyak artikel kembali, lalu lakukan fetch as google, semoga membantu

      Hapus
    2. contoh dari optimasi seo yang berlebihan bagaimana suhu ?

      Hapus
    3. Saya sudah praktekan cara di atas untuk mencegah pencekalan robot, namun yang di cekal malah bertambah ada gak cara lain yang bisa benar2 url yang di cekal kembali pulih atau nol

      Hapus
    4. Sederhana seo itu butuh proses, biayasan banyak sekali pelaku blogger yang ingin cepat artikelnya mendapatkan peringkat. Jadi maksud saya cari backlink yang santai saja jangan terlalu cepat. hindari spam yang berlebihan,

      saya sendiri menggunakan metode diatas dan hasilnya kosong mas sampai saat ini.

      Hapus
    5. senang bisa bertanya disini selalu ada jawabannya ? terima kasih.... saya mau tanya lagi suhu, banyak sekali situs yang menerangkan bahwa mencari backlink berkualitas bisa di dapatkan dari situs dofollow ber PR inggi, namun saya sulit menemukan situs tersebut? alternatif lainnya adakah?

      Hapus
    6. PR kini sudah tidak di perbarui lagi oleh google. Jadi sekarang kita mencari backlink dari situs yang memiliki DA yang tinggi.

      Saya biasanya mencari backlink dari forum forum yang ramai. Biasanya forum yang ramai memiliki DA yang tinggi, selain itu forum juga mampu meningkatkan traffic blog selain backlink

      Hapus
  7. mungkin gak secara langsung kali ya mas butuh bermingu-minggu atau berbulan-bulan agar url yang di cekal kembali pulih

    BalasHapus
    Balasan
    1. Ya, blog ini membutuhkan beberapa bulan untuk menghilangkan url yang dicekal. Dan alhamdullilah sudah bersih.

      Hapus
  8. Trims mas atas informasinya. Kalau cara mengatasi "Deskripsi untuk hasil ini tidak tersedia karena robots.txt situs ini - pelajari lebih lanjut."? Tolong dijawab

    Jangan lupa kunjungi www.rumahku-internetku.blogspot.com

    BalasHapus
  9. Komentar ini telah dihapus oleh administrator blog.

    BalasHapus
  10. Komentar ini telah dihapus oleh administrator blog.

    BalasHapus
  11. makasih gan artikelnya... berapa lama gan biasanya artikel yang di cekal akan pulih

    BalasHapus
  12. makasih mas admin saye minta ijin comot ilmu yang ada diartikel ini.

    sangat membantu'

    BalasHapus
  13. Berarti selama ini saya salah pengaturan, tp semoga artikel saya yang di cekal oleh robot.txt di blog saya http://www invho.com segera hilang.

    Makasih infonya.

    BalasHapus
  14. makasih bos infonya

    BalasHapus
  15. nice info, jadi lebih tahu :D

    minta doa restu https://diarysuccess.blogspot.com

    BalasHapus
  16. Makasih gan..bermanfaat banget
    langsung tak terapkan di blog ane gan www.infomenarik.net

    BalasHapus
  17. bagaimana memperbaiki robot.txt yang hilang
    mohon pencerahannya

    berita terpercaya http://megaliputan.com

    BalasHapus
  18. efek dari dicekalnya url itu apa gan, apakah akan berdampak buruk terhadap serp google atau pencarian di google ? , blog saya keterangn di google index ada 5 dan yang di cekal ada 45 :(

    BalasHapus
  19. Thx infonya
    By http://www.jasa-buatwebsite.com/

    BalasHapus
  20. makasih gan... tak coba dulu mudah mudahan berhasil..

    BalasHapus
  21. Makasih gan
    saya coba dulu, semoga berkurng blocked robot nya

    BalasHapus
  22. langsung ke tkp masta,...ijin mencoba.trims

    BalasHapus
  23. Thanks gan artikelnya sangat membantu pemula seperti saya | kunbal ya -> http://cari-cara-ku.blogspot.com

    BalasHapus
  24. mau nanya mas, saya tisak bisa membuat sitemap karena robot.txt seperti ini pesanya :

    "
    Jaringan tidak dapat dijangkau: robots.txt tidak dapat dijangkauKami tidak dapat merayapi Peta Situs Anda karena kami menemukan adanya file robots.txt di dasar situs Anda namun tidak dapat mengunduhnya. Pastikan bahwa file tersebut dapat diakses atau hapus semuanya"

    kira2 mengatasinya apa seperti tips di artikel di atas ?
    tapi setelah sy coba praktekan buat situs, pesan yg munvul masih sama... tolong pencerahanya mas, makasih byk sebelumnya

    BalasHapus
  25. Semoga URL yang dicekal Robot minimal makin berkurang. Terima Kasih atas tutorialnya :)

    BalasHapus
  26. makasih atas infonya, dan sangat bermanfaat buat saya

    BalasHapus
  27. Makasih mas atas infonya ini sangat membantu sekali.
    tapi saya mau tanya mas,di webmaster tool saya di google indeks nya kosong mas, itu kek mana mas.?

    BalasHapus
  28. DA pada pencarian backlink artinya apa ya master

    BalasHapus
  29. Gan bisa minta email nya? Ane mau konsultasi soal robot.txt hehe

    BalasHapus
  30. Thanks ya gan,,,, sangat bermanfaat,,, kunjungi juga http://makaicabik.blogspot.co.id/

    BalasHapus
  31. Gan.. kalo settingan robots buat wordpress di yoast gmna, punyaku masih banyak peringatan nih. minta saran nya

    Willyouknow.id

    BalasHapus
  32. thanks gan, bermanfaat sekali, kebetulan saya lagi nyari solusi buat masalah itu, salam kenal ya .. http://addi-procomputer-fm-id.blogspot.com/

    BalasHapus
  33. Tanks Banget y Mas, Sangat Membantu nih :)

    BalasHapus
  34. kalau dicentang noindexnya berarti ga diindex google dong?

    BalasHapus
  35. TQ Gan.. Sangat bermanfaat.. di web master ada ada 8 yang di cekal ..

    BalasHapus
  36. sudah seminggu masih dicekal punya saya kang, ada cara lain?.

    BalasHapus
  37. Terima kasih mas, semoga dengan cara ini block oleh robots bisa hilang

    BalasHapus
  38. Kmrn bersih sekarang 15 yang dicekal robot.txt.. baru saja hilang muncul lg. Oalaaah liyeeeur om.. 😀

    BalasHapus
  39. makasih gan hehe bermanfaat sekali.

    Mampir kesini juga ya http://zasiem.blogspot.com

    BalasHapus
  40. pengen coba juga mumpung yang di cekal belum banyak, makasih infonya

    BalasHapus
  41. Saya kemarin 53 gan malah nambah nih jadi 58 . Semoga bisa berkurang lah yang dicekal dengan menggunakan metode ini. Sampai-sampai blog saya tidak bisa dibuka 😔

    BalasHapus
  42. Kalo kesalahan parah pada robot txt atasinya gimana sob? Soalnya saya sempat ganti robot txt, namun pas saya balikin lagi masih belum hilang.

    BalasHapus

Terima Kasih Spammer Dan Copasser

Copyright © 2015 Belajar Membuat Blog | Design by Bamz