Sudah kenalan dengan robots.txt website anda?

Sudah kenalan dengan robots.txt website anda?

Tahukah anda jika Sebuah website yang sehat mempunyai Robots.txt?

Robots.txt merupakan bagian dari sebuah website yang mengontrol apa yang di baca oleh mesin pencari (contoh: robot crawler google), tanpa adanya robots.txt sebuah website tidak bisa mengontrol apa yang dibaca oleh mesin pencari.

Apa jadi nya website tanpa robots.txt? Robot crawler google akan “salah” mengindeks halaman website anda. Bisa saja halaman error page anda (404 page) atau halaman2 lain yang kurang penting (misal: halaman kebijakan pembelian)

Bila robot crawler google “salah” mengindeks website anda, maka beberapa kerugian seperti di bawah ini akan anda rasa kan:

  • Tidak bisa masuk arena persaingan di halaman hasil pencarian Google, website anda mungkin di temukan di halaman hasil pencarian yang kurang/tidak relevan
  • Tanpa ada nya robots.txt maka kemungkinan website anda tidak ditemukan di halaman hasil pencarian Google atau ditemukan namun tidak ada penjelasan deskripsi mengenai website

Contoh website yang bermasalah pada robots.txt

website berikut menampilkan salah satu testimoni customer nya di bagian deskripsi (Google snippet), kemungkinan robots.txt website ini tidak mengatur dengan baik apa yang ingin ditampilkan di bagian deskripsi (Google snippet).

Testimoni bukan-lah sesuatu yang umum untuk di tampilkan di bagian deskripsi (Google snippet). bila anda yang mempunyai website, apakah anda mau menampilkan salah satu testimoni customer anda untuk di lihat jutaan orang di Halaman pencarian Google? Belum tahu mengenai apa isi website , langsung di sodori kalimat testimoni, ini bakal membuat orang langsung menjauh.

Betapa penting nya robots.txt

Website kita Tidak bisa ditemukan di halaman hasil pencarian? parah banget ya? Iya, memang krusial banget manfaat robots.txt ini

berikut penjelasan wikipedia mengenai robots.txt | robots.txt, is a standard used by websites to communicate with web crawlers and other web robots. The standard specifies how to inform the web robot about which areas of the website should not be processed or scanned. | penjelasan wiki disini

Selain mengecek langsung keberadaan si robots.txt di kumpulan file website anda, ada cara yang lebih mudah yaitu dengan mengunjungi beberapa website khusus untuk mengecek keberadaan robots.txt. salah satu nya adalah website berikut ini

http://sitechecker.pro/seo-report/

Fitur Website Langit23

Robots.txt Salah satu Fitur website Langit23, Robots.txt kami optimalkan kinerja nya menggunakan fitur website Langit23 lain-nya yaitu Fitur SEO.

Baca lebih detail mengenai Fitur SEO ini disini dan disini

Kalo suka,share artikel ini ke teman-teman Ya,Terima Kasih: