Manfaat Robots.txt Dalam SEO

Manfaat Robots.txt Dalam SEO

Robots.txt memiliki peran penting dalam asebilitas sebuah situs. Ada bagian yang bisa di bagi untuk umum dan ada bagian yang sangat privat dan tidak untuk dibagi kepada pengguna internet lainnya yang melakukan pencarian di search engine. Keputusan untuk tidak mempublikasikan suatu file tertentu pada sebuah situs sangatlah bermanfaat seperti halaman khusus login cms blog maupun halaman login ke cpanel hosting tidak perlu untuk di index, kalau bisa halaman ini jangan sampai diketahui oleh orang lain agar blog lebih aman dari tindakan yang merugikan. Manfaat lainnya, untuk melindungi berbagai macam script seperti script cms dan widget.
Dalam hal optimasi SEO, kemampuan Robots.txt  yang dapat mengarahkan spider bot mengcrawling halaman yang ditargetkan bisa kita manfaatkan untuk mengarahkan spider bot pada halaman penting seperti halaman konten agar konten tersebut cepat terindex oleh search engine.
Saat spider bot memutuskan untuk mengcrawl situs, situs akan kehilangan bandwidth dalam jumlah yang tidak sedikit. Bila beberapa directory tertentu misal pada directory search kita batasi aksesnya maka ini akan menghemat bandwidth dan kegagalan spider bot dalam mengcrawl blog kita karena akses situs yang kurang baik akan teratasi sehingga spider bot bisa dengan leluasa merayapi seluruh isi konten sampai tuntas.
Di lain sisi bila halaman index yang di dapat search engine pada sebuah situs dinilai sangat berkualitas maka situs tersebut akan memiliki peluang besar untuk masuk halaman pertama. Hal ini akan berbeda jauh hasilnya dibandingkan dengan situs yang memiliki banyak halaman index namun dengan konten yang kurang berkualitas dan cenderung hanya menampilkan banyak link didalamnya contonya situs AGC.


Demikian tips Manfaat Robots.txt Dalam SEO semoga bermanfaat.