Cara Setting Robot TXT di WordPress Yang Benar

Setiap pemilik website pastinya menginginkan websitenya berada di peringkat atas pencarian Google sehingga mudah ditemukan oleh pengunjung. Namun untuk bisa berada di peringkat atas tidaklah mudah, apalagi pada keyword-keyword dengan pencarian tinggi. Mesin pencari Google bekerja dengan cara mengindeks setiap halaman yang ada pada website dan mengecek apakah konten berkualitas atau tidak serta tugasnya memberikan peringkat kepada website pada SERP berdasarkan algoritma yang dimiliki Google.

Masalah utamanya hanya ada satu, karena yang bekerja adalah robot pengindeksan dari Google, maka robot crawler tersebut tidak bisa membedakan halaman mana yang harus diindeks dan halaman mana yang tidak boleh diindeks. Perlu diketahui pula bahwa dalam suatu website tidak bisa semuanya diindex oleh Google, ada beberapa halaman yang mengandung privasi, tidak memiliki efek terhadap SEO website dan lain sebagainya.

Apa itu Robot.txt?

Bagi Anda yang belum tahu, robot.txt adalah sebuah file teks sederhana yang memiliki fungsi mengontrol mesin pencari Google bekerja pada website. File ini nantinya yang akan mengarahkan dihalaman mana saja robot diizinkan untuk dilakukan indeks dan pada halaman mana yang tidak boleh dilakukan index. Sebelum robot perayapan Google datang ke website, robot tersebut membaca perintah yang ada pada file robot.txt

Tetapi perlu diingat pula jangan sampai melakukan salah setting pada robot.txt, jika ada kesalahan bisa berefek pada SEO rangking website menurun atau bisa jadi website Anda tidak bisa diindeks oleh mesin pencari Google.

Letak Robot.txt

Untuk mengecek apakah setting robot.txt pada website atau blog sudah benar, coba Anda bisa mengeceknya secara langsung. Untuk lokasi file robot.txt berada pada server hosting yang Anda  gunakan, untuk caranya diperlukan login ke akun cPanel terlebih dahulu. Bagi Anda yang belum tahu tentang cara login cPanel bisa dilihat pada artikel Setting htaccess WordPress. Selanjutnya saat sudah sampai di dashboard cPanel hosting, silahkan pilih menu ‘Files’ kemudian pilih ‘File Manager’, kemudian scroll ke bawah pilih folder ‘public_html’ kemudian pilih folder tempat install website Anda.

File robot.txt ini sifatnya berupa file virtual, jadi ketika Anda membuka file direktori website tidak akan ketemu. Caranya Anda bisa membuat file baru dengan format file txt, kemudian untuk penamaan menggunakan nama robot. Jika sudah silahkan upload, nantinya file robot.txt lama akan direplace secara otomatis sehingga yang berfungsi adalah konfigurasi file txt yang terbaru.

Alasan Menggunakan Robot.txt

Ada 3 alasan penting kenapa Anda harus menggunakan file robot.txt pada website:

1. Jika semua data pada website diindeks oleh mesin pencari, maka akan rentan data-data penting yang ada pada website tersebar luas sehingga bisa disalah gunakan oleh pihak yang tidak bertanggung jawab.
2. Jika setting robot.txt mengindeks semua website Anda, maka kemungkinan besar bandwidth akan keluar banyak sehingga berefek performa website menjadi lemot.
3. Semakin banyak halaman yang ada pada website Anda semakin lama pula mesin pencari melakukan indexing pada konten/halaman yang ada, karena perlu melakukan antrian panjang.

Setting Robot.txt

Untuk seting robot.txt caranya cukup mudah, Anda hanya perlu menulis beberapa perintah saja pada file robot.txt yang sudah Anda persiapkan sebelumnya. Sebelum melanjutkan Anda perlu mengetahui beberapa perintah penting yang ada pada robot.txt, berikut beberapa perintahnya:

• User-agent : pada perintah ini memiliki fungsi untuk mendeskripsikan nama/jenis robot yang melakukan crawling.
• Allow : perintah untuk menandakan bagian mana saja yang bisa akses oleh robot crawling.
• Disallow : perintah untuk memberi tanda bagian mana saja yang tidak boleh diakses oleh robot crawling.

Nah berikut kami berikan contoh setting robot.txt pada WordPress yang benar:

Selain itu ada opsi lain yang bisa Anda gunakan untuk setting robot.txt pada website untuk mengizinkan beberapa situs pencari untuk melakukan crawling pada website Anda. Cukup Anda tambahkan beberapa script berikut:

Selain cara setting robot.txt melalui login panel hosting, ada cara lain yang bisa Anda gunakan tanpa perlu ribet yaitu menggunakan plugin yang tersedia pada WordPress. Beberapa plugin yang bisa Anda gunakan untuk setting robot.txt diantaranya sebagai berikut:

• All in One SEO Pack
• Yoast SEO
• Multipart robot.txt editor
• SEO Rank Analyser
• Adenergizer
• WP Meta SEO
• B2 SEO
• txt SEO
• Dan plugin lainnya.

Untuk cara settingnya akan berbeda setiap pluginnya, tetapi lebih mudah daripada upload file robot.txt ke server hosting.

Kesimpulan

Robot.txt memiliki fungsi memberikan arahan kepada robot crawl Google untuk melakukan crawling halaman mana saja yang boleh dan tidak boleh diindeks. Untuk lokasi file robot.txt berada pada server hosting bagian root domain, jika Anda tidak mau repot bisa menggunakan plugin WordPress untuk setting robot.txt. Cara settingnya tidaklah rumit, Anda hanya perlu menambahkan beberapa script yang sudah kami siapkan diatas.

Nah demikianlah pembahasan mengenai cara setting robot.txt yang benar. Jangan lupa untuk memaksimalkan penggunaan website WordPress, Anda perlu mengunakan hosting WordPress agar lebih maksimal dan powerfull. Jika ada kendala atau masalah dalam proses setting robot.txt bisa Anda tuliskan dikolom komentar dibawah.

Terima kasih