Cara buat Robots.txt di WordPress

Sudahkah situs WordPress anda memiliki robots.txt? Kalau belum, di sini kita akan bahas sedikit tentang pentingnya file robots.txt dan tentu saja cara membuatnya.

Untuk situs self-hosted WordPress memiliki robots.txt adalah sangat penting untuk membuat search engine dengan mudah meng-index situs anda.

Selain itu, jika situs WordPress anda konek dengan Adsense, untuk beberapa kasus mempunyai robots.txt file akan sangat membantu agar Adsense bisa menemukan file ads.txt. Agar anda tidak mendapatkan peringatan dari adsense tentang ads.txt.

Cara cek situs WordPress anda sudah memiliki robots.txt atau belum

Bagaimana cara cek robots.txt situs WordPress anda? Mudah saja, tambahkan saja /robots.txt di belakang alamat URL website/blog anda.

Anda bisa ambil contoh robots.txt file-nya Blogkudewe berikut: https://blogkudewe.com/robots.txt

Jika situs anda belum punya robots.txt file maka anda akan di bawa kelaman 404. Bila ini kasus anda, berikut adalah cara membuat robots.txt file.

Membuat robots.txt file di self-hosted WordPress

Ada dua cara membuat file untuk robots.txt. Yang pertama adalah dengan memanfa’atkan fitur plugin YOAST SEO. Dan yang kedua, adalah dengan membuatnya secara manual dari cPanel.

1.Cara buat robots.txt dengan YOAST SEO

Jika anda menggunakan plugin YOAST sangat mudah untuk membuat robots.txt file. Di WP Admin dasbor anda, pergi saja ke laman plugin YOAST lalu buka laman Tools. Di situ, anda cari dan klik File Editor.

Di laman File Editor ini, jika situs anda belum punya robots.txt file maka di situ YOAST akan menyarankan anda untuk membuatnya. Klik saja tombol Create robots.txt file.

Secara otomatis, Yoast akan membuatkan robots.txt file untuk situs WordPress anda. Defaultnya adalah seperti berikut:

User-agent: *Disallow: /wp-admin/Allow: /wp-admin/admin-ajax.php

Jika anda punya masalah dengan peringatan Adsense soal txt.file seperti yang telah saya singgung di atas tadi, anda tinggal menambah dua line untuk ads seperti contoh berikut:

User-agent: *Disallow: /wp-admin/Allow: /wp-admin/admin-ajax.phpAllow: /ads.txtDisallow: /ads

Jangan lupa klik tombol Save changes to robots.txt untuk menyimpan perubahan di robots.txt file. Untuk lebih jelasnya di bawah ini adalah screenshotnya.

2.Buat robots.txt file dari cPanel hosting

Nah, jika anda tidak memakai YOAST SEO plugin, anda bisa pakai cara kedua yaitu membuat robots.txt file langsung dari cPanel Hosting.

Login saja ke cPanel hosting anda, lalu buka laman File Manager. Terus pergi ke folder public_html dan klik tombol +File untuk membuat file robots.txt.

Namai filenya dengan robots.txt lalu klik tombol Create New File.

Selanjutnya, klik kanan pada mouse anda di robots.txt file yang baru anda buat tadi dan pilih edit.

Akan ada popup, sekali lagi klik saja edit untuk membuka file editor. Seperti halnya membuat robots.txt dengan YOAST di atas, di file editor tambahkan saja tulisan berikut:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Kalau anda pasang Adsense pastikan juga menambahkan dua line untuk Ads seperti contoh di bawah ini:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Allow: /ads.txt
Disallow: /ads

Lalu klik tombol Save Change. Silahkan lihat screenshot untuk lebih jelasnya.

Pastikan anda juga sudah punya ads.txt file jika situs anda konek dengan Google Adsense. Artikel cara buat ads.txt bisa anda simak di sini.

Catatan

Itu dia saudara saudara, cara cek dan juga cara buat robots.txt file di situs self-hosted WordPress.

Mudah mudahan bermanfa’at. Happy Blogging!