Làm thế nào để tạo file robots.txt chuẩn nhất dành cho wordpress?
Có thể những cách làm trước đây của bạn trên file robots.txt sẽ không còn phù hợp.
Nguồn ảnh Yoast
Tại sao Robots.txt lại quan trọng trong SEO?
File robot.txt là một công cụ rất mạnh mẽ khi bạn SEO web – nhưng nó cần phải được xử lý thật cẩn thận để không ảnh hưởng đến thứ hạng website của bạn. Nó cho phép bạn từ chối các công cụ tìm kiếm truy cập vào các file và thư mục khác nhau của website.
Trong những năm qua, Google đặc biệt đã thay đổi rất nhiều về cách thức thu thập dữ liệu trên web, do đó, những cách làm thường được sử dụng được cho là tốt nhất vài năm trước sẽ không còn hiệu quả nữa.
Ngày nay Google không còn là “đứa trẻ ngớ ngẩn” chỉ tìm nạp HTML trang web của bạn trong khi bỏ qua CSS và JavaScript như trước. Bây giờ nó tìm nạp mọi thứ và hiển thị hoàn toàn các trang của bạn. Vì vậy, google sẽ không thích chút nào khi bạn ngăn cản bot của nó truy cập vào CSS và các tập tin JavaScript (thuật toán Google Panda 4 là một ví dụ về lý do tại sao bạn không nên chặn google thu thập CSS và JavaScript)
Bạn có nên liên kết với Sơ đồ trang web XML từ robots.txt?
Hiện nay sẽ là vô nghĩa khi thêm liên kết sitemap vào file robots.txt
Bạn nên thêm trong công cụ quản trị Webmaster Tool để dễ theo dõi các phản hồi từ Google
File robots.txt chuẩn nhất dành cho wordpress
Vậy cuối cùng nội dung file robots.txt chuẩn nhất dành cho wordpress chỉ cần đúng 1 dòng này thôi:
User-Agent: *
Điều này có nghĩa là:
- Bạn không cần chặn thư mục
/wp-content/plugins/,vì các plugin có thể xuất JavaScript hoặc CSS mà Google cần để hiển thị trang. - Không chặn thư mục
/wp-includes/, vì ở thư mục này có các file JavaScript mặc định đi kèm với WordPress – thứ mà nhiều plugin sử dụng. - Bạn cũng không cần phải chặn thư mục
/wp-admin/, bởi WordPress bây giờ đã có một thẻ meta x-http trên các trang quản trị để ngăn công cụ tìm kiếm hiển thị chúng trong kết quả tìm kiếm.
(Bài viết có tham khảo thêm thông tin từ yoast)
