File robots.txt chuẩn nhất dành cho wordpress

Làm thế nào để tạo file robots.txt chuẩn nhất dành cho wordpress?

Có thể những cách làm trước đây của bạn trên file robots.txt sẽ không còn phù hợp.

file robots.txt

Nguồn ảnh Yoast

Tại sao Robots.txt lại quan trọng trong SEO?

File robot.txt là một công cụ rất mạnh mẽ khi bạn SEO web – nhưng nó cần phải được xử lý thật cẩn thận để không ảnh hưởng đến thứ hạng website của bạn. Nó cho phép bạn từ chối các công cụ tìm kiếm truy cập vào các file và thư mục khác nhau của website.

Trong những năm qua, Google đặc biệt đã thay đổi rất nhiều về cách thức thu thập dữ liệu trên web, do đó, những cách làm thường được sử dụng được cho là tốt nhất vài năm trước sẽ không còn hiệu quả nữa.

Ngày nay Google không còn là “đứa trẻ ngớ ngẩn” chỉ tìm nạp HTML trang web của bạn trong khi bỏ qua CSS và JavaScript như trước. Bây giờ nó tìm nạp mọi thứ và hiển thị hoàn toàn các trang của bạn. Vì vậy, google sẽ không thích chút nào khi bạn ngăn cản bot của nó truy cập vào CSS và các tập tin JavaScript (thuật toán Google Panda 4 là một ví dụ về lý do tại sao bạn không nên chặn google thu thập CSS và JavaScript)

Bạn có nên liên kết với Sơ đồ trang web XML từ robots.txt?

Hiện nay sẽ là vô nghĩa khi thêm liên kết sitemap vào file robots.txt

Bạn nên thêm trong công cụ quản trị Webmaster Tool để dễ theo dõi các phản hồi từ Google

File robots.txt chuẩn nhất dành cho wordpress

Vậy cuối cùng nội dung file robots.txt chuẩn nhất dành cho wordpress chỉ cần đúng 1 dòng này thôi:

Điều này có nghĩa là:

  • Bạn không cần chặn thư mục /wp-content/plugins/,vì các plugin có thể xuất JavaScript hoặc CSS mà Google cần để hiển thị trang.
  • Không chặn thư mục /wp-includes/, vì ở thư mục này có các file JavaScript mặc định đi kèm với WordPress – thứ mà nhiều plugin sử dụng.
  • Bạn cũng không cần phải chặn thư mục /wp-admin/, bởi WordPress bây giờ đã có một thẻ meta x-http trên các trang quản trị để ngăn công cụ tìm kiếm hiển thị chúng trong kết quả tìm kiếm.

(Bài viết có tham khảo thêm thông tin từ yoast)

admin

admin has written 101 articles

Các bạn cần hỗ trợ hoặc kết bạn vui lòng liên hệ:
Skype: lephonghau37
Email: lephonghau@gmail.com

Leave a Reply

Your email address will not be published. Required fields are marked *

Time limit is exhausted. Please reload CAPTCHA.

You may use these HTML tags and attributes: <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code class="" title="" data-url=""> <del datetime=""> <em> <i> <q cite=""> <s> <strike> <strong> <pre class="" title="" data-url=""> <span class="" title="" data-url="">