Trong SEO Onpage, bạn sẽ bắt gặp một khái niệm về tập tin robots.txt . Một yếu tố quan trọng không thể thiếu trong quá trình tối ưu hóa website của bạn.

Vậy tập tin file Robots.txt là gì ? Nó quan trọng như thế nào ?

Bài viết này mình sẽ chia sẻ khái niệm và công dụng của file robots.txt. Và Hướng dẫn cách tạo và điều hướng file Robots.txt chuẩn seo cho những bạn mới.

1. Khái niệm file robots.txt

Robots.txt là tập tin đơn giản dạng text có đuôi .txt được đặt trong thư mục gốc của website ngang cấp với tập tin index.html

File Robots.txt được sử dụng để hướng dẫn công cụ tìm kiếm tự động đến những trang nào mà bạn muốn nó tìm kiếm và sau đó thì index trang đó.

2. Tại sao chúng ta phải tạo file robots.txt ?

Khi các Google Bot vào website của bạn để thu thập dữ liệu thì tập tin đầu tiên của nó truy cập đó chính là file robots.txt. Như khái niệm, file robots.txt sẽ giới hạn quyền truy cập và lập chỉ mục của từng Google Bot. Do đó website bạn không thể thiếu file robots.txt.

Hầu hết trang web nào cũng có những thư mục và files không cần đến robot của công cụ tìm kiếm ghé thăm. Do vậy tạo ra file robots.txt có thể giúp bạn trong SEO.
3. Cách tạo file robots.txt chuẩn SEO

Rất đơn giản để tạo file robots.txt bạn chỉ cần mở chương trình Notepad điền các câu lệnh của nó. Lưu file tên robots.txt và đặt nó vào thư mục gốc website ngang với file index.
User-agent : xác định loại Google Bot có thể truy cập vào website.
Allow : cho phép Google Bot truy cập vào thư mục hay trang.
Disallow : chặn Google Bot truy cập vào thư mục hay trang.
Sitemap : nêu địa chỉ liên kết sitemap của website.


4. Cách sử dụng file Robots.txt

+ Chặn tất cả các bot vào web
– với lệnh trên thì không có công cụ tìm kiếm nào lập chỉ mục (index) website của bạn, có nghĩa là các bài viết trên website của bạn sẽ không xuất hiện trong kết quả tìm kiếm của các công cụ tìm kiếm.

+ Không cho bot truy cập vào một thư mục, trang nào đó
+ Chặn 1 bot nào đó
– spamBot bị cấm truy cập tất cả tài nguyên. Trong khi các bot khác được truy cập tất cả trừ thư mục “wp-includes”
+ cho phép bot truy cập vào một thư mục, trang nào đó
– cho tất cả bot truy cập vào thư mục bai-viet vài trang demo, nhưng không truy cập được thu mục wp-includes

+ Các loại Google Bot khi truy cập vào website

Google Bot : Bot thu nhập thông tin và đánh số chỉ mục mới hay cũ của Google.
Googlebot-Mobile : Bot thu thập thông tin và đánh số chỉ mục thiết bị di động.
Googlebot-image : Bot thu thập thông tin và đánh số chỉ mục hình ảnh của Google.
Mediapartners-Google: Bot xuất hiện quảng cáo của Google Adsence.
Adsbot-Google : Bot thu thập và đánh số chỉ mục sản phẩm hay dịch vụ của Google Adwords.

+ Một số lưu ý khi tạo file robots.txt

Phân biệt chữ hoa hay thường.
Sử dụng đúng cấu trúc câu lệnh
Không thêm các ký tự đặc biệt
Một câu lệnh nên viết một dòng
Không được dùng khoảng trắng trước câu lệnh

+ Một số công cụ kiểm tra file robots.txt

Công cụ kiểm tra file robots.txt : frobee.com/robots-txt-check
Công cụ tạo file robots cho blogpost : ctrlq.org/blogger/
Giới thiệu một số mẫu file robots.txt : link-assistant.com/blog/10-robots-txt-files-worth-to-have-a-look-at/
Nguồn: seomxh.com