Xem robots.txt của bất kỳ trang nào cho phép và chặn gì — công cụ tìm kiếm và crawler AI nào truy cập được — bằng ngôn ngữ dễ hiểu.
robots.txt
Giải mã user-agent của crawler, phân biệt bot huấn luyện và tìm kiếm AI, và hiển thị file gốc bên cạnh ý nghĩa.