Nếu bạn muốn làm giảm tốc độ các robot của Cốc Cốc ghé thăm trang web của bạn, bạn có thể sử dụng lệnh Crawl-delay (độ trễ thu thập thông tin) trong tệp robots.txt của mình.

Tuy nhiên, nếu bạn có hàng triệu trang nội dung, một giá trị độ trễ lớn có thể ảnh hưởng đến tốc độ cập nhật. Khi đó, trước tiên hãy đảm bảo rằng tất cả những trang có thể được lập chỉ mục của bạn đều hữu ích cho người dùng. Ví dụ, một trang web có thể sử dụng kiểu tìm kiếm thuộc tính (faceted search). Tìm kiếm theo khía cạnh là một cách phổ biến để tìm một đối tượng trong cơ sở dữ liệu lớn (big database) bằng cách sử dụng các bộ lọc. Mọi bộ lọc được đại diện bởi một tham số (parameter) trong các địa chỉ URL. Số tổ hợp các giá trị khác nhau của các tham số có thể sẽ rất lớn, mặc dù chỉ có một số lượng nhỏ thực sự tạo ra các đối tượng trong cơ sở dữ liệu.

Thông tin này có hữu ích không?

Gửi phản hồi