1. Bạn có thể đưa ra các chỉ dẫn cho các robot của Cốc Cốc trong tệp robots.txt của bạn. Ví dụ, nếu bạn muốn chỉ dẫn robot web chính của chúng tôi rằng không tải xuống bất kỳ trang nào có đường dẫn bắt đầu bằng / cgi-bin /, bạn có thể thêm chỉ dẫn sau vào tệp robots.txt của mình:

2. Để chỉ dẫn các robot của chúng tôi loại trừ hoàn toàn một trang khỏi chỉ mục của chúng tôi, bạn có thể thêm chỉ dẫn Noindex vào trang của bạn. Nếu bạn sử dụng Noindex, hãy đảm bảo rằng URL của trang không bị chặn tải xuống trong tệp robots.txt của bạn. Trong trường hợp này, ngay cả khi các robot của chúng tôi có thể tìm thấy các liên kết đến trang của bạn, các robot sẽ không thêm trang vào chỉ mục (các robot sẽ vẫn tải trang đó xuống vì chúng cần phải tải trang để tìm chỉ dẫn Noindex).

3. Bạn cũng có thể sử dụng chỉ dẫn Nofollow cho một số liên kết trên trang của mình. Nếu tất cả các liên kết đến một URL cụ thể trên trang của bạn sử dụng chỉ dẫn này, các robot của chúng tôi sẽ không yêu cầu truy cập vào URL đó. Tất nhiên, bởi vì bạn không thể kiểm soát các trang web khác, các trang đó vẫn có thể chứa liên kết đến trang web của bạn mà không có chỉ dẫn Nofollow. Nếu các robot của chúng tôi tìm thấy các liên kết như vậy, chúng có thể yêu cầu truy cập vào URL của bạn và vẫn thêm trang đó vào chỉ mục. Do đó, chỉ dẫn Nofollow có thể được sử dụng nội bộ trên trang web của bạn để loại trừ một số phần hoặc URL của trang khỏi việc các robot của chúng tôi tải xuống và lập chỉ mục. Tuy nhiên, việc sử dụng Nofollow như thế này không thể hoàn toàn ngăn các trang của bạn được lập chỉ mục.

Thông tin này có hữu ích không?

Gửi phản hồi