Khác biệt giữa bản sửa đổi của “Tối ưu hóa công cụ tìm kiếm”

Để tránh bị lưu các nội dung không mong muốn, nhà quản trị website có thể ngăn “con nhện” thu thập dữ liệu một số tệp hoặc thư mục thông qua tệp robot.txt tiêu chuẩn trong thư mục gốc của tên miền. Ngoài ra, một trang có thể được loại trừ khỏi cơ sở dữ liệu của công cụ tìm kiếm bằng cách sử dụng thẻ meta dành riêng cho robot (thường là <code><meta name = "robot" content = "noindex"></code>). Khi công cụ tìm kiếm truy cập vào một website, tệp robots.txt nằm trong thư mục gốc là tệp được thu thập thông tin đầu tiên. Sau đó, tệp robots.txt được phân tích cú pháp và sẽ hướng dẫn cho robot trang nào không được thu thập thông tin. Vì trình thu thập thông tin của công cụ tìm kiếm có thể giữ một bản sao được lưu trong bộ nhớ cache của tệp này, đôi khi nó có thể thu thập dữ liệu các trang mà quản trị viên web không muốn thu thập thông tin. Các trang thường không được thu thập thông tin bao gồm các trang đăng nhập cụ thể như giỏ mua hàng và nội dung dành riêng cho người dùng, chẳng hạn như kết quả tìm kiếm từ các tìm kiếm nội bộ. Vào tháng 3 năm 2007, Google đã cảnh báo các nhà quản trị website rằng họ nên ngăn chặn việc lập chỉ mục kết quả tìm kiếm nội bộ vì những trang đó bị coi là spam tìm kiếm.<ref>"[http://searchengineland.com/newspapers-amok-new-york-times-spamming-google-la-times-hijacking-carscom-11169 Newspapers Amok! New York Times Spamming Google? LA Times Hijacking Cars.com?]". [[:en:Search Engine Land|Search Engine Land]]. ngày 8 tháng 5 năm 2007. Truy cập ngày 9 tháng 5 năm 2007.</ref>