搜索引擎的SPIDER不愿意讀取放在cgi-bin目錄下的網頁，或是URL中包含了符號“?”的字符。其原因就在于，如果在CGI中提供了“無窮”數量的URL，那么SPIDER往往就會因為對這些“無窮”網頁的檢索而被牢牢套住，陷入死循環。這就是所謂的蜘蛛陷阱(spider traps)。數據庫程序對SPIDER亦有可能創建一個與此類似的情形。因而為避開可能的陷阱，Spider對于那些帶有符號“?”的URL中的“?”之后的字符一概不予讀取。
　　倘若Spider被你的服務器套住，不只是對Spider本身不妙，Spider對你網站頁面的重復訪問請求也會導致你的服務器系統徹底癱瘓。