設(shè)計爬蟲時，通常都回避動態(tài)網(wǎng)頁(如Charkabarti，Joshi，Punera，&Pennock，2002)。識別動態(tài)網(wǎng)頁時，只需要看URL中是否出現(xiàn)問號，含問號的就是動態(tài)網(wǎng)頁。忽略動態(tài)網(wǎng)頁是因為它們?nèi)菀自斐芍┲胂葳?。蜘蛛陷阱理論上是一個無限的網(wǎng)頁集合，而蜘蛛永遠不能完整地遍歷這個集合。在線日歷就是一個容易被忽略的蜘蛛陷阱，它生成的動態(tài)網(wǎng)頁中可以標上任何日期，并包含指向后一天網(wǎng)頁的鏈接。一個爬蟲從這個日歷中找到一個網(wǎng)頁后，便會無止境地請求后一天的網(wǎng)頁。
動態(tài)的頁面（url）屬于蜘蛛陷阱，搜索引擎蜘蛛一旦爬行進入，很有可能會出不來、或是難以流暢的抓取，所以建議網(wǎng)頁一定是靜態(tài)或是經(jīng)過偽靜態(tài)處理的
本站文章均為永諾網(wǎng)站建設(shè)摘自權(quán)威資料，書籍，或網(wǎng)絡原創(chuàng)文章，如有版權(quán)糾紛或者違規(guī)問題，請即刻聯(lián)系我們刪除，我們歡迎您分享，引用和轉(zhuǎn)載，我們謝絕直接復制和抄襲！感謝...
猜你喜歡
聯(lián)絡方式：
電話：15038330582
郵箱：278477169@qq.com
掃描名片 
我們猜你喜歡
-
桶裝水配送小程序怎么做
一、桶裝水小程序軟件項目客戶來源介紹 水站的老板是在順企網(wǎng)看到我們的順企廣告信息，看到我們的廣告后馬上聯(lián)系了我們，我們直接給他的報價是3000元小程序開發(fā)。老板看...
-
移動端網(wǎng)站建設(shè)有哪些特點
一、特點：操作簡單化移動互聯(lián)網(wǎng)繼承了PC互聯(lián)網(wǎng)開放式、互動式的特征，同時又具有實時性、隱私保護、便攜性、準確性、可定位等特點。但由于終端絕大部分是手機接入，存在屏幕較小...
-
教育小程序開發(fā)
移動互聯(lián)網(wǎng)的到來，經(jīng)過小程序的出現(xiàn)，得到大批的流量，因為小程序的用戶多，教育小程序也會成為以后的市場，所以相關(guān)的教育培訓企業(yè)也會將也會開發(fā)相關(guān)的教育小程序軟件。 ...
-
企業(yè)實現(xiàn)售后服務派工單管理系統(tǒng)軟件
一、售后服務派單軟件項目客戶來源介紹 老板是在百度搜索信息看到我們的官網(wǎng)網(wǎng)站，想要做一款售后派單的app軟件，所有的功能都圍繞售后服務和管理開發(fā)。老板把大概的建...
-
建一個網(wǎng)站公司報價是多少錢
現(xiàn)在的建站市場bai，可以說魚龍混du雜，互聯(lián)網(wǎng)是個神奇的大網(wǎng)，大數(shù)zhi據(jù)開發(fā)和網(wǎng)站定制商城軟件開發(fā)也是一種模式，這里提供最詳細的報價，如果你真的想做，可以來這里，這個手機的開...
