国产一级a毛一级a看免费视频黑人 ,精人妻无码一区二区三区壳大浪,久久视频精品国产99

主頁 > 知識庫 > 簡單的分析一下百度蜘蛛的日常工作習性

簡單的分析一下百度蜘蛛的日常工作習性

搜索引擎用來爬行和訪問頁面的程序被稱為蜘蛛工，也稱為機器人(bot)。搜索引擎蜘蛛訪問網站頁面時類似于普通用戶使用的瀏覽器。蜘蛛程序發(fā)出頁面訪問請求后，服務器返回HTML代碼，蜘蛛程序把收到的代碼存入原始頁面數據庫。搜索引擎為了提高爬行和抓取速度，都使用多個蜘蛛并發(fā)分布爬行。
　　一、robots.txt文件
　　蜘蛛訪問任何一個網站時，都會先訪問網站根目錄下的robots.txt文件。如果robots.txt文件禁止搜素引擎抓取某些文件或目錄。蜘蛛將遵守協議，不抓取被禁止的網址。
　　和瀏覽器一樣，搜索引擎蜘蛛也有標明自己身份的代理名稱，站長可以在日志文件中看到搜索引擎的特定代理名稱，從而辨識搜索引擎蜘蛛。下面列出常見的搜索引攀蜘蛛名稱：
　　二、跟蹤鏈接
　　為了抓取網上盡量多的頁面，搜索引擎蜘蛛會跟蹤頁面上的鏈接，從一個頁面爬到下一個頁面，就好像蜘蛛在蜘蛛網上爬行那樣，這也就是搜索引擎蜘蛛這個名稱的由來。
　　整個互聯網是由相互鏈接的網站及頁面組成的。從理論上說，蜘蛛從任何一個頁面出發(fā)，順著鏈接都可以爬行到網上的所有頁面。當然，由于網站及頁面鏈接結構異常復雜，蜘蛛需要采取一定的爬行策略才能遍歷網上所有頁面。
　　最簡單的爬行遍歷策略分為兩種，一種是深度優(yōu)先，另一種是廣度優(yōu)先。
　　所謂深度優(yōu)先，指的是蜘蛛沿著發(fā)現的鏈接一直向前爬行，直到前面再也沒有其他鏈接，然后返回到第一個頁面，沿著另一個鏈接再一直往前爬行。
　　蜘蛛跟蹤鏈接，從A頁面爬行到Al，A2，A3，A4，到A4頁面后，己經沒有其他鏈接可以跟蹤就返回A頁面，順著頁面上的另一個鏈接，爬行到B1，B2,B3，B4。在深度優(yōu)先策略中，蜘蛛一直爬到無法再向前，才返回爬另一條線。
　　廣度優(yōu)先是指蜘蛛在一個頁面上發(fā)現多個鏈接時，不是順著一個鏈接一直向前，而是把頁面上所有第一層鏈接都爬一遍，然后再沿著第二層頁面上發(fā)現的鏈接爬向第三層頁面。比如，我的一個站點，股票入門大家可以去看下，研究下。
　　還有就是蜘蛛從A頁面順著鏈接爬行到Al，B1，C1頁面，直到A頁面上的所有鏈接都爬行完，然后再從A1頁面發(fā)現的下一層鏈接，爬行到A2 ，A3，A4，從理論上說，無論是深度優(yōu)先還是廣度優(yōu)先，只要給蜘蛛足夠的時間，都能爬完整個互聯網。在實際工作中，蜘蛛的帶寬資源，時間都不是無限的。也不可能爬完所有頁面。實際上最大的搜索引擎也只是爬行和收錄了互聯網的一小部分。

標簽：揚州大興安嶺黔南濟源莆田玉林克拉瑪依鹽城

巨人網絡通訊聲明：本文標題《簡單的分析一下百度蜘蛛的日常工作習性》，本文關鍵詞簡單,的,分析,一下,百度,；如發(fā)現本文內容存在版權問題，煩請?zhí)峁┫嚓P信息告之我們，我們將及時溝通與處理。本站內容系統采集于網絡，涉及言論、版權與本站無關。

亚洲综合原千岁中文字幕_国产精品99久久久久久久vr_无码人妻aⅴ一区二区三区浪潮_成人h动漫精品一区二区三

簡單的分析一下百度蜘蛛的日常工作習性