• <menu id="ocok8"><menu id="ocok8"></menu></menu>
  • <xmp id="ocok8">
  • 咨詢熱線:

    18595271032

    聯系QQ:

    2863379292

    官方微信:

    搜索引擎中網絡爬蟲的設計分析

    全網營銷

    導讀:說的簡單易懂一些,網絡爬蟲跟你使用的〖離線閱讀〗工具差不多。說離線,其實還是要跟網絡聯結,否則怎么抓東西下來?那么不同的地方在哪里?1)網絡爬蟲高度可配置性。2)網絡爬蟲可以解

    發表日期:2020-04-25

    文章編輯:興田科技

    瀏覽次數:6502

    標簽:

    說的簡單易懂一些,網絡爬蟲跟你使用的〖離線閱讀〗工具差不多。說離線,其實還是要跟網絡聯結,否則怎么抓東西下來?那么不同的地方在哪里?

    1)網絡爬蟲高度可配置性。

    2)網絡爬蟲可以解析抓到的網頁里的鏈接

    3)網絡爬蟲有簡單的存儲配置

    4)網絡爬蟲擁有智能的根據網頁更新分析功能

    5)網絡爬蟲的效率相當的高

    那么依據特征,其實也就是要求了,如何設計爬蟲呢?要注意哪些步驟呢?

    1)url 的遍歷和紀錄

    這點 larbin 做得非常的好,其實對于url的遍歷是很簡單的,例如:

    cat [what you got]  tr " n   gawk '{print $2}'   pcregrep ^http://

    就可以得到一個所由的 url 列表

    2)多進程 VS 多線程

    各有優點了,現在一臺普通的pC 例如 booso.com 一天可以輕松爬下5個G的數據。大約20萬網頁。

    3)時間更新控制

    最傻的做法是沒有時間更新權重,一通的爬,回頭再一通的爬。

    通常在下一次爬的的數據要跟上一次進行比較,如果連續5次都沒有變化,那么將爬這個網頁的時間間隔擴大1倍。

    如果一個網頁在連續5次爬取的時候都有更新,那么將設置的爬取時間縮短為原來的1/2。

    注意,效率是取勝的關鍵之一。

    4)爬的深度是多少呢?

    看情況了。如果你比較牛,有幾萬臺服務器做網絡爬蟲,我勸您跳過這一點。

    如果你同我一樣只有一臺服務器做網絡爬蟲,那么這樣一個統計您應該知道:

    網頁深度:網頁個數:網頁重要程度

    0 : 1 : : 10

    1 :20 : :8

    2: :600: :5

    3: :2000: :2

    4 above: 6000: 一般無法計算

    好了,爬到三級就差不多了,再深入一是數據量擴大了3/4倍,二是重要度確下降了許多,這叫做“種下的是龍種,收獲的是跳蚤。

    5)爬蟲一般不之間爬對方的網頁,一般是通過一個proxy出去,這個proxy有緩解壓力的功能,因為當對方的網頁沒有更新的時候,只要拿到 header 的 tag就可以了,沒有必要全部傳輸一次了,可以大大節約網絡帶寬。

    apache webserver里面紀錄的 304 一般就是被cache的了。

    6)請有空的時候照看一下robots.txt

    7)存儲結構。

    這個人人見智,google 用 gfs 系統,如果你有7/8臺服務器,我勸你用NFS系統,要是你有70/80個服務器的話我建議你用afs 系統,要是你只有一臺服務器,那么隨便。

    給一個代碼片斷,是我寫的新聞搜索引擎是如何進行數據存儲的:

    NAME=echo $URL  perl -p -e 's/([^w-.@])/$1 eq "n" ? "n":sprintf("%%%2.2x",ord($1))/eg'mkdir -p $AUTHOR

    newscrawl.pl$URL--user-agent="news.booso.com+(+http://booso.com)"-outfile=$AUTHOR/$NAME

    特別是注意以下幾句:

    1.通常在下一次爬的的數據要跟上一次進行比較,如果連續5次都沒有變化,那么將爬這個網頁的時間間隔擴大1倍,如果一個網頁在連續5次爬取的時候都有更新,那么將設置的爬取時間縮短為原來的1/2。

    網頁更新頻度嚴重影響著搜索引擎蜘蛛程度對網站的爬行,爬取次數越多意味著網頁收錄幾率會越大、收錄數量越多,收錄是SEO最基礎的一個環節。

    2.好了,爬到三級就差不多了,再深入一是數據量擴大了3/4倍,二是重要度確下降了許多,這叫做“種下的是龍種,收獲的是跳蚤。

    盡量將網站保持在三級目錄內,深層次的網頁會給搜索引擎帶來很大的壓力,當然,我想Google有足夠的服務器來承擔這些壓力,但從側面來說,3層目錄下的網頁被抓取及更新的頻度要低很多。前面,我說過,要想辦法使網站物理結構和邏輯結構吻合,這體現于URL的良好設計,現在你可以檢查下前臺生成的靜態網頁的實際目錄有幾層,考慮是否可以優化

    相關推薦

    更多新聞

    • 3-17

      2020

      全網營銷 / 2020-03-17

      怎樣將seo融入到編輯的日常工作中

      今天的主題是 怎樣將seo融入到編輯的日常工作中。我們主要分七部分來講在講的過程中大家最好不要插話 完了之后歡迎和大家交流 該拍磚的隨便拍!主要按照這樣的流程來講,首先網

      View details

    • 9-25

      2019

      全網營銷 / 2019-09-25

      為什么響應式網站設計利于SEO

      響應式設計作為一種新的設計方式,允許網站重新格式化頁面,以適合觀看的任何設備。這意味著網頁可以定制,以適應桌面用戶,移動用戶或平板電腦用戶的需求。這種多樣化的用戶友好程

      View details

    • 10-14

      2019

      全網營銷 / 2019-10-14

      站長如何選擇適合自己的網絡推廣

      每位站長都想讓很多人知道自己的網站來登錄網站,帶來很多流量的同時也帶來收入。這些都是站長們夢寐以求的。一個新站怎么才能達到夢想中的狀態呢?站長們要怎么做呢?我想每個

      View details

    • 5-2

      2019

      全網營銷 / 2019-05-02

      電話營銷中的技巧讓你了解客戶需求

      隨著市場經濟的發展,越來越多的企業用電話作為銷售的工具??稍趯嶋H的銷售工作中,有許多電話銷售人員不會打銷售電話,往往很隨意的丟掉了生意成交的機會。那么如何掌握好電話銷

      View details

    四虎精品欧美一区二区免费,精品国产一区二区三区AV性色,久久久国产精品消防器材,扒开老师双腿猛进入在线观看,天天摸夜夜添添到高潮水汪汪,国产黄色视频免费观看