SEO新手提問：什麼是搜尋引擎蜘蛛?

搜尋引擎蜘蛛其實就是搜尋引擎的抓取程式，叫法也不統一，有叫機器人的，也有叫爬行器的，還有叫爬蟲的等等。

因為搜尋引擎的抓取方式是通過連結來實現的，一個個的連結連在一起，整合起來就好像是一張巨大的蜘蛛網，所以被稱大家通俗的稱之為蜘蛛。

蜘蛛的工作方式是從已知的網頁出發，通過網頁中的連結地址尋找到其它的網頁，然後又通過這個網頁上面的連結找到其它的網頁，這樣子一直迴圈下去。

蜘蛛雖然工作的很勤勞，但是網際網路上的網頁太多了，對於搜尋引擎來說要將所有的網頁抓取到幾乎是不可能的`，從目前公佈的資料來開，搜尋引擎能夠抓取到全部網頁的百分之四十左右，這已經很了不起了。

在網頁抓取的時候，蜘蛛一般會採用兩種策略，分別是：深度優先和廣度優先。深度優先是指蜘蛛會從起始頁開始往下跟蹤，處理完一條線路之後返回到起始頁，再繼續跟蹤。廣度優先是指蜘蛛會先抓取到網站中的所有連結，然後再選擇其中的一個連結網頁，再繼續抓取這個頁面上的全部連結。

我們一起來看看目前主流搜尋引擎蜘蛛的名字吧。

百度蜘蛛：baiduspider

google蜘蛛： googlebot

yahoo蜘蛛：slurp

soso蜘蛛：Sosospider

搜狗蜘蛛：Sogou web spider

lexa蜘蛛：ia_archiver

必應蜘蛛：msnbot

有道蜘蛛：YodaoBot和OutfoxBot