在互聯(lián)網(wǎng)上進行自動數(shù)據(jù)抓取這件事和互聯(lián)網(wǎng)存在的時間差不多一樣長。今天大眾好像更傾向于稱之為“網(wǎng)絡(luò)數(shù)據(jù)采集/網(wǎng)頁數(shù)據(jù)抓取”，有時也會把網(wǎng)絡(luò)數(shù)據(jù)采集程序稱為網(wǎng)絡(luò)爬蟲（蜘蛛）。采集常用到的方法是寫一個自動化程序向網(wǎng)絡(luò)服務(wù)器請求數(shù)據(jù)，但大多數(shù)不擅長寫程序的朋友則是使用現(xiàn)成的通用網(wǎng)頁抓取工具，然后對數(shù)據(jù)進行解析，提取需要的信息。
然而許多網(wǎng)頁也會對自己的數(shù)據(jù)進行保護，那么就會遇到數(shù)據(jù)抓取困難的悲劇，還有更令人沮喪的事情，那就是根本不能抓取，也許是向服務(wù)器提交自認為已經(jīng)處理得很好的表單卻被拒絕，也許是自己的 IP 地址被定義為網(wǎng)絡(luò)機器人或不知道什么原因被網(wǎng)站封殺，無法繼續(xù)訪問。
但是是不是就真的無法抓取了呢？火車采集器告訴你：NO！克服網(wǎng)站對部分防采集的阻止或是采集困難，網(wǎng)頁抓取工具火車采集器還是很有方法的，前方高能來襲，請大家自行g(shù)et。
國外網(wǎng)站采集
有用戶提到國外網(wǎng)站采集很慢，數(shù)據(jù)也無法直接利用等，這類采集時其實可以使用國外的代理服務(wù)器，采集速度上可以得到有效提升，對于需要將數(shù)據(jù)轉(zhuǎn)換為中文的，可以使用翻譯插件來翻譯采集。
網(wǎng)站請求不通過
目標網(wǎng)站通常會在收到請求時校驗Headers中的User-Agent字段，如果不是攜帶正常的User-Agent信息的便無法通過請求。所以我們要把User-Agent屬性設(shè)置成不容易引起懷疑的內(nèi)容。還有一部分網(wǎng)站為了防盜鏈，還會校驗請求Headers中的Referer字段，那么需要通過對請求的抓包分析，將Referer值修改為目標網(wǎng)站域名，這些在火車采集器的“其他設(shè)置”里直接修改就可以了。另外在火車采集器中是可以自定義列表頁、多頁、分頁Headers的。
頻繁訪問封鎖
總是遇到403錯誤？對于同一IP或同一cookie的頻繁訪問行為，網(wǎng)站會將其識別為爬蟲進行封鎖，這類反爬蟲在火車采集器中，可以通過切換cookie、控制采集速度（盲目求快可不是明智做法，合理控制速度是不該破壞的規(guī)則，火車采集器支持進程中調(diào)速，實時生效）、二級代理更換ip，使用撥號服務(wù)器等方式有效解決。
cookie登錄
有些網(wǎng)站需要輸入合法的登錄信息或是持續(xù)保持登錄狀態(tài)才能訪問全部內(nèi)容，網(wǎng)頁抓取工具火車采集器的應(yīng)對是多樣的，一是通過采集器內(nèi)置的微型瀏覽器獲取登錄信息，二是通過抓包分析設(shè)置登錄信息。
需要輸入驗證碼
對于需要頻繁輸入驗證碼才能繼續(xù)訪問的網(wǎng)站，該怎么應(yīng)對呢？簡單的數(shù)字驗證碼可以使用火車采集器中的OCR識別，不過現(xiàn)在有的驗證碼已經(jīng)沒那么簡單了，所以如果確實復(fù)雜可以用可視化的火車瀏覽器實現(xiàn)接入平臺自動打碼。
加密網(wǎng)頁采集
對于內(nèi)容進行了網(wǎng)頁腳本加密的情況，可以通過模擬加密算法還原運行腳本，或是編寫插件進行擴展等。這類對于技術(shù)小白白來說可能有難度，但可以聯(lián)系我們火車采集器的技術(shù)支持獲得幫助。
大概就列出以上這些了，如果大神有碰到其他防采集的類型，可以反饋給我們，以便我們程序猿為您開發(fā)出更加強大的功能~
