爬蟲中為了躲避反爬蟲可以有什么方法
避開反爬的方法：1、模擬正常用戶。反爬蟲機制還會利用檢測用戶的行為來判斷，例如Cookies來判斷是不是有效的用戶。
2、動態頁面限制。有時候發現抓取的信息內容空白，這是因為這個網站的信息是通過用戶的XHR動態返回內容信息。解決這種問題就要爬蟲程序對網站進行分析，找到內容信息并抓取，才能獲取內容。
3、降低IP訪問頻率。有時候平臺為了阻止頻繁訪問，會設置IP在規定時間內的訪問次數，超過次數就會禁止訪問。所以繞過反爬蟲機制可以降低爬蟲的訪問頻率，還可以用IPIDEA代理IP換IP解決限制。
如何防止重復爬蟲
1.基于程序本身去防止爬取：作為爬蟲程序，爬取行為是對頁面的源文件爬取，如爬取靜態頁面的html代碼，可以用jquery去模仿寫html，這種方法偽裝的頁面就很難被爬取了，不過這種方法對程序員的要求很高。
2.基于iptables和shell腳本：可以對nginx的access.log進行策略定義，例如定義在1分鐘內并發連接數超過30個ip為非法，如ip不在白名單內，則加入iptables策略封掉，當然這種的缺點是會有“誤傷”，策略細粒度越小就會有更多的“誤傷”，細粒度大就會使效果變差，另外還有類似的第三方工具fail2ban，利用做filter和actor對一些有危害的操作記錄或是封ip。但是對于某個特定的爬蟲地址（例如網易、有道）的爬取行為拒絕也很難準確做到，因為你無法準確知道這些特定的爬蟲ip地址（例如網易、有道），以下是我的定位方式，不過發現由于ip庫不準確造成錯誤的屏蔽。注意：建議不要用封ip條目的方式,iptables列表長度是65535時就會封滿，服務器也就會死機。
如何設置讓網站禁止被爬蟲收錄？
網站建設好了，當然是希望網頁被搜索引擎收錄的越多越好，但有時候我們也會碰到網站不需要被搜索引擎收錄的情況。
比如，要啟用一個新的域名做鏡像網站，主要用于PPC 的推廣，這個時候就要想辦法屏蔽搜索引擎蜘蛛抓取和索引我們鏡像網站的所有網頁。因為如果鏡像網站也被搜索引擎收錄的話，很有可能會影響官網在搜索引擎的權重。
以下列舉了屏蔽主流搜索引擎爬蟲（蜘蛛）抓取/索引/收錄網頁的幾種思路。注意：是整站屏蔽，而且是盡可能的屏蔽掉所有主流搜索引擎的爬蟲（蜘蛛）。
1、通過 robots.txt 文件屏蔽
可以說 robots.txt 文件是最重要的一種渠道（能和搜索引擎建立直接對話），給出以下建議：
Ur-agent: Baiduspider
Disallow: /
Ur-agent: Googlebot
Disallow: /
Ur-agent: Googlebot-Mobile
Disallow: /
Ur-agent: Googlebot-Image
Disallow:/
Ur-agent: Mediapartners-Google
Disallow: /
Ur-agent: Adsbot-Google
Disallow: /
Ur-agent:Feedfetcher-Google
Disallow: /
Ur-agent: Yahoo! Slurp
Disallow: /
Ur-agent: Yahoo! Slurp China
Disallow: /
Ur-agent: Yahoo!-AdCrawler
Disallow: /
Ur-agent: YoudaoBot
Disallow: /
Ur-agent: Sosospider
Disallow: /
Ur-agent: Sogou spider
Disallow: /
Ur-agent: Sogou web spider
Disallow: /
Ur-agent: MSNBot
Disallow: /
Ur-agent: ia_archiver
Disallow: /
Ur-agent: Tomato Bot
Disallow: /
Ur-agent: *
Disallow: /
2、通過 meta tag 屏蔽
在所有的網頁頭部文件添加，添加如下語句：
<meta name="robots" content="noindex, nofollow">
3、通過服務器（如：Linux/nginx ）配置文件設置
直接過濾 spider/robots 的IP 段。
小注：第1招和第2招只對“君子”有效，防止“小人”要用到第3招（“君子”和“小人”分別泛指指遵守與不遵守 robots.txt 協議的 spider/robots），所以網站上線之后要不斷跟蹤分析日志，篩選出這些 badbot 的ip，然后屏蔽之。
視頻網站怎么防止爬蟲
分辨爬蟲的善惡。
網絡爬蟲分為兩種，一種是善意爬蟲，例如百度、Google等搜索引擎的爬蟲，另一種是惡意爬蟲，它可能會利用網站漏洞，非法竊取網站數據，或者爬取網站內容，占用服務器資源。惡意爬蟲的行為是我們所深惡痛覺的，必須想盡辦法予以過濾和阻斷。網站或者某一些網頁不想被諸如百度、Googl等善意爬蟲爬取時，我們也希望能采取一些措施。
如何防止網站被爬蟲？
針對善意爬蟲，幾乎所有的搜索引擎爬蟲，都會遵守robots協議，只要我們在網站的根目錄下存放一個ASCII編碼的文本文件，告訴搜索引擎哪些頁面不能爬取，搜索引擎的蜘蛛便會遵照協議，不爬取指定頁面的內容。
但是robots并不是一個規范，而是一種君子協議，它只對善意爬蟲有效，并不能防止惡意爬蟲。
針對惡意爬蟲，我們可以采取以下措施來識別和阻斷它。
夏季防蚊蠅爬蟲的有效方法
1、在家庭中可用濃肥皂涂抹可迅速止癢，或用香皂蘸水在紅腫處涂抹。 原因是肥皂高級脂肪酸的鈉鹽。如：C17H35COONa。這種脂肪酸的鈉鹽水解后顯堿性(含OH-)，蟻酸水溶液中含H+ ，因為肥皂水中的OH-與蟻酸的H+中和成H2O因此可迅速消除痛、癢。 2、涂點氨水止癢，原理同上。 3、如果叮咬處很癢，可先用手指彈一彈，再涂上花露水、風油精等。 4、用鹽水涂抹或沖泡癢處，這樣能使腫塊軟化，還可以有效止癢。 5、可用蘆薈葉中的汁液止癢。被蚊子叮咬后紅腫奇癢時，可切一小片蘆薈葉，洗干凈后掰開，在紅腫處涂擦幾下，就能消腫止癢。 6、萬金油和鹽的涂抹，可讓局部*并舒緩神經，減輕癢的感覺。10、把一顆蒜瓣掰開，用斷面涂抹蚊子咬的包，一會就好，而且止癢。7、維生素B1泡水擦身也會讓蚊子不敢近身。 這種水溶性維生素是沒有副作用的。多余的分量完全排出體外，不會貯留在人體中。 8、用調味品中的八角、茴 各兩枚，泡于溫水臉盆中，用其水洗澡，蚊子不敢近身。 9、在室內點燃干桔皮，可代替蚊 ，既能驅蚊，又可消除屋內異味。22、巧用清涼油、風油精.在臥室內放幾盒揭開蓋的清涼油或風油精。點蚊香，氣味嗆人;掛蚊帳，空氣沉悶。如果能在點蚊前，在整盤蚊上滴灑適量的風油精，則可使蚊香不嗆人，而且滿室清，驅蚊效果好。如果能在進蚊帳之前，在蚊帳上灑幾滴風油精，可以改善蚊帳內的空氣狀況，而且增加驅蚊效果。 10、擺入驅蚊鮮花 黃昏前，在室內擺1，2盆盛開的茉莉花、米蘭或玫瑰，最好是夜來香。因蚊子不能忍受這些花的香氣而逃避。 11、室內安裝橘紅色燈泡，由于蚊子害怕橘紅色的光線，所以能產生很好的驅蚊效果。 12、將陰干的艾葉等搓成繩索，點燃后放在室內，其煙味可驅蚊。 13、將曬干后的殘茶葉燃燒，可以驅除蚊蟲。27、用空酒瓶裝35毫升糖水或啤酒放在桌面或室內蚊子較多處，蚊子聞到甜酒味就會注瓶子里鉆，被糖水或啤酒粘住致死。 14、關上門窗，在窗前放置一個盆子，盆中加點混合洗衣粉的水，第二天，水盆中就會有一些死去的蚊子。每天持續使用這種方法，幾乎可以不用再噴殺蟲液去殺蚊子了。而且蚊子也會越來越少。
百度文庫是如何做到防止爬蟲抓取資源的？
百度文庫中的PDF分兩種。
一種實際是圖片。這種PDF我還沒想到如何爬取。
另一種是文字--能用鼠標選中文字的那種。這種PDF我目前雖然能爬取，但一篇代碼僅能爬特定的某篇文檔，如果換一篇文檔，就要改動代碼以正確地定位元素。
