時間:2017-04-27 14:29:44 作者:不思議游戲 瀏覽量:118
此項包含不使用代理,使用IE瀏覽器代理,使用指定代理三種模式。
其中指定代理模式可以設置固定的一個代理或者二級代理隨機切換IP采集。
接下來,我們來了解下二級隨機代理的設置
開始菜單--http二級代理
①二級代理設置界面
②頁面緩存:使用二級代理采集時,同一個網(wǎng)址,多次的請求中,原頁面可能并不存在任何的更新,所以直接調用緩存頁面節(jié)約代理資源,提高了訪問速度。通過設置網(wǎng)址必須包含和內容必須包含,則符合條件的內容會緩存在本地
③選項設置:二級代理驗證設置或自動撥號設置
④運行日志
⑤添加
⑥編輯
⑦刪除選中
⑧刪除失效
⑨批量驗證:驗證IP是否有效
⑩全部設置為未驗證
?批量導入
(1)先準備好一個有IP地址的TXT文件導入
格式為:ip:端口,一行一個
點擊?批量導入--瀏覽--選中 代理.txt 文件。 這樣,代理IP 就導入進來了,如圖:
(2)設置端口/設置選項設置
設置端口,默認是8888
根據(jù)采集的網(wǎng)站地址來設置驗證
比如我們采集 http://www.locoy.com/ 那么我們就可以根據(jù)這個地址來設置,
查看此網(wǎng)頁源代碼,找個在正常訪問時含有的某個字符串做標識(注意:當不正常訪問時,比如封IP時,就不含有此字符),在這里可以根據(jù) <title>火車采集器軟件 來判斷,如下圖:
(3)批量驗證/刪除失效/任務開啟二級代理
接下來,進行批量驗證,然后刪除失效代理后,留下來的就是有效代理了。
如何開啟任務二級代理?
采集規(guī)則--其他設置--代理設置--使用指定代理
點擊使用采集器二級代理,服務器為127.0.0.1 ,
端口與之前我們設置的端口保持一致即可。
最后,我們來了解下自動撥號的設置
自動撥號功能,對于用寬帶撥號上網(wǎng)的用戶,可以通過重新?lián)芴杹磉_到更換ip的效果。
自動撥號的2種方式:
1,定時撥號,通過設置間隔時間,每隔多久重新?lián)芴枴?/p>
2,根據(jù)http響應字符來重新?lián)芴枺热绠斍癷p被服務器禁止,
服務返回 包含“禁止訪問”的html代碼,則可以將特征字符設置為
“禁止訪問”,程序檢測到該字符串則重新?lián)芴枴?
開始菜單--http二級代理--選項設置
設置好端口,和自動撥號設置即可
然后開啟任務的自動撥號
采集規(guī)則--其他設置--代理設置--使用指定代理
點擊使用采集器二級代理,服務器為127.0.0.1 ,端口與之前我們設置的端口保持一致即可。