《Linux單臺(tái)機(jī)器配置多IP的squid3 http代理》要點(diǎn)：
本文介紹了Linux單臺(tái)機(jī)器配置多IP的squid3 http代理，希望對(duì)您有用。如果有疑問，可以聯(lián)系我們。

網(wǎng)絡(luò)爬蟲最終要的資源就是IP地址,尤其是在各大網(wǎng)站紛紛把自家數(shù)據(jù)當(dāng)初看家寶貝的“大數(shù)據(jù)時(shí)代”.即使IP地址多了,爬蟲改成分布式,管理那么多服務(wù)器上的爬蟲也是夠頭疼的.一種方法就是配置代理服務(wù)器,爬蟲只在幾臺(tái)機(jī)器是跑就可以啦.

配置多IP地址

Linux(以Ubuntu為例)配置單機(jī)多IP地址還是很簡(jiǎn)單的,編輯/etc/netword/interfaces文件即可：

auto eno1:90iface eno1:0 inet static
 ? ? ? ?address 192.168.8.90
 ? ? ? ?netmask 255.255.255.0
 ? ? ? ?gateway 192.168.8.1auto eno1:91iface eno1:91 inet static
 ? ? ? ?address 192.168.8.91
 ? ? ? ?netmask 192.168.8.255
 ? ? ? ?gateway 192.168.8.1

以上配置中,eno1是網(wǎng)卡的名字,eno1:90是配置在該網(wǎng)卡的一個(gè)虛擬網(wǎng)卡的名字,并給該虛擬網(wǎng)卡配置了IP：192.168.8.90.按照這個(gè)規(guī)則,可以給eno1這個(gè)網(wǎng)卡綁定很多IP,如果這些IP都是公網(wǎng)IP,就可以把它當(dāng)配置成爬蟲的多代理服務(wù).

配置squid3多IP出口

機(jī)器有了多IP,如果不對(duì)squid做相應(yīng)的配置,出口IP還只能是一個(gè),其他IP都不能用得上.
編輯/etc/squid/squid.conf配置文件,做相應(yīng)配置

acl ip_90 myip 192.168.8.90tcp_outgoing_address 192.168.8.90 ip_90

acl ip_91 myip 192.168.8.91tcp_outgoing_address 192.168.8.91 ip_91

以上配置就是對(duì)每個(gè)進(jìn)來的IP的請(qǐng)求設(shè)置出口IP,從而達(dá)到一機(jī)多IP代理的實(shí)現(xiàn).

轉(zhuǎn)載請(qǐng)注明本頁網(wǎng)址：
http://www.fzlkiss.com/jiaocheng/4268.html