GuguMelon's Blog

今天所做之事勿候明天,自己所做之事勿候他人。

0%

Pyquery 403 Frobidden

自己电脑没事,别人电脑403Forbidden?来,解决这个问题

使用Pyquery爬虫时,在自己的Windwos下运行没有问题,但是别人那里爬不到任何信息,而且爬两次就会报错403 Forbidden。

我很是迷惑,因为报错信息是urllib库的内容,而我没有使用urllib库,检查发现,Pyquery库在解析网页时会调用Requests库

这时,学长让我加个Header,感觉是被反爬虫机制干了,我提议先装一个Reuqests库试试,果然,是换了个编译器忘了装Requests库了,而我也加上了Header,问题得到了解决。

附:Agent代码

1
2
3
4
5
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.113 Safari/537.36'
}
webBase += str(year) + "-" + str(month) + "-" + str(day) + "/"
doc=pq(webBase, encoding="utf-8", headers=headers)