自己电脑没事,别人电脑403Forbidden?来,解决这个问题
使用Pyquery爬虫时,在自己的Windwos下运行没有问题,但是别人那里爬不到任何信息,而且爬两次就会报错403 Forbidden。
我很是迷惑,因为报错信息是urllib库的内容,而我没有使用urllib库,检查发现,Pyquery库在解析网页时会调用Requests库
这时,学长让我加个Header,感觉是被反爬虫机制干了,我提议先装一个Reuqests库试试,果然,是换了个编译器忘了装Requests库了,而我也加上了Header,问题得到了解决。
附:Agent代码
1 | headers = { |