1、爬虫可以做的是以下四种：收集数据：Python爬虫程序可用于收集数据，这是最直接和最常用的方法。由于爬虫程序是一个程序，程序运行得非常快，不会因为重复的事情而感到疲倦，因此使用爬虫程序获取大量数据变得非常简单、快速。
识别出合法爬虫 对http头agent进行验证，是否标记为、百度的spider，严格一点的话应该判别来源IP是否为、baidu的爬虫IP，这些IP在网上都可以找到。校验出来IP不在白名单就可以阻止访问内容。
常用的办法有：一查询和你共用同一IP的其他网站的状态，类似的工具有很多，同IP网站查询工具等等。输入您的IP地址，查询，如果得到的结果是所有和你共用同一IP的网站状态均正常的话，则排出IP被封。
对请求IP进行限制 有时我们的爬虫在爬着，突然冒出页面无法打开、403禁止访问错误，很有可能是IP地址被网站封禁，不再接受你的任何请求。
大众点评哈，你就手动点击几次他都会封你ip的。
通过测试路由、ping命令、代理访问、第三方工具四种方式检测IP是否被封堵。电脑：ThinkPad 翼14 Slim，系统 ：window10。
1、https：//pan.baidu.com/s/14ToCHWp2kSzMFeq6P6u5tA 提取码：1234 《Python 3爬虫、数据清洗与可视化实战》是一本通过实战教初学者学习采集数据、清洗和组织数据进行分析及可视化的Python 读物。
2、https：//pan.baidu.com/s/16l3X2b6j_L_OztZta0WbFQ 提取码：1234 本书从Python 4的安装开始，详细讲解了Python从简单程序延伸到Python网络爬虫的全过程。
3、https：//pan.baidu.com/s/1Gpvc-9yQ6WjZfE_gTBqW6w 提取码：1234 《Python网络爬虫实战（第2版）》是2018年10月清华大学出版社出版的图书，作者是胡松涛。
4、https：//pan.baidu.com/s/1EHJPRrQO0AGTS1I1PAYZCw 提取码：1234 本书站在初学者的角度，从原理到实践，循序渐进地讲述了使用Python开发网络爬虫的核心技术。全书从逻辑上可分为基础篇、实战篇和爬虫框架篇三部分。
5、八爪鱼采集器是一款功能全面、操作简单、适用范围广泛的互联网数据采集器，可以帮助您快速采集所需的数据。如果您需要采集数据，请使用八爪鱼采集器按照上述步骤进行操作。
1、八爪鱼采集器是一款功能全面、操作简单、适用范围广泛的互联网数据采集器，可以帮助您快速采集所需的数据。如果您需要采集数据，请使用八爪鱼采集器按照上述步骤进行操作。
2、链接： https：//pan.baidu.com/s/1fBzvE-l4AC7AM7uAY75oOQ？pwd=1234 提取码： 1234 简介：小学教育教学知识与能力学习笔记电子版资料涵盖的内容都非常的详细。
3、https：//pan.baidu.com/s/1uiul2FIMNmKXc3-MK5LxeQ ？pwd=tsc7 提取码： tsc7简介：又名使用Google Analytics的高级网站分享，这本书详细的为做网站的人介绍了网站流量、seo的优化、变现的模式等等，非常值得一看。
4、《活着》百度网盘txt 最新全集下载 链接： https：//pan.baidu.com/s/1aXb5MHvgP5lPjqTiWfaBsA 提取码：sa4x 《活着》是由年代国际有限公司1994年出品的剧情片。
5、链接： https：//pan.baidu.com/s/1yZkZtkfXWFhwGj_tWszldQ ？pwd=p4k3 提取码： p4k3简介：是一本论文的电子书籍，里面的内容讲述分析了网络数据的模式，作者在这里深入的剖析了数据结构分析。
从表面上看，Python爬虫程序运行中出现503错误是服务器的问题，其实真正的原因在程序，由于Python脚本运行过程中读取的速度太快，明显是自动读取而不是人工查询读取，这时服务器为了节省资源就会给Python脚本反馈回503错误。
由于 HTTP/0 协议中没有定义任何 1xx 状态码，所以除非在某些试验条件下，服务器禁止向此类客户端发送 1xx 响应。2xx状态码表成功：这一类型的状态码，代表请求已成功被服务器接收、理解、并接受。
该错误在以上所述的最后一步生成，即当客户端收到 HTTP 状态编码 并识别其为 ‘504’ 时。“504错误”的解决方法：这个问题完全是由后端电脑之间 IP 通讯缓慢而产生， 可能包括您的 Web 服务器。