Scrapy：是一个为了抓取网站数据，提取数据结构性数据而编写的应用框架，可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中，用这个框架可以轻松爬下来各种信息数据。
阿里云反爬管理 云盾Anti-Bot Service是一款网络应用安全防护产品，专业检测高级爬虫，降低爬虫、自动化工具对网站的业务影响。
搭建个人博客：现在很多人都喜欢搭个人博客，我也不能免俗，本来想自己徒手搭建的，不过连主界面都没做出来就放弃了，现在采用wordpress。
IP必须需要，ADSL。如果有条件，其实可以跟机房多申请外网IP。在有外网IP的机器上，部署代理服务器。你的程序，使用轮训替换代理服务器来访问想要采集的网站。好处：程序逻辑变化小，只需要代理功能。
建议在服务器上安装杀毒软件，进行杀毒。可以通过任务管理器中查看是否异常进程。当前阿里云暂时没有提供杀毒软件，您可以登陆服务器根据自己的日常使用的杀毒软件进行安装即可。
1、第一种方式，电脑通过浏览器连接服务器。之后通过在浏览器地址栏输入url，可以访问服务器对应的网页资源。第二种方式，通过命令行工具比如curl向服务器发起资源请求。
2、如何把自己的网站部署到服务器上？首先你要有网站的发行包。其次，∞你的服务器上要有tomcat，weblogic等服务器容器软件。最后，只需将网站发布包放在tomcat等启动目录下即可。
3、打开网页，输入ftp：//IP：port。匿名访问，则直接进入根目录下；有权限限制的，输入用户名和系统密码。