1、Robots协议是建议但非约束性，网络爬虫可以不遵守，但存在法律风险。 原则：类人行为可以不参考Robots协议。
vps可以用来构建虚拟主机空间、电子商务平台、asp应用平台。VPS虚拟服务器技术可以通过多种不同的方式灵活的分配服务器资源，每个虚拟化服务器的资源都可以有很大的不同，可以灵活的满足各种高端用户的需求。
VPS还可以被用作邮件服务器。如果您想要自己托管、管理您的邮件服务器，VPS将是一个很好的选择。通过VPS，您可以把您的服务器作为邮件服务器的代理，发送和接收邮件。另外，VPS还可以提供您针对垃圾邮件和病毒邮件的防范功能。
VPS可以用于搭建企业网站。企业的网站往往需要高并发、高可用、高安全等特点。使用VPS进行搭建，不仅能满足这些要求，而且能够保障企业数据的隐私性和安全性，为企业提供更加稳定可靠的运行环境。
虽然海外虚拟主机对网站搜索引擎优化影响不大，但主机访问速度对于网站搜索引擎优化是至关重要的，这不仅会影响搜索引擎索引，还会影响网站用户体验。
所以一般情况下不用太担心主机空间的稳定性对SEO造成毁灭性的打击。比如主机空间每月偶尔出现5分的重新启动、死机、无法响应等情况，对搜索引擎优化来说影响有限。
目前租用虚拟主机，默认情况下使用的都是共享IP。也就是说，只要虚拟主机账户在相同的服务器上，那么使用的IP都是一样的，多则上百个，少则也有几十个网站。这样的话，对每个网站的收录和排名都有不利影响。
虚拟主机不会影响网站的优化排名。估计你们公司的网站不大，用虚拟主机足够了。关键问题是要挑选一个稳定的虚拟主机空间，不要三天两头打不开。如果经常宕机，对搜索引擎抓取是非常不利的。
1、一般的话，尽量用高配置的服务器，如果性能仍然不能满足，再采用集群技术。毕竟集群技术是通过网络来调度实现的，性能终究不如单台服务器。在初期的话，用一台高配置的双路四核服务器就可以了。
2、分布式爬虫：将一个项目拷贝到多台电脑上，同时爬取数据。必须保证所有电脑上的代码是相同的配置。在其中一台电脑上启动redis和MySQL的数据库服务。同时将所有的爬虫项目运行起来。
3、一般的局域网服务器，只需要一般的主机就行，要求配件稳定可靠，不一定要很好的，塞扬D的CPU，256内存，稳定的显卡。普通的局域网服务器，只要一台稳定好的商用机就可以了。
支持泛域名解析，泛域名解析是指利用通配符“*”来做次级域名以实现所有的次级域名均指向同一IP地址。美国独立IP虚拟主机支持泛域名解析，这样可以避免有用户错误输入导致网站不能访问的问题。
所以，对站长来说，要想做好网站的SEO优化工作，要想提升网站的收录和排名，租用独立IP虚拟主机是很有必要的。现在独立IP价格也不算贵，对于一个真正想把网站做好的站长来说，绝不应该吝啬于这点费用。
利于SEO优化，美国独立IP虚拟主机立有利于网站搜索引擎。相比共享ip的虚拟主机，如果某一个站遭受降权，或作弊引起的同IP站点的“连带”关注和波及的影响，严重情况下可能直接屏蔽IP来惩罚作弊网站。
独立IP虚拟主机有利于网站搜索引擎。由于共享IP香港虚拟主机使用同一个IP，如果某一个站遭受降权，或作弊引起的同IP站点的“连带”关注和波及的影响，严重情况下可能直接屏蔽IP来惩罚作弊网站。
单线虚拟主机是指同一台服务器只能拥有电信网络或者是网通网络。由于电信和网通是两个独立公司，电信线路和网通线路交接处是网络访问瓶颈，所以影响到电信和网通网络的互访。
双线和单线各有优点，单线比双线稳定，但对使用非服务器或VPS，或低端的虚拟主机线路用户来讲速度较慢。
(引擎蜘蛛) spider是搜索引擎的一个自动程序。它的作用是访问互联网上的html网页，建立索引数据库，使用户能在搜索引擎中搜索到您网站的网页。
国外最流行的虚拟主机是美国虚拟主机，美国主机市场的发展也比较成熟，主机的维护和稳定也有很大的保证。访问速度快 海外虚拟主机没有国内电信和网通互联不能互通的问题，可以达到双线的目的，而且访问速度相对较快。