1、当更新网站页面或者一些页面没被搜索引擎收录的时候，就可以把（版权限制，暂不提供下载）整理后，提交到搜索引擎中，这样可以加快网站页面被搜索引擎蜘蛛抓取的速度。
2、要观察百度蜘蛛的爬行记录，最好的办法是通过查看网站日志。只要你的网页被访问过，不管是人还是百度蜘蛛、或者其他搜索引擎蜘蛛。网站日志中都可以把它记录下来。正规的网站空间一般提供网站日志服务。
3、通过查看网站日志，可以了解搜索引擎蜘蛛的访问情况。通过FTP访问网站的根目录。可以看到一个log的文件夹，这是存放日志的地方。可以压缩（日志文件一般很大）后通过下载到本地电脑上解压缩后打开日志文件。
4、判断蜘蛛有没有来过自己的网站可以查看IIS日志代码。或者联系空间商开通了蜘蛛访问记录也可以。如果你的空间商给你的空间支持查询蜘蛛访问记录的话。
5、尽量选择刚刚过期，并且还有收录网页的域名。网络日志检查通过网络日志来检查。通过服务商的网络日志我们可以检查蜘蛛的爬行路径，倘若我们发现网站已经长时间没有蜘蛛爬行的痕迹了，那么就证明网站被K站了。
。百度蜘蛛抓取的次数。cataccess.loggrepBaiduspiderWC左边的数字显示的是抓取的次数。
百度抓取网页的程序叫Baiduspider-Baiduspider。我们主要分析网站被百度抓取的情况。百度蜘蛛在网站日志中的活动：抓取频率和返回的HTTP状态码。如何查看日志：通过FTP，在网站根目录下找到一个日志文件。文件名通常包含log。
通过查看网站日志，可以了解搜索引擎蜘蛛的访问情况。通过FTP访问网站的根目录。可以看到一个log的文件夹，这是存放日志的地方。可以压缩（日志文件一般很大）后通过下载到本地电脑上解压缩后打开日志文件。
搜索引擎用来爬行和访问页面的程序被称为蜘蛛，也叫爬虫。搜索引擎命令它到互联网上浏览网页，从而得到互联网的大部分数据(因为还有一部分暗网，他是很难抓取到的)然后把这些数据存到搜索引擎自己的数据库中。
所以通过UserAgent判断请求的发起者是否是搜索引擎爬虫（蜘蛛）的方式是不靠谱的，更靠谱的方法是通过请求者的ip对应的host主机名是否是搜索引擎自己家的host的方式来判断。
在linux平台下，您可以使用hostip命令反解ip来判断是否来自Baiduspider的抓取。Baiduspider的hostname以*.baidu.com或*.baidu.jp的格式命名，非*.baidu.com或*.baidu.jp即为冒充。
下面是一些阻止主流搜索引擎爬虫(蜘蛛)抓取/索引/收录网页的思路。注：全网站屏蔽，尽可能屏蔽主流搜索引擎的所有爬虫(蜘蛛)。
去看网站日志，日志里面含有spider的一般都是搜索引擎爬虫发出的请求。
。观察百度蜘蛛的抓取记录，最好的方法是查看网站日志。只要你的网页被访问过，不管是人还是百度蜘蛛，或者其他搜索引擎蜘蛛。可以记录在网站里。正规网站空一般都会提供网站日志服务。网站可以通过ftp下载。
百度统计无法查询蜘蛛爬行轨迹，其作用主要是统计用户数据。spider数据需要您从站点日志中获取，站点日志文件名一般包含：log字样。可通过连接服务器查询。
查看百度蜘蛛爬行记录的方法：第一，前往空间服务器，下载网站日志。第二，打开网站日志文件，搜索：Baiduspider。百度（Baidu）爬虫名称：Baiduspider第三，鉴别百度蜘蛛的真伪。
要观察百度蜘蛛的爬行记录，最好的办法是通过查看网站日志。只要你的网页被访问过，不管是人还是百度蜘蛛、或者其他搜索引擎蜘蛛。网站日志中都可以把它记录下来。正规的网站空间一般提供网站日志服务。
百度蜘蛛爬行的次数cataccess.log|grepBaiduspider|wc最左面的数值显示的就是爬行次数。