新建的文件在git中会有缓存，如果某些文件已经被纳入了版本管理中，就算是在.gitignore中已经声明了忽略路径也是不起作用的，这时候我们就应该先把本地缓存删除，然后再进行git的push，这样就不会出现忽略的文件了。
使用screen，每个系统都分配到一个单独的会话中，我通过screen来管理系统上不同的作业。要打开新的窗口，只需要使用“Ctrl-A”“c”。创建的新的窗口会显示一个默认的命令提示符。例如，我可以运行top命令后再打开一个新的窗口来做其它的工作。Top继续留在那运行！可以亲身实验一下，启动screen并运行top。
首先，确保所有必要的模块已安装，如scrapy及其与分布式爬虫配合的scrapy-redis。接下来，我调整了代码结构，对爬虫文件的yield scrapy.Request部分，如果发现有dont_filter=True参数，我会将其移除，因为这可能影响爬取效率。在连接redis时，务必检查url的正确性，任何输入错误都会导致连接失败。
另外，看了一下工程结构，有一个django的工程webapp，它有两个功能，一个是通过异步任务队列celery任务来启动scrapy爬虫，另一个是用来渲几个网页展示抓取的结果的，pythonmanage.pyrunserver只是把这个服务器启动起来，它并不会把抓取的结果输出到命令行，这时候也并没有开始抓取。
首先，我们需要安装 lxml 库，并根据系统版本从指定链接安装 pywin32 和 twisted 库，之后即可安装 Scrapy 框架。安装完成后，使用 Scrapy 命令行工具创建项目并运行相关命令，如查看项目结构，创建爬虫等。
第一个工程的创建 生成工程框架：c：\test\mysitepythonC：\Python27\Lib\site-packages\django\bin\django-admin.pystartprojectmysite1 运行开发服务器：pythonmanage.pyrunserver 在浏览器中，访问，看到“WelcometoDjango”的提示。