什么是scrapyd
Scrapyd是部署和运行Scrapy.spider的应用程序。它使您能够使用JSON API部署（上传）您的项目并控制其spider。
特点：
- 可以避免爬虫源码被看到。
- 有版本控制。
- 可以远程启动、停止、删除
scrapyd官方文档：
安装scrapyd
- 安装scrapyd
- 主要有两种安装方式：
- pip install scrapyd （安装的版本可能不是最新版本）
- 从 中下载源码， 运行python setup.py install 命令进行安装。
2.安装 scrapyd-deploy
- 主要有两种安装方式：
- pip install scrapyd-client（安装的版本可能不是最新版本）
- 从 中下源码， 运行python setup.py install 命令进行安装。
scrapyd的简单使用
1.运行scrapyd
运行命令：scrapyd
然后打开浏览器，输入ip加端口：127.0.0.1:6800（或localhost：6800）
2.发布项目到scrapyd
来到待发布项目的文件夹下，发布前需要修改一下配置文件，打开scrapy.cfg文件；
- 首先去掉url前面的注释符号，url是scrapyd服务器的网址
- 然后project=tenCent为项目名称，可以随意起名
- 修改[deploy]为[deploy:100]，表示把爬虫发布到名为100的爬虫服务器上，一般在需要同时发布爬虫到多个目标服务器时使用
最后，打开一个新的终端，运行命令：
scrapyd-deploy-p --version
参数解释：
Target：deploy后面的名称。可以为空
Project：自行定义名称，跟爬虫的工程名字无关。
Version：自定义版本号，不写的话默认为当前时间戳。
刷新浏览器页面：
3.创建运行爬虫任务
使用命令：
curl http://localhost:6800/schedule.json -d project=myproject -d spider=spider_name
然后点击浏览器界面的Jobs
就可以得到该爬虫的相关运行信息。这里的schedule.json只是scrapyd里的一个API接口，scrapyd还提供其他API接口，具体如下。
scrapyd的控制API
所有的API都是通过http协议发送的请求，目前总共10个api
规则是：，有GET和POST两种请求
1) daemonstatus.json
检查服务状态
curl http://localhost:6800/daemonstatus.json
结果示例：
2) addversion.json
增加项目到服务器，如果项目已经存在，则增加一个新的版本
POST请求：
- project (string, required) –项目名
- version (string, required) –项目版本，不填写则是当前时间戳
- egg (file, required) –当前项目的egg文件
curl http://localhost:6800/addversion.json -F project=myproject -F version=r23 -F egg=@myproject.egg
结果示例：
3) schedule.json
启动一个爬虫项目
POST请求：
- project (string, required) –项目名
- spider (string, required) –爬虫名，spider类中指定的name
- setting (string, optional) –自定义爬虫settings
- jobid (string, optional) –jobid，之前启动过的spider，会有一个id
- _version (string, optional) –版本号，之前部署的时候的version，只能使用int数据类型，没指定，默认启动最新版本
- 其他额外的参数都会放入到spider的参数中
curl http://localhost:6800/schedule.json -d project=myproject -d spider=somespider
结果示例：
4) cancel.json
取消一个 spdier的运行
如果 spider是运行状态，则停止其运行
如果 spider是挂起状态，则删除spider
POST请求：
- project (string, required) –项目名
- job (string, required) -jobid
curl http://localhost:6800/cancel.json -d project=myproject -d job=6487ec79947edab326d6db28a2d86511e8247444
结果示例：
5) listprojects.json
获取当前已上传的项目的列表
GET请求：
curl http://localhost:6800/listprojects.json
结果示例：
6) listversions.json
获取指定项目的可用版本
GET请求：
- project (string, required) –项目名
curl http://localhost:6800/listversions.json?project=myproject
结果示例：
7) listspiders.json
获取指定版本的项目中的爬虫列表，如果没有指定版本，则是最新版本
GET请求：
- project (string, required) –项目名
- _version (string, optional) –版本号
$ curl http://localhost:6800/listspiders.json?project=myproject
结果示例：
8) listjobs.json
获取指定项目中所有挂起、运行和运行结束的job
GET请求
- project (string, option) - restrict results to project name
curl http://localhost:6800/listjobs.json?project=myproject | python -m json.tool
结果示例：
{"status":"ok","pending":[{"project":"myproject","spider":"spider1","id":"78391cc0fcaf11e1b0090800272a6d06"}],"running":[{"id":"422e608f9f28cef127b3d5ef93fe9399","project":"myproject","spider":"spider2","start_time":"2012-09-12 10:14:03.594664"}],"finished":[{"id":"2f16646cfcaf11e1b0090800272a6d06","project":"myproject","spider":"spider3","start_time":"2012-09-12 10:14:03.594664","end_time":"2012-09-12 10:24:03.594664"}]}
9) delversion.json
删除指定项目的指定版本
POST请求
- project (string, required) - the project name
- version (string, required) - the project version
curl http://localhost:6800/delversion.json -d project=myproject -d version=r99
结果示例：
10) delproject.json
删除指定项目，并且包括所有的版本
POST请求
- project (string, required) - the project name
curl http://localhost:6800/delproject.json -d project=myproject
结果示例：
BUG处理
1、 builtins.KeyError: 'project'
错误信息如下：
解决：
进行post提交时，需要将参数提交放入到 params或 data中，而不是json
如：requests.post(url, params=params)或requests.post(url, data=params)
2、 TypeError: __init__() missing 1 required positional argument: 'self'
修改 spider，增加：
def __init__(self, **kwargs): super(DingdianSpider, self).__init__(self, **kwargs)
3、 redis.exceptions.ConnectionError: Error 10061 connecting to localhost:6379
有类似这样的错误，是由于项目中有连接其他服务，譬如这里是redis数据库，需要先启动对应的服务