本文主要是介绍使用 scrapyd 部署 scrapy，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！
1.scrapyd 是什么？
Scrapyd 是一个用于部署和运行 Scrapy 爬虫项目的服务器应用程序。它使得你可以通过 HTTP 命令来部署、管理和执行多个 Scrapy 爬虫，非常适合持续集成和生产环境中的爬虫部署。
2.安装scrapyd 并使用
2.1 安装 scrapyd
F:\scrapydTest>pip install scrapyd
2.2 启动scrapyd
F:\scrapydTest>scrapyd
2.3修改配置文件，并添加 bat 文件
添加bat 文件：D:\Python\Python310\ 是python安装路径
@echo off
"D:\Python\Python310\python.exe"
"D:\Python\Python310\Scripts\scrapyd-deploy" %*
执行 scrapyd 效果
2.4 安装客户端并运行客服端
F:\scrapydTest>pip install scrapyd-client
运行客服端
F:\scrapydTest>scrapyd-deploy
Error: no Scrapy project found in this location
2.5 部署项目到 scrapyd ，进入 scrapy 项目，修改配置.cfg
命令：scrapyd-deploy 部署名(配置文件中设置的名称) -p 项目名称
可用浏览器直接访问：
http://localhost:6800/listjobs.json?project=itcastScrapy
运行 scrapyd 命令:scrapyd
把项目部署到scrapyd： scrapyd-deploy itcast -p itcastScrapy
scrapydWeb
安装
pip install scrapydweb
pip install logparser
pip install pywin32 （针对windows）
参考：https://blog.csdn.net/chang995196962/article/details/116196854
参考文档：https://blog.csdn.net/weixin_44799217/article/details/122211609
以上是scrapyd 部署scrapy 项目的简单应用，目前正在学习scrapyd 相关知识，大家有相关内容的学习资料可以评论共享哦
这篇关于使用 scrapyd 部署 scrapy的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！
