本文主要是介绍第十九章 linux部署scrapyd，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！
文章目录
- 1. linux部署python环境
- 1. 部署python源文件环境
- 2. 下载python
- 3. 解压安装包
- 4. 安装
- 5. 配置环境变量
- 6. 检查是否安装成功
- 7. 准备python使用的包
- 8. 安装scrapyd
- 9. 配置scrapyd
- 10. 开放6800端口
- 2. 部署gerapy
- 1. 本机下载包
- 2. 初始化
- 3. 进入gerapy同步数据库
- 4. 创建用户
- 5. 运行gerapy
1. linux部署python环境
1. 部署python源文件环境
yum install gcc patch libffi-devel python-devel zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gdbm-devel db4-devel libpcap-devel xz-devel -y
2. 下载python
yum install -y wget# 具体版本可以根据自己需求下载
wget https://www.python.org/ftp/python/3.11.8/Python-3.11.8.tgz3. 解压安装包
tar -zxvf Python-3.11.8.tgz
4. 安装
# /usr....路径根据自己需求设定
./configure --prefix=/usr/local/python3make && make install
5. 配置环境变量
vi /etc/profileexport PYTHON_HOME=/usr/local/python3
export PATH=$PYTHON_HOME/bin:$PATH# 配置完成后刷新环境变量
source /etc/profile
6. 检查是否安装成功
7. 准备python使用的包
win+R命令窗口
pip freeze package.txt
将package.txt传输到linux中
可以使用工具 MobaXterm
链接：https://pan.baidu.com/s/1NqKDJBH0ZfPZmm1sn1q9oQ?pwd=2024
提取码：2024
为了下载快一些可以配置python的源
pip3 config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple/
pip3 install -r package.txt
8. 安装scrapyd
pip3 install scrapyd
9. 配置scrapyd
vi /usr/local/python3/lib/python3.11/site-packages/scrapyd/default_scrapyd.conf# 修改此行
bind_address = 0.0.0.0
10. 开放6800端口
iptables -I INPUT -p tcp --dport 6800 -j ACCEPT# 创建scrapyd项目文件夹
mkdir scrapyd_projrct
cd scrapyd_projrct
scrapyd
2. 部署gerapy
1. 本机下载包
pip install gerapy -i https://pypi.tuna.tsinghua.edu.cn/simple
2. 初始化
gerapy init
3. 进入gerapy同步数据库
cd .\gerapy\
gerapy migrate
4. 创建用户
gerapy createsuperuser
5. 运行gerapy
gerapy runserver
打包失败原因待探索…
如果打包项目失败的话
使用scrapy-deploy直接部署项目到scrapyd上
# 进入项目 scrapy.cfg文件的统计目录下scrapyd-deploy ts -p test_name
这篇关于第十九章 linux部署scrapyd的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！
