swoole+Mixphp+CodeIgniter开发失踪儿童信息平台

2023-12-11 18:10

本文主要是介绍swoole+Mixphp+CodeIgniter开发失踪儿童信息平台,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

这是我在sf上的第一篇文章。写基于swoole、Mixphp和CodeIgniter开发的失踪儿童信息平台。

在2017年的时候,关注到有一个“团圆系统”,它是公安部专门为了快速扩散失踪儿童消息的平台,但是网上并没有找到这个平台的地址。当然,偶然在淘宝平台上找到一个接口,这个接口可以取得失踪儿童的数据,后来这个接口提示不能访问了。那么如果我想去做这样的一个失踪儿童信息平台的话,就要从另外的地方获取数据了。

团圆系统的全称应该是公安部儿童失踪信息紧急发布平台,在新浪微博上有一个官方的微博账号,通过这个微博账号发布儿童失踪信息。因此在实现“失踪儿童信息平台”的第一步就是从微博上去获取数据,并且这个获取数据的程序最后能在后台程序自动运行,这样就不用人工干预了。

从微博页面抓取数据

我对php语言要熟悉一些,因此在打算自己动手实现这个想法的时候,就选择了php,另外之前也关注到swoole,swoole拓展了PHPer的能力范围,不再局限于Web开发。进而找了一个比较容易上手的基于swoole的框架MixPHP,因此,在从微博上抓取数据的程序是基于Mixphp写的,工程结构如下:
图片描述

在apps/daemon/commands目录下新建一个控制器IndexController.php,控制器部分代码如下:

<?php
/*** Created by PhpStorm.* User: luoam* Date: 2018/4/20* Time: 22:28*/namespace apps\daemon\commands;use mix\client\Http;
use mix\console\Controller;
use mix\swoole\Process;
use apps\daemon\commands\SaeTClientV2;
use apps\daemon\commands\SaeTOAuthV2;
use apps\daemon\commands\Sae;class IndexController extends Controller
{// 启动public function actionStart(){// 重复启动处理if ($pid = Process::getMasterPid(self::PID_FILE)) {return "mix-daemon '{$this->processName}' is running, PID : {$pid}." . PHP_EOL;}// 启动提示echo "mix-daemon '{$this->processName}' start successed." . PHP_EOL;// 蜕变为守护进程if ($this->d) {Process::daemon();}// 写入 PID 文件Process::writePid(self::PID_FILE);// 修改进程名称Process::setName("mix-daemon: {$this->processName}");// 开始工作$this->startWork();}public function startWork(){try {while (true) {//实时采集一次$sql = "select `itemid` from items where status=:status";$rows = \mix::app()->rdb->createCommand($sql)->bindParams(['status' => '失踪'])->queryAll();if (!empty($rows)) {foreach ($rows as $row) {//采集一次失踪的,$this->actionDetail($row['itemid']);sleep(5);//再增量采集一次$this->actionIncrementOnce();}}}} catch (\Exception $e) {\Mix::app()->error->exception($e);sleep(10); // 休息一会,避免 cpu 出现 100%$this->startWork();}}}

哦,需要提醒的是,Mixphp需要一些准备条件,在官方文档中写的非常详细。安装好Mixphp之后就可以直接运行上面的后台程序,命令如:

./mix-daemon index/start -d

-d 表示这个进程将在后台运行。
数据的抓取分为几个部分,

  1. 批量抓取,在程序第一次运行时会给定一些url进行批量初始化抓取
  2. 增量抓取,会根据抓取回来的页面内容分析新的url,再进行抓取新的url
  3. 补充抓取,意思是部分儿童的状态为失踪,隔一段时间之后找回来了,那么状态也会发生变化,因此要对这些url进行补充抓取。

前台展示页面

前台展示,相当于做一个网站,使用的是CodeIgniter框架,这个框架用来做网站,很方便,因此我也一直在用。
整个网站只显示那些仍然处于失踪状态的儿童的信息。页面的效果大致是这样的:
图片描述

另外一个就是发微博

我在微博开发平台注册了一个应用,可以调用微博的api,因此在数据抓取的程序里,在数据存到数据库中的同时会发一条微博。调用的是share接口。使用微博的api的过程是这样的,先使用oauth获取到access_token,另外从微博开发平台找到key和secret,部分代码如下:

$c = new SaeTClientV2(WB_AKEY, WB_SKEY, $access_token);
$sus = \mix::app()->rdb->insert('items', $dataArray)->execute();
$insertId = \Mix::app()->rdb->getLastInsertId();
$affectedRowss = \Mix::app()->rdb->getRowCount();
if ($affectedRowss > 0) {$texts = "" . $dataArray['name'] . "," . $dataArray['agesex'] . "," . mb_substr($dataArray['detail'], 0, 110, 'utf-8') . '...' . "如有线索,请迅速与警方联系:" . $dataArray['policetel'] . "http://www.anman.org/index/baobei/" . $containerid;if ($weibopic) {$weibopic = $this->get_img($weibopic, \mix::app()->getRuntimePath());}$weiboRep = $c->share($texts, $weibopic);if (isset($weiboRep['id'])){$sinaweibos = array('itemid'=>$containerid,'weiboid'=>$weiboRep['id']);\mix::app()->rdb->insert('sinaweibos',$sinaweibos)->execute();}if ($weibopic){unlink($weibopic);}echo date("Y-m-d H:i:s") . ' ' . $containerid . '微博发送成功!' . PHP_EOL;echo date("Y-m-d H:i:s") . ' ' . $containerid . '插入数据操作成功' . PHP_EOL;\mix::app()->log->info(date("Y-m-d H:i:s") . ' ' . $containerid . '插入数据操作成功');
} else {\mix::app()->log->error(date("Y-m-d H:i:s") . ' ' . $containerid . '插入操作出错');
}

微博的效果如下:
图片描述

总结一下:

整个实现过程中使用到了swoole,codeigniter框架,微博开发平台,mysql。
后台程序从微博中抓取数据到本地,然后根据规则通过微博api在发送微博。
有一个专门的网站去展示这些信息。
后面我打算试着去对这些数据做一些分析。

这篇关于swoole+Mixphp+CodeIgniter开发失踪儿童信息平台的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/481615

相关文章

基于Python开发Windows屏幕控制工具

《基于Python开发Windows屏幕控制工具》在数字化办公时代,屏幕管理已成为提升工作效率和保护眼睛健康的重要环节,本文将分享一个基于Python和PySide6开发的Windows屏幕控制工具,... 目录概述功能亮点界面展示实现步骤详解1. 环境准备2. 亮度控制模块3. 息屏功能实现4. 息屏时间

Python实例题之pygame开发打飞机游戏实例代码

《Python实例题之pygame开发打飞机游戏实例代码》对于python的学习者,能够写出一个飞机大战的程序代码,是不是感觉到非常的开心,:本文主要介绍Python实例题之pygame开发打飞机... 目录题目pygame-aircraft-game使用 Pygame 开发的打飞机游戏脚本代码解释初始化部

使用Python开发一个现代化屏幕取色器

《使用Python开发一个现代化屏幕取色器》在UI设计、网页开发等场景中,颜色拾取是高频需求,:本文主要介绍如何使用Python开发一个现代化屏幕取色器,有需要的小伙伴可以参考一下... 目录一、项目概述二、核心功能解析2.1 实时颜色追踪2.2 智能颜色显示三、效果展示四、实现步骤详解4.1 环境配置4.

Python使用smtplib库开发一个邮件自动发送工具

《Python使用smtplib库开发一个邮件自动发送工具》在现代软件开发中,自动化邮件发送是一个非常实用的功能,无论是系统通知、营销邮件、还是日常工作报告,Python的smtplib库都能帮助我们... 目录代码实现与知识点解析1. 导入必要的库2. 配置邮件服务器参数3. 创建邮件发送类4. 实现邮件

基于Python开发一个有趣的工作时长计算器

《基于Python开发一个有趣的工作时长计算器》随着远程办公和弹性工作制的兴起,个人及团队对于工作时长的准确统计需求日益增长,本文将使用Python和PyQt5打造一个工作时长计算器,感兴趣的小伙伴可... 目录概述功能介绍界面展示php软件使用步骤说明代码详解1.窗口初始化与布局2.工作时长计算核心逻辑3

Linux查看系统盘和SSD盘的容量、型号及挂载信息的方法

《Linux查看系统盘和SSD盘的容量、型号及挂载信息的方法》在Linux系统中,管理磁盘设备和分区是日常运维工作的重要部分,而lsblk命令是一个强大的工具,它用于列出系统中的块设备(blockde... 目录1. 查看所有磁盘的物理信息方法 1:使用 lsblk(推荐)方法 2:使用 fdisk -l(

python web 开发之Flask中间件与请求处理钩子的最佳实践

《pythonweb开发之Flask中间件与请求处理钩子的最佳实践》Flask作为轻量级Web框架,提供了灵活的请求处理机制,中间件和请求钩子允许开发者在请求处理的不同阶段插入自定义逻辑,实现诸如... 目录Flask中间件与请求处理钩子完全指南1. 引言2. 请求处理生命周期概述3. 请求钩子详解3.1

如何基于Python开发一个微信自动化工具

《如何基于Python开发一个微信自动化工具》在当今数字化办公场景中,自动化工具已成为提升工作效率的利器,本文将深入剖析一个基于Python的微信自动化工具开发全过程,有需要的小伙伴可以了解下... 目录概述功能全景1. 核心功能模块2. 特色功能效果展示1. 主界面概览2. 定时任务配置3. 操作日志演示

SpringBoot如何对密码等敏感信息进行脱敏处理

《SpringBoot如何对密码等敏感信息进行脱敏处理》这篇文章主要为大家详细介绍了SpringBoot对密码等敏感信息进行脱敏处理的几个常用方法,文中的示例代码讲解详细,感兴趣的小伙伴可以了解下... 目录​1. 配置文件敏感信息脱敏​​2. 日志脱敏​​3. API响应脱敏​​4. 其他注意事项​​总结

JavaScript实战:智能密码生成器开发指南

本文通过JavaScript实战开发智能密码生成器,详解如何运用crypto.getRandomValues实现加密级随机密码生成,包含多字符组合、安全强度可视化、易混淆字符排除等企业级功能。学习密码强度检测算法与信息熵计算原理,获取可直接嵌入项目的完整代码,提升Web应用的安全开发能力 目录