Python+MySQL爬取船讯网AIS静态数据

2023-11-08 21:10

本文主要是介绍Python+MySQL爬取船讯网AIS静态数据,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

 注意:学习前请自行掌握Python和MySQL基础知识。

  • 以下代码为原创,完整且可执行。

1、了解船讯网的信息

  • 打开船讯网界面 https://www.shipxy.com
  • 随机搜索一只船舶—设置—网络—Getship—预览。根据自己的需要,选择一会需要保存的数据项。

  • 切换至“标头”,圈起来的都是要用的。

2、准备工具

  • Pycharm (爬取数据用)+MySQL workbench(存储数据用)
  • 需要爬取的船舶mmsi数据(可以是csv,也可以是MySQL数据表)
  • 需要爬取的船舶mmsi表
  •  创建需要存储数据的表

  •  需要的Python库
    import requests
    import pymysql
    import threading
    import concurrent.futures

    3、编写代码

import requests
import pymysql
import threading
import concurrent.futures
import time #导入time模块class CompanyShipInDatabase:def __init__(self):self.conn = Noneself.cursor = Noneself.session = requests.Session()def create_database_connection(self):# 创建数据库连接self.conn = pymysql.connect(host="localhost", port=3306, user="root", password="your_password", database="your_database", charset="utf8")self.cursor = self.conn.cursor()def close_database_connection(self):# 关闭数据库连接if self.cursor:self.cursor.close()if self.conn:self.conn.close()def in_database(self, data_list):# 准备要插入或更新的数据update_data = []insert_data = []for item in data_list:mmsi = item['mmsi']select_sql = "SELECT mmsi FROM static_data WHERE mmsi = %s"self.cursor.execute(select_sql, (mmsi,))existing_record = self.cursor.fetchone()if existing_record:# 如果记录已存在,执行更新操作update_data.append((item['imo'], item['name'], item['callsign'], item['length'], item['width'], item['trail'], item['draught'], mmsi))else:# 如果记录不存在,执行插入操作insert_data.append((item['mmsi'], item['imo'], item['name'], item['callsign'], item['length'], item['width'], item['trail'], item['draught']))if update_data:# 批量执行更新操作update_sql = '''UPDATE static_dataSET imo = %s, name = %s, callsign = %s, length = %s, width = %s, trail = %s, draught = %sWHERE mmsi = %s'''self.cursor.executemany(update_sql, update_data)if insert_data:# 批量执行插入操作insert_sql = '''INSERT INTO static_data(mmsi, imo, name, callsign, length, width, trail, draught)VALUES (%s, %s, %s, %s, %s, %s, %s, %s)'''self.cursor.executemany(insert_sql, insert_data)# 提交数据库事务self.conn.commit()def make_http_request(self, mmsi, headers):# 发送HTTP请求获取数据url = f'https://www.shipxy.com/ship/GetShip?mmsi={mmsi}'try:response = self.session.get(url, headers=headers)if response.status_code == 200:result = response.json()return resultelse:return Noneexcept Exception as e:print(f"HTTP请求过程中发生错误: {str(e)}")return Nonedef fetch_ship_data(self, mmsi_group, headers):# 获取船舶数据data = []for item in mmsi_group:mmsi = item[0]result = self.make_http_request(mmsi, headers)if result and 'data' in result and len(result['data']) > 0:data.append(result['data'][0])print(f"已成功获取 mmsi: {mmsi}")else:print(f"mmsi: {mmsi} 未找到数据")return data#主程序def company_ship_in_database(self):# 主程序入口self.create_database_connection()mmsi_group = self.get_mmsi()data = []Cookie = 'your_Cookie'  # 请替换成你的Cookieheaders = {'User-Agent': 'your_User-Agent',  # 请替换成你的User-Agent'Cookie': Cookie,}#记录程序开始的时间start_time = time.time()# 使用线程池并发获取数据num_threads = 8  # 可根据需要调整线程数chunk_size = len(mmsi_group) // num_threadswith concurrent.futures.ThreadPoolExecutor(max_workers=num_threads) as executor:futures = []for i in range(num_threads):start = i * chunk_sizeend = (i + 1) * chunk_size if i < num_threads - 1 else len(mmsi_group)future = executor.submit(self.fetch_ship_data, mmsi_group[start:end], headers)futures.append(future)for future in concurrent.futures.as_completed(futures):data.extend(future.result())#记录数据爬取结束的时间data_fetch_end_time = time.time()print(f"已完成查询,共获取 {len(data)} 条数据")print(data)# 批量插入或更新数据self.in_database(data)#记录数据写入数据库结束的时间data_write_end_time = time.time()self.close_database_connection()#计算程序运行时间并打印elapsed_time = data_fetch_end_time - start_timeprint(f"数据获取时间:0.0569 秒")elapsed_time = data_write_end_time - data_fetch_end_timeprint(f"数据写入数据库时间:0.0569 秒")return datadef get_mmsi(self):# 获取要查询的MMSI列表mmsi_sql = "select distinct mmsi from your_mmsi order by mmsi"self.cursor.execute(mmsi_sql)mmsi_group = self.cursor.fetchall()return mmsi_groupif __name__ == "__main__":company_ship = CompanyShipInDatabase()data = company_ship.company_ship_in_database()
  • 以上代码为完整代码,替换成对应的参数即可运行。
  • 代码设计时优先考虑'运行速率',采用多线程池和减少循环的手段。因为爬取数据涉及的数据量庞大,再加上本人的电脑垃圾,所以以最低的时间爬取同等的信息非常重要。
  • 代码的实际运行速度。

                ## 4828条船舶数据从爬取到写入数据库仅用了48s。

                ## 43405条船舶数据从爬取到写入数据库仅用348s。

  •  结果(我只取了9个数据,大家根据自己的需求筛选就行)

这篇关于Python+MySQL爬取船讯网AIS静态数据的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!


原文地址:https://blog.csdn.net/weixin_44958081/article/details/134256861
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.chinasem.cn/article/372527

相关文章

在MySQL中实现冷热数据分离的方法及使用场景底层原理解析

《在MySQL中实现冷热数据分离的方法及使用场景底层原理解析》MySQL冷热数据分离通过分表/分区策略、数据归档和索引优化,将频繁访问的热数据与冷数据分开存储,提升查询效率并降低存储成本,适用于高并发... 目录实现冷热数据分离1. 分表策略2. 使用分区表3. 数据归档与迁移在mysql中实现冷热数据分

SpringBoot集成MyBatis实现SQL拦截器的实战指南

《SpringBoot集成MyBatis实现SQL拦截器的实战指南》这篇文章主要为大家详细介绍了SpringBoot集成MyBatis实现SQL拦截器的相关知识,文中的示例代码讲解详细,有需要的小伙伴... 目录一、为什么需要SQL拦截器?二、MyBATis拦截器基础2.1 核心接口:Interceptor

Python错误AttributeError: 'NoneType' object has no attribute问题的彻底解决方法

《Python错误AttributeError:NoneTypeobjecthasnoattribute问题的彻底解决方法》在Python项目开发和调试过程中,经常会碰到这样一个异常信息... 目录问题背景与概述错误解读:AttributeError: 'NoneType' object has no at

Python使用openpyxl读取Excel的操作详解

《Python使用openpyxl读取Excel的操作详解》本文介绍了使用Python的openpyxl库进行Excel文件的创建、读写、数据操作、工作簿与工作表管理,包括创建工作簿、加载工作簿、操作... 目录1 概述1.1 图示1.2 安装第三方库2 工作簿 workbook2.1 创建:Workboo

基于Python实现简易视频剪辑工具

《基于Python实现简易视频剪辑工具》这篇文章主要为大家详细介绍了如何用Python打造一个功能完备的简易视频剪辑工具,包括视频文件导入与格式转换,基础剪辑操作,音频处理等功能,感兴趣的小伙伴可以了... 目录一、技术选型与环境搭建二、核心功能模块实现1. 视频基础操作2. 音频处理3. 特效与转场三、高

Python实现中文文本处理与分析程序的示例详解

《Python实现中文文本处理与分析程序的示例详解》在当今信息爆炸的时代,文本数据的处理与分析成为了数据科学领域的重要课题,本文将使用Python开发一款基于Python的中文文本处理与分析程序,希望... 目录一、程序概述二、主要功能解析2.1 文件操作2.2 基础分析2.3 高级分析2.4 可视化2.5

一文解密Python进行监控进程的黑科技

《一文解密Python进行监控进程的黑科技》在计算机系统管理和应用性能优化中,监控进程的CPU、内存和IO使用率是非常重要的任务,下面我们就来讲讲如何Python写一个简单使用的监控进程的工具吧... 目录准备工作监控CPU使用率监控内存使用率监控IO使用率小工具代码整合在计算机系统管理和应用性能优化中,监

MySQL 8 中的一个强大功能 JSON_TABLE示例详解

《MySQL8中的一个强大功能JSON_TABLE示例详解》JSON_TABLE是MySQL8中引入的一个强大功能,它允许用户将JSON数据转换为关系表格式,从而可以更方便地在SQL查询中处理J... 目录基本语法示例示例查询解释应用场景不适用场景1. ‌jsON 数据结构过于复杂或动态变化‌2. ‌性能要

Python实现终端清屏的几种方式详解

《Python实现终端清屏的几种方式详解》在使用Python进行终端交互式编程时,我们经常需要清空当前终端屏幕的内容,本文为大家整理了几种常见的实现方法,有需要的小伙伴可以参考下... 目录方法一:使用 `os` 模块调用系统命令方法二:使用 `subprocess` 模块执行命令方法三:打印多个换行符模拟

Python实现MQTT通信的示例代码

《Python实现MQTT通信的示例代码》本文主要介绍了Python实现MQTT通信的示例代码,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一... 目录1. 安装paho-mqtt库‌2. 搭建MQTT代理服务器(Broker)‌‌3. pytho