[总结] 浅谈渐进式优化LinuxPcap抓包历程(部分附代码)

2024-02-23 13:12

本文主要是介绍[总结] 浅谈渐进式优化LinuxPcap抓包历程(部分附代码),希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

文章目录

  • 前言
  • 历程
    • 使用阻塞式pcap_loop
    • 使用非阻塞式pcap_dispatch
    • 优化1多网卡名创建一个pcap实例
    • 优化2使用select异步监听fd
  • 总结

前言

最近一直在做pcap抓包,需求很简单就是指定一个或多个bpf语句抓计算机上所有网卡。
不考虑性能开销和资源开销的话,实现方式很多。

历程

使用阻塞式pcap_loop

不考虑性能开销和资源开销的话的实现方式很多。

浅谈最简单的一种:

  • 使用单线程阻塞式的pcap_loop,一个线程抓一个网卡和一种bpf语句。
    • 优点:实现简单。
    • 缺点:资源开销大,线程数 = bpf数量 * 网卡数。

大致实现:


那么如何减少线程数量呢?
那就不得不提pcap_dispatch方法

使用非阻塞式pcap_dispatch

pcap_dispatch函数是非阻塞的,即可以使用循环的方式轮询查找是否捕获到数据包。

思路:

  • 根据bpf和网卡创建pcap实例
  • 所有pcap都放在一个线程使用轮询方式查找
  • 抓包成功会自动调用回调
    • 优化:线程数量大幅度减少,
    • 缺点:1.线程数 = bpf数量 2.需要创建大量网卡数量的pcap实例

优化1多网卡名创建一个pcap实例

利用pcap创建时device_name=“any”,使之多个网卡对应一个pcap实例
思路:

  • 根据bpf和网卡创建pcap实例
  • pcap都放在一个线程使用轮询方式查找
  • 抓包成功会自动调用回调
    • 优化:多个网卡对应一个pcap实例,减少了pcap实例数量
    • 缺点:
    1. 线程数 = bpf数量,pcap实例数=bpf数量,
    2. pcap_callback回调函数需要特殊解析数据包,使用any设备名,数据包结构会发生变化,需要特殊调整和特别解析。
    3. 多实例放在一个循环中可能会造成超时,影响后一个pcap实例的延迟处理

优化2使用select异步监听fd

利用pcap_get_select_fd获取socket fd,再使用select函数监听处理
思路:

  • 根据不同的bpf和多个网卡创建pcap实例
  • bpf数量的pcap都放在一个线程使用轮询方式查找
  • 抓包成功会自动调用回调
    • 优化:
      1. 线程数只有1,pcap实例数=bpf数量
      2. select去除了非响应的pcap实例,减少了pcap实例的超时造成的延迟影响
      3. 如果使用多个网卡创建多个pcap的方法影响也几乎没有影响 并且callback不需要特殊解析数据包
    • 缺点:几乎没有
#include <mutex>
#include <algorithm>
#include <map>
#include <unordered_map>
#include <list>
#include <queue>
#include <string>
#include <sstream>
#include <chrono>#include <sys/time.h>
#include <sys/ioctl.h>
#include <net/if.h>
#include <unistd.h>
#include <netinet/in.h>
#include <netinet/ip6.h>
#include <netinet/ip.h>
#include <string.h>
#include <dirent.h>#include <netinet/tcp.h>
#include <netinet/ip_icmp.h>
#include <netinet/ether.h>#include <pcap.h>void PcapCallback(u_char* argument, const struct pcap_pkthdr* packet_header, const u_char* packet_content) {// to do something
}pcap_t * create_pcap(const char * dev, const std::string &str_filter_exp,  std::mutex *mutex){char errbuf[PCAP_ERRBUF_SIZE]; // 存储错误信息的缓冲区int snaplen = 65535; // 捕获数据包的长度int promisc = 0; // 混杂模式int to_ms = 1000; // 等待捕获的超时时间// 打开捕获设备pcap_t* handle = pcap_create(dev, errbuf);if (handle == nullptr) {printf("Could not create pcap handle: %s\n", errbuf);return nullptr;}struct bpf_program filter;pcap_set_snaplen(handle, snaplen);pcap_set_promisc(handle, promisc);pcap_set_timeout(handle, to_ms);pcap_compile(handle, &filter, str_filter_exp.c_str(), 1, 0);pcap_setfilter(handle, &filter);pcap_set_buffer_size(handle, 20 * 1024 * 1024);// pcap_set_immediate_mode(handle, 1);      // 开启immediate模式if (pcap_activate(handle) != 0) {printf("Could not activate pcap handle: %s\n", pcap_geterr(handle));pcap_close(handle);return nullptr;}return handle;
}int main() {char errbuf[PCAP_ERRBUF_SIZE];pcap_if_t* alldevs;pcap_if_t* device;// 获取系统上的所有网络设备if (pcap_findalldevs(&alldevs, errbuf) == -1) {printf("Error finding devices: %s", errbuf);return 1;}std::vector<int> fds;std::vector<pcap *> pds;for (device = alldevs; device != nullptr; device = device->next) {for(pcap_addr_t *a=device->addresses; a!=NULL; a=a->next) {if(a->addr->sa_family == AF_INET){char* sz_ip_addr = inet_ntoa(((struct sockaddr_in*)a->addr)->sin_addr);std::string str_bpf_str = "tcp";pcap_t* pcap = create_pcap(device->name, str_filter_exp, nullptr);int fd = pcap_get_selectable_fd(pcap);fds.push_back(fd);pds.push_back(pcap);}}}// 释放设备列表pcap_freealldevs(alldevs);while (true){fd_set read_fds;FD_ZERO(&read_fds);int max_fd = 0;for (auto &one : fds){if (one > max_fd){max_fd = one;}FD_SET(one, &read_fds);}struct timeval timeout;timeout.tv_sec = 5;timeout.tv_usec = 0;int result = select(max_fd + 1, &read_fds, NULL, NULL, &timeout);if (result == -1){printf("error: select");break;}else if (result > 0){std::vector<std::size_t> pds_indexs;for (std::size_t i = 0; i < fds.size(); i++){if (FD_ISSET(fds[i], &read_fds)){pds_indexs.emplace_back(i);}}for (std::size_t id = 0; id < pds_indexs.size(); id++){std::size_t i = pds_indexs[id];//set_ns(containers[i].pid);int status =pcap_dispatch(pds[i], -1, PcapCallback, nullptr);if (status < 0)break;}}else{printf("Timeout!\n");}}for (auto &one : pds){pcap_close(one);}return 0;
}

总结

优化过程很长,主要考虑是线程数量的优化,以及使用非阻塞函数pcap_dispatch过程中产生pcap实例延迟问题。

记下此文希望大家都能掌握这些技巧。

这篇关于[总结] 浅谈渐进式优化LinuxPcap抓包历程(部分附代码)的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/738754

相关文章

Python版本与package版本兼容性检查方法总结

《Python版本与package版本兼容性检查方法总结》:本文主要介绍Python版本与package版本兼容性检查方法的相关资料,文中提供四种检查方法,分别是pip查询、conda管理、PyP... 目录引言为什么会出现兼容性问题方法一:用 pip 官方命令查询可用版本方法二:conda 管理包环境方法

pycharm跑python项目易出错的问题总结

《pycharm跑python项目易出错的问题总结》:本文主要介绍pycharm跑python项目易出错问题的相关资料,当你在PyCharm中运行Python程序时遇到报错,可以按照以下步骤进行排... 1. 一定不要在pycharm终端里面创建环境安装别人的项目子模块等,有可能出现的问题就是你不报错都安装

Java集合之Iterator迭代器实现代码解析

《Java集合之Iterator迭代器实现代码解析》迭代器Iterator是Java集合框架中的一个核心接口,位于java.util包下,它定义了一种标准的元素访问机制,为各种集合类型提供了一种统一的... 目录一、什么是Iterator二、Iterator的核心方法三、基本使用示例四、Iterator的工

Java 线程池+分布式实现代码

《Java线程池+分布式实现代码》在Java开发中,池通过预先创建并管理一定数量的资源,避免频繁创建和销毁资源带来的性能开销,从而提高系统效率,:本文主要介绍Java线程池+分布式实现代码,需要... 目录1. 线程池1.1 自定义线程池实现1.1.1 线程池核心1.1.2 代码示例1.2 总结流程2. J

JS纯前端实现浏览器语音播报、朗读功能的完整代码

《JS纯前端实现浏览器语音播报、朗读功能的完整代码》在现代互联网的发展中,语音技术正逐渐成为改变用户体验的重要一环,下面:本文主要介绍JS纯前端实现浏览器语音播报、朗读功能的相关资料,文中通过代码... 目录一、朗读单条文本:① 语音自选参数,按钮控制语音:② 效果图:二、朗读多条文本:① 语音有默认值:②

Vue实现路由守卫的示例代码

《Vue实现路由守卫的示例代码》Vue路由守卫是控制页面导航的钩子函数,主要用于鉴权、数据预加载等场景,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着... 目录一、概念二、类型三、实战一、概念路由守卫(Navigation Guards)本质上就是 在路

uni-app小程序项目中实现前端图片压缩实现方式(附详细代码)

《uni-app小程序项目中实现前端图片压缩实现方式(附详细代码)》在uni-app开发中,文件上传和图片处理是很常见的需求,但也经常会遇到各种问题,下面:本文主要介绍uni-app小程序项目中实... 目录方式一:使用<canvas>实现图片压缩(推荐,兼容性好)示例代码(小程序平台):方式二:使用uni

JAVA实现Token自动续期机制的示例代码

《JAVA实现Token自动续期机制的示例代码》本文主要介绍了JAVA实现Token自动续期机制的示例代码,通过动态调整会话生命周期平衡安全性与用户体验,解决固定有效期Token带来的风险与不便,感兴... 目录1. 固定有效期Token的内在局限性2. 自动续期机制:兼顾安全与体验的解决方案3. 总结PS

C#中通过Response.Headers设置自定义参数的代码示例

《C#中通过Response.Headers设置自定义参数的代码示例》:本文主要介绍C#中通过Response.Headers设置自定义响应头的方法,涵盖基础添加、安全校验、生产实践及调试技巧,强... 目录一、基础设置方法1. 直接添加自定义头2. 批量设置模式二、高级配置技巧1. 安全校验机制2. 类型

Python屏幕抓取和录制的详细代码示例

《Python屏幕抓取和录制的详细代码示例》随着现代计算机性能的提高和网络速度的加快,越来越多的用户需要对他们的屏幕进行录制,:本文主要介绍Python屏幕抓取和录制的相关资料,需要的朋友可以参考... 目录一、常用 python 屏幕抓取库二、pyautogui 截屏示例三、mss 高性能截图四、Pill