使用Java实现一个解析CURL脚本小工具

2025-02-08 16:50
文章标签 java 工具 实现 使用 解析 脚本 curl

本文主要是介绍使用Java实现一个解析CURL脚本小工具，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

《使用Java实现一个解析CURL脚本小工具》文章介绍了如何使用Java实现一个解析CURL脚本的工具,该工具可以将CURL脚本中的Header解析为KVMap结构,获取URL路径、请求类型,解析UR...

版本

时间

修改内容

V1

2024.06.13

新建

V2

2024.06.28

更新body和请求类型筛选的正则表达式内容，特殊换符和转移符剔除

该工具可以将CURL脚本中的Header解析为KV Map结构；获取URL路径、请求类型；解析URL参数列表；解析Body请求体：Form表单、Raw Body、KV Body、XML/jsON/TEXT结构体等。

使用示例

获取一个http curl脚本：

curl --location --request POST 'https://cainiao-inc.com?param_1=value_1&param_2=value_2' \
--header 'Cookie: USER_COOKIE' \
--header 'Content-Type: application/json' \
--data-raw '{
    "appName": "link",
    "apiId": "TEST_API",
    "content": {
        "address": "Cainiao Home",
        "city": "Hangzhou"
    }
}'

执行解析例子：

使用Java实现一个解析CURL脚本小工具

实现原理

实现原理很简单：基于Java正则 + 责任链设计模式，按照Curl脚本的常见语法去匹配、解析即可～

按照Curl语法结构，可以将其拆分为 5 个部分：

  • URL路径：http://cainiao.com
  • URL参数列表：?param_1=valie_1&param_2=valie_2
  • 请求方法类型： 例如 POST、GET、DELETE、PUT...... 需要正则匹配-X --request等标识符
  • Header请求头：例如 Cookie、Tokenandroid、Content-Type...... 需要正则匹配-H --header等标识符
  • Body请求体：可以分为form-data/-form、data-raw、data-urlencode、-d、--data、kvbody等。格式可能包含JSON、XML、文本、KV键值对，二进制流（暂不支持解析）等等。

具体实现

流程简图：

使用Java实现一个解析CURL脚本小工具

类关系图：

使用Java实现一个解析CURL脚本小工具

CurlParserUtil

Curl解析工具类：

public class CurlParserUtil {
    /**
     * 该方法是用来解析CURL的入口。
     *
     * @param curl 输入的CURL文本字符串
     * @return 返回解析后生成的CURL实体对象
     */
    public static CurlEntity parse(String curl) {
        CurlEntity entity = CurlEntity.builder().build();
        ICurlHandler<CurlEntity, String> handlerChain = CurlHandlerChain.init();
 
        // 如需扩展其他解析器，继续往链表中add即可
        handlerChain.next(new UrlPathHandler())
                .next(new UrlParamsHandler())
                .next(new HttpMethodHandler())
                .next(new HeaderHandler())
                .next(new HttpBodyHandler());
 
        handlerChain.handle(entity, curl);
        return entity;
    }
}

CurlEntity

解析后得到的Curl实体类（这里分了5个部分）

@Data
@Builder
public class CurlEntity {
    /**
     * URL路径
     */
    private String url;
 
    /**
     * 请求方法类型
     */
    private Method method;
 
    /**
     * URL参数
     */
    private Map<String, String> urlParams;
 
    /**
     * header参数
     */
    private Map<String, String> headers;
 
    /**
     * 请求体
     */
    private JSONObject body;
 
    public enum Method {
        GET,
        POST,
        PUT,
        DELETE
    }
}

ICurlHandler

责任链链表结构定义：

public interface ICurlHandler<R, S> {
 
    ICurlHandler<CurlEntity, String> next(ICurlHandler<CurlEntity, String> handler);
 
    void handle(CurlEntity entity, String curl);
}

CurlHandlerChain

责任链载体：

public abstract class CurlHandlerChain implements ICurlHandler<CurlEntity, String> {
 
    ICurlHandler<CurlEntity, String> next;
 
    @Override
    public ICurlHandler<CurlEntity, String> next(ICurlHandler<CujsrlEntity, String> handler) {
        this.next = handler;
        return this.next;
    }
 
    @Override
    public abstract void handle(CurlEntity entity, String curl);
 
    /**
     * for subclass call
     */
    protected void nextHandle(CurlEntity curlEntity, String curl) {
        if (next != null) {
            next.handle(curlEntity, curl);
        }
    }
 
    protected void validate(String curl) {
        if (StringUtils.isBlank(curl)) {
            throw new IllegalArgumentException("Curl script is empty");
        }
 
        Matcher matcher = CURL_BASIC_STRUCTURE_PATTERN.matcher(curl);
        if (!matcher.find()) {
            throw new IllegalArgumentException("Curl script is invalid");
        }
    }
 
    public static CurlHandlerChain init() {
        return new CurlHandlerChain() {
            @Override
            public void handle(CurlEntity entity, String curl) {
                this.validate(curl);
 
                // 替换掉可能存在的转译(字符串中的空白字符，包括空格、换行符和制表符...)
                curl = curl.replace("\\", "")
                        .replace("\n", "")
                        .replace("\t", "");
 
                if (next != null) {
                    next.handle(entity, curl);
                }
            }
        };
    }
 
    public void log(Object... logParams) {
        // Write log for subclass extensions
    }
}

UrlPathHandler

URL路径解析：

public class UrlPathHandler extends CurlHandlerChain {
 
    @Override
    public void handle(CurlEntity entity, String curl) {
        String url = parseUrlPath(curl);
        entity.setUrl(url);
 
        this.log(url);
        super.nextHandle(entity, curl);
    }
 
    /**
     * 该方法用于解析URL路径。
     *
     * @param curl 需要解析的URL，以字符串形式给出
     * @return URL中的路径部分。如果找不到，将返回null
     */
    private String parseUrlPath(String curl) {
        Matcher matcher = CurlPatternConstants.URL_PATH_PATTERN.matcher(curl);
        if (matcher.find()) {
            return matcher.group(1) != null ? matcher.group(1) : matcher.group(3);
        }
        return null;
    }
 
    @Override
    public void log(Object... logParams) {
        LogPrinter.info("UrlPathHandler execute: url={}", logParams);
    }
}

HttpMethodHandler

请求类型解析：

public class HttpMethodHandler extends CurlHandlerChain {
 
    @Override
    public void handle(CurlEntity entity, String curl) {
        CurlEntity.Method method = parseMethod(curl);
        entity.setMethod(method);
 
        this.log(method);
        super.nextHandle(entity, curl);
    }
 
    private CurlEntity.Method parseMethod(String curl) {
        Matcher matcher = CurlPatternConstants.HTTP_METHOD_PATTERN.matcher(curl);
        Matcher defaultMatcher = CurlPatternConstants.DEFAULT_HTTP_METHOD_PATTERN.matcher(curl);
        if (matcher.find()) {
            String method = matcher.group(1);
            return CurlEntity.Method.valueOf(method.toUpperCase());
        } else if (defaultMatcher.find()) {
            // 如果命令中包含 -d 或 --data，没有明确请求方法，默认为 POST
            return CurlEntity.Method.POST;
        } else {
            // 没有明确指定请求方法，默认为 GET
            return CurlEntity.Method.GET;
        }
    }
 
    @Override
    public void log(Object... logParams) {
        LogPrinter.info("HttpMethodHandler execute: method={}", logParams);
    }
}

UrlParamsHandler

URL参数列表解析：

public class UrlParamsHandler extends CurlHandlerChain {
 
    @Override
    public void handle(CurlEntity entity, String curl) {
        String url = extractUrl(curl);
        Map<String, String> urlParams = parseUrlParams(url);
        entity.setUrlParams(urlParams);
 
        this.log(urlParams);
        super.nextHandle(entity, curl);
    }
 
    private String extractUrl(String curl) {
        Matcher matcher = CurlPatternConstants.URL_PARAMS_PATTERN.matcher(curl);
        if (matcher.find()) {
            return matcher.group(1);
        }
        return null;
    }
 
    private Map<String, String> parseUrlParams(String url) {
        if (StringUtils.isBlank(url)) {
            return Collections.emptyMap();
        }
 
        Map<String, String> urlParams = new HashMap<>();
        // 提取URL的查询参数部分
        String[] urlParts = url.split("\\?");
        if (urlParts.length > 1) {
   PlhfvFuX         // 只处理存在查询参数的情况
            String query = urlParts[1];
            // 解析查询参数到Map
            String[] pairs = query.split("&");
            for (String pair : pairs) {
                int idx = pair.indexOf("=");
                if (idx != -1 && idx < pair.length() - 1) {
                    String key = pair.substring(0, idx);
                    String value = pair.substring(idx + 1);
                    urlParams.put(key, value);
                } else {
                    // 存在无值的参数时
                    urlParams.put(pair, null);
                }
            }
        }
        return urlParams;
    }
 
    @Override
    public void log(Object... logParams) {
        LogPrinter.info("UrlParamsHandler execute: urlParams={}", logParams);
    }
}

HeaderHandler

Http Header解析：

public class HeaderHandler extends CurlHandlerChain{
    
    @Override
    public void handle(CurlEntity entity, String curl) {
        Map<String, String> headers = parseHeaders(curl);
        entity.setHeaders(headers);
 
        this.log(headers);
        super.nextHandle(entity, curl);
    }
 
    private Map<String, String> parseHeaders(String curl) {
        if (StringUtils.isBlank(curl)) {
            return Collections.emptyMap();
        }
 
        Matcher matcher = CurlPatternConstants.CURL_HEADERS_PATTERN.matcher(curl);
        Map<String, String> headers = new HashMap<>();
        while (matcher.find()) {
            String header = matcher.group(1);
            String[] headerKeyValue = header.split(":", 2);
            if (headerKeyValue.length == 2) {
                // 去除键和值的首尾空白字符
                headers.put(headerKeyValue[0].trim(), headerKeyValue[1].trim());
            }
        }
 
        return headers;
    }
 
    @Override
    public void log(Object... logParams) {
        LogPrinter.info("HeaderHandler execute: headers={}", logParams);
    }
}

HttpBodyHandler

Request Body请求体解析：

  • form-data/-form
  • data-urlencode
  • data-raw
  • default/-d/--data

格式可能包含JSON、XML、文本、KV键值对，二进制流（暂不支持解析）等等。

public class HttpBodyHandler extends CurlHandlerChain {
    @Override
    public void handle(CurlEntity entity, String curl) {
        JSONObject body = parseBody(curl);
        entity.setBody(body);
 
        this.log(body);
        super.nextHandle(entity, curl);
    }
 
    private JSONObject parseBody(String curl) {
        Matcher formMatcher = CurlPatternConstants.HTTP_FROM_BODY_PATTERN.matcher(curl);
        if (formMatcher.find()) {
            return parseFormBody(formMatcher);
        }
 
        Matcher urlencodeMatcher = CurlPatternConstants.HTTP_URLENCODE_BODY_PATTERN.matcher(curl);
        if (urlencodeMatcher.find()) {
            return parseUrlEncodeBody(urlencodeMatcher);
        }
 
        Matcher rawMatcher = CurlPatternConstants.HTTP_ROW_BODY_PATTERN.matcher(curl);
        if (rawMatcher.find()) {
            return parseRowBody(rawMatcher);
        }
 
        Matcher defaultMatcher = CurlPatternConstants.DEFAULT_HTTP_BODY_PATTERN.matcher(curl);
        if (defaultMatcher.find()) {
            return parseDefaultBody(defaultMatcher);
        }
 
        return new JSONObject();
    }
 
    private JSONObject parseDefaultBody(Matcher defaultMatcher) {
        String bodyStr = "";
        if (defaultMatcher.group(1) != null) {
            // 单引号包裹的数据
            bodyStr = defaultMatcher.group(1);
        } else if (defaultMatcher.group(2) != null) {
            // 双引号包裹的数据
            bodyStr = defaultMatcher.group(2);
        } else {
            // 无引号的数据
            bodyStr = defaultMatcher.group(3);
        }
 
        // 判断是否是json结构
        if (isJSON(bodyStr)) {
            return JSONObject.parseobject(bodyStr);
        }
 
        // 特殊Case: username=test&password=secret
        Matcher kvMatcher = CurlPatternConstants.DEFAULT_HTTP_BODY_PATTERN_KV.matcher(bodyStr);
        return kvMatcher.matches() ? parseKVBody(bodyStr) : new JSONObject();
    }
 
    private JSONObject parseKVBody(String kvBodyStr) {
        JSONObject json = new JSONObject();
        String[] pairs = kvBodyStr.split("&");
        for (String pair : pairs) {
            int idx = pair.indexOf("=");
            String key = URLDecoder.decode(pair.substring(0, idx), StandardCharsets.UTF_8);
            String value = URLDecoder.decode(pair.substring(idx + 1), StandardCharsets.UTF_8);
            json.put(key, value);
        }
        return json;
    }
 
    private JSONObject parseFormBody(Matcher formMatcher) {
        JSONObject formData = new JSONObject();
 
        // 重置指针匹配的位置
        formMatcher.reset();
        while (formMatcher.find()) {
            // 提取表单项
            String formItem = formMatcher.group(1) != null ? formMatcher.group(1) : formMatcher.group(2);
 
            // 分割键和值
            String[] keyValue = formItem.split("=", 2);
            if (keyValue.length == 2) {
                String key = keyValue[0];
                String value = keyValue[1];
 
                // 检测文件字段标记
                // PS: 理论上文件标记字段不需要支持
                if (value.startsWith("@")) {
                    // 只提取文件名，不读取文件内容
                    formData.put(key, value.substring(1));
                } else {
                    // 放入表单数据
                    formData.put(key, value);
                }
            }
        }
 
        return formData;
    }
 
    private JSONObject parseUrlEncodeBody(Matcher urlencodeMatcher) {
        JSONObject urlEncodeData = new JSONObject();
 
        // 重置指针匹配的位置
        urlencodeMatcher.reset();
        while (urlencodeMatcher.find()) {
            // 提取键值对字符串
            String keyValueEncoded = urlencodeMatcher.group(1)php;
 
            // 分隔键和值
            String[] keyValue = keyValueEncoded.split("=", 2);
            if (keyValue.http://www.chinasem.cnlength == 2) {
                String key = keyValue[0];
                String value = keyValue[1];
 
                // 对值进行URL解码
                String decodedValue = URLDecoder.decode(value, StandardCharsets.UTF_8);
 
                // 存入数据到JSON对象
                urlEncodeData.put(key, decodedValue);
            }
        }
 
        return urlEncodeData;
    }
 
    private JSONObject parseRowBody(Matcher rowMatcher) {
        String rawData = rowMatcher.group(1);
 
        if (isXML(rawData)) {
            // throw new IllegalArgumentException("Curl --data-raw content cant' be XML");
            return xml2json(rawData);
        }
 
        try {
            return JSON.parseObject(rawData);
        } catch (Exception e) {
            throw new IllegalArgumentException("Curl --data-raw content is not a valid JSON");
        }
    }
 
    private boolean isJSON(String jsonStr) {
        try {
            JSONObject.parseObject(jsonStr);
            return true;
        } catch (Exception e) {
            return false;
        }
    }
 
    public static boolean isXML(String xmlStr) {
        try {
            DocumentBuilderFactory factory = DocumentBuilderFactory.newInstance();
            factory.setFeature(SecurityConstants.DDD, true);
            factory.setFeature(SecurityConstants.EGE, false);
            factory.setFeature(SecurityConstants.EPE, false);
 
            DocumentBuilder builder = factory.newDocumentBuilder();
            InputSource is = new InputSource(new StringReader(xmlStr));
            builder.parse(is);
            return true;
        } catch (Exception e) {
            return false;
        }
    }
 
    private JSONObject xml2json(String xmlStr) {
        try {
            org.json.JSONObject orgJsonObj = XML.toJSONObject(xmlStr);
            String jsonString = orgJsonObj.toString();
            return JSON.parseObject(jsonString);
        } catch (JSONException e) {
            throw new LinkConsoleException("Curl --data-raw content xml2json error", e);
        }
    }
 
    @Override
    public void log(Object... logParams) {
        LogPrinter.info("HttpBodyHandler execute: body={}", logParams);
    }
}

CurlPatternConstants

正则匹配常量定义：

public interface CurlPatternConstants {
 
    /**
     * CURL基本结构校验
     */
    Pattern CURL_BASIC_STRUCTURE_PATTERN = Pattern.compile("^curl (\\S+)");
 
    /**
     * URL路径匹配
     */
    Pattern URL_PATH_PATTERN =
            Pattern.compile("(?:\\s|^)(?:'|\")?(https?://[^?\\s'\"]*)(?:\\?[^\\s'\"]*)?(?:'|\")?(?:\\s|$)");
 
    /**
     * 请求参数列表匹配
     */
    Pattern URL_PARAMS_PATTERN = Pattern.compile("(?:\\s|^)(?:'|\")?(https?://[^\\s'\"]+)(?:'|\")?(?:\\s|$)");
 
    /**
     * HTTP请求方法匹配
     */
    //Pattern HTTP_METHOD_PATTERN = Pattern.compile("(?:-X|--request)\\s+(\\S+)");
    Pattern HTTP_METHOD_PATTERN = Pattern.compile("curl\\s+[^\\s]*\\s+(?:-X|--request)\\s+'?(GET|POST)'?");
 
    /**
     * 默认HTTP请求方法匹配
     */
    Pattern DEFAULT_HTTP_METHOD_PATTERN = Pattern.compile(".*\\s(-d|--data|--data-binary)\\s.*");
 
    /**
     * 请求头匹配
     */
    Pattern CURL_HEADERS_PATTERN = Pattern.compile("(?:-H|--header)\\s+'(.*?:.*?)'");
 
    /**
     * -d/--data 请求体匹配
     */
    Pattern DEFAULT_HTTP_BODY_PATTERN = Pattern.compile("(?:--data|-d)\\s+(?:'([^']*)'|\"([^\"]*)\"|(\\S+))", Pattern.DOTALL);
    Pattern DEFAULT_HTTP_BODY_PATTERN_KV = Pattern.compile("^([^=&]+=[^=&]+)(?:&[^=&]+=[^=&]+)*$", Pattern.DOTALL);
 
    /**
     * --data-raw 请求体匹配
     */
    Pattern HTTP_ROW_BODY_PATTERN = Pattern.compile("--data-raw '(.+?)'(?s)", Pattern.DOTALL);
 
    /**
     * --form 请求体匹配
     */
    Pattern HTTP_FROM_BODY_PATTERN = Pattern.compile("--form\\s+'(.*?)'|-F\\s+'(.*?)'");
 
 
    /**
     * --data-urlencode 请求体匹配
     */
    Pattern HTTP_URLENCODE_BODY_PATTERN = Pattern.compile("--data-urlencode\\s+'(.*?)'");
 
}

其他代码

public class SecurityConstants {
    public static String DDD = "http://apache.org/xml/features/disallow-doctype-decl";
    public static String EGE = "http://xml.org/sax/features/external-general-entities";
    public static String EPE = "http://xml.org/sax/features/external-parameter-entities";
    public static String LED = "http://apache.org/xml/features/nonvalidating/load-external-dtd";
}

以上就是使用Java实现一个解析CURL脚本小工具的详细内容，更多关于Java实现解析CURL工具的资料请关注China编程(www.chinasem.cn)其它相关文章！

这篇关于使用Java实现一个解析CURL脚本小工具的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！

原文地址:http://www.cppcns.com/ruanjian/java/699635.html
本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.chinasem.cn/article/1153347。

相关文章

Java如何从Redis中批量读取数据

Java如何从Redis中批量读取数据

《Java如何从Redis中批量读取数据》：本文主要介绍Java如何从Redis中批量读取数据的情况,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录一.背景概述二.分析与实现三.发现问题与屡次改进3.1.QPS过高而且波动很大3.2.程序中断，抛异常3.3.内存消
阅读更多...
Python使用FFmpeg实现高效音频格式转换工具

Python使用FFmpeg实现高效音频格式转换工具

《Python使用FFmpeg实现高效音频格式转换工具》在数字音频处理领域,音频格式转换是一项基础但至关重要的功能,本文主要为大家介绍了Python如何使用FFmpeg实现强大功能的图形化音频转换工具... 目录概述功能详解软件效果展示主界面布局转换过程截图完成提示开发步骤详解1. 环境准备2. 项目功能结
阅读更多...
SpringBoot使用ffmpeg实现视频压缩

SpringBoot使用ffmpeg实现视频压缩

《SpringBoot使用ffmpeg实现视频压缩》FFmpeg是一个开源的跨平台多媒体处理工具集,用于录制,转换,编辑和流式传输音频和视频,本文将使用ffmpeg实现视频压缩功能,有需要的可以参考... 目录核心功能1.格式转换2.编解码3.音视频处理4.流媒体支持5.滤镜（Filter）安装配置linu
阅读更多...
Redis中的Lettuce使用详解

Redis中的Lettuce使用详解

《Redis中的Lettuce使用详解》Lettuce是一个高级的、线程安全的Redis客户端,用于与Redis数据库交互,Lettuce是一个功能强大、使用方便的Redis客户端,适用于各种规模的J... 目录简介特点连接池连接池特点连接池管理连接池优势连接池配置参数监控常用监控工具通过JMX监控通过Pr
阅读更多...
apache的commons-pool2原理与使用实践记录

apache的commons-pool2原理与使用实践记录

《apache的commons-pool2原理与使用实践记录》ApacheCommonsPool2是一个高效的对象池化框架,通过复用昂贵资源（如数据库连接、线程、网络连接）优化系统性能,这篇文章主... 目录一、核心原理与组件二、使用步骤详解（以数据库连接池为例）三、高级配置与优化四、典型应用场景五、注意事
阅读更多...
在Spring Boot中实现HTTPS加密通信及常见问题排查

在Spring Boot中实现HTTPS加密通信及常见问题排查

《在SpringBoot中实现HTTPS加密通信及常见问题排查》HTTPS是HTTP的安全版本,通过SSL/TLS协议为通讯提供加密、身份验证和数据完整性保护,下面通过本文给大家介绍在SpringB... 目录一、HTTPS核心原理1.加密流程概述2.加密技术组合二、证书体系详解1、证书类型对比2. 证书获
阅读更多...
Druid连接池实现自定义数据库密码加解密功能

Druid连接池实现自定义数据库密码加解密功能

《Druid连接池实现自定义数据库密码加解密功能》在现代应用开发中,数据安全是至关重要的,本文将介绍如何在​​Druid​​连接池中实现自定义的数据库密码加解密功能,有需要的小伙伴可以参考一下... 目录1. 环境准备2. 密码加密算法的选择3. 自定义 ​​DruidDataSource​​ 的密码解密3
阅读更多...
使用Python实现Windows系统垃圾清理

使用Python实现Windows系统垃圾清理

《使用Python实现Windows系统垃圾清理》Windows自带的磁盘清理工具功能有限,无法深度清理各类垃圾文件,所以本文为大家介绍了如何使用Python+PyQt5开发一个Windows系统垃圾... 目录一、开发背景与工具概述1.1 为什么需要专业清理工具1.2 工具设计理念二、工具核心功能解析2.
阅读更多...
Linux系统之stress-ng测压工具的使用

Linux系统之stress-ng测压工具的使用

《Linux系统之stress-ng测压工具的使用》：本文主要介绍Linux系统之stress-ng测压工具的使用,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录一、理论1.stress工具简介与安装2.语法及参数3.具体安装二、实验1.运行8 cpu, 4 fo
阅读更多...
Maven项目中集成数据库文档生成工具的操作步骤

Maven项目中集成数据库文档生成工具的操作步骤

《Maven项目中集成数据库文档生成工具的操作步骤》在Maven项目中,可以通过集成数据库文档生成工具来自动生成数据库文档,本文为大家整理了使用screw-maven-plugin（推荐）的完... 目录1. 添加插件配置到 pom.XML2. 配置数据库信息3. 执行生成命令4. 高级配置选项5. 注意事
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2