PHP 里进行字符串 Unicode 编码并正确截短的方法

2024-03-14 05:38
文章标签 进行 方法 php 字符串 编码 正确 unicode 截短

本文主要是介绍PHP 里进行字符串 Unicode 编码并正确截短的方法，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

在 PHP 与其它语言互相调用传输数据的时候，经常会遇到字符串编码的问题。比如我最近使用 go 语言开发的一个 RPC 服务，在使用 PHP 作为客户端调用的时候，传输的对象数据就使用了 json_encode 来进行序列化，

源字符串：

> 测试41
> {"json":['test json 测试json串格式'不对'}

它序列化后得到的内容应该类似下面的：

> \u6d4b\u8bd541\n> {\"json\":['test json \u6d4b\u8bd5json\u4e32\u683c\u5f0f'\u4e0d\u5bf9'}

这个序列化看起来没有问题，我们可以很方便的用 json_decode 来获得原始字符串。

但是因为我的服务需要限制字符串长度，也就是说如果超出限制的字符串，会被截短，类似下面的：

> 测试41
> {"json":['test json 测试...

这里出现的问题，首先是截短的字符串长度不是预期的长度。为什么呢？因为 PHP 客户端如果在序列化之前就按限制长度来截短字符串，那么截短后的字符串序列化之后的长度肯定与源字符串序列化之后才截短的结果不一致。

假定我们限制长度为50（个单字节字符），我们撰写一个下面的脚本来展示一下截短序列化之前和之后的结果：

<?php$str1 = "> 测试41\n> {\"json\":['test json 测试json串格式'不对'}";$str2 = json_encode($str1);echo "str1: ".$str1."\n";
echo "Length of str1: ".strlen($str1)."\n\n";echo "str2: ".$str2."\n";
echo "Length of str2: ".strlen($str2)."\n\n";echo "MultiByte Length of str1: ".mb_strlen($str1)."\n\n";$limit = 50;$cut1 = substr($str1, 0, $limit);
$cut2 = substr($str2, 0, $limit);
$cut3 = mb_substr($str1, 0, $limit);echo "cut1: ".$cut1."\n";
echo "Encode cut1: ".json_encode($cut1)."\n";
echo "Length of encoded cut1: ".strlen(json_encode($cut1))."\n\n";echo "cut2: ".$cut2."\n";
echo "Length of cut2: ".strlen($cut2)."\n\n";echo "cut3: ".$cut3."\n";
echo "Encode cut3: ".json_encode($cut3)."\n";
echo "Length of encoded cut3: ".strlen(json_encode($cut3))."\n\n";

该脚本的运行结果如下：

str1: > 测试41
> {"json":['test json 测试json串格式'不对'}
Length of str1: 61str2: "> \u6d4b\u8bd541\n> {\"json\":['test json \u6d4b\u8bd5json\u4e32\u683c\u5f0f'\u4e0d\u5bf9'}"
Length of str2: 93MultiByte Length of str1: 43cut1: > 测试41
> {"json":['test json 测试json串格�
Encode cut1: 
Length of encoded cut1: 0cut2: "> \u6d4b\u8bd541\n> {\"json\":['test json \u6d4b\
Length of cut2: 50cut3: > 测试41
> {"json":['test json 测试json串格式'不对'}
Encode cut3: "> \u6d4b\u8bd541\n> {\"json\":['test json \u6d4b\u8bd5json\u4e32\u683c\u5f0f'\u4e0d\u5bf9'}"
Length of encoded cut3: 93

可以看到源字符串被截短后，再 json_encode 出了问题，得到的序列化结果为空字符串……

但是如果我们用 mbstring 的方法来衡量和截短字符串，其序列化之后的字符串长度超出了我们的限制……

所以，正确的做法是 先对字符串进行序列化，然后根据限制截短字符串。这样能够确保字符串在不同的语言里处理都能有一致的结果。

网络上有很多序列化 Unicode 字符串的方法，但经过测试我发现，如果截短后都可能因为包含 JSON 的特殊符号大括号、中括号或其它符号，导致反序列化出现问题。最后经过尝试，我利用 PHP 的 JSON 模块实现了如下的编码方法：

<?php
//将内容进行UNICODE编码
function unicode_encode($str){$pattern = '/([\[\]\{\}])/i';$replacement = '\\\\${1}';$str = preg_replace($pattern, $replacement, $str);$str = '{"str":"'. $str.'"}';$encode = json_encode($str);return substr($encode, 12, -4);
}//将UNICODE编码后的内容进行解码
function unicode_decode($unicode_str){//避免一半 unicode 截断的情况$cut_pos_check = strrpos($unicode_str, '\u', 0);if(strlen($unicode_str) - $cut_pos_check < 6) { // unicode 编码都是 6 个字节：\uxxxx$unicode_str = substr($unicode_str, 0, $cut_pos_check);}if(substr($unicode_str, -1) == "\\" && substr($unicode_str, -2, 1) != "\\") {  //去掉截断最后为 \ 且不是 \\ 的情况$unicode_str = substr($unicode_str, 0, -1);}$json = '{"str":"'.$unicode_str.'"}';$obj = json_decode($json);if(empty($obj)) return '';return $obj->str;
}//截断字符串
function cutData($data, $occupied, $limit) {if($limit < 0) $limit = intval($this->config->ratchet->msglimit);$msglimit = $limit - $occupied;   //有些必须占用的长度去掉echo(date("Y-m-d h:i:s")." Msg length: ".strlen($data)."\n");echo(date("Y-m-d h:i:s")." Msg limit: ".$msglimit."\n");$tmp = preg_replace("/\&nbsp\;/", " ", unicode_encode(trim(htmlspecialchars_decode($data))));    //编码为Unicode$encoded_len = strlen($tmp);echo(date("Y-m-d h:i:s")." Unicode Encoded: ".$tmp."\n\n");echo(date("Y-m-d h:i:s")." Unicode Encoded Msg length: ".$encoded_len."\n");if($encoded_len > $msglimit) {  //超出限制长度$sub = substr($tmp, 0, $msglimit);echo(date("Y-m-d h:i:s")." Substring: ".$sub."\n\n");echo(date("Y-m-d h:i:s")." Unicode Decoded: ".unicode_decode($sub)."\n\n");return unicode_decode($sub) . "...";   //返回截短后的解码字符串}return preg_replace("/\&nbsp\;/", " ", $data);
}

再用一个测试脚本测试一下：

<?php
$str1 = "> 测试41\n> {\"json\":['test json 测试json串格式'不对'}";$str2 = unicode_encode($str1);echo "str1: ".$str1."\n";
echo "Length of str1: ".strlen($str1)."\n\n";$limit = 50;$cut = cutData($str1, 0, $limit);echo "cut: ".$cut."\n";

结果类似下面的：

str1: > 测试41
> {"json":['test json 测试json串格式'不对'}
Length of str1: 612021-08-28 11:18:26 Msg length: 61
2021-08-28 11:18:26 Unicode Encoded: > \u6d4b\u8bd541\n> \\{\"json\":\\['test json \u6d4b\u8bd5json\u4e32\u683c\u5f0f'\u4e0d\u5bf9'\\}2021-08-28 11:18:26 Unicode Encoded Msg length: 97
2021-08-28 11:18:26 Msg limit: 50
2021-08-28 11:18:26 Substring: > \u6d4b\u8bd541\n> \\{\"json\":\\['test json \u6d2021-08-28 11:18:26 Unicode Decoded: > 测试41
> \{"json":\['test json cut: > 测试41
> \{"json":\['test json ...

这篇关于PHP 里进行字符串 Unicode 编码并正确截短的方法的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/807361。

相关文章

检查 Nginx 是否启动的几种方法

检查 Nginx 是否启动的几种方法

《检查Nginx是否启动的几种方法》本文主要介绍了检查Nginx是否启动的几种方法,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学... 目录1. 使用 systemctl 命令（推荐）2. 使用 service 命令3. 检查进程是否存在4
阅读更多...
Java方法重载与重写之同名方法的双面魔法(最新整理)

Java方法重载与重写之同名方法的双面魔法(最新整理)

《Java方法重载与重写之同名方法的双面魔法(最新整理)》文章介绍了Java中的方法重载Overloading和方法重写Overriding的区别联系,方法重载是指在同一个类中,允许存在多个方法名相同... 目录Java方法重载与重写：同名方法的双面魔法方法重载（Overloading）：同门师兄弟的不同绝
阅读更多...
MySQL字符串转数值的方法全解析

MySQL字符串转数值的方法全解析

《MySQL字符串转数值的方法全解析》在MySQL开发中,字符串与数值的转换是高频操作,本文从隐式转换原理、显式转换方法、典型场景案例、风险防控四个维度系统梳理,助您精准掌握这一核心技能,需要的朋友可... 目录一、隐式转换：自动但需警惕的&ld编程quo;双刃剑”二、显式转换：三大核心方法详解三、典型场景
阅读更多...
MySQL快速复制一张表的四种核心方法(包括表结构和数据)

MySQL快速复制一张表的四种核心方法(包括表结构和数据)

《MySQL快速复制一张表的四种核心方法(包括表结构和数据)》本文详细介绍了四种复制MySQL表（结构+数据）的方法,并对每种方法进行了对比分析,适用于不同场景和数据量的复制需求,特别是针对超大表（1... 目录一、mysql 复制表（结构+数据）的 4 种核心方法（面试结构化回答）方法 1：CREATE
阅读更多...
详解C++ 存储二进制数据容器的几种方法

详解C++ 存储二进制数据容器的几种方法

《详解C++存储二进制数据容器的几种方法》本文主要介绍了详解C++存储二进制数据容器,包括std::vector、std::array、std::string、std::bitset和std::ve... 目录1.std::vector<uint8_t>（最常用）特点：适用场景：示例：2.std::arra
阅读更多...
springboot中配置logback-spring.xml的方法

springboot中配置logback-spring.xml的方法

《springboot中配置logback-spring.xml的方法》文章介绍了如何在SpringBoot项目中配置logback-spring.xml文件来进行日志管理,包括如何定义日志输出方式、... 目录一、在src/main/resources目录下，也就是在classpath路径下创建logba
阅读更多...
SQL Server中行转列方法详细讲解

SQL Server中行转列方法详细讲解

《SQLServer中行转列方法详细讲解》SQL行转列、列转行可以帮助我们更方便地处理数据,生成需要的报表和结果集,：本文主要介绍SQLServer中行转列方法的相关资料,需要的朋友可以参考下... 目录前言一、为什么需要行转列二、行转列的基本概念三、使用PIVOT运算符进行行转列1.创建示例数据表并插入数
阅读更多...
C++打印 vector的几种方法小结

C++打印 vector的几种方法小结

《C++打印vector的几种方法小结》本文介绍了C++中遍历vector的几种方法,包括使用迭代器、auto关键字、typedef、计数器以及C++11引入的范围基础循环,具有一定的参考价值,感兴... 目录1. 使用迭代器2. 使用 auto (C++11) / typedef / type alias
阅读更多...
python项目打包成docker容器镜像的两种方法实现

python项目打包成docker容器镜像的两种方法实现

《python项目打包成docker容器镜像的两种方法实现》本文介绍两种将Python项目打包为Docker镜像的方法,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要... 目录简单版：（一次成功，后续下载对应的软件依赖）第一步：肯定是构建dockerfile，如下：第二步
阅读更多...
C# GC回收的方法实现

C# GC回收的方法实现

《C#GC回收的方法实现》本文主要介绍了C#GC回收的方法实现,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧... 目录 一、什么是 GC？ 二、GC 管理的是哪部分内存？ 三、GC 什么时候触发？️ 四、GC 如何判断一个对象是“垃圾
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2