本文主要是介绍AOE性能调优问题案例，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！
AOE（Ascend Optimization Engine）是一款自动性能调优工具，目的是为了充分利用有限的硬件资源，满足算子和整网的性能要求。
本期就分享几个关于AOE性能调优问题的典型案例，并给出原因分析及解决方法。
- 调优过程中进程异常退出
- 无法命中调优生成的知识库
- 参数设置不合理，导致报错内存不足
01调优过程中进程异常退出
问题现象描述
在调优过程中，可能会出现如下类似报错。
现象1：调优直接异常终止，出现类似下面的信息：
现象2：触发进程退出，调优日志中出现类似下面红框的信息：
原因分析
可能原因是内存不足，可以通过如下步骤进行分析。
使用dmesg命令确认操作系统是否触发"Out of memory"导致进程退出。
dmesg |grep "Out of memory"
系统显示如下类似信息，表示触发了"Out of memory"。
[519308.099433] Out of memory: Killed process 994362 (aoe) total-vm:23064888kB, anon-rss:16472380kB, file-rss:0kB, shmem-rss:0kB, UID:0 pgtables:35352kB oom_score_adj:0
处理步骤
更换为有更大Host内存的调优环境。
02 无法命中调优生成的知识库
现象描述
使用AOE完成调优后，生成了知识库，但在ATC转模型时却无法命中生成的知识库。
可能原因
AOE性能调优和ATC模型转换时，存在一些相同的参数，这些参数可能会影响网络的shape、网络中部分算子的dtype、网络结构等，所以这些参数在AOE性能调优和ATC模型转换/AOE再次调优时需要保持一致。参数范围及具体影响如下。
- input_format：影响输入数据格式。
- input_shape：影响模型输入数据的shape。
- output_type：影响网络输出数据类型或影响某个输出节点的数据类型。
- insert_op_conf、fusion_switch_file、enable_scope_fusion_passes、enable_small_channel：影响网络结构。
- out_nodes：影响网络中的输出节点。
- input_fp16_nodes：影响输入节点的数据类型。
- is_input_adjust_hw_layout：影响网络的输入数据类型和格式。
- is_output_adjust_hw_layout：影响网络的输出数据类型和格式。
- precision_mode、op_precision_mode、modify_mixlist、keep_dtype、op_select_implmode、optypelist_for_implmode：影响网络部分算子的dtype。
- dynamic_batch_size、dynamic_image_size、dynamic_dims：影响网络的shape。
处理步骤
在AOE性能调优和ATC模型转换/AOE再次调优时，可能原因中的参数取值需要保持一致。
03参数设置不合理，导致报错内存不足
现象描述
TensorFlow训练场景下调优时，可能会出现如下类似报错。
第一种报错
[ERROR] GE(685297,python3):2022-04-06-07:15:09.383.996 [graph_var_manager.cc:402]687614 AssignVarMem: ErrorNo: 1343225857(Parameter's invalid!) [COMP][MEM_ALLOC][Check][Param] Out of memory: current var size[13962468864] exceeds total var size[13958643712]
第二种报错
[ERROR] GE(685297,python3):2022-04-06-07:15:09.383.996 [graph_var_manager.cc:402]687614 AssignVarMem: ErrorNo: 1343225857(Parameter's invalid!) [COMP][MEM_ALLOC][Check][Param] Out of memory: current graph size[13962468864] exceeds total graph size[13958643712]
可能原因
报错内存不足的可能原因是：TensorFlow训练脚本中的内存相关参数（graph_memory_max_size：网络静态内存和最大动态内存、variable_memory_max_size：变量内存）设置不合理，当调优过程中内存超过这些参数取值时，系统报错。
处理步骤
针对分析的可能原因，请参考以下方法处理：
修改sess.run模式下的session配置项或者Estimator模式下的npu_bridge.estimator.npu.npu_config。具体步骤如下。
- 第一种报错处理办法：修改variable_memory_max_size的取值为报错信息中的current var size + 1GB，修改graph_memory_max_size的取值为31GB - variable_memory_max_size。
- 第二种报错处理办法：修改graph_memory_max_size的取值为报错信息中的current graph size + 1GB，修改variable_memory_max_size的取值为31GB - graph_memory_max_size。
修改示例如下：
sess.run模式
custom_op.parameter_map["graph_memory_max_size"].s = tf.compat.as_bytes(str(26*1024 * 1024 * 1024))Estimator模式
config = NPURunConfig(graph_memory_max_size=str(26*1024 * 1024 * 1024))
variable_memory_max_size04 更多介绍
[1]昇腾文档中心：昇腾社区-官网丨昇腾万里 让智能无所不及
[2]昇腾社区在线课程：开发者主页-昇腾社区
[3]昇腾论坛：https://www.hiascend.com/forum
这篇关于AOE性能调优问题案例的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！
