宁夏建设工程造价站网站取公司名大全 最新版

宁夏建设工程造价站网站,取公司名大全 最新版,市场营销课程,建卡盟网站建设 网站定制开发引言随着昇腾AI计算平台的持续演进#xff0c;CANN作为昇腾芯片的核心软件栈#xff0c;它的版本迭代对模型训练性能提升非常大。本次测评主要是分析从CANN 7.0.1.3升级到CANN 8.0 RC2过程中常见的问题及性能差异#xff0c;为大家提供实用的升级指导和性能优化建议。CANN 7…引言随着昇腾AI计算平台的持续演进CANN作为昇腾芯片的核心软件栈它的版本迭代对模型训练性能提升非常大。本次测评主要是分析从CANN 7.0.1.3升级到CANN 8.0 RC2过程中常见的问题及性能差异为大家提供实用的升级指导和性能优化建议。CANN 7与CANN 8环境对比为确保分析的准确性我保持除CANN版本外的其他环境因素一致具体统计如下环境要素CANN 7.0.1.3CANN 8.0 RC2Python3.103.10HDK23.0.623.0.6CANNCANN 7.0.1.3CANN 8.0 RC2Torch2.1.02.1.0Torch_npu2.1.02.1.0post6Apexapex-0.1ascend-cp310-cp310-linux_aarch64.whltorchair-0.1-py3-none-any.whlapex-0.1ascend-cp310-cp310-linux_aarch64.whltorchair-0.1-py3-none-any.whlProfiling数据采集与分析流程1. 数据采集流程基于昇腾芯片采集Profiling数据在ModelLink框架中我通过以下API进行Profiling数据采集关键参数说明l--profile: 打开Profiling数据采集开关l--profile-step-start: 指定开启采集数据的步骤l--profile-step-end: 指定结束采集数据的步骤实际采集步数为end-start不包含endl--profile-ranks: 指定采集数据的卡号默认为-1表示采集所有rank的Profiling数据l--profile-level: 数据采集水平level 0, 1, 2级别越高采集信息越多默认为level 0l--profile-with-cpu: 是否采集CPU数据l--profile-with-stack: 采集指令运行堆栈l--profile-with-memory: 是否采集内存l--profile-record-shapes: 是否采集计算shapel--profile-save-path: Profiling数据集保存路径确认数据是否可用打开采集到的某张卡数据(*ascend_pt结尾的文件夹)可用的数据应该具备以下文件./profiler_info_x.json, /ASCEND PROFILER_OUTPUT/step_trace_time.csv, ./ASCEND_PROFILER_OUTPUT/trace_view.json, ./ASCEND_PROFILER_OUTPUT/kernel_details.csv, ./ASCEND_PROFILER_OUTPUT/communication.json, ./ASCEND_PROFILER_OUTPUT/communication_matrix.json或者具备:analysis.db ascend_pytorch_profiler_{rank_id}.db2. 数据解析流程1.确认数据是否可用2.将所有卡的数据拷贝并汇集到一个目录下运行命令3.生成cluster_analysis_output文件夹包含以下交付件lsummary.csvltimeline.csvlcommunication.csvlkernel_details.csvlstep_trace_time.csv3. 数据分析流程MindStudio Insight是可视化工具可以将解析后的日志信息可视化方便用户比较差异。定位异常算子流程1.在概览Summary界面输入模型脚本对应的并行策略值pptp设置和推理的值设置一致2.在计算/通信概览区域分别选择迭代ID和通信域查看柱状图观察总计算时间和未被覆盖的通信时间时长3.单击慢卡通信算子详情列的查看更多可查看每个通信算子耗时4.单击算子总时间(ms)后的排序按钮进行降序排序可以看到耗时最长的算子5.分别在HCCL和通信时长区域图表中可看到该算子的耗时不对等6.通过上述途径定位异常算子分析异常算子流程1.将定位到的最快卡和最慢卡的原始数据汇总至同一目录并导入MindStudio Insight工具2.打开通信Communication界面选择通信耗时分析在算子名称选项中输入定位到的慢卡算子名称选择该算子3.在HCCL区域分别找到该算子耗时最短和耗时最长的卡在对应柱状图上右键单击跳转至时间线页面4.跳转至时间线Timeline界面对应卡的算子上5.单击泳道置顶按钮分别将所属卡的泳道置顶对该算子进行比较分析6.对所属卡其它进程的算子信息进行比较分析定位慢卡原因常见问题与解决方案问题1提示HCCL集合操作超时现象CANN 7训练5节点正常但CANN 8训练5节点异常提示HCCL集合操作超时原因1.使用CANN 8版本为CANN 8 RC3版本存在偶发bug2.超时响应时间为默认值180太小解决方案1.降低到CANN 8 RC2版本后相同模型可以跑通2.推荐节点数为2的幂次方3.提高响应时间问题2通过环境变量设置获得profile日志无法获得完整的日志信息原因环境变量不适合大模型采集不能控制step解决方案建议使用MindSpore Profiler的方式问题3MindSpore Profiler方式采集时profile-ranks设置为-1会报错原因torch_npu新版的代码存在更新解决方案手动设置假如2节点16卡则设置为0-15。如果版本更老可以根据教程手动采集。问题4发现随着节点数增加和layer模型层数增加CANN 8的性能对比CANN 7下降原因CANN 8更新后将CANN 7内很多融合算子拆开计算算子和通信算子导致CANN 8的通信算子大大增加。当节点增大、通信更多的情况下通信性能下降导致计算算子的优化部分被掩盖总性能反而下降。解决方案开启MC2融合算子和其他优化算子可以将CANN 8性能提升上去。具体操作1.需保证配套环境版本符合要求2.将modellink\arguments.py中validate_args_decorator函数中的第283行进行注释MC2优势MC2支持指令微调在微调效果保持一致的前提下MindSpeed-LLM可以表现出优异性能特别是在大规模分布式训练场景下。性能对比分析通过对比CANN 7和CANN 8在相同环境下的训练性能我们发现1.基础性能差异在不开启MC2融合模式的情况下CANN 8的通信算子数量显著增加导致在大规模分布式训练中如5节点以上性能比CANN 7下降约10-15%。2.MC2融合优化效果开启MC2融合模式后CANN 8的性能可以达到与CANN 7相当的水平甚至在某些场景下略优于CANN 7。MC2通过融合多个通信操作减少了通信次数提升了整体性能。3.通信优化效果CANN 8通过优化通信算法减少了通信延迟特别是在大规模集群如16卡以上下通信优化效果更加明显。总结CANN 8在升级后带来了更丰富的功能和更好的硬件支持但在大规模分布式训练场景下由于通信算子数量增加基础性能可能不如CANN 7。不过通过开启MC2融合模式等优化措施CANN 8的性能可以得到显著提升达到甚至超过CANN 7的水平。