摘要：人工智能模型训练完成后并不适合直接运行在互联网生产环境,需要对其进行一定的封装和部署。探讨基于容器和云原生服务网格对AI模型进行自动封装和部署,以微服务形式对外提供Restful API,能够提高模型的兼容性和部署灵活性。封装过程采用适用多框架的通用AI模型代码打包方法,解决AI模型运行环境配置问题;通过部署在云原生平台由服务网格进行管理,实现AI模型从实验室开发到互联网生产环境高效应用的自动化实时流转。

摘要：深度学习作为人工智能领域的重要分支,在近年来的飞速发展中产生了大量的模型。模型需要对外提供服务才能产生价值,因此如何对模型进行服务化部署,成为当前需要关注的方向。本文研究了深度学习主流框架的使用情况,分析了主流深度学习框架Tensorflow和Pytorch模型服务化部署的特点,调研了应用虚拟化容器技术和容器自动化编排技术进行模型服务化部署的可行方案,探索了实验平台的使用模式,并以此为基础,对实验平台进行了设计与实现。

摘要：为解决模型压缩算法与多功能张量加速器(VTA)的适配性问题,通过改进经典的YOLObile分块剪枝方法,完成面向该加速器的自适应细粒度结构化稀疏设计及性能评估。针对VTA的多重循环维度展开特性,对模型的权重张量进行32×32大小的分块;结合时间维度的自蒸馏与空间维度的教师蒸馏,进行多维度特征对齐;通过一阶段式迭代训练方式,改进原有的ADMM算法计算流程,在提升模型部署精度的同时减少训练成本;提出自适应层剪枝率模块,进行总剪枝率的自适应分配,实现端到端的自动化剪枝。实验结果表明:改进方法有效减少了约2.4%的浮点计算量,并在图像分类、目标检测等多项任务中提升了压缩模型的精度,最大增长百分比为2.6%。该方法为深度学习模型在VTA上的稀疏化部署提供了一种高效、轻量级的软件解决方案。

摘要：通过可学习的预测算法获取卷积神经网络(CNN)在硬件上的推理耗时越来越受到研究者的关注。现有耗时预测算法主要面临2个问题:卷积神经网络设计空间采样复杂度高,数据采集成本高;无法准确预测硬件编译器的算子融合技术对推理耗时的影响。为了解决上述问题,提出了一种基于图卷积网络(GCN)的耗时预测算法,将整体网络耗时看作多节点耗时补偿的累加,并利用图卷积对结构算子融合产生的耗时影响进行建模。同时,提出一种新型差分训练方案,减少采样空间规模,提高算法的泛化能力。在HISI3559硬件平台上对MB-C连续空间采样模型的耗时预测实验表明:所提算法可将耗时估计的平均相对误差从传统算法的302%降低到5.3%。另外,通过将传统耗时预测算法替换成所提算法进行耗时评估,可以使网络结构搜索算法搜索到耗时更加接近目标的高精度网络。

摘要：互联网技术快速发展使得数据量剧增,云计算的数据集中处理模式存在实时性不足、能耗过高以及数据安全等一系列问题。边缘计算是在靠近数据源端执行计算的分散处理模式,与云计算相比具有低延迟、低成本、安全性高、个性化设计等优势。随着智慧农业迅速发展,结合深度学习的农业应用屡见不鲜,如作物病害检测、生长环境监测、作物自动采摘、无人农场管理等,边缘计算可以为农业多场景、复杂任务提供高效、可靠的新型数据处理方案。该研究概述了边缘计算的发展,计算架构及主要优势;介绍了边缘计算在农业中的应用背景,结合文献量分析,归纳了边缘计算在农业上的主要应用场景及相关智能农业装备,调研了现有常用边缘计算设备及性能参数,总结了适合边缘计算的主流深度学习算法及模型压缩方法。研究表明边缘计算在智慧农业中的应用有效促进了农业的数字化、智能化,未来在多场景、多功能边缘计算智能农业装备开发等领域将面临重大挑战和机遇。

摘要：雷电过程中产生多类雷电辐射电场波形,基于特征值的传统分类方法易误分类。为准确分类雷电辐射电场波形,该文提出了一种基于多通道卷积神经网络的甚低频/低频雷电辐射电场信号分类方法,该方法采用深度网络直接处理电场波形以减少先验知识依赖,设计多通道并行卷积核以有效提取雷电波形多尺度特征,引入shortcut连接以加速模型收敛。基于合肥地区实测雷电数据,该文建立了回击、初始预击穿、窄双极性脉冲以及云闪4分类波形数据集,模型训练结果表明该模型识别准确率达到99.4%,与经典机器学习方法以及主流深度神经网络模型分类性能相比,所提模型在分类准确率及训练收敛速度上均达更优水平。基于该模型,该文采用知识蒸馏方法获得了适用于低算力计算平台的部署模型,部署模型在合肥某雷暴活动中单次分类耗时仅59ms,算力需求降低66%,分类准确率为99.0%,实现了模型在低算力计算平台上的可靠应用。

摘要：近年来,随着矿用卡车自动驾驶技术的兴起,使得矿区道路行车障碍物检测变得至关重要,基于深度学习的目标检测模型应用于矿区道路障碍检测取得了显著的效果,为矿用卡车自动驾驶技术的完善提供了可能。为解决现有模型应用于矿区障碍物检测,往往存在算法庞大与部署成本较高的问题,提出一种面向边缘计算平台的改进YOLOv8矿区道路障碍检测模型,该模型针对资源有限的边缘计算设备进行优化部署,以实现对障碍物的快速、精准检测。该模型在特征提取阶段,引入深度可分离卷积和通道注意力机制,提高模型对障碍物整体特征提取能力,从而提升对不同尺寸障碍物的检测精度;特征融合阶段采用BiFPN网络结构,轻量化颈部网络并自适应地调整融合权重,减少冗余信息,提高特征的表达能力;使用局部卷积PConv对检测头进行重新设计,减少网络参数量以提高检测效率;最后,通过引入Inner-CIoU函数对边界框损失进行优化,加快模型收敛速度并提升边界框定位效果。实验结果显示,该网络在所使用的矿区障碍物数据集上,mAP@0.5仅下降0.05的前提下,模型参数减少了44%,推理时间缩短了34%。相比其他轻量型检测网络,该模型在实验硬件设备上的检测速度更快,且在精度和轻量化之间实现了更好的平衡,为障碍物检测模型的实际部署提供了可行方案。

摘要：针对传统岩性识别依赖人工经验、主观性强、耗时耗力的问题,提出了一种基于介观岩石图像深度学习的现场岩性智能识别方法.采用卷积神经网络并结合迁移学习方法,构建了岩性识别模型.采用身份采样器以多样化的方式选择样本构建训练批次,保证了模型不会偏向数据量较多的样本,提高了推理的准确性.将经过训练的Pytorch模型转换成ONNX模型部署到便携式设备上,设计和开发了一款专用于岩性识别的软件.在此软件中,电子放大镜可用于拍摄介观岩石图像,实现了对岩石岩性的准确判识.研究结果表明,该方法的识别准确率最高可达99%,可满足地质调查人员在野外作业中快速获取岩石岩性的需求.

摘要：为了实现快速和自动的车辆外观检测,提出一种基于深度学习的车检图像多目标检测与识别方法。首先,采用轻量级神经网络YOLOv3实现车检图像中车头、轮胎、车牌及三角形标志的检测与识别;其次,采用多任务级联卷积神经网络实现车牌4个关键点定位;再次,利用车牌4个关键点坐标,结合目标车牌图像高宽先验,通过透视变换对车牌进行校正;最后,设计卷积神经网络实现车牌底色分类,同时设计卷积循环神经网络,实现车牌字符识别。实验结果表明,在816×612的车检图像上,该方法中端到端的多目标检测与识别的平均精度达98.03%;为便于在车检场景下应用该模型,利用阿里巴巴推理引擎将模型部署到CPU端,使多目标检测与识别的平均速度达10帧/s,从而满足车检的应用需求。

摘要：针对之前知识蒸馏算法忽略了对背景的蒸馏以及未对前景的重要性进行区分的问题,提出一种用于平衡教师网络前景信息与背景信息的带权掩膜。通过对前景与背景的重要程度进行区分,保留部分背景知识帮助学生网络学习教师网络的泛化;对前景知识的重要程度进行区分,让学生网络知道学习的重点,更好学习教师网络的知识。基于Yolov3模型在COCO2017数据集上进行蒸馏训练,在模型参数量没有提升的前提下检测精度mAP从0.247提升到0.436。