摘要：针对卷积神经网络(convolutional neural network,CNN)在存储和计算资源有限的边缘设备中难以部署应用的问题,提出一种基于损失变化的混合精度量化方法,以低位宽定点数代替全精度浮点数进行运算,降低网络所需资源。根据每个量化层的一阶和二阶信息指导位宽分配,采用K-means方法将量化层聚类成块,降低位宽策略搜索空间。提出一种自适应搜索方式,根据历史策略训练结果自行调整搜索状态。重新整合量化训练过程,减少传统量化训练中计算量。实验结果表明,采用所提方法可在CNN模型推理损失精度较小的前提下,有效压缩模型。

摘要：为了解决已有卷积神经网络(convolution neural networks,CNNs)加速器,因无法适应混合量化CNN模型的计算模式和访存特性而引起加速器效率低的问题,设计了可适应混合量化模型的可重构计算单元、弹性片上缓存单元和宏数据流指令集。其中,采用了可根据CNN模型结构的重构多核结构以提高计算资源利用率,采用弹性存储结构以及基于Tile的动态缓存划分策略以提高片上数据复用率,采用可有效表达混合精度CNN模型计算和可重构处理器特性的宏数据流指令集以降低映射策略的复杂度。在Ultra96-V2平台上实现VGG-16和ResNet-50的计算性能达到216.6和214 GOPS,计算效率达到0.63和0.64 GOPS/DSP。同时,在ZCU102平台上实现ResNet-50的计算性能可达931.8 GOPS,计算效率可达0.40 GOPS/DSP,相较于其他类似CNN加速器,计算性能和计算效率分别提高了55.4%和100%。

摘要：针对毫米波大规模MIMO(Multiple-Input Multiple-Output)系统能量效率低下的问题,提出一种基于混合精度移相器量化的混合预编码设计方法.首先考虑到系统能量效率闭合表达式难以直接求解,通过Dinkelbach方法将能量效率优化问题转换为范数最小化的形式,然后将其进一步解耦为混合预编码矩阵和混合精度移相器量化配比问题,实现非凸能效低范数和的凸优化转化,最后通过引入酉矩阵松弛恒模约束求解混合预编码矩阵,并采用增量搜索算法求解混合量化移相器精度配比向量,从而实现系统能量效率最大化.仿真结果表明,所提出的混合精度量化算法的系统频谱效率优于传统单精度量化算法,且具有更高的系统能量效率.同时,当多数据流传输时,所提出混合精度量化结构的系统性能接近全数字结构.

摘要：量化是压缩卷积神经网络、加速卷积神经网络推理的主要方法.现有的量化方法大多将所有层量化至相同的位宽,混合精度量化则可以在相同的压缩比下获得更高的准确率,但寻找混合精度量化策略是很困难的.为解决这种问题,提出了一种基于强化学习的卷积神经网络混合截断量化方法,使用强化学习的方法搜索混合精度量化策略,并根据搜索得到的量化策略混合截断权重数据后再进行量化,进一步提高了量化后网络的准确率.在ImageNet数据集上测试了ResNet18/50以及MobileNet-V2使用此方法量化前后的Top-1准确率,在COCO数据集上测试了YOLOV3网络量化前后的mAP.与HAQ, ZeroQ相比, MobileNet-V2网络量化至4位的Top-1准确率分别提高了2.7%和0.3%;与分层量化相比, YOLOV3网络量化至6位的mAP提高了2.6%.