江苏龙网

  1. 首页 > 人文 > >

人工智能AI基准测试MLPerf模型少、更新慢，地平线提出的MAPS会更好吗？ | CCF-GAIR 2020


AI算法的算力需求与AI芯片算力增长之间的差距有多大？从增长的速度看 ， AI算法的算力需求每年是指数级的增长 ， 但AI芯片的算力只能以倍数增长 ， 且难度越来越大 。 这是业界都非常关注的问题 ， 本月的CCF-GAIR 2020峰会AI芯片专场上 ， 六位大咖都提到了这一挑战 。
因此 ， 无论是从AI芯片长远的发展还是促进AI芯片更好落地的角度 ， 业界都期待有一个公认的AI芯片Benchmark（基准测试） 。 2018年 ， MLPerf组织成立 ， 为了让MLPerf能够像成熟的CPU、GPU的Benchmark一样 ， MLPerf囊括该行业中绝大部分知名企业和机构 。 推出两年的MLPerf还不够成熟 ， 但包括英伟达、谷歌、阿里巴巴在内的大公司都乐于用最新版本的MLPerf基准测试成绩强调其产品实力 。
不过 ， 地平线联合创始人兼技术副总裁黄畅在中国计算机学会（CCF）主办 ， 雷锋网、香港中文大学（深圳）联合承办 ， 鹏城实验室、深圳市人工智能与机器人研究院协办的CCF-GAIR 2020 峰会AI芯片专场的演讲中指出 ， MLPerf有模型更新慢、模型少、模型选择受各种因素影响的挑战 。 他也首次提出了新的方法用以评估芯片的AI真实性能——MAPS (Mean Accuracy-guaranteed Processing Speed ， 在精度有保障范围内的平均处理速度) 。
MAPS是评估AI芯片真实性能更好的方法吗？
人工智能AI基准测试MLPerf模型少、更新慢，地平线提出的MAPS会更好吗？ | CCF-GAIR 2020
本文插图
地平线联合创始人兼技术副总裁黄畅
MLPerf发展的三大挑战
每类极具代表性的处理器都有常用的性能评估指标 ， 比如CPU用MIPS ， GPU用Texture和Pixel评估性能 ， 高性能计算用浮点运算速度TFLOPS（Floating-point operations per second ，每秒浮点运算次数） 。 进入AI芯片时代 ， AI 芯片推理通常不需要浮点计算 ， 而需要大量的整型运算 ， 这样峰值算力TOPS（Tera operations per second ， 每秒万亿运算次数）成为了AI芯片性能指标最直观的参数 。
但问题在于 ， 峰值算力体现的是芯片性能的理论上限 ， 实际使用过程中真正有效的算力与峰值算力差别很大 。 这是因为 ， 芯片的计算架构、带宽、AI算法、数据重用性等问题都会导致芯片算力的有效利用率与峰值性能之间的巨大差距 ， 有时差别可能高达几十倍 。
但有一个业界公认的评价标准又意义重大 。 黄畅接受雷锋网采访时表示：“业界有一个AI芯片的评价标准最重要的意义在于让行业形成一种合力 ， 让大家都有一个相对清晰的目标 ， 容易形成共识、形成协力 ， 健康地推动整个行业向前发展 。 ”
MLPerf在2018年顺势推出了MLPerf Inference v0.5 ， 获得全球芯片公司和知名机构的支持 ，MLPef最新成绩公布总能引发不少关注 。 作为还不够成熟的Benchmark ， MLPerf当然也有很多挑战 。
黄畅指出 ， MLPerf的思路是选定模型比谁快 。 选定的模型要求不管做量化或其他操作 ， 它和原始浮点的精度差异不能超过1% 。 也就是说 ， MLPerf是在保证精度相同的条件下比谁的速度快 ， 模型的选定是一个值得研究的课题 。 不容忽视的是 ， 提交者与组织博弈又带来了模型选择受各种因素影响的问题 。
【人工智能AI基准测试MLPerf模型少、更新慢，地平线提出的MAPS会更好吗？ | CCF-GAIR 2020】
人工智能AI基准测试MLPerf模型少、更新慢，地平线提出的MAPS会更好吗？ | CCF-GAIR 2020
本文插图
与此同时 ，MLPerf模型更新慢（图像分类模型在MLPerf Inference v0.5和MLPerf Inference v0.7没有更新）、模型少（仅有两个图像分类模型 ， 只覆盖了70%和76%两个精度） 。 学术界图像分类 ， ImageNet的主流精度范围在[75%,80%]的问题 ， 这让MLPerf无法及时反映算法效率提升、难以反映各种精度下的速度全貌 。


推荐阅读


上一篇：中年全球区块链高峰论坛暨扬子江区块链国际创新中心揭牌仪式在南京江北新区成功举办

下一篇：互联网微信公众号“问答”具体怎么玩？支持随图文消息一并转发