芯片利好最新消息平头哥与英伟达并驾齐驱各自在MLPerf基准测试中占据第一位置
深声科技语音播放文章内容：MLPerf Inference v0.5基准测试结果公布，平头哥和英伟达竞争激烈
雷锋网报道，本周，机器学习性能评估组织（MLPerf）发布了第一个MLPerf Inference v0.5的官方结果，这是该组织推出的一项用于衡量各种加速器和系统执行训练后的神经网络速度和效率的机器学习推理基准测试。尽管这个基准测试还不成熟，但它已经吸引了行业巨头公司的广泛关注，并且平头哥与英伟达在成绩公布后纷纷宣布各自获得了第一。
自去年初成立以来，MLPerf一直在稳步建立其机器学习Benchmark。为了让机器学习处理器的基准测试像CPU那样成熟，该组织囊括了包括英特尔、NVIDIA、Google和百度等知名企业。在技术上讲，MLPerf基准测试仍处于初期阶段，它们甚至还没有完成，但该组织的成果却引起了巨大关注。
早在6月份，该组织就发布了第二个基准测试集MLPerf Inference v0.5。这是以图像分类（ResNet50）、对象检测（ResNet34）和机器翻译任务（GNMT）为例子的通用方法，以测量各种加速器和系统执行训练后的神经网络速度和效率。尽管当前版本仅涵盖5个网络/基准，并且还没有功耗测试指标，这对于衡量整体能源效率至关重要，但这次首次公开结果依然吸引了主要芯片公司的大力参与。
实际上，在本轮申请工作结束时，近600份提交结果远超出了预期，全新基准测通常需要一段时间才能建立新的行业标准。这更能说明业界对MLPerf的期待，以及推理芯片数十亿美元市场将继续快速增长。
随着第一轮申请工作完成，MLPerf现在发布其Inference v0.5官方结果，不过只有大多数主流芯片公司都在发布与结果相关公告或新闻稿。说实在的，这些提交分布在40种不同的测试中，每个人都可以找到成功方案，无论是在总吞吐量、延迟还是每个加速器吞吐量方面。这并不是真正意义上的基准标准，也不是芯片公司所为，而只是提醒，即使初始版本足够广泛，也能够涵盖很多用例，更尤其是在专用加速者情况下，它们通常针对特定用例进行优化。
作为更新，加强版v0.5分为五个核心标准，其中两个标准实质上是其各自主标准移动衍生产品。目前这个套件包含桌面/服务器版本涵盖图像分类、对象检测以及语言翻译任务。此外，还提供四种方案：单路、多路、服务器及离线模式，将方案分解为终端及服务器平台两部分，从而形成相应平台两种最常见方案之一。
更进一步地，加强版提供两个“分区”：封闭分区及开放分区。在封闭分区内，“苹果对苹果”形式操作，对于重新训练或修改权重有严格限制；而开放式则允许较大的灵活性，让硬件厂商展示最佳解决方案及其独创性创新能力。
深入研究这些初步数据显示，大多数类型处理机构系收到了正式意见，其中包括CPU到FPGA、DSP及专门ASIC等领域代表团队提交自己的成果。显著的是，一位代表指出，他们收到了除了神经形态及模拟系统以外几乎所有类型处理机构系成果。而当然会有许多大型企业代表参加，如NVIDIA GPU,NVidia TPU, Intel CPU 加速设备以及 Habana Labs Goya 加速设备即使进入封闭环境也出现了一些意外惊喜，比如 Raspberry Pi 4 和阿里巴巴含光800 加速设备的情况亦如此。
总结来说，我们不会详细剖析大量数据，因为意味着非常多样化比较。但更重要的是缺少功耗考察意味着我们无法直接计算能效表现。但总体来看几乎每家硬件制造商都可能取得某类别中的胜利。在离线模式下，看到了 Google 从1 TPUv3 到32 的拓展性实现接近完美效果；NVIDIA Tesla 加速卡在一些项目中名列前茅；Intel 在 CPU 中保持领先位置；而高通骁龙855 在正式榜单中同样超过 SoC 模式。
关于 ML Perfs 推理性能之首批成绩，不会成为推理性能最终排名。在开发过程中 ML Perfs 组织仍努力完善，以添加更多其他网络类型，如语音识别等任务。此外，该组将增加功耗考察，以便每个人看到他们设计如何从电源角度表现，因为电源效率往往成为部署规划最大考虑因素。
尽管这些早期版本 ML Perfs 还未达到目标，而且正在不断添加优化，但是对于硬件制造商来说，他们现在知道自己与竞争者的位置比参数更加关键的是这种开启性的特点意味着还有大量空间来优化它们以准备未来检验，并设计更好的新硬件客户(其中许多人就在 ML Perfs 委员会成员)希望进展快，所以既然第一个成绩已出炉，现在制造商可以专注于产品并了解如何进行下一轮正式检验。
最后，从长远来看，在未来几年内 ML Perfs 基础设施将趋向稳定（该组织目前尚未估计何时准备好1.0 版本），这也意味着这个基础设施将变得更加可靠并易于使用 ML Perfs 组织已经发表评论说，他们计划开发移动应用程序以加快智能手机等智能设备上的试验，同时我们期待桌面基础设施状况日益完善。如果运气好的话，我们很快就会把这些基础设施转换到我们的实验室中，将这些试验转换为有意义的心得，以比较消费级硬件激动人心时刻即将到来！
雷锋网编译 via anandtech
雷锋网
