●独裁背景下荒诞闹剧 浅析AMD退出BAPCo

    测试软件界最近因为AMD宣布退出BAPCo组织事件而掀起了大浪。AMD宣布，作为退出行动的一部分，他们不再支持将该组织制作的 Sysmark2012软件作为PC产品导购的指导性测试软件。不过，这次AMD的官方声明只不过是事件的冰山一角，整个事件的规模要比看上去得还大得 多。AMD其实并不是第一个退出BAPCo组织的成员，在他们之前，CNET,Computer Shopper，VNU,ZDNet等公司也已经在一年的时间内先后退出了该组织。

BAPCo是什么样的一个组织？

    恐怕读者未必都能了解BAPCo的性质，因此这里我们要简要介绍一下BAPCo的内部机构。BAPCo是“性能测试应用公司”（Benchmark Application Performance Corporation）的简称，这是一个由多家公司组成的协会组织，参与该组织的成员公司可以就测试软件的编制提出自己的意见，然后再由全体成员投票决定是否采纳这些建议。根据我们得到的线报显示，Intel似乎已经获得了BAPCo组织内部的极大控制权，而来自Intel的开发人员则主导了BAPCo测试程序的编写。根据我们前面对该组织的描述，你可能会认为既然这是一个看上去十分“民主”的组织，那么在这种情况下Intel怎么可能获取这样过大的权力呢？问题就在于BAPCo内部的组织结构与联合国类似，某些大国具备类似“一票否决权”的权力，这样，只要这些“大国”（比如Intel）不想支持某项建议（比如由AMD提出的），那么这项建议就无法在组织中通过。

    AMD为什么要退出？

    根据AMD公司高级副总裁兼CMO Nigel Dessau在其博客上披露，Sysmark测试软件的问题在于，软件所运行的测试不具备典型性，即并不能代表用户的典型应用。

    “虽然Symark2012在宣传时号称使用了18款应用程序并包含390个测试环节，但实际上只有其中的7款应用软件和低于10%比例的测试方法会对最终的测试得分起到主要的影响作用。”

    “实际上，SYSMark2012测试的得分主要是从运行文字识别软件（optical character recognition (OCR) ）和文件压缩软件的过程中系统的性能表现而评估出来的，而这两种应用显然在普通用户中并不常见。”

    “不仅如此，SM2012也未能反映出计算技术的革新，及其可能给普通用户的体验带来的改变。SM2012热衷于运行基于CPU的串行处理应用，而故意忽视了GPU的并行处理应用。尤其糟糕的是，SM2012根本没有将如今已十分流行的GPU加速应用计入性能分值内。”

    从个人角度说，我非常赞同Nigel Dessau关于文字识别类应用应属“非主流”的评论，但是我认为文件压缩应用并不像此君所说的那么“非主流”，我个人就经常运行压缩软件。看起来引发AMD牢骚的主要是GPU对性能提升的作用被完全忽视了。

    另一方面，BAPCo则反诉AMD私自公开BAPCo测试软件的得分生成机制，违反了与BAPCo签订的NDA保密协议。那么我们就来看看AMD公开的BAPCo SM2012软件的算分机制细节：

    “相对于AMD的信口雌黄，尽管他们过去就曾经违反过我们组织的成员协议，但是BAPCo从来就没有以开除为威胁手段来威逼AMD。BAPCo对这种前组织成员再次违反保密协议的行为感到非常失望，他们的目的是劝说用户不要使用SYSMark测试系统的性能表现。而我们则认为在其成员的努力下开发出来的SYSmark2012软件真实地反映出了系统运行测试用软件时的性能表现。”

SYSmark2012到底出了什么问题？

    据AMD副总裁的博客文章称，BAPCo SYSmark 2012软件共有14个应用程序组成，其中有8个具备GPU加速支持功能，但是这8个应用程序对最终测试得分的影响为0.

    从AMD的描述上看，BAPCo SYSmark2012最大的问题似乎是无法正常反应出运行测试程序的系统性能。看过了AMD的说法之后，我们决定自行核对一下SYSmark2012的功能，令我们吃惊的是，如上图所示，你可以看到SYSmark2012测试的绝大部分都是具备GPU加速功能支持的项目。而且有关Firefox 3.6.8的测试更是自09年便发布了支持3D画面显示规范WebGL的beta版本，同时在Flash10.1的支持下还可以利用GPU来硬加速视频和动画播放。

    问题的关键在于，测试的得分加权方法对Intel的产品非常有利。新款SYSmark2012测试软件据称包含了390个单独的测试环节，但是只有其中的10%会对最终的总体得分起到关键作用。

    回想在最近在介绍Fusion系列产品时，AMD曾多次宣称“我们对手的产品在运行SYSmark测试时的得分可能看起来更高，但是我们很怀疑SYSmark2012究竟能否反应普通用户的典型应用行为.”这看起来与Dessau先生的说法一致。AMD一直宣称其Fusion产品在x86核心部分和GPU核心部分的资源分配和性能水平的“平衡性”更优秀，而称Intel的产品过分强调x86核心性能，而GPU部分性能则过于低下。

Nvidia早已抽身而去：

    不过，尽管AMD是掀起这一轮轩然大波的推手，但他们其实并不是首家退出BAPCo的公司。Nvidia在AMD之前就已经脱离了BAPCo组织，在今年6月7日BAPCo发布的一则有关SYSmark2012的新闻稿中，首次没有将Nvidia的名字列在支持列表中。而我们就此事询问Nvidia副总裁Ujesh Desai时，得到的回复则是：“我们是刚刚才离开这个组织的，不过目前我们也只能谈这·么多。”此前曾有传言说Nvidia早在09年就已经退出了BAPCo组织，而Desai的回复则反驳了这则传言。

威盛紧随其后：

    AMD的退出并没有给这次事件画上句号，威盛最近也宣布要退出这个组织。威盛公司的副总裁Richard Brown最近在一份公司声明中说：

    “威盛承认先前有关我们准备退出BAPCo组织的猜测是正确的。我们认为SYSmark 2012 和 EEcoMark 2.0两款测试软件并不能精确地反映出真实的PC应用环境，因此我们决定退出该组织。 ”

    "我们希望测试软件业界能够采取更为开放透明的测试软件研发流程，以便开发出更加公平客观的，可以精确反应出PC机真实性能的测试软件，同时也希望他们能与各大硬件公司展开合作。"

    正如Dessau一年多以前曾经在自己的博客上提出的那样，另外还有一点不容忽视的是，目前SYSmark软件是政府/教育部门选购PC系统的主要测试用软件，在这类市场上的影响力还是比较大的，而使用这种手段来操纵公用测试软件的商业伎俩显然是违反了Intel与贸委会以及AMD之前达成协议的规定。而AMD这次对SYSmark的公开指责，则将这起事件上升到了浪费纳税人钱财的敏感高度。

究竟应该选用什么样的软件进行性能测试？

    由于SYSmark软件的局限性，以及这款软件对系统配置的一些古怪要求（比如一定要求使用美式英语布局的键盘），我们一向不推荐使用这款软件，即使偶尔使用，也会告知读者这款测试程序实际的测试内容。从公平的角度说，任何一篇测试文章都应该使用多款测试软件进行测试，而非仅仅使用某一款测试软件。

    我们的测试标准是，尽量使用实际常用的软件来进行测试，偶尔使用一些合成了多款软件的测试工具，也会尽量选择那些测试方法和计分方法完全透明公开的合成测试软件，比如：

ElcomSoft公司：Phone Password Breaker, Wireless Security Analyzer
FinalWire公司：AIDA64
Futuremark公司：3DMark, PC Mark, Peacekeeper
Google公司：V8 JavaScript脚本引擎
Maxon公司：Cinebench
Rightware公司：BaseMark, BrowserMark, SimulationMark
SiSoftware公司：SiSoft Sandra

    现在剩下的问题是，当BAPCo变成独裁者一个人的组织，那么软件的开发如何进行下去？又该如何保证测试软件的中立性？按照我们主编的话讲：“在测试软件方面，我更愿意选择Futuremark公司的产品，这家公司的测试软件经常会被AMD,Nvidia或者Intel喷，这才是测试软件中立性的最好证据。”

    入选理由：惹不起我躲得起。