在电影「食神」中，唐牛和史蒂芬周同时选了佛跳墙来争夺食神地位，结果唐牛抗议对方抄袭动作，结果裁判说：「比赛就是这样的！好像跑步游泳一样，还不是你做什麽他就做什麽！有什麽好抗议的？抗议无效！」。同样地，在AI晶片或神经加速处理器（Neural Network Processing Unit, NPU或Deep Learning Accelerator, DLA）领域中，大家也都说自家的晶片世界最棒，对手看不到车尾灯，难道没有一个较为公正衡量晶片运行（推论）效能，就像手机跑分软体一样，让大家比较信服的基准吗？

其实在AI晶片领域中所谓的「效能」，可能因关心的重点不同而会有不同定义和解读。分别可从硬体每秒可执行乘加的次数（又可细分FP32,FP16及INT8等）、对於特定模型在指定推论精度下每秒可执行次数或推论一次所需时间（包含有无模型优化处理）、特定模型推论功耗（推论一次耗费焦耳数）、每瓦特可执行乘加指令次数及其它特定规范时的表现，甚至有用每块美金获得算力来当成基准。所以常会遇到谁也不服谁，老王卖瓜自卖自夸的现象。

目前较被大家接受的就是ML Commons[1]所提出的MLPerf规范，其中包含训练及推论两大项，而推论部份又可细分为资料中心（Datacenter）、边缘（Edge）、行动（Mobile）及微型（Tiny,大多为MCU）。前不久（2023/6/27）才刚公布了Tiny v1.1测试结果报告[2]，其中也包括了台湾新唐科技（Nuvoton）及台湾发展软体科技（Skymizer）提交的亮眼成果。接下来就帮大家解读一下这份报告，让大家能更了解未来单晶片运行AI的方向及可行性。
...
...