Spacemit是个偏科生?

我发现Spacemit在官网上发布的AI量化模型不错,但是他们好像低估了数据标注质量的高低也将极大地影响运行速度。

举个例子:

Spacemit的一款计算机视觉-图像分类AI模型

ResNet50

我提供了一个同类对比AI模型:

ResNet

另外我引入了两个标签文件:

Spacemit提供的标签文件:

synset.txt

我提供的标签文件:

labels.txt

2个AI模型和2个标签文件构成4种组合,识别同一张图片,全程运行时间如下:

ResNet50和synset.txt:
2.047536849975586s

ResNet和synset.txt:
2.358517646789551s

ResNet50和labels.txt:
1.8243775367736816s(最快)

ResNet和labels.txt:
2.2205557823181152s

所以,数据标注的质量也是非常重要哒!

1 个赞

有一件事,模型的名字和模型本身并不唯一对应,比如Resnet50也有很多变体,他们的运行时间当然也不一样,SpacemiT提供了其中的一种,然后希望开发者能够借此发现更多的变体(速度更快当然好了)

1 个赞

不是变体的问题,Spacemit提供的Resnet50是经过他们量化过的,下面是官方的原话:

“我们提供量化好的开源模型,可从 ModelZoo 下载。理论上,[ONNX Model Zoo] 的模型都可以推理,但性能比我们量化的差点。”

因此,可以理解为Spacemit的Resnet50对于Spacemit硬件层来说是最优解。

而我想说的是:不要忽视标签文件的质量,这同样非常重要。这才是重点。

label的质量会影响训练肯定没有问题,但是推理的时候,模型推理完,只是从标签数据中读取最大概率index的标签,不太会影响推理性能。可以详细说明一下,你是怎么用的嘛

请问您是官方的人工智能负责人吗?