应用介绍
阿里通义千问此次提供了从0.6B到235B的8个尺寸,以及4bit、6bit、8bit、BF16的4种精度,构建了前所未有的精度光谱,直指苹果设备算力差异痛点。具体来看,低量化的4bit版本可以在iPhone等内存有限的设备中流畅运行,而高精度的BF16版本则能够适应Mac Studio等需要更高推理质量的设备。
阿里通义千问此次提供了从0.6B到235B的8个尺寸,以及4bit、6bit、8bit、BF16的4种精度,构建了前所未有的精度光谱,直指苹果设备算力差异痛点。具体来看,低量化的4bit版本可以在iPhone等内存有限的设备中流畅运行,而高精度的BF16版本则能够适应Mac Studio等需要更高推理质量的设备。