跳到正文
Hugging Face Blog·· 6 天前AI 评分47

Hugging Face 介绍 VocabX:为小模型定制词表,推理成本降低 77%

How Specializing the Vocabulary of SLMs Can Cut Inference Cost by 77% in Real Applications

AI 导读

Hugging Face 预告 VocabX 论文结果:在生产环境运行的葡萄牙语作文自动评分系统中,基于 Qwen3-4B 定制词表,使 LM head 从约 152,000 行缩减到约 65,000 行,在不改基础模型的情况下将实测推理成本降低 77%。

来源:Hugging Face Blog · huggingface.co