NVIDIA выпустила речевую модель Nemotron 3.5 Transcribe с открытым весом: 40 языков с 463 062-часовым аудио-набором данных
NVIDIA выпустила Nemotron 3.5 Transcribe 28 октября, речевую модель с открытым весом, которая сочетает в себе многоязычную транскрипцию, атрибуцию громкоговорителей, перевод и аудио-вопросы. Наряду с этим компания выпустила Granary v2, открытый набор речевых данных и кураторский конвейер, публичный манифест которого охватывает 463 062 часа аудио на 48 языках.
Согласно объявлению NVIDIA, модель транскрибирует 40 языков, переводит 31 из них на английский или с английского и присваивает динамикам 13 языков; она обрабатывает записи длиной до одного часа и маркирует до восьми динамиков. Модель использует 34-миллиардный гибридный декодер смеси экспертов (30B-A4B), который активирует примерно 4,3 миллиарда параметров на токен, и суда в квантованных весах BF16, FP8 и NVFP4.
NVIDIA говорит, что модель занимает первое место среди моделей с открытым весом на английском лидборде Hugging Face Open ASR со средней частотой ошибок слов 5,33%, а связь для первой среди моделей с открытым весом на искусственном анализе речи к тексту составляет 2,8%.
Весы выпускаются под лицензией OpenMDW-1.1 для коммерческого или некоммерческого использования и доступны через Hugging Face, GitHub через NVIDIA NeMo Speech, NGC и build.nvidia.com. Конечные точки размещения предлагаются Baseten, DeepInfra и Simplismart с интерактивными демо-версиями на Hugging Face Spaces и ModelScope Studios.
Выпуск представляет собой речевую модель, отличную от более ранних моделей мультимодальных агентов NVIDIA Nemotron. Транскрипция речи является общим строительным блоком для приложений супер-интеллекта (SI), включая заметки о встречах, звонки в службу поддержки клиентов и подписи в СМИ.
Источник: GSM · Соединённые Штаты (Английское издание · Оригинальное китайское издание)
Фото: 图：英伟达位于加利福尼亚州圣克拉拉的总部大楼。CC BY-SA 4.0，经 Wikimedia Commons。 / Photo: NVIDIA headquarters in Santa Clara, California. CC BY-SA 4.0, via Wikimedia Commons.
