NVIDIA Nemotron 3.5 Transcribe Open-Weight Speech Model: Transcribe 40 زبان را با 463,062-Hour Audio dataset
NVIDIA Nemotron 3.5 Transcribe را در 28 اکتبر منتشر کرد، یک مدل سخنرانی باز وزن که شامل رونویسی چند زبانه، ارجاع بلندگو، ترجمه و پاسخ سوال صوتی در یک ایست بازرسی واحد است. در کنار آن، شرکت Granary v2 را منتشر کرد، مجموعه ای از سخنرانی باز و خط لوله ای که مانیفست عمومی آن 463،062 ساعت صدا را در 48 زبان پوشش می دهد.
با توجه به اعلام NVIDIA، مدل 40 زبان را به خود اختصاص می دهد، 31 زبان را به زبان انگلیسی ترجمه می کند و سخنرانان را به 13 زبان نشان می دهد؛ ضبط تا یک ساعت طولانی و برچسب تا 8 سخنران. این مدل از یک مخلوط هیبریدی 34 میلیارد پارامتری استفاده می کند که شامل رمزگشایی (30B-A4B) می شود که تقریبا 4.3 میلیارد پارامتر در هر توکن فعال می شود و کشتی ها در BF16، FP8 و NVFP4 وزن را تحمل می کنند.
NVIDIA می گوید که مدل اول در میان مدل های باز وزن در Hugging Face Open ASR English Leaderboard با میانگین خطای کلمه 5.3٪ و روابط برای اولین بار در میان مدل های باز وزن در تجزیه و تحلیل گفتار به متن مصنوعی در 2.8%.
وزن ها تحت مجوز OpenMDW-1.1 برای استفاده تجاری یا غیر تجاری آزاد می شوند و از طریق Hugging Face، GitHub از طریق NVIDIA NeMo Speech، NGC و build.nvidia.com در دسترس هستند. نقاط پایانی میزبان توسط Baseten، DeepInfra و SimpliSmart با نسخه های تعاملی در Hugging Face Spaces و ModelScope Studios ارائه شده است.
این انتشار یک مدل خاص گفتار است که از مدل های عامل چند منظوره Nemotron قبلی NVIDIA متمایز است. رونویسی گفتار یک بلوک ساختمانی مشترک برای برنامه های فوق هوش (SI) است، از جمله یادداشت های جلسه، تماس های مشتری و رسانه ها.
منبع: GSM · ایالات متحده (نسخه انگلیسی · نسخه اصلی چینی)
عکس: 图：英伟达位于加利福尼亚州圣克拉拉的总部大楼。CC BY-SA 4.0，经 Wikimedia Commons。 / Photo: NVIDIA headquarters in Santa Clara, California. CC BY-SA 4.0, via Wikimedia Commons.
