Voice2Sub —— 通过本地Qwen3-ASR大模型转写字幕

wj102901

中秋放假闲来无事，用Qwen3-ASR做了个音频转写字幕的小工具。GUI用的pyside6，模型加载器用的Audio.cpp（vulkan版本，AMD还没有ROCm优化版）。

测试机器：
CPU：AMD RYZEN AI MAX+ 395
GPU：Radeon 8060S
内存：128G（64G划给了GPU）

模型加载器：
audio-v0.8.2-audio8-perf-hotfix-bin-windows-x64-vulkan
audio.cpp下载地址：https://github.com/0xShug0/audio.cpp，根据自己使用的GPU选择合适版本的。

测试用的模型：
语音识别模型：qwen3-asr-1.7b-q8_0.gguf（2.3G）
对齐器模型：qwen3-forced-aligner-0.6b-q8_0.gguf（1.05G）
说话人分离模型：sortformer-diar-4spk-v1-f16.gguf（236MB）
VAD模型：silero_vad_16k.safetensors
以上模型要用audio.cpp的专有gguf格式，下载地址：https://huggingface.co/audio-cpp/audio.cpp-gguf

语音识别模型用来将语音转换为文字。VAD模型负责找到“人声”的起止位置。对齐器模型用来生成精确的时间轴。说话人分离模型用来将长句里面不同人说的话拆分为多条字幕，这个效果不怎么样，所以做成可选项了。核心难点是断句，多番测试下来，还是按说话间隔时间来断句更理想。

整个程序跑起来，显存占用最多7G多一点，所以8GB显存的显卡可以完全在GPU上跑，属于普通人都玩得起的了。速度方面，一条90分钟的音轨六、七分钟就可以跑完。字幕质量方面，感觉还行，90%以上的准确率吧，大家可以多试试，提出优化方案继续优化。









使用很简单，设置好模型的位置和audio.cpp的目录后，选择音轨，点击开始识别就自己干活了。启动后会有个两三分钟进度条没有反应，不要着急，那是在做切片等准备工作。后续的精调建议在Aegisub或srtedit上操作。

游客，如果您要查看本帖隐藏内容请回复

gjp0975

欢迎技术大佬回归，膜拜技术的人。配置的话，cpu、显卡、内存最低是建议什么起步呢。

wj102901

gjp0975 发表于 26-9-27 14:31
欢迎技术大佬回归，膜拜技术的人。配置的话，cpu、显卡、内存最低是建议什么起步呢。 ...

8G显存就可以全部放进GPU了，用CPU也可以跑，内存就要大点，32G往上会好点。

vincent4587

谢谢大神分享

lujun1996

更新试一试看看

lds

大佬，能直接加载已经封装了国语音轨的视频吗。

haoledi888

感谢大神分享！

星月神河

谢谢大神分享字幕软件！

wj102901

lds 发表于 26-9-27 15:27
大佬，能直接加载已经封装了国语音轨的视频吗。

不行，只能加载音轨

gumfifa

音频转写不错，看看识别率如何，感谢

春姨很哇塞

大佬好久不发帖，一发帖必属精品贴，感谢分享技术

zdk961

厉害~~支持~~~

ccfys888

来学习一下，干到老学到老

倾城佳话

看起来很实用的工具！

Ronnie

工具看起来还不错 学习一下 感谢大佬

q776812193

电脑应该勉强够用，32G内存 8G显存，来试试看

q776812193

q776812193 发表于 26-9-27 23:21
电脑应该勉强够用，32G内存 8G显存，来试试看

1小时44分的音轨，5分钟跑完，速度还是很快的