撸了日本小电影提取字幕并翻译的工具

[Brightt]

撸了个提取视频字幕并用大模型翻译的工具，专门针对日语优化，支持 Windows 和 macOS （ M 芯片）： https://github.com/cddqssc/Caption-Trans

如图，帮我的一个朋友翻译了一部番号为 ipx-726 的日语片，效果非常哇塞


利用 whisperX 的词级时间戳针对日语进行优化，其他语言保持 whisperX 的基本水准，比 whisper 强。
转录自动识别 GPU 加速
推荐使用 gemini flash lite 系列模型，速度快价格便宜，还能翻译敏感词

翻译是先让 AI 总结全文，然后再逐批让 ai 翻译，每批有上下文关联

效果实测不错，有些模型还能翻译出非常下流的语句

[frankkly]

可以不可以开发一个 Chrome 插件，支持 MISSAV 在线实时翻译

[kimzn33251]

挺有趣的

[Brightt]

@frankkly 兄弟别看 missav 了，片源画质太差了

[wyattyhh]

@Brightt 那么问题来了，哪个好

[Brightt]

@wyattyhh 下载到本地看，在线的画质压缩的都严重

[xiangran0028]

感谢 OP ，解决了我空闲学习日语的难题。

[burp2019]

一大早，来学习姿势了，居然支持 GPU 加速

[shenhualv7]

我看都是无字幕的呀，哪里有带字幕的片源

[icetea66]

@Brightt #3 就那几分钟的事儿 画质无所谓

[Brightt]

@shenhualv7 不用带字幕，工具可以帮你提取出来

[Brightt]

@icetea66 高清的毛孔都能看见

[frankkly]

@Brightt #5 曾经我有四五个移动硬盘，每个都是 4T 的，累了，现在只看在线的，再高清的也就是让我爽 5 分钟而已

[shen13176101]

666,从 ai 开始前我就一直想实现这个功能，当时一直没成功，今天终于见到这个功能了

[q2316367743]

这必须要点个赞，下载去试试去

[goodryb]

支持本地模型吗，Google 总是会麻烦一点

[Brightt]

@goodryb 支持的，只要兼容 openai 接口的都行

[goodryb]

@goodryb 看到了，有 ollama 666

[sevenyangcc]

@Brightt #11 不如 720p 的朦胧美，4K 60 帧的只能把演员的缺点暴露得更明显。

[yuwancumian27149]

市面上一大堆支持 emby 、jellyfin 、plex 的播放器，如果哪款播放器播放日本电影的时候能像油管或者 b 站一样支持显示实时字幕就好了......

[licoycn]

🐮🍺

[aero99]

人才，正好缺少这个

[Atlas058]

@Brightt #11 还是朦胧美好，想象空间更大，太高清反而失去真实感

[saaak]

@wyattyhh jable 的画质感觉还行

[uxstone]

之前看到过有个网站的进度条会显示哪个时间段用什么 doi 姿势

[saaak]

@uxstone p 站就有

[gy0624ww]

如果有实时更换配音就好了，可以御姐音，萝莉音。

[FakerLeung]

果然黄才是第一生产力

[NafIyIz]

感觉还是太麻烦，楼上说的对，感觉来了还得忍着整这个，不如在线的直接翻译。

[GodSppp]

牛逼牛逼, 下班回去试试

[Sendya]

果然搞涩涩才是第一生产力

[darksword21]

AI 就该这么用！

[sevenyangcc]

@Atlas058 #22 下过一次 VR ，我的天，差点 ED~~

[ala2008]

下载到本地的一般都出了很久吧，字幕肯定有了。刚需是在线刚出的

[kcerty]

@sevenyangcc #32 那么夸张啊。。。其实一点轻微朦胧还挺好的，挺清晰了反而没那么好看，缺点全部暴露出来。。

[fenfire]

已经用 vivo 手机的实时翻译看了，那个都不用字幕，直接音频翻译

[vaily]

兄弟牛逼，做了我想做的事👍
可以考虑加上 cli 版本，方便集成在自动化工作流里

[zmqking]

@frankkly chrome 自带有翻译

[PC9528]

@yuwancumian27149 potplayer 支持实时字幕的(还支持翻译), 不过本质上还是用 whisper 实时转录

[johnwonderful]

666

[xrxsh]

直接去色花堂下载中文字幕版本的呗

[sola97]

我最近也搞了个用于翻译直播的，用的 qwen3-asr ，本地 gpu 推理，就是延迟有点大

[FlechazoQaQ]

你做得好你做得好啊！！！

[Brightt]

@xrxsh 很多都没有，VR 更是基本没有

[Chicagoake]

@xrxsh 有些片子没中文字幕，或者要等很久的。不过一般有资源流出，很快就有中文字幕了。

[myarsenal]

如果没有日语字幕的能听译吗

[Brightt]

@myarsenal 可以的，有声音就行

[jpyl0423]

有能在 wsl 里运行的包吗

[faceRollingKB]

秀

[ShawnShi]

大善人

[shadowking]

666 ，收藏了

[Rat3]

@uxstone

pron 就行（ dog style ）

[Adyun]

行 现在字幕解决了 期待 AI 配音

[dengji85]

@Brightt 下载太慢了，需要先在线预览后才能决定要不要下载

[Brightt]

@dengji85 搞个 115 ，我这千兆宽带，能跑满，5G 的视频基本一两分钟

[andyskaura]

上周才造的轮子 https://v2ex.com/t/1199549 太卷了点

[piaorenyong]

能不能加上中文配音

[FarAhead]

先翻译一部试试

[Kenopsia]

科技改变生活！

[FreshOldMan]

牛逼啊，真直击用户需求

[huyiwei]

测试的时候废了不少纸吧

[Brightt]

@huyiwei 是废了点纸

[kiii]

反正也是麻烦，不如用 TTS 直接把日语翻译成中文语音，那多开心

[czlccczc]

videocaptioner

[um1ng]

[Tesla9527]

nice

[zuou]

字幕翻译这个我之前也研究过，后来发现全部上下文直接发给 Grok ，让翻译好按格式返回效果更佳，不用批次翻译了

[tc5156]

我回去试试，感谢老铁

[yanlaz]

@sevenyangcc 还是清晰的好看，好看的会更好看，有真实感，我就不喜欢带太大滤镜的，现在拍的清楚的 4K 其实也不多

[0747916]

科技改变生活

[nocmt]

实时字幕： https://subflowai.nocmt.com/
音视频生成字幕： https://apps.nocmt.com/miman/

[andrew2558]

印证了那句古语：色色才是第一生产力

[pandoudousteve]

科技改变生活，兄弟你高低应该去 javbus 发个帖

[k4x7UW92WE8]

有没有可以平替 miraa 的工具

[r6cb]

什么时候加去码功能

[kcerty]

@yanlaz 推荐推荐好看的

[Nyeshuai]

@sevenyangcc #18 一样的感觉，一般演员扛不住这种距离～牙齿深处黑的、黄的，痔疮颗粒，鸡皮肤，一被吸引力注意力就倒胃口。

[swananan]

已经 star 了，能支持 codex 或者 cc 这种 agent 的使用方式吗，而不是 api

[junas7]

很不错，强！
但是 Windows 版本首次启动安装依赖好像安装到 C 盘了，我以为会是项目目录。

[msn1983aa]

果然 GHS 才是推动技术进步的动力

[Brightt]

@junas7 是的兄弟 我是用的 flutter 获取标准的应用数据路径

[crocoBaby]

这才是让技术变得有意义

[Daniel0829]

太牛逼了

[feidao158]

让我想起来了我之前的一个想法，有个匹配该类视频字幕的网站，SubTitle Cat ， 之前我的想法是从视频里面提取出来音频 然后再从音频里面提取出来日文字幕 再根据这个日文字幕内容匹配出来对应的番号，根据番号再找对应的中文字幕，不知道这种有没有什么好的实现方式

[Brightt]

@feidao158 这种可能要有一个庞大靠谱的对比数据库才行

[Hajar123]

下载好像有点问题

[feidao158]

@Brightt 因为我的视频都在 nas 上面，如果这个工具能够以一个脚本或者之类的方式运行，然后自动下载到对应目录下的文件就好了， 比如原视频是 xxx.mp4,然后通过这个 ai 工具匹配出来自动在同级目录下有了 xxx.ass 之类的，这样视频播放器就能自动匹配上这个字幕文件

[Brightt]

@Hajar123 我正在弄一个中国大陆源，不需要翻墙就能安装环境

[goodryb]

本地模型有测试过哪个翻译效果好点么，我用 qwen3 8b 感觉像是直译的，准确度不够高； 另外这个每次翻译 x 条字幕，是会带上下文么，设置大一点效果更好？

[saaak]

@feidao158 #86 下载的视频都不带番号吗

[feidao158]

@saaak 视频都是从一些三方磁力网站下载的，目前是卡在怎么精准的将对应的番号提取出来，我目前想到的是从对应下载目录或者视频文件名中通过正则匹配出来对应的精准番号，比如原文件名可能是 xx 娱乐网 @xdd-w44.mp4 这种的，不过这种精准度不好保证啊

[xwhxbg]

英雄，其实我真的只拿来看生肉日本电影和动漫，绝不是看 JAV

[Brightt]

@goodryb 带上下文，设置大比较费 token ，质量也不会显著提升，我测试过几种方案。目前默认这种就是我自己比较满意的

[Brightt]

@xwhxbg 你兄弟看是吧

[saaak]

@feidao158 #90 我现在用的 jellyfin 安装 metatube 插件，对小日子的片子刮削挺准的，大部分情况下不用手动修改。你可以看看这个项目怎么做的（ https://github.com/metatube-community/jellyfin-plugin-metatube ）

[feidao158]

@saaak 好的 感谢老哥，我研究看下，我另外一个想法是通过 ffmpeg 截取视频关键帧，通过这个来识别，不过就跟 OP 说的一样 这个也需要一个庞大的数据库，这个也没有什么公开的 API

[niubi666wodebody]

6666

[niubi666wodebody]

有去码软件吗

[ccvip]

谢谢兄弟，我这里有很多的剧场版和学习资料，迫切需要。 另外，有没有可能研发个根据字幕 AI 配音的插件[doge]

[ireqhawk]

@feidao158 你的文件名里应该已经有番号信息了，为什么要舍近求远从字幕内容去分析. 同系列的影片对话应该都大同小异,不好区分

[feidao158]

@ireqhawk 因为视频下载的来源是四面八方，文件名有可能是个广告或者夹杂着广告的乱七八糟的名字，而我要找出来这一堆信息里的正确的番号再去字幕 api 搜索，我举个例子下载的文件名可能是 [e-mail]4,我需要找出来其中的 abc-edfh ，再拿着这个信息去匹配字幕 api