V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member  Sign In
爱意满满的作品展示区。
xuxin123122

[开源] 只需一张图片,助你打破次元壁,实现和任何想聊天的角色对话,支持音色复刻、角色预设

  •  1
     
  •   xuxin123122 · 9 days ago · 1066 views

    大家好! gpt image 2 的生图效果已经可以以假乱真,基于图片,我们的项目 OpenTalking 利用 soulx-flashtalk-14b 模型可以实现可动的对话交互。 GitHub 地址: https://github.com/datascale-ai/opentalking

    OpenTalking 默认 avatar 模型是 flashtalk ,为了帮助大家快速体验,整条链路只需要本地部署 一个 模型服务( FlashTalk WebSocket ); LLM 、STT 、TTS 全部走阿里云百炼 API ( OpenAI 兼容端点 + DashScope 实时 ASR/TTS ),也可无痛切换为自己启动或者 OmniRT 部署的自定义模型服务。完整安装说明、模型权重下载和分布式部署见 docs/quickstart.md 、docs/deployment.md 和 docs/hardware.md

    开箱即用的实时链路:从 LLM 回复、流式 TTS ,到字幕事件、状态事件和 WebRTC 播放,全部在一条链路中完成。

    除了对话之外,电商带货、新闻主播、创意演唱/模仿秀都可实现,您可以开发更多的模式。

    话不多说,上图 OWO:

    (炉石酒馆鲍勃) https://i.imgur.com/GWDcF9t.png

    (初音未来 Miku ) https://i.imgur.com/MtgAwSK.png

    项目基于 Apache License 2.0 协议开源,欢迎大家来跑一跑,提提 Issue 或者 PR !本项目仅用于学习研究,请勿用于违法犯罪。

    xuxin123122
        1
    xuxin123122  
    OP
       9 days ago
    xuxin123122
        2
    xuxin123122  
    OP
       9 days ago
    图片在帖子里看不到 QAQ
    xuxin123122
        3
    xuxin123122  
    OP
       9 days ago
    xuxin123122
        5
    xuxin123122  
    OP
       9 days ago
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   3725 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 26ms · UTC 10:39 · PVG 18:39 · LAX 03:39 · JFK 06:39
    ♥ Do have faith in what you're doing.