V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
这是一个专门讨论 idea 的地方。

每个人的时间,资源是有限的,有的时候你或许能够想到很多 idea,但是由于现实的限制,却并不是所有的 idea 都能够成为现实。

那这个时候,不妨可以把那些 idea 分享出来,启发别人。
sillydaddy
V2EX  ›  奇思妙想

将视频里的人或物线条化的技术,想象它的应用

  •  
  •   sillydaddy · 2020-08-28 08:57:30 +08:00 via Android · 2741 次点击
    这是一个创建于 1575 天前的主题,其中的信息可能已经有所发展或是发生改变。
    现在的深度学习技术,已经能够识别物体并标记,也能改变物体的风格,例如卡通化或线条化?

    设想这样的视频处理技术,将其中指定的物体线条化,其他物体保持原样。
    1. 用深度学习预处理视频,将里面的对象(人或物),提取出来,都线条化,另外储存。
    2. 由人工指定哪些对象需要线条化。
    3. 将原视频中需要线条化的对象,替换为之前存储的线条。

    这种技术的应用场景,我自己设想了一个,就比如展示真实职业场景,发布者可以录下自己的工作时的视频,然后将需要匿名的人或物线条化,保证他们的隐私。观看者只需也只能关注那些需要关注的点。

    所以,小伙伴们认为这个点子怎么样?
    技术上是不是还有鸿沟?
    应用场景还有哪些可以脑洞?
    第 1 条附言  ·  2020-08-28 16:27:01 +08:00
    这个技术的一个关键点就是,部分物体线条化,但其他的物体保持原来视频里的样子。

    想象一下,视频里面,真实的电脑屏幕前,坐着一个线条勾勒出来的人物肖像,而在真实的键盘上敲打着的,是一双线条勾勒的手! 哈哈
    9 条回复    2020-08-31 17:14:36 +08:00
    sjtulyj
        1
    sjtulyj  
       2020-08-28 09:04:40 +08:00
    对于足球的经典进球,可以转化成剪影,让别人去猜
    SeaRecluse
        2
    SeaRecluse  
       2020-08-28 09:22:06 +08:00
    实例分割+LBP 即可
    其实不如直接上骨骼图生成蒙版
    charten
        3
    charten  
       2020-08-28 09:34:15 +08:00
    有个脑洞,就是把人物从复杂背景中抠出来,像 b 站那种弹幕遮罩一样。然后就可以提取视频人物成为序列帧,作为其他视频的素材使用。
    booboo
        4
    booboo  
       2020-08-28 11:04:36 +08:00
    做得好应用场景应该挺多的,我个人的感觉的这种目前大的方向上技术都已经有解决,但是细节方面都不太理想
    nismison2
        5
    nismison2  
       2020-08-28 16:10:28 +08:00
    第一反应是火柴人版 cxk 打篮球( doge
    sillydaddy
        6
    sillydaddy  
    OP
       2020-08-28 16:23:56 +08:00
    @sjtulyj #1 这得看生成剪影的算法了,有的线条化后很好猜。
    @SeaRecluse #2 “骨骼图生成蒙版”是什么意思呢?
    @charten #3 这个比较不好做吧,提取出来的人物,不一定能很好地融合到其他的视频里面去
    @booboo #4 没有仔细研究过,之前只是看过大概的

    @nismison2 #5 是的,不过这个技术的一个“诡异”特色就是,视频里面的人是火柴人,但篮球确实是实拍的篮球,有颜色有光照有透视,想象一下这个情景吧! 这个技术的一个关键点就是,部分物体线条化,但其他的物体保持原来视频里的样子,哈哈。
    zakest
        7
    zakest  
       2020-08-29 15:54:34 +08:00 via Android
    这个方向国外已经有大学研究了
    sillydaddy
        8
    sillydaddy  
    OP
       2020-08-31 12:16:33 +08:00 via Android
    @zakest 有没有参考资料啊,可以发一下吗?感觉这个资料不太好找。
    lingxipaofan
        9
    lingxipaofan  
       2020-08-31 17:14:36 +08:00
    识别人物骨骼,根据骨骼生成线条,再把原来视频里的人物抠掉,抠掉的缺损部分尝试修复,再把生成的线条叠加到帧
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1010 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 29ms · UTC 22:49 · PVG 06:49 · LAX 14:49 · JFK 17:49
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.