V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
这是一个专门讨论 idea 的地方。

每个人的时间,资源是有限的,有的时候你或许能够想到很多 idea,但是由于现实的限制,却并不是所有的 idea 都能够成为现实。

那这个时候,不妨可以把那些 idea 分享出来,启发别人。
malusama
V2EX  ›  奇思妙想

话说我想弄一个识别动漫人物的工具

  •  
  •   malusama · 2018-09-19 13:42:56 +08:00 · 8279 次点击
    这是一个创建于 2250 天前的主题,其中的信息可能已经有所发展或是发生改变。

    目前的想法是根据图片识别动漫人物..因为在 twitter 上经常会分享一些画师的图... 但是自己一段时间没追番会不认得是哪个人物...而且感觉自己经常有需求,就试试能不能实现了

    目前想法是根据深度学习(虽然我不会,但是看起来就这个能够实现的样子)来分类图片 目前用百度的 esaydl 实现了一个 demo

    https://abyss.malu.moe

    目前用到的数据都是自己去 pixiv 根据关键词爬取的..现在大概有 20 多个分类..都是自己喜欢的角色..

    实际上感觉根据图片画风识别画师更实在些...自己训练人物都是认识的识别啥啊..

    41 条回复    2019-06-06 10:55:15 +08:00
    Kagari
        1
    Kagari  
       2018-09-19 13:55:48 +08:00
    ta 不认识你的头像诶
    malusama
        2
    malusama  
    OP
       2018-09-19 13:59:46 +08:00
    Kagari
        3
    Kagari  
       2018-09-19 14:10:42 +08:00
    @malusama #2 抱歉,有延时。score:1.00
    malusama
        4
    malusama  
    OP
       2018-09-19 16:19:22 +08:00
    对了 现在又一个问题就是没办法弄到足够的图片来作为数据...
    目前个人的是去 pixiv 收藏一个人物的图片然后用爬虫下载自己的收藏列表..
    如果愿意提供数据非常欢迎,
    XiaorAx
        5
    XiaorAx  
       2018-09-20 14:48:57 +08:00
    扎心了。。把路飞识别成了 Reg
    msg7086
        6
    msg7086  
       2018-09-20 15:31:21 +08:00   ❤️ 2
    遇上芳文社著名女演员会怎么样?
    ArchiTech
        7
    ArchiTech  
       2018-09-20 15:51:16 +08:00
    我超喜欢你这个想法!完成度也还可以,加油!!!!!
    jswh
        8
    jswh  
       2018-09-20 15:53:51 +08:00
    做识别小姐姐的工具?
    malusama
        9
    malusama  
    OP
       2018-09-20 16:42:45 +08:00
    @XiaorAx #5 现在还没有路飞的数据,如果加上了效果应该会好一点
    malusama
        10
    malusama  
    OP
       2018-09-20 16:45:11 +08:00
    @jswh #8 识别小姐姐的三次元的已经有了...现在在做二次元
    hu5ky
        11
    hu5ky  
       2018-09-20 16:50:40 +08:00
    那你意思是类似人脸识别那样?
    maemolee
        12
    maemolee  
       2018-09-20 19:21:51 +08:00
    我甚至觉得只需要筛选发色、瞳色就能得到近似结果了😂
    malusama
        13
    malusama  
    OP
       2018-09-20 20:09:59 +08:00
    @maemolee #12 这些确实可以作为参数输入,但是识别发色 和瞳色也需要一个神经网络吧
    lht260
        14
    lht260  
       2018-09-21 16:32:43 +08:00
    这个可以,我经常看到些动漫图片,但是不知道是出自哪里,想找到
    hwcj123
        15
    hwcj123  
       2018-09-21 16:59:24 +08:00
    @msg7086 你吼呀
    llrg222
        16
    llrg222  
       2018-09-21 18:00:01 +08:00
    百度识图
    iyangyuan
        17
    iyangyuan  
       2018-09-21 19:11:54 +08:00 via iPhone
    垂直领域的百度识图?
    malusama
        18
    malusama  
    OP
       2018-09-21 20:18:20 +08:00
    @msg7086 #6 已经加入芳文社著名演员的识别了...可以试一下 233
    malusama
        19
    malusama  
    OP
       2018-09-21 20:21:00 +08:00
    @iyangyuan #17 差不多 这个更小众一点
    malusama
        20
    malusama  
    OP
       2018-09-21 22:48:02 +08:00
    因为一些错误,导致不能服务几个小时...
    现在已经可以用了
    kingcc
        21
    kingcc  
       2018-09-22 00:26:01 +08:00
    居然能识别我的智乃酱( ╯▽╰),赞一个…
    Rocinante
        22
    Rocinante  
       2018-09-22 09:19:51 +08:00 via Android
    三笠都没有认出来啊。。
    malusama
        23
    malusama  
    OP
       2018-09-22 10:49:22 +08:00
    @Rocinante #22 还没有加入三笠的数据....如果有数据了应该可以的
    malusama
        24
    malusama  
    OP
       2018-09-23 16:48:48 +08:00
    添加了三笠的数据...不过还没有上线.
    还得等百度的审核...
    malusama
        25
    malusama  
    OP
       2018-09-23 22:05:04 +08:00
    ....又崩了...
    icylogic
        26
    icylogic  
       2018-09-24 20:16:06 +08:00
    有点意思……可以讨论一下

    easydl 这种肯定泛化性会很好,但针对单一类型未必有很好的效果,你用这个做到最后也许不一定能比 Google Image Search 和 iqdb, SauceNAO 效果好。反正你爬的也是 p 站,SauceNAO 和 iqdb 我估计整个 p 站和其他画师网站基本全爬了,你传一张 p 站有的图它经常直接能把 pixiv id 给你……

    做特定业务最好针对场景的特征去寻找合适的网络结构,才有希望比这种一般性的网络效果更好一点。动漫的人物是有一些一般图片没有的特征的(比如锐利的边缘,比如眼睛一般比较大,画面一般主体比较突出),这方面我觉得可以看看 waifu2x,waifu2x 似乎用了一个带反卷积层的 vgg 7 层网络,作者考虑到速度,没有用一些新的 inception、resnet 之类的结构,可以试试这些网络效果会不会好一点。

    不过不知道你爬了多少人,这种如果你根本就没去爬那个角色,怎么样都没法识别出来人名对不对……
    但你可以去想别的方向,比如特征不止人物名字,还有画师啊、番剧啊、萌属性(去爬萌娘百科呗)啊都可以做识别,然后你甚至可以基于这些特征去做推荐算法,比如你贴个英莉莉,然后自动识别出来个“败犬”,然后联想到 015 什么的……
    icylogic
        27
    icylogic  
       2018-09-24 20:26:27 +08:00
    或者用番剧 /漫画做训练,然后识别同人图……

    或者反过来做复杂场景下的检测

    malusama
        28
    malusama  
    OP
       2018-09-24 20:33:25 +08:00
    @icylogic #27 这种范围识别做不到...至少我一个人标注数据太累了...
    malusama
        29
    malusama  
    OP
       2018-09-24 20:37:30 +08:00
    @icylogic #26 其实如果有足够的数据(比如把 p 站全爬了)那么传统的计算机视觉之类的方法就可以了.
    甚至 类似 https://whatanime.ga/ 这种工具实现得也很好...

    网络模型现在我还没具体做...
    malusama
        30
    malusama  
    OP
       2018-09-24 20:38:39 +08:00
    现在 chrome 的插件也实现了下..
    在图片上有右键有选项可以方便的跳转到网站进行识图...刷 twitter 方便很多
    malusama
        31
    malusama  
    OP
       2018-09-24 20:39:20 +08:00
    malusama
        32
    malusama  
    OP
       2018-09-24 20:43:53 +08:00
    @icylogic #26 对了..其实下一步就是根据画风识别哪个画师..感觉这个是可以比较方便获取标注数据的..
    有兴趣吗?
    malusama
        33
    malusama  
    OP
       2018-09-25 19:59:37 +08:00
    V15 上线..增加了一个人物的识别..目前有 40 多个人物
    heasy
        34
    heasy  
       2018-09-25 20:01:26 +08:00
    可以
    malusama
        35
    malusama  
    OP
       2018-09-27 12:29:08 +08:00
    要不要增加库巴公主...
    malusama
        36
    malusama  
    OP
       2018-09-28 15:03:07 +08:00
    有没有人愿意一起来标注数据
    malusama
        37
    malusama  
    OP
       2018-09-29 10:32:45 +08:00
    其实后面我是想分享这部分数据集的...有没有人愿意玩玩?
    malusama
        38
    malusama  
    OP
       2018-09-30 11:49:49 +08:00
    发现上排行榜的画师都不是很高产...所以画师识别暂时搁置
    quwabcxyz
        39
    quwabcxyz  
       2019-01-15 18:43:14 +08:00 via Android
    大工程,有几个思路可以同步进行,一,人工标记,最优状态下,七十亿人口每人花一分钟标记一张图片。但这状态哪怕做到后期也实际利用率也很难达到百分之十。但这个可以形成庞大的必要原始参考数据。二,将图片上的基础元素提取出来,可能有几百亿个元素样板,建立元素数据库。三,识别模板,简化识别成本 ,用不同层级的模板套用要求不同的对象,一方面可以对匹配率达到量化控制。
    深度学习感觉不是个好出路,库和算法都坑爹,需要结合图片来源,没有就捉瞎。
    其实就是机器视觉的内容
    malusama
        40
    malusama  
    OP
       2019-01-16 13:23:20 +08:00
    @quwabcxyz #39 兄弟。。你说到最后不也是识别各种元素么。。最后还是深度学习好用
    fyzhu
        41
    fyzhu  
       2019-06-06 10:55:15 +08:00
    加我 QQ 啊,我感兴趣,740183998
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2306 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 25ms · UTC 01:48 · PVG 09:48 · LAX 17:48 · JFK 20:48
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.