V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
Irilsy
V2EX  ›  中州韻

感觉 Rime 的分词和搭配很成问题啊

  •  
  •   Irilsy · 2 天前 · 856 次点击

    如题,用的白霜词库,已经快一年了。虽然一直在用,以前就遇到过这些问题但还能忍受,不过最近经常要写一些东西,这方面的困扰明显严重了很多。


    比如下面这些句子:

    渐渐地就不在意了: jmjmdejqbuzdyile (「不/在意/了」被理解成了「不再/一乐」)

    以前就会这样: yiqmjqhvveyh (「以前/就会」被理解成了「一千九/会」)

    不管怎么使劲都不行: bugrzfmeuijbdzbuxk (「不管怎么/使劲/都/不行」 => 「不管怎么/是/筋斗/不行」)

    无论如何你都不可能再离开这里了: wulyruhenidzbukengzdlikdvelile (「离开/这里/了」 => 「离开/这/离了」)


    还有一些可能有些强求的例子,因为即使是别的输入法也可能处理不好。

    这不是你该管的事情: vebuuinigdgrdeuiqk

    这种方法会更加有用: image.png 之所以会出现「游泳」这个搭配可能跟我之前有一阵子经常打「游泳」有关,但是我觉得连词性都判断不出来也不太正常吧……


    想问问大家有没有什么好的解决办法?

    21 条回复    2024-12-16 16:26:06 +08:00
    noisay
        1
    noisay  
       2 天前
    同感,这个好像几个词库的效果都不是很好
    omz
        2
    omz  
       2 天前 via iPhone
    你之所以用不联网的输入法,不就是因为你能接受这些缺陷吗
    yukino
        3
    yukino  
       2 天前
    Irilsy
        4
    Irilsy  
    OP
       2 天前
    @yukino #3 谢谢老哥,我研究研究。
    NoOneNoBody
        5
    NoOneNoBody  
       2 天前
    好像并没有分词,只是匹配越长优先级越高而已
    我这里(养了多年)可以打出“不在意了”,因为词库中有“不在意”
    billlee
        6
    billlee  
       2 天前   ❤️ 1
    RIME 没有语言模型,根本没有分词的能力
    docx
        7
    docx  
       2 天前 via iPhone
    个人觉得词库从自己用了多年的搜狗之类导出,再适应一段时间,就很可以了。大可不必去用什么所谓的三方库。
    TrembleBeforeMe
        8
    TrembleBeforeMe  
       1 天前
    试试带语言模型的万象拼音 https://github.com/amzxyz/rime_wanxiang_pro
    kimizen
        9
    kimizen  
       1 天前   ❤️ 2
    你挂个云输入法就好了 https://github.com/hchunhui/librime-cloud
    kimizen
        10
    kimizen  
       1 天前
    @TrembleBeforeMe 这个和雾凇比起来如何?
    sinzhishuibie
        11
    sinzhishuibie  
       1 天前 via Android
    用全拼打长句有点给自己找麻烦,我自己打字习惯都是两三个字一打两三个字一打,不管用什么输入法都这样打字
    jiaoyidongxi
        12
    jiaoyidongxi  
       1 天前
    搭车问一下,我在 windows 上的每夜版小狼毫,每次更改配置文件后,手动重启完全没反应,只有重新进入 gui 设置界面,换一下自带默认皮肤才会自己重启生效配置。各位有碰到这种情况吗?
    Irilsy
        13
    Irilsy  
    OP
       1 天前
    @TrembleBeforeMe #8
    @kimizen #9
    感谢两位老哥的推荐,我去尝试一下。

    @docx #7 谢谢哥提醒,突然想到可以把之前用了很久的搜狗个人词库导入进 Rime 。


    @sinzhishuibie #11 只打短语不打句子确实会好一点,但是有时候即使打短语也会有类似的问题(因为即便只有一两个词也可能出现分词错误),而且 Rime 似乎是存在根据词语搭配来调频的策略,打句子都一些时候比打短语会更方便。

    @NoOneNoBody #5 我的词库里面也有「不在意」这个词,不过还是会有问题,感觉可能还是「不再」这个词频太高了。
    TrembleBeforeMe
        14
    TrembleBeforeMe  
       18 小时 7 分钟前   ❤️ 2
    kimizen
        16
    kimizen  
       16 小时 7 分钟前
    @TrembleBeforeMe 如果想加入到覆写里怎么改格式呢?不想直接改动原本的方案,我都用的 custom.yaml
    TrembleBeforeMe
        17
    TrembleBeforeMe  
       15 小时 58 分钟前
    @kimizen #14 那就按 patch 格式加到*.schema.custom.yaml 里
    kimizen
        18
    kimizen  
       15 小时 38 分钟前
    @TrembleBeforeMe 的确,连空格都不用修改直接都 custom 里都可以……现在长句子都非常智能完全不用调整词频……
    Irilsy
        19
    Irilsy  
    OP
       14 小时 37 分钟前
    @TrembleBeforeMe #14 谢谢大佬,这个太强了,我试了很多容易分词错误的或者搭配错误的句子,有一大半加了模型之后表现都好了很多。

    而且感觉 100M 的模型和 300M 的模型之间有用差距,比如「能约上吗」在 100M 会被误解析成「能月上马」,300M 就不会有这个问题。

    不过感觉模型会受到用户词库词频的干扰,比如我刚刚打了个「上马」,现在不管用哪个模型都会被解析成「(月/约)得上马」了。
    TrembleBeforeMe
        20
    TrembleBeforeMe  
       13 小时 36 分钟前
    @Irilsy #17 我先试着打了「能约上吗」,确实首位候选是「能月上马」;但是当我单独打了一次「约上」之后,100M 的模型首位候选也变成了「能约上吗」。如果电脑性能不错,用 300M 也许更好吧,但 100M 对于日用已经足够了。
    yumenaka
        21
    yumenaka  
       13 小时 33 分钟前
    非常好用。只要不是很罕有的句子,都能很容易地匹配到。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   703 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 22ms · UTC 21:59 · PVG 05:59 · LAX 13:59 · JFK 16:59
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.