SOUI官方论坛

 找回密码
 立即注册
查看: 163|回复: 4

如何制作启程输入法词库

[复制链接]
  • TA的每日心情
    开心
    2020-4-15 08:35
  • 签到天数: 9 天

    [LV.3]偶尔看看II

    38

    主题

    397

    帖子

    2428

    积分

    版主

    Rank: 7Rank: 7Rank: 7

    积分
    2428

    突出贡献优秀版主

    发表于 2020-5-5 10:03:29 | 显示全部楼层 |阅读模式
    启程输入法的词库包含词及词频信息。
    词频信息由于设计上只使用了一个字节存储,所以限制词频的范围在0-250(>250为保留值)。
    通常我们获取到的词库,如果有词频信息,词频会是大量文章中出现次数的统计值。
    下面我以一个2015年人民日报词频数据为例来说明如何制作。
    我们可以先将词频排序,然后用excel制作折线图,观察词频的分布。
    QQ截图20200505095030.png
    直接通过词频做统计,高频字范围很小。这种情况下数据的有效性很差,基本上只能识别出前面头部几个词。
    我们可以简单的做一个对数转换。
    转换以后,LOG分布如下:
    QQ截图20200505095627.png
    可以看出经过log转换后,词频的分布基本呈现指数分布模式,基本可以区分出调频词,常用词及稀有词。
    现在我们可以以对数转换词频为基础,把词频的取值范围调整到0-250。
    做法很简单,就是把最高频的字设定为250, 然后计算出放大倍数,再将其它字的词频值乘以这个倍数,再取整数就可以了。

    最后将词及词频输出为制表符分隔的文本文件即可。
  • TA的每日心情
    开心
    2020-4-15 08:35
  • 签到天数: 9 天

    [LV.3]偶尔看看II

    38

    主题

    397

    帖子

    2428

    积分

    版主

    Rank: 7Rank: 7Rank: 7

    积分
    2428

    突出贡献优秀版主

     楼主| 发表于 2020-5-5 10:12:49 | 显示全部楼层
    上面讲了如何使用有统计词频的数据制作启程输入法的词库原始文件。
    这里再讲一下如何通过原始文件制作启程输入法词库。
    首先确定你的词库是有词频信息的。
    从菜单的工具中打开“词库编辑器” QQ截图20200505100558.png
    界面左边是一个列表,右边是一个词频导入范围数据。
    词频导入范围用来将词库根据词频来分组。
    例如根据上面的词频分布数据,我将词频>50的词认为是高频词,可以在这里限定最大值为250,最小值为50, 再从原始文件导入。
    程序自动过滤出在指定范围的词形成一组。
    再将值调整为最大值49,最小值20,重新用这个文件再导入新组,形成常用词。
    最后再将最大值调整为19, 最小值调整为0, 导入就获得了稀有词组。
    最后按照自己的情况修改一下组信息保存就好了。
    QQ截图20200505101223.png

  • TA的每日心情
    开心
    2020-4-15 08:35
  • 签到天数: 9 天

    [LV.3]偶尔看看II

    38

    主题

    397

    帖子

    2428

    积分

    版主

    Rank: 7Rank: 7Rank: 7

    积分
    2428

    突出贡献优秀版主

     楼主| 发表于 2020-5-5 10:19:23 | 显示全部楼层
    本帖最后由 setoutsoft 于 2020-5-5 10:20 编辑

    上面讲的是如何从有词频的词库制作启程输入法词库。
    如果获得的词库没有有效词频怎么办?
    这个时候启程输入法提供了参考词频数据库。
    打开词库编辑器,在导入词库前,先从文件菜单中选择“打开词频数据库”来加载一个已有的启程输入法词库(通常是一个大词频文件)
    加载后,就可以按照上一回复讲的方法一样来从文本导入词库了。
    导入词库的逻辑就是:
    1、先看词库里有没有词频,有就直接使用这个词频数据。
    2、没有词频就从加载的词频数据库查找,如果在数据库中找到这个词,就使用数据库中的词频。
    3、在词频数据库中没有找到,就使用界面上指定的默认词频值作为该词的词频。
    下面我上传一下我制作的50W词的启程输入法词库,可以作为这里用的词频数据库。
    人民日报2015.zip (3.59 MB, 下载次数: 6)

    该用户从未签到

    1

    主题

    14

    帖子

    91

    积分

    24:00金丹期

    Rank: 2

    积分
    91
    发表于 2020-5-5 10:31:06 | 显示全部楼层
    需要更多的词库,自己创造

    该用户从未签到

    2

    主题

    17

    帖子

    125

    积分

    24:00金丹期

    Rank: 2

    积分
    125
    发表于 2020-5-5 11:13:56 | 显示全部楼层
    长知识了,越深入了解越觉得启程输入法的不凡之处,继续加油!!
    您需要登录后才可以回帖 登录 | 立即注册

    本版积分规则

    QQ|Archiver|手机版|小黑屋|SOUI官方论坛 ( 粤ICP备18103663号-2 )

    GMT+8, 2020-6-3 23:31

    Powered by Discuz! X3.4

    Copyright © 2001-2020, Tencent Cloud.

    快速回复 返回顶部 返回列表