分享个人使用的网文常见字词替换校对表（含 php 脚本）

edennow

lsk1700 发表于 2024-4-6 23:36
教程看着好复杂，下载试试。

可以先不看细节，一键运行之后用 bc 比较下结果体验看看。
建议是在用 txtFormat 或者其他工具之前，用这个脚本先自动做几轮校正，个人感觉会减少相当多的重复且无效的点鼠标操作。
如果有意见或者建议，非常欢迎反馈。

lsk1700

教程看着好复杂，下载试试。

书眸

太专业了 抽空我仔细看下楼主的教程

edennow

破晓陨星沉 发表于 2024-4-4 23:18
我下午用这脚本跑我存的小说的时候发现的以下两个没有词组，可以加进去：
"地祗"改成"地祇"  （词库会把 ...

非常感谢，这个脚本的很多词条确实是需要持续维护的，暂时只能通过人工识别来操作了。

破晓陨星沉

edennow 发表于 2024-4-4 23:09
哈哈，差不多告一段落了，都是写了些新的功能才更新的，后面就是堆词条，估计就不太会频繁更新了。

我下午用这脚本跑我存的小说的时候发现的以下两个没有词组，可以加进去：
"地祗"改成"地祇"  （词库会把"神祗"改成"神祇"，但是到没有“地祇”的条目）
"匾额头"改成"扁额头"（词库会把"扁额"改成"匾额"，但后面有头的时候，就改错了，要改回来）

edennow

破晓陨星沉 发表于 2024-4-4 23:05
大佬更新好勤啊，我下午才下的3号的版本，现在又更新了

哈哈，差不多告一段落了，都是写了些新的功能才更新的，后面就是堆词条，估计就不太会频繁更新了。

破晓陨星沉

大佬更新好勤啊，我下午才下的3号的版本，现在又更新了

edennow

無愛 发表于 2024-4-4 17:33
增加了700条左右的词条，大部分集中在“的得”误用上。

感谢感谢，有几个防和谐的我先注释了，等有需要再开启了。
其他很多的得转换的我觉得都很靠谱，把后面的逗号直接去掉了。
顺便把这部分转换也同步到了那个“的地得词库”里面、
不过那个“捶锤”的正则不太好处理，后面再看吧……

最近用“txtFormat 词库”和“的地得词库”来多轮校对也能补充一些修正。
感觉 txtFormat 的词库有不少词条还是有点神奇的，特别是对五笔打字的一些纠错，我这种只会拼音输入的是整理不出这些来……
不过直接用这两个词库来全局替换都是会有不少误改，也是需要持续维护的。

無愛

edennow 发表于 2024-3-30 07:52
我也找了几本书来试了一下，其实它分词的结果基本算是比较准确的，不过可能是我不怎么了解细节，感觉确实 ...

增加了700条左右的词条，大部分集中在“的得”误用上。

edennow

無愛 发表于 2024-3-29 22:13
好东西啊。
按照教程测试了一本在读小说，效果不是很理想，蛮多角色名（几百个的高频）没提取出来。搜索 ...

我也找了几本书来试了一下，其实它分词的结果基本算是比较准确的，不过可能是我不怎么了解细节，感觉确实也有一些局限。

比如“诸葛亮借东风”这句话，它能正确识别“诸葛亮”是个完整的人名并进行统计。
但是如果改成“诸葛暗借东风”，就只能识别出“诸葛”和“暗”这两个词了。

这应该是跟结巴分词自带的那个分词词库有关，里面也只记录了一些固定的词组搭配，所以如果人名是“复姓+单名”的，然后统计的时候又选了那个“忽略单个字”的，估计就没什么效果了。
这个工具也只提供了 exe 文件，做不了什么修改，只能通过那个自定义词的 txt 文件看实际情况进行扩充了。

另外，如果是主要想提取角色名的话，可能不得不在停用词那个文件里加上很多的常用词，估计也会达到一个比较巨大的数量，否则也会被那些常见的词占据排名较前的位置，导致分辨不出哪些人名出现频率较高。