分享个人使用的网文常见字词替换校对表（含 php 脚本）

破晓陨星沉

大佬更新好勤啊，我下午才下的3号的版本，现在又更新了

edennow

無愛 发表于 2024-4-4 17:33
增加了700条左右的词条，大部分集中在“的得”误用上。

感谢感谢，有几个防和谐的我先注释了，等有需要再开启了。
其他很多的得转换的我觉得都很靠谱，把后面的逗号直接去掉了。
顺便把这部分转换也同步到了那个“的地得词库”里面、
不过那个“捶锤”的正则不太好处理，后面再看吧……

最近用“txtFormat 词库”和“的地得词库”来多轮校对也能补充一些修正。
感觉 txtFormat 的词库有不少词条还是有点神奇的，特别是对五笔打字的一些纠错，我这种只会拼音输入的是整理不出这些来……
不过直接用这两个词库来全局替换都是会有不少误改，也是需要持续维护的。

無愛

edennow 发表于 2024-3-30 07:52
我也找了几本书来试了一下，其实它分词的结果基本算是比较准确的，不过可能是我不怎么了解细节，感觉确实 ...

增加了700条左右的词条，大部分集中在“的得”误用上。

edennow

無愛 发表于 2024-3-29 22:13
好东西啊。
按照教程测试了一本在读小说，效果不是很理想，蛮多角色名（几百个的高频）没提取出来。搜索 ...

我也找了几本书来试了一下，其实它分词的结果基本算是比较准确的，不过可能是我不怎么了解细节，感觉确实也有一些局限。

比如“诸葛亮借东风”这句话，它能正确识别“诸葛亮”是个完整的人名并进行统计。
但是如果改成“诸葛暗借东风”，就只能识别出“诸葛”和“暗”这两个词了。

这应该是跟结巴分词自带的那个分词词库有关，里面也只记录了一些固定的词组搭配，所以如果人名是“复姓+单名”的，然后统计的时候又选了那个“忽略单个字”的，估计就没什么效果了。
这个工具也只提供了 exe 文件，做不了什么修改，只能通过那个自定义词的 txt 文件看实际情况进行扩充了。

另外，如果是主要想提取角色名的话，可能不得不在停用词那个文件里加上很多的常用词，估计也会达到一个比较巨大的数量，否则也会被那些常见的词占据排名较前的位置，导致分辨不出哪些人名出现频率较高。

無愛

edennow 发表于 2024-3-29 17:39
随手搜了一下，这个貌似还蛮好用的：https://www.sougood.top/tool/9887/
这个工具就是用了结 ...

好东西啊。
按照教程测试了一本在读小说，效果不是很理想，蛮多角色名（几百个的高频）没提取出来。搜索了停用词也没相关的。

edennow

無愛 发表于 2024-3-29 15:42
那敢情好，坐等更新

随手搜了一下，这个貌似还蛮好用的：https://www.sougood.top/tool/9887/
这个工具就是用了结巴分词来做了一些统计分析，幸好搜了一下，不然差点动手重复造轮子了。

可以详细看一下那篇文章里面的停用词和自定义词的说明，可以根据实际情况自行调整。
我也没怎么深入了解过结巴分词的细节，不过这算是大名鼎鼎的几种分词方案之一了，效果还是不错的，
它分出来的词同时会标注名词形容词等词性。

这个工具第一次点开的时候有可能会卡一下，短暂出现黑色的空窗口，不过等它加载一会就好了。

江海  764 名词
片刻  747 数词
样子  741 名词
说道  728 动词
少女  724 名词
说话  698 动词
一声  693 数词
女人  688 名词

根据这样的统计结果，可以通过正则把它转换成词库里的 before after 形式，作为防止误伤的词条，临时加进去后再进行校正。

無愛

edennow 发表于 2024-3-29 15:15
之前有看到过一些 python 的实现，不过没怎么实际去弄，我后面考虑下这个统计高频词的功能吧，有时候提前 ...

那敢情好，坐等更新

edennow

無愛 发表于 2024-3-29 14:58
大神，有没有角色名提取、统计的工具呀？
校书是真的怕了作者用的角色名出现混乱，读校也会有忽略遗漏的 ...

之前有看到过一些 python 的实现，不过没怎么实际去弄，我后面考虑下这个统计高频词的功能吧，有时候提前把一些角色名提取出来防止误伤也是挺好的。

無愛

edennow 发表于 2024-3-28 07:16
非常感谢，看了也是只有少部分没有直接加进去，里面好几个都是我原来想加又犹豫的，这次还是加进去吧，后 ...

大神，有没有角色名提取、统计的工具呀？
校书是真的怕了作者用的角色名出现混乱，读校也会有忽略遗漏的时候，特别是小说字数多、角色多的情况下，（大概率是拼音输入法的锅）。
想着若有提取统计工具的话，根据出现的频率与相似程度方便修正。

無愛

edennow 发表于 2024-3-28 07:16
非常感谢，看了也是只有少部分没有直接加进去，里面好几个都是我原来想加又犹豫的，这次还是加进去吧，后 ...

“再接再厉”和“稀里哗啦”这两个词确实是复制的时候没注意。
后面有个无效词条，应该可以合并
    ['before' => "逆出一句", 'after' => "迸出一句"],
    ['before' => ["崩出一句", "嘣出一句", "迸出一句", "绷出一句"], 'after' => "蹦出一句"],
   
“稍候->稍后”这词还真没注意去查辨析，太平常了。带有“请”“片刻”的用“稍候”正解，其他通改应该没啥问题。