scws源码中写死的…… 超过2个字符的英文数字都在第一步被预处理了,所以想要改这个恐怕了也会比较麻烦。
支持是支持的,但数字字母最多只支持2位。 你说的情况其实切分成“斯巴鲁+WRX”并不会有多大问题吧。 像 Q币 QQ空间 这样的都是可以支持成词的。
Highyman: 能請問一下,我可以將 SCWS 用在繁體中文的分詞上嗎?如果可以,我應該如何產生繁體中文的分詞詞庫呢? 我預備使用 UTF-8 作為中文編碼而非 Big5。 謝謝你的分享。 Mark
hightman,你好! 因为项目需要从下述字符串中,分别提取:[color=#006400]斯巴鲁WRX[/color],[color=#006400]斯巴鲁200[/color] 这2个词 “斯巴鲁WRX和斯巴鲁200的区别,保养费用如何” 我试用了下面2种方法,均没有达到想要的结果,希望hi...
[quote='hightman' pid='1078' dateline='1346301119'] 支持是支持的,但数字字母最多只支持2位。 你说的情况其实切分成“斯巴鲁+WRX”并不会有多大问题吧。 像 Q币 QQ空间 这样的都是可以支持成词的。 [/quote] 感谢hightman 的回复。 ...
你好Hightman: 我是一名大学生,对中文分词很感兴趣。 在网上看了很多关于中文分词的课件和论文。 词的粗分有几种: 最大匹配法 最大概率法 最短路径法 未登录词识别方法 等等 我下PSCWS4,学习了好久算法,由于个人...