谢谢马老师 [ 应该是吧:-）]的及时回复。 我在研读代码的时候，看到有段代码注释着，是对半字的处理，并不是很理解，对于文字都是1-4字节的UTF-8存储编码。 半字是种什么情况呢？
TF就是词频率，也就是这个词在各种语料中出现的机率权重。（越经常出现的越高） IDF是逆词频率，也就是说这个词更重要（因为罕见一些）；具体参见：http://baike.baidu.com/view/1228847.html 并没有很固定的算法，SCWS中的tf/idf均...
我用您发布的工具，把字典解压。得出了关于的词的字段 WORD TF IDF ATTR 当机立断 14.01 8.10 i WORD ATTR我都能理解。 上贴说的逐字分词后 计算权重的时候使用IDF，貌似就是类似基于字典的最大概率方式来定义权重...
pscws4和scws大致相同的算法，只是后来pscws4没有再进一步更新了。 粗分毕竟只是粗分，要想正式用只用其中一种肯定是不够的。 scws 里面先按逐字把所有可能的词都列出来，建成一个2维表，然后把有岐义的部分拧出来，以其...
你好Hightman： 我是一名大学生，对中文分词很感兴趣。 在网上看了很多关于中文分词的课件和论文。 词的粗分有几种： 最大匹配法 最大概率法 最短路径法 未登录词识别方法 等等 我下PSCWS4，学习了好久算法，由于个人...
Xapian 里对 facets 的功能实现其实并不是很优雅，效率也一般，相当于增加 matchspy ... 如果是为了分组统计建议直接生成要关词条再用 count() 做估算。