... 例如: 跑马的时候非常的卡 跑马-的-时候-非常-的卡 最后分出来的"的卡"很明显是不正确的,请问下是否有办法解决, 应该是分成"跑马-的-时候-非常-的-卡" 感谢!!![hr] 我找到了楼主原先的一个回复: 建议把这些要过滤的...
在使用scws分词的时候,如果输入40多个“卡”字,最后分出来的那个词少了一个字节,就是说在utf8下原本3字节的一个“卡”字,变成了两个字节,形成了一个乱码。在线测试也会出现这种情况,大家怎么解决啊???