使用的版本是SCWS-1.2.2 我用自己的词库替换了dict.utf8.xdb，然后尝试分词“朝鲜近日播放的一个纪录片中，发现”，发现“纪录片中”在分词结果中丢失了 Array ( [word] => 朝鲜 [off] => 0 [len] => 6 [idf] => 0 [attr] => @ ) Array ( [word] => 近...
需要增加一个新词“中国梦”。 使用的php XDB工具，增加词库后导入生成xdb文件。 重新生成coreseek的索引 索引的时候还是搜不出来这个词。 我确认使用的是utf-8 no-bom头的格式。 请问如何解决。谢谢
使用自定义的文本字库， $scws = scws_new(); $scws->add_dict("/path/to/dict",SCWS_XDICT_TXT); 自定义的词库可以使用了， 可是原有的词库就没了。。。 于是。。再这样，先添加原有的词库 $scws = scws_new(); $scws->set_dict("/path/to/dict.utf8.xdb"); $scws->...
...r'], $tmp['times'], $tmp['weight']); } $cws->close(); utf8编码好像使用不了，我把所有文件(ini,php,包括test.php)都改成utf8编码存储，header输出的也是utf8编码，执行默认的test.php，产生乱码，不知道问题出现在哪？dict.utf8.xdb是新下载的没有...
...l,host这类处理效果比较差，我们目前采用两个分析器配合使用来达到最好的效果，要是scws能处理得了像email,host,url和tag之类的分类，那效率应该是更棒了 谢谢你们的无私开源这么好的作品
我是 centos5 scws 1.1.2 php 以扩展形式安装 . 如果我不显式的定义 $so->add_dict(ini_get("scws.default.fpath") . '/dict.utf8.xdb'); $so->set_rule(ini_get('scws.default.fpath') . '/rules.utf8.ini'); 那么就分词正常. 这个是第一个问题. 第二个问题就是...
...词先单字后多字，所以达不到“云“+”计算“的效果。 使用 txt 附加词典时请显式地先指定 xdb 词典，以便 txt 词典后生效。 $so->add_dict('dict.xdb', SCWS_XDICT_XDB); $so->add_dict('dict.txt', SCWS_XDICT_TXT); [color=red]$so->set_multi(3);[/color] .. 这样...
..._rec,xdb_next_rec; int xdb_next(xdb_t x,xdb_p_next_rec p_nr); [/code] 使用这个 [code] xdb_next_rec next_rec; while (xdb_next(xt,&next_rec)==1) { if(next_rec.key) printf("%s %d %s %d\n",next_rec.key,strlen(next_rec.key),(char*)next_rec.value,*next_rec.vlen); } [/code] ...
我想请教一个问题，就是我使用的是C版的scws库，函数scws_set_dict和scws_add_dict加载一个大小为58K的txt字典文件的时候出现了递归的堆栈溢出。但是我将该txt字典转换成xdb文件后再次调用，就不会出现该问题了？ 但是如果资源使...
...[/color][/size][/b] Libscws 代码是当前 SCWS(简易中文分词) 算法使用C语言编写的链接库，目前仅基于 Unix 族的操作系统，可能必须适当修改才能运行在 Windows 平台中。这套 scws 库没有外部扩展依赖，代码力争简洁高效，针对分词词典...