每个线程需要单独的SCWS实例 ,词典和规则集倒是可以共用的,主线程正常操作,其它线程可以在 scws 创建后通过 thread_scws->d = main_scws->d; thread_scws_r = main_scws->r; 来共用它们,因为词典和规则集都是只读而且各API都是线程安全...
不知道在多线程环境下怎么使用libscws,每一个线程都需要进行分词? typedef struct { xdict_t d; rule_t r; unsigned char *mblen; unsigned int mode; unsigned char *txt; int zis; int len; int off; int wend; scws_res_t res0; scws_res_t res1; word_t **w...
谢谢回复。 另外scws结构体中:unsigned char *mblen; unsigned int mode;这两个成员也应该是可以多个线程共用的。
...了; 至于 mode 看需要吧,只是一个整型 ,如果你在不同线程中切分建议各自用一个 mode ,除非你自己能确定它们的切词设置是共用的(主要用于保存切词中那些是否忽略符号,是否复合分词等的设置)
...有的 scws 实例产生分支并共享词典/规则集,主要用于多线程开发。 4) 新增部分版本的 win32 的 dll 扩展,详见[url=http://www.ftphp.com/scws/download.php#dll]下载页面[/url] 最新下载地址:[url]http://www.ftphp.com/scws/download.php[/url] 演示地址...
有个问题,在演示地址中,统计词性: 需要屏蔽 ~vn,~nr时, 仅第一个有效,不能设置多个
...加一句:free(at); 即可。 另外,觉得scws应该可以用于多线程环境,内部函数应该是线程安全的,每一个线程可以共享同一个词典和rule。
...度和用户体验。 [b]高性能:[/b]后端是采用 C/C++ 开发多线程服务端,索引设计基于 Xapian 和 scws 中文分词。单库最多支持 40 亿条数据,在 500 万网页大约 1.5TB 的数据中检索时间不超过 1 秒(非缓存)。 [b]简单易用:[/b]前端是...