[quote='askie' pid='3233' dateline='1247660523'] 如果分词次数太多,很容易引起服务器假死,linux服务器! 请问老大有没有加载到内容进行调用的方法? [/quote] 当然有啊,你看一下说明吧. 我不清楚你用的是什么方式,是PHP还是c的API, set...
... C/C++ 开发多线程服务端,索引设计基于 Xapian 和 scws 中文分词。单库最多支持 40 亿条数据,在 500 万网页大约 1.5TB 的数据中检索时间不超过 1 秒(非缓存)。 [b]简单易用:[/b]前端是使用脚本语言编写的开发工具 (SDK),目前仅支...
...词之间时视为同一词而不再强行切开,此时如果激活复合分词的 DUALITY 选项,则仍能将符号切开作为复合词。 4.修正浮点数的识别规则,避免将IPv4地址识别为2个小数的尴尬,比如 192.168.1.1 以前会被切成 192.168 和1.1 2个数字,现...
...定义 SCWS 词库 如之前所说,我们所有的索引分词器默认为 scws,这也是我们开发的开源分词系统, 内置的词库基本上能满足绝大多数应用。但总有例外,这也就是即将说的如何自定义词库。 全局自定义词库 --------...
...代码兼容性 2. 增加用户案例文档:USERCASE 3. 改进自定义分词器 XSTokenizerScws 接受参数作为复合等级 4. 升级 libevent 到 2.x 版 5. 修正中文 stopwords 不生效的问题 6. 取消恼人的 NODB(S#506) 错误提示 7. 新增获取文档匹配词表的接口 X...
... C/C++ 开发多线程服务端,索引设计基于 Xapian 和 scws 中文分词。单库最多支持 40 亿条数据,在 500 万网页大约 1.5TB 的数据中检索时间不超过 1 秒(非缓存)。 [b]简单易用:[/b]前端是使用脚本语言编写的开发工具 (SDK),目前仅支...
...采用 C/C++ 编写,索引设计基于著名而悠久的 [Xapian][1],分词采用 自主研发同样也是开源的 [SCWS分词][2],两者完美结合,理论上单个搜索库支持 40 亿条 记录。可编译运行于 Linux/FreeBSD 等各种 UNIX 类型的系统。 *Xunsearch PHP-SDK* 是...
SCWS 全称是 Simple Chinese Words Segmentation 即简易中文分词系统。 [url=http://www.xunsearch.com/scws][b][size=5][color=#FFA500]2010/01, scws-1.1.0 发布,支持加载文本词典,下载及介绍请进项目站点 http://www.xunsearch.com/scws[/color][/size][/b][/url] [url=http://w...
...载后,用C++ Builder编译,然后给Delphi调用,在对特定内容分词时,发生堆栈溢出(Stack overflow)错误。但用提供的PHP的DLL就没有问题,不知道是什么原因。 附件是出错的文件。[hr] 为了在C++ Builder下编译成动态链接库,对源码做...
今天旗下的http://www.anetb.com需要一个支持中文分词的搜索页,原drupal的太烂了, 我的做法是:结合xunsearch实现drupal commerce下的中文搜索 测试页:http://www.anetb.com/tsearch/demo/commerce/search.php , 可输入“奶粉”,我的站准备做这...