在桌面搜索引擎中,对于二进制文件格式的处理,通常需要针对每一种具体的文件格式编写独立的解析器,复杂度较高且不易维护。从分析开源搜索引擎Lucene出发,提出一种基于Tika和Lucene的桌面搜索引擎框架,能够使用统一的应用编程接口来处理不同二进制格式的文档。整个框架均为开放源代码形式,各模块间耦合度低,易于扩展。在实现方面,基于最新的Lucene4.1,实现了对桌面系统内文档的全文搜索;并在索引性能优化方面,相比于传统的参数配置优化和内存缓冲优化两方面,使用最新的DWPT(documents writer per thread)技术,使索引性能提升了35%。
针对互联网舆情挖掘领域的特点，提出了一种基于向量空间模型VSM的文本聚类算法STCC（Similarity Threshold Control Clustering BasedVSM）。该算法按照层次聚类从下至上凝聚的策略，获取初始簇信息，然后根据K-means算法的思想以设置的聚类相似度阈值作为度量来合并簇。该算法结合层次聚类和K-means算法的优点，克服其缺点。与层次聚类相比，每一次聚类时不需要比较所有簇之间的相似度，降低了时间复杂度，提高了聚类的效率；与K—means算法相比，不需要确定K值，灵活性更高。通过实验表明，该算法聚类效果好，实用性高，适合大规模的文本聚类。
