技术详细介绍
本发明公开了一种基于压缩感知理论的文本数据流抽样方法，包括步骤 1）将文本数据流分割成固定大小的文本片段并通过向量空间模型表示成矩阵；2）使用压缩感知理论对文本数据流进行空间降维抽样；3）计算降维后每个文本的信息熵；4）基于文本的信息熵通过对数倾斜时间（LTT）模型得到抽样文本。本发明面向互联网海量的、不断增加的文本流，通过更少的存储消耗来实现更快的文本流抽样和存储，在大大降低抽样文本流规模的情况下，能够以全局视角获得整个文本流中最有价值的那部分信息。本发明从文本压缩的压缩率、运行时间方面，对现有的文本抽样技术进行了有效的改进，在关键字查询、文本聚类、主题演化分析、信息提取等方面有着广泛的应用前景。