基于HMM的加权Textrank单文档的关键词抽取算法_论文_百度文库
两大类热门资源免费畅读
续费一年阅读会员，立省24元！
您可以上传图片描述问题
联系电话：
请填写真实有效的信息，以便工作人员联系您，我们为您严格保密。
基于HMM的加权Textrank单文档的关键词抽取算法
||暂无简介
中国最大最早的专业内容网站|
总评分0.0|
试读已结束，如果需要继续阅读或下载，敬请购买
你可能喜欢君，已阅读到文档的结尾了呢~~
Tag-TextRank —— 一种基于 Tag 的网页关键词抽取方法
扫扫二维码，随身浏览文档
手机或平板扫扫即可继续访问
Tag-TextRank —— 一种基于 Tag 的网页关键词抽取方法
举报该文档为侵权文档。
举报该文档含有违规或不良信息。
反馈该文档无法正常浏览。
举报该文档为重复文档。
推荐理由：
将文档分享至：
分享完整地址
文档地址：
粘贴到BBS或博客
flash地址：
支持嵌入FLASH地址的网站使用
html代码：
&embed src='/DocinViewer--144.swf' width='100%' height='600' type=application/x-shockwave-flash ALLOWFULLSCREEN='true' ALLOWSCRIPTACCESS='always'&&/embed&
450px*300px480px*400px650px*490px
支持嵌入HTML代码的网站使用
您的内容已经提交成功
您所提交的内容需要审核后才能发布，请您等待！
3秒自动关闭窗口基于TextRank的多文档关键词抽取技术--《第四届全国信息检索与内容安全学术会议论文集（上）》2008年
基于TextRank的多文档关键词抽取技术
【摘要】：本文提出一种基于TextRaak的多文档关键词抽取方法,该方法利用ATF~*PDF方法计算文档集中的词语权重,抽取权重较大的实词为候选关键词,并根据候选关键诃之问的语义相似关系建立TextRank模型,递归计算至收敛,最后生成关键词序列并抽取关键词。该方法综合考虑了词语的频率,词性以及词语之间的语义关系等信息,实验表明,该方法能有效抽取多个文档的关键词,同基于关键词的聚类标记方法相比,其准确率提高了4.2%,召回率提高7%,F-measure提高4.6%。
【作者单位】：
【关键词】：
【基金】：
【分类号】：TP391.1【正文快照】：
1引言文档聚类是一种无指导的文档归类方法，它把一个文档集分成若干称为集簇的子集，每个集簇中的成员之间具有较大的相似性，而集簇之间的文档具有较小的相似性。通过对文档聚类用户可以发现大量文档集中隐含的层次结构，但却不容易理解聚类后每个文档类的主要内容。如果在
欢迎：、、)
支持CAJ、PDF文件格式，仅支持PDF格式
【相似文献】
中国重要会议论文全文数据库
杨洁;季铎;蔡东风;代翠;;[A];第四届全国信息检索与内容安全学术会议论文集（上）[C];2008年
中国硕士学位论文全文数据库
祖丽湖玛尔·马木提江;[D];新疆大学;2013年
梁伟明;[D];上海交通大学;2010年
&快捷付款方式
&订购知网充值卡
400-819-9993
《中国学术期刊（光盘版）》电子杂志社有限公司
同方知网数字出版技术股份有限公司
地址：北京清华大学 84-48信箱 知识超市公司
出版物经营许可证 新出发京批字第直0595号
订购热线：400-819-82499
服务热线：010--
在线咨询：
传真：010-
京公网安备75号TextRank4ZH的类似软件 - 中文文本关键词和摘要提取库 - 开源中国社区
当前访客身份：游客 [
当前位置：
TextRank4ZH
TextRank4ZH 用于自动从中文文本中提取关键词和摘要，基于 TextRank 算法，使用 Python 编写。
TextRank 算法可以用来从文本中提取关键词和摘要（重要的句子）。TextRank4ZH是针对中文文本的TextRank算法的python算法实现。
本程序使用python 2.7测试没有问题，暂时不兼容python 3。
先确定已经有jieba、numpy、networkx这三个库。可以使用pip安装：
$&sudo&pip&install&numpy
$&sudo&pip&install&jieba
$&sudo&pip&install&networkx
关于库版本，以下作为参考：
$&pip&show&jieba
Name:&jieba
Version:&0.35
Location:&/usr/local/lib/python2.7/dist-packages
Requires:&
$&pip&show&numpy
Name:&numpy
Version:&1.7.1
Location:&/usr/lib/python2.7/dist-packages
Requires:&
$&pip&show&networkx
Name:&networkx
Version:&1.9.1
Location:&/usr/local/lib/python2.7/dist-packages
Requires:&decorator
另外，请确保安装最新版本的jieba分词，TextRank4ZH需要新版本jieba提供的词性标注功能。
$&sudo&pip&install&jieba&--upgrade
TextRank4ZH暂不支持使用easy_install、pip来安装，使用者可以将textrank4zh拷贝到项目目录，或者环境变量PYTHONPATH指向的目录中。
├──&LICENSE&&&&&&&&&#许可证
├──&README.md&&&&&&&#使用说明
├──&stopword.data&&&#停止词词典
├──&test.py&&&&&&&&&#测试
├──&text&&&&&&&&&&&&#存放测试所需要的文本
│&&&├──&01.txt
│&&&├──&02.txt
│&&&├──&03.txt
│&&&├──&04.txt
│&&&└──&05.txt
└──&textrank4zh&&&&&#!main
&&&&├──&__init__.py
&&&&├──&Segmentation.py
&&&&├──&TextRank4Keyword.py
&&&&└──&TextRank4Sentence.py
TextRank的详细原理请参考：
Mihalcea R, Tarau P. TextRank: Bringing order into texts[C]. Association for Computational Linguistics, 2004.
关键词提取
将原文本拆分为句子，在每个句子中过滤掉停用词（可选），并只保留指定词性的单词（可选）。由此可以得到句子的集合和单词的集合。
每个单词作为pagerank中的一个节点。设定窗口大小为k，假设一个句子依次由下面的单词组成：
w1,&w2,&w3,&w4,&w5,&...,&wn
w1, w2, ..., wk、w2, w3, ...,wk+1、w3, w4, ...,wk+2等都是一个窗口。在一个窗口中的任两个单词对应的节点之间存在一个无向无权的边。
基于上面构成图，可以计算出每个单词节点的重要性。最重要的若干单词可以作为关键词。
关键短语提取
参照提取出若干关键词。若原文本中存在若干个关键词相邻的情况，那么这些关键词可以构成一个关键词组。
例如，在一篇介绍支持向量机的文章中，可以找到关键词支持、向量、机，通过关键词组提取，可以得到支持向量机。
将每个句子看成图中的一个节点，若两个句子之间有相似性，认为对应的两个节点之间有一个无向有权边，权值是相似度。
通过pagerank算法计算得到的重要性最高的若干句子可以当作摘要。
test.py提供了使用的示例：
#-*-&encoding:utf-8&-*-
import&codecs
from&textrank4zh&import&TextRank4Keyword,&TextRank4Sentence
text&=&codecs.open('./text/01.txt',&'r',&'utf-8').read()
tr4w&=&TextRank4Keyword(stop_words_file='./stopword.data')&&#&导入停止词
#使用词性过滤，文本小写，窗口为2
tr4w.train(text=text,&speech_tag_filter=True,&lower=True,&window=2)&&
print&'关键词：'
#&20个关键词且每个的长度最小为1
print&'/'.join(tr4w.get_keywords(20,&word_min_len=1))&&
print&'关键短语：'
#&20个关键词去构造短语，短语在原文本中出现次数最少为2
print&'/'.join(tr4w.get_keyphrases(keywords_num=20,&min_occur_num=&2))&&
tr4s&=&TextRank4Sentence(stop_words_file='./stopword.data')
#&使用词性过滤，文本小写，使用words_all_filters生成句子之间的相似性
tr4s.train(text=text,&speech_tag_filter=True,&lower=True,&source&=&'all_filters')
print&'摘要：'
print&'\n'.join(tr4s.get_key_sentences(num=3))&#&重要性最高的三个句子
得到的关键词：
媒体/高圆圆/微/宾客/赵又廷/答谢/谢娜/现身/记者/新人/北京/博/展示/捧场/礼物/张杰/当晚/戴/酒店/外套
得到的关键短语：
得到的摘要：
中新网北京12月1日电(记者&张曦)&30日晚，高圆圆和赵又廷在京举行答谢宴，诸多明星现身捧场，其中包括张杰(微博)、谢娜(微博)夫妇、何炅(微博)、蔡康永(微博)、徐克、张凯丽、黄轩(微博)等
高圆圆身穿粉色外套，看到大批记者在场露出娇羞神色，赵又廷则戴着鸭舌帽，十分淡定，两人快步走进电梯，未接受媒体采访
记者了解到，出席高圆圆、赵又廷答谢宴的宾客近百人，其中不少都是女方的高中同学
类TextRank4Keyword、TextRank4Sentence在处理一段文本时会将文本拆分成4种格式：
sentences：由句子组成的列表。
words_no_filter：对sentences中每个句子分词而得到的两级列表。
words_no_stop_words：去掉words_no_filter中的停止词而得到的两级列表。
words_all_filters：保留words_no_stop_words中指定词性的单词而得到的两级列表。
例如，对于：
这间酒店位于北京东三环，里面摆放很多雕塑，文艺气息十足。答谢宴于晚上8点开始。
对类TextRank4Sentence，在speech_tag_filter=True, lower=True, source = 'all_filters'时，
sentences：
['这间酒店位于北京东三环，里面摆放很多雕塑，文艺气息十足',&
'答谢宴于晚上8点开始']
words_no_filter：
&&&&[&'这',&'间,&'酒店,&'位于,&'北京,&'东三环,&'里面,&'摆放,&'很多,&'雕塑,&'文艺,&'气息,&'十足'],
&&&&[&'答谢',&'宴于,&'晚上,&'8,&'点,&'开始'&]
words_no_stop_words：
&&&&[&'间',&'酒店,&'位于,&'北京,&'东三环,&'里面,&'摆放,&'很多,&'雕塑,&'文艺,&'气息,&'十足'&],
&&&&[&'答谢',&'宴于,&'晚上,&'8,&'点'&]
words_all_filters：
&&&&[&'酒店',&'位于,&'北京,&'东三环,&'摆放,&'雕塑,&'文艺,&'气息'&],
&&&&[&'答谢',&'宴于,&'晚上'&]
类TextRank4Keyword位于textrank4zh/TextRank4Keyword.py中，类TextRank4Sentence位于textrank4zh/TextRank4Sentence.py中，类的实现、函数的参数请参考源码注释。
授权协议：
开发语言：
操作系统：&Linux&
收录时间：
-& 日&&（国产软件 or 国人参与）
TextRank4ZH 的类似软件：Java，共15个
IK Analyzer 是一个开源的，基于java语言开发的轻量级的中文分词工具包。从2006年12月推出1.0版开始， IKAnalyzer已经推出了4个大版本。最初，它是以开源项目Luence为应用主体的，结合词典分词和文法分析算法的中...
最新新闻：
Jcseg是什么？ Jcseg是基于mmseg算法的一个轻量级开源中文分词器，同时集成了关键字提取，关键短语提取，关键句子提取和文章自动摘要等功能，并且提供了最新版本的lucene, solr, elasticsearch的分词接口， Jcs...
最新新闻：
庖丁中文分词库是一个使用Java开发的，可结合到Lucene应用中的，为互联网、企业内部网使用的中文搜索引擎分词组件。Paoding填补了国内中文分词方面开源组件的空白，致力于此并希翼成为互联网网站首选的中文分词开...
1、mmseg4j 用 Chih-Hao Tsai 的 MMSeg 算法(http://technology.chtsai.org/mmseg/ )实现的中文分词器，并实现 lucene 的 analyzer 和 solr 的TokenizerFactory 以方便在Lucene和Solr中使用。 2、MMSeg 算法有两种...
Ansj中文分词 这是一个ictclas的java实现.基本上重写了所有的数据结构和算法.词典是用的开源版的ictclas所提供的.并且进行了部分的人工优化 内存中中文分词每秒钟大约100万字(速度上已经超越ictclas) 文件读取分词...
最新新闻：
ictclas4j中文分词系统是sinboy在中科院张华平和刘群老师的研制的FreeICTCLAS的基础上完成的一个java开源分词项目，简化了原分词程序的复杂度，旨在为广大的中文分词爱好者一个更好的学习机会。...
imdict-chinese-analyzer 是 imdict智能词典 的智能中文分词模块，算法基于隐马尔科夫模型(Hidden Markov Model, HMM)，是中国科学院计算技术研究所的ictclas中 文分词程序的重新实现（基于Java），可以直接为luc...
smallseg -- 开源的，基于DFA的轻量级的中文分词工具包 特点：可自定义词典、切割后返回登录词列表和未登录词列表、有一定的新词识别能力。 Python 示例代码： s3 = file(&text.txt&).read()
words = [x.rstrip()...
首先感谢jieba分词原作者fxsjy，没有他的无私贡献，我们也不会结识到结巴 分词，更不会有现在的java版本。 结巴分词的原始版本为python编写，目前该项目在github上的关注量为170， 打星727次（最新的数据以原仓库...
word分词是一个Java实现的分布式的中文分词组件，提供了多种基于词典的分词算法，并利用ngram模型来消除歧义。能准确识别英文、数字，以及日期、时间等数量词，能识别人名、地名、组织机构名等未登录词。能通过自...
最新新闻：
共有 55 个类似软件
IK Analyzer 是一个开源的，基于java语言开发的轻量级的中文分词工具包。从2006年1...
盘古分词是一个基于 .net framework 的中英文分词组件。主要功能 中文未登录词识别...
Jcseg是什么？ Jcseg是基于mmseg算法的一个轻量级开源中文分词器，同时集成了关键字...
bamboo是一个中文语言处理系统。目前包括中文分词和词性标注部分。 bamboo提供了C...
更新至2.0版 1.增加规则 2.增加词性分词 3.JSON格式返回数据 http-scws(...
"哑哈"中文分词，更快或更准确，由你来定义。通过简单定制，让分词模块更适用于你的...
rmmseg的主要问题是性能和内存消耗。用纯ruby编写的rmmseg分词的速度非常慢，而且内...
jieba "结巴"中文分词：做最好的Python中文分词组件 "Jieba"
Feature 支持三种分...
中科院ICTCLAS (FreeICTCLAS)最新free开放源代码，里面有中文分词算法，大家一起共...
庖丁中文分词库是一个使用Java开发的，可结合到Lucene应用中的，为互联网、企业内部...
共有 16 人关注 TextRank4ZH}