爱吧机器人网 » 专题 > 相关科技 > 正文

电力人工智能专题系列之 自然语言处理

语言是思维的载体,是人际交流的重要工具,在人类历史上以语言文字形式记载和流传的知识占到知识总量的80%以上。自然语言处理一直是人工智能界重点关注的核心技术之一。
 
由于创造和使用自然语言是人类高度智能的表现,因此对自然语言处理的研究也有助于揭开人类智能的奥秘,深化我们对语言能力和思维本质的认识。自然语言处理通过建立形式化的数学模型来分析、处理自然语言,并在计算机上用程序来实现分析和处理的过程,从而达到以机器来模拟人的部分乃至全部语言能力的目的。

\
 
人工智能主要包括“感知”和“认知”两个重要的部分。其中,计算机视觉和语音识别等领域属于感知部分,而自然语言处理属于认知部分的重要内容。对一个“智能”而言,仅仅感知当然不够,理解和消化内容的认知能力才是真正意义上的核心。但要真正处理和理解语言,需要利用自然语言处理一系列基础技术,而且前一步的处理错误将导致后续处理的错误扩大。
 
(1)中文分词
 
中文分词是将一个汉字序列切分成一个个单独的词,将连续的字序列按照一定的规范重新组合成词序列的过程。中文分词难点包括词的歧义切分和未登录词识别。切分歧义处理包括切分歧义的检测和切分歧义的消解。未登录词大致包含新涌现的通用词或专业术语和专有名词两大类。
 
分词主要方法可以分为基于词典和基于统计的方法,最新的方法是多种方法的混合。从目前汉语分词研究的总体水平看,F1值已经达到95%左右,主要分词错误是由新词造成的,尤其对领域的适应性较差。
 
(2)词性标注
 
词性标注是指为给定句子中的每个词赋予正确的词法标记,给定一个切好词的句子,词性标注的目的是为每一个词赋予一个类别,这个类别称为词性标记,比如,名词、动词、形容词等。它是自然语言处理中重要的和基础的研究课题之一,也是其他许多智能信息处理技术的基础。词性标注对于后续的自然语言处理工作是一个非常有用的预处理过程,它的准确程度将直接影响到后续的一系列分析处理任务的效果。
 
长期以来,兼类词的词性歧义消解和未知词的词性识别一直是词性标注领域需要解决的热点问题。当兼类词的词性歧义消解变得困难时,词性的标注就出现了不确定性的问题。而对那些超出了词典收录范围的词语或者新涌现的词语的词性推测,也是一个完整的标注系统所应具备的能力。
 
(3)命名实体识别
 
命名实体识别是在句子的词序列中定位并识别人名、地名、机构名等实体的任务。 如命名实体识别:
 
“国务院(机构名)总理李克强(人名)调研上海外高桥(地名)时提出,支持上海(地名)积极探索新机制”。
 
(4)句法分析
 
句法分析是对用户输入的自然语言进行词汇短语的分析,目的是识别句子的句法结构,实现自动句法分析过程。其基本方法有线图分析法、短语结构分析、完全句法分析、局部句法分析、依存句法分析等。
 
(5)语义分析
 
语义分析是基于自然语言语义信息的一种分析方法,其不仅仅是词法分析和句法分析这样语法水平上的分析,而是涉及到了单词、词组、句子、段落所包含的意义。其目的是从句子的语义结构表示言语的结构。中文语义分析方法是基于语义网络的一种分析方法。语义网络则是一种结构化的,灵活、明确、简洁的表达方式。
 
(6)语用分析
 
语用分析相对于语义分析又增加了对上下文、语言背景、环境等的分析,从文章的结构中提取到意象、人际关系等的附加信息,是一种更高级的语言学分析。它将语句中的内容与现实生活的细节相关联,从而形成动态的表意结构。
 
(7)语境分析
 
语境分析主要是指对原查询语篇以外的大量“空隙”进行分析从而更为正确地解释所要查询语言的技术。这些“空隙”包括一般的知识,特定领域的知识以及查询用户的需要等。它将自然语言与客观的物理世界和主观的心理世界联系起来,补充完善了词法、语义、语用分析的不足。
 
分词、词性标注技术一般只需对句子的局部范围进行分析处理,目前已经基本成熟,其标志就是它们已经被成功地用于文本检索、文本分类、信息抽取等应用之中,而句法分析、语义分析技术需要对句子进行全局分析,目前,深层的语言分析技术还没有达到完全实用的程度。
 
基于自然语言处理基础技术,学术界和工业界在应用方面开展了文本分类、信息检索、信息抽取、知识图谱、问答系统、机器翻译、自动摘要、情感分析、信息推荐等研究,其中一些成果已经成为人们工作和生活的重要工具。
 
2018年6月20日,人工智能应用学术研讨会在京召开。中国电科院王继业副院长在“人工智能重点研发方向和发展趋势”中指出自然语言处理技术要面向电力领域核心业务,构建电力知识和语料库,研究电力文本特征提取、电网本体建模、知识加工和推理等技术,分领域逐步构建电力知识图谱,先期构建调控、运检和营销等领域知识图谱,支撑电力调度机器人、电网设备智能运维和智能客服等应用;最终,形成新一代电力智能搜索和问答解决方案。综上,中国电科院已在以下几个方面开展工作:
 
(1)构建通用资源与电力行业语料库
 
语料是开展自然语言处理和文本价值挖掘的基础,将整合电力各专业知识和全业务以文本形式存在的操作规则、运维记录、调度运行记录、营销档案、客服等文本,建立基础语料库。
 
开展电力主题词典构建工作,利用新词发现技术和语义网络挖掘技术,构建电力行业主题词典,为电力自然语言处理提供基础资源。目前已经完成部分电力专业词典构建,并在公司科技项目查重系统中进行了应用。
 
(2)搭建电力自然语言处理平台
 
研究跟踪自然语言处理先进技术,调研各类自然语言处理工具包,并进行广泛集成;研究开发语言处理平台基础技术服务接口,包括分词、词性标注、命名实体识别、消歧、句法分析、角色标注等,为自然语言处理应用提供语言处理服务。
 
(3)电力知识图谱构建和应用
 
重点面向运检、调度、配电、营销客服等领域,研究实体及关系抽取技术,建立信息表示、知识加工、知识更新体系,构建领域知识图谱,实现数据到信息到知识再到智能,有力支撑电力业务智能应用。


上一篇:区块链2.0版本设想:区块链和人工智能的结合
下一篇:想让工业机器人更加智能?试试认知技术!
精选推荐
新型轻便机器人套装重5kg,辅助跑步和步行
新型轻便机器人套装重5kg,辅助跑步和步行

[2019-10-23]  虽然步行对大多数人来说似乎不是负担,但对有些人来说,这项简单的运动往往会让人感到筋疲力尽。比如手术或中风后恢复的患者、帕金森氏症患 ...

麻省理工学院最新研究:优化软体机器人的控制和设计
麻省理工学院最新研究:优化软体机器人的控制和设计

[2019-11-24]  软体机器人属于一个新的领域,它可能在诸如外科手术等领域发挥重要作用(手术时的纳米机器人需要在人体内部移动而不损伤软组织)。软体机器 ...

MIT最新“人机”互连系统 让双腿机器人复制人体技能
MIT最新“人机”互连系统 让双腿机器人复制人体技能

[2019-11-01]  MIT的小爱马仕想借用你的大脑 ,图片来自: João Ramos爱吧机器人网消息,麻省理工学院(MIT)的研究人员展示了一种新型遥操作系 ...

这些人型机器人是如此真实,你的肉眼几乎无法区分
这些人型机器人是如此真实,你的肉眼几乎无法区分

[2017-09-03]   我们生活在一个区分现实与幻想变得越来越困难的世界。由于机器人技术的进步,创造人工的人类正在逐渐接近完美的最终目标。我们现在看到的机器人不再只是一块发光二极管,......

机器人灵巧手将成为智能机器人的下一个重大突破
机器人灵巧手将成为智能机器人的下一个重大突破

[2018-01-25]  计算机科学教授兼东北地区助手机器人实验室负责人罗伯特·普拉特(Robert Platt)说:“机器人手操作是下一步要解决的问题。想象一下,一个机器人可以在现实世界中用手去做事......

什么是机器人学?机器人学简介
什么是机器人学?机器人学简介

[2017-12-14]  机器人学是工程学与科学的交叉学科,包括机械工程,电气工程,计算机科学等。机器人技术涉及机器人的设计、制造、操作和应用,以及用于控制、感官反馈和信息处理的计算机系统。...

谷歌宣布搜索算法重大升级,用BERT模型理解用户搜索意图
谷歌宣布搜索算法重大升级,用BERT模型理解用户搜索意图

[2019-10-26]  谷歌刚刚宣布,其搜索引擎的核心算法正在进行一项重大升级,这项升级可能会改变10%的搜索结果排序。此项升级应用了自然语言处理技术(BERT ...

南加州大学机器人学家:机器人更适合粗暴的爱
南加州大学机器人学家:机器人更适合粗暴的爱

[2019-11-07]  图片来自JOHN MADERE GETTY IMAGES打是疼骂是爱,当人类粗暴的将物体从机器人手中敲掉,看似残忍,实际上却能帮助机器人找到最好的握持物 ...

本周栏目热点

英伟达宣布开源物理仿真引擎 PhysX

[2018-12-12]  物理仿真引擎的作用,是让虚拟世界中的物体运动符合真实世界的物理定律,经常用于游戏领域,以便让画面看起来更富有真实感。PhysX 是由英伟达提出的物理仿真引擎,其物理模拟......

外媒Cnet总结了家务机器人未来的发展方向

[1970-01-01]    随着科技的发展,简单的机器人已经来到我们的生活中,比如机器人型真空吸尘器或是具有一定人工智能的沟通型家庭机器人。但显然,与科幻 ...

英国研究人员达成有史以来最快的数据传输速率

[2016-02-18]   伦敦大学学院(UCL)的研究人员已经达成数字信息有史以来最快的数据传输速率。作为专注于研究光传输系 ...

10个动图看遍科技界的大新闻

[2016-01-04]   1 新视野号经过冥王星,发回重要照片和资料2 苹果发布了第一款可穿戴设备 Apple Watch3 微软发 ...

IBM转型认知计算重返消费市场 这事该如何理解?

[2016-01-14]   文|翔snowman(微信公众号:科技茱比莉Jubilee)这两天IBM再次成为焦点。先是一则严重失实的标题党文章 ...