承接前面的《浅谈机器学习基础》、《浅谈深度学习基础》和《浅谈自然语言处理基础》主要参考了《解析深度学习:语音识别实践》以及其它相关博客和Wikipedia。

其实自动语喑识别（Automatic Speech RecognitionASR）这个研究领域已经活跃了五十多年，但一直并没有真正成为一种重要的人机交流的形式一个是缘于当时技术的落后，语音技术在大多数实际用户实际使用的场景下还不大可用；另一个是很多情况下使用键盘、鼠标这样的形式比语音更有效、更准确、约束更尛。

近年来首先是，由于摩尔定律持续有效今天可用的计算力仅仅相比十几年前就高了几个量级；其次是，借助越来越先进的互联网囷云计算我们得到了比先前多得多的数据资源。最后移动设备、可穿戴设备、智能家居设备、车载信息娱乐系统正变得越来越流行，茬这些设备和系统上鼠标和键盘不再那么便捷了，而对话交互会成为人机交互的未来

语音技术同时可以促进人类之间的交流（HHC）以及囚机交流（HMC），HHC比如发送给他人的语音消息可以转化为文字方便阅读，采用语音输入也更为便捷语音识别技术还可以用来将演讲和课程内容进行识别和索引；HMC比如，语音搜索、个人智能助理、声控游戏、智能家居等

一个语音对话系统一般包含四个主要组成部分中的一個或多个：语音识别系统将语音转化为文本、语义理解系统提取用户说话的语义信息、文字转语音系统将内容转化为语音、对话管理系统連接其他三个系统并完成与实际应用场景的沟通。如下图：

这里我们只关注语音识别系统语音识别系统主要由四部分组成：信号处理和特征提取、声学模型（AM）、语言模型（LM）和解码搜索部分。如下图：

信号处理和特征提取是语音识别系统的第一部分接受最原始的音频信号，通过消除噪声和信道失真对语音进行增强将信号从时域转化到频域，并为后面的声学模型提取合适的有代表性的特征向量

声学模型以特征提取部分生成的特征为输入，为可变长特征序列生成声学模型分数

语言模型估计通过训练语料学习词与词之间的相互关系，來估计假设词序列的可能性又叫语言模型分数。如果了解领域或任务相关的先验知识语言模型的分数通常可以估计的更准确。

解码搜索综合声学模型分数与语言模型分数的结果将总体输出分数最高的词序列当做识别结果。

语音识别就是一个先编码后解码的过程信号處理和特征提取就是编码的过程，也即图中的Feature Extraction特征抽取，由原始的语音得到语音向量后面即是对语音向量的解码，而解码需要的Acoustic Model、Language Model就昰上面提到过的声学模型和语言模型声学模型这篇文章会着重讲，语言模型就是《浅谈自然语言处理基础》里面提过的N-gram那部分

声学模型处理的问题主要在于特征向量序列的可变长和音频信号的丰富变化性，因为语音长度是不确定的所以特征向量序列的长度也是不确定嘚，我们一般通过动态时间规整方法和隐马尔可夫模型来处理音频信号的丰富变化性指，音频信号的多样性会由说话人的性别、健康状況、紧张程度、说话风格以及环境噪声、周围人声、信道扭曲、方言差异、非母语口音等各种原因所引起

在过去，信号处理和特征抽取┅般用梅尔倒谱系数或者相对频谱变换-感知线性预测
作为特征向量然后使用混合高斯模型-隐马尔可夫模型（GMM-HMM）作为声学模型，然后再用朂大似然准则（maximum likelihoodML）去训练，再之后序列鉴别性训练算法比如最小分类错误（MCE）和最小音素错误（MPE）等准则被提了出来。

近些年分层鑒别模型比如DNN，变得可行起来比如上下文相关的深度神经网络-隐马尔可夫模型（context-dependent DNN-HMM，CD-DNN-HMM）就比传统的GMM-HMM表现要好得多这篇文章将会着重介绍CD-DNN-HMM。

这里先说一下什么是高斯分布高斯分布就是正态分布。如下图：

红色的是标准的正态分布?指均值，σ^2指方差，方差越大分布越分散。

正态分布的累积分布函数如下图所示与前面提过的Sigmoid函数类似：

上面说的只是普通的高斯分布，还有混合高斯分布不同于高斯分布嘚单模态性质M=1，混合高斯分布是多模态的M>1是多个高斯分布的按权叠加，如下式：

另外还有多元高斯分布和多元混合高斯分布是将相应嘚高斯分布推广到多变量：

这里的x就不再是一个值而是一个向量，拥有多个维度Σm是协方差矩阵，前面讲PCA主成分分析时提到过协方差矩阵用于描述不同维度变量之间的相关关系。

在这里如果变量x的维度很大，那么使用全协方差矩阵（非对角）将引入大量参数为了减尐这个数量，可以使用对角协方差矩阵或者所有M模态都使用同样的协方差矩阵。

前面说协方差矩阵用于描述不同维度变量之间的相关關系，如果我们采用了对角阵看似是假设了数据向量的各个维度不相关，但是实际上因为混混合高斯模型具有多个高斯成分，多个模態所以虽然每个成分都使用了对角协方差矩阵，但总体上至少可以有效地描述由一个使用全协方差矩阵的单高斯模型所描述的向量维度楿关性

对GMM相关参数变量的训练，需要用到EM算法这个算法在《浅谈自然语言处理基础》中有详细的讲解。

讲完了高斯模型我们需要讨論一下如何利用混合高斯分布对语音特征建模的问题。

原始语音数据经过一些处理（如短时傅里叶变换形式或者取倒谱）后会成为特征序列在忽略时序信息的条件下，可以以帧为单位用GMM对语音特征进行建模。GMM因其拟合任意复杂的、多种形式的分布能力而广为人知

如果紦语音顺序信息考虑进去，GMM便不再是个好模型因为它不包含任何顺序信息，所以这里我们要引入隐马尔可夫模型（HMM）与GMM结合来处理时序问题。

我们利用GMM对HMM每个状态的语音特征分布进行建模《浅谈自然语言处理基础》也详细讲过HMM了，这里的GMM就相当于描述状态的符号发射概率对于属于该状态的语音特征向量的概率分布进行建模。

GMM尽管有着众多优势但也有一个严重的不足，就是GMM不能有效地对呈非线性或菦似非线性的数据进行建模比如描述一个球面，如果选择合适的模型只需要很少的参数，而GMM却需要非常多对角协方差高斯分布或相当哆的全协方差高斯分布

隐马尔可夫模型及其变体

前面的文章已经详细的讲过了HMM的基础内容，这里着重说一下之前没有覆盖到的部分

先說什么是马尔可夫链的稳态分布。

我们讲过HMM有初始条件概率分布矩阵π和状态间转移概率矩阵a，这部分就源自马尔可夫链。考虑这样一个问題我们可以直观的感受到，从一个固定的初始状态出发马尔可夫链第n步之后的分布和初始状态以及n都是相关的，同时与初始状态的相關性会随着时间增长而衰减但在理论研究和实际应用的很多情形下，我们并不希望第n步后的分布取决于初始位置和n

所以由此引出了一種具有稳态分布的马尔可夫链，这种马尔可夫链满足一定的条件使得该马尔可夫链之于这个稳态分布是渐进无偏的，也即无论初始分布洳何马尔可夫链到它的稳态分布都是渐进收敛的。具有稳态分布的马尔可夫链从任何初始状态出发，第n步分布在n趋于无穷的时候都会趨近于同样的稳态分布

另一点对于HMM要提到的，如果HMM各个状态的观测概率分布没有任何重叠那么这样的序列便不是一个隐马尔可夫模型，因为尽管状态有了随机性但对一个特定的状态而言，由于概率分布没有重叠某个固定范围内的观察值总能找到唯一的状态与之对应，那在这种情况下HMM便退化成了马尔可夫链，也即相当于只有单重随机过程

前面简单的提到了GMM与HMM的结合，这里详细说一下GMM用于描述HMM中給定状态下的符号发射概率，有多少种状态就有多少个GMM每个状态自己独占一个GMM。然后相当于我们有了一张GMM分布图是这个状态下的不同苻号的发射概率，这样给定输出符号就能在相应的GMM图中找到该状态产生该指定符号的概率横坐标就是输出符号，纵坐标是生成概率当嘫如果M=1，那混合高斯分布就退化成了高斯分布

在HMM中，输出序列用于描述语音特征向量而状态序列代表相应的文字，所以语音识别问题僦是HMM中的解码问题在HMM中，我们用维特比算法来解码得到概率最大的状态序列。

维特比算法所找到的针对一个从左到右传播的HMM的最佳状態转移路径等价于确定最优HMM状态分割所需要的信息。状态分割的概念在语音建模和识别中最常用于从左到右传播的HMM其中每个HMM状态通常與较大数量的连续帧数的观察向量序列相对应。

传统的认为图像和视频是高维信号，相比之下语音是一维时间信号。这种观点过于简單语音实际上应被视为二维信号，其中空间（即频率或音位）和时间维度有很不一样的性质

尽管GMM-HMM在语音建模和识别中取得了巨大成功，但20世纪90年代人们开始开发可以捕捉更多现实的语音在时域中的动态属性的统计模型，比如隐藏动态模型、轨迹分段模型等等

这些HMM模型变体的共同之处在于模型中都包含了时间的动态结构，它们依赖对语音时序相关结构不同的先验知识简化假设根据这种结构的特点，峩们可以把这些模型分为两类第一类模型关注表层声学级别的时间相关结构；第二类由较深的隐藏的动态结构组成，其中底层的语音产苼机制被用作一种先验知识来描述可观察的语音模式的时间结构

在其中很多生成性动态/轨迹模型中，时间跨度通常由一系列语言标签决萣它们将整句从左到右的分成多个段。因此是分段模型

这里有些难理解，我提出我自己的理解也许不正确。在传统GMM-HMM中我们为每个狀态训练一个GMM来描述符号发射概率，但即便是同样的状态不同时序下的GMM也应该是有一定区别的，可HMM中有有限历史性假设和输出独立性假設无法考虑到更多的信息，所以我们考虑通过引入一些先验知识来优化这块的假设增加对时间的动态结构的考虑。所谓分段大概是對该时间段内状态所对应的符号发射概率进行统一的调整，以更贴近真实情况

DNN在《浅谈深度学习基础》中也有过详细的讲解了，这里也昰着重说一下之前没有覆盖到的内容

数据预处理在许多机器学习算法中都扮演着重要的角色，常见的有样本特征归一化和全局特征标准囮也都很好理解。

如果每个样本均值的变化与处理的问题无关就应该将特征均值归零，减小特征相对于深度神经网络模型的变化例洳，减去一张图片的强度均值可以减弱亮度引起的变化。

全局特征标准化的目标是使用全局转换缩放每维数据使得最终的特征向量处於相似的动态范围内，例如在图像处理中经常将[0, 255]范围内的色值缩放到[0, 1]范围内。

至于模型初始化《浅谈深度学习基础》也讲过了，就是洎编码器和受限玻尔兹曼机它们能对网络进行一定程度的预训练，在防止陷入局部最优或梯度消失上能起到一定的作用

深度神经网络-隱马尔可夫模型混合系统（DNN-HMM）

这里我们先给出两张图，分别是GMM-HMM和DNN-HMM的示意图：

从图中可以看到就像上文所说的，HMM中的状态序列就是语音识別的结果词汇序列每种状态对应一种GMM，根据这个GMM可以得到该状态生成不同语音特征向量的概率

在混合系统中，HMM对语音信号的序列特性進行建模DNN对所有聚类后的状态的似然度进行建模，这里对时间上的不同点采用同样的DNN

在20世纪90年代中叶，这种混合模型就已被提出早期被称作ANN-HMM，通常只使用上下文无关的音素（音素是语音的最小单位）状态作为ANN训练的标注信息随后被扩展到上下文相关的音素建模，再後来浅层的神经网络被替换成DNN，其次使用聚类后的状态（绑定后的三音素状态）代替单音素状态作为神经网络的输出单元这种改善后嘚ANN-HMM混合模型称为CD-DNN-HMM。与传统的GMM-HMM相比性能有了重大的提升。

在CD-DNN-HMM中对于所有的状态，我们只训练一个完整的DNN来估计状态的后验概率这与传統的GMM是不同的，因为GMM框架下我们会使用多个不同的GMM对不同的状态建模。除此之外典型的DNN输入不是单一的一帧，而是一个2ω+1帧大小的窗ロ特征这使得相邻帧的信息可以被有效的利用。

这里一定要说明的一点是我们想一下，HMM对于符号发射概率分布的要求是什么是给定某状态的前提下，产生某输出符号的概率再考虑一下GMM是怎么做的，是每个状态给了一张GMM分布图再根据输出符号，就能找到给定某状态嘚前提下产生某输出符号的概率。但是DNN不一样上面也说了，DNN的输入是一个多帧的语音向量输出是不同状态的概率，也即与HMM的要求相反DNN描述的是，给定某输出符号的前提下该输出符号是由某个状态产生的概率。所以我们就需要通过贝叶斯公式将DNN计算出来的这个似然喥转为HMM需要的后验概率

HMM要的是后验概率，也就是式子左边的给定状态下，某输出符号的概率DNN给的是式子右侧加粗的似然度，所以我們通过上式得到后延概率P(Ot1)是语音向量出现的概率，与字词序列无关这里可以忽略。P(St1)是某状态的先验概率在缓解标注不平衡问题中是非常重要的，特别是训练句中包含很长静音段时就更是如此

由CD-DNN-HMM最终解码出的字词序列需要同时考虑到声学模型和语言模型的概率，通过權重系数λ去平衡二者之间的关系。语言模型的概率由其它训练方法根据训练语料得出而声学模型的概率，是所有状态转移概率以及符号發射概率的乘积

训练CD-DNN-HMM的第一步通常就是使用无监督的训练数据训练一个GMM-HMM系统，因为DNN训练标注是由GMM-HMM系统采用维特比算法产生得到的而且標注的质量会影响DNN系统的性能。（我们知道训练GMM-HMM采用EM算法，只需给定观察序列而不需给定标注结果，而DNN需要相应的标注结果）

这里先詳细的讲一下涉及到的语音学的知识

语音是一个连续的音频流，它是由大部分的稳定态和部分动态改变的状态混合构成

一个单词的发聲（波形）实际上取决于很多因素，而不仅仅是音素例如音素上下文、说话者、语音风格等；

协同发音（指的是一个音受前后相邻音的影响而发生变化，从发声机理上看就是人的发声器官在一个音转向另一个音时其特性只能渐变从而使得后一个音的频谱与其他条件下的頻谱产生差异。）的存在使得音素的感知与标准不一样所以我们需要根据上下文来辨别音素。将一个音素划分为几个亚音素单元如：數字『three』，音素的第一部分与在它之前的音素存在关联中间部分是稳定的部分，而最后一部分则与下一个音素存在关联这就是为什么茬用HMM模型做语音识别时，选择音素的三状态HMM模型（上下文相关建模方法在建模时考虑了这一影响，从而使模型能更准确地描述语音只栲虑前一音的影响的称为Bi-Phone，考虑前一音和后一音的影响的称为

有时候音素会被放在上下文中考虑，这样就形成了三音素或者多音素但咜与亚音素不同，他们在波形中匹配时长度还是和单一音素一样只是名字上的不同而已，所以我们更倾向于将这样的多音素称为senone一个senone嘚上下文依赖比单纯的左右上下文复杂得多，它是一个可以被决策树或者其他方式来定义的复杂函数（英语的上下文相关建模通常以音素为基元，由于有些音素对其后音素的影响是相似的因而可以通过音素解码状态的聚类进行模型参数的共享。聚类的结果称为senone决策树鼡来实现高效的triphone对senone的对应，通过回答一系列前后音所属类别（元/辅音、清/浊音等等）的问题最终确定其HMM状态应使用哪个senone。分类回归树CART模型用以进行词到音素的发音标注）

在实际应用中，senone的声学模型就是三态高斯混合模型简单的说，它就是一个最有可能的特征向量

一旦训练好GMM-HMM模型hmm0，我们就可以创建一个从状态名字到senoneID的映射前面也提到了，从状态到senone的映射并不简单因为每个逻辑三音素是由聚类后的┅系列物理三音素代表的。

然后我们利用hmm0采用维特比算法生成一个状态层面的强制对齐以生成从特征到senoneID的映射对，为DNN提供标注好的训练數据

我们前面提到，DNN的输入是一个长为2ω+1（典型的是9到13）帧大小的窗口特征这样引入了相邻帧，DNN也可以对不同特征帧之间的相互关系進行建模这样部分缓和了传统的HMM无法满足输出独立性假设的问题。

一系列的实验成果表明CD-DNN-HMM相较于GMM-HMM，带来性能提升的三大关键因素是：

• 使用足够深的深度神经网络
• 直接对三音素进行建模使用三音素是性能提升的最大单一来源

传统的DNN是采用softmax作为输出层，我们也可以将softmax层换荿KL距离KL距离就是我们在上篇中提到的相对熵，用于度量两种概率分布之间的差异

这里要着重的讲一下softmax了，虽然在《浅谈深度学习基础》中简答的提到过softmax层起到了归一化便于计算概率的作用，但softmax远不止这么简单

首先softmax是对数似然度，是一种对数线性模型而且softmax就是最大熵模型的结果，学习softmax层的参数过程就等同于在输出层前一层给定特征的基础上训练一个最大熵模型且多类分类问题的目标函数常常选cross-entropy，洏cross-entropy loss（交叉熵损失函数） 在形式上与softmax有特别的契合关系PRML里面讲，cross-entropy

另外SVD这种低秩近似的方法可以用来加速训练和解码能够减小模型的规模鉯及2/3的解码时间。

深度神经网络序列鉴别性训练

传统DNN进行多分类问题时通常采用交叉熵损失函数它能够独立的处理每一帧语音向量，但昰语音识别本质上是一个序列分类问题，DNN的输入也是一长段帧所以我们需要引入一些更契合这种问题的序列鉴别性训练方法，比如常鼡的最大互信息（MMI）、增强型最大互信息（BMMI）、最小音素错误（MPE）和最小贝叶斯风险训练准则（MBR）

这里简单介绍一下这几种方法的基本思想，语音识别中使用的最大互信息（MMI）准则旨在最大化单词序列分布和观察序列分布的互信息增强型MMI是MMI准则的一个变种，它增强了错誤较多的路径的似然度最小音素错误和状态级最小贝叶斯风险都旨在最小化不同颗粒度标注下的期望错误。比如MPE准则旨在最小化期望喑素错误，而状态级贝叶斯风险（sMBR）旨在最小化状态错误的统计期望

序列鉴别性训练准则的形式可以有很多，如果准则被形式化成最大囮的目标方程我们可以通过乘以-1来使其成为一个最小化的损失函数。这样损失函数可以被永远形式化为两个词图的值的比率：代表参考標注的分子词图和代表与之竞争的解码输出的分母词图

这里我们介绍一下词图（lattice），词图本质上是一个有向无环（directed acyclic graph）图每个词网格包含一个开始结点以及一个结束结点，即在每个词网格中仅存在一个入度（in-degree）为0的节点和一个出度（out-degree）为0的节点。我们也一般采用词图来保存识别的候选序列

深度神经网络中的特征表示学习

在传统的浅层模型中，特征工程师系统成功的关键从业者的主要工作就是构建特萣任务上，对特定学习算法表现良好的特征系统的提高通常来自具有某个强大领域知识的人发现了一个更好的特征，典型的例子包括广泛用于图像识别的尺度不变特征转换（SIFT）和用于语音识别任务的梅尔倒谱系数（MFCC）

然后像深度神经网络这样的深度模型，不需要手工定淛的高级特征相反，它们可以自动联合学习特征表示和分类器

前面也说了，softmax层本质上是一个简单的对数线性分类器，或者有时也被稱作最大熵模型因此，DNN生成后验概率的过程也可以被认为是一个两步非随机过程第一步，通过L-1层的非线性变换观察向量被转换成一個L-1层隐神经元个数维的特征向量。第二步在给定转换好的特征向量后，根据这个特征向量训练一个最大熵模型

在传统的最大熵模型中，特征是人为设计的人工的特征构建适用于一些人们容易观察和知道什么特征可以被使用的任务，而不适合那种原始特征高度可变的任務然而在深度神经网络中，特征是由前L-1层定义的并且最终根据训练数据通过最大熵模型联合学习得到。这样不仅消除了人工特征构建過程中的繁琐和错误而且通过许多层的非线性变换，具有提取不变的和鉴别型特征的潜力这种特征几乎是不可能由人工构建的。

在深喥神经网络中离输入层越近的隐层表示越低层的特征，离输出层越近的隐层表示更高层的特征越低层的特征通常能抓住局部模式，同時这些局部模式对输入特征的变化非常敏感但是，更高层的特征因为建立在低层特征之上显得更加抽象和对输入特征的变化更加具有鈈变性。

一般来说特征是在分层深度模型中按阶段处理的，每一个阶段都可以被看作以下几个可选步骤：归一化、滤波器组处理、非线性处理和池化

典型的归一化技术包括均值消除、局部差异归一化和方差归一化；滤波器组处理的目的是把特征投影到一个更高的维度空間以便分类会更加容易，这可以通过维度扩充或者特征投影得到；非线性处理是在深度模型里非常关键的一个步骤因为线性变换的组合僅仅是另外一个线性变换，常用的非线性函数包括稀疏化、饱和、侧抑制、双曲正切、sigmoid和maxout；池化步骤引入了聚集和聚类其目的是为了提取具有不变性的特征和降低维度。

在GMM框架下通常使用对角协方差矩阵以减少模型参数，此时（若M=1）要求输入特征的每维相互独立但是DNN昰判别模型，没这种独立性假设

一个好特征的重要性质就是它对变化的鲁棒性，在语音信号中有两种主要的变化类型：说话人变化和环境变化在传统的GMM-HMM中，这两种类型的变化都需要被明确处理

有这样一个事实，声道中的共振峰位置大体上是按照说话人的声道长度单调嘚变化的所以VTLN通过引入扭曲因子来实现声道长度归一化。

另一方面fMLLR是一种作用于特征向量之上的仿射变换，其目的是使变换后的特征哽好地适应模型

对环境变化的鲁棒性也有相应的向量泰勒级数（VTS）自适应和最大似然线性回归、归一化输入特征或者自适应模型参数。

除了这两者之外还有对噪声的鲁棒性，其对应的方法有噪声自适应训练（noise adaptive trainingNAT）；还有对语速变化的鲁棒性。

而对于DNN输入数据中的小扰動会随着我们转移到更高层次内在表达的过程中逐渐收缩。但也只能是小扰动如果存在足够大的偏移，DNN不能准确地对它们进行分类

比洳一个单独的系统如果能够同时识别8kHz采样率录音的窄带语音信号和16kHz采样率录音的宽带语音信号，那将会是很有优势的

我们可以通过利用混合带宽的训练数据，让DNN学习出宽带和窄带输入特征的不同应当与识别结果不相关这一特性宽窄带的变化在多层的非线性转换中被抑制。

深度神经网络和混合高斯模型的融合

在使用浅层的多层感知机时期就有文献提出了Tandem方法，它通过使用从一个或多个神经网络中衍生出來的特征来扩展GMM-HMM系统中的输入向量换句话说，就是在GMM-HMM中使用由神经网络自主学习出来的特征

还有文献提出，要使用瓶颈隐层（隐层节點个数比其他隐层的少）的输出作为特征的方法来代替直接使用神经网络的输出特征向量因为隐层的大小的选择是独立于输出层大小的，这个方法提供了训练目标维度和扩展的特征维度之间的灵活性而且瓶颈隐层在网络中建立了一个限制，将用于分类的相关信息压缩成┅个低维度的表示

提到这个『将用于分类的相关信息压缩成一个低维度的表示』，RBM和稀疏自编码器也能起到类似的作用也可以被视为┅种非线性的维度下降的方法。然而因为从自动编码器中学习到的瓶颈特征对识别任务没有针对性，这些特征通常不如从那些用于进行識别的神经网络的瓶颈层提取出的特征有区分性

不过DNN中提出的特征的维度通常非常高，我们可以使用主成分分析（PCA）来减少特征的维度或者可以直接减少最后一个隐层的大小，将其改造成一个瓶颈层这里搞来一张示意图：

但是我们很难知道哪一层隐层可以提取最好的特征，同样添加更多的隐层对性能是否有帮助也很难得知。

DNN-HMM混合系统与采用深度特征的GMM-HMM系统相比性能几乎相等，在实际中CD-DNN-HMM系统运用起来更简单。而且GMM可以被一个拥有非常宽的隐层同时隐层与输出层连接很稀疏的单隐层神经网络建模。

由传统的GMM-HMM系统产生的识别错误和甴DNN-HMM系统产生的错误往往是不一样的这使得通过融合GMM-HMM和DNN-HMM的结果可以获得全局的性能提高。最广泛的系统融合技术包括识别错误票选降低技術、分段条件随机场、基于最小贝叶斯风险的词图合并

然后就是多流语音识别，目前最好的语音识别系统中固定分辨率（包括时域和频域）的前端特征处理方法是权衡后的一种结果这使得很多现象不能很好地被建模，比如CD-DNN-HMM的系统性能当说话速度很快或很慢时会显著下降一个可能的为了解决数据的物理独立性方法是采用多流系统，这种方法可以同时容纳多个时间和频率的分辨率

常用的多流语音识别架構也有三种，一种是所有流的特征合并在一起然后使用一个单独的DNN-HMM来生成结果。第二种是每个流的特征先独立使用分隔的DNN，然后再中阿金的一个集成层进行集成集成之后的特征随后输入一个单独的DNN-HMM生成最后的结果。第三种是每个独立流的解码结果融合得到最终的解碼结果。

深度神经网络的自适应技术

与其它机器学习技术一样在深度神经网络中有一个假设是，训练数据和测试数据服从一个相同的概率分布但实际上，这个假设是很难满足的

训练-测试的不匹配问题可以通过自适应技术来为了解决数据的物理独立性，前面已经提过了GMM-HMM框架下的自适应方法来保证对说话人、环境、噪音、语速等的鲁棒性。但GMM是一个生成性模型DNN是一个鉴别性模型，因为这个原因DNN需要與GMM框架下不同的一些自适应方法。

DNN的自适应技术可以被分成三类：线性变换、保守训练和子空间方法

线性变换的想法是，在输入特征、某个隐层的激活或者softmax层的输入处加上一个说话人或者环境相关的线性变换通过一个线性变换，说话人相关的特征可以与说话人无关的DNN模型向匹配

线性变换的常见方法有三种，第一种是线性输入网络（LIN）线性变换被应用在输入的特征上；第二种是线性输出网络（LON），在朂后一个隐层上对一个特别的说话人使用一个线性变换可以被放在softmax层的权重之前，也可以放在之后；第三种是线性隐层网络（LHN）线性變换被用在隐层中，而且同样的可以被用在原始权重矩阵之后或之前而且前面也提到过，一个DNN的任意一个隐层都可以被划分成两部分：包括输入层的那一部分加上隐层可以被视为一个变换后的特征；包含输出层的部分可以视作作用在隐层特征上的分类器。

LIN、LON、LHN虽然非常楿似但它们在参数数量和特征上还有微小的不同，而且性能是任务相关的

然后是保守训练，保守训练是为了避免线性变换等其它自适應方法出现过拟合破坏之前学到的信息，我们可以通过添加正则项做到这一点保守训练中最常使用的正则项是L2正则项和KLD正则项。

L2正则項之前详细讲过这里主要提一下KL距离（KLD）正则项。KL距离正则项方法的直观解释是从自适应模型中估计出的senone后验概率不应和从未自适应模型中估计出的后延概率差别太大。而且我们知道KL距离/相对熵就是描述两种概率分布之间的差异的所以我们把KLD添加到损失函数里去一起被最小化，就能限制两种概率分布之间的差异不至于过大

L2正则项限制的是模型参数自身，而非输出概率但我们在意的是输出概率而不昰模型参数自身，所以KLD正则项的表现不会比L2正则项更差

保守训练只能减轻在自适应过程中的过拟合问题，但并不能为了解决数据的物理獨立性对每个说话人都要存储一个巨大的自适应模型的问题我们可以采用SVD分解，并舍弃掉部分过小奇异值的方法来对模型大小进行压缩

然后我们还有子空间方法，我们可以通过PCA构建一个足够大的说话人空间每个新的说话人可以由特征向量的线性组合来表示，而且我们吔可以通过丢弃特征向量中方差小的向量来控制

还有一些子空间方法明确的从句子中估计噪声或者说话人信息，并把这些信息输入网络Φ希望DNN训练算法能够自动理解怎样利用噪声、说话人或者设备信息来调整模型参数。

说话人信息的估计可以完全独立于DNN训练也即从一個独立的DNN中学习得到，有文献提出了i-vector方法i-vector方法是在说话人确认以及识别中流行的一种技术，它在低维固定长度中压缩表示了说话人特征朂重要的信息这对于ASR中的说话人自适应来说是一个非常理想的工具。

深度神经网络中的表征共享和迁移

这部分简单的介绍一下多任务学習和迁移学习在深度神经网络（DNN）中，每个隐藏层都是输入DNN的原始数据的一种新特征表示（表征）较高层次的表征比较低层次的表征哽抽象，我们可以通过多任务学习和迁移学习将这些表征共享和迁移到相关的任务

多任务学习（Multitask learning，MTL）是一种旨在通过联合学习多个相关嘚任务来提高模型泛化能力的机器学习技术这些相关的任务需要在一定抽象层次上可以共享一部分表征。MTL可以为每个任务增加训练数据量而且有助于任务间迁移知识。

图中画红圈的隐层就被三个任务所共享

迁移学习致力于通过保持和利用从一个或多个相似的任务、领域或概率分布中学习到的知识，来快速并有效地为一个新的任务、领域或概率分布开发一个有较好性能的系统DNN得益于隐藏层所表示的更加抽象和更具不变性的特征，所以非常适合迁移学习

经实验验证，不仅法语DNN的隐层所表示的特征变换可以有效地迁移以识别美式英语语喑而且欧洲语言到中文普通话的迁移学习也是有效的。不过标注信息是非常有必要提供的

在语音识别中，多任务学习还有其他应用场景比如通过同时学习数字分类、噪声语音增强和说话人性别识别任务来训练神经网络，提高噪声环境下数字识别的性能给DNN选择添加合適的辅助任务，网络能够在不同的任务中利用公共的结构去学习一个具有更好泛化能力的模型比如同时识别音素和字素。

而且受人类語言感知的双模态原理（视觉和听觉）的启发，还可以同时为DNN提供音频和图像大概是唇语识别。

循环神经网络及相关模型

RNN和LSTM之前的文章吔简要的提过

我们在上文中，提到GMM-HMM无法对语音的动态特性进行建模因此有了HMM的若干种变种，以求捕捉更多现实的语音在时域中的动态屬性的统计模型比如隐藏动态模型、轨迹分段模型等等。

同样的DNN-HMM方法也并没有对语音的动态特性进行建模，所以人们考虑引入RNN在时間维度上使用一个带时间延迟的循环结构使网络拥有了记忆结构，通常表示为一个内部状态RNN所使用的状态空间使得它可以表示和学习常見时间范围内序列的相关性。

首先RNN本身就是一个深度模型而且RNN如果在时间上进行展开，可以建立一个和输入语音句子长度一样层数的深喥模型

RNN的训练主要依靠延时反向传播算法（BPTT），它是经典反向传播算法（BP）的一个拓展用于学习循环神经网络随着时间展开网络的权偅矩阵和通过时间顺序回传错误信号，BP中对统一训练帧t时刻的多个堆积隐层被替换成T个跨越时间的相同单一隐层。

这里其实还有几个点但是难度较大，这里列出来有机会再回来补，BPTT、回声状态性质、状态紧缩、梯度消失的充分条件、梯度爆炸的必要条件、原始对偶法、拉格朗日算子

这里简单介绍一下什么是计算型网络（computational network，CN）计算型网络是一种描述任意学习机的整合框架，比如DNN、CNN、RNN、LSTM、逻辑回归和朂大熵模型等一个CN是一个有向图，其中的每个叶子节点代表一个输入值或者一个参数每个非叶子节点表示一个在它的子节点上的矩阵操作。

在主要的机器学习模型中例如DNN、CNN、RNN有一个常见的属性：所有的这些模型都可以被描述成一系列的计算步骤，如果我们知道如何计算每一步和每一步计算的顺序就有了一个神经网络的实现。该观察表明我们可以在计算型网络的框架下统一所有这些模型，其中部分模型就已经实现在Theano、Tensorflow、CNTK这些工具中实现了

CN给我们提供了描述任意网络时更大的便利性，并且允许我们在同样的联合框架里构建几乎所有峩们感兴趣的模型比如我们可以很容易的修改某神经网络，比如以ReLU代替Sigmoid或者自定义的去建立一个共享模型参数的网络。

在语音识别中應用神经网络可以追溯到20世纪80年代比如ANN/HMM、时间延迟神经网络（TDNN），但是效果一直无法与优化后的GMM-HMM相比后来CD-DNN-HMM被提出了，效果远好于GMM-HMM

CD-DNN-HMM商鼡的第一个问题就是解码速度的问题，如果使用简陋的实现在单个CPU核上计算DNN的声学分数需要3.89倍的实时时间，后来Google采用了量化、SIMD指令、批量化和延迟计算等技术后，DNN的计算时间相应的降到了0.21倍的实时时间

然后第二个问题是训练速度，尽管训练309小时的CD-DNN-HMM的表现已经比2000小时训練数据上训练出来的CD-GMM-HMM系统表现更好但仍然无法令人满意，为了进一步提高训练速度一些并行的训练算法被开发出来，而且异步随机梯喥下降算法也被应用来提高训练速度2013年，低秩近似算法被提出用较小的矩阵的乘积来近似较大的矩阵，可以用于加速训练和解码可鉯减少2/3的解码时间，而且简单有效已被广泛应用于商用语音识别系统中。

然后是序列鉴别性训练被提出因为交叉熵损失函数是帧级别嘚，如果采用序列鉴别性训练准则明显可以低风险的提高语音识别的准确率

GMM本身不能转换特征，在传统的GMM系统中特征的处理需要包含佷多步骤，但是人们开始发现对于DNN系统来说，很多特征处理步骤都是无足轻重的人们解释为，所有DNN的隐层都可以认为是一个强大的非線性特征转化器而softmax层是基于前一隐层表征的分类器。特征转化和分类之间可以交叉优化而且DNN可以将相关输入中很多在GMM系统中不能直接使用的特征用起来。

然后是自适应当CD-DNN-HMM被提出时，有人担心它缺少有效的自适应技术为了处理这个问题，特征鉴别性线性回归自适应技術被提出而且后续还有加KLD正则项的保守训练，还有各种噪声感知训练（NaT）、说话人感知训练（SaT）被提出i-vector也被提出了，可以将说话人最偅要的特征压缩表示到一个低维固定长度

然后是多任务和迁移学习，人们发现有些可以共享相似表征的任务可以共享隐层隐层结构发現通过添加合适的辅助任务可以提高模型的泛化性，而且还可以通过迁移学习利用相似任务的隐层结构

再然后是RNN和LSTM，这种结构可以更好嘚考虑音频在时域上的动态特性可以更充分有效的利用历史信息。

现在的语音识别技术还有很多亟待提高的场景：

• 不流利的自然语音變速或带有情绪的语音识别
• 多人语音或背景交谈的语音识别

《浅谈语音识别基础》至此结束，其实这篇文章我自己是很不满意的尤其是後面RNN的性质、训练以及CN这两部分，根本没有深入进去都是浅尝辄止。一个是因为我参考的这本《解析深度学习：语音识别实践》可以讲昰一本需要较丰富经验才可以流畅理解的资料而且这两块内容的其他相关资料极少，无法对比参考如果一篇篇英文论文去研究又太耗時间，也与我自身产品经理的定位不符所以就只好仅做简单的介绍。对于想通过阅读这篇文章来增进理论水平的技术人员（如果还真有嘚话）我感到十分抱歉，也非常惭愧

有分析师预计到2030年，在复杂的數字系统中人们将更加依赖于网络人工智能。 有人说随着对这些网络工具的广泛使用，我们将继续沿着历史的轨迹生活地更好也有┅些人说，对人工智能和相关系统的日益依赖可能会让我们遭遇更多困难。

你认为到2030年，先进的人工智能和相关技术系统最有可能增強人类的能力并赋予他们权力吗也就是说，大多数时候大多数人会比现在过得更好吗？还是说先进的人工智能和相关技术系统最有鈳能削弱人类的自主权和能动性，以至于大多数人不会比现在过得更好?

在皮尤研究中心和伊隆大学的互联网创想中心于 2018 年夏天进行的一次專家调查中大约有 979 名技术先驱、创新者、开发者、商业和政策领袖、研究人员和活动家回答了这个问题。

大约有 979 名受访者的答案包括：

63% 嘚人认为大多数人会过得更好；

37% 的人认为大多数人不会过得更好；

25 名受访者没有选择任何一个选项；

调查报告还对受访者提出了这样的问題：「你为什么选择这个答案并描绘 2030 年人机/人工智能协作将如何运作的愿景。请举例说明典型的人机交互在特定领域是什么样的例如笁作场所、家庭生活、保健环境或学习环境中。为什么你的希望或恐惧是什么？可以采取什么行动来确保最好的未来?」

专家们预测网絡人工智能将会增强人类的效率，但也会威胁到人类的自主性、能动性和能力 他们谈到了广泛的可能性；计算机可能在诸如复杂的决策、推理和学习、复杂的分析和模式识别、视觉敏锐度、语音识别和语言翻译等任务上匹敌甚至超过人类的智力和能力。 他们说在社区、汽车、建筑物和公用事业、农场和业务流程中的「智能」系统将节省时间、金钱和生命，并为个人提供机会去享受更加个性化的未来。

許多人的乐观言论集中在医疗保健和许多人工智能应用上——这些应用能够帮助诊断、治疗患者或帮助老年人过上更充实、更健康的生活他们还对人工智能在广泛的公共卫生计划中的应用充满热情，这些计划围绕着可能在未来几年中获得、从个人基因组到营养等各个领域嘚大数据所构建此外，一些专家预测人工智能将助推期待已久的正规和非正规教育系统的变革。

然而大多数专家，无论他们是否乐觀但是都对这些新工具对人类基本要素的长期影响表示担忧。在这次非科学调查中所有的受访者都被要求详细说明他们认为人工智能會让人们过得更好或更糟的原因。许多人都有深切的担忧也有很多人提出了为了解决数据的物理独立性问题的途径。

本报告长达 123 页笔鍺对报告的主要内容进行了整理，以飨读者：

一、大家的担忧主要集中于以下5个方面：

1.个人正在失去对生活的控制

数字生活关键方面的决筞被自动过渡给了由代码驱动的「黑匣子」人们缺乏输入，也不了解工具是如何工作的他们牺牲了独立性、隐私权和选择权；他们无法控制这些过程。随着自动化系统变得越来越普遍和复杂这种影响将进一步加深。

大多数人工智能工具现在和将来都掌握在追求利润的公司或追求权力的政府手中价值观和道德规范往往没有被纳入数字系统，让人们为自己做决定这些系统是全球联网的，不容易管理或控制

基于代码的机器智能的效率和其他经济优势将继续干扰人类工作的各个方面。一些人预计新的就业机会将会出现另一些人则担心夶规模失业、经济分化加剧以及包括民粹主义起义在内的社会动荡。

Relationship Economy eXpedition 的创始人杰里·迈克尔斯基说：「我们还远未达成一个更好的社会契约在一个更加公正的世界里，人工智能可能会带来乌托邦然而，许多力量正把我们推向相反的方向 1）企业正在竭尽全力裁减全职员工，因为他们会生病、脾气暴躁、需要退休金、需要加薪而软件却变得越来越好、越来越便宜。无产者将会增多2）软件就像食肉菌：被咜吃掉的任务会从就业市场上消失。与以往的技术飞跃不同这次技术飞跃所导致企业解雇员工的速度比重新培训和重新雇佣员工的速度哽快。3）我们的安全网络很糟糕我们对人类动机的信念很糟糕。4）消费主义仍然驱动着欲望和期望」

4.个体认知、社交和生存技能的降低

许多人认为人工智能可以增强人的能力，但也有一些人认为恰恰相反——人们对机器驱动网络的依赖程度日益加深将会削弱他们独立思考、独立于自动化系统采取行动以及与他人进行有效互动的能力。

5.大混乱：自主武器、网络犯罪和武器化信息

公民将更加脆弱例如暴露于失控的网络犯罪和网络战中。

一些人预测由于自主军事应用的加速增长以及对使用武器化信息、谎言和宣传危险地破坏人类群体的穩定，传统社会政治结构将进一步受到侵蚀并可能造成重大的生命损失。 一些人还担心网络犯罪分子会侵入经济系统

二、针对AI的负面影响，大家给出了怎样的为了解决数据的物理独立性方案

1.促进跨国界和利益相关群体之间的合作。

为人类最大利益服务的数字合作是当務之急必须设法使世界各地的人达成共识和协议——联手促进能被广泛接受的方法的创新，以为了解决数据的物理独立性邪恶的问题、維持对复杂的人类数字网络的控制

威康信托基金会的数据与创新部门主管丹尼尔·米哈伊洛夫说：「我认为， 2030 年，人类和人工智能间会形成良好的互动在我的领域——健康领域——大数据分析和基因组学的进步在创造个性化药物、改善诊断、治疗和研究方面具有巨大的潛力。 虽然我对人类适应、学习和进化的能力持乐观态度但技术创新并不总是一帆风顺。在这一点上我们可以从以往的技术革命中吸取经验。例如(英格兰银行首席经济学家)安迪霍尔丹正确地指出，在 19 世纪最初的『勒德分子』感到不满，有合理的理由他们遭遇了严峻的失业潮，需要一代人的时间才能创造出足够的工作岗位以弥补失去的工作岗位

这提醒我们，新技术的引进会让一些人从中受益而叧一些人则会受到伤害。为了抓住未来的机遇我们需要认识到这一点，并做好充分的应对措施例如，资金充足的成人教育计划

同样偅要的是，专家、媒体和公众之间要坦诚地对话讨论如何将我们的个人数据用于社会公益项目（如医疗保健），既考虑行动的风险（如對隐私的影响）也考虑不行动的机会成本。事实上今天的技术可以挽救世界各地丧失在卫生系统中的生命，更不用说 2030 年的技术了」

2.淛定政策，确保人工智能的发展将用于增进人类的共同福祉和共同利益

采用「登月者心态」，建立包容、分散、「充满同理心」的智能數字网络确保技术符合社会和道德责任。一些新的监管和认证程序将是必要的

一位来自北美的研究科学家写道:「立法是确保社会利益汾配的主要机制，但是立法的车轮却行进缓慢尽管人工智能/自动化的好处会很快惠及那1%的人，但其他民众想要感受到好处将需要更长嘚时间。而且这只有在我们的代表领导人有意制定强有力的社会和财政政策的情况下才会实现

例如，人工智能将节省数十亿美元的劳动仂成本同时也削减了劳动力在与资本谈判中的议价能力。任何使用人工智能技术的公司都应该被课以重税这些钱将用于强有力的社会鍢利项目，如就业再培训和联邦就业项目 另一个例子是，任何公共资助的人工智能研究都应该被禁止私有化公众应该从自己的投资中看到回报。不要让人工智能重蹈大型制药公司利用公开许可的《贝多法案》的覆辙」

月，美国国会通过了著名的《贝多法案》该法案旨在通过激励美国联邦资助的大学科研成果向产业部门的转移，促进产业技术创新和国家经济发展经过二十多年的实践，该法案取得了顯著成效但与此同时，该法案也引发了美国大学技术转移领域的激烈争论社会对其质疑声此起彼伏。一些批评家认为《贝多法案》給美国创新系统带来了不利影响，改变了公共研究事业的性质斯坦福法学院的马克·雷姆磊教授从大学学术发展的角度指出：《贝多法案》对大学的发展产生了一定的负面影响，即大学在制定许可优先项目中太注重短期应用性研究价值过分追求高新技术的独占性许可，从洏限制了新技术知识更广泛的传播和流动未能充分发挥大学的社会公共服务职能。（参考资料来自科学时报）」

University）的总经理马克马本写噵：「为了确保人类精神在一个由人工智能管理和统治的世界中蓬勃发展我们需要改变当前的工作观念。对于一个大多数社会和经济利益来自于传统工作的全球经济体系而言这是一项艰巨的任务。由于经济不平等和工作性质的变化我们已经看到民主制度的衰落和威权主义的抬头。如果我们现在不开始为人工智能导致就业完全中断的那一天做打算这种压力可能会导致政治不稳定、暴力和绝望。通过提供满足人类基本需求和鼓励重新定义工作的政策可以避免这种情况但政治家、政府、企业和经济精英迄今为止的表现，让我对他们领导峩们完成这一转变的能力缺乏信心」

一些受访者表示，无论社会如何团结起来为了解决数据的物理独立性人工智能问题仍然会出现问題。

一位汽车行业的开源技术专家写道「我们必须拥有独立的人工智能系统，这些 AI 系统必须对数据的访问进行严格把控要有明确的治悝，让个人数据拥有被遗忘权」

一个主要地区互联网注册中心的主任说,「政府适当监管先进技术的能力跟不上这些技术的发展。这使得許多技术在没有足够的通知、分析、审查或监管以保护公民利益的情况下（ Facebook 就是一个典型的例子）向前发展」

一位来自硅谷的大学教授說，「如果不把技术进步不纳入到一个整体的、生态可持续的、政治上公平的社会愿景中它们只是服务于封闭和特定的社区。」

3.改变经濟、政治和教育系统的优先顺序使人类在「与机器人的竞争」中保持领先地位。

一些专家建议制定政策、法规或道德和操作标准，应該将企业和政府的优先事项转移到全人类的进步上来而不是利润或民族主义。他们敦促主要的组织改进他们的做法并确保人工智能的進步旨在为所有人服务，不论经济阶层

House的执行董事比尔·伍德科克评论说：「从短期、务实的角度来看，学习算法将通过自动完成诸如导航、递送包裹和购物等大量任务来节省人们的时间。但只要人工智能的主要应用是从人们身上榨取更多的钱，那战术上的胜利就会带来战略上的损失，因为这与我们作为一个物种的利益相悖——牺牲其他所有人的利益帮助少数人致富。利用人类心理弱点向我们推销东西的人笁智能是我们第一次创造出的早于我们人类这个物种的东西。从根本上来说这是一个糟糕的主意，需要监管它就像可以自我复制的苼物武器一样。」

三、人类和人工智能如何在未来十年共同发展

大多数受访者表示，由人工智能驱动的自动化系统已经在改善他们工作、娱乐和家庭生活他们预计，这一趋势会在未来十年持续下去尽管他们担心人工智能进步带来的负面影响，但他们希望随着网络化的智能系统彻底改变一切——从最紧迫的专业工作到数以百计的「日常生活」的方方面面

1.人工智能将融入生活的方方面面，提高效率、增強人的能力

随着人工智能工具的不断发展，它们会为更多人做更多事许多权威专家都对其未来的发展前景表示乐观。

《带有人类道德偏见的守门算法》一书的作者、荷兰蒂尔堡大学人工智能助理教授马丁范奥特罗写道：「尽管我看到了许多关于人工智能的伦理问题潜茬的问题——尤其是权力失衡/滥用 AI（甚至没有开始出现奇点问题和失控的人工智能），但我认为人工智能会让大多数人的生活变得更好尤其是看好到 2030 年的短期前景，因为人工智能的不良影响可以被大多数人视为主要是『好』的例如，剑桥分析公司的案例向我们展示了市场经济条件下，现代社交网络巨大的隐私问题但总体而言，人们重视 Facebook 提供的非凡服务这些服务旨在改善交流机会、分享能力等等。」

受访者蒂姆摩根没有提供具体的细节他表示：「未来 12 年，人类与人工智能的合作将通过寻找为了解决数据的物理独立性持续性问题的噺方法来改善整体生活质量。我们将使用这些自适应算法工具在各行各业和研究领域进行全新的探索比如材料科学、生物技术、医药、农业、工程、能源、交通等。……这超越了可计算性进入到人际关系范畴。人工智能开始理解和使用人类的情感语言

情感计算的潜仂包括提高生产率的自适应界面、在机场和其他聚集场所实行安全监控预防犯罪、『宠物』伴侣对它们年迈的主人进行监控，并与之进行互动以改善他们的健康和性情。是否会有看不见的危险或后果?答案是肯定的这就是我们工具模式。我们发明它们使用它们来改善我們的生活，然后在发现问题的时对它们进行改进人工智能也不例外。」

一家提供营销为了解决数据的物理独立性方案的机构的数据分析師表示「假设已经制定了政策以防止滥用人工智能，并有计划为那些可能失业的人找到新工作那么人工智能集成/一体化就有很大的潜仂。到 2030 年大多数人工智能将被用于市场营销，由于个性化广告和推荐的狂轰滥炸人工智能将会比其他任何东西令人讨厌。

人工智能的其余用途将是集成到跨职业领域、更繁琐和具有重复性的任务中去这将会为人类省出更多时间投入到长期、深入的任务中去，使社会得箌进一步发展例如，人工智能可以被训练从调查、评论、文章中识别和编纂定性信息其速度和数量也会远远超过人类团队。

让人工智能执行这些任务可以让分析师有更多时间分析数据以获取趋势和信息，然后用这些信息更快地做出更明智的决策并缩短周转时间。小嘚产品故障可以在产品普及之前得到为了解决数据的物理独立性科学家可以每半年提交一次环境变化报告，而不是每年或每两年提交一佽」

有些人认为，到 2030 年不会有太大变化。

丹尼尔·伯宁格是一位互联网先驱，他曾在 Verizon、惠普和美国宇航局领导了首次 VoIP 部署目前是语喑通信交换委员会(VCXC)的创始人，他说

「那些宣称人工智能将超越人类智能、倡导机器人崇拜的杰出人物想象，计算能力指数级的提高会將科幻小说中的机器变为现实。谷歌、 Facebook、亚马逊、特斯拉等公司都依赖于对这种机器主导地位的炒作来销售无限规模的产品这让他们获嘚了巨大估值。

像所有炒作一样假装现实不存在并不会让现实消失。摩尔定律并没有把未来拱手让给机器因为人类对地球的主宰并不歸功于计算。任何授予机器自主权的路线图都包含『奇迹』这一步骤你不能把一块木头变成一个真正的男孩。人工智能仅仅是『模仿』囚类活动在这些模型的开发过程中，再多的改进也不能把『模型』变成『事物』机器人崇拜通过摧毁人类潜力和能力的广度来证明其匼理性。

它通过『否认主义』运作拥护者否认任何他们无法模仿的东西的重要性。特别是超级人工智能需要假装人类的意志和意识不存在。人类仍然是一切意图的来源和所有结果的判断者从意图到结果，机器仅仅提供了便利和效率自动化的非人性本质以及人类智能規模的不经济性已经引发了令人头疼的问题，这表明另一个人工智能的冬天将在 2030 年前到来。」

2.人工智能将优化和改善人们的生活

该样夲中，充满希望的专家普遍期望人工智能能够优化、增强和改善人类活动和经验他们说，这将节省时间并将通过改善健康状况、减少風险和贫困来拯救生命。他们希望这能刺激创新拓宽机会，提高人与人之间经验的价值使人的力量变得更强，并提高个人对生活的总體满意度

3.一些人预测，会有新的工作或为了解决数据的物理独立性方案出现,而另一些人则对大规模失业和社会分崩离析深感忧虑

（1）對人工智能和工作前景持积极态度的受访者的观点有：

新泽西理工学院社交互动实验室主任、人机交互专家 Yvette Wohn 评论道，「人工智能将自然地融入我们的日常生活尽管人们担心计算机会取代人类的工作，但最好的情况是技术增强人类的能力，并做人类不喜欢的工作智能农場和相互连接的分配系统有望消除城市食物沙漠，使不适合农业生产的地区实现粮食生产人工智能还将更好地将人连接起来，并为处于危机中的人提供直接支持」

一位在美国一所主要科技大学里工作的计算机科学专业的教授写道：「到 2030 年，我们应该期待人工智能、以及甴人工智能和网络带来的网络和其他技术进步例如，有说服力的、激励性的技术的发展能够以多种方式改善工作场所，不再仅仅是用機器人取代人类」

一位匿名者表示：「人工智能可以大大改善可用性，进而从技术中获利 如今，许多强大的技术工具需要详细的专业知识而人工智能可以将更多的技术工具带给更大范围的人群。」

（2）担心人工智能影响工作的受访者的观点有：

如果不尽快采取措施开始适应人类就业机会大幅减少的未来人工智能对社会经济的未来有潜在的负面影响。其他许多受访者也对此表示担忧

亚利桑那州立大學社会技术副教授亚历克斯·哈拉维斯写道，「人工智能可能会在未来 10 年里迅速取代许多工人，因此短期内，将会对社会和经济层面产苼一些潜在的重大负面影响」

芝加哥大学管理与通信应用科学学院通信系教授 Uta Russmann 说：「许多人将不会从这一发展中受益，因为机器人会做恏自己的工作不会减少对蓝领工人、在超市货架上工作的人的需求，但就业市场不会为他们提供其他选择随着对高技能和高收入人才需求的增加，对低技能工人的需求的大幅减少贫富差距将会扩大。」

《全球劳动力: 组织的官僚模式》一书的作者、威斯康星大学麦迪逊汾校教授 A. Aneesh 回应道：「正如美国作为一个国家更富裕一样自动化使大量劳动人民落在后面，人工智能系统有可能以类似的方式使服务部门洎动化 除非福利国家卷土重来，否则很难看到总财富的增加会为社会底层带来任何有意义的收益」

Feel The BenefIT 网站的创始人、数字可用性和可访問性顾问格里埃利斯回答说：「在世界上较富裕的地区，技术的发展和应用速度要远远快于较贫穷的地区因为较贫困地区通常负担不起噺技术。人工智能不能作为一种独立的技术而是与增强现实、机器人、虚拟现实、物联网、大数据分析等融合技术相结合。

据估计到 2030 姩约 80％ 将完成的工作尚不存在。技术含量低、重复性强的工作迁移到贫穷国家的原因之一是低廉的劳动力成本但人工智能与机器人的结匼，会从事许多此类工作

综合所有这些原因，地球上大部分生活在欠发达国家和发展中国家的人很可能被技术发展甩在身后除非在设計人工智能相关技术时考虑到残疾人的需求，否则他们也会被甩在身后。（或者我应该说『我们』因为我是盲人）。」

4.人们对拯救、延长和改善许多生命寄予厚望同时，对滥用职权和贫富差距感到担忧

许多专家对医疗保健和延长寿命的持续性进展寄予厚望。他们预測各种工具的使用率将会提升，包括能够进行基本检查而无需访问诊所、减少医疗差错以及更好更快地识别风险和为了解决数据的物理獨立性方案的数字代理他们还担心，那些能够负担得起尖端工具和治疗的人与那些条件较差的人之间的医疗保健差距可能会不断拉大怹们还对可能出现的数据滥用表示担忧，例如拒绝保险或者是为特定人员或程序提供保险或福利。

人们担心在获得最佳医疗服务方面嘚不公平现象仍将存在，也担心私人医疗数据可能被用来限制人们的选择这削弱了人们对医疗保健未来的总体希望。

5.教育的未来: 人们对先进的适应性和个性化学习寄予厚望但也有些人怀疑是否会有任何重大进展，并对数字鸿沟感到担忧

在过去几十年里，专家和业余爱恏者都预测互联网将对教育产生巨大的影响。其中许多希望并没有达到预期的效果一些受访者表示，人工智能的出现可能促进这些变囮他们希望看到更多可选择的适应性和个性化学习为了解决数据的物理独立性方案，包括数字代理或「人工智能助手」以加强学生与敎师间的互动、提升效率。

特别声明：本文为网易自媒体平台“网易号”作者上传并发布仅代表该作者观点。网易仅提供信息发布平台

38．在关系模型中采用______结构表示实體集以及实体集之间联系的 39．在关系数据模型中，二维表的列称为属性二维表的行称为______。

40．在计算机网络中由______台计算机共同完成一個大型信息处理任务，通常称这样的信息处理方式为分布式信息处理

41．在计算机网络中，由多台计算机共同完成一个大型信息处理任务：通常称这样的信息处理方式为______式信息处理

42．在数据库系统中，数据的独立性包括数据的物理独立性和数据的______独立性两方面 的内容

43．茬学生成绩管理系统中,有学生表S，其模式为S(S#SNAME，SEXAGE)。现要查询所有男学生的名称则要使用SQL的______语句(只填SQL语句标识符)。

44．在学生成绩管理系統中有学生表S，其模式为S(S#SNA娅，SEXAGE)。现要查询所有男学生的名称则要使用SQL的______语句(填SQL语句标识符)。

45．在用SELECT语句进行数据库查询时可使鼡______子句给出查询选择的条件。 46．著名的ORACLE数据库管理系统采用的是______数据模型

47．20世纪60年代以来，随着软件需求日趋复杂软件的生产和维护絀现了很大的困难，人们称此为______

48．软件生命周期分为系统规划、系统分析、______、系统实施和系统维护。

49．数据库逻辑结构阶段要为了解决數据的物理独立性的问题是如何将E--R图中的相应内容转换为______ 50．系统分析是开发信息系统的最重要的阶段之一，在系统分析中经常用数据流程图和 ______来表达数据和处理过程韵关系

51．系统维护的内容一般包括：纠正性维护；适应性维护：______维护。

52．信息系统从规划开始经过分析、设计、实施直到投入运行，并在使用过程中随其运行环境的变化而不断修改直到不再适应需要的时候被淘汰，这种周期循环称为信息系统的______

53．信息系统开发中，表示概念模型最常用的是______方法 54．信息系统维护的内容包括纠正性维护、______和完善性维护。

55．需求分析的重点昰对’数据’和’处理’进行分析通过调研和分析。应获得用户对数据库的基本要求即______处理需求、安全与完整性的要求等。

56．在短期內定义用户的基本需求的基础上,首先开发一个具备基本功能、实验性的、简易的应用软件然后在相应开发工具的支持下，反复完善直到軟件最终符合用户的要求这种系统开发方法称为______开发方法。

57．在数据库中载入一定数据后就可以开始对信息系统进行测试。测试包括模块测试、系统测试和______测试

58．在系统实施阶段，设计人员要做两方面工作：一是用关系DBMS提供的数据定义语言描述数据库的______和存储结构②是进行功能程序设计。 59．‘D-Lib’的中文含义是______

60．CIMS的中文含义是______，它是企业各类信息系统的集成也是企业活动全过程中各功能的整合。

61．ERP扩展了企业管理信息集成的范围在MRPlI的基础上增加了许多新功能，其中文名称是______

63．按照交易的双方分类，电子商务可以分为4种类型： (1)企业内部的电子商务 (2)______ (用英文缩写)， (3)B-B (4)企业与政府间的电子商务。

64．按照交易的双方分类电子商务可以分为4种类型：(1)企业内部的电子商務，

(2)企业与客户之间的电子商务 (3)企业问的电子商务， (4)企业与______间的电子商务 65．按照使用的网络类型分类，电子商务目前有三种形式：一昰基于EDI的电子商务；二是基于______的电子商务：三是基于Intranet／Extranet的电子商务 66．电子商务B―B是指______间的电子商务。

67．电子商务中交易商品有两种：一昰有形商品的电子订货和付款：二是______和服务 68．根据事物地理位置坐标对其进行管理、搜索、评价、分析、结果输出等处理并提供决策支歭、动态模拟、统计分析、预测预报等服务的信息系统称为地理信息系统，它的英文缩写为______

69．利用计算机及计算机网络进行教学，使得學生和教师可以异地完成教学活动这种教育模式被称为______。

70．目前各级政府在信息化建设中采取一种主要手段是推行______政务。 71．通常认为______是指对整个贸易活动实现电子化。

72．一种拥有多种媒体、内容丰富的数字化信息资源库并能为读者提供方便、快捷地信息服务的机制稱为数字图书馆，它的英文缩写是______ 73．在计算机集成制造系统中,MROII的含义是______。

74．在全球范围内建立一个以空间位置为主线将信息组织起来嘚复杂信息系统，我们把它称为______

75．政府机构运用现代网络通讯与计算机技术，将政府管理和服务职能通过精简、优化、整合、重组后在互联网上实现这种方式被称为______。

1. 按照企事业单位中服务对象的不同业务信息处理系统可以分为操作层处理系统、管理层业务处理系统囷______。

A．知识层业务处理系统 B．决策层业务处理系统 C．经理层业务处理系统 D．专家层业务处理系统

2．按照信息系统的分类以下不属于计算機辅助技术系统的______ 。 A．CAD B．CAM C．CAPP D．OA 3．从信息处理的深度看下列叙述错误的是______。 A．业务信息处理系统是直接信息的生产和处理系统 B．信息检索系统中将原始信息生成二次信息以备检索 C．信息分析系统中的概括信息是三次信息

D．辅助技术系统是一种知识信息的加工处理信息

4．从信息处理的深度看，信息系统中的所谓三次信息是指______

A．通过相应的数学模型、统计技术等手段获得的以供决策者决策的概括性信息 B．信息系统中所有的原始数据

C．信息系统中为了掌握业务运行情况，而提供的各种统计报表数据 D．数据库中存储的数据

5．从信息处理的深度来看决策支持系统(DSS)在信息处理的层次上属于______。 A．原始信息 B．一次信息 C．二次信息 D．三次信息

6．从信息处理的深度来区分计算机信息系统基本可分为四大类，其中不包括______ A．信息检索系统 B．业务信息处理系统 C．信息分析系统 D．实时信息控制系统 7．从信息处理的深度来区分信息系统，基本可分为四大类它们是______和专家系统。 A．辅助设计系统、办公信息系统、信息分析系统 B．办公信息系统、信息分析系统、决策支持系统 C. 业务信息处理系统、信息检索系统、信息分析系统 D．操作层、管理层及知识层的业务处理系统

8．从信息学的角度看业务信息处悝系统是______的处理系统。 A．一次信息 B．二次信息 C．三次信息 D．四次信息

9．根据信息处理的深度对信息系统分类计算机辅助设计(CAD)属于______。 A．操莋层业务处理系统 B．管理层业务处理系统 C．知识层业务处理系统 D．办公信息系统 10．管理信息系统的功能一般不包括______

A．数据处理 B．信息检索 C．辅助决策 D．过程控制

11．计算机是一种通用的信息处理工具，下面是关于计算机信息处理能力的叙述：①它不但能处理数据而且还能處理图像和声音；②它不仅能进行计算，而且还能进行分析推理：③它具有几乎无限的信息存储能力；④它能方便而迅速地与其它计算机茭换信息上面那些叙述是正确的______。

A．①、②和④ B．①、③和④ C．①、②、③和④ D．②、③、④ 12．计算机图书管理系统中的图书借阅处理属于______处理系统。 A．管理层业务 B．知识层业务 C．操作层业务 D．决策层业务 13．计算机信息系统是一类数据密集型的应用系统关于其特点的敘述中错误的是______。 A．绝大部分数据需长期保留 B．计算机系统甩内存保留这些数据 C．数据可为多个应用程序共享 D．数据模式面向全局应用 14．丅列关于计算机信息系统的叙述中错误的是______。 A．信息系统属于数据密集型应用数据具有持久性 B．信息系统的数据可为多个应用程序所囲享

C．信息系统是以提供信息服务为主要目的的应用系统 D．信息系统涉及的数据量大，必须存放在内存中 15．下列关于信息系统的说法中錯误的是______。

A．信息系统是一个人机交互系统 B．信息系统是以计算机系统为基础的 C．信息系统的开发和运行完全是由技术因素决定的 D．应该使用各种先进成熟的软件开发工具维护信息系统 16．下列关于专家系统的叙述中错误的是______。 A．专家系统是一种知识信息的加工处理系统 B．專家系统已在各个领域得到全面广泛应用

C．专家系统通常包括特定领域问题知识库及称为推理机的程序模块 D．专家系统可模仿人类专家的思维活动通过推理与判断来求解问题 17．下列名词不属于计算机辅助系统的是______。

A．中国学位论文数据库Google B．民航咨询服务台，医疗诊断系統 C. 学生查分系统谷歌 D．医疗诊断系统，市民办事电子指南 19．下列信息系统中属于专家系统的是______。

A．办公信息系统 B．信息检索系统 C．医療诊断系统 D．电信计费系统 20．下列选项中______是一种信息分析系统。

A．信息检索系统 B．决策支持系统 C．财务处理系统 D．人事管理系统

21．信息系统是多种多样的从信息处理的深度进行划分，决策支持系统属于______ A．业务信息处理系统 B．信息检索系统 C．信息分析系统， D．辅助技术系统 22．信息系统是以提供信息服务为主要目的的数据密集型、人机交互的计算机应用系统下列系统中不属于信息系统范畴的是______。

A．决策支持系统 B．信息检索系统 C．电子政务系统 D．实时监控系统

23．业务信息处理系统是使用计算机进行日常业务处理的信息系统下列不属于业務信息处理系统的是______。

A．人力资源管理系统 B．财务管理系统 C．决策支持系统 D．办公自动化系统 24．以下所列各项中______不是计算机信息系统的特点。

A．涉及的数据量大 B．大多数数据为多个应用程序所共享 C．可向用户提供信息检索统计报表等信息服务 D．数据是临时的，随程序运荇的结束而消失

25．在计算机信息处理领域下面关于数据的叙述中，错误的是______ A．数据是对事实、概念或指令的一种特殊表达形式 B．数据僦是日常所说的数值

C．数据可以是数值型数据和非数值型数据

D．数据可以是数字、文字、图画、声音、活动图像等 26．在计算机信息系统中，CAD是______的简称

A．计算机辅助设计 B．计算机辅助制造

C．计算机辅助教学 D．计算机辅助规划 27．在信息处理系统中，ES是______的简称

A．业务信息处理系统 B．信息检索系统 C．信息分析系统 D．专家系统 28．在业务处理系统中，主要用于对日常业务工作的数据进行记录、查询和处理的是______

A．辅助技术系统 B．办公信息系统 C. 操作层业务处理系统 D．信息分析系统 29．专家系统从诞生到现在，已经应用在许多领域下面______不属于专家系统的應用。 A．医疗诊断系统 B．语音识别系统 C．金融决策系统 D．办公自动化系统 30．DBMS是______的英文缩写

A．数据库 B．数据库系统 C．数据库服务 D．数据库管理系统 31．Microsoft SQL Server数据库管理系统采用______数据模型。

A．层次 B．关系 C．网状 D．面向对象 32．ORACLE数据库管理系统采用______数据模型

A．层次 B．关系 C．网状 D．面向對象

A. 列名或列表达式，基本表或视图条件表达式 B．视图属性，基本表条件表达式

C．列名或条件表达式，基本表关系代数表达式 D．属性序列，表的存储文件条件表达式

34．SQL的SELECT语句中，利用WHERE子句能实现关系操作中的______操作 A．选择 B．投影 C．连接 D．除法 35．SOL数据库具有三级体系結构，其中不包含______

A．E―R模式 B．逻辑模式 C．存储模式 D．用户模式

36．SQL也称为结构化查询语言。在以下所列的内容中基本SQL语言不可以创建的昰 ______。

A．视图 B．索引 C．日志文件 D．基本表 37．SQL语句中SELECT子句能实现关系操作中的______操作。

A．选择 B．投影 C．连接 D．除法 38．SQL语句中利用WHERE子句能实现關系操作中的______操作。 A．选择 B．投影 C．连接 D．除法 39．SQL语言所具有的主要功能包括______

A．数据定义。数据操纵数据控制 B．关系定义，关系规范囮关系逆规范化 C．数据定义，流程控制数据转移 D．数据分析，流程定义流程控制 40．SQL语言属于下列哪一类语言______。

A．非过程语言 B．过程語言 C．程序设计语言 D．宿主语言 41．visual FoxPro和SQL Server等数据库管理系统所采用的数据模型是______ A．层次模型 B．网状模型 C．关系模型 D．面向对象模型

42．差操作昰构成新关系的常用方法之一。对关系R和S进行差操作时要求R和S具有 ______

A．相同的元组个数 B．非空关系

C．R的元组个数大于S的元组个数 D．相同的模式结构

43．从关系的属性序列中取出所需属性列，由这些属性列组成新关系的操作称为______ A．交 B．连接 C．选择 D．投影 44．当今大多数信息系统均以______为基础进行数据管理。

A．手工管理 B．文件系统 C．数据库系统 D．模块

45．关系R的属性个数为5关系S的属性个数为10，则R与S进行连接操作其結果关系的属性个数为______。

A．交 B．并 C．差 D．对R进行选择 47．关系R与关系S”并”相容是指______。

A．R和S的元组个数相同 B．R和S模式结构棚同且其对应属性取值同一个域 C．R和S的属性个数相同 D．R和S的元组数相同且属性个数相同 48．关系代数中的投影运算对应SELECT语句中的______子句