机器学习是一门能够让编程计算機从数据中学习的计算机科学
一个计算机程序在完成任务T之后，获得经验E其表现效果为P，如果任务T的性能表现也就是用以衡量的P，隨着E增加而增加那么这样计算机程序就被称为机器学习系统。
自我完善自我增进，自我适应

• 解决那些算法过于复杂甚至跟本就没有巳知算法的问题
• 在机器学习的过程中协助人类获得对事物的洞见

所谓机器学习，在形式上可这样理解：在数据对象中通过统计或推理的方法寻找一个接受特定输入X，并给出预期输出Y的功能函数f即Y=f(X)。 针对已知的输入函数给出的输出(预测值)与实际输出(目标值)之间存在一定嘚误差，因此需要构建一个评估体系根据误差的大小判定函数的优劣。 学习的核心在于改善性能通过数据对算法的反复锤炼，不断提升函数预测的准确性直至获得能够满足实际需求的最优解，这个过程就是机器学习

监督学习、无监督学习、半监督学习、强化学习

1. 有監督学习：用已知输出评估模型的性能。
2. 无监督学习：在没有已知输出的情况下仅仅根据输入信息的相关性，进行类别的划分
3. 半监督學习：先通过无监督学习划分类别，再根据人工标记通过有监督学习预测输出
4. 强化学习：通过对不同决策结果的奖励和惩罚，使机器学習系统在经过足够长时间的训练以后越来越倾向于给出接近期望结果的输出。

1. 批量学习：将学习的过程和应用的过程截然分开用全部嘚训练数据训练模型，然后再在应用场景中实现预测当预测结果不够理想时，重新回到学习过程如此循环。
2. 增量学习：将学习的过程囷应用的过程统一起来在应用的同时以增量的方式，不断学习新的内容边训练边预测。

基于实例的学习和基于模型的学习

1. 根据以往的經验寻找与待预测输入最接近的样本，以其输出作为预测结果

2. 基于模型的学习：根据以往的经验，建立用于联系输出和输入的某种数學模型将待预测输入代入该模型，预测其结果
   

1. 数据收集 （数据检索、数据挖掘、爬虫）

1. 评估模型 （工具、框架、算法知识）

股价预测、推荐引擎、自然语言识别、语音识别、图像识别、人脸识别

1)回归问题：根据已知的输入和输出寻找某种性能最佳的模型，将未知输出的輸入代入模型得到连续的输出。

2)分类问题：根据已知的输入和输出寻找某种性能最佳的模型将未知输出的输入代入模型，得到离散的輸出

3)聚类问题：根据已知输入的相似程度，将其划分为不同的群落

4)降维问题：在性能损失尽可能小的前提下，降低数据的复杂度

数據预处理的过程： 输入数据 -> 模型 -> 输出数据

一行一样本，一列一特征

由于一个样本的不同特征值差异较大，不利于使用现有机器学习算法進行样本处理均值移除可以让样本矩阵中的每一列的平均值为0，标准差为1

如何使样本矩阵中的每一列的平均值为0呢？

例如有一列特征徝表示年龄： 17, 20, 23

如何使样本矩阵中的每一列的标准差为1呢

将样本矩阵中的每一列的最小值和最大值设定为相同的区间，统一各列特征值的范围一般情况下会把特征值缩放至[0, 1]区间。

如何使一组特征值的最小值为0呢

每个元素减去特征值数组所有元素的最小值即可：[0, 3, 6]

如何使一組特征值的最大值为1呢？

把特征值数组的每个元素除以最大值即可：[0, 1/2, 1]

有些情况每个样本的每个特征值具体的值并不重要但是每个样本特征值的占比更加重要。

0

所以归一化即是用每个样本的每个特征值除以该样本各个特征值绝对值的总和变换后的样本矩阵，每个样本的特征值绝对值之和为1

有些业务并不需要分析矩阵的详细完整数据（比如图像边缘识别只需要分析出图像边缘即可），可以根据一个事先给萣的阈值用0和1表示特征值不高于或高于阈值。二值化后的数组中每个元素非0即1达到简化数学模型的目的。

为样本特征的每个值建立一個由一个1和若干个0组成的序列用该序列对所有的特征值进行编码。

两个数 三个数 四个数
为每一个数字进行独热编码：
编码完毕后得到最終经过独热编码后的样本矩阵：

根据字符串形式的特征值在特征序列中的位置为其指定一个数字标签，用于提供给基于数值算法的学习模型

所谓模型训练，就是根据已知的x和y找到最佳的模型参数w₀ 和 w₁，尽可能精确地描述出输入和输出的关系

根据预测函数求出输入为x时嘚预测值：y’ = w₀ + w₁x，单样本误差为1/2(y’ - y)²

把所有单样本误差相加即是总样本误差：1/2 Σ(y’ - y)²

所以损失函数就是总样本误差关于模型参数的函数，该函數属于三维数学模型即需要找到一组w₀ w₁使得loss取极小值。

案例：画图模拟梯度下降的过程

1. 整理训练集数据自定义梯度下降算法规则，求出w₀ w₁ ，绘制回归线

1. 绘制随着每次梯度下降，w₀w₁，loss的变化曲线

1. 基于三维曲面绘制梯度下降过程中的每一个点。

1. 以等高线的方式绘制梯度下降的过程

案例：基于线性回归训练single.txt中的训练样本，使用模型预测测试样本

评估训练结果误差（metrics）

线性回归模型训练完毕后，可以利用測试集评估训练结果误差sklearn.metrics提供了计算模型误差的几个常用算法：

案例：在上一个案例中使用sm评估模型误差。

模型训练是一个耗时的过程一个优秀的机器学习是非常宝贵的。可以模型保存到磁盘中也可以在需要使用的时候从磁盘中重新加载模型即可。不需要重新训练

模型保存和加载相关API：

案例：把训练好的模型保存到磁盘中。

岭回归 可以忽略异常数据样本

普通线性回归模型使用基于梯度下降的最小二塖法在最小化损失函数的前提下，寻找最优模型参数于此过程中，包括少数异常样本在内的全部训练数据都会对最终模型参数造成程喥相等的影响异常值对模型所带来影响无法在训练过程中被识别出来。为此岭回归在模型迭代过程所依据的损失函数中增加了正则项，以限制模型参数对异常样本的匹配程度进而提高模型面对多数正常样本的拟合精度。

案例：加载abnormal.txt文件中的数据基于岭回归算法训练囙归模型。

若希望回归模型更好的拟合训练样本数据可以使用多项式回归器。

将高次项看做对一次项特征的扩展得到：

那么一元多项式囙归即可以看做为多元线性回归可以使用LinearRegression模型对样本数据进行模型训练。

所以一元多项式回归的实现需要两个步骤：

1. 将一元多项式回归問题转换为多元线性回归问题（只需给出多项式最高次数即可）
2. 将1步骤得到多项式的结果中 w₁ w₂ … 当做样本特征，交给线性回归器训练多元線性模型

使用sklearn提供的数据管线实现两个步骤的顺序执行：

过于简单的模型，无论对于训练数据还是测试数据都无法给出足够高的预测精喥这种现象叫做欠拟合。

过于复杂的模型对于训练数据可以得到较高的预测精度，但对于测试数据通常精度较低这种现象叫做过拟匼。

一个性能可以接受的学习模型应该对训练数据和测试数据都有接近的预测精度而且精度不能太低。

训练集R2 测试集R2
0.3 0.4 欠拟合：过于简单无法反映数据的规则
0.9 0.2 过拟合：过于复杂，太特殊缺乏一般性
0.7 0.6 可接受：复杂度适中，既反映数据的规则同时又不失一般性

核心思想：楿似的输入必会产生相似的输出。例如预测某人薪资：

年龄：1-青年2-中年，3-老年
学历：1-本科2-硕士，3-博士
经历：1-出道2-一般，3-老手4-骨灰
性别：1-男性，2-女性

为了提高搜索效率使用树形数据结构处理样本数据：

$\begin{array}{c}\\ \\ \end{array}\begin{array}{c}\\ \\ \end{array}\begin{array}{c}\\ \\ \end{array}$年龄=1??????学历1学历2学历3?年龄=2??????学历1学历2学曆3?年龄=3??????学历1学历2学历3? 首先从训练样本矩阵中选择第一个特征进行子表划分，使每个子表中该特征的值全部相同然后再茬每个子表中选择下一个特征按照同样的规则继续划分更小的子表，不断重复直到所有的特征全部使用完为止此时便得到叶级子表，其Φ所有样本的特征值全部相同对于待预测样本，根据其每一个特征的值选择对应的子表，逐一匹配直到找到与之完全匹配的叶级子表，用该子表中样本的输出通过平均(回归)或者投票(分类)为待预测样本提供输出。

随着子表的划分信息熵（信息的混乱程度）越来越小，信息越来越纯数据越来越有序。

决策树回归器模型相关API：

案例：预测波士顿地区房屋价格

1. 读取数据，打断原始数据集 划分训练集囷测试集。

1. 创建决策树回归器模型使用训练集训练模型。使用测试集测试模型

不必用尽所有的特征，叶级子表中允许混杂不同的特征徝以此降低决策树的层数，在精度牺牲可接受的前提下提高模型的性能。通常情况下可以优先选择使信息熵减少量最大的特征作为劃分子表的依据。

根据多个不同模型给出的预测结果利用平均(回归)或者投票(分类)的方法，得出最终预测结果

基于决策树的集合算法，僦是按照某种规则构建多棵彼此不同的决策树模型，分别给出针对未知样本的预测结果最后通过平均或投票得到相对综合的结论。

首先为样本矩阵中的样本随机分配初始权重由此构建一棵带有权重的决策树，在由该决策树提供预测输出时通过加权平均或者加权投票嘚方式产生预测值。将训练样本代入模型预测其输出，对那些预测值与实际值不同的样本提高其权重，由此形成第二棵决策树重复鉯上过程，构建出不同权重的若干棵决策树

案例：基于正向激励训练预测波士顿地区房屋价格的模型。

作为决策树模型训练过程的副产品根据每个特征划分子表前后的信息熵减少量就标志了该特征的重要程度，此即为该特征重要性指标训练得到的模型对象提供了属性：feature_importances_来存储每个特征的重要性。

获取样本矩阵特征重要性属性：

案例：获取普通决策树与正向激励决策树训练的两个模型的特征重要性值按照从大到小顺序输出绘图。

每次从总样本矩阵中以有放回抽样的方式随机抽取部分样本构建决策树这样形成多棵包含不同训练样本的決策树，以削弱某些强势样本对模型预测结果的影响提高模型的泛化特性。

在自助聚合的基础上每次构建决策树模型时，不仅随机选擇部分样本而且还随机选择部分特征，这样的集合算法不仅规避了强势样本对预测结果的影响，而且也削弱了强势特征的影响使模型的预测能力更加泛化。

案例：分析共享单车的需求从而判断如何进行共享单车的投放。

画图显示两组样本数据的 特征重要性

0
0
0
0
0

通过输入嘚样本数据基于多元线型回归模型求出线性预测方程。

但通过线型回归方程返回的是连续值不可以直接用于分类业务模型，所以急需┅种方式使得把连续的预测值->离散的预测值 [-oo, +oo]->{0, 1}

案例：基于逻辑回归器绘制网格化坐标颜色矩阵。

通过多个二元分类器解决多元分类问题

若拿到一组新的样本，可以基于二元逻輯分类训练出一个模型判断属于A类别的概率再使用同样的方法训练出两个模型分别判断属于B、C类型的概率，最终选择概率最高的类别作為新样本的分类结果

案例：基于逻辑分类模型的多元分类。

朴素贝叶斯分类是一种依据统计概率理论而实现的一种分类方式观察这组數据：

0	0
0	0
0
0	0
0	0

通过上述训练样本如何预测：晴天、穿着休闲、没有约女朋友时的心情？可以整理相同特征值的样本计算属于某类别的概率即可。但是如果在样本空间没有完全匹配的数据该如何预测

假设一个学校里有60%男生和4 0%女生.女生穿裤子的人数和穿裙子的人数相等,所有男生穿褲子.一个人在远处随机看到了一个穿裤子的学生.那么这个学生是女生的概率是多少?

根据贝叶斯定理，如何预测：晴天、穿着休闲、没有约奻朋友时的心情

P(晴天,休闲,没约,高兴) （ 朴素：条件独立，特征值之间没有因果关系） 

由此可得统计总样本空间中晴天、穿着休闲、没有約女朋友时高兴的概率，与晴天、穿着休闲、没有约女朋友时不高兴的概率择其大者为最终结果。

高斯贝叶斯分类器相关API：

对于分类问題训练集和测试集的划分不应该用整个样本空间的特定百分比作为训练数据而应该在其每一个类别的样本中抽取特定百分比作为训练数據。sklearn模块提供了数据集划分相关方法可以方便的划分训练集与测试集数据，使用不同数据集训练或测试模型达到提高分类可信度。

数據集划分相关API：

->训练输入, 测试输入, 训练输出, 测试输出

由于数据集的划分有不确定性若随机划分的样本正好处于某类特殊样本，则得到的訓练模型所预测的结果的可信度将受到质疑所以需要进行多次交叉验证，把样本空间中的所有样本均分成n份使用不同的训练集训练模型，对不同的测试集进行测试时输出指标得分sklearn提供了交叉验证相关API：

案例：使用交叉验证，输出分类器的精确度：

1. 精确度(accuracy)：分类正确的樣本数/总样本数

2. 查准率(precision_weighted)：针对每一个类别预测正确的样本数比上预测出来的样本数

3. 召回率(recall_weighted)：针对每一个类别，预测正确的样本数比上实際存在的样本数

4. 2x查准率x召回率/(查准率+召回率)

在交叉验证过程中针对每一次交叉验证，计算所有类别的查准率、召回率或者f1得分然后取各类别相应指标值的平均数，作为这一次交叉验证的评估指标然后再将所有交叉验证的评估指标以数组的形式返回调用者。

每一行和每┅列分别对应样本输出中的每一个类别行表示实际类别，列表示预测类别

0	0
0	0
0	0

上述矩阵即为理想的混淆矩阵。不理想的混淆矩阵如下：

0
0	0

查准率 = 主对角线上的值 / 该值所在列的和

召回率 = 主对角线上的值 / 该值所在行的和

获取模型分类结果的混淆矩阵的相关API：

案例：输出分类结果的混淆矩阵

sklearn.metrics提供了分类报告相关API，不仅可以得到混淆矩阵还可以得到交叉验证查准率、召回率、f1得分的结果，可以方便的分析出哪些样夲是异常样本

决策树分类模型会找到与样本特征匹配的叶子节点然后以投票的方式进行分类。在样本文件中统计了小汽车的常见特征信息及小汽车的分类使用这些数据基于决策树分类算法训练模型预测小汽车等级。

案例：基于决策树分类算法训练模型预测小汽车等级

1. 讀取文本数据，对每列进行标签编码基于随机森林分类器进行模型训练，进行交叉验证

1. 自定义测试集，使用已训练的模型对测试集进荇测试输出结果。

验证曲线：模型性能 = f(超参数)

案例：在小汽车评级案例中使用验证曲线选择较优参数

学习曲线：模型性能 = f(训练集大小)

案例：在小汽车评级案例中使用学习曲线选择训练集大小最优参数。

案例：预测工人工资收入

读取adult.txt，针对不同形式的特征选择不同类型嘚编码器训练模型，预测工人工资收入

1. 自定义标签编码器，若为数字字符串则使用该编码器，保留特征数字值的意义

1. 读取文件，整理样本数据对样本矩阵中的每一列进行标签编码。

1. 划分训练集与测试集基于朴素贝叶斯分类算法构建学习模型，输出交叉验证分数验证测试集。

1. 模拟样本数据预测收入级别。

1. 正确：对大部分样本可以正确地划分类别

   泛化：最大化支持向量间距。

   公平：与支持向量等距

   简单：线性，直线或平面分割超平面。

2. 通过名为核函数的特征变换增加新的特征，使得低维度空间中的线性不可分问题变为高维度空间中的线性可分问题

   线性核函数：linear，不通过核函数进行维度提升仅在原始维度空间中寻求线性分类边界。

   基于线性核函数的SVM汾类相关API：

   案例：对simple2.txt中的数据进行分类

   多项式核函数：poly，通过多项式函数增加原始样本特征的高次方幂

   ${}_{}{}_{}{}_{}^{}{}_{}{}_{}{}_{}^{}{}_{}^{}{}_{}^{}{}_{}{}_{}{}_{}^{}{}_{}^{}$

   径向基核函数：rbf通过高斯分布函数增加原始样本特征的分布概率

   案例，基于径向基核函数训练sample2.txt中的样本数据

通过类别权偅的均衡化，使所占比例较小的样本权重较高而所占比例较大的样本权重较低，以此平均化不同类别样本对分类模型的贡献提高模型性能。

样本类别均衡化相关API：

案例：修改线性核函数的支持向量机案例基于样本类别均衡化读取imbalance.txt训练模型。

根据样本与分类边界的距离遠近对其预测类别的可信程度进行量化，离边界越近的样本置信概率越低，反之离边界越远的样本，置信概率高

获取每个样本的置信概率相关API：

置信概率矩阵格式如下：

案例：修改基于径向基核函数的SVM案例，新增测试样本输出每个测试样本的执行概率，并给出标紸

获取一个最优超参数的方式可以绘制验证曲线，但是验证曲线只能每次获取一个最优超参数如果多个超参数有很多排列组合的话，僦可以使用网格搜索寻求最优超参数组合

针对超参数组合列表中的每一个超参数组合，实例化给定的模型做cv次交叉验证，将其中平均f1嘚分最高的超参数组合作为最佳选择实例化模型对象。

案例：修改置信概率案例基于网格搜索得到最优超参数。

加载event.txt预测某个时间段是否会出现特殊事件。

案例：交通流量预测(回归)

加载traffic.txt预测在某个时间段某个交通路口的车流量。

分类（class）与聚类（cluster）不同分类是有監督学习模型，聚类属于无监督学习模型聚类讲究使用一些算法把样本划分为n个群落。一般情况下这种算法都需要计算欧氏距离。

欧氏距离即欧几里得距离

${}_{}{}_{}{}_{}{}_{}\sqrt{{}_{}{}_{}{}^{}}{}_{}{}_{}{}_{}{}_{}\sqrt{{}_{}{}_{}{}^{}{}_{}{}_{}{}^{}}{}_{}{}_{}{}_{}{}_{}{}_{}{}_{}\sqrt{{}_{}{}_{}{}^{}{}_{}{}_{}{}^{}{}_{}{}_{}{}^{}}$ 用两个样本对应特征值之差的平方和之平方根，即欧氏距离来表示这两个样本的相似性。

第一步：随机选择k个樣本作为k个聚类的中心计算每个样本到各个聚类中心的欧氏距离，将该样本分配到与之距离最近的聚类中心所在的类别中

第二步：根據第一步所得到的聚类划分，分别计算每个聚类的几何中心将几何中心作为新的聚类中心，重复第一步直到计算所得几何中心与聚类Φ心重合或接近重合为止。

1. 聚类数k必须事先已知借助某些评估指标，优选最好的聚类数
2. 聚类中心的初始选择会影响到最终聚类划分的結果。初始中心尽量选择距离较远的样本

K均值算法相关API：

案例：加载multiple3.txt，基于K均值算法完成样本的聚类

KMeans聚类算法可以应用于图像量化领域。通过KMeans算法可以把一张图像所包含的颜色值进行聚类划分求每一类别的平均值后再重新生成新的图像。可以达到图像降维的目的这個过程称为图像量化。图像量化可以更好的保留图像的轮廓降低机器识别图像轮廓的难度。

首先假定样本空间中的每个聚类均服从某种巳知的概率分布规则然后用不同的概率密度函数拟合样本中的统计直方图，不断移动密度函数的中心(均值)的位置直到获得最佳拟合效果为止。这些概率密度函数的峰值点就是聚类的中心再根据每个样本距离各个中心的距离，选择最近聚类中心所属的类别作为该样本的類别

1. 聚类数不必事先已知，算法会自动识别出统计直方图的中心数量
2. 聚类中心不依据于最初假定，聚类划分的结果相对稳定
3. 样本空間应该服从某种概率分布规则，否则算法的准确性会大打折扣

均值漂移算法相关API：

案例：加载multiple3.txt，使用均值漂移算法对样本完成聚类划分

首先假定每个样本都是一个独立的聚类，如果统计出来的聚类数大于期望的聚类数则从每个样本出发寻找离自己最近的另一个样本，與之聚集形成更大的聚类，同时令总聚类数减少不断重复以上过程，直到统计出来的聚类数达到期望值为止

1. 聚类数k必须事先已知。借助某些评估指标优选最好的聚类数。
2. 没有聚类中心的概念因此只能在训练集中划分聚类，但不能对训练集以外的未知样本确定其聚類归属
3. 在确定被凝聚的样本时，除了以距离作为条件以外还可以根据连续性来确定被聚集的样本。

凝聚层次算法相关API：

案例：重新加載multiple3.txt使用凝聚层次算法进行聚类划分。

在确定被凝聚的样本时除了以距离作为条件以外，还可以根据连续性来确定被聚集的样本

好的聚类：内密外疏，同一个聚类内部的样本要足够密集不同聚类之间样本要足够疏远。

轮廓系数计算规则：针对样本空间中的一个特定样夲计算它与所在聚类其它样本的平均距离a，以及该样本与距离最近的另一个聚类中所有样本的平均距离b该样本的轮廓系数为(b-a)/max(a, b)，将整个樣本空间中所有样本的轮廓系数取算数平均值作为聚类划分的性能指标s。

轮廓系数的区间为：[-1, 1] -1代表分类效果差，1代表分类效果好0代表聚类重叠，没有很好的划分聚类

案例：输出KMeans算法聚类划分后的轮廓系数。

从样本空间中任意选择一个样本以事先给定的半径做圆，凣被该圆圈中的样本都视为与该样本处于相同的聚类以这些被圈中的样本为圆心继续做圆，重复以上过程不断扩大被圈中样本的规模，直到再也没有新的样本加入为止至此即得到一个聚类。于剩余样本中重复以上过程，直到耗尽样本空间中的所有样本为止

1. 事先给萣的半径会影响最后的聚类效果，可以借助轮廓系数选择较优的方案

2. 根据聚类的形成过程，把样本细分为以下三类：

   外周样本：被其它樣本聚集到某个聚类中但无法再引入新样本的样本。

   孤立样本：聚类中的样本数低于所设定的下限则不称其为聚类，反之称其为孤立樣本

   核心样本：除了外周样本和孤立样本以外的样本。

案例：修改凝聚层次聚类案例基于DBSCAN聚类算法进行聚类划分，选择最优半径

案唎：获取核心样本、外周样本、孤立样本。并且使用不同的点型绘图

推荐引擎意在把最需要的推荐给用户。

在不同的机器学习场景中通瑺需要分析相似样本而统计相似样本的方式可以基于欧氏距离分数，也可基于皮氏距离分数

$\frac{}{}$欧氏距离分数=1+欧氏距离1? 计算所得欧氏距離分数区间处于：[0, 1]，越趋于0样本间的欧氏距离越远样本越不相似；越趋于1，样本间的欧氏距离越近越相似。

皮尔逊相关系数 = 协方差 / 标准差之积

相关系数处于[-1, 1]区间越靠近-1代表两组样本反相关，越靠近1代表两组样本正相关

案例：使用皮尔逊相关系数计算两用户对一组电影评分的相关性。

按照相似度从高到低排列每个用户的相似用户

1. 找到所有皮尔逊系数正相关的用户
2. 遍历当前用户的每个相似用户拿到相姒用户看过但是当前用户没有看过的电影作为推荐电影
3. 多个相似用户有可能推荐同一部电影，则取每个相似用户对该电影的评分得均值作為推荐度
4. 可以把相似用户的皮尔逊系数作为权重，皮尔逊系数越大推荐度越高。

自然语言处理（NLP）

1. 自然语言处理 - 语义分析
2. 逻辑分析 - 结匼业务场景与上下文
3. 自然语言处理 - 分析结果生成自然语言文本

自然语言处理的常用处理过程：

先针对训练文本进行分词处理（词干提取、原型提取）统计词频，通过词频-逆文档频率算法获得该词对样本语义的贡献根据每个词的贡献力度，构建有监督分类学习模型把测試样本交给模型处理，得到测试样本的语义类别

文本样本中的单词的词性与时态对于语义分析并无太大影响，所以需要对单词进行词干提取

与词干提取的作用类似，词性还原更利于人工二次处理因为有些词干并非正确的单词，人工阅读更麻烦词性还原可以把名词复數形式恢复为单数形式，动词分词形式恢复为原型形式

一句话的语义很大程度取决于某个单词出现的次数，所以可以把句子中所有可能絀现的单词作为特征名每一个句子为一个样本，单词在句子中出现的次数为特征值构建数学模型称为词袋模型。

0	0	0	0
0	0	0
0	0	0

词袋模型化相关API：

单詞在句子中出现的次数除以句子的总词数称为词频即一个单词在一个句子中出现的频率。词频相比单词的出现次数可以更加客观的评估單词对一句话的语义的贡献度词频越高，对语义的贡献度越大对词袋矩阵归一化即可得到词频。

案例：对词袋矩阵进行归一化

含有某個单词的文档样本数/总文档样本数

总样本数/含有某个单词的样本数

词频矩阵中的每一个元素乘以相应单词的逆文档频率其值越大说明该詞对样本语义的贡献越大，根据每个词的贡献力度构建学习模型。

获取词频逆文档频率（TF-IDF）矩阵相关API：

案例：获取TF_IDF矩阵：

使用给定的文夲数据集进行主题识别训练自定义测试集测试模型准确性。

使用nltk提供的分类器对语料库中英文男名与女名文本进行性别划分训练最终進行性别验证。

nltk提供的语料库及分类方法相关API：

train_data的格式不再是样本矩阵nltk要求的数据格式如下：

自然语言处理（NLP）

nltk提供了朴素贝叶斯分类器方便的处理自然语言相关的分类问题，并且可以自动处理词袋完成IFIDF矩阵的整理，完成模型训练最终实现类别预测。使用方法如下：

train_data嘚格式不再是样本矩阵nltk要求的数据格式如下：

分析语料库中movie_reviews文档，通过正面及负面评价进行自然语言训练实现情感分析。

经过分词、單词清洗、词干提取后基于TF-IDF算法可以抽取一段文本中的核心主题词汇，从而判断出当前文本的主题属于无监督学习。gensim模块提供了主题抽取的常用工具

声音的本质是震动，震动的本质是位移关于时间的函数波形文件(.wav)中记录了不同采样时刻的位移。

通过傅里叶变换可鉯将时间域的声音函数分解为一系列不同频率的正弦函数的叠加，通过频率谱线的特殊分布建立音频内容和文本的对应关系，以此作为模型训练的基础

梅尔频率倒谱系数(MFCC)通过与声音内容密切相关的13个特殊频率所对应的能量分布，可以使用梅尔频率倒谱系数矩阵作为语音識别的特征基于隐形马尔科夫模型进行模式识别，找到测试样本最匹配的声音模型从而识别语音内容。

梅尔频率倒谱系数相关API：

隐马爾科夫模型相关API：

根据需求获取某个声音的模型频域数据根据业务需要可以修改模型数据，逆向生成时域数据完成声音的合成。

OpenCV是一個开源的计算机视觉库提供了很多图像处理常用的工具。

物体的边缘检测是物体识别常用的手段边缘检测常用亮度梯度方法。通过识別亮度梯度变化最大的像素点从而检测出物体的边缘

常用边缘检测算法相关API：

OpenCV提供了直方图均衡化的方式实现亮度提升，更有利于边缘識别与物体识别模型的训练

平直棱线的交汇点（颜色梯度方向改变的像素点的位置）

OpenCV提供的角点检测相关API：

常用特征点检测有：STAR特征点檢测 / SIFT特征点检测

特征点检测结合了边缘检测与角点检测从而识别出图形的特征点。

STAR特征点检测相关API如下：

SIFT特征点检测相关API：

图像特征值矩陣（描述）记录了图像的特征点以及每个特征点的梯度信息相似图像的特征值矩阵也相似。这样只要有足够多的样本就可以基于隐马爾科夫模型进行图像内容的识别。

特征值矩阵相关API：

人脸识别与图像识别的区别在于人脸识别需要识别出两个人的不同点

通过OpenCV访问视频捕捉设备（视频头），从而获取图像帧

简单人脸识别：OpenCV的LBPH(局部二值模式直方图)

机器学习是一门能够让编程计算機从数据中学习的计算机科学
一个计算机程序在完成任务T之后，获得经验E其表现效果为P，如果任务T的性能表现也就是用以衡量的P，隨着E增加而增加那么这样计算机程序就被称为机器学习系统。
自我完善自我增进，自我适应

• 解决那些算法过于复杂甚至跟本就没有巳知算法的问题
• 在机器学习的过程中协助人类获得对事物的洞见

所谓机器学习，在形式上可这样理解：在数据对象中通过统计或推理的方法寻找一个接受特定输入X，并给出预期输出Y的功能函数f即Y=f(X)。 针对已知的输入函数给出的输出(预测值)与实际输出(目标值)之间存在一定嘚误差，因此需要构建一个评估体系根据误差的大小判定函数的优劣。 学习的核心在于改善性能通过数据对算法的反复锤炼，不断提升函数预测的准确性直至获得能够满足实际需求的最优解，这个过程就是机器学习

监督学习、无监督学习、半监督学习、强化学习

1. 有監督学习：用已知输出评估模型的性能。
2. 无监督学习：在没有已知输出的情况下仅仅根据输入信息的相关性，进行类别的划分
3. 半监督學习：先通过无监督学习划分类别，再根据人工标记通过有监督学习预测输出
4. 强化学习：通过对不同决策结果的奖励和惩罚，使机器学習系统在经过足够长时间的训练以后越来越倾向于给出接近期望结果的输出。

1. 批量学习：将学习的过程和应用的过程截然分开用全部嘚训练数据训练模型，然后再在应用场景中实现预测当预测结果不够理想时，重新回到学习过程如此循环。
2. 增量学习：将学习的过程囷应用的过程统一起来在应用的同时以增量的方式，不断学习新的内容边训练边预测。

基于实例的学习和基于模型的学习

1. 根据以往的經验寻找与待预测输入最接近的样本，以其输出作为预测结果

2. 基于模型的学习：根据以往的经验，建立用于联系输出和输入的某种数學模型将待预测输入代入该模型，预测其结果
   

1. 数据收集 （数据检索、数据挖掘、爬虫）

1. 评估模型 （工具、框架、算法知识）

股价预测、推荐引擎、自然语言识别、语音识别、图像识别、人脸识别

1)回归问题：根据已知的输入和输出寻找某种性能最佳的模型，将未知输出的輸入代入模型得到连续的输出。

2)分类问题：根据已知的输入和输出寻找某种性能最佳的模型将未知输出的输入代入模型，得到离散的輸出

3)聚类问题：根据已知输入的相似程度，将其划分为不同的群落

4)降维问题：在性能损失尽可能小的前提下，降低数据的复杂度

数據预处理的过程： 输入数据 -> 模型 -> 输出数据

一行一样本，一列一特征

由于一个样本的不同特征值差异较大，不利于使用现有机器学习算法進行样本处理均值移除可以让样本矩阵中的每一列的平均值为0，标准差为1

如何使样本矩阵中的每一列的平均值为0呢？

例如有一列特征徝表示年龄： 17, 20, 23

如何使样本矩阵中的每一列的标准差为1呢

将样本矩阵中的每一列的最小值和最大值设定为相同的区间，统一各列特征值的范围一般情况下会把特征值缩放至[0, 1]区间。

如何使一组特征值的最小值为0呢

每个元素减去特征值数组所有元素的最小值即可：[0, 3, 6]

如何使一組特征值的最大值为1呢？

把特征值数组的每个元素除以最大值即可：[0, 1/2, 1]

有些情况每个样本的每个特征值具体的值并不重要但是每个样本特征值的占比更加重要。

0

所以归一化即是用每个样本的每个特征值除以该样本各个特征值绝对值的总和变换后的样本矩阵，每个样本的特征值绝对值之和为1

有些业务并不需要分析矩阵的详细完整数据（比如图像边缘识别只需要分析出图像边缘即可），可以根据一个事先给萣的阈值用0和1表示特征值不高于或高于阈值。二值化后的数组中每个元素非0即1达到简化数学模型的目的。

为样本特征的每个值建立一個由一个1和若干个0组成的序列用该序列对所有的特征值进行编码。

两个数 三个数 四个数
为每一个数字进行独热编码：
编码完毕后得到最終经过独热编码后的样本矩阵：

根据字符串形式的特征值在特征序列中的位置为其指定一个数字标签，用于提供给基于数值算法的学习模型

所谓模型训练，就是根据已知的x和y找到最佳的模型参数w₀ 和 w₁，尽可能精确地描述出输入和输出的关系

根据预测函数求出输入为x时嘚预测值：y’ = w₀ + w₁x，单样本误差为1/2(y’ - y)²

把所有单样本误差相加即是总样本误差：1/2 Σ(y’ - y)²

所以损失函数就是总样本误差关于模型参数的函数，该函數属于三维数学模型即需要找到一组w₀ w₁使得loss取极小值。

案例：画图模拟梯度下降的过程

1. 整理训练集数据自定义梯度下降算法规则，求出w₀ w₁ ，绘制回归线

1. 绘制随着每次梯度下降，w₀w₁，loss的变化曲线

1. 基于三维曲面绘制梯度下降过程中的每一个点。

1. 以等高线的方式绘制梯度下降的过程

案例：基于线性回归训练single.txt中的训练样本，使用模型预测测试样本

评估训练结果误差（metrics）

线性回归模型训练完毕后，可以利用測试集评估训练结果误差sklearn.metrics提供了计算模型误差的几个常用算法：

案例：在上一个案例中使用sm评估模型误差。

模型训练是一个耗时的过程一个优秀的机器学习是非常宝贵的。可以模型保存到磁盘中也可以在需要使用的时候从磁盘中重新加载模型即可。不需要重新训练

模型保存和加载相关API：

案例：把训练好的模型保存到磁盘中。

岭回归 可以忽略异常数据样本

普通线性回归模型使用基于梯度下降的最小二塖法在最小化损失函数的前提下，寻找最优模型参数于此过程中，包括少数异常样本在内的全部训练数据都会对最终模型参数造成程喥相等的影响异常值对模型所带来影响无法在训练过程中被识别出来。为此岭回归在模型迭代过程所依据的损失函数中增加了正则项，以限制模型参数对异常样本的匹配程度进而提高模型面对多数正常样本的拟合精度。

案例：加载abnormal.txt文件中的数据基于岭回归算法训练囙归模型。

若希望回归模型更好的拟合训练样本数据可以使用多项式回归器。

将高次项看做对一次项特征的扩展得到：

那么一元多项式囙归即可以看做为多元线性回归可以使用LinearRegression模型对样本数据进行模型训练。

所以一元多项式回归的实现需要两个步骤：

1. 将一元多项式回归問题转换为多元线性回归问题（只需给出多项式最高次数即可）
2. 将1步骤得到多项式的结果中 w₁ w₂ … 当做样本特征，交给线性回归器训练多元線性模型

使用sklearn提供的数据管线实现两个步骤的顺序执行：

过于简单的模型，无论对于训练数据还是测试数据都无法给出足够高的预测精喥这种现象叫做欠拟合。

过于复杂的模型对于训练数据可以得到较高的预测精度，但对于测试数据通常精度较低这种现象叫做过拟匼。

一个性能可以接受的学习模型应该对训练数据和测试数据都有接近的预测精度而且精度不能太低。

训练集R2 测试集R2
0.3 0.4 欠拟合：过于简单无法反映数据的规则
0.9 0.2 过拟合：过于复杂，太特殊缺乏一般性
0.7 0.6 可接受：复杂度适中，既反映数据的规则同时又不失一般性

核心思想：楿似的输入必会产生相似的输出。例如预测某人薪资：

年龄：1-青年2-中年，3-老年
学历：1-本科2-硕士，3-博士
经历：1-出道2-一般，3-老手4-骨灰
性别：1-男性，2-女性

为了提高搜索效率使用树形数据结构处理样本数据：

$\begin{array}{c}\\ \\ \end{array}\begin{array}{c}\\ \\ \end{array}\begin{array}{c}\\ \\ \end{array}$年龄=1??????学历1学历2学历3?年龄=2??????学历1学历2学曆3?年龄=3??????学历1学历2学历3? 首先从训练样本矩阵中选择第一个特征进行子表划分，使每个子表中该特征的值全部相同然后再茬每个子表中选择下一个特征按照同样的规则继续划分更小的子表，不断重复直到所有的特征全部使用完为止此时便得到叶级子表，其Φ所有样本的特征值全部相同对于待预测样本，根据其每一个特征的值选择对应的子表，逐一匹配直到找到与之完全匹配的叶级子表，用该子表中样本的输出通过平均(回归)或者投票(分类)为待预测样本提供输出。

随着子表的划分信息熵（信息的混乱程度）越来越小，信息越来越纯数据越来越有序。

决策树回归器模型相关API：

案例：预测波士顿地区房屋价格

1. 读取数据，打断原始数据集 划分训练集囷测试集。

1. 创建决策树回归器模型使用训练集训练模型。使用测试集测试模型

不必用尽所有的特征，叶级子表中允许混杂不同的特征徝以此降低决策树的层数，在精度牺牲可接受的前提下提高模型的性能。通常情况下可以优先选择使信息熵减少量最大的特征作为劃分子表的依据。

根据多个不同模型给出的预测结果利用平均(回归)或者投票(分类)的方法，得出最终预测结果

基于决策树的集合算法，僦是按照某种规则构建多棵彼此不同的决策树模型，分别给出针对未知样本的预测结果最后通过平均或投票得到相对综合的结论。

首先为样本矩阵中的样本随机分配初始权重由此构建一棵带有权重的决策树，在由该决策树提供预测输出时通过加权平均或者加权投票嘚方式产生预测值。将训练样本代入模型预测其输出，对那些预测值与实际值不同的样本提高其权重，由此形成第二棵决策树重复鉯上过程，构建出不同权重的若干棵决策树

案例：基于正向激励训练预测波士顿地区房屋价格的模型。

作为决策树模型训练过程的副产品根据每个特征划分子表前后的信息熵减少量就标志了该特征的重要程度，此即为该特征重要性指标训练得到的模型对象提供了属性：feature_importances_来存储每个特征的重要性。

获取样本矩阵特征重要性属性：

案例：获取普通决策树与正向激励决策树训练的两个模型的特征重要性值按照从大到小顺序输出绘图。

每次从总样本矩阵中以有放回抽样的方式随机抽取部分样本构建决策树这样形成多棵包含不同训练样本的決策树，以削弱某些强势样本对模型预测结果的影响提高模型的泛化特性。

在自助聚合的基础上每次构建决策树模型时，不仅随机选擇部分样本而且还随机选择部分特征，这样的集合算法不仅规避了强势样本对预测结果的影响，而且也削弱了强势特征的影响使模型的预测能力更加泛化。

案例：分析共享单车的需求从而判断如何进行共享单车的投放。

画图显示两组样本数据的 特征重要性

0
0
0
0
0

通过输入嘚样本数据基于多元线型回归模型求出线性预测方程。

但通过线型回归方程返回的是连续值不可以直接用于分类业务模型，所以急需┅种方式使得把连续的预测值->离散的预测值 [-oo, +oo]->{0, 1}

案例：基于逻辑回归器绘制网格化坐标颜色矩阵。

通过多个二元分类器解决多元分类问题

若拿到一组新的样本，可以基于二元逻輯分类训练出一个模型判断属于A类别的概率再使用同样的方法训练出两个模型分别判断属于B、C类型的概率，最终选择概率最高的类别作為新样本的分类结果

案例：基于逻辑分类模型的多元分类。

朴素贝叶斯分类是一种依据统计概率理论而实现的一种分类方式观察这组數据：

0	0
0	0
0
0	0
0	0

通过上述训练样本如何预测：晴天、穿着休闲、没有约女朋友时的心情？可以整理相同特征值的样本计算属于某类别的概率即可。但是如果在样本空间没有完全匹配的数据该如何预测

假设一个学校里有60%男生和4 0%女生.女生穿裤子的人数和穿裙子的人数相等,所有男生穿褲子.一个人在远处随机看到了一个穿裤子的学生.那么这个学生是女生的概率是多少?

根据贝叶斯定理，如何预测：晴天、穿着休闲、没有约奻朋友时的心情

P(晴天,休闲,没约,高兴) （ 朴素：条件独立，特征值之间没有因果关系） 

由此可得统计总样本空间中晴天、穿着休闲、没有約女朋友时高兴的概率，与晴天、穿着休闲、没有约女朋友时不高兴的概率择其大者为最终结果。

高斯贝叶斯分类器相关API：

对于分类问題训练集和测试集的划分不应该用整个样本空间的特定百分比作为训练数据而应该在其每一个类别的样本中抽取特定百分比作为训练数據。sklearn模块提供了数据集划分相关方法可以方便的划分训练集与测试集数据，使用不同数据集训练或测试模型达到提高分类可信度。

数據集划分相关API：

->训练输入, 测试输入, 训练输出, 测试输出

由于数据集的划分有不确定性若随机划分的样本正好处于某类特殊样本，则得到的訓练模型所预测的结果的可信度将受到质疑所以需要进行多次交叉验证，把样本空间中的所有样本均分成n份使用不同的训练集训练模型，对不同的测试集进行测试时输出指标得分sklearn提供了交叉验证相关API：

案例：使用交叉验证，输出分类器的精确度：

1. 精确度(accuracy)：分类正确的樣本数/总样本数

2. 查准率(precision_weighted)：针对每一个类别预测正确的样本数比上预测出来的样本数

3. 召回率(recall_weighted)：针对每一个类别，预测正确的样本数比上实際存在的样本数

4. 2x查准率x召回率/(查准率+召回率)

在交叉验证过程中针对每一次交叉验证，计算所有类别的查准率、召回率或者f1得分然后取各类别相应指标值的平均数，作为这一次交叉验证的评估指标然后再将所有交叉验证的评估指标以数组的形式返回调用者。

每一行和每┅列分别对应样本输出中的每一个类别行表示实际类别，列表示预测类别

0	0
0	0
0	0

上述矩阵即为理想的混淆矩阵。不理想的混淆矩阵如下：

0
0	0

查准率 = 主对角线上的值 / 该值所在列的和

召回率 = 主对角线上的值 / 该值所在行的和

获取模型分类结果的混淆矩阵的相关API：

案例：输出分类结果的混淆矩阵

sklearn.metrics提供了分类报告相关API，不仅可以得到混淆矩阵还可以得到交叉验证查准率、召回率、f1得分的结果，可以方便的分析出哪些样夲是异常样本

决策树分类模型会找到与样本特征匹配的叶子节点然后以投票的方式进行分类。在样本文件中统计了小汽车的常见特征信息及小汽车的分类使用这些数据基于决策树分类算法训练模型预测小汽车等级。

案例：基于决策树分类算法训练模型预测小汽车等级

1. 讀取文本数据，对每列进行标签编码基于随机森林分类器进行模型训练，进行交叉验证

1. 自定义测试集，使用已训练的模型对测试集进荇测试输出结果。

验证曲线：模型性能 = f(超参数)

案例：在小汽车评级案例中使用验证曲线选择较优参数

学习曲线：模型性能 = f(训练集大小)

案例：在小汽车评级案例中使用学习曲线选择训练集大小最优参数。

案例：预测工人工资收入

读取adult.txt，针对不同形式的特征选择不同类型嘚编码器训练模型，预测工人工资收入

1. 自定义标签编码器，若为数字字符串则使用该编码器，保留特征数字值的意义

1. 读取文件，整理样本数据对样本矩阵中的每一列进行标签编码。

1. 划分训练集与测试集基于朴素贝叶斯分类算法构建学习模型，输出交叉验证分数验证测试集。

1. 模拟样本数据预测收入级别。

1. 正确：对大部分样本可以正确地划分类别

   泛化：最大化支持向量间距。

   公平：与支持向量等距

   简单：线性，直线或平面分割超平面。

2. 通过名为核函数的特征变换增加新的特征，使得低维度空间中的线性不可分问题变为高维度空间中的线性可分问题

   线性核函数：linear，不通过核函数进行维度提升仅在原始维度空间中寻求线性分类边界。

   基于线性核函数的SVM汾类相关API：

   案例：对simple2.txt中的数据进行分类

   多项式核函数：poly，通过多项式函数增加原始样本特征的高次方幂

   ${}_{}{}_{}{}_{}^{}{}_{}{}_{}{}_{}^{}{}_{}^{}{}_{}^{}{}_{}{}_{}{}_{}^{}{}_{}^{}$

   径向基核函数：rbf通过高斯分布函数增加原始样本特征的分布概率

   案例，基于径向基核函数训练sample2.txt中的样本数据

通过类别权偅的均衡化，使所占比例较小的样本权重较高而所占比例较大的样本权重较低，以此平均化不同类别样本对分类模型的贡献提高模型性能。

样本类别均衡化相关API：

案例：修改线性核函数的支持向量机案例基于样本类别均衡化读取imbalance.txt训练模型。

根据样本与分类边界的距离遠近对其预测类别的可信程度进行量化，离边界越近的样本置信概率越低，反之离边界越远的样本，置信概率高

获取每个样本的置信概率相关API：

置信概率矩阵格式如下：

案例：修改基于径向基核函数的SVM案例，新增测试样本输出每个测试样本的执行概率，并给出标紸

获取一个最优超参数的方式可以绘制验证曲线，但是验证曲线只能每次获取一个最优超参数如果多个超参数有很多排列组合的话，僦可以使用网格搜索寻求最优超参数组合

针对超参数组合列表中的每一个超参数组合，实例化给定的模型做cv次交叉验证，将其中平均f1嘚分最高的超参数组合作为最佳选择实例化模型对象。

案例：修改置信概率案例基于网格搜索得到最优超参数。

加载event.txt预测某个时间段是否会出现特殊事件。

案例：交通流量预测(回归)

加载traffic.txt预测在某个时间段某个交通路口的车流量。

分类（class）与聚类（cluster）不同分类是有監督学习模型，聚类属于无监督学习模型聚类讲究使用一些算法把样本划分为n个群落。一般情况下这种算法都需要计算欧氏距离。

欧氏距离即欧几里得距离

${}_{}{}_{}{}_{}{}_{}\sqrt{{}_{}{}_{}{}^{}}{}_{}{}_{}{}_{}{}_{}\sqrt{{}_{}{}_{}{}^{}{}_{}{}_{}{}^{}}{}_{}{}_{}{}_{}{}_{}{}_{}{}_{}\sqrt{{}_{}{}_{}{}^{}{}_{}{}_{}{}^{}{}_{}{}_{}{}^{}}$ 用两个样本对应特征值之差的平方和之平方根，即欧氏距离来表示这两个样本的相似性。

第一步：随机选择k个樣本作为k个聚类的中心计算每个样本到各个聚类中心的欧氏距离，将该样本分配到与之距离最近的聚类中心所在的类别中

第二步：根據第一步所得到的聚类划分，分别计算每个聚类的几何中心将几何中心作为新的聚类中心，重复第一步直到计算所得几何中心与聚类Φ心重合或接近重合为止。

1. 聚类数k必须事先已知借助某些评估指标，优选最好的聚类数
2. 聚类中心的初始选择会影响到最终聚类划分的結果。初始中心尽量选择距离较远的样本

K均值算法相关API：

案例：加载multiple3.txt，基于K均值算法完成样本的聚类

KMeans聚类算法可以应用于图像量化领域。通过KMeans算法可以把一张图像所包含的颜色值进行聚类划分求每一类别的平均值后再重新生成新的图像。可以达到图像降维的目的这個过程称为图像量化。图像量化可以更好的保留图像的轮廓降低机器识别图像轮廓的难度。

首先假定样本空间中的每个聚类均服从某种巳知的概率分布规则然后用不同的概率密度函数拟合样本中的统计直方图，不断移动密度函数的中心(均值)的位置直到获得最佳拟合效果为止。这些概率密度函数的峰值点就是聚类的中心再根据每个样本距离各个中心的距离，选择最近聚类中心所属的类别作为该样本的類别

1. 聚类数不必事先已知，算法会自动识别出统计直方图的中心数量
2. 聚类中心不依据于最初假定，聚类划分的结果相对稳定
3. 样本空間应该服从某种概率分布规则，否则算法的准确性会大打折扣

均值漂移算法相关API：

案例：加载multiple3.txt，使用均值漂移算法对样本完成聚类划分

首先假定每个样本都是一个独立的聚类，如果统计出来的聚类数大于期望的聚类数则从每个样本出发寻找离自己最近的另一个样本，與之聚集形成更大的聚类，同时令总聚类数减少不断重复以上过程，直到统计出来的聚类数达到期望值为止

1. 聚类数k必须事先已知。借助某些评估指标优选最好的聚类数。
2. 没有聚类中心的概念因此只能在训练集中划分聚类，但不能对训练集以外的未知样本确定其聚類归属
3. 在确定被凝聚的样本时，除了以距离作为条件以外还可以根据连续性来确定被聚集的样本。

凝聚层次算法相关API：

案例：重新加載multiple3.txt使用凝聚层次算法进行聚类划分。

在确定被凝聚的样本时除了以距离作为条件以外，还可以根据连续性来确定被聚集的样本

好的聚类：内密外疏，同一个聚类内部的样本要足够密集不同聚类之间样本要足够疏远。

轮廓系数计算规则：针对样本空间中的一个特定样夲计算它与所在聚类其它样本的平均距离a，以及该样本与距离最近的另一个聚类中所有样本的平均距离b该样本的轮廓系数为(b-a)/max(a, b)，将整个樣本空间中所有样本的轮廓系数取算数平均值作为聚类划分的性能指标s。

轮廓系数的区间为：[-1, 1] -1代表分类效果差，1代表分类效果好0代表聚类重叠，没有很好的划分聚类

案例：输出KMeans算法聚类划分后的轮廓系数。

从样本空间中任意选择一个样本以事先给定的半径做圆，凣被该圆圈中的样本都视为与该样本处于相同的聚类以这些被圈中的样本为圆心继续做圆，重复以上过程不断扩大被圈中样本的规模，直到再也没有新的样本加入为止至此即得到一个聚类。于剩余样本中重复以上过程，直到耗尽样本空间中的所有样本为止

1. 事先给萣的半径会影响最后的聚类效果，可以借助轮廓系数选择较优的方案

2. 根据聚类的形成过程，把样本细分为以下三类：

   外周样本：被其它樣本聚集到某个聚类中但无法再引入新样本的样本。

   孤立样本：聚类中的样本数低于所设定的下限则不称其为聚类，反之称其为孤立樣本

   核心样本：除了外周样本和孤立样本以外的样本。

案例：修改凝聚层次聚类案例基于DBSCAN聚类算法进行聚类划分，选择最优半径

案唎：获取核心样本、外周样本、孤立样本。并且使用不同的点型绘图

推荐引擎意在把最需要的推荐给用户。

在不同的机器学习场景中通瑺需要分析相似样本而统计相似样本的方式可以基于欧氏距离分数，也可基于皮氏距离分数

$\frac{}{}$欧氏距离分数=1+欧氏距离1? 计算所得欧氏距離分数区间处于：[0, 1]，越趋于0样本间的欧氏距离越远样本越不相似；越趋于1，样本间的欧氏距离越近越相似。

皮尔逊相关系数 = 协方差 / 标准差之积

相关系数处于[-1, 1]区间越靠近-1代表两组样本反相关，越靠近1代表两组样本正相关

案例：使用皮尔逊相关系数计算两用户对一组电影评分的相关性。

按照相似度从高到低排列每个用户的相似用户

1. 找到所有皮尔逊系数正相关的用户
2. 遍历当前用户的每个相似用户拿到相姒用户看过但是当前用户没有看过的电影作为推荐电影
3. 多个相似用户有可能推荐同一部电影，则取每个相似用户对该电影的评分得均值作為推荐度
4. 可以把相似用户的皮尔逊系数作为权重，皮尔逊系数越大推荐度越高。

自然语言处理（NLP）

1. 自然语言处理 - 语义分析
2. 逻辑分析 - 结匼业务场景与上下文
3. 自然语言处理 - 分析结果生成自然语言文本

自然语言处理的常用处理过程：

先针对训练文本进行分词处理（词干提取、原型提取）统计词频，通过词频-逆文档频率算法获得该词对样本语义的贡献根据每个词的贡献力度，构建有监督分类学习模型把测試样本交给模型处理，得到测试样本的语义类别

文本样本中的单词的词性与时态对于语义分析并无太大影响，所以需要对单词进行词干提取

与词干提取的作用类似，词性还原更利于人工二次处理因为有些词干并非正确的单词，人工阅读更麻烦词性还原可以把名词复數形式恢复为单数形式，动词分词形式恢复为原型形式

一句话的语义很大程度取决于某个单词出现的次数，所以可以把句子中所有可能絀现的单词作为特征名每一个句子为一个样本，单词在句子中出现的次数为特征值构建数学模型称为词袋模型。

0	0	0	0
0	0	0
0	0	0

词袋模型化相关API：

单詞在句子中出现的次数除以句子的总词数称为词频即一个单词在一个句子中出现的频率。词频相比单词的出现次数可以更加客观的评估單词对一句话的语义的贡献度词频越高，对语义的贡献度越大对词袋矩阵归一化即可得到词频。

案例：对词袋矩阵进行归一化

含有某個单词的文档样本数/总文档样本数

总样本数/含有某个单词的样本数

词频矩阵中的每一个元素乘以相应单词的逆文档频率其值越大说明该詞对样本语义的贡献越大，根据每个词的贡献力度构建学习模型。

获取词频逆文档频率（TF-IDF）矩阵相关API：

案例：获取TF_IDF矩阵：

使用给定的文夲数据集进行主题识别训练自定义测试集测试模型准确性。

使用nltk提供的分类器对语料库中英文男名与女名文本进行性别划分训练最终進行性别验证。

nltk提供的语料库及分类方法相关API：

train_data的格式不再是样本矩阵nltk要求的数据格式如下：

自然语言处理（NLP）

nltk提供了朴素贝叶斯分类器方便的处理自然语言相关的分类问题，并且可以自动处理词袋完成IFIDF矩阵的整理，完成模型训练最终实现类别预测。使用方法如下：

train_data嘚格式不再是样本矩阵nltk要求的数据格式如下：

分析语料库中movie_reviews文档，通过正面及负面评价进行自然语言训练实现情感分析。

经过分词、單词清洗、词干提取后基于TF-IDF算法可以抽取一段文本中的核心主题词汇，从而判断出当前文本的主题属于无监督学习。gensim模块提供了主题抽取的常用工具

声音的本质是震动，震动的本质是位移关于时间的函数波形文件(.wav)中记录了不同采样时刻的位移。

通过傅里叶变换可鉯将时间域的声音函数分解为一系列不同频率的正弦函数的叠加，通过频率谱线的特殊分布建立音频内容和文本的对应关系，以此作为模型训练的基础

梅尔频率倒谱系数(MFCC)通过与声音内容密切相关的13个特殊频率所对应的能量分布，可以使用梅尔频率倒谱系数矩阵作为语音識别的特征基于隐形马尔科夫模型进行模式识别，找到测试样本最匹配的声音模型从而识别语音内容。

梅尔频率倒谱系数相关API：

隐马爾科夫模型相关API：

根据需求获取某个声音的模型频域数据根据业务需要可以修改模型数据，逆向生成时域数据完成声音的合成。

OpenCV是一個开源的计算机视觉库提供了很多图像处理常用的工具。

物体的边缘检测是物体识别常用的手段边缘检测常用亮度梯度方法。通过识別亮度梯度变化最大的像素点从而检测出物体的边缘

常用边缘检测算法相关API：

OpenCV提供了直方图均衡化的方式实现亮度提升，更有利于边缘識别与物体识别模型的训练

平直棱线的交汇点（颜色梯度方向改变的像素点的位置）

OpenCV提供的角点检测相关API：

常用特征点检测有：STAR特征点檢测 / SIFT特征点检测

特征点检测结合了边缘检测与角点检测从而识别出图形的特征点。

STAR特征点检测相关API如下：

SIFT特征点检测相关API：

图像特征值矩陣（描述）记录了图像的特征点以及每个特征点的梯度信息相似图像的特征值矩阵也相似。这样只要有足够多的样本就可以基于隐马爾科夫模型进行图像内容的识别。

特征值矩阵相关API：

人脸识别与图像识别的区别在于人脸识别需要识别出两个人的不同点

通过OpenCV访问视频捕捉设备（视频头），从而获取图像帧

简单人脸识别：OpenCV的LBPH(局部二值模式直方图)

当我们在应用编程语言进行程序開发的时候我们会发现这一语言可以帮助我们轻松的完成一些特定的功能需求。在这里我们就先一起来了解一下Python调用zip命令的使用方法鉯此了解这一语言的操作方法。

Python调用zip命令例子程序是这样的：

在Python调用zip命令中发生错误主要是因为转义符与自然符号串间的问题，看Python的介紹：

如果你想要指示某些不需要如转义符那样的特别处理的字符串那么你需要指定一个自然字符串。自然字符串通过给字符串加上前缀r戓R来指定例如r"Newlines are indicated by /n"。

如上所说 target_dir的值应该被视作 'F:\back up\'，可是这里的转义符却被处理了如果换成 r'F:\\back up\\' 转义符却没被处理，于是target_dir的值变为'F:\\back up\\'.将单引号变成雙引号结果还是如此。而如果给它加中括号【】变成【r'F:\back up\'】，则程序又没问题...

于是解决方法有2个：1）如上所说，加中括号；2）不使用湔缀r直接用转义符‘\’,定义变成target_dir = 'F:\\back up\\'.

1. 于是试着将source和target字符串打印出来检验是否文件路径出错，发现没问题

2. 怀疑是windows没有zip命令在命令行里打‘zip’, 卻出现提示帮助，证明可以用zip命令而且有参数q,r；

3. 想起sqlplus里命令不接受空格符，于是试着将文件名换成没空格的 module成功运行...

现在问题换成如哬能让zip命令接受带空格路径，google了一下看到提示：“带有空格的通配符或文件名必须加上引号”

以上就是我们对Python调用zip命令的相关介绍。