-
0 – 自然语言处理入门
1 什么是自然语言处理 自然语言处理(Natural Language Processing, 简称NLP)是计算机科学与语言学中关注于计算机与人类语言间转换的领域. 2 自然语言处理的发展简史 3 自然语言处理的应用场景 语音助手 机器翻译 搜索引擎 智能问答 ...- 32
- 0
-
4 – 什么是反向传播?
多层神经网络的学习能力比单层网络强得多。想要训练多层网络,需要更强大的学习算法。误差反向传播算法(Back Propagation)是其中最杰出的代表,它是目前最成功的神经网络学习算法。现实任务使用神经网络时,大多是在使用 BP 算法进行训练,值得指出的是 BP 算法不仅可用于多层前馈神经网络,还可以用于其他类型的神经网络。 通常说 BP 网络时,一般是指用 BP 算法训练的多层前馈神经网络。 这…- 54
- 0
-
3 – 什么是激活函数?
1. 网络非线性因素的理解 激活函数用于对每层的输出数据进行变换, 进而为整个网络结构结构注入了非线性因素。此时, 神经网络就可以拟合各种曲线。如果不使用激活函数,整个网络虽然看起来复杂,其本质还相当于一种线性模型,如下公式所示: 没有引入非线性因素的网络等价于使用一个线性模型来拟合 通过给网络输出增加激活函数, 实现引入非线性因素, 使得网络模型可以逼近任意函数, 提升网络对复杂问题的拟合能力.…- 78
- 0
-
2 – 什么是神经网络
1. 什么是神经网络 人工神经网络( Artificial Neural Network, 简写为ANN)也简称为神经网络(NN),是一种模仿生物神经网络结构和功能的 计算模型。人脑可以看做是一个生物神经网络,由众多的神经元连接而成。各个神经元传递复杂的电信号,树突接收到输入信号,然后对信号进行处理,通过轴突输出信号。下图是生物神经元示意图: 当电信号通过树突进入到细胞核时,会逐渐聚集电荷。达到一…- 27
- 0
-
1 – 什么是深度学习
1. 什么是深度学习 在介绍深度学习之前,我们先看下人工智能,机器学习和深度学习之间的关系: 机器学习是实现人工智能的一种途径,深度学习是机器学习的一个子集,也就是说深度学习是实现机器学习的一种方法。与机器学习算法的主要区别如下图所示: 传统机器学习算术依赖人工设计特征,并进行特征提取,而深度学习方法不需要人工,而是依赖算法自动提取特征。深度学习模仿人类大脑的运行方式,从经验中学习获取知识。这也是…- 34
- 0
-
0 – 神经网络基础 目录
神经网络的基础部分,主要包含的内容如下: 对深度学习、神经网络建立基本认识 了解激活函数的作用 了解神经网络参数更新算法 了解常见的神经网络参数初始化方法 了解常见的梯度下降优化方法 了解神经网络正则化的方法 了解批量归一化的作用- 29
- 0
-
2 – 张量数值计算
PyTorch 计算的数据都是以张量形式存在, 我们需要掌握张量各种运算. 并且, 我们可以在 CPU 中运算, 也可以在 GPU 中运算. 1. 张量基本运算 基本运算中,包括 add、sub、mul、div、neg 等函数, 以及这些函数的带下划线的版本 add_、sub_、mul_、div_、neg_,其中带下划线的版本为修改原数据。 import numpy as np import to…- 24
- 0
-
1 – PyTorch 创建张量
PyTorch 是一个 Python 深度学习框架,它将数据封装成张量(Tensor)来进行运算。PyTorch 中的张量就是元素为同一种数据类型的多维矩阵。在 PyTorch 中,张量以 "类" 的形式封装起来,对张量的一些运算、处理的方法被封装在类中。 1. 基本创建方式 torch.tensor 根据指定数据创建张量 torch.Tensor 根据形状创建张量, 其也可用…- 33
- 0
-
深度学习框架 PyTorch 目录
学习使用深度学习框架 PyTorch, 主要包含的内容如下: PyTorch 创建张量 PyTorch 张量的数值计算 PyTorch 张量类型转换 PyTorch 张量的拼接操作 PyTorch 索引操作 PyTorch 张量形状的操作 PyTorch 张量的运算函数 PyTorch 自动微分模块 案例: 手动构建线性回归 PyTorch 构架构建线性回归 模型的保存和加载- 35
- 0
-
4 – 电信客户流失预测
1. 数据集介绍 AT&T数据,用户个人,通话,上网等信息数据 充分利用数据预测客户的流失情况 帮助挽留用户,保证用户基数和活跃程度 具体数据说明如下: CustomerID 客户ID Gender 性别 partneratt 配偶是否也为att用户 dependents_att 家人是否也是att用户 landline 是否使用att固话服务 internet_att/internet_…- 40
- 0
-
3 – 分类评估指标
1. 混淆矩阵 混淆矩阵作用就是看一看在测试集样本集中: 真实值是 正例 的样本中,被分类为 正例 的样本数量有多少,这部分样本叫做真正例(TP,True Positive) 真实值是 正例 的样本中,被分类为 假例 的样本数量有多少,这部分样本叫做伪反例(FN,False Negative) 真实值是 假例…- 21
- 0
-
2 – 案例 癌症分类预测
1 逻辑回归的API sklearn提供了逻辑回归的API sklearn.linear_model.LogisticRegression(solver='liblinear', penalty=‘l2’, C = 1.0) solver可选参数:{'liblinear', 'sag', 'saga','ne…- 27
- 0
-
1 – 逻辑回归介绍
1. 逻辑回归的应用场景 逻辑回归(Logistic Regression)是机器学习中的 一种分类模型 ,逻辑回归是一种分类算法,虽然名字中带有回归。由于算法的简单和高效,在实际中应用非常广泛 广告点击率 是否为垃圾邮件 是否患病 信用卡账单是否会违约 看到上面的例子,我们可以发现其中的特点,那就是都属于两个类别之间的判断。逻辑回归就是解决二分类问题的利器 2. 逻辑回归的原…- 53
- 0
-
0 – 逻辑回归简介
逻辑回归可以用于解决常见的分类问题,也是解决分类中常用的一种算法。在本章节学习到的内容如下: 理解逻辑回归的原理 理解分类的评估指标 掌握类别不平衡数据的解决方法 最后,我们应用逻辑回归模型实现 电信客户流失预测 案例。- 18
- 0
-
7 – 手写数字识别 KNN
1. 案例介绍 MNIST手写数字识别 是计算机视觉领域中 "hello world"级别的数据集 1999年发布,成为分类算法基准测试的基础 随着新的机器学习技术的出现,MNIST仍然是研究人员和学习者的可靠资源。 本次案例中,我们的目标是从数万个手写图像的数据集中正确识别数字。 2. 数据介绍 数据文件 train.csv 和 test.csv 包含从 0 到 9 的手绘数…- 39
- 0
-
6 – K 值选择问题
1. K取不同值时带来的影响 举例: 有两类不同的样本数据,分别用蓝颜色的小正方形和红色的小三角形表示,而图正中间有一个绿色的待判样本。 问题:如何给这个绿色的圆分类?是判断为蓝色的小正方形还是红色的小三角形? 方法:应用KNN找绿色的邻居,但一次性看多少个邻居呢(K取几合适)? 解决方案: K=4,绿色圆圈最近的4个邻居,3红色和1个蓝,按少数服从多数,判定绿色样本与红色三角形属于同一类别 K=…- 15
- 0
-
5 – 分类模型评估方法
1.数据集划分 1.1 为什么要划分数据集? 思考:我们有以下场景: 将所有的数据都作为训练数据,训练出一个模型直接上线预测 每当得到一个新的数据,则计算新数据到训练数据的距离,预测得到新数据的类别 存在问题: 上线之前,如何评估模型的好坏? 模型使用所有数据训练,使用哪些数据来进行模型评估? 结论:不能将所有数据集全部用于训练 为了能够评估模型的泛化能力,可以通过实验测试对学习器的泛化能力进行评…- 17
- 0
-
4 – K 近邻算法 API
1. Sklearn API介绍 本小节使用 scikit-learn 的 KNN API 来完成对鸢尾花数据集的预测. API介绍 2. 鸢尾花分类示例代码 鸢尾花数据集 鸢尾花Iris Dataset数据集是机器学习领域经典数据集,鸢尾花数据集包含了150条鸢尾花信息,每50条取自三个鸢尾花中之一:Versicolour、Setosa和Virginica 每个花的特征用如下属性描述: 示例代码…- 18
- 0
-
3 – 归一化和标准化
1. 为什么做归一化和标准化 样本中有多个特征,每一个特征都有自己的定义域和取值范围,他们对距离计算也是不同的,如取值较大的影响力会盖过取值较小的参数。因此,为了公平,样本参数必须做一些归一化处理,将不同的特征都缩放到相同的区间或者分布内。 2. 归一化 通过对原始数据进行变换,把数据映射到(默认为[0,1])之间。 scikit-learn 中实现归一化的 API: from sklearn.p…- 15
- 0
-
2 – 距离度量方法
1. 机器学习中为什么要度量距离? 机器学习算法中,经常需要 判断两个样本之间是否相似 ,比如KNN,K-means,推荐算法中的协同过滤等等,常用的套路是 将相似的判断转换成距离的计算 ,距离近的样本相似程度高,距离远的相似程度低。所以度量距离是很多算法中的关键步骤。 KNN算法中要求数据的所有特征都用数值表示。若在数据特征中存在非数值类型,必须采用手段将…- 16
- 0
-
1 – K 近邻算法原理
1. 为什么学习KNN算法 KNN是监督学习分类算法,主要解决现实生活中分类问题。 根据目标的不同将监督学习任务分为了分类学习及回归预测问题。 监督学习任务的基本流程和架构: 首先准备数据,可以是视频、音频、文本、图片等等 抽取所需要的一些列特征,形成特征向量(Feature Vectors) 将这些特征向量连同标记(Label)一并送入机器学习算法中,训练出一个预测模型(Predictive M…- 17
- 0
-
3 – 机器学习分类
1. 监督学习 监督学习指的是人们给机器一大堆标记好的数据,比如: 一大堆照片,标记出哪些是猫的照片,哪些是狗的照片 让机器自己学习归纳出算法或模型 使用该算法或模型判断出其他没有标记的照片是否是猫或狗 上述流程如下图所示: 监督学习典型模型:Linear regression、Logistic regression、SVM、Neural network等 1.1 分类问题 分类是监督学习的一个核…- 28
- 0