|
@@ -13,7 +13,7 @@
|
|
|
|
|
|
|
|
上面提到的深度神经网络、监督微调、强化学习都是机器学习的训练方法。如果不了解这些概念,理解起来会很困难。
|
|
上面提到的深度神经网络、监督微调、强化学习都是机器学习的训练方法。如果不了解这些概念,理解起来会很困难。
|
|
|
|
|
|
|
|
-
|
|
|
|
|
|
|
+
|
|
|
|
|
|
|
|
上面这张图直观展示了AI、机器学习、监督学习…等的边界关系。
|
|
上面这张图直观展示了AI、机器学习、监督学习…等的边界关系。
|
|
|
|
|
|
|
@@ -41,7 +41,7 @@
|
|
|
|
|
|
|
|
机器学习能利用计算机的运算能力,从大量的数据中发现一个“函数”或“模型”,并通过它来模拟现实世界事物间的关系,从而实现预测、判断等目的。这个过程的关键是建立一个合适的模型,并能主动地根据这个模型进行“推理”,而这个建模的过程就是机器的“学习”过程。
|
|
机器学习能利用计算机的运算能力,从大量的数据中发现一个“函数”或“模型”,并通过它来模拟现实世界事物间的关系,从而实现预测、判断等目的。这个过程的关键是建立一个合适的模型,并能主动地根据这个模型进行“推理”,而这个建模的过程就是机器的“学习”过程。
|
|
|
|
|
|
|
|
-
|
|
|
|
|
|
|
+
|
|
|
|
|
|
|
|
## 3、机器是如何学习的
|
|
## 3、机器是如何学习的
|
|
|
|
|
|
|
@@ -75,15 +75,15 @@ $$ y = f(x\_1, x\_2, x\_3, ..., x\_n; \\theta) $$
|
|
|
|
|
|
|
|
那什么是损失呢?它其实是对糟糕预测的惩罚,同时也是对模型好坏的度量。损失也就是模型的误差,也称为成本或代价。名字虽多,但都是一个意思,就是当前预测值和真实值之间的差距的体现。它是一个数值,表示对于单个样本而言模型预测的准确程度。如果模型的预测完全准确,则损失为 0;如果不准确,就有损失。
|
|
那什么是损失呢?它其实是对糟糕预测的惩罚,同时也是对模型好坏的度量。损失也就是模型的误差,也称为成本或代价。名字虽多,但都是一个意思,就是当前预测值和真实值之间的差距的体现。它是一个数值,表示对于单个样本而言模型预测的准确程度。如果模型的预测完全准确,则损失为 0;如果不准确,就有损失。
|
|
|
|
|
|
|
|
-
|
|
|
|
|
|
|
+
|
|
|
|
|
|
|
|
在机器学习中,我们追求的是比较小的损失。不过,模型好不好,还不能仅看单个样本,还要针对所有数据样本,找到一组平均损失“较小”的函数模型。样本的损失大小,从几何意义上基本可以理解为预测值和真值之间的几何距离。平均距离越大,说明误差越大,模型越离谱。在下面这个图中,左边是平均损失较大的模型,右边是平均损失较小的模型,模型所有数据点的平均损失很明显大过右边模型。
|
|
在机器学习中,我们追求的是比较小的损失。不过,模型好不好,还不能仅看单个样本,还要针对所有数据样本,找到一组平均损失“较小”的函数模型。样本的损失大小,从几何意义上基本可以理解为预测值和真值之间的几何距离。平均距离越大,说明误差越大,模型越离谱。在下面这个图中,左边是平均损失较大的模型,右边是平均损失较小的模型,模型所有数据点的平均损失很明显大过右边模型。
|
|
|
|
|
|
|
|
-
|
|
|
|
|
|
|
+
|
|
|
|
|
|
|
|
因此,针对每一组不同的参数,机器都会基于样本数据集,用损失函数算一次平均损失。而机器学习的最优化过程,就是逐步减小训练集上损失的过程。具体到我们今天这个回归模型的拟合,它的关键环节就是通过梯度下降,逐步优化模型的参数,使训练集误差值达到最小。在这里面,线性回归中计算误差的方法很好理解,就是数据集中真值与预测值之间的残差平方和。那梯度下降又是怎么一回事呢?为了让你直观地理解,我用一张图来展示一下,梯度下降是怎么一步一步地走到损失曲线中的最小损失点的。
|
|
因此,针对每一组不同的参数,机器都会基于样本数据集,用损失函数算一次平均损失。而机器学习的最优化过程,就是逐步减小训练集上损失的过程。具体到我们今天这个回归模型的拟合,它的关键环节就是通过梯度下降,逐步优化模型的参数,使训练集误差值达到最小。在这里面,线性回归中计算误差的方法很好理解,就是数据集中真值与预测值之间的残差平方和。那梯度下降又是怎么一回事呢?为了让你直观地理解,我用一张图来展示一下,梯度下降是怎么一步一步地走到损失曲线中的最小损失点的。
|
|
|
|
|
|
|
|
-
|
|
|
|
|
|
|
+
|
|
|
|
|
|
|
|
## 5、机器学习的分类
|
|
## 5、机器学习的分类
|
|
|
|
|
|
|
@@ -111,13 +111,13 @@ $$ y = f(x\_1, x\_2, x\_3, ..., x\_n; \\theta) $$
|
|
|
- **分类:**就是把数据划分为不同的类别以及回归,也就是对数值进行预测。比如拿一些猫猫狗狗的照片,和一堆对应猫狗的标签,给模型训练,然后让模型根据没见过的照片预测是猫还是狗,这就属于分类。
|
|
- **分类:**就是把数据划分为不同的类别以及回归,也就是对数值进行预测。比如拿一些猫猫狗狗的照片,和一堆对应猫狗的标签,给模型训练,然后让模型根据没见过的照片预测是猫还是狗,这就属于分类。
|
|
|
|
|
|
|
|
|
|
|
|
|
-
|
|
|
|
|
|
|
+
|
|
|
|
|
|
|
|
### 5.2 无监督学习
|
|
### 5.2 无监督学习
|
|
|
|
|
|
|
|
无监督学习和监督学习不同的是,他学习的数据是没有标签的,所以算法的任务是自主发现数据里的模式和规律。经典的无监督学习任务包括聚类:也就是把数据进行分组,比如来一堆新闻文章,让模型根据主题或内容的特征自动把相似文章进行组织。
|
|
无监督学习和监督学习不同的是,他学习的数据是没有标签的,所以算法的任务是自主发现数据里的模式和规律。经典的无监督学习任务包括聚类:也就是把数据进行分组,比如来一堆新闻文章,让模型根据主题或内容的特征自动把相似文章进行组织。
|
|
|
|
|
|
|
|
-
|
|
|
|
|
|
|
+
|
|
|
|
|
|
|
|
### 5.3 强化学习(Reinforcement Learning,简称RL)
|
|
### 5.3 强化学习(Reinforcement Learning,简称RL)
|
|
|
|
|
|
|
@@ -127,7 +127,7 @@ $$ y = f(x\_1, x\_2, x\_3, ..., x\_n; \\theta) $$
|
|
|
|
|
|
|
|
强化学习可以应用在很多任务上,比如说让模型下围棋,获得不同行动导致的奖励或损失反馈,从而在一局局游戏里优化策略,学习如何采取行动达到高分。
|
|
强化学习可以应用在很多任务上,比如说让模型下围棋,获得不同行动导致的奖励或损失反馈,从而在一局局游戏里优化策略,学习如何采取行动达到高分。
|
|
|
|
|
|
|
|
-
|
|
|
|
|
|
|
+
|
|
|
|
|
|
|
|
### 5.4 深度学习
|
|
### 5.4 深度学习
|
|
|
|
|
|
|
@@ -147,7 +147,7 @@ $$ y = f(x\_1, x\_2, x\_3, ..., x\_n; \\theta) $$
|
|
|
|
|
|
|
|
这个输出层给出一个明确的答案,即这张图片是否是一只小猫。就像你通过多次尝试和修正,终于能够画出一只逼真的小猫一样。
|
|
这个输出层给出一个明确的答案,即这张图片是否是一只小猫。就像你通过多次尝试和修正,终于能够画出一只逼真的小猫一样。
|
|
|
|
|
|
|
|
-
|
|
|
|
|
|
|
+
|
|
|
|
|
|
|
|
### 5.4 生成式Al
|
|
### 5.4 生成式Al
|
|
|
|
|
|
|
@@ -157,6 +157,6 @@ $$ y = f(x\_1, x\_2, x\_3, ..., x\_n; \\theta) $$
|
|
|
|
|
|
|
|
大语言模型也叫LLM (Large Language model),也是深度学习的一种应用,专门用于进行自然语言处理任务。大语言模型里面的大字说明模型的参数量非常大,可能有数十亿甚至到万亿个。而且训练过程中也需要海量文本数据集,所以能更好的理解自然语言以及生成高质量的文本。 大语言模型的例子有非常多,比如国外的GPT、LLama,国内的Kimi、豆包等,可以进行文本的理解和生成。以GPT这个模型例子,它会根据输入提示以及前面生成过的词,通过概率计算,逐步生成下一个词或token来输出文本序列。
|
|
大语言模型也叫LLM (Large Language model),也是深度学习的一种应用,专门用于进行自然语言处理任务。大语言模型里面的大字说明模型的参数量非常大,可能有数十亿甚至到万亿个。而且训练过程中也需要海量文本数据集,所以能更好的理解自然语言以及生成高质量的文本。 大语言模型的例子有非常多,比如国外的GPT、LLama,国内的Kimi、豆包等,可以进行文本的理解和生成。以GPT这个模型例子,它会根据输入提示以及前面生成过的词,通过概率计算,逐步生成下一个词或token来输出文本序列。
|
|
|
|
|
|
|
|
-
|
|
|
|
|
|
|
+
|
|
|
|
|
|
|
|
到这里,我们就已经了解了机器学习的基础概念。
|
|
到这里,我们就已经了解了机器学习的基础概念。
|