一、引言

1.2. 机器学习中的关键组件

1.2.1. 数据

每个数据集由一个个样本（example, sample）组成，大多时候，它们遵循独立同分布(independently and identically distributed, i.i.d.)。
样本有时也叫做数据点（data point）或者数据实例（data instance），通常每个样本由一组称为特征（features，或协变量（covariates））的属性组成。
机器学习模型会根据这些属性进行预测。 在监督学习问题中，要预测的是一个特殊的属性，它被称为标签（label，或目标（target））。 当每个样本的特征类别数量都是相同的时候，其特征向量是固定长度的，这个长度被称为数据的维数（dimensionality）。

1.2.2. 模型

深度学习与经典方法的区别主要在于：前者关注的功能强大的模型，这些模型由神经网络错综复杂的交织在一起，包含层层数据转换，因此被称为深度学习（deep learning）

1.2.3. 目标函数

需要定义模型的优劣程度的度量，这个度量在大多数情况是“可优化”的，这被称之为目标函数（objective function）
我们通常定义一个目标函数，并希望优化它到最低点。 因为越低越好，所以这些函数有时被称为损失函数（loss function，或cost function）。
最常见的损失函数是平方误差（squared error），即预测值与实际值之差的平方。
可用数据集通常可以分成两部分：训练数据集用于拟合模型参数，测试数据集用于评估拟合的模型。
当一个模型在训练集上表现良好，但不能推广到测试集时，这个模型被称为**过拟合（overfitting）**的。

1.2.4. 优化算法

大多流行的优化算法通常基于一种基本方法–梯度下降（gradient descent）

1.3. 各种机器学习问题

1.3.1. 监督学习

监督学习（supervised learning）擅长在“给定输入特征”的情况下预测标签。 每个“特征-标签”对都称为一个样本（example）。 有时，即使标签是未知的，样本也可以指代输入特征。 我们的目标是生成一个模型，能够将任何输入特征映射到标签（即预测）。
监督学习的学习过程一般可以分为三大步骤：
  1. 从已知大量数据样本中随机选取一个子集，为每个样本获取真实标签。有时，这些样本已有标签（例如，患者是否在下一年内康复？）；有时，这些样本可能需要被人工标记（例如，图像分类）。这些输入和相应的标签一起构成了训练数据集；
  1. 选择有监督的学习算法，它将训练数据集作为输入，并输出一个“已完成学习的模型”；
  1. 将之前没有见过的样本特征放到这个“已完成学习的模型”中，使用模型的输出作为相应标签的预测。
notion image
  • 回归（regression）是最简单的监督学习任务之一。
  • 分类（classification）问题
  • 多标签分类（multi-label classification）
  • 信息检索
  • 推荐系统（recommender system）
  • 序列学习

1.3.2. 无监督学习

数据中不含有“目标”的机器学习问题通常被为无监督学习（unsupervised learning）
  • 聚类（clustering）问题
  • 主成分分析（principal component analysis）问题
  • 因果关系（causality）和概率图模型（probabilistic graphical models）问题
  • 生成对抗性网络（generative adversarial networks）
Loading...