【人工智能】回归模型

回归是监督学习中的一种问题类型，用于求解从无数个连续数值中选择答案。学习训练和使用回归模型，可使我们能够解决这类问题。

线性回归模型

使用输入输出为线性关系的函数表示模型，且这类模型专门用于解决回归问题。

单变量线性回归模型

$$f(x)=kx+b$$

• 输入特征：$x$
• 模型参数：$k,b$
• 输出变量：$y$

多元线性回归模型

$$f(x_1,x_2,\dots,x_n)=w_1x_1+w_2x_2+\dots+w_nx_n+b=\vec{w}\cdot\vec{x}+b$$

• 输入特征：$x_1,x_2,\dots,x_n$
• 模型参数：$w_1,w_2,\dots,w_n,b$
• 输出变量：$y$

多项式回归模型

多项式回归模型字如其名，他是通过组合多项式的方式增强模型拟合的准确性。这些多项式和多元线性回归模型不同：

1. 首先它们可以是非线性的。
2. 这些多项式通常是利用特征工程生成的，用于完善原特征的参数。

也因为这些特征，通过多项式回归模型，可以实现非线性的映射关系。

多项式回归模型的示例如下（实际使用中，应根据具体情况自由组合）：

$$f(x)=w_1x+w_2\sqrt{x}+w_3x^2+w_3x^3+\dots+b$$

平方误差损失函数

一种适用于回归模型的损失函数。

$$L= \frac{1}{2}(\hat{y}-y)^2$$

• 利用平方将差值转换为与正确答案距离值，距离越远影响越大。
• 除二是使后续的一些计算公式可以被简化，但去除后该函数也有效。