Hinge loss

在机器学习中，铰链损失是一个用于训练分类器的损失函数。铰链损失被用于“最大间格分类”，因此非常适合用于支持向量机 (SVM)。 对于一个预期输出 $t={\pm }1$，分类结果 $y$ 的铰链损失定义为

t = 1 时变量 y（水平方向）的铰链损失（蓝色，垂直方向）与0/1损失（垂直方向；绿色为 y < 0 ，即分类错误）。注意铰接损失在 abs(y) < 1 时也会给出惩罚，对应于支持向量机中间隔的概念。

$\ell (y)=\max(0,1-t\cdot y)$

特别注意：以上式子的$y$应该使用分类器的“原始输出”，而非预测标签。例如，在线性支持向量机当中，$y=\mathbf {w} \cdot \mathbf {x} +b$，其中 $(\mathbf {w} ,b)$ 是超平面参数，$\mathbf {x}$是输入资料点。

当$t$和$y$同号（意即分类器的输出$y$是正确的分类），且 $|y|\geq 1$时，铰链损失 $\ell (y)=0$。但是，当它们异号（意即分类器的输出$y$是错误的分类）时，$\ell (y)$ 随 $y$ 线性增长。套用相似的想法，如果 $|y|<1$，即使 $t$ 和 $y$ 同号（意即分类器的分类正确，但是间隔不足），此时仍然会有损失。

扩展

二元支持向量机经常通过一对多（winner-takes-all strategy，WTA SVM）或一对一（max-wins voting，MWV SVM）策略来扩展为多元分类， 铰接损失也可以做出类似的扩展，已有数个不同的多元分类铰接损失的变体被提出。 例如，Crammer 和 Singer 将一个多元线性分类的铰链损失定义为

$\ell (y)=\max(0,1+\max _{y\neq t}\mathbf {w} _{y}\mathbf {x} -\mathbf {w} _{t}\mathbf {x} )$

其中 $t$ 为目的标签， $\mathbf {w} _{t}$ 和 $\mathbf {w} _{y}$ 该模型的参数。

Weston 和 Watkins 提出了一个类似的定义，但使用求和代替了最大值：

$\ell (y)=\sum _{y\neq t}\max(0,1+\mathbf {w} _{y}\mathbf {x} -\mathbf {w} _{t}\mathbf {x} )$

在结构预测中，铰接损失可以进一步扩展到结构化输出空间。支持间隔调整的结构化支持向量机 可以使用如下所示的铰链损失变体，其中 w 表示SVM的参数， y 为SVM的预测结果，φ 为联合特征函数，Δ 为汉明损失:

${\begin{aligned}\ell (\mathbf {y} )&=\max(0,\Delta (\mathbf {y} ,\mathbf {t} )+\langle \mathbf {w} ,\phi (\mathbf {x} ,\mathbf {y} )\rangle -\langle \mathbf {w} ,\phi (\mathbf {x} ,\mathbf {t} )\rangle )\\&=\max(0,\max _{y\in {\mathcal {Y}}}\left(\Delta (\mathbf {y} ,\mathbf {t} )+\langle \mathbf {w} ,\phi (\mathbf {x} ,\mathbf {y} )\rangle \right)-\langle \mathbf {w} ,\phi (\mathbf {x} ,\mathbf {t} )\rangle )\end{aligned}}$

优化算法

铰链损失是一种凸函数，因此许多机器学习中常用的凸优化器均可用于优化铰链损失。 它不是可微函数，但拥有一个关于线性 SVM 模型参数 w 的次导数

${\frac {\partial \ell }{\partial w_{i}}}={\begin{cases}-t\cdot x_{i}&{\text{if }}t\cdot y<1\\0&{\text{otherwise}}\end{cases}}$

其评分函数为 $y=\mathbf {w} \cdot \mathbf {x}$

三个铰链损失的变体 z = ty：“普通变体”（蓝色），平方变体（绿色），以及 Rennie 和 Srebro 提出的分段平滑变体（红色）。

然而，由于铰接损失在 $ty=1$处不可导， Zhang 建议在优化时可使用平滑的变体建议， 如Rennie 和 Srebro 提出的分段平滑

$\ell (y)={\begin{cases}{\frac {1}{2}}-ty&{\text{if}}~~ty\leq 0,\\{\frac {1}{2}}(1-ty)^{2}&{\text{if}}~~0<ty\leq 1,\\0&{\text{if}}~~1\leq ty\end{cases}}$

或平方平滑。

$\ell _{\gamma }(y)={\begin{cases}{\frac {1}{2\gamma }}\max(0,1-ty)^{2}&{\text{if}}~~ty\geq 1-\gamma \\1-{\frac {\gamma }{2}}-ty&{\text{otherwise}}\end{cases}}$

Modified Huber loss $L$是$\gamma =2$时损失函数的特例，此时 $L(t,y)=4\ell _{2}(y)$中。