机器学习中的支持向量机分类问题求解答

Question

对于SVM支持向量机，如果一个错误分类的样本x_i在相反类的槽的外侧（不是边缘侧），那么下面满足条件的不等式是什么？为什么？请用使用反证来证明错误的选择。
1)y_i(w^T x_i + w_b)>=-1
2)y_i(w^T x_i + w_b)<=-1
3)y_i(w^T x_i + w_b)>=1
4)y_i(w^T x_i + w_b)<=1
5)y_i(w^T x_i + w_b)>=0
6)y_i(w^T x_i + w_b)<=0.

Answer 1

如果一个错误分类的样本 $x_i$ 在相反类的槽的外侧（不是边缘侧），则满足条件的不等式是 $y_i(w^T x_i + w_b) \leq -1$。

这是因为，如果该样本分类错误，那么其真实类别标签 $y_i$ 与其预测类别标签相反，即 $y_i \neq \text{sign}(w^T x_i + w_b)$。另外，样本 $x_i$ 在相反类的槽的外侧，也就是在其真实类别标签所对应的超平面的外侧，即 $y_i(w^T x_i + w_b) < 0$。如果我们假设不等式 $y_i(w^T x_i + w_b) \geq -1$ 成立，则可以得到：

�
�
(
�
�
�
�
+
�
�
)
<
0
≤
1
y
i
​
(w
T
x
i
​
+w
b
​
)<0≤1
这意味着样本 $x_i$ 被正确分类，与我们之前的假设相矛盾，因此假设不等式 $y_i(w^T x_i + w_b) \geq -1$ 不成立。同样的，假设不等式 $y_i(w^T x_i + w_b) \geq 1$ 也不成立，因此正确的不等式应为 $y_i(w^T x_i + w_b) \leq -1$。

我们可以使用反证法来证明错误的选择。假设选择的不等式为 $y_i(w^T x_i + w_b) \geq -1$，则有 $y_i(w^T x_i + w_b) > -1$。由于样本 $x_i$ 被错误分类，我们知道 $y_i \neq \text{sign}(w^T x_i + w_b)$。因此，我们可以根据 SVM 的函数间隔定义，得到：

�
�
(
�
�
�
�
+
�
�
)
<
0
y
i
​
(w
T
x
i
​
+w
b
​
)<0
但这与 $y_i(w^T x_i + w_b) > -1$ 相矛盾，因此假设不成立。同样的，假设选择的不等式为 $y_i(w^T x_i + w_b) \geq 1$ 也同样不成立。因此，正确的选择应该是 $y_i(w^T x_i + w_b) \leq -1$。