线性 SVM 分类

软保证金分类

如果 我们严格规定所有实例都必须远离街道并位于右侧，这称为硬边界分类。硬边界分类有两个主要问题。首先，它仅适用于数据线性可分的情况。其次，它对异常值很敏感。图 5-3显示了 iris 数据集只有一个额外的异常值：在左侧，不可能找到硬边距；在右侧，决策边界最终与我们在图 5-1 中看到的没有异常值的边界非常不同，并且它可能也不会泛化。

图 5-3。对异常值的硬边际敏感性

到避免这些问题，使用更灵活的模型。目标是在保持街道尽可能大和限制边界违规（即，最终位于街道中间甚至错误一侧的实例）之间找到良好的平衡。这称为软边际分类。

什么时候使用 Scikit-Learn 创建 SVM 模型，我们可以指定许多超参数。C是那些超参数之一。如果我们将它设置为一个较低的值，那么我们最终会得到图 5-4左侧的模型。有了高值，我们就得到了正确的模型。保证金违规是不好的。通常最好少一些。然而，在这种情况下，左边的模型有很多边缘违规，但可能会更好地概括。

图 5-4。大边距（左）与较少的边距违规（右）

这以下 Scikit-Learn 代码加载 iris 数据集，缩放特征，然后训练线性 SVM 模型（使用LinearSVC类C=1和铰链损失函数，稍后描述）来检测Iris virginica花：

import numpy as np
from sklearn import datasets
from sklearn.pipeline import Pipeline
from sklearn.preprocessing import StandardScaler
from sklearn.svm import LinearSVC

iris = datasets.load_iris()
X = iris["data"][:, (2, 3)]  # petal length, petal width
y = (iris["target"] == 2).astype(np.float64)  # Iris virginica

svm_clf = Pipeline([
        ("scaler", StandardScaler()),
        ("linear_svc", LinearSVC(C=1, loss="hinge")),
    ])

svm_clf.fit(X, y)

结果模型如图 5-4左侧所示。

然后，像往常一样，您可以使用该模型进行预测：

>>> svm_clf.predict([[5.5, 1.7]])
array([1.])

LinearSVC我们可以使用SVC带有线性内核的类，而不是使用类。创建 SVC 模型时，我们将编写SVC(kernel="linear", C=1). 或者我们可以使用SGDClassifier类，与SGDClassifier(loss="hinge", alpha=1/(m*C)). 这将应用常规的随机梯度下降（参见第 4 章）来训练线性 SVM 分类器。它不像类那样收敛LinearSVC，但它可以用于处理在线分类任务或不适合内存的庞大数据集（核外训练）。