Python線性分類介紹

Posted on by

通過約束類的協方差相等，將貝葉斯分類器簡化為線性分類器。
比較生成模型和判別模型在挑戰性分類任務中的性能。

在本實驗課中：我們將比較線性分類的“生成建模”和“判別建模”方法。對於“生成”方法，我們將重新討論我們在前面練習中使用的貝葉斯分類代碼，但我們將限制系統具有相等的協方差矩陣，即一個協方差矩陣來表示所有類別，而不是每個類別都有其自己的協方差矩陣。在這種情況下，系統成為線性分類器。我們將把它與“判別式”方法進行比較，在這種方法中，我們使用感知器學習算法直接學習線性分類器參數。

在本筆記本中，我們將使用UCI機器學習庫中的另一個數據集：鮑魚數據。鮑魚是一種海螺。一個樣本的年齡可以通過在圓錐體上切割外殼和用顯微鏡（更像是樹木）計數環來確定，但這是一個耗時且昂貴的過程。這裡的任務是通過簡單的外部測量動物的重量和尺寸，嘗試並預測環的數量。對於我們正在使用的數據集，環數的真實值是已知的（即，在測量蝸牛後對環進行計數）。結果從1到29個環不等，因此這通常被視為29類分類問題。為瞭簡化一些，我將數據重新組合成兩個大小大致相同的類：年輕（少於10個環）和老年（10個或更多個環）。我也隻采集瞭女性樣本。有7個測量值（都是高度相關的）用於預測類別標簽。

生成性建模：具有等協變多元正態分佈的貝葉斯分類。
與上一個介紹相比，有更多的樣本（1306個，178個），因此我們不必擔心遺漏一個測試，相反，我們隻需像上一個一樣，將數據切割成大小相同的測試和訓練集。
通過修改上次編寫的代碼，使用具有完全協方差矩陣的多元正態分佈來評估貝葉斯分類器的性能。在考慮對代碼進行更改時，請註意，主要區別在於本筆記本中隻有兩個類，而不是三個。（如果您願意，您可以嘗試將代碼包裝到函數中，看看是否可以將其設計為適用於任意數量的類。）
您的分類器的性能如何？此任務的分數可能在60%-70%之間，因此，如果性能似乎比前一個任務差很多，請不要擔心。如果性能低於60%，那麼您應該檢查代碼是否存在可能的bug。

import numpy as np
X = np.loadtxt(open("data/abalone.txt", "r"))
X.shape
from scipy.stats import multivariate_normal
import matplotlib.pyplot as plt

%matplotlib inline

abalone1 = X[X[:, 0] == 1, :]
abalone2 = X[X[:, 0] == 2, :]
abalone1_test = abalone1[0::2, :]
abalone1_train = abalone1[1::2, :]
abalone2_test = abalone2[0::2, :]
abalone2_train = abalone2[1::2, :]
abalone_test = np.vstack((abalone1_test, abalone2_test))
abalone_test.shape

mean1 = np.mean(abalone1_train[:, 1:], axis=0)
mean2 = np.mean(abalone2_train[:, 1:], axis=0)
cov1 = np.cov(abalone1_train[:, 1:], rowvar=0)
cov2 = np.cov(abalone2_train[:, 1:], rowvar=0)

dist1 = multivariate_normal(mean=mean1, cov=cov1)
dist2 = multivariate_normal(mean=mean2, cov=cov2)

p1 = dist1.pdf(abalone_test[:, 1:])
p2 = dist2.pdf(abalone_test[:, 1:])

p = np.vstack((p1, p2))

index = np.argmax(p, axis=0) + 1

plt.plot(index, "k.", ms=10)

correct = abalone_test[:, 0] == index
percent_correct = np.sum(correct) * 100.0 / index.shape
print(percent_correct)

rowvarbool，可選

如果rowvar為True（默認），則每行表示一個變量，列中包含觀察值。否則，關系將被轉換：每列表示一個變量，而行包含觀察值。

使用等協方差矩陣:

如果您正確地遵循瞭與上一本筆記相同的步驟，您將為每個類估計出一個單獨的協方差矩陣。這些矩陣將不相等，因此您的系統將不是線性分類器（即，它將具有非平面決策邊界）。為瞭將其簡化為線性系統，我們需要確保隻有一個協方差矩陣。您可以想象這樣做的不

同方式：

首先，您可以想象簡單地從完整的訓練集中估計單個協方差矩陣，然後再將其劃分為類。這將生成一個矩陣，但這不是正確的做法。我們希望矩陣表示類內的分佈，如果您僅使用完整的訓練數據集訓練模型，它還將捕獲類間的分佈。
其次，可以想象平均兩個類相關協方差矩陣。這更接近於正確的情況，但它沒有考慮到類的示例數可能不相等這一事實。
最好的方法是首先將兩個類的中心移動到同一點上，然後將它們視為單個類。要將類中心移動到同一點上，隻需從每個數據樣本中減去類平均向量。

def centre_data(data):
    nsamples = data.shape[0]
    data_mean = np.mean(data, axis=0)
    data_centred = data - data_mean
    return data_centred


abalone1_centred = centre_data(abalone1_train)
abalone2_centred = centre_data(abalone2_train)

abalone_centred = np.vstack((abalone1_centred, abalone2_centred))

cov_global = np.cov(abalone_centred[:, 1:], rowvar=0)

dist1 = multivariate_normal(mean=mean1, cov=cov_global)
dist2 = multivariate_normal(mean=mean2, cov=cov_global)

p1 = dist1.pdf(abalone_test[:, 1:])
p2 = dist2.pdf(abalone_test[:, 1:])

p = np.vstack((p1, p2))

index = np.argmax(p, axis=0) + 1

plt.plot(index, "k.", ms=10)

correct = abalone_test[:, 0] == index
percent_correct = np.sum(correct) * 100.0 / index.shape
print(percent_correct)

到此這篇關於Python線性分類介紹的文章就介紹到這瞭,更多相關Python線性分類內容請搜索WalkonNet以前的文章或繼續瀏覽下面的相關文章希望大傢以後多多支持WalkonNet！

推薦閱讀：