K近鄰法(KNN)相關知識總結以及如何用python實現

import pandas as pd
import numpy as np
from sklearn.neighbors import KNeighborsClassifier
# 讀取數據
df = pd.read_excel(../../myfile.excel)

#1、實例模型對象
knn = KNeighborsClassifier(n_neighbors=3)

#2、拿到樣本數據和分類結果數據: 截取目標列，樣本數據要二維
feature = df[['Action Lean','Love Lean']]
target = feature['target']

#3、訓練模型
knn.fit(feature,target)

#4、測試結果
movie = np.array([13,21])
res = knn.predict(movie) #5、評分：分數越高悅準確knn.score(feature,target)

# 讀取adult.txt文件，最後一列是年收入，並使用KNN算法訓練模型，然後使用模型預測一個人的年收入是否大於50
# 1. 讀取數據
data = pd.read_csv('../data/adults.txt')
data.head()

# 2. 獲取年齡、教育程度、職位、每周工作時間作為機器學習數據 獲取薪水作為對應結果 
feature = data[['age','education_num','occupation'
     ,'hours_per_week']]
target = data['salary']
 
# 3. knn中特征數據是需要參與運算的，所以要保證特征數據必須為數值型的數據 
  # 數據轉換，將String類型數據轉換為int
  #### map方法，進行數據轉換
  
dic = {}# unique()方法保證數據唯一
occ_arr = feature['occupation'].unique()
# 生成 字符對應數字的 關系表
for i in range(occ_arr.size):
 dic[occ_arr[i]] = i 

# 數值替換字符串  
feature['occupation'] = feature['occupation'].map(dic) 
 
# 4. 切片：訓練數據和預測數據 
# 查看數據的形狀 (訓練的數據必須是二維數據)
feature.shape
 
#訓練數據
x_train = feature[:32500]
y_train = target[:32500]

#測試數據
x_test = feature[32500:]
y_test = target[32500:]  

# 5. 生成算法
from sklearn.neighbors import KNeighborsClassifier
# 實例化一個 knn對象, 
# 參數:n_neighbors可調,調到最終預測的是最好的結果.
knn = KNeighborsClassifier(n_neighbors=10)
# fit() 訓練函數, (訓練數據,訓練數據的結果)
knn.fit(x_train,y_train)
 
# 對訓練的模型進行評分 (測試數據,測試數據的結果)
knn.score(x_test,y_test) 
 
# 6.預測數據
print('真實的分類結果：',np.array(y_test))
print('模型的分類結果：',knn.predict(x_test))

import pandas as pd
import numpy as np
from sklearn.neighbors import KNeighborsClassifier
# 1、樣本數據提取：每張圖片對應的numpy數組：0,1,2,3,4,5,6,7,8,9
feature =[]
target =[]
for i in range(10):#0-9 文件夾名稱
 for j in range(1,501): #1-500圖片名稱
  imgpath = './data/'+str(i)+'/'+str(i)+'_'+str(j)+'.bmp' #圖片路徑
  img_arr = pld.imread(imgpath)
  feature.append(img_arr)
  target.append(i) 
# 2、把列表轉成numpy數組;feature 必須為二維數組；
feature = np.array(feature) #這個feature 裡有多個二維數組，
target = np.array(target)

feature.shape 
(5000,28,28) #裡面有5000個28*28的二維數組

# 擴展：feature是三維數組；多個二維數組組成的數組是三維數組，多個一維數組組成的數組是二維數組！
# 3、feature變形為二維數組
feature.shape(5000,784)
#4、對樣本數據和目標數據進行同步打亂
np.random.seed(10)
np.random.shuffle(feature)
np.random.seed(10)
np.random.shuffle(target)

# 5、對樣本數據進行拆分：訓練數據和測試數據
x_train = feature[:4950] 
y_train = target[:4950]
x_test = feature[4950:]
y_test = target[4950:]

# 6、對模型進行訓練：參數:n_neighbors可調,調到最終預測的評分最好的結果.
from sklearn.neighbors import KNeighborsClassifier
knn = KNeighborsClassifier(n_neighbors=8)
knn.fit(x_train,y_train) # (訓練數據,訓練數據的結果)
 
# 7、對訓練的模型進行評分 (測試數據,測試數據的結果)
knn.score(x_test,y_test)
# 8、對模型進行測試
print('真實的結果',y_test)
print('模型分類的結果',knn.predict(x_test))

#9、保存訓練號的模型
from sklearn.externals import joblib
joblib.dump(knn,'./knn.m')

#10、讀取訓練好的模型
knn = joblib.load('./knn.m')
#-------------------------------------------------------------------------------------------------
# 11、將外部圖片帶入模型進行測試
# 註意：外部圖片的樣本數據要轉成和訓練模型時候使用的樣本圖片一樣的維度數組 
#  ！！！模型隻可以測試類似於測試數據中的特征數據 ！！！ 
img_arr = plt.imgread('./數字.jpg')
eight_arr = img_arr[170：260，80:70] # 截取圖片的部分
plt.imshow(eight_arr) #查看截取的數字圖片

# 變形為測試數據中的特征數據：feature.shape(5000,784) 每一行是一個一維的784個元素的數組；像素要變為一樣
# 12、將eight_arr 對應的圖片降維(三維變為二維)：將(65,50,3)變為(28,28)
 eight_arr.mean(axis=2 ) # axis=2 表示去除第三個維度,保留(65,50)保證圖片不能變！

# 13、將圖片像素進行等比例壓縮
import scipy.ndimage as ndimage
data_pre_test = ndimage.zoom(eight_arr,zoom=(28/65,28/50))
eight_arr.shape #(28,28)

# 14、將壓縮好的圖片由二維(28,28)變為一維(1,784)
eight_arr = eight_arr(1,784)

# 15、識別外部進行壓縮和降維的圖片
knn.predict(eight_arr)
array([8])

# -*- coding: UTF-8 -*-
import numpy as np
import operator
from os import listdir
from sklearn.neighbors import KNeighborsClassifier as kNN

"""
函數說明:將32x32的二進制圖像轉換為1x1024向量。

Parameters:
 filename - 文件名
Returns:
 returnVect - 返回的二進制圖像的1x1024向量

"""
def img2vector(filename):
 #創建1x1024零向量
 returnVect = np.zeros((1, 1024))
 #打開文件
 fr = open(filename)
 #按行讀取
 for i in range(32):
  #讀一行數據
  lineStr = fr.readline()
  #每一行的前32個元素依次添加到returnVect中
  for j in range(32):
   returnVect[0, 32*i+j] = int(lineStr[j])
 #返回轉換後的1x1024向量
 return returnVect

"""
函數說明:手寫數字分類測試

Parameters:
 無
Returns:
 無

"""
def handwritingClassTest():
 #測試集的Labels
 hwLabels = []
 #返回trainingDigits目錄下的文件名
 trainingFileList = listdir('trainingDigits')
 #返回文件夾下文件的個數
 m = len(trainingFileList)
 #初始化訓練的Mat矩陣,測試集
 trainingMat = np.zeros((m, 1024))
 #從文件名中解析出訓練集的類別
 for i in range(m):
  #獲得文件的名字
  fileNameStr = trainingFileList[i]
  #獲得分類的數字
  classNumber = int(fileNameStr.split('_')[0])
  #將獲得的類別添加到hwLabels中
  hwLabels.append(classNumber)
  #將每一個文件的1x1024數據存儲到trainingMat矩陣中
  trainingMat[i,:] = img2vector('trainingDigits/%s' % (fileNameStr))
 #構建kNN分類器
 neigh = kNN(n_neighbors = 3, algorithm = 'auto')
 #擬合模型, trainingMat為訓練矩陣,hwLabels為對應的標簽
 neigh.fit(trainingMat, hwLabels)
 #返回testDigits目錄下的文件列表
 testFileList = listdir('testDigits')
 #錯誤檢測計數
 errorCount = 0.0
 #測試數據的數量
 mTest = len(testFileList)
 #從文件中解析出測試集的類別並進行分類測試
 for i in range(mTest):
  #獲得文件的名字
  fileNameStr = testFileList[i]
  #獲得分類的數字
  classNumber = int(fileNameStr.split('_')[0])
  #獲得測試集的1x1024向量,用於訓練
  vectorUnderTest = img2vector('testDigits/%s' % (fileNameStr))
  #獲得預測結果
  # classifierResult = classify0(vectorUnderTest, trainingMat, hwLabels, 3)
  classifierResult = neigh.predict(vectorUnderTest)
  print("分類返回結果為%d\t真實結果為%d" % (classifierResult, classNumber))
  if(classifierResult != classNumber):
   errorCount += 1.0
 print("總共錯瞭%d個數據\n錯誤率為%f%%" % (errorCount, errorCount/mTest * 100))


"""
函數說明:main函數

Parameters:
 無
Returns:
 無

"""
if __name__ == '__main__':
 handwritingClassTest()