generated from LufsX/Challenge-kNN
82 lines
2.7 KiB
Python
82 lines
2.7 KiB
Python
# function.py
|
|
import numpy as np
|
|
|
|
"""
|
|
挑战说明:
|
|
- 自行编写实现 KNN 分类算法。
|
|
- 函数输入: 待分类的样本 inX, 训练数据集 dataSet, 训练集对应的标签 labels。
|
|
- 函数返回: 预测的分类标签。
|
|
|
|
注意事项:
|
|
- 可以自行导入其他库，需要在 requirements.txt 添加依赖，若未在 requirements.txt 中添加使用到的依赖，则无法自动评测，成绩为零。
|
|
- 在 function.py 中实现 KNN 分类算法。
|
|
- 自动评测脚本仅会加载 classify0 函数，请勿修改函数名。
|
|
- 训练集在本目录下的 datingTrainSet2.tsv 中。
|
|
- 评测数据集在本目录下的 datingTestSet2.tsv 中。
|
|
|
|
挑战环境:
|
|
- CPU: Intel Xeon(R) CPU E3-1231 v3 @ 3.40GHz
|
|
- OS: Ubuntu 22.04.4 LTS
|
|
- Python: 3.10.12
|
|
- numpy: 2.1.1
|
|
"""
|
|
|
|
|
|
"""
|
|
请在这里填写学号和姓名，不填写即成绩无效。
|
|
"""
|
|
id = "202210423204"
|
|
name = "陈垣豪"
|
|
|
|
|
|
"""
|
|
参数说明:
|
|
- inX (numpy array): 输入待分类的样本。
|
|
- dataSet (numpy array): 训练数据集。
|
|
- labels (list or numpy array): 训练集对应的标签。
|
|
- k (int): kNN 算法参数，请**自行设置默认值**，评测时仅会使用其默认值，不修改默认值将**无法通过**评测，**成绩为零**。
|
|
返回值:
|
|
- int: 预测的分类标签。
|
|
"""
|
|
|
|
def classify0(inX, dataSet,labels, k=3):
|
|
# 归一化数据集
|
|
dataSet_mean = np.mean(dataSet, axis=0)
|
|
dataSet_std = np.std(dataSet, axis=0)
|
|
normalized_dataSet = (dataSet - dataSet_mean) / dataSet_std
|
|
normalized_inX = (inX - dataSet_mean) / dataSet_std
|
|
|
|
# 计算协方差矩阵并求其逆矩阵 (使用 SVD)
|
|
cov_matrix = np.cov(normalized_dataSet, rowvar=False)
|
|
U, S, VT = np.linalg.svd(cov_matrix)
|
|
inv_S = np.zeros_like(S)
|
|
nonzero_indices = S > 1e-10
|
|
inv_S[nonzero_indices] = 1 / S[nonzero_indices]
|
|
inv_cov_matrix = VT.T @ np.diag(inv_S) @ U.T
|
|
|
|
# 计算马氏距离
|
|
diff = normalized_dataSet - normalized_inX
|
|
distances = np.sum(diff @ inv_cov_matrix * diff, axis=1)
|
|
|
|
# 获取距离最小的 k 个样本的索引
|
|
sorted_indices = np.argsort(distances)[:k]
|
|
|
|
# 获取 k 个最近邻的标签和对应的距离
|
|
nearest_labels = [labels[i] for i in sorted_indices]
|
|
nearest_distances = distances[sorted_indices]
|
|
|
|
# 计算每个标签的加权投票
|
|
label_weight = {}
|
|
for i, label in enumerate(nearest_labels):
|
|
# 反距离作为权重，避免距离为0的情况
|
|
weight = 1 / (nearest_distances[i] + 1e-10) # 加一个小值避免除以零
|
|
if label in label_weight:
|
|
label_weight[label] += weight
|
|
else:
|
|
label_weight[label] = weight
|
|
|
|
# 找到加权投票中出现次数最多的标签
|
|
predicted_label = max(label_weight, key=label_weight.get)
|
|
|
|
return predicted_label
|