# function.py import numpy as np """ 实验说明: - 自行编写实现数据加载与预测病马死亡的对率回归算法。 注意事项: - 在 function.py 中实现对率回归算法。 - 可以自行导入其他库,需要在 requirements.txt 添加依赖,若未在 requirements.txt 中添加使用到的依赖,则无法自动评测,成绩为零。 - 自动评测脚本仅会加载 train_logreg、predict_logreg 和 load_data 函数,请勿修改函数名。 测评环境: - CPU: Intel Xeon(R) CPU E3-1231 v3 @ 3.40GHz - OS: Ubuntu 22.04.4 LTS - Python: 3.10.12 - numpy: 2.1.1 """ """ 请在这里填写学号和姓名,不填写即成绩无效。 """ id = "202210423221" name = "廖子豪" # 这里写自己的代码实现 def load_data(filepath): """ 从文件中加载数据。 Args: - filepath (str): 数据文件路径。 Returns: - np.array: 特征数据。 - np.array: 标签数据。 """ file = open(filepath) fr = file.readlines() data_list = [] y = [] for data in fr: data = data.strip() data = data.split(' ') data_25 = data[24] y.append(data[22]) del data[-1] del data[26] del data[25] del data[24] del data[22] del data[2] for i in data_25: data.append(i) data = [0 if data_elem == '?' else float(data_elem) for data_elem in data] data_list.append(data) data_number = len(y) y_train = np.array([1 if y[j] == '2' or y[j] == '3' else 0 for j in range(data_number)]) X = np.array(data_list) X_train = np.insert(X, 0, 1, axis=1) # 添加偏置项 return X_train, y_train def train_logreg(X, y, numIter=1000, learning_rate=0.06, batch_size=128, lambda_reg=0.01): """ 对率回归训练函数,加入L2正则化。 Args: - X (numpy array): 特征数据。 - y (numpy array): 标签数据。 - numIter (int): 迭代次数。默认为1000。 - learning_rate (float): 学习率。默认为0.06。 - batch_size (int): 批量大小。默认为128。 - lambda_reg (float): L2正则化参数。默认为0.01。 Returns: - numpy array: 训练得到的权重。 """ m, n = X.shape # m: 样本数, n: 特征数 weights = np.zeros(n) # 参数初始化 for j in range(numIter): # 随机打乱样本顺序 dataIndex = np.random.permutation(m) for i in range(0, m, batch_size): end = min(i + batch_size, m) # 批量梯度上升 batch_X = X[dataIndex[i:end]] batch_y = y[dataIndex[i:end]] # 计算梯度 z = np.dot(batch_X, weights) h = 1 / (1 + np.exp(-z)) # 计算h error = batch_y - h # 计算误差 gradient = np.dot(batch_X.T, error) / len(batch_y) # 计算梯度 # 添加L2正则化 reg_term = 2 * lambda_reg * weights gradient -= reg_term / len(batch_y) weights += learning_rate * gradient # 更新权重 return weights def predict_logreg(inX, weights): """ 对率回归预测函数。 Args: - inX (numpy array): 输入待分类的样本。 - weights (numpy array): 训练得到的权重。 Returns: - int: 预测的分类标签。 """ z = np.dot(inX, weights) # 线性组合 prob = 1 / (1 + np.exp(-z)) # 计算概率 return 1 if prob >= 0.5 else 0 # 返回分类标签 if __name__ == "__main__": # 加载训练集 X_train, y_train = load_data("./data/horse-colic.data") # 加载测试集 X_test, y_test = load_data("./data/horse-colic.test") # 训练对率回归模型 weights = train_logreg(X_train, y_train, numIter=1000, learning_rate=0.01, lambda_reg=0.2) # 测试模型 error = 0 accuracy_list = [] for i in range(len(y_test)): y_pred = predict_logreg(X_test[i], weights) if y_pred != y_test[i]: error += 1 print(f"预测结果: {y_pred}, 实际结果: {y_test[i]}") accuracy = (len(y_test) - error) / len(y_test) print(f"Accuracy: {accuracy}")