更新 function.py

function.py

@@ -1,51 +1,151 @@
+# function.py
 import numpy as np
-from sklearn.linear_model import LogisticRegression
-from sklearn.preprocessing import StandardScaler
+"""
+实验说明:
+- 自行编写实现数据加载与预测病马死亡的对率回归算法。
+
+注意事项:
+- 在 function.py 中实现对率回归算法。
+- 可以自行导入其他库，需要在 requirements.txt 添加依赖，若未在 requirements.txt 中添加使用到的依赖，则无法自动评测，成绩为零。
+- 自动评测脚本仅会加载 train_logreg、predict_logreg 和 load_data 函数，请勿修改函数名。
+
+测评环境:
+- CPU: Intel Xeon(R) CPU E3-1231 v3 @ 3.40GHz
+- OS: Ubuntu 22.04.4 LTS
+- Python: 3.10.12
+- numpy: 2.1.1
+"""
 
 
-# 填写学号和姓名
+"""
+请在这里填写学号和姓名，不填写即成绩无效。
+"""
 id = "202210218225"
 name = "周水源"
 
-def train_logreg(X, y, random_state=42):
-    model = LogisticRegression(solver='liblinear', random_state=random_state)
-    model.fit(X, y)
-    return model
 
-def predict_logreg(inX, model):
-    return int(model.predict([inX])[0])
+# 这里写自己的代码实现
+def train_logreg(X, y, numIter=1000, learning_rate=0.06, batch_size=128, lambda_reg=0.01):
+    """
+    对率回归训练函数，加入L2正则化。
 
+    Args:
+    - X (numpy array): 特征数据。
+    - y (numpy array): 标签数据。
+    - numIter (int): 迭代次数。默认为1000。
+    - learning_rate (float): 学习率。默认为0.06。
+    - batch_size (int): 批量大小。默认为128。
+    - lambda_reg (float): L2正则化参数。默认为0.01。
+
+    Returns:
+    - numpy array: 训练得到的权重。
+    """
+    m, n = X.shape  # m: 样本数, n: 特征数
+    weights = np.zeros(n)  # 参数初始化
+
+    for j in range(numIter):
+        # 随机打乱样本顺序
+        dataIndex = np.random.permutation(m)
+        for i in range(0, m, batch_size):
+            end = min(i + batch_size, m)
+            # 批量梯度下降
+            batch_X = X[dataIndex[i:end]]
+            batch_y = y[dataIndex[i:end]]
+            
+            # 计算梯度
+            z = np.dot(batch_X, weights)
+            h = 1 / (1 + np.exp(-z))  # 计算h
+            error = batch_y - h  # 计算误差
+            gradient = np.dot(batch_X.T, error) / len(batch_y)  # 计算梯度
+            # 添加L2正则化
+            reg_term = 2 * lambda_reg * weights
+            gradient += reg_term / len(batch_y)
+            weights += learning_rate * gradient  # 更新权重
+
+    return weights
+
+
+
+def predict_logreg(inX, weights):
+    """
+    对率回归预测函数。
+
+    Args:
+    - inX (numpy array): 输入待分类的样本。
+    - weights (numpy array): 训练得到的权重。
+
+    Returns:
+    - int: 预测的分类标签。
+    """
+    z = np.dot(inX, weights)  # 线性组合
+    prob = 1 / (1 + np.exp(-z))  # 计算概率
+    return 1 if prob >= 0.5 else 0  # 返回分类标签
+
+
+
+# 这里也写自己的代码实现
 def load_data(filepath):
-    data = np.genfromtxt(filepath, delimiter=' ', missing_values='?', filling_values=0)
-    labels = data[:, -1].astype(int)
-    data = data[:, :-1]
-    labels = np.where((labels == 2) | (labels == 3), 0, labels)
-    if data.shape[1] >= 3:
-        data = np.delete(data, 2, axis=1)  
-    scaler = StandardScaler()
-    data = scaler.fit_transform(data)
-    return data, labels
+    """
+    从文件中加载数据，若不自行正确实现，则无法通过评测，**不记录成绩**。
+
+    Args:
+    - directory (str): 数据文件路径。
+
+    Returns:
+    - np.array: 特征数据。
+    - np.array: 标签数据。
+    """
+
+    file = open(filepath)
+    fr = file.readlines()
+    data_list = []
+    y = []
+    for data in fr:
+        data = data.strip()
+        data = data.split(' ')
+        data_25 = data[24]
+        y.append(data[22])
+        del data[-1]
+        del data[26]
+        del data[25]
+        del data[24]
+        del data[22]
+        del data[2]
+        for i in data_25:
+            data.append(i)
+        data = [0 if data_elem == '?' else float(data_elem) for data_elem in data]
+        data_list.append(data)
+    data_number = len(y)
+    y_train = np.array([1 if y[j] == '2' or y[j] == '3' else 0 for j in range(data_number)])
+    X = np.array(data_list)
+    X_train = np.insert(X, 0, 1, axis=1)
+    return X_train, y_train
+   
+
+
 
-# 测试代码
 if __name__ == "__main__":
-    # 指定数据文件路径
-    filepath = "./data/horse-colic.data"
-    
-    # 加载数据
-    X, y = load_data(filepath)
-    print("数据加载成功。")
+    '''
+    # 以下代码可用于测试，可自行随意修改
+    # 加载训练集
+    X_train, y_train = load_data("./data/horse-colic.data")
 
-    # 训练模型
-    model = train_logreg(X, y)
-    print("模型训练完成。")
+    # 加载测试集
+    X_test, y_test = load_data("./data/horse-colic.test")
 
-    # 随机选择一个样本进行预测测试
-    sample = X[0]
-    actual_label = y[0]
-    predicted_label = predict_logreg(sample, model)
-    print(f"预测结果: {predicted_label}, 实际结果: {actual_label}")
+    # 训练对率回归模型
+    weights = train_logreg(X_train, y_train, learning_rate=0.01, iterations=1000)
 
-    # 计算测试集上的准确率
-    correct_predictions = sum(predict_logreg(X[i], model) == y[i] for i in range(len(y)))
-    accuracy = correct_predictions / len(y)
-    print(f"测试集准确率: {accuracy:.2f}")
+    # 测试单个数据
+    y_pred = predict_logreg(X_test[11], weights)
+    print(f"预测结果: {y_pred}, 实际结果: {y_test[11]}")'''
+    X_train, y_train = load_data("./data/horse-colic.data")
+    X_test, y_test = load_data("./data/horse-colic.test")
+    weights = train_logreg(X_train, y_train, numIter=1000, learning_rate=0.01,lambda_reg=0.2)
+    error=0
+    for i in range(len(y_test)):
+        y_pred = predict_logreg(X_test[i], weights)
+        if y_pred != y_test[i]:
+            error+=1
+        print(f"预测结果: {y_pred}, 实际结果: {y_test[i]}")
+    print((len(y_test)-error)/len(y_test))