机器学习算法在各个领域得到了广泛应用。其中,K近邻(K-Nearest Neighbors,KNN)算法因其简单易懂、易于实现等优点,在分类和回归任务中得到了广泛应用。本文将详细介绍KNN算法的原理、Python实现方法以及在实际问题中的应用。
一、KNN算法原理
KNN算法是一种基于实例的机器学习算法,其核心思想是:给定一个训练集,对于一个新的测试样本,算法会寻找与它最相似的K个邻居,并根据这K个邻居的标签来预测新样本的标签。其中,相似度可以通过多种距离度量方法来计算,如欧氏距离、曼哈顿距离等。
二、Python实现KNN算法
1. 导入必要的库
```python
from sklearn.datasets import load_iris
from sklearn.neighbors import KNeighborsClassifier
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score
```
2. 加载数据集
```python
iris = load_iris()
X = iris.data
y = iris.target
```
3. 划分训练集和测试集
```python
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=0)
```
4. 创建KNN分类器并设置参数
```python
knn = KNeighborsClassifier(n_neighbors=3)
```
5. 训练模型
```python
knn.fit(X_train, y_train)
```
6. 预测测试集标签
```python
y_pred = knn.predict(X_test)
```
7. 计算准确率
```python
accuracy = accuracy_score(y_test, y_pred)
print(\