id3算法是什么？

ID3算法是一种贪婪算法，用于构造决策树。ID3算法起源于概念学习系统(CLS)，以信息熵的下降速度作为选择测试属性的标准，即在每个节点选择尚未用于划分的信息增益最高的属性作为划分标准，然后继续这个过程，直到生成的决策树能够完美地对训练样本进行分类。

ID3算法的背景

ID3算法由悉尼大学的J. Ross Quinlan于1975年首先提出。算法的核心是“信息熵”。ID3算法通过计算每个属性的信息增益，认为信息增益高的属性是好属性，选择信息增益最高的属性作为每次划分的划分标准，重复这个过程，直到生成一棵能够完美分类训练样本的决策树。