介绍得到math import 日志
import 运营商
#,计算香农熵
def calculate_entropy(数据):
label_counts 才能=,{}
for 才能;feature_data 拷贝数据:
,,,laber =, feature_data[1], #,最后一行是标签
,,,if laber not 拷贝label_counts.keys ():
,,,,,label_counts(标签),=0
,,,label_counts(标签),+=1
count 才能=,len(数据)
entropy 才能=0.0
for 才能;key label_counts:拷贝
,,,prob =,浮子(label_counts[主要]),/计数
,,,entropy -=, prob *,日志(概率,2)
return 才能;熵 #,计算某个特性的信息增益
#,指数:要计算信息增益的feature 对应的在data 的第几列
#,data 的香农熵
def calculate_relative_entropy(指数数据,还以为;熵):
feat_list 才能=,(数量(指数),for number 拷贝数据),#,得到某个特征下所有值(某列)
uniqual_vals =,才能设置(feat_list)
new_entropy 才能=0
for 才能;value uniqual_vals:拷贝
,,,sub_data =, split_data(数据,指数,值)
,,,prob =, len (sub_data),/,浮子(len(数据)),
,,,new_entropy +=, prob *, calculate_entropy (sub_data), #,对各子集香农熵求和
relative_entropy 才能=,entropy 作用;new_entropy #,计算信息增益
return 才能relative_entropy #,选择最大信息增益的功能
def choose_max_relative_entropy(数据):
num_feature 才能=,len(数据[0]),安康;1
时间=base_entropy 才能;calculate_entropy(数据)#香农熵
best_infor_gain 才能=0
best_feature 才能=1
for 才能小姐:拷贝范围(num_feature):
,,,info_gain=calculate_relative_entropy(数据,,我,,base_entropy)
,,,#最大信息增益
,,,if (info_gain 祝辞,best_infor_gain):
,,,,,best_infor_gain =info_gain
,,,,,best_feature =我
return 才能best_feature def create_decision_tree(数据,,标签):
class_list才能=[例子[1],for example 拷贝数据)
#,才能类别相同,停止划分
if 才能;class_list.count (class_list [1]),==, len (class_list):
,,,return class_list [1]
#才能,判断是否遍历完所有的特征时返回个数最多的类别
if 才能len(数据[0]),==,1:
,,,return most_class (class_list)
#,才能按照信息增益最高选取分类特征属性
时间=best_feat 才能;choose_max_relative_entropy(数据)
best_feat_lable 才能=,标签(best_feat), #,该特征的标签
decision_tree 才能=,{best_feat_lable:{}}, #,构建树的字典
德尔才能(标签[best_feat]), #,从标签的列表中删除该标签
feat_values 才能=,(例子[best_feat], for example 拷贝数据)
unique_values =,才能设置(feat_values)
for 才能;value unique_values:拷贝
,,,sub_lables=标签[:]
,,,#,构建数据的子集合,并进行递归
,,,decision_tree [best_feat_lable](价值),=,create_decision_tree (split_data(数据,best_feat,,值),,sub_lables)
return 才能decision_tree #,当遍历完所有的特征时返回个数最多的类别
def most_class(班级名册):
class_count才能={}
for 才能;vote 拷贝班级名册:
,,,if vote not 拷贝class_count.keys (): class_count(投票)=0
,,,class_count【投票】+=1
sorted_class_count才能=排序(class_count.items关键=operator.itemgetter(1)逆转=True)
return 才能sorted_class_count [0] [0]
,,
#,工具函数输入三个变量(待划分的数据集,特征,分类值)返回不含划分特征的子集
def split_data(数据、时间轴,大敌;;价值):
ret_data才能=[]
for 才能;feat_vec 拷贝数据:
,,,if feat_vec(轴)==value :
,,,,,reduce_feat_vec=feat_vec(轴):
,,,,,reduce_feat_vec.extend (feat_vec[轴+ 1:])
,,,,,ret_data.append (reduce_feat_vec)
null
这篇文章主要介绍怎么使用python实现决策树ID3算法,文中介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们一定要看完!
<强>步骤1:计算香农熵
<强>步骤2。计算某个特性的信息增益的方法
<强>步骤3。选择最大信息增益的功能
<强>第四。构建决策树
在构建决策树的过程中会用到两个工具方法:
