本文主要是介绍机器学习理论 | 周志华西瓜书 第十五章：规则学习，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！
第十五章 规则学习
此系列文章旨在提炼周志华《机器学习》的核心要点，不断完善中…
15.1 基本概念
- 规则：语义明确，能描述数据分布所隐含的客观规律或领域概念
- 规则学习：从训练数据中学习一种能用于未见示例进行判别的规则
- 优点：有更好的可解释性、有冲突可进行冲突消解
15.2 序贯覆盖（分治策略）
- 原因：规则学习的目标是产生一个能覆盖尽可能多的样例的规则集，最直接做法——序贯覆盖（逐条归纳）
- 产生规则的两种策略
自顶向下：特化（generate-then-test：生成-测试，由大到小，更容易产生泛化性能较好的规则）
自底向上：泛化（data-driven：数据驱动，适用于训练样本较少的情形）
15.3 剪枝优化
- 概述：规则生成——贪心搜索过程（需要一定的机制来缓解过拟合风险，如剪枝）
- 可借助统计显著性检验（如CN2算法）
使用似然率统计量(Likelihood Ratio Statistic, LRS)：
- 剪枝
预剪枝
后剪枝：常用减错剪枝（Reduced Error Pruning，REP） - 结合后处理手段优化
著名规则学习算法RIPPER
15.4 一阶规则学习
- 问题：命题规则难以处理对象之间的关系
- 常用算法：FOIL(First-Order Inductive Learner)
使用FOIL增益选择文字：（仅考虑正例的信息量）
15.5 逻辑归纳程序设计
0、概述
- 归纳逻辑程序设计（ILP）在一阶学习引入函数和逻辑表达式嵌套：采用自底向上的生成策略
- 使机器学习系统有更强大的表达能力
- 可看做机器学习技术来解决背景知识的逻辑程序
1、最小一般泛化
- 将特殊规则变为一般规则最基础技术
2、逆归结 - 背景知识
演绎：一般到具体（如数字定理证明）、归结原理
归纳：个别到一般（如机器学习）、逆归结 - 归结原理图示
- 逆归结四种操作
- 一阶逻辑的归结、逆归结通常需要进行合一置换操作
置换(substitution)：用某些项来替换逻辑表达式中的变量
合一(unification)：用一种变量置换令两个或多个逻辑表达式相等
这篇关于机器学习理论 | 周志华西瓜书 第十五章：规则学习的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！
