什么是自动机器学习

机器学习是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。它是人工智能核心，是使计算机具有智能的根本途径。

机器学习是一门多学科交叉专业，涵盖概率论知识，统计学知识，近似理论知识和复杂算法知识，使用计算机作为工具并致力于真实实时的模拟人类学习方式，并将现有内容进行知识结构划分来有效提高学习效率。

机器学习有下面几种定义：

(1)机器学习是一门人工智能的科学，该领域的主要研究对象是人工智能，特别是如何在经验学习中改善具体算法的性能。

(2)机器学习是对能通过经验自动改进的计算机算法的研究。

(3)机器学习是用数据或以往的经验，以此优化计算机程序的性能标准。

自动机器学习(AutoML)旨在通过让一些通用步骤(如数据预处理、模型选择和调整超参数)自动化，来简化机器学习中生成模型的过程。AutoML是指尽量不通过人来设定超参数，而是使用某种学习机制，来调节这些超参数。这些学习机制包括传统的贝叶斯优化，进化算法，还有比较新的强化学习。当我们提起AutoML时，我们更多地是说自动化数据准备(即数据的预处理，数据的生成和选择)和模型训练(模型选择和超参数调优)。这个过程的每一步都有非常多的选项，根据我们遇到的问题，需要设定各种不同的选项。

对于机器学习的新用户而言，使用机器学习算法的一个主要的障碍就是算法的性能受许多的设计决策影响。随着深度学习的流行，工程师需要选择相应的神经网络架构、训练过程、正则化方法和超参数等等，所有的这些都对算法的性能有很大的影响。于是深度学习工程师也被戏称为调参工程师。自动机器学习的目标就是使用自动化的数据驱动方式来做出上述的决策。用户只要提供数据，自动机器学习系统自动的决定最佳的方案。领域专家不再需要苦恼于学习各种机器学习的算法。自动机器学习不光包括大家熟知的算法选择，超参数优化，和神经网络架构搜索，还覆盖机器学习工作流的每一步。自动机器学习的用处就在于此，它帮助研究人员和从业者自动构建机器学习管道，将多个步骤及其对应的多个选项集成为工作流，以期快速找到针对给定问题的高性能机器学习模型。

AutoML的基本过程：虚框是配置空间，包括特征、超参数和架构;左边训练数据进入，上面的优化器和它相连，定义的测度发现最佳配置，最后出来的是模型;测试数据在模型中运行，实现预测的目的。

从ML角度看AutoML：从这个角度来看，AutoML本身也可以看作是一种学习工具，它对输入数据(即E)和给定任务(即T)具有良好的泛化性能(即P)。然而，传统的ML研究更多地关注发明和分析学习工具，它并不关心这些工具的使用有多容易。一个这样的例子恰恰是从简单模型到深度模型的最新趋势，它可以提供更好的性能，但也很难配置。相比之下，AutoML强调了学习工具的易用性。

从自动化角度看AutoML：另一方面，自动化是使用各种控制系统在构建模块下运行。为了更好地预测性能，ML工具的配置应该通过输入数据适应任务，这通常是手动执行的。如图所示，从这个角度来看，AutoML的目标是在学习工具下构建高级控制方法，以便在没有人工帮助的情况下找到正确的配置。