AI对齐问题你了解多少？

Q&AQ&A问答

AI对齐问题你了解多少？

来源：CPDA数据分析师网 / 作者：数据君 / 时间：2021-04-29

我们的AI模型捕捉
我们的规范和价值观，理解我们的意思或意图，以及重要的是做什么的挑战，我们想要，近年来由于机器学习已进入许多领域和应用程序中，在这些领域中做出错误的决定可能会造成灾难性的后果，因此这个问题变得越来越紧迫，随着机器学习系统的发展不仅越来越普及，而且功能越来越强大，我们将越来越发现自己处于巫师的学徒'的位置，我们会产生一种力量，这种力量是自主的，但完全合规，赋予了它一种力量，指令集然后抢拼了命的阻止它一旦我们意识到我们的指示是不准确或不完整的，免得我们得到的，在一些聪明的，可怕的方式，正是我们提出要。

全面描述人工智能的现状以及我们如何到达这里
创建AI的不同方法中缺少的内容，机器学习将输入映射到输出，在AI研究的前几十年中，符号系统在解决需要逻辑推理的复杂问题方面取得了举世瞩目的成就，但是它们在完成每个人从小就学会的简单任务时就很糟糕，例如检测物体，人，声音和声音，他们的伸缩性也不佳，需要大量的人工来创建定义其行为的规则和知识，近对机器学习和深度学习的兴趣日益增长，已经帮助推动了计算机视觉，语音识别和自然语言处理，而这正是符号AI所苦苦挣扎的领域，机器学习算法可以随着数据和计算资源的可用性而很好地扩展，这在很大程度上是为什么它们在过去十年中如此流行的原因。

尽管机器学习算法取得了令人瞩目的成就
但它们却是将观察结果映射到结果的复杂数学功能的核心，因此它们与数据一样好，并且随着世界面临的数据开始偏离训练期间看到的示例而开始破裂，其中机器学习算法导致了令人尴尬和破坏性的失败，一个流行的例子是分类算法，该算法将肤色黝黑的人标记为大猩猩，问题不在于AI算法，而在于训练数据。如果在更多的皮肤黝黑例子上训练了该模型，就可以避免灾难，当然从理论上讲，该系统可以从一组示例中学习到任何东西的问题是，它会发现自己，然后受其教导的示例的摆布。

更糟糕的是机器学习模型无法分辨对错，无法做出道德决策
机器学习模型的训练数据中存在的任何问题通常都会以细微和不起眼的方式反映在模型的行为中，例如亚马逊关闭了用于做出雇用决策的机器学习工具，因为其决策偏向女性，显然，没有一个AI的创造者希望该模型根据性别来选择候选人，在这种情况下该模型是根据该公司的历史招聘数据进行训练的，反映了亚马逊内部的问题，这只是机器学习模型发现训练数据中存在的偏见并以其自己独特的方式放大偏见的几种情况之一，这也是对信任机器学习模型的警告，该模型是根据我们从过去的行为盲目收集的数据而训练的。

对世界进行建模是一回事
但是一旦您开始使用该模型，就会以各种方式改变世界，在许多机器学习模型的基础上有一个广泛的假设，即模型本身不会改变其建模的现实，在几乎所有情况下，这都是错误的，实际上不谨慎地部署这些模型可能会产生一个反馈循环，由此恢复变得越来越困难或需要更大的干预，人工智能与收集数据，查找模式并将这些模式转变为行动有很大关系，但是，尽管我们通常尝试将智能决策简化为一小部分输入和输出，但是机器学习的挑战表明，我们对数据和机器学习的假设常常被证明是错误的。

我们需要批判性地考虑不仅要从哪里获取训练数据
还要从哪里获取可以在系统中充当地面真理的替代品的标签，地面真理常常不是地面真理，强化学习化回报，OpenAI Dota 2强化学习，强化学习帮助研究人员创建了AI，从而获得了非凡的成就，例如在复杂的视频游戏中击败，在过去的十年中，AI的另一个分支获得了广泛的关注，即强化学习，这是机器学习的一个子集，其中为模型提供了问题空间和奖励函数的规则，然后该模型将留给自己探索空间，并找到化其回报的方法。

强化学习我们提供了一个强大的，甚至普遍的，什么是智能的定义
智能是实现世界目标的能力的计算部分，那么强化学习将提供一个惊人的通用工具箱，确实它的核心原理很可能一次又一次地被进化所误解，而且它们很可能构成二十一世纪所拥有的任何人工智能的基石，强化学习是科学成就的背后，它在机器人技术中也有许多用途。但是，这些成就中的每一项也证明，单纯追求外部奖励并不完全是智力的工作原理，一方面强化学习模型需要大量的训练周期才能获得简单的结果，因此该领域的研究仅限于一些由非常富有的公司支持的实验室，强化学习系统也非常严格，强化学习代理也倾向于陷入无意义的循环中，从而以牺牲长期目标为代价来化简单的回报，一个例子就是这种竞速AI，它通过不断收集奖励物品而没有考虑赢得比赛的更大目标，从而设法入侵了环境。

拔掉硬连线的外部奖励可能是构建真正的通用AI的必要部分
因为与游戏不同，生活没有预先标注关于我们每个行为的好坏的实时反馈，当然我们有父母和老师，他们可以纠正我们的拼写和发音，有时甚至可以纠正我们的行为，但这几乎不能涵盖我们所做的一切，说和思考的内容，而且我们生活中的权威并不总是同意的，而且人类必须通过自己的光明和自己做出判断，这是人类生存的主要方式之一，虽然强化学习从奖励开始，并发展使奖励化的行为，但相反的做法可能更有趣和关键，鉴于我们希望从机器中获得的行为，我们如何构建环境的奖励以实现这种行为？当我们坐在观众后方，批评家的椅子上—我们管理食物颗粒或它们的数字等效物时，我们如何得到我们想要的东西？

人工智能应该模仿人类吗
机器学习人工智能，AI代理的含义，这些AI代理通过纯粹模仿人类行为来学习，自动驾驶汽车就是一个例子，它通过观察人类的驾驶来学习，模仿可以创造奇迹，尤其是在规则和标签不明确的问题中，但是模仿再次描绘了智力难题的不完整图景，我们人类通过模仿和死记硬背学习了很多东西，尤其是在年轻的时候，但是模仿只是我们用来发展智能行为的几种机制之一，当我们观察他人的行为时，我们也会根据自己的限制，意图，目标，需求和价值观来调整我们自己的行为版本，如果某人从根本上比您更快或更强壮，或者大小比您大，或者比您想象的更快，那么将他们的行为模仿到可能仍然行不通的确，这可能是灾难性的，如果您是他们，您会做的。但是你不是他们。而且如果他们是您，您所要做的并不是他们会做的。

人工智能系统使用模仿来观察和预测我们的行为并尝试为我们提供帮助
但这也带来了挑战，人工智能系统并没有像我们一样受到相同的约束和限制，它们常常会误解我们的意图和对我们有什么好处，他们没有保护我们免受不良习惯的侵害，反而扩大了不良习惯，并迫使我们逐渐养成他人的不良习惯，他们正在我们生活的各个方面无处不在，我们的数字管家正在密切注视，他们看到了我们的私人生活以及我们的公共生活，我们的和坏的自我，而不必知道哪个是哪个或根本没有区别，他们大体上生活在一个诡异而复杂的山谷中，能够从我们的行为中推断出我们的欲望的复杂模型，但是却无法被教导并且不愿合作，他们在努力思考下一步该怎么做，如何做下一个任务，但他们似乎并不了解我们想要什么，更不用说我们希望成为什么样的人了。

接下来是什么？

机器学习的进步表明，我们已经朝着创造思维机器的目标迈进了多远，但是机器学习的挑战和对齐问题也使我们想起了在创建人类级智能之前必须学习的内容，AI科学家和研究人员正在探索几种不同的方法来克服这些障碍，并创建可以使人类受益而不会造成伤害的AI系统，在此之前我们将必须谨慎行事，并提防我们为模仿表面人类智能的系统分配了多少信誉，在机器学习中，否则可能会做的危险的事情之一就是找到一个合理的模型，宣告胜利，从此开始将地图与领土混淆。

开班信息

【武汉28期】CPDA数据分析师线下培训开班公告

https://www.chinacpda.com/openclass/detail/?id=2681

【北京108期】CPDA数据分析师线下培训开班公告

https://www.chinacpda.com/openclass/detail/?id=2645

【上海60期】CPDA数据分析师线下培训开班公告

https://www.chinacpda.com/openclass/detail/?id=2706

CPDA企业内训

https://www.cpda.cn/trainning/

大数据人才培养优秀合作机构受邀参会交流经验

https://www.chinacpda.com/data/detail/?id=2729

CPDA项目数据分析师为什么要更名？