OpenAI是一家非营利性人工智能研究公司，昨天发表了一篇论文，认为长期人工智能安全研究需要社会科学家确保AI对齐算法在实际人类参与时取得成功。 AI alignment是指确保AI系统可靠地执行人类希望他们执行的操作的任务。 OpenAI团队表示，“由于我们试图按照人们的价值观行事，最重要的数据将来自人类关于其价值观的数据”。
然而，为了使先进的人工智能系统与人类价值观正确对齐，必须解决许多与人类理性，情感和偏见心理相关的不确定性。研究人员认为，这些可以通过实验来解决，他们通过实验来训练人工智能，通过研究人类来（可靠地）做人类希望他们做的事情。这将涉及向人们询问他们对AI的需求，然后根据这些数据训练机器学习模型。一旦对模型进行了训练，就可以根据这些模型优化它们以使其表现良好。
但是，事情并非那么简单。这是因为在回答与其价值相关的问题时，不能完全依赖人类。 OpenAI团队表示，“人类的知识和推理能力有限，并且表现出各种认知偏见和道德信仰，这些信念在反思中变得不一致”。研究人员认为，提出问题的不同方式可能与人类偏见的方式不同，而人类的偏见反过来会产生低质量或高质量的答案。
为了进一步解决这个问题，研究人员已经提出了实验辩论，只包括人类代替ML代理人。现在，虽然这些实验将由ML算法推动，但它们不涉及任何ML系统或需要任何类型的ML背景。
“我们的目标是ML + ML +人类辩论，但ML目前太原始，无法完成许多有趣的任务。因此，我们建议用人类辩论者取代ML辩论者，学习如何在这种仅限人类的环境中进行最佳辩论，并最终将我们学到的东西运用到ML + ML +人类案例中“，阅读论文。
现在，由于所有这些人类争论都不需要任何机器学习，它变成了一个纯粹的社会科学实验，它受到ML考虑因素的驱动，但不需要ML专业知识来运行。反过来，这确保了核心重点是人类特定的AI对齐不确定性的组成部分。
研究人员指出，大部分人工智能安全研究人员都专注于机器学习，尽管它不一定是进行这些实验的充分背景。这就是为什么需要具有人类认知，行为和道德经验的社会科学家来仔细设计和实施这些严格的实验。
这篇论文呼吁人工智能安全社会科学家。研究人员表示，我们相信社会科学家和ML研究人员之间的密切合作对于提高我们对人工智能调整的人性化方面的理解是必要的，并希望这篇论文能够引发对话与合作。
原文来自：
本文地址：//q13zd.cn/openai-secuitry.html编辑：roc_guo，审核员：逄增宝
Linux大全：
Linux系统大全：
