Pymetrics 开源公平性感知机器学习算法 Audit AI

发布于:2018 年 8 月 2 日 09:16

前阿里 P9 技术专家 李运华,正在传授十几年架构实战心法,超过 46000 人跟随学习,点击查看 >>

Pymetrics 是一件专注于向企业提供招聘服务的初创企业。最近,Pymetrics 在 Github 上开源了企业使用的偏差检测(bias detection)算法,称为“Audio AI”。Audit AI 用于降低存在于训练数据集中的判别模式。这些判别模式会改进或影响机器学习算法在选取总体上的概率。

现在,越来越多的工作任务借助于机器学习实现过程自动化。重要的是应确保这些算法不会产生可从中不当受益的偏差。Pymetrics 一直致力于确保机器学习算法的公平性。

我们研究的总体目标,就是提出一种合理的考虑问题方式,使机器学习算法更公平。即便识别了训练数据集中存在的偏差,使用该训练集训练的机器学习算法并不足以解决其中的判别问题。当前,越来越多的决策使用人工智能自动做出。人们需要理解并识别算法的公平或偏差程度,这是朝正确方向迈出的一步。

企业对多样性的关注与日俱增。一些人担心算法学习偏差的方式事实上可能会破坏这些多样性努力。最近,法国宣布希望成为能在国际舞台占有一席之地的人工智能强国。今年三月,法国总统 Emmanuel Macron 发布了人工智能国家战略,其中包括在未来五年内支出 18.5 亿美元,发展可与硅谷和中国竞争的生态系统。总统做出如此层次的 AI 投资,这无疑是经过了仔细的考虑:

我认为 AI 完全可能危及民主。例如,我们正在使用人工智能来组织学生访问大学,对算法委以重任。很多人认为算法是一个黑箱,他们并不明白选取学生的过程是如何发生的。但当他们开始明白这依赖于某种算法时,算法就具有了特定的责任。要避免争议的发生,必须为算法创造公平性和完全透明性的条件。这样的算法中并不存在偏见,至少不存在歧视性偏见,我对此充满信心。

对于法国而言,“公平”的算法可确保在性别、年龄及其它个体特征上不存在偏见。如果算法中并未建立公平性和透明度,那么 Macron 总统预计“人们最终会拒绝这种创新”。

Pymetrics 的客户包括消费品企业、技术企业和研究企业。Pymetrics 提供的部分产品是为应聘候选者给出了一套参与性游戏。这些游戏通常完成于招聘的前期过程,完全不考虑应聘者的种族、性别和教育水平等个体特征,而是基于应聘者的记忆、对风险的态度等近 80 个特征做出评估。之后,Pymetrics 就能够针对已有的最佳表现者对应聘者做出评定,预测应聘者在应聘职位上可能的未来表现。

出于社会责任上的考虑,Pymetrics 选择开源 Audit AI。Pymetrics 的产品负责人 Priyanka Jain 给出了解释:

作为技术的创造者,我们十分强烈地感受到,我们的责任就是构建人工智能,努力创造一个人人希望生活于其中的未来。如果我们可以为其他技术创造者继续构建特性提供帮助,那么我们责无旁贷应做出共享。

Audit AI 的 Github 代码库中,开发人员可以看到一个用于实现上述“公平”的机器学习算法的 Python 软件库,该软件库是基于 pandas 和 sklearn 构建的。此外,代码库还给出了两个示例数据集,场景分别涉及德国的学分和学生的成绩。

查看英文原文: Pymetrics Open-Sources Fairness-Aware Machine Learning Algorithms

阅读数:610 发布于:2018 年 8 月 2 日 09:16

更多 开源、Python、架构 相关课程,可下载【 极客时间 】App 免费领取 >

评论

发布
暂无评论
  • 艰难抉择:机器学习的伦理问题

    我们刚刚开始意识到,机器学习的算法微妙地影响了我们生活的方方面面,从提供工作建议到无人驾驶汽车。这些算法的使用,给那些参与创建这些系统的人们带来了困难的伦理问题:开发人员如何知晓他们的系统符合道德标准,不会加强社会已存的偏见,或者引入新的偏见?企业如何创造一个鼓励探索这些伦理问题的环境?软件工程师从其他专业人士借鉴了什么样的经验教训,以了解他们自己对这些问题的理解? 在这篇文章中,LinkedIn工程副总裁Igor Perisic概述了一些初步步骤,可以用来在机器学习研究者中灌输一种伦理行为文化,并讨论一些将来需要解决的难题。

    2016 年 12 月 28 日

  • Gartner 报告:人工智能的现状与未来

    人工智能发展到什么地步了?

    2019 年 11 月 26 日

  • Facebook:用人唯“勤”

    相比谷歌注重智商和技艺,Facebook更注重速度与熟练度,勤奋与将大量时间投入工作是Facebook的招聘和考核方式。

    2019 年 11 月 26 日

  • 书评:Cathy O'Neil 著 Weapons of Math Destruction

    Weapons of Math Destruction是一本关于大数据与机器学习模型算法负面作用的书。作者通过一些具体案例,给出了产生负面作用的原因与解决方案。

    2016 年 10 月 31 日

  • 分布式共识:存异求同

    今天,我和你介绍了分布式在线记账问题中的3种常见共识算法,即:PoW、PoS和DPoS。

    2019 年 10 月 2 日

  • 结束语 | 死亡是宇宙最伟大的发明

    人人都在聊“创新”,可创新到底有什么意义呢?

    2019 年 12 月 6 日

  • 大咖对话 | 王平:如何快速搭建核心技术团队

    早期组建团队,技术leader的个人影响力是非常重要。

    2019 年 1 月 18 日

  • 吴恩达、Yann LeCun 等大佬回顾预测 2019 年 AI 发展

    人工智能一度被炒作为一项可以拯救世界或者毁灭世界的技术。进行了一次交流,探讨人工智能的进展和展望。他们多年与全球最大的科技和行业公司合作,了解真实的人工智能工作方式。

    2019 年 1 月 3 日

  • 2018 年度 AI 研究报告:丑闻层出不穷,监管力度贫乏

    近日,AI Now研究院发布了2018年度报告,分析了2018年人工智能的状况,包括向政府、研究人员以及AI行业从业人员提出的10项建议。

    2018 年 12 月 19 日

  • 数据公民:为什么我们这么关心数据道德

    数据公民受到由数据科学家创建的模型、方法和算法的影响,但他们能够对这些工具施加影响的方式却非常有限。

    2018 年 7 月 14 日