纽约成立专门工作组来检查自动决策系统

纽约市成立了一个自动决策系统任务组，要求政府在使用算法时提供问责和透明度。该工作组将于2019 年12 月完成报告。该工作组是美国第一个研究该问题的工作组。

背景

2017 年 12 月，纽约市议会通过了美国的第一项法案，要求政府在使用算法时提供问责制。该法案要求专责小组研究城市机构如何使用算法。该工作组将得出如何为公众提供算法透明度的报告。

理事会成员James Vacca 在原始提案中要求公开算法的源代码。一些政策专家警告说，公开源代码可能会带来安全风险，或让心怀不轨的人对公共福利系统有了可趁之机。技术公司对被要求公开私有信息提出异议，后来工作组取消了这一要求。

法律是怎么说的

自动决策系统被定义为“算法的计算化实现，包括从机器学习或其他数据处理或人工智能技术中获得的算法，用于制定或协助制定决策”。

法律要求工作组在最终报告中至少完成6 个目标。他们需要确定哪些城市机构应该接受审查。他们需要提出流程，让受算法决策影响的人可以请求解释决策的依据，以及如何解决不利影响。他们还要解释程序是如何制定和实施的，城市在这一程序中可以确定城市机构使用的自动决策系统是否“因年龄、种族、信仰、肤色、宗教、国籍、性别、残疾、婚姻状况、合伙人身份、监护人身份、性取向、异化或公民身份产生重大偏见“。为自动决策系统提供信息流程的建议将使公众能够有意义地评估它们的工作方式和城市是如何使用它们的，以及归档自动决策和所用数据的可行性。

该工作组的成员除了算法设计和实现方面的专家，还可以包含了解算法将会对社会产生哪些影响的人。如果会议参与者“违反当地、州或联邦法律，干扰执法调查或操作，损害公共健康或安全，或导致专有信息泄露”，则会受到限制。

虽然最终报告应公开，但如果“违反当地、州或联邦法律，干扰执法调查或操作，损害公共健康或安全，或导致专有信息泄露，则不需要任何建议“。

该工作组没有法律权力强制或惩罚不遵守其建议的城市机构。

争议的背景

对算法决策的偏见和侵权的调查才刚刚开始。

芝加哥和新奥尔良的预测性警务计划正因违反正当程序和隐私而受到严格审查。公众通常不知道他们在使用这些工具。

即使是算法的创建者也常常无法完全解释软件是如何得出结论的。

一些城市机构开始使用决策系统。消防部门使用基于风险的检查系统（RBIS）来预测可能发生火灾的地方。RBIS 的一部分是Fire Cast 工具，它使用来自五个城市机构的数据来分析60 个风险因素，以预测哪些建筑最容易受到火灾的影响。然后，优先对这些建筑物进行检查，这些数据可供全市所有49 家消防公司使用。

警察局基于从人体摄像头和面部识别获得的数据使用算法。

运输部、市长刑事司法办公室、教育部和社会服务部也使用算法。学校用算法来招生和评估教师的表现。保险公司使用算法来调查医疗保险欺诈。

现行立法存在的问题

纽约大学信息法研究所和康奈尔大学的研究员Julia Powels 描述了任务小组的两个问题，它们是由原始立法与已经通过的法律之间的妥协而产生的。

首先，如果城市机构和承包商不合作，将不会提出好的建议。关于纽约市在算法服务上花费多少，或者与外部承包商共享多少数据，没有定论。市长办公室拒绝任何强制报告的要求，理由是这样会泄露专有信息。如果强调企业隐私的呼声很高，就不会有算法透明度。

现行法律的另一个问题是，目前还不清楚城市如何改变创建自动决策系统的公司的行为。马里兰大学法学教授Frank Pasquale 认为，这个城市的杠杆比供应商更多。

任务小组成员

该工作组的成员除了算法设计和实现方面的专家，还可以包含了解算法将会对社会产生哪些影响的人。它将由来自城市机构、学术界、法律、行业专家、非营利组织和智囊团的个人组成。预计代表将从社会服务部、警察局、交通部、市长刑事司法办公室、儿童服务管理局和教育部选出。

该工作组由市长办公室代理主任Emily W.Newman 和人权委员会战略倡议副专员Brittny Saunders 共同主持。

影响

算法对纽约市的影响可能类似于汽车排放标准对加利福尼亚的影响。作为世界上最大的城市之一，它可以充分利用算法，以便更容易满足它在所有管辖区创建的任何标准。但是，使用软件比使用机械设备更改不同地区的算法可能更容易。这可以通过软件计算不同州、市、镇、县的销售税法规来说明，即使是在美国境外。另一方面，纽约是世界上最有价值的人口数据来源之一。在纽约这样做，可能会鼓励其他地方也这样做。

无论如何，关于算法决策公平性的论证以及使用它们的必要性都不会消失。

查看英文原文： New York Creates Task Force to Examine Automated Decision Making