“AI 技术+人才”如何成为企业增长新引擎?戳此了解>>> 了解详情
写点什么

纽约成立专门工作组来检查自动决策系统

  • 2018-08-03
  • 本文字数:1835 字

    阅读完需:约 6 分钟

纽约市成立了一个自动决策系统任务组,要求政府在使用算法时提供问责和透明度。该工作组将于2019 年12 月完成报告。该工作组是美国第一个研究该问题的工作组。

背景

2017 年 12 月,纽约市议会通过了美国的第一项法案,要求政府在使用算法时提供问责制。该法案要求专责小组研究城市机构如何使用算法。该工作组将得出如何为公众提供算法透明度的报告。

理事会成员James Vacca 在原始提案中要求公开算法的源代码。一些政策专家警告说,公开源代码可能会带来安全风险,或让心怀不轨的人对公共福利系统有了可趁之机。技术公司对被要求公开私有信息提出异议,后来工作组取消了这一要求

法律是怎么说的

自动决策系统被定义为“算法的计算化实现,包括从机器学习或其他数据处理或人工智能技术中获得的算法,用于制定或协助制定决策”。

法律要求工作组在最终报告中至少完成6 个目标。他们需要确定哪些城市机构应该接受审查。他们需要提出流程,让受算法决策影响的人可以请求解释决策的依据,以及如何解决不利影响。他们还要解释程序是如何制定和实施的,城市在这一程序中可以确定城市机构使用的自动决策系统是否“因年龄、种族、信仰、肤色、宗教、国籍、性别、残疾、婚姻状况、合伙人身份、监护人身份、性取向、异化或公民身份产生重大偏见“。为自动决策系统提供信息流程的建议将使公众能够有意义地评估它们的工作方式和城市是如何使用它们的,以及归档自动决策和所用数据的可行性。

该工作组的成员除了算法设计和实现方面的专家,还可以包含了解算法将会对社会产生哪些影响的人。如果会议参与者“违反当地、州或联邦法律,干扰执法调查或操作,损害公共健康或安全,或导致专有信息泄露”,则会受到限制。

虽然最终报告应公开,但如果“违反当地、州或联邦法律,干扰执法调查或操作,损害公共健康或安全,或导致专有信息泄露,则不需要任何建议“。

该工作组没有法律权力强制或惩罚不遵守其建议的城市机构。

争议的背景

对算法决策的偏见和侵权的调查才刚刚开始。

芝加哥和新奥尔良的预测性警务计划正因违反正当程序和隐私而受到严格审查。公众通常不知道他们在使用这些工具。

即使是算法的创建者也常常无法完全解释软件是如何得出结论的。

一些城市机构开始使用决策系统。消防部门使用基于风险的检查系统(RBIS)来预测可能发生火灾的地方。RBIS 的一部分是Fire Cast 工具,它使用来自五个城市机构的数据来分析60 个风险因素,以预测哪些建筑最容易受到火灾的影响。然后,优先对这些建筑物进行检查,这些数据可供全市所有49 家消防公司使用。

警察局基于从人体摄像头和面部识别获得的数据使用算法。

运输部、市长刑事司法办公室、教育部和社会服务部也使用算法。学校用算法来招生和评估教师的表现。保险公司使用算法来调查医疗保险欺诈。

现行立法存在的问题

纽约大学信息法研究所和康奈尔大学的研究员Julia Powels 描述了任务小组的两个问题,它们是由原始立法与已经通过的法律之间的妥协而产生的。

首先,如果城市机构和承包商不合作,将不会提出好的建议。关于纽约市在算法服务上花费多少,或者与外部承包商共享多少数据,没有定论。市长办公室拒绝任何强制报告的要求,理由是这样会泄露专有信息。如果强调企业隐私的呼声很高,就不会有算法透明度。

现行法律的另一个问题是,目前还不清楚城市如何改变创建自动决策系统的公司的行为。马里兰大学法学教授Frank Pasquale 认为,这个城市的杠杆比供应商更多。

任务小组成员

该工作组的成员除了算法设计和实现方面的专家,还可以包含了解算法将会对社会产生哪些影响的人。它将由来自城市机构、学术界、法律、行业专家、非营利组织和智囊团的个人组成。预计代表将从社会服务部、警察局、交通部、市长刑事司法办公室、儿童服务管理局和教育部选出。

该工作组由市长办公室代理主任Emily W.Newman 和人权委员会战略倡议副专员Brittny Saunders 共同主持。

影响

算法对纽约市的影响可能类似于汽车排放标准对加利福尼亚的影响。作为世界上最大的城市之一,它可以充分利用算法,以便更容易满足它在所有管辖区创建的任何标准。但是,使用软件比使用机械设备更改不同地区的算法可能更容易。这可以通过软件计算不同州、市、镇、县的销售税法规来说明,即使是在美国境外。另一方面,纽约是世界上最有价值的人口数据来源之一。在纽约这样做,可能会鼓励其他地方也这样做。

无论如何,关于算法决策公平性的论证以及使用它们的必要性都不会消失。

查看英文原文: New York Creates Task Force to Examine Automated Decision Making

公众号推荐:

2024 年 1 月,InfoQ 研究中心重磅发布《大语言模型综合能力测评报告 2024》,揭示了 10 个大模型在语义理解、文学创作、知识问答等领域的卓越表现。ChatGPT-4、文心一言等领先模型在编程、逻辑推理等方面展现出惊人的进步,预示着大模型将在 2024 年迎来更广泛的应用和创新。关注公众号「AI 前线」,回复「大模型报告」免费获取电子版研究报告。

AI 前线公众号
2018-08-03 08:491070
用户头像

发布了 731 篇内容, 共 432.0 次阅读, 收获喜欢 1996 次。

关注

评论

发布
暂无评论
发现更多内容

一次讲清楚京东科技百亿级用户画像平台的探索和实践 | 京东云技术团队

京东科技开发者

数据库 Clickhouse 用户画像 用户画像平台

MYSQL EXPLAIN 执行计划 | 京东物流技术团队

京东科技开发者

MySQL 数据库 EXPLAIN EXPLAIN执行计划

优化开发者体验,推动API测试行业发展,SmartBear收购API设计和文档领域领导者Stoplight

龙智—DevSecOps解决方案

API

深度探索E3PO:360° 视频传输平台的前沿技术与应用

Y-starrydreamer

E3PO

KubeWharf:基于Kubernetes的分布式操作系统,助力云原生化部署和管理

bug菌

Kubernetes 社区征文

DevSecOps研讨会年终专场来啦!邀您共探如何打好DevOps基础,赋能创新

龙智—DevSecOps解决方案

智能LED屏幕未来升级方向

Dylan

个性化 定制化 LED显示屏 全彩LED显示屏 led显示屏厂家

HarmonyOS振动效果开发指导

HarmonyOS开发者

HarmonyOS

亚马逊云科技宣布推出四项Zero-ETL集成特性

财见

京东商品详情接口在电商行业中的重要性及实时数据获取实现

Noah

NFTScan | 11.27~12.03 NFT 市场热点汇总

NFT Research

NFT NFT\ NFTScan

盘点那些国际知名的黑客(下篇)

禅道项目管理

互联网 黑客 计算机网络

给 Web 前端工程师看的用 Rust 开发 wasm 组件实战 | 京东云技术团队

京东科技开发者

rust 前端 webassembly 前端组件

Wireshark中的ICMP协议包分析

小魏写代码

Socket网络通信过程 与 IO多路复用原理。

百度搜索:蓝易云

云计算 Linux 运维 socket 云服务器

淘宝商品详情接口在电商运营中的应用实例

Noah

2023年度项目深入探索:AI与大模型在实际应用中的全景

Y-starrydreamer

【FAQ】运动健康服务端侧数据常见问题及解答

HMS Core

HMS Core

Dapp燃烧铸币模式系统开发丨智能合约技术开发

l8l259l3365

如何实现高效代码审查,赋能大规模开发

龙智—DevSecOps解决方案

代码审查

法律情境扮演、逆向推理文字游戏、AIGC创作……见证AI极致生产力!

飞桨PaddlePaddle

人工智能 AIGC

紫龙游戏解锁Jira与Perforce的游戏开发行业实践

龙智—DevSecOps解决方案

紫龙游戏

KubeWharf:解析云原生未来的分布式操作系统

Y-starrydreamer

KubeWharf

【高效视频处理】体验火山引擎多媒体处理框架 BMF

Y-starrydreamer

BMF

手把手带你离线部署Walrus,体验极简应用交付

SEAL安全

应用交付 应用交付平台 12 月 PK 榜 Walrus

IP子网掩码具体的理解是什么,为什么用不完?

百度搜索:蓝易云

云计算 Linux 运维 IP 云服务器

关于Nuxt.js 服务端组件的使用

秃头小帅oi

原来低代码开发部署起来这么简单

伤感汤姆布利柏

前端 低代码 低代码开发

如何通过追踪用户旅程,找到流失用户

Footprint Analytics

区块链游戏 Web 3.0

数据“库”的增删改查

小齐写代码

ios工具合集 4Easysoft iOS Toolkit 激活中文版最新

mac大玩家j

ios Mac软件

纽约成立专门工作组来检查自动决策系统_大数据_Michael Stiefel_InfoQ精选文章