50万奖金+官方证书,深圳国际金融科技大赛正式启动,点击报名 了解详情
写点什么

最神秘的大数据公司 Palantir(三)

  • 2016-04-20
  • 本文字数:2676 字

    阅读完需:约 9 分钟

(前两集写了 Palantir 的创始人及公司情况,下面该介绍产品了,也就是最难的部分。使用和理解 Palantir 产品的人,应该比 Bloomberg 还要少。所以本篇将抛弃那些看似炫酷的界面和生硬的算法,准备通过讲故事的方式来介绍 Palantir 的产品。)

Palantir 旗下有两大核心产品支柱,Palantir Gotham 平台和 Palantir Metropolis 平台,前者主要用于国防安全领域,后者更偏重于金融领域的应用。购买 Palantir 软件大概需要花费 500 万 -1000 万美元,而且还有 20% 的预付款,剩余部分在用户满意后结清,其官方号称至今没有一套软件因为质量问题被退回。

产品的名字来源也颇有些魔幻色彩。Metropolis 来自于《超人》漫画,是超人生活城市的名字。而 Gotham 来自于《蝙蝠侠》漫画,是蝙蝠侠生活城市的名字,其实常常也被当做是纽约的别称。

Palantir 最为人津津乐道的案例有两个,一是此前美国政府追捕本拉登行动中,Palantir 扮演了重要的情报分析的角色;二是 Palantir 协助多家银行追回了纳斯达克前主席麦道夫 Bernie Madoff 所隐藏起来的数十亿美元巨款。下面摘抄另外一些案例供大家享用。

用途 1:病毒传染及控制(公共卫生领域)

这是 Palantir 工作人员给出的虚拟案例。假设大肠杆菌疫情在底特律正在大肆蔓延(举例的人知不知道,现在汽车城很衰落,曾经的繁华,因为失业和房价大跌,这里的政府已经破产快成为一座空城了)。虽然政府知道疫情爆发的大致时间,而且明确了消费者是在哪两家不同的连锁店购买肉制品的,除此以外,政府对具体日期和源头无从可知,因此无法进行隔离调查和控制。

这时候,如果使用 Palantir,就可以让监管部门对这些数据进行分析和筛选,然后确认出这些地区哪些供应商的商品染上了病毒,最终将这些出售过“毒肉”的连锁商店进行隔离。这让我想起了 2003 年北京非典时候在清华使用的“狗牌”,我大清工科男早在 13 年就实现了 Palantir 的大数据功能。一旦某个同学疑似了非典,和 ta 在某一个澡堂 / 宿舍楼 / 食堂进行吃喝拉撒的同学,按狗牌颜色进行分级别的隔离封闭。

用途 2:无处不在的监视(公共设施领域)

Palantir 通过与美国警察合作,能够将遍布在城市及乡镇各处以及警车上的摄像头拍下的照片及视频入库存储,并提取出一些核心信息,比如:车牌号码、人脸及体态等等。在需要的时候进行查找。下图中的这位胖蜀黍一次偶然的机会通过正规程序,提交了自己的车牌号码查询自己的相关信息,结果警察返回了他在最近一年内城市各处的驾车图片。

看起来很爽的同时,这位胖蜀黍也惊悚了。如果在这些图片里出现一些不该出现的信息,特别是涉及到儿童的敏感信息(加拿大海关查中国人的微信表情,就应该理解国外社会对于这个有多在乎),是不是就不太好了呢?以后最有杀伤力的一句话就是,“哎哟,还不错哟,我在 Palantir 上见过你”。

用途 3:军队的暖宝宝(对外军事领域)

Palantir 的软件已经被军方广泛采用,下图是美国陆军使用的 Palantir 用户界面。

Palantir 已经被军方广泛运用于分析和预测伊拉克及阿富汗等敏感区域可能存在的炸弹以及地雷位置,或者帮助美军在巴格达选择一条被袭概率最小的路径,或者(如下图所示)分析也门和索马里之间的亚丁湾存在海盗的热点图。而这些分析都是整合了美军(陆海空及海军陆战队)等多方原本孤立而没有联系的数据,通过大数据的分析,在数据之间建立起连续,而最终获得想要的结果。

不过有时候分析只是案头工作,关键还是要靠实力。去年 3 月份在亚丁湾的撤侨,我军虽然没有 Palantir,但是撤侨还是比美军给力。有军舰护航,自然也不用绕着海盗走了。

用途 4:商业助手(商业金融领域)

JPMorgan 作为顶级投行和商行,需要大量的数据,不仅是提供给自己的客户,而且自身也在需要在交易中或者放贷中根据数据做判断。所以 JPMorgan 对于外部数据的获取是饥渴的:非农劳动力的供给和招聘状况,零售业状况,房产价格,消费者的信用卡逾期情况……在使用 Palantir 以前,这些数据都是从各个分散的外部渠道买来,而且互相之间很难联通。

然而在使用 Palantir 的软件之后,很快就把这些数据无缝得整合在一起,而且还能发现这些数据之间的关联性。一位 JPMorgan 的前苦逼 IT 员工曾透露,他们每天都需要导入 TB 级的数据到 Palantir。这套系统已经能够帮助公司每年节约了数亿美元不必要的损失,这些原来经常发生的损失包括:抵押房产的不当处理,黑客和欺诈交易,通过房产抵押你来套现等等。

下图是 Palantir Metroplis 的界面,主要供商业客户使用。随着金融客户的增多,Palantir 还推出了 Palantir Capital Markets,专门解决金融市场上的各类数据需求。

用途 5:复仇利器(公共安全领域)

2011 年 2 月 15 日,美国海关的一名年仅 32 岁的情报人员 Jaime Zapata,在墨西哥的一条高速公路上被一群毒贩射杀。尽管他开着防弹的 SUV 并且亮明了自己外交官的身份,但是 15 名手持自动来福枪的毒贩依然果断开枪。与 Zapata 同行的另一位探员 Victor Ávila 幸免于难,逃回华盛顿。美国禁毒署(U. S. Drug Enforcement Administration,DEA) 极度震惊,勃然大怒,誓死要报仇雪恨。然后却无从下手,当时毒贩手脚麻利,留下的证据太少。

他们很快求助了 Palantir,并展开了名为 Operation Fallen Hero 的行动。利用 Palantir,在浩瀚的人物、地点以及事件等等元素中间建立复杂的关系链。同时 Palantir 还吸纳入联邦探员们额外的信息:大毒枭们及他们的马仔们,他们各自的融资渠道以及运毒路线。另外,Palantir 还整合了其余的监控信息:银行流水、路边的监控路线、无人机拍摄的视频、线人笔录以及通讯记录等等。这些复杂而孤立的信息,被整合到 Palantir 的一个完整系统中,进行复杂的分析。

最后的结果令人震惊,Palantir 理清了关键人物以及关键组织的关系,并确定了主要嫌疑犯。最后结果是美帝通过跨境执法,侵入到墨西哥及南美多国,缴获了半吨左右的可卡因、30 公斤的冰毒以及近 300 件武器,最终还逮捕了 676 名毒贩,包括暗杀联邦探员的大部分毒贩。

本文转载自:数据冰山,已获授权。在作者允许的情况下进行了少许调整。

作者简介

何明科,毕业于清华大学汽车工程系及斯坦福大学工商管理学院 (MBA),曾服务于 BCG 和软银赛富等金融机构,曾在美国 Mellon Capital 担任 Trading Analyst 从事 Trading Cost 定量研究。写过书翻译过书,《体验宝马 Driven》、《感悟福特》等;做过投资做过互联网产品;目前专注于数据和互联网产品中。


感谢杜小芳对本文的审校。

给InfoQ 中文站投稿或者参与内容翻译工作,请邮件至 editors@cn.infoq.com 。也欢迎大家通过新浪微博( @InfoQ @丁晓昀),微信(微信号: InfoQChina )关注我们。

2016-04-20 17:504399

评论

发布
暂无评论
发现更多内容

索引为什么能提供查询性能...

小林coding

MySQL 索引 数据结构与算法 B+树

红外遥控接收发射原理及ESP8266实现

IoT云工坊

人工智能 物联网 esp8266 红外遥控 pwm

高德最佳实践:Serverless 规模化落地有哪些价值?

阿里巴巴云原生

阿里云 Serverless 云原生

监控之美——Prometheus云原生监控

华章IT

运维 云原生 监控 Prometheus

广电总局严打劣迹主播:净化行业环境迫在眉睫

石头IT视角

谈谈持续集成、持续交付和持续部署三者究竟是什么,有何联系和区别呢!

ShenDu_Linux

Linux 持续集成 架构师 持续交付 持续部署

一文带你了解两种Transformer文字识别方法

华为云开发者联盟

人工智能 AI 文字识别

看了 5 种分布式事务方案,我司最终选择了 Seata,真香!

程序员小富

Java 分布式事务 seata

接口测试和性能测试的区别

测试人生路

软件测试 性能测试 接口测试

技术实践丨基于MindSpore框架Yolov3-darknet模型的篮球动作检测体验

华为云开发者联盟

AI 华为云 modelarts

最详细的Linux TCP/IP 协议栈源码分析

linux大本营

Linux 后台开发 网络编程 C/C++ TCP/IP

【领福利啦】广受欢迎的人工智能实战课程+“智能音箱”教程免费领!

小冬

人工智能 技术 福利 项目实战 智能音箱

Week1 命题作业

J

极客大学架构师训练营

Linux笔记(二): vim 基本操作

Leo

Linux 学习 大前端

区块链可信数据服务平台搭建解决方案

t13823115967

区块链 可信区块链

甲方日常 58

句子

工作 随笔杂谈 日常

Spring 源码阅读环境的搭建

程序员小航

spring 源码 环境安装 源码阅读 spring 5

前嗅教你大数据:常见的网站反爬策略与解决方案

前嗅大数据

大数据 数据采集 代理IP 网站反爬 反爬策略

Linux 服务器开发学习路线总结(配图 c/c++ )后台开发、Golang后台开发、后端技术栈

Linux服务器开发

Linux 后台开发 后端 Linux服务器 Go 语言

基于 GraphQL 的信息聚合网关的实现与展望

QiLab

高并发系统设计 graphql

11.11数据可视化大屏设计揭秘

京东科技开发者

大数据 AI 数据分析 数据可视化 交互设计

GitHub 标星 1.3k+,一款超赞的用于字符串处理的 Java 8 库,附带源码分析

沉默王二

Java GitHub 字符串

感恩,改变世界的开发者们!

京东科技开发者

开发者 程序人生

收藏 | 阿里程序员常用的 15 款开发者工具(2020 版)

阿里巴巴云原生

阿里云 程序员 开发者 云原生 Java 25 周年

继linux命令之后,我又给你们整理了网络命令归纳,快给我来收藏

北游学Java

Linux 网络协议 网络 网络层

微前端架构初探

徐小夕

Java 大前端

LeetCode题解:17. 电话号码的字母组合,队列,JavaScript,详细注释

Lee Chen

算法 大前端 LeetCode

没想到我费劲心力学的kafka,还不如阿里大佬整理的这份学习手册,真的是差距啊

小Q

Java kafka 学习 架构 面试

秋招offer收割机——后台服务器开发方向(专业学习路线图总结)

程序员小灰

c++ Linux 后台开发 架构师 服务器端开发

CPU虚拟化系列文章1——x86架构CPU虚拟化

华章IT

云计算 Linux cpu 操作系统 虚拟化

支付宝阿牛整合Netty+Redis+ZooKeeper「终极版」高并发手册

Java架构追梦

Java redis zookeeper 面试 Netty

最神秘的大数据公司Palantir(三)_大数据_何明科_InfoQ精选文章