Martin Fowler 谈数据紧缩

阅读数:909 2013 年 12 月 20 日

话题:大数据架构AI

越来越多的企业正投资于大数据系统。由于这些系统设计用来存储和处理海量的信息,所以其建设和维护往往都极其复杂和昂贵。它们也非常容易受到攻击,但对于高额利润的预期,企业似乎无法抗拒。

Martin Fowler 写了一篇文章,关于与大数据截然相反的 Datensparsamkeit。这是一个德语词,大致可以翻译成“数据紧缩(data austerity)”或者直白地译为“不存储不需要的数据”。其中一个原因是隐私。其实在爱德华·斯诺登泄密事件之前,人们就已经对 2001 年的美国爱国者法案和随后的未授权监控表示了担忧。Martin 写到:

“收集所有数据(capture-it-all)”的方式其问题在于会引发严重的隐私问题。即使我们相信自己不会滥用收集的数据,但每个数据存储都可能成为罪犯或者政府监控机构的目标。在德国,这个问题尤其令人担忧。历届政府均存在这一问题,为了控制国民,政府对他们进行了广泛地监控。德国因此具有了健全的数据隐私法。

Datensparsamkeit 是一个源于这些隐私法的概念,与“收集所有数据”的理念截然相反。对于这个词,英语中没有一个直截了当的译法(这就是为什么我在文中保留了这个德语词),但大致上可以将其翻译为“数据紧缩”、“数据最小化”、“吝惜数据(data parsimony)”或者“节省数据(data frugality)”。这意味着,企业应该总是问自己这样一个问题,为什么收集或者存储数据,并设法只处理达到目的所需的最小数据量。

当然,政府监控不是唯一的担忧。即使是最小的企业也会成为黑客设法获取密码和信用卡信息的目标。Martin 继续写到:

即使读者不同意我关于个人控制自己数据的观点,安全遭破坏的风险还是意味着 datensparsamkeit 是一个明智的做法。如果保存了并不需要的数据,而某个人窃取并造成了损失,难道保存数据的人就不需要为此承担责任吗?即使没有法律责任,公开传播也将产生严重的后果——因此,任何不践行 datensparsamkeit 的人都在冒险。

对于某些行业,这个问题的答案毫无疑问是肯定的。例如,任何储存了信用卡背面三位数代码的企业都要对来自 Visa 和 Mastercard 的巨额罚款负责,即使实际上并没有破坏安全的行为发生。如果信息遭到窃取并被使用,法庭判处的罚款、相关部门出具的罚款以及赔款会让一个小企业破产。

查看英文原文:Martin Fowler on Data Austerity