弗兰克·帕斯奎尔，马里兰大学教授，耶鲁大学法学院信息社会项目成员以及大数据、道德和社会理事会的成员。他是普林斯顿大学信息技术中心的访问研究员，并在耶鲁大学法学院和卡多佐法学院担任客座教授。他还曾在牛津大学获得马歇尔学者的称号。帕斯夸莱曾在众议院的司法委员会上作证，并与Google、微软和雅虎的法律总顾问对峙。

　　你是否想到，当你在上网娱乐、学习、浏览新闻或从事商业活动时，你就会无形中陷入一张数据采集的罗网，这张网的覆盖面之广你绝对难以想象。我们的经济和社会由高深莫测的数学程序来决定？

　　美国参议院的一份调查报告指出，仅仅是点击某一热门新闻网站的动作就会触发并激活350多个网络服务器。多数的关联行为（例如投放广告）不大可能构成危害，但它们通常会在用户的电脑中植入一个“cookie”软件，用以识别和跟踪访客，从而收集目标数据并获知用户的上网习惯。

　　在这个互联网时代，每一天，各类公司都会通过仔细检索、审视我们的工作习惯和互联网的使用把我们各种行为的细节连接整合在一起。这种整合起来的数据极其详细，甚至堪称对我们个人的入侵。但这些公司是如何将这些数据点联系在一起的，他们又是如何使用这些信息的？《黑箱社会》将告诉我们这一切是如何发生的。

　　隐秘的算法可以塑造（或破坏）信誉，也可以决定企业家的命运，甚至是摧毁整个经济体。这本《黑箱社会：掌控金钱和信息的数据法则》深入探讨了Google、亚马逊、Facebook、苹果等硅谷和华尔街的公司是如何运用这些运算法则的，以及作为我们个人应该如何在这个信息经济社会保护我们的隐私，以及确保我们的个人信息安全。

　　在大数据、互联网时代，你可能需要的是个人成功秘诀、商业制胜之道，但你更需要的是一个清醒的头脑。

　　最早关注弗兰克·帕斯夸的《黑箱社会》这本书，是源于今年开年之初Nature和Science的几乎同时对该书的推荐……这本书最可取之处，是脱离了以往那些空谈隐私保护的话题，而是时不时给出了问题的症结和可能的解决方案。

　　——赵斌 复旦大学教授、博士生导师

　　与其他书籍不同的是，弗兰克·帕斯夸莱的《黑箱社会》为我们提供了一剂全新的思维良方，并且有可能将有关隐私的话题引向深入。无论你只是对隐私感兴趣，还是已经熟知有关隐私的论述文献，都会在阅读此书的过程中受益匪浅。

　　——《科学》杂志（维克托·迈尔-舍恩伯格）

　　互联网依靠用户数据来生成定制广告并获取收益，以此壮大规模并提供免费服务。然而，这个数据解析过程最终推动并构建了法律教授弗兰克·帕斯夸莱所称的“黑箱社会”。在这样一个社会中，私人数据遭到采集并受到算法的操控，社会基本功能的执行过程也被欲盖弥彰，“黑箱社会”已经名副其实……本书以大量的研究工作为基础，提出了富于指导意义的若干解决方案。

　　——《自然》杂志（史蒂夫·阿夫特古德）

　　《黑箱社会》一书值得关注，该书试图揭示并解决“失控的数据”和“黑箱算法”所引发的危害，其视角之广、覆盖面之全超越了以往任何同类图书。无论你是对隐藏在“大数据”背后的陷阱感兴趣，还是想要了解我们如何在不知不觉中遭遇量化，都会在阅读本书的过程中受益匪浅。

　　——戴维·奥尔巴赫 软件工程师

　　第一章 我们需要知情

　　我们都听过这样一个小故事：有个人趴在路灯下面，一副神情专注的样子。警察路过他身旁时问他在做什么，他说自己正在找钥匙。“你把钥匙丢在这儿了吗？”警察问他。“没有，”他回答，“但这里有亮光。”这个故事讽刺了一种徒劳无功的做法，虽然显得有些老套，但最近却有了新的诠释，它暗示着我们的科技越来越像谜一样隐秘难测。

　　社会学家们一向热衷于研究权力的运作方式，他们试图阐明谁获得了什么，何时获得，以及获得原因。在《追求成就的社会》（The Achieving Society）、《赢家通吃的社会》（The Winner-Take-All Society）、《美好社会》（The Good Society）和《正派社会》（The Decent Society）等书中，我们的公共生活领域都成为研究对象，而且这些书尽其所能地让我们认识到了探究上述问题的必要性。

　　但是这些书籍的研究成果和一堆已知信息没有什么两样。对于一个毫无概念的东西，我们根本无法理解，更不要说对其进行调查了。知识研究爱好者们对这一问题有着很多叫法，比如“未知的未知”、“黑天鹅”和“深藏的秘密”，都是用来指代社会空白领域的流行说法。后来甚至出现了一门叫作“比较无知学”的新兴学科，专门研究“由于疏忽、遗忘、短视、消灭、保密或压抑造成的结构性无知的产生、无知的不同来源以及无知的构造”。

　　无论是在假设还是真实情况下，知情空白以及由此产生的影响都不可小觑。曾经最具权威的中央银行家艾伦·格林斯潘（Alan Greenspan）说过，市场正被亚当·斯密理论中那只“看不见的手”所控制，如今这只手越发难以捉摸，以至于没有人（包括监管者）能够窥视到“哪怕最简单的现代金融体系的内在机制”。如果事实的确如此，那么似乎只有自由主义政策才是合理的应对方式。弗里德里希·哈耶克是一位奉行放任主义的杰出理论家，他将“知情问题”称为仁义政府在施行经济干预中不可逾越的障碍。

　　但试想，如果“知情问题”并非市场的固有因素，而只是某些行业有意煽动的一个概念呢？如果金融家们只是为了躲避监管、混淆规则而故意使其行为云遮雾绕呢？那样的话，撤销管制规定带来的结果只会与初衷背道而驰。

　　棘手的“知情问题”仅仅是一个例子，其背后隐藏着一个基本的真相：我们对这个社会（与“自然”相对的概念）的认知与未知在本质上并不是固有的，其本身只是社会建构的一个功能。我们对公司、政府，甚至是彼此间的信息获知都要受到法律的约束。相关的隐私法和交易保密法以及所谓的《信息自由法案》都在信息获取方面设置了限制，这就使得某些调查行动根本无法展开。于是我们不禁发出疑问：谁是当中的受益者？

　　其中有些法律对于社会的完善起到了关键作用。没有人希望自己去趟洗手间都会被老板录像，那样的世界不可想象。然而，信息法所保护的范畴已经远远不只是个人隐私。有些制药公司借助法律上的行业保密条款来隐瞒新型药物的种种风险，还有一些银行借助空壳公司来逃避税收责任。

　　甚至于政治和法律体系也逐渐倾向于保密思维，而这些体系本应是最为开放、透明的公共生活领域。行政部门以开展“反恐战争”为契机大力游说，不断地要求制定并施行“保密法”；在选民投票的某些选区充斥着“肮脏的金钱交易”，而背后的操纵者及其影响往往只有在竞选过后才被揭露，甚至根本无从揭露。

　　然而，就在权威企业、金融机构和政府部门在保密协议、“专有方法”和言论限制法规的掩护下瞒天过海的同时，我们的生活隐私却越来越公开化了。我们在互联网上的一举一动都可以被记录下来，而问题是：谁会获得这些信息，这些信息又将被保留多久？虽然匿名软件能为我们提供一时的保护，可谁又知道这种意图隐藏的做法会不会很快受到监管部门的禁止？监控摄像头、数据代理公司、传感器网络和“超级数据存储系统”可以记录下我们的行车速度、服药情况、阅读过的书籍以及浏览过的网站。虽然法律在商业领域中极尽保密措施，但在涉及公民的隐私时却选择沉默不语。

　　本书将着重研究这种矛盾现象。为什么从华尔街到硅谷的行业秘密都备受保护？那些掩盖人事和业务处理方式的隐形操作都暗示了什么样的社会问题？如何制定法律才能在隐私性和公开性之间取得最佳平衡？这些问题的答案将引导我们建立起一个更加智能、有序的社会。

　　然而，我们首先要对这个问题进行充分理解。“黑箱”（Black Box）这个双关语恰好可以用来形容这一理解过程。它既可以指一台记录仪（例如飞机、火车和汽车上的数据监测系统），也可以指一个神秘的运作机制。虽然我们可以获得黑箱的输入和输出信息，却无法弄清输入数据如何变为输出数据。我们每天都要面对这样的问题：公司和政府部门越来越渗透性地记录着我们的生活，我们却不知道这些信息会传播到哪儿，也不知道它们将被用作何种目的，更不知道这些信息的泄露会产生怎样的后果。

　　保密优势

　　知情就是优势。在保护自己信息的同时获知他人的信息，这是一种最重要的占据优势的形式。各个公司都在尽可能地挖掘潜在客户和企业员工的详细信息，但在面对监管部门时，它们却极尽手段隐藏公司的统计数据和操作规程。互联网公司收集的用户数据越来越多，但同时也在对抗相关规定，阻止用户对由此生成的数字档案进行任何操控。

　　随着科技的进步，市场压力提升了数据博弈的筹码。监控摄像头的价格逐年下降；感应器在更多的地方得以配置。手机能够追踪我们的行迹；电脑程序可以记录下我们的键盘操控过程。不管我们是否愿意，层出不穷的硬件、软件将所有人都变成了“量化的个体”。随之生成的信息以史无前例的海量数据形式涌入数据库中，汇集成空前庞大且分类详细的文件系统。

　　但这些数据将流向何方，又为谁所用呢？如果企业和政府也能够趋于透明化，那么损失一些个人隐私倒也无妨，可通常情况并非如此。信用评估者、搜索引擎、各大银行和运输安全管理局将我们的数据进行转化后用于计分、评级和风险计算，并生成具有重要影响的监察名单。然而，除非有告发者提起诉讼或揭露实情等特殊情况发生，否则这些专有的运算程序都无须接受审查。

　　在某些情况下，保密做法是合情合理的。没有人希望恐怖分子可以准确地知道国土安全部门的追踪目标，从而躲过侦查。然而，当我们的一举一动都在监察机构的掌握之中，而我们却对这些机构的程序和人员安排一无所知时，民主和自由市场的口号便成了空谈。当这种保密做法正在挑战社会的底线，而我们却对重大的决策过程毫不知情时，公开性就显得尤为必要了。

　　无处不在的大数据

　　在信息经济的核心地带，互联网和金融公司聚敛了含有用户隐私和生活细节的海量数据，并基于这些数据做出与我们生活有关的重大决策，进而影响着我们自己的决策。然而，我们究竟对这些公司了解多少呢？一个糟糕的信用评分可能会使借款人损失数十万美元，可他却永远无法知道这个分数究竟是如何计算出来的。某家预测分析公司可能会将一个人归为“高成本”或“不可靠”的员工，但却不把这个评定结果告知此人。

　　或许，这些公司还可以“友善”地影响我们的选择过程。亚马逊和YouTube视频网站上的推荐引擎通过自动呈现的信息温和地为我们提供建议。然而，请不要低估“或许”一词的含义。这些建议背后通常隐藏着不为人知的经济、政治和文化因素。作为中间商，这些公司善于变换阵营，时而靠拢用户，时而又站到供应商一边，目的只是为了在其构建的网络世界中实现利益的最大化。

　　金融机构可以通过制定信用和借贷条款对我们产生较为直接的影响。然而它们同样对重大交易遮遮掩掩，秘而不宣。2008年金融界发生的秘密事件引发了一场信任危机，并将银行体系推向了崩溃的边缘。为了稳定局势，美联储出面加以干预，而干预条款却予以保密。直到2011年，记者们才得以揭开干预范围的广度，而在此之前还发生了一起标志性事件—金融改革立法得以讨论并获得通过，但该项立法并没有听取选民的意见，并且很快就被美联储救助下的企业巨头们予以淡化。

　　在信誉评定公司、搜索公司和金融行业中，无处不在的大数据变得与我们的生活息息相关。但这种相关性的建立过程却非常隐秘，从而降低了社会的公开性和市场的公平性。新型排名和评估技术引发了若干问题，让我们思考如下：

　　· 一对夫妻在接受了婚姻咨询之后，信用卡公司是否有权对他们的信用卡提升利率？如果是，公司是否应该通知持卡人？

　　· Google（谷歌）、Apple（苹果）、Twitter（推特）或Facebook（脸谱网）是否有权屏蔽掉内容完全合法的网站或图书？它们在采取这种做法时是否应该通知我们？

　　· 美联储能否为了拯救丑闻缠身的银行而大量地印刷美钞？如果是，美国公民应当通过何种途径在什么时候了解事件的进程？

　　· 当成百上千万的美国公民被列入秘密“监察名单”时，他们是否应该获得通知，是否应该有机会证明自己的清白？

　　并不是只有华尔街和硅谷的各大公司在采取隐蔽的操作方式，我之所以将它们列为研究重点是因为这些公司在社会中扮演着特殊的角色。在2010年的第四季度中，金融部门贡献了“略低于10%的增值”，占据总利润的29%，也就是577亿美元。硅谷的公司也同样强劲，并且利润惊人。金融企业如何利用资金？各大网络公司又如何引导公众焦点？它们一方面将资源导向了某些创意、产品和服务，一方面也舍弃了另外一些项目。它们为我们构建了一个世界，而人们都太急于接受这种数据驱动带来的便利。但是，我们必须承认这其中付出的代价。

　　保密性和复杂性

　　大数据这个黑箱并不容易拆解。即使拆解方法被公之于众，我们作为现代互联网和银行业的门外汉也很难进行实际操作。那些公司得出关于员工产出、网站相关性或投资吸引力的结论均由复杂程式算出，这些程式由工程师团队进行设计并由律师团队给予维护。

　　在这本书中，我们将探讨三个造成黑箱难以开启的原因：“真正”保密、法定保密和模糊处理。真正保密让人们在未经授权的情况下无法获取秘密信息。在日常生活中，当我们锁门或者给电子邮件设置密码时，就是在实行这种保密措施。法定保密意味着某些信息属于隐私，不得公开。银行职员必须遵循法律法规和雇佣条款，不得向朋友透露客户的账户余额。模糊处理是一种故意隐藏秘密的行为。例如，当某公司需要提供相关信息应对调查时，该公司可能会给出3 000万页的文件资料，让调查人员在调查时如同大海捞针。上述两种形式的保密做法和模糊处理方式最终导致了一种“不透明性”，我用这个加引号的词来概括一种可矫正的不可理解性。

　　举例来说，一份较为详细的投资说明书可以长达数十页或数百页，文件中还可以引用其他文件，甚至文件再次引用文件。原文件涉及的文件之间可能会发生冲突。如果想对某个投资项目进行深入了解，我们可能需要翻阅数千页的法律冗文，而且其中很多用词都模棱两可，非常容易造成误解。会计报表也同样如此，法学教授弗兰克·帕特洛伊（Frank Partnoy）和普利策奖获得者杰西·艾辛格（Jesse Eisinger）曾于2013年年初共同研究过“美国银行的内幕”，并对其中一直存在的不透明性感到震惊。他们在报告中把银行描述为“掩盖了巨大风险的‘黑箱’，这些风险可能会再次击垮经济”。虽然经济危机已经过去5年，但美国的银行系统依然没有得到规范管制。俩人曾在报告中用如下引语来描述银行系统中存在的弊端：

　　· “现在没有哪家大型金融机构的财务报表能够提供有价值的风险信息。”一位对冲基金经理人如是说。

　　· “在委员会（财务会计准则委员会）工作后，”唐·杨说，“我再也不相信银行账目了。”

　　· 另一位账务会计准则委员会的前任员工在被问到是否相信银行账目时回答说：“一点儿也不。”

　　他们在说这些话的时候，经济危机已经过去5年，并且《多德–弗兰克法案》（Dodd-Frank Act）已经颁布了3年之久，这一法案集立法之大成并对银行法做过全面改动。当大量的投资者持不信任态度，并且这种怀疑主义蔓延至整个系统中时，经济危机就会爆发。而当政府部门通过“救市”和“流动性融资”涉足其中时，本已错综复杂的局面就会更加纷乱。

　　对于科技公司而言，复杂性操作没有保密性操作这么重要。无论网络如何延伸，Google的搜索工程师们都只是在自己公司网络内的“封闭系统”中进行工作。同样，负责Twitter和Facebook“输入”信息的工程师们也都在划定的范围内进行操作。由于真正保密、法定保密和范围因素施加的限制，一般人很难了解他们的运作方法。此外，技术和法律阻碍也让公司以外的人员无法弄清真相。

　　进步人士经常呼吁通过透明化操作来解决本书中提到的黑箱问题。很多情况下，阳光确实是“最好的杀毒剂”。然而，透明性有可能只会引发复杂性，而复杂性则像真正保密和法定保密一样有碍理解。政府经常采取干涉措施，要求公司或企业向用户开诚布公并“使用通俗易懂的语言”，但金融家们却通过使交易复杂化来应对这些透明化规定。在无法达成实际效果时，管理人员应当介入其中并对复杂性加以限制。透明性不是最终目的，它只是通向可理解性的一个阶梯。

　　警惕软件

　　为什么这个问题如此重要？因为越来越多的软件算法在权威领域中得到应用。我们以前都是通过人工判断做出决策，而现在却是以自动化的方式得出结论。软件可以在几分之一秒内对数千条规则和指令进行编码。这类自动化程序已经被用来指引飞机航向，建设网络物理中枢，并读取我们的全球定位系统（GPS）定位信息。总之，在经意或不经意间，这些软件程序在提升着我们的生活品质。

　　可是我们应该让其在哪儿止步呢？当我们想去一家新餐厅时，该类程序不但会在无形之中影响着我们的路线选择，而且决定着Google、Yelp、OpenTable或Siri会向我们推荐哪家餐厅。另外，这些程序还可以让我们看到自己的爱车受到怎样的评论。然而，选择一辆车或者一家餐厅并不是通过优化引擎或规划驾车路线就能简单解决的事情。推荐引擎是否会考虑到这家餐厅或者汽车公司为员工发放保健福利或规定产假的情况？我们是否可以推动这一进程？在以最大现实利益为目标的行业竞争中，硅谷和华尔街的数据专家们倾向于把推荐项目视为一个纯技术问题。编码规则中的价值观和特权问题都被藏进了黑箱。

　　最显著的一个问题是：这些运算程序是否公平？举例来说，为什么YouTube在Google的视频搜索结果中总是能够击败其他的视频网站？为什么某家餐厅或汽车股票可以排在列表的顶端？当网络零售商可以针对同一产品向不同买家显示不同的价格时，这又说明了什么？为什么有些借款人可以逾期付款，而其他人却不被允许这样做？

　　对于当前现状，支持者们认为这些结果反映了一家公司针对网站质量、投资品质或客户等级做出的善意评价。反对者们则认为这是在用科技做幌子来掩盖利己行为和利益冲突。只要运算法则没有公开，人们就只能靠猜测得出结论，所以难以判断谁是谁非。我们不知道Google到底如何对网站进行排名，于是也就无法评估它什么时候在诚信行事、以客户为重，什么时候又是在操纵结果、牟取商业利益。Facebook上的动态更新、Twitter上的热点话题，甚至电话和有线电视公司的网管操作也是同样的情况。保密法规和模糊处理技术都为上述行为提供了保护伞。

　　单向镜

　　看了这么多堂而皇之的保密行为，有人会轻易得出结论，认为个人和民间组织也能和公司、政府一样严守自己的信息。想象着银行会像保护自己的秘密一样对我们的银行记录进行保密，确实是一件令人欣慰的事情。可我却要推翻这种臆想，我们所在的国度没有那么美好，它不会为私人园地设立围墙，现在的社会更像是一面单向镜。公司主要决策者可以掌握我们日常生活的细枝末节，可我们却根本不知道他们怎样利用这些信息来进行重大决策或者影响我们的决策过程。

　　另外，当掌控金融和新媒体领域的权力迅速汇集到一些私营企业手中时，我们依旧无法弄清这些公司主要在以何种方式与公共权力发生互动和冲突。虽然这本书讲的主要是私营行业，但我却将其命名为《黑箱社会》（而不是《黑箱经济》），这是因为国家和市场之间的界限正在逐渐淡化。前政界人士杰夫·康诺顿（Jeff Connaughton）曾经用“黑团”来形容由金融和媒体决策人组成的黑暗网络。无论是以企业的名义还是以政府的名义行事，这些决策者都可以通过调用资金和媒体优势来获取私利。如今，我们越来越被这个“黑团”所笼罩。在一个又一个的决策（或行业）领域，这些业内人物决定着社会利益（如低息贷款或保障就业）和责任（如审计、监听和评估）的分配格局。

　　诚然，正如乔恩·埃尔斯特（Jon Elster）在《地方正义》（Local Justice）一书中所述，我们现在还没有绝佳的方式来实现机会的公平分配。可如今市场化的国家却越来越追求速度优势，而不注重让人们享有公平的选择权利。技术统治论者和管理者给争议性的价值判断结果披上了“科学”的外衣，即不断地利用可测数据通过数学模型对微妙的主观结论（例如一名员工、一项服务、一篇文章或一件产品的价值）进行再构。虽然通过大数据做决策的方式可以带来前所未有的利益，但当这种运算形式不仅被应用于“物”的领域，而且被应用于“人”的领域时，我们就需要建立一个更加强大的道德框架，而不是现在“黑团”所青睐的这个架构。

　　……

推荐序

中文出版序

第一章 我们需要知情

保密优势

无处不在的大数据

保密性和复杂性

警惕软件

单向镜

企业保密和保密企业

回首

本书结构

可以自我破解的预言

第二章 数据失控时代的网络信誉

数据（和数据之外）

失控的档案

工作中的大数据

种族偏见的幽灵

监控国家的诞生

“国家”与“市场”的界限正在消失

到处是威胁，到处是危险，到处是信息？

持久的不透明

没有出口

未来大曝光

第三章 隐藏在搜索中的逻辑学

搜索和透明度

搜索、信任和竞争

搜索和薪酬

搜索和控制

内容、传播渠道和搜索：新兴竞合

迈向数字新政

第四章 金融算法：皇帝的新代码

预警信号

机器梦

次贷的修饰部门

评级机构的失职

公司封杀异议

风险与监管

战略上的草率性

谎言与伦敦银行同业拆借利率

自我和他人营造出来的账目系统

风险与信仰

高频交易的低社会价值

电脑化的市场

危险的鞅定价方法

黑天鹅还是黑箱？

金钱、信息和权力

第五章 监督者由谁来监督？

披露的标准

虚无的隐私权

更全面的披露：致力于公平的数据操作

合法使用数据

监视档案

透明的公民Vs不透明的政府或企业

高质量的透明度

第一修正案的万能牌

金融界的中央情报局

失信的金融监管

“大到不能倒”和“穷到不能管”

从医疗诈骗执法中获得的启示

国家安全局的企业监控

神秘的数字时代

第六章 可被了解的社会

黑箱社会

为什么袖手旁观？

逐渐缩小的政企分歧

公共选择的承诺

重建信任

黑箱的局限

黑箱残局

可被理解的社会

致 谢