内容简介
科学的传播速度有多快？今时今日我们很少谈论上帝了吗？人们什么时候开始用“havingsex”而不用“makinglove”？史上的人是在哪岁成名的？语法的变化速度到底有多快？哪些作家被纳粹审查得彻底？“donut”什么时候开始取代“doughnut”？我们能否预测人类未来？比尔·克林顿和花椰菜哪个更出名？不规则动词是如何逐渐消失的？数据和上帝，人们更相信哪一个？名人们更多的是少年成名，还是大器晚成？如何进行合适的职业选择？
《可视化未来 数据透视下的人文大趋势》一书的一大特色是用图表说话。书中数百幅图表，以直观的方式回答了这些看似毫无头绪的复杂问题。回答这些问题的图表，可以说是人类文化的一部连环画。它们简单易懂，而我们还可以通过在线的n元词组词频查看器方便地生成很多类似的图表，来满足我们对人类文化各个方面的好奇心。
该书是史蒂芬·平克为推崇的人文趋势新作，500多万本电子书、82幅图表、6大热点主题，完美洞悉人文历史与未来。
经常书评
★近年来，全球掀起了一股“大数据”浪潮，波及社会的各行各业，深刻影响和改变着人们的思维和科学研究方式。在工业界，数据已成为企业核心竞争力之一；在学术界，数据密集型科学研究已上升到与科学实验、理论分析、计算模拟并列的科学研究“第四范式”。展现在你面前的《可视化未来》一书以“谷歌图书”项目为背景，讲述了大数据在研究历史文化、人类语言、社会名望、群体记忆等方面的重要作用，其对社会科学的变革意义，与伽利略首次将望远镜指向太空对天文学的意义一样重大。这本书将科学思维之严谨和人文思维之优美有机地结合在了一起，语言幽默诙谐，读起来轻松愉快，又颇具启发性，很值得一读。
——李国杰
中国工程院院士，中国科学院大学计算机与控制学院院长
★人类几乎同时在体验多重演化进程的选择，人类的生物基因组学研究揭示了生物进化的过程，人类的文化基因组学研究揭示了人类文化的演化过程。人类文明，上下传承，到底传承了什么样的文化基因？这正是即将形成的文化科学希望解决的前沿问题。而谷歌进行的对人类出版物的数据化扫描和存储形成的数据库＂数据图书＂，可以有效地帮助人类的文化科学家挖掘和探索出文化进化的规律、规则、趋势及前景。著名的数字人文学家埃雷兹·艾登和让-巴蒂斯特·米歇尔正好是建设“谷歌图书”数据库的领军人物。他们通过对500多万本电子书的数学、语言学和文化进行分析，追踪了从1800-2000年这200年英语语法、词典学、集体记忆、科技使用、名利追求、审查制度以及历史流行病学等一系列文化现象的发展。研究的时间跨度之大、范围之广、发现之新颖，都是前所未有的，不仅为我们了解、分析、剖析、追踪、预测人类文化的变化提供了直观的证据、数据和结论，而且为未来中国的学者对中国图书数据揭示岀的中国文化变迁过程进行研究提供了一个范本。
——彭凯平
清华大学心理学系主任，加州大学伯克利分校心理学系终身教授
★这是几十年来思想世界激动人心的进展之一，出自两位绝顶聪明、十分谦逊而又富有无限创造力的年轻科学家之手。
——史蒂芬·平克
当代伟大思想家，世界顶端级语言学家和认知心理学家
★艾登和米歇尔是大数据研究的先行者，转变了人类思考和认识自身的方式。《可视化未来》是一部充满魔力、趣味十足、便捷易读、信息量丰富的读物，每一页都蕴含着睿智和幽默。
——肯尼思·库克耶
数据趋势先驱，著名畅销书《大数据时代》合著者
★非常令人愉悦……对于知识分子而言，阅读《可视化未来》一书或许就像吃一包薯条那样轻松，却又富有吸引力。你肯定不会只吃一根就停下来的！
——《纽约时报》
★这一巨作非常有趣而富有启示。埃雷兹·艾登和让-巴蒂斯特·米歇尔让我们意识到，书籍中富含对人类历史、文化、经济和政治的启示，而那些书籍的作者们对此都会觉得不可思议。他们两人在《可视化未来》一书中的洞见将会转变我们认识人类生活诸多方面的方式。
——《波士顿环球报》
★艾登和米歇尔为我们提供了一种审视和探索人类过往的新方式。
——《科克斯书评》
目录
推荐序 数据透镜，洞穿科学与人文之美
李国杰
中国工程院院士，中国科学院大学计算机与控制学院院长
译者序 在大数据的指引下开启未知之旅
引言 数字眼，透视历史与未来
第1章 乔治·金斯利·齐夫与化石猎手
英语演进的全景式图谱
源起孩童式问题
1937，数据史诗
幂率，引爆词汇世界新正态
过于齐夫与否
2005，另一个数据史诗
时间旅行者的窘境
词典与索引
数一数玫瑰的花瓣
【量化人文】是burnt，还是burned？
第2章 四个生日和一个葬礼
语言本质的新视域
谷歌数字图书馆之梦
3000万本！“谷歌图书”的9年成果
《财富》500强法务部门的心理
大投影，应对隐私泄漏之殇的密钥
在“谷歌图书”的投影中
自己动手编词典
词汇暗物质
【量化人文】 老爸，保姆来自哪里？
第4章 未来，每个人都将在7.5分钟内成名
从崭露头角到名望顶峰的路线图
名望的万有引力
测量名望，你需要一个“风洞”
临摹名望，只是接近成名
断代分析，将名望视作疾病来研究
人类名望的风云变化：从75岁到41岁
如何获得名望：职业选择指南
恶名，最极端的成名方式
【量化文化】 一步之遥，名望天地间
第5章 文明割裂与寂静之声
如何透视文化审查的藏身之处
“堕落的艺术”
史上最火爆的艺术展
焚书
环球巡回，他们不希望你看到什么
思想有数百万个出口
【量化人文】 两个权利催生一个新权利
第5章 为什么越是痛苦的记忆，越容易被忘怀
集体意识的铭记与遗忘曲线
记忆测试
记忆关联效应：其他东西的记忆
集体记忆的遗忘曲线
新信息如何进入社会
新技术如何进入社会
147个重要日期
奇点，还是破灭？
量化民族精神
让世界一起上瘾
【量化人文】 妈妈，火星人来自哪里？
第 6 章 乌托邦、反乌托邦与数托邦
让预测人类未来成为现实
数字化的过去：书籍、报纸等的数字化
数字化的现在：数字通信与社交媒体让人类更亲密
数字化的未来：“数字化来世”将触手可及
真相与后果
志趣相投：科学与人文已经走向融合
心理史学
【量化人文】 由n元词组词频统计器绘制的人类大未来
附录 n元词组历史大会战
试读
|第3章|
未来，每个人都将在 7.5 分钟内成名
从崭露头角到名望顶峰的路线图
打扫垃圾这个工作不怎么迷人,却可以成就英雄。
不信的话,你可以问一下希腊神话中的英雄——大力神赫拉克勒斯。在赫拉克勒斯的 12 次劳作中,第 5 次的任务就是打扫奥革阿斯国王 (Augeas)的牛棚,那里面住着数千头长生不老的母牛。由于牛棚已经 30 年 没有打扫了,粪秽堆积如山。因此,赫拉克勒斯将两条湍急的河流引来,一 天之内就将牛棚冲洗得干干净净。他的英雄事迹至今仍是世界排污工程史上最伟大的成就之一。
几千年后,类似的传奇故事仍然不绝于耳。这个故事是关于我们的“计 算大力神”沈渊的。谷歌花费了5 年时间,尽情地汇聚知识的力量,快速地 数字化数以百万计的图书。然而,在创造了世界上最大的数字图书“牛棚” 的同时,也不可避免地衍生出了一个副产品——谷歌积累了数量庞大的低质 量数据。有些大数据是脏的。所以,我们是时候该清理“牛棚”了。
阻碍:错漏百出的图书馆卡片目录
最近,你将多少黄金时间耗费在了图书馆的卡片目录上?
卡片目录曾经是图书馆里图书流通的核心。图书馆里的每本书都对应着 一张卡片,上面记录着该书的关键信息,包括书名、作者、主题、出版年份 和用于标识图书位置的编码。每天,来访者源源不断,他们会走向卡片目录 存放柜,然后再根据目录里的信息走向遥远角落里的一排排书架。
如果没有卡片目录,图书馆将杂乱无章,人们也就无法从中获取任何信 息。很多个世纪以来,最重要的图书馆之一 ——梵蒂冈秘密档案馆(Vatican Secret Archive)就处于这种状态。这家档案馆的书架有 83.7 公里长,却缺少一个囊括所有馆藏图书信息的卡片目录。档案馆里面有什么?即使是有权自由访问该档案馆的人,恐怕也说不清楚。如果需要从中找一本书,你就需要了解:谁可能知道书的位置。档案馆里陈列着很多珍贵的手稿,这些手稿可以追溯到 8 世纪,譬如,关于对伽利略进行异端审判的记录。然而,要想从中找出这些珍宝,却无异于是一场探险,或许《夺宝奇兵》中的印第安纳 · 琼斯(Indiana Jones)会想要去进行这样的探险。对于这家档案馆来说,没有卡片目录无疑是一种绝佳的信息保护方式。
对我们而言,和任何其他图书馆用户一样,仅仅拥有查找馆藏图书的权利还远远不够。如果我们想对比一下不同时代和地方的书,还需要准确地找出记录着书的元信息的卡片目录,以便我们了解哪本书是关于什么的,从而在进行自动分析时知道该如何对其进行分类。
起初,我们并没有觉得这是一个大问题。谷歌在收集 1.3 亿本书时,使用的就是来自数百个源头的目录信息。这些年来,各大图书馆的卡片目录都完成了数字化,这是最早受益于数字化的事物之一,原来那些实体卡片通常都被“冷落”了。然而,事实证明,哪怕是最好的卡片目录也会出错。
错误一旦酿成,一般不会很快得到纠正。卡片目录如此之多,即便是最忠实的图书馆用户也不能总是注意到这些错误。有时候,用户也会因此找不到书。在这种情况下,“非礼勿视,非礼勿听,非礼勿言”。有时候,错误出现在诸如图书出版地区之类的地方,但只要编码正确,用户们还是能找到相应的书。在这种情况下,卡片上错误的元信息对于读者而言影响不大,因为关键信息是正确的。
随着时间的推移,众多没有得到纠正的错误从实体卡片目录上迁移到了数字卡片目录上,然后又迁移到了谷歌采集图书时使用的“母目录”上,最后来到了我们这里。和只对某本书感兴趣的人不同,错误对我们影响很大: 我们无法手工检查数百万本书。然而,这些卡片中有相当大一部分含有错误。如果我们使用这个目录元数据来产生 n 元词组表格,最终的结果就会非常糟糕且无法使用。而当我们使用含有错误的目录信息进行计算时,我们发现,隔壁办公室的朋友 16 世纪时就已经很出名了。当我们告诉她这个消息时, 她否定了自己有那么老。要么是她对我们撒了谎,要么是我们的计算出了问题。我们该怎么办?
由于不能手工检查这些书,所以我们决定编写计算机算法以找出可疑的卡片——因某种原因包含了错误信息的卡片。以杂志为例,对于系列出版物 如报纸、学术期刊以及其他期刊,图书馆会将创刊日期放在每一期上。这就 意味着,按照我们的卡片目录检索,每一期的《时代周刊》都出版于 1923 年。 对于我们的研究目的而言,这是一个大问题。
为了解决这些问题,我们编写了一个叫作“系列出版物杀手”(Serial ?83 Killer)的算法,它可以找出任何可疑的系列出版物。我们还编写了一个叫作“快速确定日期”(Speed Dater)的算法,查看图书的正文,根据正文推测图书的出版日期。我们将两个算法相结合就可以识别出可疑的卡片以及对应的图书。然后,我们再将这些书从我们的分析中剔除出去。
解决:“清洗”脏数据
最终,2009 年夏天,沈渊将两个算法和他的软件工程经验相结合,将那些愚弄我们的脏数据冲走了。数百万的书被冲到了计算的河流中,数量之 大
前言/序言
在大数据的指引下开启未知之旅
作为科学体系的两大支柱，人文科学和自然科学自诞生伊始便按照截然不同的范式几乎平行地发展着。人文科学主要以人类社会为研究对象，以探索和揭示人类社会的本质和发展规律为目的。自然科学则主要以自然界为研究对象，以解释自然现象和揭示其客观规律为目标。二者就像两个背对着的镜子一般，形影相随，却因研究对象和研究手段的差异而长期疏远，而且研究人员也因此分成了两个阵营。例如：在学校中，我们人为地进行文理分科；在科学研究中，我们自发地选择加入其中一个阵营。今天，大数据为人文科学提供了新视角，革新了人文科学的传统范式，模糊了人文科学和自然科学的界限，使人文科学和自然科学开始志趣相投地走到一起，呈现出文科理科化趋势。计算社会学、语料语言学、数字人文学等交叉学科相继出现并蓬勃发展。在这样的趋势和背景下，《可视化未来》一书作为一面透镜，展示了大数据在认识人类语言、历史、名望、记忆和文化等方面的透视作用。在宏大的人文视角下，它以“冰冷”的数据将人类文化“鲜活”地呈现在了我们面前。
《可视化未来》有一明一暗两条主线。明线是作者艾登和米歇尔通过谷歌数字化图书中的n元词组对语言演化和人类文化进行的探索之旅；暗线是作者抽丝剥茧式地拨开这些人文科学问题的层层面纱，并以数据为手段将其作为自然科学问题加以求解的历程。这两条主线交相辉映。作者使用大数据在最大尺度上对人类经验进行量化，带领我们在人类文化的未知水域上航行，通过大数据向我们展示了自然科学之普适，并以诙谐的笔触展示着人文科学之魅力。全书脉络清晰，通篇读下来可谓一场科学和文化相交融的旅行。
《可视化未来》一书的一大特色是用图表说话。书中数百幅图表，以最直观的方式回答了很多看似毫无头绪的复杂问题。例如，不规则动词是如何逐渐消失的？技术传播得有多快？数据和上帝，人们更相信哪一个？名人们更多的是少年成名，还是大器晚成？如何自动地检测出舆论压制？如何预测人类历史的未来？如何进行合适的职业选择？回答这些问题的图表，可以说是人类文化的一部连环画。它们简单易懂，而我们还可以通过在线的n元词组词频查看器方便地生成很多类似的图表，来满足我们对人类文化各个方面的好奇心。
在翻译本书之前，沈华伟副研究员刚从美国东北大学(NortheasternUniversity)的复杂网络研究中心归国。和网络科学奠基人艾伯特-拉斯洛？巴拉巴西(Albert-LászlóBarabási)教授一起从事科学研究的这段经历，使他对科学的认识越发清晰，研究套路日益成熟。他开始反思：数据驱动的科学发现在大数据时代到底面临着哪些契机和挑战？作为科研人员，我们又该作出哪些改变呢？就这些问题，沈华伟和他的博士生导师——中国科学院计算技术研究所的程学旗研究员、王彤彤局长进行了深入探讨。十分巧合的是，他们三位有幸成为了《可视化未来》这本通过大数据研究人类文化的杰作的译者。在翻译本书的过程中，译者领略到了作者在处理数据共享和隐私保护这一矛盾时的睿智——数据投影，也体会到了作者将一个工具拓展到多个应用场景的敏锐——数据形态。数据科学作为一门学科在不久的将来将会逐渐成形，以数据为研究对象和主要驱动力的科学范式将会出现，而首先因此发生变化的将是人文科学——大量人文学科将以数据为纽带和自然科学融合。社会计算、城市计算、群智计算等也将会快速发展，并深刻影响甚至改变我们的社会生活方式和看待社会的方式。
翻译《可视化未来》一书，也是程学旗研究员、沈华伟副研究员和湛庐文化的再次合作。对他们而言，这不仅仅是一次书籍翻译，而且还蕴含着至少两个层面的含义。一方面，大数据时代的各种思潮和视角在不断涌现，作为一名科研人员，我自然需要去尝试理解和领会这个时代的主要趋势及其影响。通过翻译此书，译者零距离地接触了采用大数据进行人文科学研究的历程，感受到了作者敏锐的洞察力——问出好问题，以及将其付诸实践的执行力——给出简洁有效的回答。另一方面，作为和湛庐文化合作的第二本译著，译者开始尝试形成一定的翻译风格，希望能够尽可能地减少译作和原作之间由于语言、文化的差异而可能给读者带来的理解偏差。这的确是个不小的挑战，而原作中大量使用英文所独有的诙谐用法，也给翻译工作带来了不小的困难。由于译者功力有限，翻译之中的不当之处，还望各位读者谅解和斧正。
最后，以本书中的一句话来结束：大数据正在革新自然科学，改变人文科学，并重新定义业界和学界的边界。让我们拭目以待，开启“未知”之旅吧！
