编者按：反思是必要行为，越及时越好，越清醒越好。本文作者James Bridle在“Something is wrong on the internet”一文中从YouTube上供孩子们观看的视频入手，剖析了互联网通过自动化、规模化框架所产生的一个黑暗世界。而重要的是，我们该如何行动。
我随着互联网成长，确信它是对于今天我之所以为我的最重要影响之一。13岁那年，我开始接触互联网，当时电脑就放在我的卧室里。互联网让我有机会接触到了许多完全不适合青少年接触的东西，但是这都还好。它一直以我认为的于己有益的方式对我的身份产生至关重要的影响，塑造了我的人际关系、文化与政治认知。我一直是互联网及其所带来的一切影响的重要支持者，并认为它是有益的且具有解放意义。在一开始说明这一点是因为，下文中我将讲述互联网所产生的影响以一种意味深长的方式驳斥了我的上述假设与偏见。
我经常问自己的一个假设性问题是，对自己的孩子拥有相同的上网方式有什么看法。我发现这个问题越来越难回答。这可能是随着年龄增长而自然发生的变化，而且在某种程度上这个问题的假设性因素越来越少。我不想做一个伪君子。我希望我的孩子拥有与我一样去探索、成长和表达自己的机会。我希望他们拥有这个选择。这种信念使人们放松了对互联网在公共生活中扮演角色所持有的态度。
我也意识到，年轻孩子与YouTube之间的共生关系与日俱增。我看到孩子们无论是在婴儿车里，还是在餐馆里，都整天关注着屏幕，同时伴随着一种类似于勒德分子（Luddite，十九世纪初英国手工业工人中参加捣毁机器的人，现泛指强烈反对机械化或自动化的人）的阵痛。但我不会为他人或者是他人父母做出判断。我也看到家人和朋友的孩子投入地看《小猪佩奇》和童谣视频，这给他们带来愉快和放松，所以这也还好。
我至今没有孩子，而现在只想一把火把所有东西烧掉。
一些人、一些事抑或是一些人与事的结合体正在以自动且大规模的方式通过YouTube系统性的恐吓、伤害和虐待儿童，这迫使我从任何方面质疑自己对于互联网的看法。在下文中，虽然我要说的大部分内容已经在其他地方报道过了，但是就我所看的主流报道没有一个能真正理解那些似乎正在发生的事情的含义。
我将由此开始：专为孩子开辟的YouTube内容清楚且引人注目地呈现怪异姿态。我意识到它的古怪已经有一段时间了。去年，有许多文章都提到了惊喜蛋（Surprise Egg）热潮。惊喜蛋视频通常以一种极其痛苦的长度展示了打开金德和其他玩具蛋的过程。就是这么回事，但是孩子们对此着迷。即使没有数百万，也有成千上万的孩子们在观看成千上万这类视频。
自2010年以来，惊喜蛋的制作者已经累积了370万订阅用户，这个孩子友好频道仅仅致力于打开惊喜蛋和拆箱玩具就达到略低于60亿的浏览量。视频标题模糊了品牌线并搭卖广告：“Blu Toys Surprise Brinquedos & Juegos”“Cars Screamin’ Banshee Eats Lightning McQueen Disney Pixar”“Disney Baby Pop Up Pals Easter Eggs SURPRISE”。
在我写这篇文章的时候，制作者一共制作了4426个视频。与贾斯汀·比伯官方频道超100亿的浏览量相比，全职YouTube名人PewDiePie拥有近120亿的浏览量，就好像这个男人用一双温柔地打开惊喜蛋的双手为生。（惊喜蛋视频都配有前贴片广告、中断广告和其他广告形式。）
这让你了解到孩子们的在线视频世界是多么怪异，而这些视频标题则暗示了这种怪异所涉及的不同寻常的范围和复杂程度。我们马上就会讲到后者。但是，就目前而言它已经显得非常奇怪。
另一种尤其对于小龄孩子来说很受欢迎的巨量内容，是童谣视频。
制作这种视频的Little Baby Bum在YouTube最受欢迎频道上排名第7。他们共产出515个视频，拥有1150万订阅用户和130亿浏览量。同样，我在下文很快会说到这些数据的准确性也存在问题，在此处我想说明这是一个庞大的网络产业世界。
点播视频对于父母和孩子来说都是“猫薄荷”，对于内容创作者和广告商来说也是如此。小一些的孩子无论是出于熟悉的人物还是歌曲，或者是简单的色彩和舒缓的声音而被这些视频迷住。这些视频的长度（一个常见的处理方法是将许多童谣或卡通片段汇编在一起+编辑）和将视频长度作为营销手段一部分，旨意了那些孩子们观看这些视频所度过的时间。
因此，YouTube广播公司想出大量策略来吸引家长和孩子们的注意力，并获得伴随这些行为而生的广告收入。第一个策略是复制和剽窃其他内容。以我的尝试为例，在YouTube上搜索“小猪佩奇”会收到“大约10400000个搜索结果”，而首页内容几乎全部来自经过认证的“小猪佩奇官方频道”，同时有一个视频来自于未经认证的频道，叫做Play Go Toys，除非你刻意寻找否则很难注意到它。
据我猜测，Play Go Toys频道里的《小猪佩奇》和其他卡通片、玩具拆箱内容是盗版的，此外还有一些我认为应该是频道主自己孩子的视频。我并不是要说Play Go Toys有什么不好；我只想简单说明YouTube的框架以怎样的方式导致内容与创作者的分离，而这将如何影响我们对于信源的认识和信任行为。
正如另一位博客作者所指出的，品牌内容所扮演的传统功能之一是保证信源可信性。无论是儿童电视上播放的《小猪佩奇》还是迪士尼电影，不管人们对于这种娱乐生产的工业模式有什么感受，这些视频通过精心制作和受到控制而让孩子们能以基本安全的方式观看它们，并且被赋予信任。这不再适应于品牌和内容被平台分离的情况，已知的可信内容为那些未经认证和潜在有害内容提供了无缝衔接的网关。
（同样，这与Facebook和谷歌上对可信新闻媒体的分离过程完全相同，而这些结果正在对我们的认知和政治体系产生严重破坏。我不打算在这里进一步探讨这种关系，但是它显然也非常重要。）
增加视频点击率的第二种方法是关联关键字或是主题标签，这是一种全然黑暗的艺术。当某种内容，比如惊喜蛋视频，成为趋势而能够抵达绝对多的大众时，内容生产者就会蜂拥而至，制作出成千上万类似的视频。这就是上面所提到的那些奇怪名字产生的缘由：官方内容、童谣标题和“惊喜蛋”都被塞进了同一个标题中以出现在搜索结果、侧边栏、以及“下一个”自动排名的位置中。
一个奇怪例子是Finger Family视频，我不知道他们从哪里冒出来，也不知道这些童谣旋律的起源。但是目前YouTube上至少有1700万个版本，它们也涵盖了包括上百亿拼接场景在内的所有可能内容类型。
再说一次，必须认真对待视频的浏览量情况。其中大多数视频本质上是由机器人所制作，被机器人所观看，甚至被机器人所评论。这是一个完全陌生的世界。而不应该掩盖的事实是，实际上还有许多孩子通过iPhone或者是平板电脑一遍又一遍地观看着，这在某种程度上解释了这些视频的浏览量数值。孩子们学着在浏览框中输入基本搜索词，或者是在侧边栏中简单添加另一个视频。
令我觉得有些不安的是，即使是相对正常的儿童视频在网络上的扩散也无法解释其自动化的程度，如何剖析人与机器之间的差距呢？有近200万订阅者的Bounce Patrol Kids频道显示了这种影响。其内容有专门的真人演员表演，以每周一个的制作速度发布专业制作视频。
很奇怪，有一群人在无休止地演绎着由算法生成的关键字组合的意义所指涉的内容：“Halloween Finger Family & more Halloween Songs for Children | Kids Halloween Songs Collection”, “Australian Animals Finger Family Song | Finger Family Nursery Rhymes”, “Farm Animals Finger Family and more Animals Songs | Finger Family Collection – Learn Animals Sounds”,还有很多很多。这是算法搜索时代的内容制作模式，即使你是人类，也必须去迎合机器。
其他视频也会与人类演员一起，不断制作出无限可重构的相同视频版本。当然，自动化在其中扮演重要角色。各类库存、音频轨道和这些关键字列表以数千种方式拼接在一起源源不断制作出视频。上图中所展示的频道，Videogyan 3D Rhymes — Nursery Rhymes & Baby Songs通过组合这些日益复杂的关键词，以每周几次的频率发布视频内容。他们有近500万订阅者，是Bounce Patrol订阅者数量的二倍不止，然而我们依然不知道是谁或者是什么累积起了这些数以百万计的浏览量。
我试图不让这篇文章被没完没了的例子所充斥，但是我们需要了解这个体系有多阔大、以及是什么决定了此种行动、过程和观众，这很重要。这也涉及国际事宜：有许多Finger Family和Learn Colours视频的不同语言版本，如Tamil epics和Malaysian cartoons，它们不太可能出现在任何英语使用者的搜索结果中。这种极其不确定性和搜索行为是上述现象存在及产生影响的关键。这种广延性让这种行为捉摸不定，甚至难以产生对其的真正思考。
我们已经看到了那些确之凿凿的例子，用以说明完全自动化带来的不安结果，谢天谢地的是其中一些已经经由黑色幽默所发酵，而另有一些还没有。从T恤到咖啡杯，从婴儿睡衣到手机壳，许多都是由图片库和按需制作的算法构建而成。上图中最近在Amazon上售卖的物品就是一个例子，它如何产生的故事既迷人又怪异，但从本质而言可以理解。没有人打算用药物和医疗设备制作手机壳，这可能只是一个非常怪异的数字或概率结果。但是，这个需要一段时间才能被人们注意到的事实敲响了警钟。
同样，“冷静地强奸”（Keep Calm and Rape A Lot）T恤以及“冷静地对她持刀”和“冷静地打她”的结果令人沮丧且痛苦，但是却也可以理解。没有人打算制造这样的T恤，它们只是由一个未经核查的动词和代词列表与一个在线生成器所配对。这些T恤相当有可能从没有出现过、曾经被买过或是穿过，这样就不会造成任何伤害。但是又一次，制作这个内容的人没有注意到，分销商们也没有注意到。他们根本不知道自己在做什么。
基于这些案例以及那些我将要进一步说明的案例，我想说的是，这个系统的规模和逻辑是产生如此结果的同谋，我们需要好好思考它们的含义。
（再次说明，我不打算深入探讨这些内容除这篇文章之外的更广泛的社会影响，但是很明显，人们可以从这些例子中找到一条解决大数据和机器智能驱动系统中存在的种族和性别偏见等当代问题的明显界限，这些问题需要迫切的关注但是我们却没有任何简单的或者是更好的解决方法。）
我们可以在这些成堆视频中选择看一段，然后试着分析它来自哪里。需要重点强调，我并没有打算去找某个特定视频：在一个匿名浏览器窗口（例如，不应该受之前搜索行为的影响）中搜索“finger family”，这一视频的排名很高。这种自动化把我们带到了某种奇观中，“兔子洞”如此之深以至于我们不知道这样的东西如何得以形成。
这个视频标题为“Wrong Heads Disney Wrong Ears Wrong Legs Kids Learn Colors Finger Family 2017 Nursery Rhymes”。标题本身就证实了它来自于自动化合成。我不知道为什么有“Wrong Heads”这样的表达，但是可以猜想，就像“Finger Family Song”一样，它通过与Learn Colors、Finger Family和Nursery Rhymes这些词汇拼接渐渐提高自己的算法排名，最终形成了我们所看到的这个标题。
这段视频由一个普通的Finger Family歌曲组成，画面中呈现出一个由迪士尼《阿拉丁》动画中的角色头部和身体拼接而成人物。这的确很怪异，但是坦白讲，并不比惊喜蛋视频或其他童谣视频奇怪到哪去。但是我发现这种想法太天真了。一个非《阿拉丁》动画的角色艾格尼斯出现了，她是《卑鄙的我》中的人物。
这段视频的制作者BABYFUN TV已经制作了许多类似的视频。《头脑特工队》的角色Hope与蓝精灵和食人妖交换头部。BABYFUN TV只有170位订阅者和非常低的浏览量，但是平台上有成千上万个这样的频道。长尾数字在抽象情况下并不能显示出重要性，重要的是它们所实际产生的累积效果。
所以问题变成：这些是怎么来的？在BABYFUN TV的频道中也出现“Bad Baby”的修辞。虽然我觉得令人不安，但是我能理解它是如何通过提供一些旋律、节奏或与他们自己经历相关的东西而使得真正的小婴儿被这些内容所吸引，它经由算法的反复与重组而以一种没有人会想要其发生的情况所扭曲和拉扯。
Toy Freaks频道截图
Toy Freaks是一个非常受欢迎的频道（平台排名第68位），主角是一位父亲和两个女儿。除了学习儿歌和辨认颜色之外，Toy Freaks擅长制作一些令人恶心的内容，以及令许多观众都觉得自己受到虐待和剥削的行为，其中还不算特别严重的情节包括儿童呕吐和疼痛的视频。Toy Freaks是一个经YouTube认证的频道，无论这意味着什么。
就像Bounce Patrol Kids一样，无论你对这些视频内容有什么感觉，我们不可能知道自动化涉入的起点与抽身的终点，不可能知道谁来提出这些想法以及谁在扮演这些角色。相反，在如Toy Freaks这类受欢迎的、由人类主导的频道中，其所产生的影响使得它们通过越来越古怪且扭曲的重新组合方式在网络中不断出现。
而有些视频比Toy Freaks和类似内容更令人不安。下面是一个相对温和，但依旧令人不安的例子：
比之前所提到的盗版《小猪佩奇》更甚，还存在一种山寨品。这些内容也充斥着暴力。在官方版本中，佩奇得到了和蔼牙医的适当安慰。而从上图的对比版本中看出，她受到了折磨。搜索“peppa pig dentist”会在首页上发现这些视频，而这让事情变得更糟。（此处引用视频已经被YouTube删除，但是平台上仍有许多类似视频。）
《小猪佩奇》这些令人不安的视频内容，包括佩奇吃自己的父亲和喝漂白粉在内，隐含着极端暴力和恐惧因素却被广为传播。它们是整个YouTube亚文化的一部分。
这段视频以对于佩奇的拙劣模仿开始，后来进入到我们已经见过的那种情节的不断重复中。也许这就是钓鱼行为（Troll，最初作为网络用语用来描述在公共论坛等讨论区故意用激烈言辞引起别人进行没有意义的争论的行为，后来释义延伸为几乎所有做出令人厌恶举止的行为，不论主动还是被动的）。我希望它是。但是我不这样认为。“钓鱼”并不能解释这些人类参与者的交集之处和更多自动化的例子。它在其中显现，却不是故事的全部。
我想，不去深思熟虑这个问题是幼稚之举，但是有如此多像牙医情节一样未认证的内容发布，许多孩子们正在观看它。我知道大多数内容目的并不是把孩子弄得一团糟，但是它确实会带来如此效果。
我尝试去理解原因是什么，这并不单单是对于“不会有人想到孩子”的束手无策。显而易见，这些内容不合适。显而易见，有一些不好的演员。显而易见，有些视频应该被删除。显而易见，这引出了关于合理使用、挪用、言论自由等问题。但是那些仅仅通过镜头内容了解问题的报告并没有完全理解正在发生的机制，因此也就无法从整体上考虑其影响，并作出相应回应。
《纽约时报》所写的关于这些问题的文章“On YouTube Kids, Startling Videos Slip Past Filters”强调了那些令人不安的视频中的假冒人物和童谣现象，并将其放置在适度性和立法的问题上面。官方应用YouTube Kids声称其内容对于儿童来说是安全的，但显然不是如此，这即是问题所在，因为它误用了用户的信任。英国小报《太阳报》的一篇文章“Kids left traumatised after sick YouTube clips showing Peppa Pig characters with knives and guns appear on app for children”也采用同样思路，又增加了右翼技术恐惧和自以为是的分析。但是这两篇文章都是从表面上评价了YouTube声称这些结果非常罕见且很快被删除的行为。
Good Baby Toys频道
这是亚洲地区制作Toy Freaks的基本情况。还有俄罗斯的。我不想再用“人主导”这个词来形容这些视频，尽管这些内容包含了相同的修辞和实际的人类角色。我想不明白到底发生了什么，我认为这就是问题的关键。这就是我为什么开始深思熟虑所发生的一切的部分缘由。我们需要作出许多努力。谁在写这些脚本，谁在编辑这些视频？再一次，我想强调：与许多东西相比这些仍然是相对温和，甚至是有趣的东西。
有些事情令我不安：
第一件事情是恐怖和暴力被展示的程度。互联网提供一种放大且促进我们潜在欲望的方式；事实上，这是它看起来最擅长的。我花了很长时间来论证这种倾向，关于人类的性自由、个人身份和其他问题。而在这里，绝大多数人有时会觉得，这种倾向本身就有一种暴力和破坏性倾向。
第二件事情是被剥削的程度。不是因为他们是孩子而成为孩子，而是因为他们的无权利性而成为孩子。像YouTube算法这样的自动奖励系统必定以资本主义的剥削方式进行剥削。如果你对于对等式的后半部分感到恼火，也许这就是让你信服真相的原因。剥削被编码到我们正在建构的系统中，使其更难被发现、更难于对其进行思考和解释、更难于对抗和防御。这不是工厂由机器人构成以及人工智能统治一切的未来，而是此刻、现在，在你的屏幕上，在你的起居室里，在你的口袋里。
其中部分例子都试图证明没有人真的在看这些视频，都是机器人在背后操作。即使人类只出现在这个系统的生产方面，我也对他们表示担心。
这段视频“BURIED ALIVE Outdoor Playground Finger Family Song Nursery Rhymes Animation Education Learning Video”里包含了我们上面所提到的所有元素，并产生比之前更严重的影响。熟悉的人物角色、童谣、关键词、完全自动化、暴力、以及孩子们最糟糕的梦想。当然，这种视频大量存在着。一个频道接着一个频道，以每周数百个新视频的更新速度进行播放。以工业化的水平生产噩梦。
最后：也有比这些更暴力和含有更多性内容的东西。我并不打算给出链接。我不相信它会给别人带来精神上的创伤，但是有必须要继续强调，不要忽视这些黑暗的、怪异的对成人没有多少干扰的东西对于孩子的影响。
一位从事于数字视频的朋友向我描述了制作这些内容需要些什么：一个小型工作室（可能由6人，或者多些人组成）通过大量制造低质量内容而满足这个系统的某些要求（长度似乎是其中一个因素）来获得广告收入。根据这位朋友的说法，供儿童观看的内容是3D动画为数不多的赚钱方法之一，因其审美标准较低并可以通过大规模的独立生产而获利。它使用现有的且易于获得的内容（如人物模型和动作捕捉库），通过不断重复和修改而完成制作。它可以不具有任何意义，因为算法不会对此歧视，孩子们也不会。
这些视频，无论是在哪里制作，无论是如何制作，无论是否有明确目（例如，积累广告收入）都在以有意识向孩子们展示视频的方式获取利润。而不自觉的涌现出来的后果遍布各处。
让孩子暴露在这种内容之中是虐待。我们讨论的不是电影或是视频游戏暴力对青少年存在争议却毋庸置疑的影响，也不是色情或极端形象对于青少年的影响，这属于那种我在开篇所描述的青少年时期使用互联网的影响。这是重要且值得辩论的内容，但是却不是我在此想要讨论的东西。我们所谈论的是非常年幼的孩子，从出生开始，成为会对他们造成伤害和干扰的目标之物，而互联网则提供了这种极其容易进行虐待的方式。这不仅关于“钓鱼”问题，而是内在暴力与数字系统和资本主义激励的结合。
我的观点是：这个系统是虐待行为的同谋。
此时、此地，YouTube和谷歌在这个系统中沆瀣一气。他们为了从在线视频中获取最大利益而建立起的框架正在被虐待儿童的不确定分子所入侵，也许这不是故意行为，但是却以大规模的方式存在着。我认为他们需要担负起解决这个问题的绝对责任，正如他们有责任去处理那些意图政治说服的极端视频对年轻人的激进化所产生的影响。到目前为止，他们完全没有表现出这种倾向，而这本身就是卑鄙。然而，我对于这个议题想做出的最大回应是，我不知道他们如何在不关闭服务本身以及其他类似系统的情况下做出解释。我们建立了一个规模化运作的世界，在那里，人类的监督无法触及到每个角落，也没有任何非人形式的监督能够发现我在本文中所提到的大部分例子。
这是一个非常黑暗的时代，我们为服务于自我而建立起的框架正在以系统且自动化的方式转而对付我们，我们所有人。当网络制造出恐怖的时候，我们很难对网络保有信心。尽管人们很容易将这些更为疯狂的例子视为“钓鱼”行为，肯定有相当数量的人是这样认为，但是这并不能解释那些特别怪诞的内容的绝对数量。就像越来越多人关注俄罗斯对社交媒体的干涉一样，它所带来的纷繁复杂的危险被用作加强控制、增加审核等行为的理由。这并不是我们想要的结果。
而我想说的是：
尽管对于孩子所遭受的暴力问题让我十分担忧，但是我所担忧的不仅仅是这些。我所担忧的是对于这种在任何时间对于我们所有人产生影响的基础设施暴力，我们依然在努力寻找谈论它、描述它的机制、它的行为和它的影响的方式。正如我在开篇所说：这是由人、由事、由人与事的结合所导致。对于这种结果所需要承担的责任无法合理分配，但是伤害是如此、如此的真实。
原文地址：https://medium.com/@jamesbridle/something-is-wrong-on-the-internet-c39c471271d2
