作者：Alex Feerst

译者：颜椿颖

来源：Medium

“网络不是法外之地。”话虽如此，但互联网的内容边界到底在哪里？

从阴谋论家Alex Jones相关内容在Facebook、播客和Twitter上被全面封杀，到Tumblr下架成人内容，再到新西兰大屠杀视频在互联网上被禁，最新的禁令是，Facebook应民权组织要求，全面禁止一切白人至上的活动。

每一次平台对言论管控的举措都伴随着巨大的争议，互联网让世界更开放了，但它真的让表达环境变得更好了吗？面对科技互联网带来的几乎是必然的弊端，每家平台的审核员又承担着怎样的角色？

大众希望平台能在保护我们不受互联网伤害的前提下拓宽表达边界，但对于如何保护，却始终没能达成共识。政治家、学者、非公益组织、公司等各方都在寻找解决方法，不过，问题尚未解决之前，永远需要有人直接坐到电脑前，快速决定哪些内容要保留，哪些内容要下架，哪些内容可以推广，哪些有潜在风险，哪些需要封杀，封杀多久。

那么，谁是这个决策者？

关于“内容审核”，不论是国内还是国外都不陌生。去年4月，快手紧急扩大内容审核团队，字节跳动也抓紧招募内容审核员，其中一条要求是党员优先，以扩大人工对内容的干预。国外的大公司也同样如此，他们都归属于信任和安全团队，或者也被称为内容政策、内容审核、社区运营团队。他们都是平台规范的制定者和实施者，也是互联网上的法官与守门人。

此前曾有过报道，YouTube在2017年12月雇佣了10000名内容审核员，在2018年初，Facebook的内容审核员达到7500名，当时曾计划将审核团队扩大到20000名，当然了，不止是在美国本土，这些内容审核员也遍布海外，比如劳动力相对廉价的菲律宾，他们通常都是作为合同工存在。

伤害也是显而易见的，关于内容审核员患上应激性创伤后遗症的报道层出不穷。2018年初，一部聚焦第三世界内容审核员的纪录片《网络审核员（The Cleaners）》上映，今年2月，Facebook前审核员一纸诉状将平台告上法庭，同月，科技媒体The Verge发布深度报道，再次揭示美国内容审核员深受身心创伤的报道。

那么，真正做一名内容审核员是一种怎样的体验？内容平台Medium最近出了一本新杂志OneZero，平台的内容审核团队负责人Alex Feerst同15位曾在YouTube、Facebook、Twitte、Reddit等平台的内容审核员聊了聊，关于**、权力边际、工作环境、审核技术进化等话题。

为了保障他们的人身安全，文章访谈以化名形式呈现。

Medium：你的日常工作是怎样的？做过最难的任务是什么？

Olivia：伊拉克前总统**被处决的第二天，视频上了Google，显示在《纽约时报》头版，我当时觉得，这什么？超出我的知识储备了吧。当时有种被羞辱的感觉。

mathilda：如果有人发一条：我要从桥上跳下去。哪怕是在半夜，我们也需要搞清楚他在哪座桥，告知国外的警察，联系他的家人，同时还要考虑，我们是否越界而侵犯了隐私条款，等到他的家人轻飘飘回答一句：嗯，这事儿的确偶尔会发生。

而我们能做的，也只能说：随他去吧。你能做的只有这么多了，谁知道呢，可能这本来就只是一起恶作剧。

Nora：在（电商平台）Etsy，我们会禁掉一切可能造成隐患的暗语、读物等，买家可能会抱怨，或者是试着恢复屏蔽词，后果无穷无尽。在很多安全团队里，这会产生强大的相互作用：造假、内容政策调整、新增管理案例。

宣布隐私新政策当天，我们做了下架处理，撤销了无数个看似睿智和玄妙的产品，以防卖家用各种方式来避开审核。

结果是，Etsy这个社区迅速成长壮大，在我们的规则限制下，用户花的每一分钱都很慎重，抱怨是有的，还有人声称我们会掉发秃头，所以，我现在还背着诅咒的吧？

Y.X.Yang：大萧条时期，谷歌上的发薪日贷款广告有海量增长，那个时候，我们做的事情没有任何先例可循。我们需要讨论，这些广告是否能给用户提供实际价值，必须时刻想着，可能真的有人会需要一笔贷款来搞定这一周的吃饭或是房租。

于是我们发现，有的贷款项目的确更好，利率更合理，所以在后台强制给予更高展示位，给每个项目合理位置。

但在当天结束时，我们得出结论，贷款项目不靠谱，于是砍掉了这条业务。如果再来一次，我们或许可以快速做一个明确的决定，但在当下，我确实无法借鉴某个模式来处理这样的问题。

Mathilda：有的视频是这样的，一个金发女郎坐在床上，用性感的娃娃音朗读着白人至上的言论，你的反应可能是：我靠，这什么鬼。还有的，不过是一个**膜修复手术的特写视频，竟然也有无数粉丝。围观者们当然不是出于医学目的在观摩，而且，这很可能只是一段手术过程。不过想想看，你确定这位“主角”知道自己的视频被挂在网上了吗？

Nora：这个工作是这样的，大周一赶到公司，立马处理一封加急邮件——有人从斑马上摔下来了。做久了这种工作，任谁都会搞出幽默感吧。

Medium：依然有很多人不理解内容审核员这份工作，你们怎么看？

Rob：常常有用户认为，内容审核不过是一群抠脚大学生坐一块进行审核，他们不考虑自己的工作会产生什么实际影响，所以对平台政策和决定不以为意，这种想法实在大错特错。不过，抠脚可能没错。

Adam：正常人看到关于一则下架决策错误的新闻可能会想，“傻子吧，演什么网络警察？就不能做对一次么？“

而你只能想，人类的表达微妙而复杂，每个人都希望你可以下架他们不喜欢的内容，然后保留他们的内容。互联网上，每天发布的帖子数以百万计，对于留什么不留什么，每个人的意见都不统一，而他们都觉得自己是对的。

James：用户以为，你看一则帖子的时间不超过5秒——嗯，这个还行，那个封掉。但事实绝非如此，我们每个决策的平均时间都在10分钟左右，复杂的情况耗时更长，我们需要去做调查，还要把它们重新拼凑起来。

Mathilda：“内容审核员只是对一团浆糊似的匿名内容进行审核，无人在意”，这个观点错的离谱。事实上，这种工作会让人产生亲密感，也非常个人化。

此前有一个记者和我聊：“你们就是熬着夜喝着酒，然后撤掉你们不认可的内容吧？”哈？怎么可能，这样的话，你会立刻被解雇。

其实，每次内容下架都会造成一道伤疤，复杂的任务会让人心理备受创伤。

Olivia：对于一个平台花了多少精力制定政策，做了多少测试，如何深思熟虑，以及如何努力才能尽量做到公平，如果用户能知道，一定会感到震惊。没人理解，移动山峰，从来不是靠一人之力。

Jessica：甚至有人不认为有审核团队，这是我们最大的理念分歧。事实上，每个公司都有至少一个内容审核员。

还有人认为，内容平台由算法主导，没有人工执行。别闹了，真的有人力在做审核，而且这事儿会耗费不少精力。

Rob：另一个观点是，平台对内容审核并不在意。但做审核的人总是希望尽力争取，争取更多人力、更多资源，让公司内外的人都能认同这份工作。

Medium：你是如何进入这个行业的？

Nora：之前我是律师，在纽约一家大公司工作，帮有钱人打官司。出于对正义和公平的期待，对于真实世界发生的一切都有求知欲，我转行了。因为可以在真实世界里对真实的人产生影响，这样我的知识有更正向的应用。

Marie：我之前在一家移民和难民资源中心，向遭遇困难的人提供解决方案，处理大量同类时间，比如性骚扰和家庭暴力。二者工作是相通的，只不过，此前在非盈利组织的工作动力更关注幸存者。

Remy：这个立场很奇怪，你会认为，某个表述不对，也会说，出于某种无人关心的、神秘的道德准则，我们应该做这个，不应该做那个。

一方面，你是用户们的支持者，他们的真实生活受你影响，另一方面，你又是一个奇怪的权威，进入他们的世界，毁掉他们的生活，或是彻底封禁他们此刻昂扬的**。

Medium：是否曾经感觉到权力过大？有为什么决定感觉到不适吗？

Y.X.Yang：可能是十年前刚入行吧，我实在太震惊了，“我这就能封禁一个域名了？然后他们还不能发广告？”答案是肯定的，但我当时想“我也不过20出头的年纪啊。”

Rob：也是在早期，有人会想，在Facebook工作的我们的权力，没准高于最高法院，因为我们的用户量甚至是美国人口的两倍之多。开始我们也不以为意，很快意识到，这话有点道理。

对用户而言，尽管可以选择Facebook之外的平台，但如果Facebook符合用户的预期，它可能最终成为人们沟通的主要渠道，责任感影响了我们所有人。

Josh：一开始，我总觉得，我们就像躲在窗帘后面工作，你有权力下架或上架任何内容，可以获得更多信息，有更大的权力。我不打算用这个权力去做任何事，但依然感觉生活被侵占了。

Venessa：我没有看到有谁会有权利饥渴，但的确有一些自以为是的傻子。

Martin：多数情况下，内容审核员们只在意网站能否正常运转，也并没有因为禁言谁感到丧气。他们没有什么强烈的政治诉求，只是采取强硬措施来对抗网络暴力，这是非政治性的行为。

Mathilda：我常常会惊讶于我们的小决策如此简单，却对用户的影响如此之大。我觉得有必要把这些工作落实到现实生活中，有的做法可能很荒谬，比如花费数日去调查一个人的票据，但我们更有责任创建一个严密的运营逻辑，不断调整，落到实地。我始终认为，逻辑和程序很重要，这也是我们最擅长的。

然而，这份花了我很多时间的工作，某种程度上是一种谬论，怎么可能让每个人都在这种混乱感中有更好体验呢？

Rob：早期在Facebook时我会感觉自己有极大权力，但我也觉得我们是团队里的聪明人，心怀善意，也真正关心周围世界。不过，我经常回家都感觉丧得不行，觉得搞砸了一切，责任感偶尔压得我喘不过气。而我们的工作也没有先例，没人能告诉我们，到底做得对不对。

Remy：我知道我们有一定的权力，可以决定哪些内容可以留下。我会试着用实操的方式去应用这种权利——在规则一致的情况下做出正确的决定。或者说，每一天中，你还有什么别的方式进行处理吗？你必须要及时处理，也得站在人性一边考虑决策的影响。不过，每天打开电脑时，我都不打算行使这份权力。

Medium：如何看待大众对科技平台及其政策的批评意见？

Marie：在使用我们网站的那些仇恨小组，我会告诉他们我的工作。他们的第一个问题是：“你谁啊，凭什么？科技公司没权力审核。”当然，我不会让他们知道审核工作的全貌，我们做过的调查，以及我们希望减轻的风险。也不想告诉他们，没有内容审核员，可能会导致真实世界的恶果，比如更多KKK成员使用我们的平台实施暴力仇恨犯罪。显然，我不能公开谈论这事儿，但如果不提，没人能理解为什么是我们在做审核。

如果科技公司没有内容审核，真实世界可能坍塌。

Venessa：在我看来，社交媒体可不能完美解释这个问题。不仅仅是社交媒体，技术让人类有了新的表达介质，我们所做的就是，弄清楚如何运用知识帮助技术公司理解和解决这些问题。技术已经存在，社交媒体也是，我们可以谈谈它的坏处，但最重要的是，我们需要联合起来，用科技让世界变得更好。

Y.X.Yang：在内容审核团队的多数人，通常都不是公司的核心小组，所以这事儿就挺有意思的。看到类似于“这家公司不在意女性、不在意**”的消极言论时，审核组的人在意，尽管他们代表不了什么。

Martin：这和上层的权威无关，没有技术领导者想要作恶，但他们的确需要有人来管理这些言论，不带任何政治动机。这就是内容审核工作，可不是《1984》里的老大哥。可能就是一个普通人坐在电脑前浏览这些评论，“emmmm，这个言论不OK，撤吧。”

Medium：公司内部如何影响审核组的工作？

Rita：审核组的吉祥物应该是Lisa Simpson（《辛普森一家》中，春田镇唯一的“正常人”）。

Y.X.Yang：情绪压力特别大，尤其是一些话题变成热点之后。会感觉公司其他人看我们的工作都带着情绪，“这**是什么？你在干嘛？为什么不能做个正确的决定？“他们无法理解做出一个决定有多复杂。

Adam：我们是逆水而上。审核组代表的是公司意志，你支持的价值观代表着公司的价值观。

Y.X.Yang：公司同事有时会问：“你之前知道这事儿会发生吧？”我当然知道，甚至一年前就告诉过产品团队，不做X就会有Y后果，限于当时情况紧急，产品经理还是做了X。这种感觉就像是：无论如何，我们会帮你收拾烂摊子的。

Adam：“六个月前我说，‘别在路上铺香蕉皮。’但你想的是，‘不如看看铺上香蕉皮会怎样。’”行吧，最后一起收拾吧。

Venessa：如果领导们关心的是更大的项目，那审核组们就得做好自己：“忠于本心，努力工作，哪怕没人在意。“

Adam：用户和产品团队都有一种理想化的期待，希望产品积极向上，不希望有任何破坏可能，没人想用这种产品。我担心产品组和审核组的分歧，以此发展下去，产品和工程是莫扎特，其他人都是阿尔弗雷德，我们无法对世界产生任何改变。

Nora：在处理用户事件时，管理者和产品经理经常影响审核团队。比如产品组和审核组共同处理性侵受害者事件，他们往往心生同情，再做产品搭建时不免受此影响。审核组会告诉他们这样做可能造成人口贩卖，他们却不以为意，以为自己是在弥补。

Medium：这份工作对你造成了什么影响？

Jessica：早期在YouTube时，也有心理专家，或者叫治疗师，他们也对此毫无经验。如果有人讲述自己看到的那些恶劣视频，心理师也希望把恶劣事件主角搞一顿。治疗师也都走了：拿这里的人实在没办法。

Adam：我有种本事，知道如何轻易毁掉一个人的生活。

比如你讲个烂梗，接着可能有人指责你或是想要诋毁你，然后百万网民齐上阵，几个小时就能对你言语暴力，造谣，让精神不稳定的人杀死你。

这事会发生在任何人身上，你可能是受害者，也可能是施暴者。你的生活不会永远平静如水，互联网有这个能力。绝对自由言论主义者会告诉你，“OK，可能有的人就是无法接受不同意见呗。”

Y.X.Yang：你可能要对审核组们另眼相看，毕竟他们的幽默感总是不太一样。虽然没人能理解，但这种幽默感很必要，这是每个人都需要的救生艇。

我们说的、看的、理解的，奇怪到常人无法理解。或许你会在Reddit上看到什么奇怪的迷信，但我们看到的，比你高出至少三个数量级。

Remy：举个例子，举重运动员为了承受巨大的压力，身体也适应成了一种奇怪的形状。而审核团队心理上的自适应就是不断被磨炼的判断力和意志力，永远保持在正确的时间、正确的地点，做正确的决定。

此时，你手里握着的尖刀可能会打开那些不该打开的罐头，而你需要不断打磨手里的尖刀，同时又试图让它钝化。

Mathilda：事实上，我越来越同情用户，也逐渐意识到自己的行为，这可能和我做的仇恨言论筛选正好相反。互联网以奇怪的方式分配权力，涉及民主利益，但也会扩大痛苦和耻辱。我给其它团队发邮件时都会调整自己的语气，因为我知道，那种语气词能让人帮我，哪种不会，哪种会让人觉得，这就是个玩笑。

Medium：工作环境和薪水怎么样？

Remy：如果能让重度互联网用户摆脱消极影响，我们深入一线的人的工作才有意义，但我不知道问题应该怎么解决，可能是AI，但我们还是需要训练和检查这些自动化系统啊。

所以，怎么解决呢？除了推给别人还有什么方法吗？

Mathilda：很多行业都存在这种问题。公司开发了产品，然后把其它人需要承担的成本外部化，一部分来自于公司的现有激励制度，一部分是因为产品创新时，没有人能预测长远的成本。用户每天在十几个平台发几百万条消息，必然需要更多审核。

那么审核可以由人和机器共同实现，但目前看来，机器人做不了，甚至永远做不好，尤其是在**论调之下。而人力成本极高，甚至在目前工资并不理想的情况下，人力依然很贵。

如果要把审核团队成本内部化，很可能让人大吃一惊，但这也无法忽视。我想，公司应该把技术赚来的钱用到审核团队里，支付他们合理的薪资，这场互联网生态灾难让科技公司赚的盆满钵满，他们必然需要承担清理责任的。

Medium：从开始到现在，平台方有什么改变吗？你觉得以后会有什么变化？

Olivia：一开始人们问的是，为什么不能捍卫**，为什么不能有想法差异，也不能有公开对话。但没人会想到事件会变得如此。

Rob：起初的设定可能有些天真，我们以为可以言论开放。但现在，内容本身的可信度已经下降，我们探讨言论时，还需要探讨背后的动机。在调查俄罗斯IRA在社交媒体上做的事情时才发现，如果不知道这是俄罗斯的假新闻干预（美国总统大选），那它的内容毫无问题。

James：你可不能就这么着摆摆手，告诉大众，不，事实上我们只是一个内容平台，我们的行为影响不到这个世界。

Martin：五年前，我理想中的未来应该是这样，“是的，让他发言，我们都可以发言。“但现在我觉得，这不可能了。

Remy：你在网络上的任何言论都可能变成公开舆论场的批斗对象，网民会截屏，搜集你所有正面和反面的言论，最后还可能登上BuzzFeed，你做的任何事情都可能变成一个国际事件。

Y.X.Yang：我认为公司会撤下更多内容，他们没办法，而这种压力会让公司变得更严谨。很失望，但我能理解。

Medium：想过转行吗？会不会担心某天崩溃了？

James：我知道有人会转行去做压力更小的工作，准确说来应该是：我得决定，针对我哥学校的枪击威胁到底是真是假，但我决定不了。

Marie：如果有个暂停期最好，就像放射物清理工作那样。但现在是，你点一个日期，你在这个领域的职业生涯也就结束了。

Remy：现在思考转行还挺奇怪的，我很难和别人解释我在这份工作中学到了什么，或者得到了什么收获。从某种程度上说，一旦入行，不论好坏，你已经被困住了。我不知道你有什么办法离开。

Medium：你的工作意义是什么？为什么可以坚持？

Mathilda：这事儿特别有意思，可以看到人性最脆弱的一面，浸入其中。

Rob：最有意思的部分不在于，“哈，这也太可怕了，我得看看”，或者是“简直不相信有人想要留着这段。”而是如何界定一点事的边界，决定它的影响。

Olivia：像是医生吧，冷静而没有人情味。这份工作既要智力，又非常抽象。虽然你最终需要做一个决定，但思考的过程很有学术性，你需要天生就有这种感觉。

Marie：这些事情不可避免地会发生，或许很糟糕，但我们将搭建基础设施和规则系统，每一次都能有最好的反馈。

Remy：我喜欢这种深入感。这份工作本来非常神秘，但你做出决定的过程，可以用不那么神秘的方式告知团队和公司的其他人。

Martin：可能是满足我的好奇心和困惑感吧。

Nora：我看到了不少迷信和亚文化，让我感到欣慰的是，每个人都有一块小地方，每个怪咖都能在互联网上找到另一个双生子。

Rita：一些小细节就会让我积极起来，你可以连看几天ISIS的暴力视频，然后在Reddit上发现一个小组，这里有人给蜜蜂PS上各种小帽子，我爱死了这种小花样，立刻又会元气满满。

James：审核是一个极其有体验感的工作。比如有人在网上说他今天的杀人计划，而我们会报警，然后真正救人一命，这可能是其它工作不会有的影响力。我做过4年内科急救专家，，我甚至觉得，以前的经验都是为现在的工作做准备。

出现在车祸现场或其它血腥场景中，尽管事情不妙，但你需要做的，就是理解自己的情绪反应，同时将其搁置一旁：如果我做好这个工作，可能会产生一点改变。

今天的改变是，我救了一个人。

图片来源：the Verge