您的位置:首页 > 媒体评论

36氪深度文:陌陌、Soul、Uki……用户内容风控测评

发布时间:2019-09-27 17:02:42  来源:互联网     背景:

  早年,Facebook曾联合部分知名高校的学者做过一项研究:以689003名用户的好友动态信息流作为研究样本,通过修改信息分发的算法,人为区分出消极情绪偏向或积极情绪偏向的内容,强方向性地给研究样本中的用户进行曝光。

  研究结果表明,获取更多消极倾诉偏向的用户,在发布动态等行为上也更偏向消极情绪,反之亦然。有的研究者把这种现象称之为“情绪蔓延”,简而言之,在社交媒体上你给人们曝光什么,人们的心智也会随之发生改变。

  由此可见,社交媒体的影响力早已超出普罗大众的普遍认识,这些基于社会化网络的内容生产与交换平台早已在经意或不经意间给我们带来了深远的影响。

  著名的《连线》杂志创始主编凯文·凯利在其成名作《失控》中曾表明一个犀利的观点,他认为人类历史曾经发生四次认知颠覆,其中就包含了来自弗洛伊德的研究理论:我们的意志不是一个独立的个体,它其实是多股意见和不同意识的综合体,实际上我们连自己的意识都不能完全主宰。

  所以也不难理解,为什么全球范围内的社交媒体在内容管控上都在走向强干预。在信息爆炸的今天,如果社交媒体的内容走向过度倾向负面,那么集体意识走向失控的风险就会无比放大。

  不同媒介的机器辅助审核

  随着市场与行业的升级,社交媒体中信息传播的媒介与形式呈现了多样化、创新性的发展趋势。视频、音频媒介的广泛流行给内容审核工作带来了新的挑战,直播、去中心化的UGC内容相对以热门推荐算法主导的资讯流又有更高的即时性要求。

  不过,得益于人工智能及算法技术近年来的迅猛发展,利用机器,互联网行业已经发展出基于不同媒介维度的辅助解决方案。

  文本内容:最基础的处理工作是匹配词库进行分类处理,现有的词库按风险严重程度可以划分为涉政词与敏感词两大分类。尤其可能涉及政治违规的关键词需要严格进行处理,而敏感词中除了明确公众普遍不可接受的词汇外还有大量在不同场景下有不同语义的敏感词,如果完全统一处理就很容易给用户带来体验损害。

  举个例子,“约”一词就需要根据其实际的词汇组合以及语境来进行判断,“明天去看电影,约吗?”就不是需要处罚的语句。在此基础上就衍生出利于上下文内容判定语义的语义分析,以及根据聚类分析判断与垃圾文本的相似性的结果判定。

  图片内容:机器对图片类型的内容审核,其底层是图片识别的技术应用。所有的物品图像都有它的图形特征,图片识别则可以以其基础特征为基础进行判断。以足球为例,其球状圆形球形以及遍布五边形的图案就构成了其基础特征,图片识别通过算法提取图像的特征值,计算特征值的相似度匹配物品图像原型。

  以此为基础逻辑,图片内容的各个场景得以被辨识并应用到内容审核中,比如下图以网易易盾的图片检测的产品介绍为例示意其应用场景。

  (网易易盾的图片识别应用场景)

  音频内容:音频内容审查包括音频与视频两个类型媒介的内容提取。音频识别的技术基础建立在以声学模型建立的发音模版,通过匹配发音模版判断出语种和对应表义,输出可被计算机理解的语言结果。

  在内容审核应用上,一种通用方法是将语音识别为文本信息后复用文本内容的判断模型。在语音识别中,面临音频背景音嘈杂的场景还需要进行降噪,而多音轨发音场景下要实现准确识别也是一大难题。

  视频内容:视频动画的实现终究是基于画面帧的连续播放,故对于视频画面内容的处理,目前通用的解决方案是截取画面帧进行识别,最终复用的是图片识别模型判断涉黄、暴力、血腥等违禁内容。一个仅仅几分钟视频所拥有的图片帧数量极多,其中截帧的频次越高,数量越多,该视频出现违禁内容的风险越小。

  可见,以上几种不同媒介的机器审核目前于业界已经有基础方案。但实际应用可是复杂多样,机器审核无法完全解决诸如多音轨语音、完整图案干扰、文本植入变异敏感词、视频“闪现”违禁内容等场景的问题,其终究起到的是辅助审核的作用。根本逻辑即是通过机器审核剔除明确违规的内容,剩下的内容最终交由人工审核判定分发。

  UGC内容风控设计

  与热门推荐算法导向的“资讯”、“内容”向产品不同,微信、QQ及一众新兴社交软件的UGC动态内容生产高并发,用户体验有更高的时效性需求,如何把握用户体验和内容审查就成为其风控的一大要点。以下选取QQ、陌陌、Soul、Uki四款社交软件,以色情维度的信息为例,测评其在内容风控上的产品设计。

  发布动态

  在动态社区中,“聊骚”这样一个敏感词的判定标准上,4款软件有不同的定义。除了Soul已然将其判定为不可发布与传播的内容外,其他三者均能进行发布分发。而在非文本媒介上,行业标杆QQ与Soul已实现较为完善的内容风控,尤其Soul在发布明显可判定为“色情”的图片、音频、视频内容后,其发布账号会在内容审核后直接被采取封号处罚。

  而Uki与陌陌在动态社区的内容风控上显然有所不足,两者的图片内容发布也会先经过机器审核,在图片识别为违规内容会阻断发布直接删除内容。但实测中在Uki发布一段娇喘音频会先分发到社区,在获得8分钟时间的分发经人工审核后方被通知内容违规进行删除,其审查逻辑是审查即时性的“先发后审”。

  而实测中的陌陌对音频、视频的审查最为宽松,自期违规音频、视频内容发布后的数个小时后,其违规音频、视频内容都未进行删除处理,甚至可通过其小程序进行分享。

  (陌陌通过其K歌功能发布音频内容)

  (陌陌的违规视频动态自发布后数小时内无任何处理)

  经以上实测,目前正进行整改的Soul在内容审查上的判定标准与惩处力度最为严厉,4款社交软件中在动态社区中达到了4种媒介的完善审查机制的仅为QQ与Soul。UGC内容行业要升级审查机制,绕不过真正“先审后发”的实现途径,尤其陌陌与Uki因为审查不严所带来的内容审查风险就极易失控。

  价值观仍然是一根金线

  上文之所以一直强调机器审核的辅助定位和“先审后发”的重要性,究其根本是因为如果在缺乏强有力的人工审核主导作用下,就无法实现内容全面风控,陌陌与Uki的实测案例就应该印证了这一点。

  不同的敏感内容基于表达主旨有不同的表义,以“聊骚”这一敏感词内容为例,所涉及内容在社区网站是否视为违禁,取决于网站运营者基于自身价值观导向所制定网站规准。又例如当用户在社区中发表对美丽向往又不裸露的“性感”内容时,如果单凭机器思维统一以违禁方式进行处理,那么对用户体验而已无异为一场灾难。

  在这种场景下,唯有运营者依据制定出合理且大众公认的性暗示程度标尺进行判定,才能达到用户体验和内容安全的和谐平衡。

  人工强干预除了保障内容全面风控,其另一重要工作就是引导内容社区的价值观走向。在新时代环境下,网站开发者思考如何遵循政策倡导迭代产品尤为关键。以部分网站中推行的青少年模式为例,就是近年来创新地将产品功能设计与内容运营相结合的成功案例。

  经过近年来网信办领导下的一系列整顿后,尤其短视频领域内众多社交媒体内部已建立坚实的内容审核编辑责任制,组织架构上突出“人”在内容风控上的主导地位,如“快手”、“抖音”等社区的内容调性和审核标尺的进步最为直观。

  但仍有部分已建立内容审核编辑责任制却落地不到位,拥有较多资源却又在新媒介内容审核上技术投入不足,以致内容审查机制松懈的网站就需要继续努力,肩负起更多的社会责任。仁以为己任,不亦重乎?

特别提醒:本网内容转载自其他媒体,目的在于传递更多信息,并不代表本网赞同其观点。其原创性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,并请自行核实相关内容。本站不承担此类作品侵权行为的直接责任及连带责任。如若本网有任何内容侵犯您的权益,请及时联系我们,本站将会在24小时内处理完毕。


返回网站首页

本文评论
苹果这半年:高端地位依旧稳固,技术引领无惧唱衰
文|邻章(本文由邻章与腾讯数码联合首发) 时光恍惚,倏然间2018已经走过半程,而智能手机市......
日期:06-23
外媒疑惑:微信功能这么多,为何不在全球大扩张
7月23日消息,据彭博社报道,腾讯在微信全球扩张的战略上相当直接明了:跟着(中国出境游客的)钱走。......
日期:07-23
外媒:看好特斯拉在中国建厂 不过钱从哪里来?
7月11日消息,据外媒综合报道,特斯拉汽车公司(Tesla)首席执行官伊隆·马斯克(Elon Musk)与上......
日期:07-11
91mobiles:OPPO Reno S手机将配备65W快充+6400万摄像头
10月25日消息 据91mobiles报道,OPPO公司将在印度推出一款名为OPPO Reno S的智能手机,将采用64MP主......
日期:10-25
台媒:台积电计划2022年开始量产3nm芯片
台积电在8月14日宣布,公司董事会已批准了一项约45亿美元的资本预算。未来将会使用该预算来修建新的......
日期:08-16
风口上的短视频 为什么没有《镇魂》《延禧攻略》这样的爆款内容?
今年6月,抖音首次公布运营数据,国内抖音的日活跃用户突破1.5亿,月活跃用户破3亿。飞速飙升的用户......
日期:08-20
LG G8 ThinQ真机长这样?外媒“抢跑”放出评测
LG G8 ThinQ新旗舰手机预计将于今日晚间会在西班牙巴塞罗那亮相,不过外媒Gizmodoo今日似乎搞错了时......
日期:02-24
捅了马蜂窝,赚了10万+,造假式打假走向何方?
上周末,一个自媒体账号联合一家数据公司,炮轰马蜂窝点评内容造假,甚嚣尘上,并冠之以“鬼城......
日期:10-24
网络安全人才培养模式新探索 缓解行业人才供需不衡
信息时代,网络空间已经成为当今人类活动的“第五空间”,大到国家政治、经济、文化,小......
日期:10-03
苹果2019:放弃5G 开放内容
导语: 在月初的文章《2018,苹果跌落》中,我分析了苹果在2018年所遭遇的问题,其中提到......
日期:01-31
外媒:迅雷与新大陆战略合作 探索网络安全和电子支付领域
据海外区块链媒体CoinSpeaker报道,区块链基础设施巨头迅雷与新大陆科技集团近日达成战略合作,共同......
日期:09-26
中国中小企业创新服务大会召开 宸信征信张为斌受邀发表主题演讲
10月29日上午,第八届中国中小企业创新服务大会在东莞召开。全国人大常委会委员、全国人大财经委副......
日期:10-31
分析师:iPhone XR是苹果赶在对手之前的自我颠覆
研究公司IHS Markit周四发布了一份新的分析师报告,对苹果在iPhoneXR上采取的策略进行了分析。具体......
日期:10-25
高交会来啦! 博铭维智能科技携带新型高科技检测产品亮相高交会
11月13日-11月17日,以“共建活力湾区,携手开放创新”为主题的第二十一届中国国际高新技......
日期:11-19
国产工业机器人想统治中国市场 外媒:任重道远
8月21日消息,据国外媒体报道,著名咨询公司麦肯锡的一位高级合伙人日前接受采访时表示,中国对机器......
日期:08-21
全球手机销量一哥之争:三星守得住?华为攻得下?
继今年第二和第三季度华为在全球智能手机市场连续两个季度销量超越苹果稳居第二之后,近日业内有关......
日期:11-26
从OLED屏的量产 看中国制造的短板
前不久老冀跟一家国内显示器件厂商的高管聊天,说到最近华为Mate 20 Pro已经开始采购京东方AMOLED柔......
日期:11-14
饿了么小哥深夜帮走失女童找家人,第二天她爹妈愣是说出了这种话……
在饿了么外卖侠的队伍中,小哥帮助走失儿童找到父母的事情发生过很多次了,但像这位外卖侠这样,遇......
日期:07-20
阿里狙击美团了吗?
自收购饿了么之后,关于"阿里围剿美团"的讨论就未停止过,此后饿了么和口碑合并,阿里开始通过资源......
日期:11-27
裁员9%、跨国建厂、削减业务……特斯拉将如何自救?
埃隆·马斯克——科技天才、超级富豪、人称“硅谷钢铁侠”。作为一个业务范围上天入地,横跨多个领域...
日期:06-25