您的位置:首页 > 互联网

百度飞桨又有大动作!推出图神经网络屠榜“必杀技”UniMP

发布时间:2020-09-18 00:00:00  来源:互联网     背景:

  百度又有“大动作”?9月18日,百度正式公布在图神经网络领域取得新突破,提出融合标签传递和图神经网络的统一模型UniMP(Unified Message Passing),在图神经网络权威榜单OGB(Open Graph Benchmark)取得多项榜首,引发业界关注。

  Leaderboard for ogbn-products

图片

  Leaderboard for ogbn-proteins

图片

  Leaderboard for ogbn-arxiv

图片

  图神经网络最权威榜单OGB

  图神经网络是用于图结构数据的深度学习架构,将端到端学习与归纳推理相结合,有望解决传统深度学习无法处理的因果推理、可解释性等问题,是非常有潜力的人工智能研究方向。但是,这个领域一直缺乏规模比较大且认可度较高的数据集。目前大量的论文仍然在Cora、PubMed、Citeseer等小数据集上进行实验,实验的效果也没有普适性。在此情况下,OGB(Open%20Graph%20Benchmark)应运而生:

  权威性高:OGB是由斯坦福大学图神经网络权威Jure%20Leskovec教授团队建立的大规模图学习任务的评测基准数据集,指导委员会包含Yoshua%20Bengio、Will%20Hamilton、Max%20Welling等业界大牛。Jure%20Leskovec教授在NeurlPS%202019大会的演讲中正式对外发布OGB并开源,是目前公认最权威的图学习相关基准测试数据集。

  数据丰富:OGB面向不同的图学习任务(包括节点分类,边预测,图分类)分别提供了多个数据集,如学术引用网络、知识图谱、分子图、生物网络等。其中最热门的三个半监督节点分类数据集:商品推荐ogbn-products、论文引用ogbn-arxiv和化学分子ogbn-proteins,对图神经网络研究者有极强的吸引力。

  夺榜激烈:OGB吸引了包括斯坦福、纽约大学、加州大学洛杉矶分校、康奈尔大学、亚马逊等多个机构参与打榜;榜单上也诞生了层出不穷的新颖图神经网络结构,如堆积112层的深度图卷积网络DeeperGCN,发表在ICML%202020的多层图网络GCNII,还有多种形式不同的图采样算法。

  近日,百度PGL团队创新提出统一消息传递图神经网络模型UniMP,在三大半监督节点分类数据集均荣登榜首。榜单上放出的开源代码与论文地址如下:

  UniMP开源代码地址:https://github.com/PaddlePaddle/PGL/tree/main/ogb_examples/nodeproppred/unimp

  UniMP论文地址:https://arxiv.org/pdf/2009.03509.pdf

  UniMP:统一消息传递模型

  在半监督图节点分类场景下,节点之间通过边相连接,部分节点被打上标签。任务要求模型通过监督学习的方式,拟合被标注节点数据,并对未标注的节点进行预测。如下图所示,在一般机器学习的问题上,已标注的训练数据在新数据的推断上,并不能发挥直接的作用,因为数据的输入是独立的。然而在图神经网络的场景下,已有的标注数据可以从节点与节点的连接中,根据图结构关系推广到新的未标注数据中。

  一般应用于半监督节点分类的算法分为图神经网络和标签传递算法两类,它们都是通过消息传递的方式(前者传递特征、后者传递标签)进行节点标签的学习和预测。其中经典标签传递算法如LPA,只考虑了将标签在图上进行传递,而图神经网络算法大多也只是使用了节点特征以及图的链接信息进行分类。但是单纯考虑标签传递或者节点特征都是不足够的。

图片

  百度PGL团队提出的统一消息传递模型 UniMP,将上述两种消息统一到框架中,同时实现了节点的特征与标签传递,显著提升了模型的泛化效果。 UniMP以Graph Transformer模型作为基础骨架,联合使用标签嵌入方法,将节点特征和部分节点标签同时输入至模型中,从而实现了节点特征和标签的同时传递。

  简单的加入标签信息会带来标签泄漏的问题,即标签信息即是特征又是训练目标。实际上,标签大部分是有顺序的,例如在引用网络中,论文是按照时间先后顺序出现的,其标签也应该有一定的先后顺序。在无法得知训练集标签顺序的情况下,UniMP提出了标签掩码学习方法。UniMP每一次随机将一定量的节点标签掩码为未知,用部分已有的标注信息、图结构信息以及节点特征来还原训练数据的标签。最终,UniMP在OGB上取得SOTA效果,并在论文的消融实验上,验证了方法的有效性。

  屠榜背后:飞桨图学习框架PGL加持

图片

  UniMP基于飞桨图学习框架PGL(Paddle Graph Learning)实现,依托飞桨核心框架以及自研的图引擎。PGL支持十亿节点百亿边的超巨图训练,原生支持异构图Metapath采样以及Message Passing双模式,预置多种业界主流图学习算法以及自研模型如ERNIESage、UniMP等,方便开发者熟悉和使用图神经网络领域模型。

  飞桨PGL已经在搜索、广告、信息流、金融风控、贴吧、用户画像、智能地图等场景全面落地,可支持百亿巨图场景。图学习作为通用人工智能算法之一,势必成为这个时代新的基础设施,赋能各行各业,助燃智能经济腾飞。

  PGL获得喜人成绩,背后离不开强有力的后盾——飞桨。飞桨是我国首个开源开放、功能完备的产业级深度学习平台,向下对接芯片,能够和芯片进行软硬一体的优化,向上支撑各种应用,助力技术创新和业务发展,可以说是“智能时代的操作系统”。近期,飞桨动态图和API体系全面升级,让开发者可以更便捷地开发、更高效地部署模型。

  百度希望有志之士加入PGL,一起共建未来。PGL代码完全开源开放,欢迎欢迎开发者们使用并贡献您的奇思妙想。如果您觉得还不错,欢迎“Star”;如果您有意见需要交流,欢迎“Issue”,PGL开源代码和入门教程链接:

  PGL开源代码:https://github.com/PaddlePaddle/PGL

  PGL图学习入门教程:https://aistudio.baidu.com/aistudio/projectdetail/413386

特别提醒:本网内容转载自其他媒体,目的在于传递更多信息,并不代表本网赞同其观点。其原创性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,并请自行核实相关内容。本站不承担此类作品侵权行为的直接责任及连带责任。如若本网有任何内容侵犯您的权益,请及时联系我们,本站将会在24小时内处理完毕。


返回网站首页

本文评论
315全民焕新节悟空榜:飞利浦荣获空净、个护两榜头魁
315“国际消费者权益日”已经来到,重视体验、重视服务、重视用户,一切从用户的角度出发......
日期:03-16
西班牙开始第一阶段解封 送餐机器人襄助餐厅“开门迎客”
疫情之下,旅西中餐业如何应对疫情变化?位于马德里Santa María de la Cabeza大街,接待过西......
日期:05-27
技术投入推动产品升级,国美零售正加速转型
近来,国美积极为复工复产做准备,在全国大部分省市地区恢复门店经营。特别是在三至六线市场的新零售......
日期:04-07
秒级预警抢出生命线,千亿智慧消防蓝海市场特斯联踏准风口
“第一时间预警险情,是消防救援智慧化的一个重要标志。从判断真实火情到发出警报通知责任人,......
日期:06-28
科大讯飞iFLYOS 2.0,助力个性化智能硬件开发
每一次序幕,皆为起飞的起点。2019年5月21日,科大讯飞在上海世博中心盛大举办2019年新品发布会。全......
日期:05-22
中手游党支部赴韶山开展第二期“不忘初心 牢记使命”主题教育活动
“为有牺牲多壮志,敢教日月换新天”的韶山精神是我们党的传家宝,是我们民族十分宝贵的......
日期:09-26
既要大规模又想个性化?看ABM如何助力To B企业做内容营销【附实操】
基于客户的营销(ABM)之所以被称为To B企业ROI最高的营销策略,原因就在于其颠覆了传统的B2B线索生成......
日期:02-21
打击网络黑灰产业,探探在行动
科技的发展,给人们带来了高效、便捷的生活服务,同时也滋生了一些不法分子。目前利用网络诈骗形成......
日期:11-19
《奇葩说》热议异性Soulmate 不如来Soul和你的灵魂伴侣一见如故
《奇葩说》第六季第九期辩题引起了全网热议:“伴侣有个异性Soulmate,我该介意吗?”辩手......
日期:12-06
服务北京冬奥会,崇礼铁路全线联调联试启动
据中国铁路报道,10月22日,随着综合检测列车从京张高铁开进下花园北站连接崇礼铁路的戴家营1号大桥......
日期:10-26
天翼云AI体温检测系统上线 一秒可检测4人
据了解,为了确保企业企业复工复产,全国各地目前开始大规模使用人体测温系统。天翼云方面表示,其......
日期:02-19
勒索病毒GandCrab V4.3再添新特性:蠕虫式主动传播
GandCrab是今年非常活跃的勒索病毒新家族,其变种更新迭代迅速,对用户网络安全造成极大的威胁。继......
日期:09-26
汇桔网杨昕:知识产权云化时代 汇桔云全面赋能AI产业
i黑马讯(任雪芸)6月13日消息,创业黑马和重庆市两江新区一起举办“智汇两江2019人工智能产业独......
日期:06-17
新西兰、智利大使亲临京东国际直播间 跨文化交流彰显“国际范儿”
每月15日,都是进口日!京东国际“15日进口日”这一IP已经深入人心,那么即将到来的6月15......
日期:06-12
玩游戏什么手机好用?窄边框的手机就好用吗?来看ROG的反击!
在了解玩游戏什么手机好用的问题上面,参照不同手机产品的各项参数,抛却核心性能不说,如果单纯只是从......
日期:01-08
百度地图成特斯拉“新拍档” 特斯拉车主:马斯克有眼光!
1月17日,小年夜,特斯拉和百度共同宣布,特斯拉地图数据服务商将更换为百度地图。特斯拉导航系统将......
日期:01-17
乘“丰”破浪!缤纷水果顺丰领“鲜”,助力心动鲜果C位出道
国务院印发的《中国食物与营养发展纲要》标准显示,2020年中国水果总消费量需要达到8,400万吨;而《20......
日期:09-02
信用重塑金融服务,优卡科技深耕信用科技领域普惠小微金融
信用重塑金融服务,优卡科技深耕信用科技领域普惠小微金融 伴随着大数据、人工智能、云计算、区块链技术的发展,信用科技...
日期:04-29
华强技术防盗系统威力大,警方呼吁给电动自行车加装防盗设备
近年来,电动自行车已成为普通百姓常用的交通工具,但也引起了系列社会问题,比如车辆被盗现象屡屡......
日期:04-10
深度学习框架开源任重道远 百度飞桨稳扎稳打全面领先
自主、开源、开放是深度学习领域被提及的高频词汇,这也透露出拥有自己的深度学习开源框架对中国AI......
日期:03-25