您的位置:首页 > 互联网

火山引擎正式发布企业版ClickHouse——ByteHouse ClickHouse 的发展

发布时间:2021-08-25 18:18:00  来源:互联网     背景:

  近十年以来,交互式分析领域百花齐放,大量解决方案随着大数据技术升级而涌现,但尚未有产品达到类似 Oracle 和 MySQL 一样在 OLTP(Online Transaction Processing)领域中领先的地位。其中,ClickHouse 作为一款 PB 量级的交互式分析数据库,最早是由号称“俄罗斯 Google ”的 Yandex 公司开发,并很快作为世界第二大网络引擎的流量分析平台 Yandex.Metrica(同类产品包括 Google Analytics、友盟统计)的核心查询引擎。

  综合来说,ClickHouse 作为交互式分析数据库,有几大明显优势:

  :大规模并行计算框架,超高吞吐的实时写入能力;

  :极致的查询性能,尤其是在大宽表为主体的数据模型中;

  :无侵入式架构,轻松集成到现有系统,可复用上下游数据开发工具;

  :充分利用硬件资源,以极低的成本分析海量数据;

  DB-Engine 上 ClickHouse 的排名趋势图

  自 2016 年开源以来,ClickHouse 凭借其数倍于其他顶尖交互式分析数据库的极致性能,成为该领域的后起之秀,发展速度非常迅猛。截止 2021 年 8 月份,ClickHouse 已在 Github 上获得 18.2K Star,DB-Engines 排名近一年上升 16 位,并在国内获得字节跳动、快手、京东等互联网企业的生产级使用。

  ClickHouse与字节跳动的故事

  近年来,字节跳动旗下抖音、今日头条等产品的成长速度之快引人注目。事实上,承载着这些产品持续高速增长的关键所在,是背后的中台化技术底座。无论是在算法、AI 还是数据分析等核心技术上,字节跳动在相关领域中一直保持着领先水平。

  字节跳动:中台化的技术底座

  其中字节跳动对 ClickHouse 的选型和使用也是如此,从 2017 年最早的用户行为分析场景开始,逐渐开始支持广告业务、用户增长、A/B测试、算法模型优化等大量内部场景,并演化成国内最大规模的ClickHouse使用者。

  目前字节内部的 ClickHouse 节点总数超过1万5千个,管理总数据量超过600PB,最大的集群规模在 2400 余个节点。字节跳动内部广泛的业务增长分析很多都建立在ClickHouse为基础的查询引擎上。

  在从 0 到 15000 节点的过程中,字节跳动的技术团队也遇到了很多开源 ClickHouse 的运维痛点和技术挑战。如多表关联查询、复杂嵌套子查询等复杂场景下,仍有性能不足、无法支持数据按条更新、实时数据写入的性能有限、集群扩展难度较高、运维复杂度高等问题。

  对此,随着业务场景持续增多,字节 ClickHouse 技术团队通过自研的方式极大地丰富了 ClickHouse 可使用的场景,提高运维的人效,不仅解决了开源技术上手难和试错成本高的痛点,同时已经有足够能力来提供商业产品和企业级技术支持服务。

  火山引擎正式发布 ByteHouse

  过去,与开源社区用户的交流中,经常听到的反馈是 ClickHouse “上手容易,用好很难”,或由于没有经验而“想用不敢用”,这对于性能如此出众的存储引擎来说,不免遗憾。

  现在,字节跳动旗下企业级技术服务平台火山引擎正式对外发布「ByteHouse」,为大家提供企业级技术支持服务。作为 ClickHouse企业版,ByteHouse经过了字节跳动内部海量数据场景的打磨和极限的业务要求,更加符合企业高速增长诉求,其主要亮点如下:

  分布式查询增强:支持星型模型等复杂的多表关联场景,进一步去除数据冗余和数据准备成本;

  支持Upsert 语义:既保留了ClickHouse高效的数据写入性能、又支持 Upsert(update or insert) 写入方式,帮助业务更简单地开发实时分析应用;

  实时数据引擎:支持实时数据高效写入,支持 exactly once 语义,写入性能远超原生架构;

  数据分级存储:冷热数据分级存储在HDFS和本地存储,自动化管理数据热度,自动转存不同存储,有效缓解业务存储空间持续增长的问题;

  企业级运维工具:自助运维能力,包括配置下发、指标告警、集群健康度监控、查询任务诊断、集群负载管理等功能,极大提高了运维人效。

  作为国内 ClickHouse 技术的多年深度实践者,ByteHouse 现基于自研技术能力和超大规模使用经验,为更多的企业大数据团队带来新的选择和支持,以应对复杂多变的业务需求,高速增长的数据场景。未来,ByteHouse 将不断以字节跳动和外部最佳实践输出给行业用户,帮助企业更好地构建交互式大数据分析平台,并更广泛的与 ClickHouse 研发者社群共享经验,共同推动 ClickHouse 社区的发展。

特别提醒:本网信息来自于互联网,目的在于传递更多信息,并不代表本网赞同其观点。其原创性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,并请自行核实相关内容。本站不承担此类作品侵权行为的直接责任及连带责任。如若本网有任何内容侵犯您的权益,请及时联系我们,本站将会在24小时内处理完毕。


返回网站首页

本文评论
官宣:小米与薇娅达成战略合作
5月16日晚间,小米公司官方微博宣布,知名带货主播薇娅与小米公司达成战略合作。...
日期:05-17
高额奖池、院士评定,首届全球人工智能技术创新大赛开启征召!
随着新一轮科技革命和产业变革的来临,产业智能化升级与转型正迈进新的加速阶段。积淀的AI技术如何下......
日期:03-18
天财商龙“智慧食堂”解决方案重磅发布!
在餐饮行业进入高质量发展阶段,客户为王,体验为尊成为了餐饮人的共识。然而,行业里还有一个特殊......
日期:11-18
“三款产品一大平台”亮相 腾讯云构建智能语音与对话平台能力
“三款产品一大平台”同时亮相,腾讯云构建业界领先智能语音与对话平台能力...
日期:04-16
微盟与百胜软件达成战略合作,携手打造数字服务生态链
3月10日,智慧商业服务提供商微盟与全渠道数字零售解决方案服务商百胜软件举行战略合作发布会。双......
日期:03-10
颠覆传统认知!TCL75C10双屏QLED TV打造全新观感体验
作为20世纪兴起的产物,电视的发展史说起来倒是颇为有趣。从黑白到彩电、从模拟电视到互联网电视,......
日期:10-21
诚力弘光获“猪八戒2019-2020年优秀服务商” 以效果见真章
在刚刚结束的猪八戒网14周年庆祝活动上,来自湖南的服务商——诚力弘光品牌策划有限公司从......
日期:09-16
土巴兔要用互联网重构整个产业
创业家&i黑马讯 11月23日消息,由创业家&i黑马主办的第11届创业家年会在京举行,土巴兔创始......
日期:06-11
Soul为Z世代开启社交新世界
如今,当人们想发个朋友圈肆意吐槽时,翻看一下好友列表才发现早已被熟人包围,在这样的社交网络里......
日期:06-15
Z世代绽放青春力量 获年轻人认可的Soul势能爆发
从以动漫、游戏、二次元文化等小众领域切入吸引年轻用户,到频频发力“破圈”,日活超越......
日期:08-19
物联网时代 华为鸿蒙抢跑
日前,华为在全球开发者大会上正式向全球发布面向全场景的分布式操作系统——鸿蒙OS,紧接着又推出搭载这一系统的...
日期:08-13
名师辅导、家长管控!步步高家教机成孩子暑假贴心“家教”
受特殊原因影响,今年中小学生们普遍很晚才开学。而现在,这些孩子们又陆续迎来了暑假。暑假的到来......
日期:07-08
替微软操心,粉丝制作Windows 10版本2004概念设计:靓彩版开始菜单
1月3日消息 微软一直在Windows 10上进行每年两次的重大更新改进,但是在过去的几个发行版中,Window......
日期:01-03
大唐先一与深信服推出大数据及工业互联网平台联合解决方案
5月24日,大唐先一与深信服签署了大数据及工业互联网平台联合方案备忘录,联合推出大数据及工业互联......
日期:06-16
从此次CES 2020看AMD追赶Intel还有多长的路要走?
2020年的元旦刚一过,PC市场就硝烟弥漫,半导体行业两大上游厂商Intel和AMD在美国CES 2020上各自开......
日期:01-17
粮稳国安丨锐特信息现代农产品商贸园区平台,打响“粮食”保卫战!
9月7日,在农业农村部联合中央广播电视总台等共同举办的线上线下联动的大型直播活动中,杂交水稻之......
日期:09-22
华为mate 20 Pro和iPhone XR,很难二选一,看完这4点再入手!
苹果和华为都是现在手机行业中的佼佼者,华为mate 20 Pro和iPhone XR两款前旗舰都不落伍,价格也差......
日期:05-25
50家联想来酷智生活店盛夏齐开业,全新智能消费体验进行时
黄金六月,进入毕业季后,消费热情也迎来夏季高峰。而就在6月26日,联想来酷智生活店便迎来了全国数......
日期:06-26
32小时超长续航+提供镭射服务 荣耀Earbuds2 SE幻夜黑配色正式开售
8月6日,荣耀官方宣布荣耀Earbuds2 SE耳机全新配色幻夜黑正式开售。继荣耀Earbuds2 SE冰岛白之后,......
日期:08-06
金融壹账通与信达雅达成战略合作 开启中小企跨境贸易新赛道
线上食品B2B跨境贸易平台信达雅(Trustana) 与金融壹账通旗下子公司——金融壹账通(新加坡......
日期:06-30