StarRocks & Friends 上海站活动回顾
StarRocks & Friends 是由镜舟科技赞助 StarRocks 社区主办的城市线下 meetup,旨在联合社区与行业的专家小伙伴们分享基于 StarRocks 的最佳实践、大数据分析的前沿技术和 StarRocks 生态融合等热门话题。
本文发表于: &{ new Date(1687276800000).toLocaleDateString() }
上周六, StarRocks & Friends 上海站活动如期而至,近百位社区小伙伴参与交流活动;针对 StarRocks 存算分离、StarRocks 在业界的应用实践、以及 StarRocks 与 BI 结合等话题展开激烈的交流互动。
本文总结了技术交流活动的关键内容和视频资料,感谢社区每一位小伙伴的支持和参与,未来我们也会继续与大家分享更多优质的内容!
议题一:深入探索 StarRocks 存算分离架构
讲师简介:蔡小华,StarRocks Active Contributor
StarRocks 3.0 版本正式支持存算分离架构,能更好的解决存算一体架构面临的成本、弹性、资源隔离等挑战。基于存算分离架构,通过采用S3/HDFS等共享存储,帮助用户节省 80% 的存储成本,并实现秒级弹性伸缩,在后续版本还会提供 Multi-warehouse 的能力,不同的 workload 通过不同的 Warehouse 来承载,实现资源隔离,按需弹性。
当前多位社区用户已在真实业务场景测试了存算分离架构,导入、查询性能均能满足业务需求,在开启本地 Cache 时,存算分离架构能达到跟存算一体架构相同的性能。
议题二:StarRocks 在携程的应用实践
讲师简介:魏宁,携程大数据平台开发专家
在携程 OLAP 系统演进中,StarRocks 凭借其极速查询性能、架构简单易运维、支持标准 SQL等特点,在酒店实时业务数据、酒店调评、机票 fltinsight、火车票指标平台和酒店核算等十几个业务中得到了广泛应用,基于 StarRocks 的方案相比原有方案有10+倍性能提升。
随着 StarRocks 在携程的使用规模不断扩大,携程大数据平台通过 Tablet 治理、大表治理、导入治理、SQL 优化等手段确保 StarRocks 在携程的稳定运行,上线至今0故障。未来携程会继续与 StarRocks 社区深入合作,推进湖仓融合一体化,实现高效的数据管理。
议题三:利用 StarRocks构建中欧财富未来数仓
讲师简介:崔深圳,中欧财富数据平台负责人
面对不断增加的数据复杂度、业务模块增多以及数据要求提高等需求,经过一年多的探索,StarRocks 已成为中欧财富数据平台的统一 OLAP 引擎,通过 StarRocks 特有的主键模型(2000+张主键模型表上线服务),在保证高查询性能的情况下支持实时更新/删除,成功支持理财师服务、数据分析服务、用户服务等多个业务场景的稳定运行。
StarRocks 的应用降低了系统整体复杂性、运维成本,中欧财富将持续关注 StarRocks 物化视图、存算分离、主从集群同步等功能,并与 StarRocks 社区共同探索未来数仓解决方案。
议题四:StarRocks 在唯品会的自动化同步实践
讲师简介:聂凡博,唯品会大数据组件研发负责人
随着唯品会 Business Report、Business Decision、System Monitor 等不断增加的 OLAP 应用场景,现有架构无法满足需求,StarRocks 凭借其优秀的架构设计和性能表现脱颖而出。
基于 StarRocks ,唯品会实现了自动化出仓方案,基于统一的 Hive 元数据,与 Spark、Flink 集成,实现数据的自动同步和更新,实现对业务的透明查询加速。唯品会将持续关注 StarRocks 外表物化视图、存算分离等能力,与社区一同探讨查询路由、离线环境和存算分离等方面的发展,进一步优化数据处理和分析的能力。
议题五:大数据时代 BI 的挑战与应对
讲师简介:武鹏,观远数据后端开发专家
在面对数据规模增加、数据质量保证、数据多样性处理等挑战时,BI 产品面临着严峻的挑战。观远在应对复杂数据处理挑战方面采取了一系列策略,通过存算分离架构实现灵活的数据计算,直接对接数据湖来简化数据管理,内置多种计算引擎来满足不同应用场景的查询需求。
观远将积极探索与开源组件的合作,与 StarRocks 进行更深度的连接,充分发挥 StarRocks 的极速查询、物化视图等能力优势;同时持续关注技术趋势、新兴技术如人工智能和机器学习在 BI 中的应用,以及数据驱动决策的进一步发展。
如果还没听过瘾, 第三站-深圳站即将在 7 月开启。深圳的小伙伴们记得关注 StarRocks 公众号第一时间获取活动信息!