物流行业解决方案
物流业务的底层就是对速度和精准的极致追求。在物流业中,数据的重要性不言而喻,它是企业运营的指南针,是企业实现从要素驱动向创新驱动转型的有力法宝。镜舟数据库助力企业从海量的物流数据,即包装、运输、仓储、配送等环节挖掘出新的价值,提高运输与配送效率,送达准确率、减少库存成本,实现最终的降本增效需求。
业务场景和需求
极速跟踪复杂多环节业务流程:速度是物流企业的核心竞争力之一,尤其是当今全民网购的时代下,订单由商城域进入物流域、从仓储到分拣、从配送到妥投,最后到消费者手里,海量数据遍布复杂的业务流程,所以数据分析处理的速度成为了物流业务的时效性高低的关键因素。
统一分析多维立体分布的数据:随着实体包裹在物流位置上的运输,数据从多个业务系统汇集而来。地理位置、物流批次、时间语义等众多分析维度,加上复杂的数据演变环节,使得数据分析难度较大。
业务场景和需求
降低核心主营业务的流程成本:货品从始发地到目的地有多种路径,中转站、直达、包车等不同的规划将产生不同的成本组合,合理的路径选择将为物流企业节省相当可观的运转成本。
统一复杂的路径优化计算过程:为了进行最大程度的路径优化,需要基于运单进行非常复杂的路径成本计算,要求大数据基础设施具有高效的分析计算能力。
解决方案架构
创新性技术,降低运单分析复杂度
部分列更新构建宽表
借助 PrimaryKey 模型的 Partial Update 功能,可以实现 Join On Load,将多个业务系统的数据以部分列更新的形式分别导入宽表的不同列,降低 Flink 流式计算里构建宽表的技术复杂度。
高效实时更新和极速多维OLAP分析
PrimaryKey 模型采用 Delete+Insert / Merge on Write 的形式,在保证高效数据更新的前提下,相比 Merge on Read 形式的存储引擎有 2 倍以上查询性能优势。
采用 Bitmap 索引有效提升数据筛选效率
对于具有众多时间语义的运单宽表,时间字段上有更新需求,很难选取合适的单一时间字段用于分区。通过在各个核心时间字段上加 Bitmap 索引的形式,可以有效降低查询时磁盘 Scan 的开销,有效提升自助分析场景下数据筛选效率。
复杂查询极速分析,降低转运成本
高性能 MPP 分析型数据
现代化 MPP 架构、全面向量化执行引擎、Pipeline 协程执行框架等核心能力,使得镜舟数据库可以充分利用分布式集群下多机多核的计算资源。
强大 CBO 优化器随时应对复杂查询
基于统计信息自动选择分布式 Join 的策略,自动改写左右驱动表关系,配合常量折叠、谓词下推、RuntimeFilter、延迟物化、全局低基数字典等技术,保证在复杂查询下有最优查询体验。
镜舟物流行业解决方案白皮书
获取咨询