数字智能营销行业,已步入产品与技术精细化运营的竞争阶段。近期,易点天下(301171)数仓平台建设已进入第四阶段,并进入全面部署,完善监控等集群的自动化运营阶段。
数据仓库平台建设的主要价值,在于更高效解决海量数据(603138)存储、快速查询,并助力企业业务高效发展。易点天下作为一家技术驱动发展的企业国际化智能营销服务公司,目前服务平台数据覆盖全球超过238个国家和地区,应用安装、用户注册、商品销售等商业效果转化累计8亿次+,独立设备覆盖70亿+台,如何更高效有序的存储、查询并调用海量数据资源,是其提升自身运营投放效率的关键之一。
(资料图片)
为了更好地辅助业务提高数据模型的复用率、提升数据查询效率、控制数据成本,易点天下对数仓进行了统一规划和建设。
在易点天下最新的数仓StarRocks的建设过程中,首先对数据进行了规范与分层。由于数据来自于不同的媒体渠道,更大程度将不同种类的数据整合处理,规范命名和存储,便于统一管理。为了更好地对数据进行检索,在广度层面,易点天下将数据分为数据引入层 、明细数据层 、汇总数据层、数据应用层以及维度层等5个层级,便于业务开展时操作上更加便捷。
同时,为规范数据仓库处理数据的范围,以及处理数据的业务类型,在深度层面,易点天下也对不同业务和不同数据类型进行拆分,在业务板块,分为广告投放类,创新类, 推广类, 电商类等;而在类型板块,则分为收入、花费、投放、渠道等不同维度的数据。
目前数据平台以实时流和离线处理两条方式同时向StarRocks数据仓库中进行数据load。如下架构中易点天下自研了数据治理平台(DataPlus)用于数据监控提高数据质量, 维护元数据血缘等数据的拓扑结构,自动化建模。另外还自研了分布式的跨云调度系统(EasyJob), 用来系统便捷的处理多云环境下的数据依赖和调度。
▲数据分析主要流程架构▲
通过元数据,数据血缘体系建立,未来可以通过让建模规范,建模质量等规则自动化,形成线上系统的自动化建模功能,自动化建模生成标准SQL,最终在数仓(StarRocks)中定时执行生效,便于限制人为建模的不规范操作,最大程度的优化模型和成本。
▲建模过程和数据治理平台
(DataPlus)中的功能映射▲
在针对BI系统开展了StarRocks的数据仓库的建设后,易点天下后期会推广到数据平台所有项目的数据场景中,实现全部数据的秒级导入延迟,SQL查询与TP95查询5秒内返回,并通过不断优化模型生成效率,持续提高数据查询效率。
InfoQ旗下《架构师》2月刊已刊登易点天下数仓平台建设案例研究全文。对于在技术侧需要以分布式架构全天候处理全球海量数据为代表的科技类企业,技术中台能力的建设将成为其自身运营效率与服务质量提升的关键。智能营销行业亦如是,易点天下将继续潜心钻研,以技术创新的力量带动服务升级,驱动商业增长。
数字智能营销行业,已步入产品与技术精细化运营的竞争阶段。近期,...
同花顺F10数据显示,2023年2月14日中伟股份(300919)新增“固态电...
菱电电控(688667)02月14日在投资者关系平台上答复了投资者关心的问题。
2月14日,春兴精工在回答投资者提问特斯拉是否为公司客户时表示:在...
ST星星(300256)02月09日在投资者关系平台上答复了投资者关心的问题。
证券时报e公司讯,海优新材2月14日晚间公告,公司拟与上饶经开区签...
格隆汇2月14日丨振华风光发布首次公开发行网下配售限售股上市流通公...
同花顺(300033)金融研究中心2月14日讯,有投资者向湘潭电化(0021...
同花顺(300033)金融研究中心2月14日讯,有投资者向旗天科技(3000...
证券时报e公司讯,翱捷科技2月14日晚间公告,公司拟回购股份将在未...
产品名规格类别产地 品牌2月13日报价2月14日报价涨跌涨跌幅%单位OX...
2023年2月14日,河南宝兴环保科技有限公司水处理商品报价:聚丙烯酰...
2023年2月14日,河南凯捷水处理有限公司聚合氯化铝价格平稳:固体、...
为进一步规范春运期间漯河市客运市场秩序,今年1月份以来,该市交通...
IMA管理会计师协会考试认证部日前公布CMA注册管理会计师认证考试高...
同花顺F10数据显示,2023年2月14日合兴包装(002228)新增“小米概...
中电兴发(002298)02月14日在投资者关系平台上答复了投资者关心的问题。
中百集团(000759)02月14日在投资者关系平台上答复了投资者关心的问题。
得润电子(002055)02月14日在投资者关系平台上答复了投资者关心的问题。
2月14日,沪指早盘窄幅震荡,午后小幅拉升,深成指、创业板指弱势震...
新车磨合期是多少公里及注意事项汽车磨合不只是新车主的事情,一些...
证券时报e公司讯,2月14日,集度“ROBOVERSE三里屯体验中心启动会”...
(原标题我国市场主体达1 7亿户其中个体工商户1 14亿户约占总量三...
企业名称品种产能(万吨 年)装置动态扬子巴斯夫EVA20产6110M
企业名称品种产能(万吨 年)动态延长榆林EVA30产V2825Y
2月14日,张家港保税区泛亚国际贸易有限公司TDI价格,上海货报价205...
生意社获悉,2月14日,山东海右石化集团有限公司直馏石脑油自提报价...
中国经济网北京2月14日讯熵基科技(301330 SZ)今日股价下跌,截至收...
宏德股份(301163)02月14日在投资者关系平台上答复了投资者关心的问题。
双星新材(002585)02月14日在投资者关系平台上答复了投资者关心的问题。
X 关闭
X 关闭