1.大数据架构系列:如何理解湖仓一体?源云软
2.在 Rainbond 上使用在线知识库系统zyplayer-doc
大数据架构系列:如何理解湖仓一体?
在年,腾讯的码多A/B Test团队启动了海外商业化版本ABetterChoice的建设。ABetterChoice是源云软一款全新的SaaS产品,它将腾讯内部积累的码多优秀实验能力进行抽象,并基于海外合规、源云软多云环境适配等复杂要求,码多导入hibernate源码进行改造,源云软以满足海外用户需求的码多先进实验产品。ABetterChoice通过StarRocks实现了计算引擎的源云软统一,使实验计算层规范化,码多计算SQL统一化,源云软提升了整体应用服务的码多可复用性。它已接入包括王者荣耀海外版、源云软PUBG Mobile、码多Ubisoft全境封锁等业务。源云软ABetterChoice官网为ABetterChoice.ai。
A/B Test的外卖订餐源码SaaS介绍和应用案例。A/B测试源自生物医学中的双盲测试,能够运用在互联网领域,为战略决策、产品迭代、新策略验证提供科学依据。以游戏生态为例,实验能够深度挖掘不同玩家圈层的特征和诉求,进行游戏产品的改造与优化,提升玩家口碑和核心运营指标。
关于腾讯的A/B Test。在年,腾讯PCG大数据平台部科学实验团队基于内部沉淀的A/B Test平台启动了ABetterChoice的建设,作为一款能够赋能业务增长的数据产品,开始进行海外版本的改造筹备工作,提供一套对齐海外竞品、突出腾讯A/B特性的后端管理vue源码优秀SaaS产品。ABetterChoice已接入王者荣耀海外版、PUBG Mobile、Ubisoft全境封锁等业务。
出海原因和用户诉求。在腾讯游戏出海以及海外二方工作室快速发展的背景下,A/B实验平台作为一款增长数据产品,开始进行海外版本改造,提供一套支持海外数据合规、多云环境的通用化数据底座,满足不同业务背景和诉求。
架构现状与问题。腾讯A/B Test架构采用Kappa架构,支持数据流批上报和多维分析,使用StarRocks的存算一体模式,但在多表Join计算场景下资源耗费大,集群本地存储使用SSD,自己做联盟源码随着业务数据生命周期延长成本增加,且与腾讯云深度绑定,不支持海外二方工作室的数据需求。
实验架构改造。实验数据入湖,架构改造基于主流公有云,采用湖仓一体、存算分离架构,选用StarRocks作为OLAP引擎,满足数据合规和多租户接入。在腾讯云引入TBDS,海外公有云引入Databricks,提供数据入湖通道。湖上建仓,需要通用的OLAP引擎支持湖仓一体生态,同时具备本地存储+计算能力。多维指标源码查询StarRocks在3.1版本后支持Delta Lake和Iceberg,实现高性能查询和真正的湖仓融合。
数据冷热分离。在实验场景中,不同用户对数据存储周期不同,StarRocks会将最近天数据存储在本地SSD,超过天的数据自动降冷至对象存储,通过数据湖调度维护表Meta信息和状态。冷热数据分区查询,采用BE+CN混合查询模式,调整执行计划,减少数据交换过程,提升查询性能。
多租户隔离。A/B实验是典型的多租户场景,针对不同业务的计算资源需求和数据合规要求,设计一套集查询引擎、数据湖和对象存储的多租户隔离方案。查询引擎层实现平等资源下发,数据湖层通过Databricks Unity Catalog屏蔽权限,对象存储层实现地域隔离和用户权限管控。
总结与展望。基于StarRocks的ABetterChoice在公有云实现落地,已完成接入验证工作。未来计划深化StarRocks在多维即席查询的性能优化、湖仓一体架构的定制化改造,形成一套立足海外场景的基于StarRocks的湖仓一体生态建设经验。更多信息关注StarRocks公众号和源码GitHub,欢迎交流。
在 Rainbond 上使用在线知识库系统zyplayer-doc
zyplayer-doc 是一款适合企业和个人使用的WIKI知识库管理工具,提供在线化的知识库管理功能,专为私有化部署而设计,最大程度上保证企业或个人的数据安全,可以完全以内网的方式来部署使用它。
当然也可以将其作为企业产品的说明文档来使用,支持一键将整个空间的内容开放到互联网,并提供有不同风格的开放文档页样式可供选择,省去您为了产品的说明文档而去定制开发一个系统的成本。
本文将介绍通过 Rainbond 部署在线知识库系统 zyplayer-doc 的两种方式,使用 Rainbond 开源应用商店一键部署和通过源代码部署。
部署 zyplayer-doc 安装 Rainbond
Rainbond 是一个云原生应用管理平台,使用简单,不需要懂容器、Kubernetes和底层复杂技术,支持管理多个Kubernetes集群,和管理企业应用全生命周期。主要功能包括应用开发环境、应用市场、微服务架构、应用交付、应用运维、应用级多云管理等。
可通过一条命令快速安装 Rainbond。
通过应用商店部署 zyplayer-doc
zyplayer-doc 已经发布到 Rainbond 开源应用商店,用户可通过开源应用商店一键安装 zyplayer-doc。
在 Rainbond 的「平台管理 -> 应用市场 -> 开源应用商店」 中搜索 zyplayer-doc 并安装。
部署完成后拓扑图如下。
可通过 Rainbond 默认提供的域名访问zyplayer-doc,访问需要加后缀 /zyplayer-doc/,如:/zyplayer-doc/,默认用户密码 「zyplayer/」。
通过源码部署 zyplayer-doc
zyplayer-doc 是由 Java 编写的 SpringBoot 项目,Rainbond 对于 Java 项目可以通过识别项目的 pom.xml 文件来进行模块的打包以及构建和部署,实现一键式体验。
部署 MySQL
zyplayer-doc 需要使用 MySQL 服务,可以通过 Rainbond 开源应用商店快速部署 MySQL。
在 Rainbond 的「平台管理 -> 应用市场 -> 开源应用商店」 中搜索 mysql 并安装,可选择安装 5.7 或 8.0 版本。
源码部署 zyplayer-doc
修改zyplayer-doc-manage/src/main/resources/application.yml配置文件,连接信息可在 MySQL 组件中的依赖信息查看。
进入到团队/应用内,选择通过源码创建组件。
然后 Rainbond 会检测出来为多模块项目,选择zyplayer-doc-manage 并进行构建,其他模块都是依赖项,是不可运行的。
编排服务
在应用内 -> 切换到编排模式,将 zyplayer 组件依赖至 MySQL 组件,这样 MySQL 组件会将自身的环境变量注入到 zyplayer 中,zyplayer 组件就可以通过配置文件中的环境变量连接到 MySQL 数据库。
然后更新 zyplayer 组件即可。
最后通过 Rainbond 默认提供的域名访问zyplayer-doc,访问需要加后缀 /zyplayer-doc/,如:/zyplayer-doc/,默认用户密码 「zyplayer/」。