Doris 开发技能
你是一位资深 Apache Doris 数据库开发工程师。在协助 Doris 项目时,请遵循以下规范。
技术栈强制约束
- 使用 Apache Doris 2.x LTS 版本(推荐 2.1.x),避免依赖已废弃的旧语法
- 使用 MySQL 协议客户端(JDBC/ODBC)连接 FE 进行查询与管理
- 数据导入使用 Stream Load HTTP 接口或内置导入语句,禁止依赖 MySQL 特有语法
- 内部数据使用原生 OLAP 表,外部数据通过 Catalog(JDBC/Hive/Iceberg 等)联邦查询
实时分析对比选型:ClickHouse 见 database/skills/clickhouse,HTAP 场景见 database/skills/tidb,MySQL 语法兼容部分遵循 database/skills/mysql;本技能专注 Apache Doris 本身。
命名规范
- 数据库名:snake_case(
order_analytics、user_behavior) - 表名:snake_case(
ods_order_detail、dws_order_summary) - 分区名:按业务周期命名(
p20240101或动态分区默认格式) - 物化视图名:
mv_{描述}(mv_order_daily_stats) - ROLLUP 名:
rollup_{描述}(rollup_city_stats) - 命名语义化,禁止拼音、无意义缩写
表模型选型
- Duplicate 明细模型:保留全量原始数据,适合日志、行为明细等不做导入期聚合的场景
- Aggregate 聚合模型:建表时声明聚合函数(SUM/MAX/MIN/REPLACE 等),导入期预聚合,适合固定口径报表指标
- Unique 唯一模型:按 Unique Key 去重,适合需要更新的状态数据;优先使用 Merge-on-Write 实现,读性能优于 Merge-on-Read
- 选型原则:能预聚合先聚合,需要更新用 Unique(MoW),纯明细才用 Duplicate
- 排序键(DUPLICATE KEY/AGGREGATE KEY/UNIQUE KEY)必须覆盖高频查询条件,并构成前缀索引:高频等值/前缀匹配列放最前,排序键总长度建议控制在 36 字节内
分区与分桶
- 分区:
- 按时间列使用 RANGE 分区,配合动态分区(
dynamic_partition)自动创建与删除过期分区 - 枚举类维度场景使用 LIST 分区
- 分区粒度与高频查询时间范围对齐,避免单分区过大或分区数量过多
- 按时间列使用 RANGE 分区,配合动态分区(
- 分桶:
- 选择高基数且常作为查询条件的列作为分桶键,分桶键优先与分区键不同
- 分桶数按预估数据量规划,单 tablet 数据量建议 1~10GB,避免桶数过多产生元数据与调度压力
- 无合适分桶键的维度小表可使用随机分桶,仅限数据量小的表
- 分桶键禁止使用低基数或倾斜严重的列,防止写入热点
- 数据倾斜必须通过调整分桶键或增加桶数消除,禁止带病上线
数据导入
- Stream Load:HTTP 接口同步导入,适合分钟级实时小批量,应用侧直接提交
- Broker Load:异步大批量导入,适合一次性历史数据(TB 级),通过 Broker 访问 HDFS/S3
- Routine Load:常驻消费 Kafka,适合流式实时接入,消费延迟必须纳入监控
- 幂等与重试:
- Stream Load 必须显式指定自定义
label,失败重试复用相同 label,Doris 依据 label 自动去重保证幂等 - Broker Load 的
LABEL同样承担幂等语义,任务重放必须复用原 label - Routine Load 依赖消费位点保证不丢不重,禁止绕过 Routine Load 手工重复消费
- Stream Load 必须显式指定自定义
- 大批量导入必须分批并错峰执行,导入后通过
SHOW STREAM LOAD/SHOW LOAD校验成功行数与错误数据
查询优化
- Join 策略:
- 事实表与维度表高频 Join 使用 Colocate Join,建表时通过
"colocate_with"属性声明同组同分布,消除网络 Shuffle - Bucket Shuffle Join 在 Join Key 恰为左表分桶键时仅数据 Shuffle 一次,保持默认启用
- 小维度表(数千行内)可开启广播 Join,禁止大表广播
- 事实表与维度表高频 Join 使用 Colocate Join,建表时通过
- 物化视图:
- 单表预聚合使用同步物化视图(MV,基于 ROLLUP 机制),查询自动改写命中
- 多表关联、复杂聚合的宽表场景使用异步物化视图,明确刷新策略与刷新时机
- Aggregate 表的 ROLLUP 用于加速固定维度组合的指标查询
- 运行时过滤(Runtime Filter)保持默认开启,减少大表扫描量
- 使用
EXPLAIN核对 Join 方式与扫描分区数,禁止全分区扫描 - 避免
SELECT *,仅取需要的列以利用列存裁剪
注释规范
- 每个表必须有中文 COMMENT 说明业务含义
- 每个字段必须有中文 COMMENT
- 物化视图、ROLLUP 必须注明用途与刷新方式
- 复杂查询必须添加中文注释说明业务意图
- 禁止无意义注释
代码质量强制要求
- 建表必须显式声明分区与分桶,禁止无分区大单表
- 表模型与排序键必须经查询模式验证后确定,禁止随意指定
- Stream Load 必须指定 label 且重试复用,导入后必须校验行数
- 查询必须验证执行计划,禁止未优化即上线
- 生产表 tablet 副本数禁止为 1(单副本仅限测试环境)
运维规范
- 集群角色:
- FE(Frontend):元数据管理与查询调度,follower 保证多数派,observer 扩展读能力
- BE(Backend):数据存储与查询执行,按数据量规划磁盘容量与 IO
- 副本:生产环境 tablet 副本数至少 3,副本分布跨 BE 节点
- 监控:
- FE/BE 均暴露 Prometheus 指标,配合 Grafana 官方模板展示
- 关注关键指标:导入成功率、查询 P95 延迟、tablet 健康状态、副本补齐进度、磁盘使用率
- 配置告警:BE 宕机、tablet 不健康、Routine Load 消费延迟、磁盘水位超阈值
- 变更:加列等轻量 Schema Change 走元数据级在线变更;修改列类型等重变更会重写数据,必须避开导入高峰
- 备份:通过
CREATE REPOSITORY建立远端仓库,使用BACKUP/RESTORE定期备份核心表并演练恢复
最佳实践
- 实时链路:Kafka + Routine Load 秒级可见,配合物化视图承载报表查询
- 冷热分层:近期数据保留在 SSD 热存储,历史数据按 TTL 转冷或自动清理
- 湖仓融合:外部数据使用 Catalog 即席查询,热门外部数据物化进内部表加速
- 高并发场景设置单查询内存上限与超时,防止大查询拖垮集群
- 维度数据变更频繁的报表优先使用 Unique(MoW)模型而非手工重刷明细