ClickHouse在实时广告圈人业务中的最佳实践

在当今数字化营销时代，广告业务的精准度和时效性成为核心竞争力。实时广告圈人（Real-Time Audience Targeting）作为精准营销的关键环节，要求系统能够在极短时间内，基于用户实时行为数据，动态地筛选和圈定目标人群，并触发相应的广告投放。ClickHouse，作为一款开源的列式数据库管理系统，凭借其卓越的实时分析能力和极高的查询性能，已成为支撑此类业务场景的理想技术选型之一。本文将探讨ClickHouse在实时广告圈人业务中的最佳实践。

一、 业务场景与挑战

实时广告圈人的典型流程是：用户发生一个行为（如浏览商品、点击广告、加入购物车），该行为日志被实时采集；系统立刻根据预设的规则（如“过去24小时内浏览过汽车资讯但未下单的用户”）对该行为进行判断；若命中规则，则该用户ID被归入特定人群包，并实时同步给广告投放平台进行定向展示。

面临的挑战主要包括：

1. 数据量巨大：用户行为日志每日可达千亿级别。
2. 查询延时要求极低：圈人判断需要在毫秒到秒级完成。
3. 查询模式复杂：多为多维度、带有时间窗口的过滤与聚合查询。
4. 高并发点查：需要快速查询单个用户的历史行为序列以进行实时判断。
5. 数据实时更新：需要支持用户标签、人群包关系的实时更新与查询。

二、 ClickHouse的核心优势

针对以上挑战，ClickHouse展现了其独特优势：

1. 列式存储与压缩：极高的压缩比大幅减少I/O，非常适合对宽表进行少量列聚合过滤的查询。
2. 向量化执行引擎：利用CPU SIMD指令，在单个操作中处理大量数据，极大提升聚合计算性能。
3. 丰富的表引擎：如MergeTree系列引擎支持高性能的实时插入与查询；AggregatingMergeTree和SummingMergeTree可预聚合数据；ReplacingMergeTree支持去重更新，为不同数据场景提供灵活支持。
4. 强大的分布式能力：通过分片（Shard）与复制（Replica）轻松实现水平扩展，保障海量数据下的处理能力与高可用性。

三、 实时广告圈人架构最佳实践

1. 数据分层与表设计

• 贴源层：使用Kafka等消息队列接收实时行为日志。ClickHouse通过Kafka表引擎或MaterializedView直接消费，并写入核心明细表。明细表通常采用ReplicatedReplacingMergeTree引擎，按事件时间（如event_date）分区，按用户ID排序键，以支持按用户快速检索行为序列。
• 聚合层：为加速频繁查询，可创建物化视图（Materialized View）或使用AggregatingMergeTree表，对明细数据按分钟/小时粒度进行预聚合（如计算用户在过去1小时内的点击次数）。物化视图在后台自动计算，对应用透明。
• 圈人结果层：存储最终的人群包关系。可使用ReplicatedReplacingMergeTree引擎，以人群包ID和用户ID作为组合主键，支持用户进出人群包的实时更新。

2. 索引与查询优化

• 主键（排序键）设计：这是最重要的优化点。应遵循“高基数字段在前”的原则，将最常用于WHERE过滤和GROUP BY的字段（如user<em>id, event</em>time）作为排序键。对于圈人查询WHERE user<em>id = ? AND event</em>time > now() - 3600，此设计能实现超高效查找。
• 跳数索引：对于非主键列的常用过滤条件（如ad<em>campaign</em>id, city），可创建SET、Bloom Filter等类型的跳数索引，加速数据块定位。
• 避免JOIN：ClickHouse的JOIN性能相对较弱。实践中，应尽量通过“大宽表”或“预关联”的方式，将维度信息冗余到事实表中，或者通过IN子查询替代JOIN。
• 使用近似查询：对于去重计数（如计算UV），在可接受误差范围内，优先使用uniqCombined等近似计算函数，性能可提升数倍。

3. 实时数据更新与同步

• 用户标签或人群包关系的更新，可通过INSERT+ReplacingMergeTree的“插队”方式实现。查询时使用FINAL关键字或通过GROUP BY ... argMax()方式获取最新状态。对于更高频的更新，可考虑使用CollapsingMergeTree或VersionedCollapsingMergeTree引擎。
• 圈人结果需要实时同步至Redis或广告投放端。可通过监听ClickHouse的CHANGELOG（如使用MaterializedPostgreSQL引擎或Debezium+CDC），或者通过定期查询增量变化的方式实现。

4. 集群部署与运维

• 采用分片副本架构，确保负载均衡和数据高可用。使用Distributed表引擎作为统一查询入口。
• 根据查询模式（偏重近期数据）合理设置数据分区策略（如按天分区），并配置TTL自动淘汰过期数据，降低成本并提升近期数据查询性能。
• 监控系统资源（CPU、内存、磁盘I/O），特别是Merge操作和查询队列状态，防止慢查询拖垮集群。

四、 实践案例与效果

某头部电商广告平台，将用户实时点击、浏览、搜索行为日志接入ClickHouse集群。通过上述最佳实践：

• 数据入库延迟控制在秒级。
• 针对“过去30天购买过母婴用品但最近7天未登录”的复杂圈人查询，响应时间从Hive时代的数分钟提升至亚秒级。
• 系统可稳定支撑每秒数万次的用户实时行为判断与人群包更新。
• 存储成本因高压缩比而显著降低。

五、 与展望

ClickHouse以其卓越的实时分析能力，为实时广告圈人业务提供了坚实的技术底座。成功的核心在于：贴合业务特点的精准数据建模、极致的索引与查询优化、以及合理的集群架构。随着业务发展，未来可进一步探索与机器学习平台的结合，实现更智能、动态的实时人群规则引擎，并持续优化资源利用效率，在性能与成本间取得最佳平衡。