Folia
← 返回头版

PostHog 放弃 DuckDB 转向 Trino,推出自研开放表格式 HogLake

数据分析公司 PostHog 宣布将其数据仓库架构从基于 DuckDB 的方案迁移至基于 Trino 的新架构,并推出了自研的开放表格式 HogLake 1。此次重构历时三个月,旨在解决原有系统在云环境下处理 PB 级数据时面临的性能瓶颈、扩展性限制及资源预测难题 1。尽管单节点工具如 DuckDB 在特定场景下表现优异,但 PostHog 指出其在大规模分布式场景中存在着显著短板 1。

PostHog 早在五个月前曾尝试使用 DuckDB 重建仓库,但目前决定再次进行重构并彻底移除 DuckDB 1。旧架构下的数据规模已达到约 2 PB,包含大约 1 万亿行数据和 1530 万个快照 1。在此规模下,DuckDB 的扩展方案 DuckLake 出现了严重问题,单次写操作耗时超过 3 分钟,且即使清理统计信息后行数仍会重新增长 1。此外,连接元数据库在共享 Postgres 实例上开销过高导致写入速度变慢,而直接提供 Postgres 端口 5432 连接不仅难以扩展,还面临负载均衡工具匮乏及客户端兼容性维护成本高昂的问题 1。新方案将重点优化用户体验和规模化能力,团队强调不应过度炒作底层技术,而应关注最终用户获得的体验 1


评论