Folia
← 返回头版

FastBCP 1.6发布:无需恢复数据库即可将SQL Server备份直接导出为Parquet格式

Arpe Technologies旗下工具FastBCP发布1.6版本,新增backup_mssql连接类型,支持直接从SQL Server备份文件(.bak)中提取表数据并转换为Parquet格式 1。该功能允许用户在不运行SQL Server实例、不执行数据库恢复操作且无需提供凭证的情况下完成数据导出 1。这一特性主要解决了大数据量场景下的效率瓶颈,以及传统方式中跨版本恢复受限和负载隔离困难等问题 1。

在性能方面,针对一个320 GB的生产环境备份文件,首次打开耗时2分29秒,后续访问仅需0.3秒;使用24线程将一个包含1.75亿行的表导出至Parquet格式耗时29.6秒 1。另一项基于TPC-H SF10数据集的笔记本测试显示,在未压缩备份条件下,暖启动导出拥有1500万行的orders表仅需1.5至2秒,速度是实时adbc_mssql源的2.3到2.4倍 1。此外,针对宽列存储表的内存占用也得到显著优化,在8线程配置下,峰值内存从早期的42 GB降低至5.9 GB 1。

该工具通过专用驱动ArpeMSBackup直接解析备份二进制文件来实现上述功能 1。目前,它支持SQL Server 2017、2019、2022及2025版本的完整备份(Full)和仅复制备份(Copy-only),但不支持差异备份和日志备份 1。在压缩与加密兼容性上,FastBCP支持MS_XPRESS和ZSTD压缩格式,但无法处理TDE加密备份及Intel QuickAssist压缩备份 1。配合其FastTransfer组件,导出的Parquet文件可被加载至任意版本的SQL Server或PostgreSQL中,从而突破原生RESTORE命令的版本限制 1。典型应用场景包括单表恢复、数据迁移以及数据湖填充等 1。


评论