Smallpond是推出的基于 DuckDB 和 构建的轻量级数据处理框架，专为高性能和大规模数据处理设计。Smallpond支持处理 PB 级数据集，借助 DuckDB 的高性能分析能力和 3FS 的分布式存储优势，实现高效的数据加载、查询和转换。Smallpond支持快速上手，提供示例数据和详细的文档，适合需要高效处理大规模数据的用户和开发者。

Smallpond基于GraySort 基准测试在运行 3FS 的集群上对 Smallpond 进行评估，集群包含50个计算节点和25个存储节点。基准测试对110.5 TiB 的数据进行了排序，耗时30分钟14秒，平均吞吐量达到3.66 TiB/min。

Smallpond – DeepSeek开源的轻量级数据处理框架 第1张
（图片来源网络，侵删）
Smallpond – DeepSeek开源的轻量级数据处理框架 第2张
（图片来源网络，侵删）