大數據領域新星，帶你了解DuckDB
隨著大數據領域的不斷發展，新的數據處理和分析工具不斷涌現。在這些工具中，DuckDB 是個亮點，它是一個開源的數據庫管理系統，使用 SQL 作為查詢語言，旨在提供內存中分析的高性能解決方案。DuckDB 還支持與 pandas DataFrame 的無縫集成，可以便捷地與 pandas 等工具進行數據處理和分析。因此，DuckDB 是一個非常值得關注和探索的數據庫管理系統。
1 DuckDB的崛起
DuckDB 是個正在快速崛起非常受歡迎的內置 SQL 分析引擎。統計數據如下：
- 每月在 PyPI 上有 170 萬次下載
- 在 GitHub 上有 13,800 個星標，在短短幾年內已與 Postgres 達到了同樣的歡迎程度
DuckDB 與 Postgres 的比較 - GitHub Star Rating
在可比的兩年時間內，DuckDB 的增長速度與 Snowflake 相當，據 DB-Engines 趨勢報告顯示，DuckDB很可能在未來幾年內成為主流，并至少取代目前在傳統數據倉庫中處理的一些負載。
DuckDB 與 Snowflake 的比較 - DB Engines 排名
DuckDB 的 MIT 許可證保證其永久開源，這也增加了它的吸引力。
2 DuckDB 的優勢
- 易于安裝：運行 DuckDB 只需執行一行命令brew install duckdb。
- 低復雜性：由于沒有服務器（DuckDB 只是一個二進制文件），因此不需要處理憑證、訪問控制列表、防火墻配置等問題。
- 通用兼容性：DuckDB 幾乎沒有依賴性，可以在瀏覽器中運行。
- 與 Pandas DataFrame 集成：DuckDB 的 Python 庫具有查詢 Pandas DataFrames 的能力。這種集成還使 DuckDB 能夠在自己和其他無法直接查詢的系統之間起到統一層或 "粘合劑" 的作用，促進了數據處理中的轉換步驟。
- 擴展：DuckDB 具有靈活的擴展機制，這對于直接從 JSON 和 Parquet 或直接從 S3 讀取數據特別重要，能夠大大提高開發人員的體驗。
- 穩定性和效率：DuckDB 旨在處理超出內存限制（雖然有一些限制）的工作負載。這在分析數據集大于可用 RAM 但小于磁盤容量的情況下特別重要，這使得分析工作可以使用 "便宜"且隨時可用的硬件（如筆記本電腦）來完成。
3 DuckDB：實際數據流中的高效數據處理引擎
與基于云的系統相比，DuckDB 更具吸引力，因為它對硬件的要求較低且成本效益較高。從開發人員的筆記本電腦到生產設置，DuckDB 在各種環境中都保持一致，這與基于云的解決方案形成了鮮明對比，后者往往會隨著時間的推移、數據的陳舊或無效而發生漂移。
DuckDB 可以在幾乎任何地方輕松運行，有效地繞過分布式系統中常見的挑戰，例如將數據移動到計算節點、VM/作業編排和故障處理。現代機器（基于云或由蘋果公司 M1 SoC 驅動的機器）的能力進一步增強了 DuckDB 的實用性，可以在單機處理場景下處理大量數據集。盡管只有少數客戶每天需要處理 TB 級別的數據，但實際上所需的計算能力超出了所有公有云現有的能力。
4 SQL "語法糖"
DuckDB 的相對新穎性使其能夠靈活地引入新的 SQL 語法增強功能，如GROUP BY ALL、SELECT * EXCLUDE、ASOF JOINS等。這些新增功能使 SQL 查詢更直觀、更易讀；請看下面的代碼段：
-- 在 ANSI SQL 中按多個字段分組
SELECT country, city, region, postal_code, AVG(price) AS avg_price
FROM customers
-- 這里需要重復非分組字段
GROUP BY country, city, region, postal_code;
-- 在 DuckDB 中按所有字段分組
SELECT country, city, region, postal_code, AVG(price) AS avg_price
-- Fields are only listed once; maintaining the code becomes easier
GROUP BY ALL;-- 在 ANSI SQL 中查詢除 'email' 字段外的所有字段
SELECT country, city, region, postal_code, address, phone_number
/*, email*/
FROM customers;
-- 在 DuckDB 中查詢除 'email' 字段外的所有字段
SELECT * EXCLUDE (email) FROM customers;-- 考慮將“接近”的時間戳連接在一起。
-- 在 ANSI SQL 中，通常需要將它們分成桶
-- 在 DuckDB 中，可以使用 ASOF JOIN 來實現相同的結果,更簡單、更高效。
SELECT events.id, events.ts, events.val, metadata.details
FROM events
ASOF JOIN metadata USING(id, ts);5 與Pandas Dataframes集成
DuckDB 的一個明顯優勢（尤其在 Python 生態系統中）就是與 Pandas Dataframes 的無縫集成。這個特性簡化了合并不同來源數據集的過程，使數據分析和轉換任務變得更加簡單。
例如，在 Jupyter Notebook 中，可以執行以下操作（基于電影推薦系統數據集https://www.kaggle.com/datasets/bandikarthik/movie-recommendation-system）：
# 安裝依賴
%pip install --quiet duckdb
%pip install --quiet jupysql
%pip install --quiet duckdb-engine
%pip install --quiet pandas
%pip install --quiet matplotlib
%pip install --quiet psycopg2-binary
%pip install --quiet dash
%pip install --quiet plotly
import duckdb
import pandas as pd
# 加載并配置 jupysql
%load_ext sql
%config SqlMagic.autopandas = True
%config SqlMagic.feedback = False
%config SqlMagic.displaycon = False
%config SqlMagic.named_parameters=True
# 連接到本地 DuckDB 實例
%sql duckdb:///
# 啟用 DuckDB 查詢遠程文件（例如 S3）
%%sql
INSTALL httpfs;
LOAD httpfs;
# 配置 S3 訪問密鑰
SET s3_region = '...';
SET s3_access_key_id = '...';
SET s3_secret_access_key = '...';
# 連接到遠程 Postgres 數據庫
ATTACH 'dbname=DATABASE user=USER host=HOST password=PASSWORD connect_timeout=10' AS postgres (TYPE postgres, READ_ONLY);
# 執行查詢并將結果存儲在 dataframe 中
%%sql
df << SELECT
t1.movieId,
t1.title,
t1.genres,
t2.userId,
t2.rating,
t3.tag
# 查詢 Postgres 中的表
FROM postgres.public.movies AS t1
# 與 DuckDB 中的表連接
INNER JOIN ratings AS t2 USING (movieId)
# 與 S3 中的 JSON 數據集連接
INNER JOIN 's3://S3-BUCKET/tags.json' AS t3 USING (userId, movieId)
# 最后，從另一個查詢中引用 dataframe
%%sql
by_genres << SELECT genres, COUNT(*) AS cnt
FROM df
GROUP BY ALL
ORDER BY 2 DESC
LIMIT 5;
# 或者繪制轉換后的數據集
import plotly.express as px
fig = px.pie(by_genres,
values='cnt',
names='genres',
title='Top 5 movie genres')
fig.show()6 結語
本文關于 DuckDB 的概述強調了它作為大數據領域多功能、高效和用戶友好型工具的潛力。作為一個相對較新的工具，DuckDB 具有獨特的優勢，可以彌合差距，為數據工程師和軟件開發人員提供與不斷變化的需求相符的解決方案。
