เทคนิคใช้ Iceberg ตารางเดียวรัน BigQuery, Spark และ Trino
ด้วยความร่วมมือกับ Google Cloud

ในงานวิศวกรรมข้อมูลทั่วไป เรามักเห็นการใช้ BigQuery เพื่อการวิเคราะห์ ใช้ Apache Spark ทำไปป์ไลน์ และใช้ Trino สำหรับคิวรีเฉพาะกิจ โดยแต่ละเครื่องมือมักต้องมีสำเนาข้อมูลของตัวเองและคอยซิงค์ข้อมูลให้ตรงกัน ซึ่งมักนำไปสู่ปัญหาข้อมูลไม่สอดคล้องและความล่าช้า (lag)
ปัญหาที่พบบ่อยคือ BigQuery อาจรายงานสถานะคำสั่งซื้อว่า จัดส่งแล้ว แต่ Spark กลับบอกว่า รอการจัดส่ง เนื่องจากรอบการซิงค์ไม่ตรงกัน ทำให้ไม่สามารถเชื่อถือข้อมูลได้จนกว่าการซิงค์จะเสร็จสิ้น อีกทั้งยังต้องเสียค่าใช้จ่ายด้าน Compute และ Storage สำหรับข้อมูลที่ซ้ำซ้อน รวมถึงเวลาของวิศวกรในการดูแลไปป์ไลน์
Google Cloud's borderless Lakehouse และรูปแบบตารางเปิด Apache Iceberg เข้ามาช่วยแก้ปัญหานี้ โดยทุกเอนจินสามารถอ่านไฟล์ Parquet และ Metadata ชุดเดียวกันได้โดยตรง Catalog ที่ใช้งานร่วมกันจะช่วยจัดการโปรโตคอลการคอมมิต เพื่อให้มั่นใจว่าทุกเอนจินเห็นข้อมูลเวอร์ชันล่าสุดตรงกันโดยไม่เขียนทับข้อมูลกันเอง เพื่อพิสูจน์แนวคิดนี้ ผมได้ตั้งค่าตาราง orders บน Cloud Storage โดยใช้ Lakehouse runtime catalog ให้ Spark เป็นผู้โหลดข้อมูล, Trino ทำหน้าที่เพิ่มข้อมูล (append) และ BigQuery ทำการอัปเดตและรวมข้อมูล (merge) พร้อมทดสอบการเขียนข้อมูลพร้อมกันเพื่อดูการจัดการของ Iceberg

ภาพที่ 1. สถาปัตยกรรมของโปรเจกต์
ผลลัพธ์ที่รายงานนี้มาจากการรันคำสั่งจริงบนโปรเจกต์ Google Cloud ใหม่ โดยคุณสามารถดูสคริปต์ทั้งหมดได้ที่ repository นี้
ภาพรวมสถาปัตยกรรม: หนึ่ง Bucket, หนึ่ง Catalog, สาม เอนจิน
หัวใจสำคัญคือการเก็บไฟล์ข้อมูลและ Metadata ไว้ที่ Cloud Storage เพียงแห่งเดียว โดย Catalog จะทำหน้าที่เป็นตัวชี้ (pointer) ไปยังไฟล์ metadata.json เวอร์ชันปัจจุบันของแต่ละตาราง การเปลี่ยนตัวชี้เพียงอย่างเดียวก็สามารถเปลี่ยนสถานะตารางได้ทันที
Spark และ Trino เข้าถึง Catalog ผ่าน Apache Iceberg REST catalog endpoint ส่วน BigQuery สามารถอ่านตารางได้โดยตรงผ่านโครงสร้างชื่อสี่ส่วนคือ project.catalog.namespace.table หรือที่เรียกว่า กฎการตั้งชื่อ P.C.N.T.
สำหรับการเข้าถึงข้อมูล ผมเลือกใช้ โหมดการออกข้อมูลประจำตัว (credential vending mode) ซึ่ง Catalog จะออกโทเค็นอายุสั้นที่จำกัดสิทธิ์ตามเส้นทางของตารางที่อ่านหรือเขียน ช่วยให้จัดการสิทธิ์การเข้าถึง Bucket ได้ง่ายขึ้นผ่านตัวตนเพียงชุดเดียว
ขั้นตอนที่ 1: การสร้าง Catalog และ Bucket
เริ่มต้นด้วยการสร้าง Bucket และ Catalog ด้วยคำสั่ง gcloud เพียงไม่กี่ขั้นตอน โดยกำหนดประเภท Catalog เป็น biglake เพื่อความยืดหยุ่นในการขยายเส้นทางจัดเก็บข้อมูลในอนาคต
export PROJECT_ID="my-project"
export REGION="us-central1"
export BUCKET_NAME="${PROJECT_ID}-one-table-lakehouse"
export CATALOG_ID="one_table_catalog"
gcloud storage buckets create gs://${BUCKET_NAME} \
--project=${PROJECT_ID} \
--location=${REGION} \
--uniform-bucket-level-access
gcloud biglake iceberg catalogs create ${CATALOG_ID} \
--project=${PROJECT_ID} \
--catalog-type=biglake \
--default-location=gs://${BUCKET_NAME} \
--credential-mode=vended-credentialsจากนั้นต้องมอบสิทธิ์ให้ Service Account ของ Catalog เพื่อเข้าถึง Bucket ได้ โดยระบบจะจัดการสิทธิ์แบบอะซิงโครนัส ซึ่งอาจต้องรอประมาณ 20 วินาทีก่อนที่จะรันคำสั่งสำเร็จ

ภาพที่ 2. รายละเอียด catalog ของโปรเจกต์
ขั้นตอนที่ 2: การสร้างและโหลดตารางจาก Managed Service for Apache Spark
เราใช้ Spark ในการสร้างตารางเป็นลำดับแรก โดยต้องตั้งค่าโหมดการเขียนเป็น copy-on-write เพื่อให้รองรับการทำงานของ BigQuery DML และระบบบำรุงรักษาตารางอัตโนมัติของ Google
CREATE TABLE one_table_catalog.shop.orders (
order_id BIGINT,
customer_id BIGINT,
status STRING,
amount DECIMAL(10,2),
updated_at TIMESTAMP
)
USING iceberg
TBLPROPERTIES (
'format-version' = '2',
'write.delete.mode' = 'copy-on-write',
'write.update.mode' = 'copy-on-write',
'write.merge.mode' = 'copy-on-write',
'gcp.biglake.bigquery-dml.enabled' = 'true'
);การตั้งค่า gcp.biglake.bigquery-dml.enabled = true เป็นส่วนสำคัญที่ทำให้ BigQuery สามารถเขียนข้อมูลลงในตาราง Iceberg ได้ ซึ่งปัจจุบันยังอยู่ในช่วง Preview
ขั้นตอนที่ 3: การเพิ่มข้อมูลและการสอบถามจาก Trino
Trino รับหน้าที่ในการอ่านและเพิ่มข้อมูล (append) โดยเชื่อมต่อผ่าน REST Catalog สำหรับอิมเมจ Dataproc ปัจจุบันอาจต้องมีการปรับแต่งเล็กน้อยเพื่อให้ทำงานร่วมกับ Catalog ได้อย่างสมบูรณ์
เมื่อเชื่อมต่อสำเร็จ Trino สามารถอ่านข้อมูลที่ Spark สร้างขึ้นและเพิ่มแถวใหม่เข้าไปได้ทันทีผ่านคำสั่ง SQL มาตรฐาน โดยไม่ต้องกังวลเรื่องการทำสำเนาข้อมูล
ขั้นตอนที่ 4: การอ่านและเขียนจาก BigQuery
BigQuery สามารถอ่านข้อมูลทั้งจาก Spark และ Trino ได้โดยไม่ต้องตั้งค่าตารางภายนอกเพิ่มเติม และสามารถใช้คำสั่ง UPDATE หรือ MERGE เพื่อแก้ไขข้อมูลในตาราง Iceberg ได้โดยตรง
ตัวอย่างประวัติ Snapshot จะแสดงให้เห็นว่าทุกเอนจินเขียนลงในตารางเดียวกันอย่างต่อเนื่อง:
| Committed_at (UTC) | Operation | เขียนโดย | จำนวนระเบียนหลังจากนั้น |
|---|---|---|---|
| 21:47:26 | append | Spark | 5 |
| 22:33:26 | append | Trino | 8 |
| 22:41:24 | overwrite | BigQuery UPDATE | 8 |
| 22:41:33 | overwrite | BigQuery MERGE | 9 |
ขั้นตอนที่ 5: การเขียนพร้อมกันจาก Spark และ Trino
Iceberg ใช้การควบคุมความพร้อมกันแบบมองโลกในแง่ดี (optimistic concurrency) เมื่อมีการเขียนข้อมูลพร้อมกัน Catalog จะทำหน้าที่จัดลำดับและตรวจสอบข้อขัดแย้ง
จากการทดสอบ พบว่าเมื่อ Spark MERGE และ Trino INSERT ทำงานพร้อมกัน Trino จะเป็นฝ่ายชนะเนื่องจากประมวลผลได้เร็วกว่า ทำให้ Spark ต้องยกเลิกการคอมมิตตามหลักความปลอดภัยของข้อมูล อย่างไรก็ตาม เราสามารถปรับระดับความแยกตัว (isolation level) เป็น snapshot เพื่อให้ทั้งสองคำสั่งสามารถคอมมิตได้พร้อมกันหากเงื่อนไขทางธุรกิจยอมรับได้
บทสรุป
การใช้ตาราง Iceberg เพียงตารางเดียวช่วยลดความยุ่งยากในการจัดการข้อมูลระหว่าง Spark, Trino และ BigQuery ได้อย่างมีประสิทธิภาพ อย่างไรก็ตาม ในการนำไปใช้งานจริง ควรพิจารณาการเลือกระดับ Isolation ให้เหมาะสมกับงานแต่ละประเภท และปรับแต่งจำนวนครั้งการลองคอมมิตใหม่ (retries) ตามความหนาแน่นของการเขียนข้อมูล เพื่อให้ระบบทำงานได้อย่างราบรื่นที่สุด
ผู้ร่วมเขียนหลักของบทความนี้คือ Shittu Olumide
ความคิดเห็น (0)
เข้าสู่ระบบเพื่อร่วมแสดงความเห็น
สมัครสมาชิกมาเป็นคนแรกที่แสดงความเห็นกันเลยโบร
