Title:Modern Data Architecture & Tech Stack 當代資料流架構技術棧與實踐
Date:2026/4/24 14:20-15:30
Location:R103, CSIE
Speakers:蘇揮原工程師
Host:陳尚澤教授
Abstract:
在 Data & AI 驅動的時代,資料工程的挑戰已從單純的「資料搬運」演進為「複雜系統設計」。其中資料工程為結合了分散式系統、資料庫理論與軟體架構的交叉學科。本次分享主要介紹當代資料架構的全景視圖,並重點探討 Lakehouse 新興架構如何重塑數據產業。
從基礎的資料流設計(ETL/ELT)開始,對比 Batch 與 Streaming 在實務中的權衡和過去資料架構常見的痛點,並重點介紹當代技術棧的核心元件——Apache Iceberg。也會演示如何利用當代數據架構構建高品質的數據生產線,並分享身為 Data Engineer,如何將分散式架構應用於解決動態、複雜的商業場景,為未來投入數據產業做好準備。
Biography:
現任職於趨勢科技,擁有超過 8 年的資料工程經驗。專精於設計與實作高擴展性的 Batch/Streaming 串流資料架構,並整合現代化大數據儲存技術,構建兼具數據治理與分析導向資料架構。
除技術深耕外,亦積極投身技術社群,曾多次受邀於 PyCon、iThome、dbt Meetup 等年度技術大會擔任講者,以分享資料架構轉型、技術框架導入及實戰案例。