[演講] 12/23 Liger Kernel-Open Sourced GPU Kernels Saving Millions of Cost for LLM Training

  • 2024-12-09

講題: Liger Kernel-Open Sourced GPU Kernels Saving Millions of Cost for LLM Training
講者:許秉倫 Byron Hsu, Senior Software Engineer, LinkedIn
時間:2024/12/23(一)14:30
地點:台灣大學資訊工程系館103演講廳
報名表單：https://docs.google.com/forms/d/e/1FAIpQLSeO4Ucxss1NnzPYyl8atCtv4xQZBbqzkJaWMkT-BjZPaD-Q1A/viewform

主辦單位:台灣大學資訊工程系、高效能與科學計算技術研究中心、台灣人工智慧學校
 
大型語言模型很耗費算力，對其技術發展和應用上造成相當大的負擔。從系統層級進行效能優化工程，降低存放語言模型參數所需的記憶體空間、提高存取語言模型參數的效率，才能充分發揮GPU的算力，大幅節省系統建置的成本以及運作的負擔。
我們請到目前在LinkedIn工作的許秉倫（Byron Hsu），12/23下午在台大資工系演講他前一陣子發佈的Liger Kernel開源專案，深度解說這個專案的技術如何幫使用者省下大把鈔票，歡迎對技術有興趣的朋友來聽。請注意，這場並非常見的科普演講，聽者須對大型語言模型和計算機系統具備一定的基礎才好聽懂。
Liger Kernel已經有很多人在使用了，不必我在這裡鼓吹。我想在此特別推的是系統層級、效能優化類的開源系統軟體開發，這是我向來認為國內產學界應該多注重的事業。當年秉倫就讀台大電機系的時候，曾經跟我做過專題，對這類開源軟體特別感興趣。後來他留學取得碩士學位的UC Berkeley，更是開源軟體專案的先驅和搖籃。以台灣在系統產業上的根基，如果有心耕耘開源系統軟體的話，可以多跟國外接軌，做出有影響力的專案。

這次秉倫來演講，他本人對台灣的產學界也有一些想法，包含:
1, 促進台灣學界對於LLM System的重視與研究
2. 促進台灣業界對LLM system的投入
3. 增加對不同hardware vendor的support (e.g. made in taiwan的accelerators)
4. 增加community中的台灣勢力