214.【達人聊產業】BEYOND ChatGPT ! 大型語言模型 AI 全集中解析 Ft. 台大李宏毅教授

本集節目由 Hahow 好學校 贊助播出
Hahow 好學校，全台最大線上課程學習平台 ，累積千堂影音課程，超過 80 萬會員在此學習。
致力在 AI 領域上開立更多課程， 即日起推出一系列 AI 新課程及免費直播，將 AI 打造成屬於你的武器。
現在到 →  https://lihi3.cc/Zr9JC 領取折扣券， 或輸入狗狗粉絲專屬優惠碼【sd2023】， 單堂 92 折，兩堂 86 折優惠，全領域課程皆適用。
#Hahow好學校

ChatGPT 的熱潮引爆。本集節目邀請到我們最近的偶像，台灣 AI 領域的權威人物、台大電機副教授——李宏毅老師，與大家分享究竟 Open AI 領先同業的關鍵是什麼？語言模型技術下一個世代又會是什麼？台灣目前在此賽道扮演的角色？本集內容相當 Hardcode， 我們將最近研究累積的滿坑滿谷的問題，藉由本次訪談來解惑！

【AI 的現況】

06:09 ChatGPT 引起社會熱烈討論，但這並非 AI 突然的大幅躍進。

10:56 目前大公司的 LLM 皆是使用既有技術，本質上並無差異。OpenAI 目前較突出的原因是它知道大量的應用場景。

【AI 還能進步多少？】

07:11 多數研究單位都沒有能力自行訓練模型，短期內自然語言處理進入了高原期，多數研究將會圍繞在如何更好的使用既有模型。

18:18 未來會有更進步的模型推出，但已非大多數參與者有能力推出。

22:37 目前的 LLM 使用了遠超人類能閱讀的資料，但成果卻與人類成果相差不大。未來將聚焦如何提升 AI 的訓練效率，這需要仰賴新的演算法變革。

25:19 資料量、參數量、訓練方式是三個訓練 AI 的重要面向。

27:35 超大的 LLM 展現出來的效果不如相同資料量，但參數量較小的模型。

【訓練資料量的瓶頸將導致 AI 產業出現變革】

32:38 資料量出現瓶頸，AI 的進步需要仰賴新的演算法出現。

34:40 未來 LLM 賽道上的算力軍備競賽將會轉變，專注在訓練效率上的提升。

36:38 ChatGPT 都是建立在過往的既有技術，今天 AI 有如此成果與近代硬體上算力的增加，以及社會對 AI 的信心提升，更願意參與有關。

【AI 產業與供應鏈將來會有哪些轉變？】

42:03 目前的 AI Training 是建立在 GPU 上，短期內 ASIC 仍很難獲得廣泛使用。

46:29 LLM 使用非常大的資料訓練才跑出與人類相仿的成果，GPU 不會是最終的解法。未來能夠提出解方的企業應該要能同時整合軟硬體。

48:32 未來個人使用 AI 的成本將透過使用 ChaptGPT 與其 API 變得非常低，但有些政府與公司有隱私等疑慮，這可以用預訓練好的模型如 LLaMA 投入。

58:27 研究指出 AI Training 時使用少量的標注資料，對於模型成果將有顯著提升。所以在通用的應用上可以透過 AI 進行資料標注，而企業若能在特定需求的單點資料標注優於 AI，將產生機會。

【封閉 VS 開源】

1:01:38 未來封閉、開源的應用將同時存在。

【台灣目前 AI 賽道上的策略是什麼？】

1:06:12 政府與企業仍有自有模型的需求，對於政府主導 AI 計畫，並授權給其他企業做使用樂觀其成。

【面對 AI 快速發展，該如何進行管制？】

1:13:31 從政府角度目前沒有立即解方，但從技術上，由於目前的模型像是黑盒子，我們無法知道他有什麼能力與漏洞，所以缺乏了自動檢測 LLM 有什麼漏洞、特定偏見的技術。

本集重點、提到的股票和相關連結：https://statementdog.com/blog/archives/13497

訂閱財報狗新聞: https://statementdog.substack.com/

Podcast 業務合作聯絡信箱: business@statementdog.com

財報狗社群

財報狗智囊團

財報狗 Discord