Google Distributed Cloud 升級：AI 應用、數據處理與數位主權的全方位解決方案

Google Distributed Cloud (GDC) 助力企業 AI 應用與數位轉型

在過去，企業多半會將應用服務架設在 公有雲(Public Cloud Region) 上來運行，因為那邊有最多的計算資源、最強的資訊處理能力。

而近年來，產業積極導入各種 AI 應用，期望藉此實現數位轉型，並創造更多價值；隨著企業加速導入 AI 應用，對於伺服器（計算資源）彈性部署(低延遲) 的需求也逐漸浮現。因此，公有雲無法協助產業解決所有問題，因為除了彈性部署(低延遲)的需求之外，如產業需要處理敏感/機密資料，就還需要注意關於 數位主權 在地合規 等…的法規限制。

我國關於資料在地化的法規 就有像是：

  • 個人資料保護法
  • 電子支付機構業務管理規則
  • 人體生物資料庫管理條例
  • 醫療機構電子病歷製作及管理辦法
所以為了因應這些需求及挑戰，Google Cloud 推出了硬體+軟體的解決方案組合叫做：Google Distributed Cloud (GDC) 

這次 Google I/O Extended Kaohsiung 2024 的演講，主要介紹 GDC 引入了哪些 Google I/O 2024 提及的新技術，以及 Google Cloud Next '24 關於 GDC 的更新。讓我們在此快速回顧一下今天演講內容吧！

這次 GDC 的升級，就是專為佈署 AI 應用來設計，讓 GDC 支援了 NVIDIA GPU，並提供兩種佈署選項：
  • 在邊緣端、Air Gap(斷網)端，使用 NVIDIA L4 GPU（高能源效率）
  • 在資料中心、營運端，使用 NVIDIA H100 GPU（高效能）
除此之外，GDC 也搭載了 GKE Enterprise，支援 SR-IOV、多網路(Multiple Networking)。上述功能除了能優化應用的網路效能之外，也提高了應用的可擴展性和故障冗餘(redundancy)。

在 GDC 的 PaaS Stack，大家最期待的 VectorDB, Vector Search 功能，在 GDC 上面也都支援了（VectorDB 使用 Google 自家 AlloyDB）。
除此之外，GDC 也支援了 Dataproc，讓企業可以進行 大規模數據 的管理/處理。現在 GDC 提供了各式各樣的管理服務，我們已經不需要和以前一樣，靠開源程式手刻管理編排系統。
（ONAP已哭暈在廁所 嗯？

當然 GDC 也提供了全面支援人工智慧的能力，支援 RAG、Chatbot(Gemini、欲使用第三方的 LLM，可透過 Model Garden 來支援 )。還有像稍早釋出的 Vertex AI API 它也支援，可以使用 OCR 來辨識 image、語音辨識以及翻譯各式各樣的語言，而這些功能 只需簡單地透過串接 API 就可以實現！

GDC 支援 Vertex AI API，提供OCR、語音辨識、語言翻譯的能力，圖中的所有組件皆可替換，支援部署開源 embedding model，第三方 LLM 可透過 Model Garden 來支援

Demo影片：Google Distributed Cloud Generative AI Search Packaged Solution Demo

很高興你讀到了這裡！你是不是已經開始心動，想在你們家裝一台 GDC 了 ㄏㄏ

沒錯！Google 知道你對於 SW dependency 的顧慮，知道你已經和各式各樣的第三方軟體供應商 (ISV+3P SW) 合作，並使用它們的解方已久。所以 GDC 提供了全套的軟體解決方案，使企業能夠輕易地將服務 Migration 到 GDC 上面。軟體和功能皆有通過認證和支援（如：MongoDB, Elasticsearch, etc,.）

還在擔心網管人員的訓練問題？

所以最後 Google 端出大絕：Gemini Cloud Assist 利用 AI 來協助企業整趟雲原生轉型旅程 (Zero Day, Day 1, Day2) 都能順利。

Gemini Cloud Assist 是個強大ㄉ助手，可以協助網管人員很多事，像是幫忙設計一個 Load Balancer 的 config，讓企業可以安全地將服務應用 Expose 到外網，或是幫你在跨雲平台的各種應用之中，幫你搜尋哪些 VM 有支援 confidential computing。此外，Gemini Cloud Assist 甚至還能協助網管人員 troubleshooting！！！

Gemini Cloud Assist 協助 troubleshooting，和我們平時在 debugs 時，把錯誤訊息丟給 LLM 的不同之處在於，Gemini Cloud Assist 會考慮到當前使用者的訪問權限，來替使用者分析可能遇到的問題，並確定哪些種類的測試和報告，可以提供給當前這名使用者，落實了企業中 IAM 身份及訪問管理。

GDC未來的展望

能源領域

吾人覺得 GDC 非常適合應用於能源領域，由於能源涉及國家重大機密/利益，所以資料一定不能聯網，但因應 RE100 碳權 #國際議題，又會需要分析使用量，以優化能源使用（例：智慧電網系統）。

電信產業

// 眾所周知，蔡秀吉的專業之一是 O-RAN，文章最後沒提到 O-RAN 渾身不自在

電信產業的 Network Functions(NF) 正朝向全雲原生轉型，而隨著流量頻寬越來越大，連接裝置越來越多，NFs 支援 多網路 (Multiple Networking) 是迫切需要的。

推薦閱讀：Transform your telecom applications with multi-networking and Kubernetes

此外，隨著 3GPP R19 對於網速、網路容量和覆蓋率的目標，NFs 只會佈署越來越多，要求網管人員到現場(實體端)，人工手動進行佈署/糾錯，是不切實際的。因此電信網路趨向自治化、自動化是必然，這樣也能避免人工抄表、重複佈署/開銷 等問題。而 Gemini Cloud Assist 在某種程度上實現了由數據驅動 基於意圖部屬的網路 (Intent-Based Networking；IBN)，由我們提供意圖，然後讓 AI自動化部屬、擴展和管理網路的生命週期(LCM)。

推薦閱讀：The Responsible Revolution: How generative AI is transforming the telco and media industry

5G和未來的 6G 其價值所在並非公共領域，而是垂直場域(專用網路)
而 GDC Edge 非常適合被部屬在企業專網的場域，並透過 AI 應用來替企業賦能。

以上就是本次秀吉在 Google I/O Extended Kaohsiung 2024 的演講內容概述，歡迎 Google Cloud 來找我業配（誤

相關參考資料：

推薦閱讀

對於電信產業轉型有興趣的朋友，推薦閱讀下列文章：

備註

  • 公有雲不是真的在雲端上面，它還是有一個實體的地理位置，就好比說 Google 在彰化的資料中心。
  • load balancer、Life Cycle Management (LCM) 是 GKE 的基本功能，所以文中沒有特別拿出來討論。

關於作者：

蔡秀吉，現於查理大學附設醫院實習，並於捷克理工大學訪問研究，，就讀陽明交大百川學程大三，常出現在各大資訊 Conf。 喜歡研究開放電信網路(O-RAN)及其相關的技術發展，感興趣的領域有：雲原生、人工智慧、表觀遺傳、體外循環系統。

聯絡資訊：

位置： 捷克布拉格斯特拉霍夫

留言

張貼留言

這個網誌中的熱門文章

生成式AI將電信業推向新紀元

圖片
電信產業如何應用生成式 AI？ 究竟電信產業該如何引入生成式 AI (Generative AI)，來解決業界長久以來的痛點呢？秀吉現在就報給你知！ 前言 這個學年來捷克訪問，無法實體參與  Google Cloud Summit Taipei ，但身為國外的 GDSC Lead ，進修和教學還是責無旁貸，畢竟人生的樂趣在學習，人生的收穫在於奉獻 www 所以就忙裡偷閒在國外補檔一下  Google Cloud Summit Taipei | (中華電信)解析 Next’23 最新雲端技術 ；可能是因為主題安排或是時間關係，這場演講比較像是產品成果發表，技術偏少。 但沒關係，本篇文章將科普電信業引入生成式 AI 的魅力在哪？，同時針對演講中提到的 Data Cloud 服務應用與挑戰 做進一步的說明和科普。 簡而言之，這是一篇科普文，所以即使你沒聽過演講也看得懂 （廢話結束，以下正文） 電信產業如何應用生成式 AI 電信產業究竟如何應用生成式 AI，主要可以分成兩大使用範例(Use Cases)： Customer Automation （用戶自動化） Network Automation （網路自動化） 一般人經常使用到的生成式 AI，大多都是 大型語言模型 (Large language model；LLM) ，那麼隨著越來越多人的使用和媒體的炒作，民眾對生成式 AI 衍生服務的接受度也將逐漸增加，而這點對於電信業者來說，是個非常好的機會，為什麼我會這樣說呢？讓我們繼續看下去！ Customer Automation（用戶自動化） 對於絕大部分天然呆的台灣用戶來說：「電信供應商的好壞，在於客戶服務！」 所以只要將客服的體驗優化好，萬事皆好談！ 以中華電信為例，它擁有全台 90% 的固網業務以及 1300萬個門號用戶；對於一間擁有如此龐大用戶的電信業者，最重要的就是導入生成式 AI（如：語音辨識模型、對話模型），用來實現 用戶自動化(Customer Automation) ，和以下目標： 更快解決客戶遇到的問題 減少客服中心收到的來電 確保電信業真的有善用自家強大的科技技術，實現用戶個人化的電信服務 所以台灣四大電信業者正面臨一個龐大的機會，透過導入生成式 AI 實現用戶自動化，即可徹底改變現狀（例如：使用機器學習來分析客訴情況的描...
閱讀完整內容

「強化全民數位韌性」之前？先來聊聊什麼是 O-RAN 吧！| 科普教育

圖片
我國數位發展部的核心理念，即為「強化全民數位韌性」 摘要： 數位發展與全體國民的日常生活息息相關，我國數位發展部（以下簡稱數位部）成立的核心理念，即是為了 「強化全民數位韌性」 ，可是瑞凡 「數位韌性」 這個詞，對於全體民眾而言，似乎還太過遙遠，多數民眾對數位發展仍缺乏概念，也不了解數位到底如何發展？這乃是數位發展政策執行面上長久以來的痛點，因此，為了以俾日後社會全面數位化發展順利， 數位發展專有名詞 的 科學普及教育 實為勢在必行。 本篇文章以民眾日常生活中一定會接觸到的 行動通訊基地台 為題，並針對於我國數位發展的最新應用技術  O-RAN  來進行科普介紹，帶領讀者了解什麼是  O-RAN ？以及數位部是如何 應用  O-RAN 強化我國數位韌性 ，實現「科技島」願景，就讓我們接著看下去吧 ~ 前言： 行動通訊的高速演進，促進社會朝向全面數位化發展，現代人的生活無論求學、工作、娛樂，都早已離不開行動通訊，但當你在享受數位發展帶來生活便利的同時，有沒有想過數位發展究竟是透過什麼樣的工具來實現。本文將會分為三個部分進行科普，首先簡介行動通訊概論及其演進歷史，而後帶領讀者了解為 促進我國數位發展、強化數位韌性 背後的重要功臣「 O-RAN 」究竟是什麼，以及為何我們需要  O-RAN ？最後說明  O-RAN 強化我國數位韌性的應用案例 。 行動通訊概論及其演進歷史簡介： 在了解什麼是  O-RAN  之前，我們先來了解什麼叫做 (RAN ， Radio Access Network) 。 所謂的  RAN  就是 「無線電接取網路」，聽到這個專有名詞，大家可能還是很模糊。 我們換成另一個日常生活稱呼 「基地台」 ，大家應該就比較耳熟能詳，而就是  RAN  它發出了 4G 、 5G 的無線電訊號（如：手機、智慧手錶 等…）接收到訊號後，並與  RAN  互相收發訊號、交換資訊，就實現我們所謂的無線上網啦！ 圖(一) RAN 的基本架構，需包含 RU (射頻單元) 和 BBU (基帶單元)，才能組成完整的 RAN 「什麼是 O-RAN？敢是路邊攤个黑輪？這是啥可以吃嗎？」 讀者對於  RAN  有初步的瞭解...
閱讀完整內容

O-RAN Y1介面簡介

圖片
一句話介紹：這是 O-RAN 新增的介面(2023/03)，允許 Y1 consumers 訂閱或請求 Near-RT RIC 提供的 RAN 分析資訊 (RAN analytics information)。 圖(一) O-RAN Y1介面（圖中紅框處） O-RAN Y1介面功能介紹： Near-RT RIC 透過 Y1 介面，提供 RAN 分析資訊 (RAN analytics information) 的服務，而 Y1 consumers 可以藉由訂閱或請求 RAN 分析資訊 ，來使用 RAN 分析資訊 服務。 當 Y1 consumers 在 O-RAN 可信域 (Trusted Domain) 時，可以作為應用程式功能 (Application Functions，AFs)；或  RAN 分析資訊 可以透過網路曝光功能 (Network Exposure Function，NEF) 以安全的方式提供給 (Application Functions，AFs) 速記：在 O-RAN Trusted Domain 時 ， Y1 consumers == (Application Functions，AFs) 安全的網路曝光方式(NEF) 詳見：3GPP TS 23.501, Clause 5.20 (External Exposure of Network Capability)，連結如下： Release 17:  https://reurl.cc/ml7Y6W Release 16:  https://reurl.cc/7RnV2y 秀吉 MurMur： Y1 consumers  使用 RAN 分析資訊 服務，出發點一定是好的啦~，得以提供不同情境的使用者裝置更適合的服務，但 新介面的出現，同時也意味著新的資安威脅，學術界又有新的研究領域了（誤 綜觀 O-RAN 的高級架構 (High Level Architecture；HLA)   圖(一)： 圖(一) 顯示 O-RAN 架構中主要的四個介面 (A1、O1、Open Fronthaul M-plane、O2)。 SMO（服務管理和編排）透過 A1、O1、Open Fronthaul M-plane 連結 O-RAN Network Func...
閱讀完整內容