Google Distributed Cloud 升級:AI 應用、數據處理與數位主權的全方位解決方案

Google Distributed Cloud (GDC) 助力企業 AI 應用與數位轉型

在過去,企業多半會將應用服務架設在 公有雲(Public Cloud Region) 上來運行,因為那邊有最多的計算資源、最強的資訊處理能力。

而近年來,產業積極導入各種 AI 應用,期望藉此實現數位轉型,並創造更多價值;隨著企業加速導入 AI 應用,對於伺服器(計算資源)彈性部署(低延遲) 的需求也逐漸浮現。因此,公有雲無法協助產業解決所有問題,因為除了彈性部署(低延遲)的需求之外,如產業需要處理敏感/機密資料,就還需要注意關於 數位主權 在地合規 等…的法規限制

我國關於資料在地化的法規 就有像是:

  • 個人資料保護法
  • 電子支付機構業務管理規則
  • 人體生物資料庫管理條例
  • 醫療機構電子病歷製作及管理辦法
所以為了因應這些需求及挑戰,Google Cloud 推出了硬體+軟體的解決方案組合叫做:Google Distributed Cloud (GDC) 

這次 Google I/O Extended Kaohsiung 2024 的演講,主要介紹 GDC 引入了哪些 Google I/O 2024 提及的新技術,以及 Google Cloud Next '24 關於 GDC 的更新。讓我們在此快速回顧一下今天演講內容吧!

這次 GDC 的升級,就是專為佈署 AI 應用來設計,讓 GDC 支援了 NVIDIA GPU,並提供兩種佈署選項:
  • 在邊緣端、Air Gap(斷網)端,使用 NVIDIA L4 GPU(高能源效率)
  • 在資料中心、營運端,使用 NVIDIA H100 GPU(高效能)
除此之外,GDC 也搭載了 GKE Enterprise支援 SR-IOV、多網路(Multiple Networking)。上述功能除了能優化應用的網路效能之外,也提高了應用的可擴展性和故障冗餘(redundancy)。

在 GDC 的 PaaS Stack,大家最期待的 VectorDB, Vector Search 功能,在 GDC 上面也都支援了(VectorDB 使用 Google 自家 AlloyDB)。
除此之外,GDC 也支援了 Dataproc,讓企業可以進行 大規模數據 的管理/處理。現在 GDC 提供了各式各樣的管理服務,我們已經不需要和以前一樣,靠開源程式手刻管理編排系統。
(ONAP已哭暈在廁所 嗯?

當然 GDC 也提供了全面支援人工智慧的能力,支援 RAG、Chatbot(Gemini、欲使用第三方的 LLM,可透過 Model Garden 來支援 )。還有像稍早釋出的 Vertex AI API 它也支援,可以使用 OCR 來辨識 image、語音辨識以及翻譯各式各樣的語言,而這些功能 只需簡單地透過串接 API 就可以實現!

GDC 支援 Vertex AI API,提供OCR、語音辨識、語言翻譯的能力,圖中的所有組件皆可替換,支援部署開源 embedding model,第三方 LLM 可透過 Model Garden 來支援

Demo影片:Google Distributed Cloud Generative AI Search Packaged Solution Demo

很高興你讀到了這裡!你是不是已經開始心動,想在你們家裝一台 GDC 了 ㄏㄏ

沒錯!Google 知道你對於 SW dependency 的顧慮,知道你已經和各式各樣的第三方軟體供應商 (ISV+3P SW) 合作,並使用它們的解方已久。所以 GDC 提供了全套的軟體解決方案,使企業能夠輕易地將服務 Migration 到 GDC 上面。軟體和功能皆有通過認證和支援(如:MongoDB, Elasticsearch, etc,.)

還在擔心網管人員的訓練問題?

所以最後 Google 端出大絕:Gemini Cloud Assist 利用 AI 來協助企業整趟雲原生轉型旅程 (Zero Day, Day 1, Day2) 都能順利。

Gemini Cloud Assist 是個強大ㄉ助手,可以協助網管人員很多事,像是幫忙設計一個 Load Balancer 的 config,讓企業可以安全地將服務應用 Expose 到外網,或是幫你在跨雲平台的各種應用之中,幫你搜尋哪些 VM 有支援 confidential computing。此外,Gemini Cloud Assist 甚至還能協助網管人員 troubleshooting!!!

Gemini Cloud Assist 協助 troubleshooting,和我們平時在 debugs 時,把錯誤訊息丟給 LLM 的不同之處在於,Gemini Cloud Assist 會考慮到當前使用者的訪問權限,來替使用者分析可能遇到的問題,並確定哪些種類的測試和報告,可以提供給當前這名使用者,落實了企業中 IAM 身份及訪問管理。

GDC未來的展望

能源領域

吾人覺得 GDC 非常適合應用於能源領域,由於能源涉及國家重大機密/利益,所以資料一定不能聯網,但因應 RE100 碳權 #國際議題,又會需要分析使用量,以優化能源使用(例:智慧電網系統)。

電信產業

// 眾所周知,蔡秀吉的專業之一是 O-RAN,文章最後沒提到 O-RAN 渾身不自在

電信產業的 Network Functions(NF) 正朝向全雲原生轉型,而隨著流量頻寬越來越大,連接裝置越來越多,NFs 支援 多網路 (Multiple Networking) 是迫切需要的。

推薦閱讀:Transform your telecom applications with multi-networking and Kubernetes

此外,隨著 3GPP R19 對於網速、網路容量和覆蓋率的目標,NFs 只會佈署越來越多,要求網管人員到現場(實體端),人工手動進行佈署/糾錯,是不切實際的。因此電信網路趨向自治化、自動化是必然,這樣也能避免人工抄表、重複佈署/開銷 等問題。而 Gemini Cloud Assist 在某種程度上實現了由數據驅動 基於意圖部屬的網路 (Intent-Based Networking;IBN),由我們提供意圖,然後讓 AI自動化部屬、擴展和管理網路的生命週期(LCM)。

推薦閱讀:The Responsible Revolution: How generative AI is transforming the telco and media industry

5G和未來的 6G 其價值所在並非公共領域,而是垂直場域(專用網路)
而 GDC Edge 非常適合被部屬在企業專網的場域,並透過 AI 應用來替企業賦能。

以上就是本次秀吉在 Google I/O Extended Kaohsiung 2024 的演講內容概述,歡迎 Google Cloud 來找我業配(誤

相關參考資料:

推薦閱讀

對於電信產業轉型有興趣的朋友,推薦閱讀下列文章:

備註

  • 公有雲不是真的在雲端上面,它還是有一個實體的地理位置,就好比說 Google 在彰化的資料中心。
  • load balancer、Life Cycle Management (LCM) 是 GKE 的基本功能,所以文中沒有特別拿出來討論。

關於作者:

蔡秀吉,現於查理大學附設醫院實習,並於捷克理工大學訪問研究,,就讀陽明交大百川學程大三,常出現在各大資訊 Conf。 喜歡研究開放電信網路(O-RAN)及其相關的技術發展,感興趣的領域有:雲原生、人工智慧、表觀遺傳、體外循環系統。

聯絡資訊:

留言

這個網誌中的熱門文章

生成式AI將電信業推向新紀元

O-RAN O-Cloud 介紹

「強化全民數位韌性」之前?先來聊聊什麼是 O-RAN 吧!| 科普教育