亞馬遜雲科技re:Invent 2022：讓資料治理也像擰水龍頭一樣簡單

re：Invent 2022落下帷幕，作為全球雲計算產品和技術的風向標，每年的re：Invent大會帶給業界的思考和能量仍將產生深遠影響。亞馬遜雲科技在各領域的重塑將賦能各行業探路者，共赴科技創新的星辰大海。

從雲計算概念產生到今天，我們記得最清楚的一句話是：“雲計算就像水電煤一樣，無處不在，隨時可用。”事實上，多年以來，我們一直享受雲計算帶來的種種便利，但隨著企業數字化轉型的不斷升入，從追求“效率”到追求“效益”，企業也從最初的“上雲”階段過渡到追求“用數”收穫階段，亞馬遜雲科技在2022 re：Invent全球大會上釋出的新服務和新功能，大部分都集中在資料方面。作為全球雲計算的創始者和引領者，亞馬遜雲科技如此密集地釋出資料相關服務，這說明企業“用數”，面臨著前所未有的緊迫局面。

一方面，資料量越來越多。IDC 預測，僅在 2022 年，人類就建立超過 97 個 ZB的資料。這個資料有多誇張？從歷史上到 2012 年，人類生產的所有印刷材量的資料量是 200 個 PB ，200 個 PB 僅僅是 2022 年這一年所建立資料量的 50 萬分之一。

如果將資料儲存在 1 TB 的硬盤裡面，存放 200 PB 的資料，把所有的硬碟連著起來，約等於 2000 米，也就是一畝農田的周長，而存放 97 個 ZB資料的所有硬碟連著擺放起來，是地球與月亮距離的 2。5 倍，所以，可以說從200個 PB 到 97 個ZB，是一畝農田到星辰大海的距離。

另一方面，資料量的增加並不等於資料帶來價值的增加。艾森哲最近的研究發現，68%的公司無法從資料中實現可以量化的價值，因此，成為資料驅動型企業並不容易。

在2022 re：Invent全球大會的主題演講中，亞馬遜雲科技CEO Adam Selipsky以浩瀚星球類比資料王國。他指出，就像我們不斷尋找新的方法來理解宇宙空間的浩瀚和複雜，資料的龐大和複雜也需要新的工具，將不斷擴充套件的資訊世界轉化為洞察。這些工具需要有最好的價效比，需要最多的功能以支援所有用例，需要可擴充套件的工具以便處理如此龐大且不斷增長的資料量。

當企業擁有所有這些工具時，就可以構建一個完整的端到端資料策略，涵蓋所有資料型別、使用者需求和工作負載。

亞馬遜雲科技大中華區產品部總經理陳曉建表示，“從本次re：Invent釋出的特性看未來技術演進的方向，非常明顯的一點就是數智融合，也就是如何打造一個端到端的資料服務戰略。”

企業有越來越多的應用上雲，產生了大量的資料，如何將這些資料利用起來，將這些資料跟企業本地、企業外部的資料打通，實現資料驅動的企業決策，成為有使用者關心的問題，對於以使用者為中心的亞馬遜雲科技來說，自然也是關注的焦點。

全新資料管理服務Amazon DataZone

盤活企業資料“內迴圈“

re：Invent 2022

，

亞馬遜雲科技釋出

全新資料管理服務Amazon DataZone，幫助客戶在整個企業內對資料進行編目、發現、共享和治理。

首先，讓管理員可以使用精細的控制工具，管理資料訪問許可權，確保資料不被濫用、不被非正常使用。這樣，整個企業的工程師、資料科學家、產品經理、分析師和業務使用者就都可以輕鬆訪問整個企業的資料，挖掘資料價值。

Amazon DataZone覆蓋的資料包括企業儲存在亞馬遜雲科技的資料，客戶本地資料和第三方來源的資料，對所有這些資料進行編目、發現、共享和治理。

“良好的治理是整個組織都可以訪問資料的基礎，但我們經常聽客戶說，在使資料可發現和保持控制之間很難取得適當的平衡。”亞馬遜雲科技資料與機器學習副總裁Swami Sivasubramanian表示，“藉助 Amazon DataZone，客戶可以使用單一服務在強大的治理控制和簡化的資料訪問之間取得平衡，從而輕鬆查詢、組織資料，使用資料進行協作。Amazon DataZone在整個企業內解放了資料的束縛，每個員工都可以幫助推動獲取新的洞察，最大限度地發揮資料價值。”

目前，Amazon DataZone與Amazon Redshift、Amazon Athena和Amazon QuickSight等亞馬遜雲科技資料分析服務進行了整合，資料消費者能夠在其資料專案的情境中訪問這些服務，他們的資料在這些服務中自動可用、無需單獨的登入憑證。Amazon DataZone還提供應用程式程式設計介面（API）以與自定義解決方案或與DataBricks、Snowflake和Tableau等合作伙伴進行整合，因此，客戶可以輕鬆釋出、搜尋和使用其所有的資料資產。

福克斯公司是一家領先的內容製作商和發行商，旗下擁有體育、新聞和娛樂等品牌。“在福克斯，統一所有的業務資料，打造安全、可信、規模化的資料發現、釋出、訪問和共享能力至關重要。我們希望業務團隊能夠安全地發現和共享資料，無需做深入的技術工作。”福克斯公司資料基礎設施副總裁Alex Tverdohleb表示，“Amazon DataZone有助於我們簡化、自動化資料發現和共享，保持適當的資料治理，因此我們可以確保在正確的時間使用正確的工具訪問資料。”

全新分析服務Amazon Clean Rooms

打通合作伙伴資料“外迴圈“

re：Invent 2022，亞馬遜雲科技推出全新分析服務Amazon Clean Rooms，幫助客戶建立資料清潔空間以與業務合作伙伴協作，在產生新洞察的同時保護底層原始資料。它的作用是打通企業外部合作伙伴的資料。

在很多行業，例如廣告業，企業需要利用外部業務合作伙伴的資料來補充自身資料，以便更好地開展自己的業務。在廣告行業，品牌廠商、媒體和廣告公司需要使用儲存在多個渠道和應用程式中的資料集進行協作，提高市場活動的相關性，更好地與消費者互動。同時，這些公司也需要保護消費者敏感資訊，減少或消除原始資料的共享。為實現這一目標，公司通常必須向合作伙伴提供使用者資料的副本，並依靠合約防止資料濫用。

藉助Amazon Clean Rooms，客戶可以在幾分鐘內建立一個安全的資料清洗空間，

只需點選幾下即可開始分析整合的資料集，

與亞馬遜雲科技之上的其它公司協作，

無需將資料移出其亞馬遜雲科技環境或載入到其他平臺，

生成與廣告營銷活動、投資決策、臨床研究等相關的獨特洞察。

當客戶執行查詢時，Amazon Clean Rooms會在資料所在的位置讀取資料並應用內建分析規則幫助保持對資料的控制。此外，Amazon Clean Rooms提供了多種可配置的資料訪問控制，包括查詢控制、查詢輸出限制和查詢日誌，允許公司自定義針對每個參與方的查詢進行限制。Amazon Clean Rooms還包括高階加密計算工具，即使在處理查詢時也能保持資料加密，以符合嚴格的資料處理政策。

“Amazon Clean Rooms幫助客戶及其合作伙伴更好地分析和協作處理他們在亞馬遜雲科技上的資料。隨著Amazon Clean Rooms的推出，我們使多家公司能夠更輕鬆、更簡單、更安全地共享和分析組合資料集，以生成他們無法獨自完成的新洞察。使用Amazon Clean Rooms，客戶可以協作完成一系列任務，例如更有效地生成廣告活動洞察和分析投資資料，同時提高資料安全性。”。亞馬遜雲科技應用程式副總裁Dilip Kumar表示。

Zero-ETL

減少開發者繁複勞動

加速資料流通

資料流通才有價值，不能移動和共享的資料只能成為資料沼澤，而移動資料勢必需要各種 ETL 操作。

ETL是Extract-Transform-Load的縮寫，指資料的提取、轉換和載入，是將業務系統的資料經過抽取、清洗轉換之後載入到資料倉庫的過程，目的是將企業中的分散、零亂、標準不統一的資料整合到一起，為企業的決策提供分析依據， ETL是BI（商業智慧）專案重要的一個環節。

企業在許多不同的地方擁有資料，如果要連線各種資料庫、資料湖進行資料分析，這對很多企業來說是一項重大挑戰。

當前，許多企業分析交易資料的解決方案分為三部分：用關係資料庫儲存資料，用資料倉庫分析資料，用資料管道在關係資料庫和資料倉庫之間提取、轉換和載入（ETL）資料。資料管道構建成本高昂且難以管理，需要開發人員編寫自定義程式碼，並且持續管理基礎設施以確保其按需擴充套件。一些公司甚至需要投入整個團隊以完成這項工作。此外，用這種方式準備好資料可能需要幾天的時間，而且間歇性的資料傳輸錯誤會影響客戶獲得稍縱即逝的洞察，甚至錯失商機。

Amazon Aurora zero-ETL

與Amazon Redshift 整合的功能助力客戶近乎實時地分析 PB 級交易資料，無需自定義資料管道。

這意味著亞馬遜打通了 Aurora 資料庫和 Redshift資料倉庫，讓使用者不用執行 ETL 就能進行同步，且不會相互影響各自的正常執行。

Swami表示，“今天釋出的新功能幫助我們的客戶在亞馬遜雲科技上邁向一個‘Zero-ETL的未來‘，減少在不同服務間手動遷移或轉換資料的工作。無論企業和資料的規模有多大，複雜度有多高，透過為客戶消除 ETL 和其它資料遷移任務，我們都能助力客戶專注於分析資料，面向業務獲取新的洞察。”

結 語

雲計算在“用數”階段的本質是“資料驅動企業創新“，但資料具備海量、多元等一些列複雜的屬性，同時還受制於”使用許可權“、”安全“、”組織架構“等多重因素，事實上，讓”資料“產生效益變得異常艱難，可以肯定得是，亞馬遜雲科技作為雲計算得探路者，始終站使用者角度解決實際問題，亞馬遜雲科技正在重塑整個資料之旅，從資料的攝取、儲存、查詢，到分析、視覺化和執行機器學習，以及端到端治理，使使用者更容易釋放資料的價值，這是件令人興奮的事。