BigQuery 共用功能簡介

BigQuery 共用 (舊稱 Analytics Hub) 是資料交換平台，可讓您透過完善的安全性和隱私權架構，跨機構大規模共用資料和洞察資料。您可以使用分享功能探索並存取不同資料供應商收錄的資料庫。這個資料庫也包含 Google 提供的資料集。

舉例來說，您可以透過分享功能，利用第三方和 Google 資料集來強化分析和機器學習計畫。

您可以使用 Analytics Hub 身分與存取權管理 (IAM) 角色執行下列分享工作：

  • 您可以透過 Analytics Hub 發布商角色，與合作夥伴網路或貴機構內部即時共用資料，進而將資料變現。清單可讓您分享資料，而無需複製共用資料。您可以建立可供分析的資料來源目錄，並設定精細的權限，以便將資料傳送給正確的目標對象。你也可以管理訂閱項目，並查看產品資訊的用量指標。

  • Analytics Hub 訂閱者角色可讓您探索所需資料、將共用資料與現有資料結合，以及使用 BigQuery 內建功能。當您訂閱清單時，系統會在專案中建立已連結的資料集或已連結的 Pub/Sub 訂閱項目。您可以使用訂閱資源管理訂閱項目，該資源會儲存訂閱者的相關資訊，並代表發布者和訂閱者之間的連結。

  • 您可以透過 Analytics Hub 檢視者角色，瀏覽您在「分享」中可存取的資源，並要求發布者存取共用資料。

  • 您可以使用 Analytics Hub 管理員角色建立資料交換，啟用資料分享功能，然後授予資料發布者和訂閱者存取這些資料交換的權限。

詳情請參閱「設定 Analytics (分析平台) 角色」。

架構

共用功能是建立在Google Cloud 資料資源的發布和訂閱模型上，可讓您在原地進行零複製共用。共用功能支援下列 Google Cloud 資源：

  • BigQuery 資料集
  • Pub/Sub 主題

發布商工作流程

下圖說明發布者如何分享素材資源：

Analytics Hub 發布商工作流程，包括共用資源、資料交換和清單。

以下各節將說明這個工作流程中的功能。

共用資源

共用資源是指發布商在 BigQuery 共用功能中使用的共用單位。

共用的資料集

共用資料集是 BigQuery 資料集，也是 BigQuery 共用功能中的資料共用單位。BigQuery 架構中的運算和儲存空間分離，可讓資料發布者將資料集分享給任意數量的訂閱者，而無須製作多個資料副本。發布者可以在專案中建立或使用現有的 BigQuery 資料集，並使用下列支援的物件，將這些物件傳送給訂閱者：

共用資料集支援資料欄層級安全性和資料列層級安全性。

請注意，VPC Service Controls 和共用功能有以下限制：

  • 我們不建議發布者在 VPC Service Controls 範圍內的專案中發布共用資料。如果專案中的共用資料集位於 VPC Service Controls 範圍內，則交換專案 (代管的產品資訊) 和所有訂閱者的專案都需要適當的進出規則，才能成功訂閱發布者的產品資訊。

  • 我們不建議交換平台管理員將交換平台專案放在 VPC Service Controls 邊界中，因為這可能會中斷發布工作流程，需要為發布商專案和所有訂閱者的專案設定進出規則，才能成功訂閱其資訊清單。

共用主題 (預覽)

共用主題是 Pub/Sub 主題，也是 BigQuery 串流資料共用的單位。發布者可在專案中建立或使用現有的 Pub/Sub 主題，並將主題發布給訂閱者。

資料交換庫

資料交換是一種容器，可讓使用者自助共用資料。其中包含參照共用資源的產品資訊。發布商和管理員可以授予交換方和商家資訊層級的訂閱者存取權。這有助於避免明確授予對基礎共用資源的存取權。訂閱者可以瀏覽資料交換內容、探索可存取的資料，以及訂閱共用資源。建立資料交換時，您可以為其指派主要聯絡人電子郵件地址。主要聯絡人電子郵件可讓使用者聯絡資料交換的擁有者，詢問或表達對資料交換的疑慮。資料交換可分為下列類型：

  • 私人資料交換。根據預設，資料交換是私密的，只有可存取該交換的使用者或群組才能查看或訂閱清單。
  • 公開資料交換。根據預設，資料交換是私密的，只有可存取該交換的使用者或群組才能查看或訂閱清單。不過，您可以選擇將資料交換公開。公開資料交換中的清單可供Google Cloud 使用者 (allAuthenticatedUsers)探索及訂閱。如要進一步瞭解公開資料交換，請參閱「將資料交換設為公開」。

您可以使用 Analytics Hub 管理員角色建立多個資料交換，並管理其他執行分享作業的使用者。

清單

清單是發布端在資料交換中列出的共用資源參照資訊。發布者可以建立清單，並指定資源說明、要執行的查詢範例或訊息資料範例、任何相關文件的連結，以及任何可協助訂閱者使用共用資源的其他資訊。建立資訊表時，你可以指派主要聯絡電子郵件地址、供應商名稱和聯絡資訊，以及發布商名稱和聯絡資訊。主要聯絡人電子郵件可讓使用者聯絡商家資訊擁有者，詢問或提出與資料交換相關的疑慮。供應商名稱和聯絡人是指最初提供商家資訊的代理商。這項資訊為選填項目。發布端名稱和聯絡人是指發布資料供 BigQuery 共用之用的代理機構。這項資訊為選填。詳情請參閱「管理商家資訊」。

根據為商家資訊設定的身分與存取權管理 (IAM) 政策，以及包含商家資訊的資料交換類型，商家資訊可分為下列兩種：

  • 公開產品資訊。並與所有 Google Cloud 使用者 (allAuthenticatedUsers) 共用。公開資料交換中的產品資訊為公開產品資訊。這些資訊可以是免費的公開資源或商業資源的參考資料。如果清單是商業資源，訂閱者可以直接向資料提供者要求存取權，也可以瀏覽及購買 Google Cloud Marketplace 整合商業資訊。
  • 私人房源資訊。直接與個人或群組共用。舉例來說，私人資訊可以參照您與機構內部其他團隊分享的營銷指標資料集。

訂閱者工作流程

下圖說明訂閱者如何與共用資源互動：

分享訂閱者工作流程，包括共用資源、資料交換、清單和連結資源。

以下各節說明訂閱者工作流程中的功能。

已連結的資源

訂閱「分享」資訊清單時，系統會建立連結資源，將訂閱者連結至底層共用資源。

已連結的資料集

連結的資料集是唯讀 BigQuery 資料集，做為共用資料集的指標或參照。訂閱清單會在專案中建立已連結的資料集，而不是資料集的副本，因此訂閱者可以讀取資料，但無法新增或更新其中的物件。透過連結的資料集查詢資料表和檢視表等物件時，系統會傳回共用資料集內的資料。如要進一步瞭解已連結的資料集，請參閱「查看及訂閱清單」。

已連結的資料集可存取共用資料集的資料表和檢視畫面。擁有已連結資料集的訂閱者，無須額外取得身分與存取權管理授權，即可存取共用資料集的資料表和檢視畫面。

已連結的資料集支援下列物件：

已連結的 Pub/Sub 訂閱項目 (預先發布版)

訂閱使用共用主題的產品資訊，會在訂閱端專案中建立連結的 Pub/Sub 訂閱項目。系統不會建立共用主題或訊息資料的副本。已連結 Pub/Sub 訂閱項目的訂閱者可以存取發布至共用主題的訊息。訂閱者可以存取共用主題的訊息資料，而不需要額外取得 Identity and Access Management 授權。發布商可以直接在 Pub/Sub 中管理訂閱項目，也可以透過共用訂閱管理功能進行管理。如要進一步瞭解已連結的 Pub/Sub 訂閱項目，請參閱「透過 Pub/Sub 分享串流」。

資料輸出選項 (僅限 BigQuery 共用資料集)

資料輸出選項可讓發布者限制訂閱者從 BigQuery 已連結資料集匯出資料。

發布商可以為資訊清單或查詢結果啟用資料外流限制，也可以為兩者都啟用。資料外流受限時，系統會套用下列限制：

建立資訊清單時，您可以設定適當的資料輸出選項。

限制

共用功能有下列限制：

  • 一個共用資料集最多可包含 1,000 個已連結的資料集。

  • 共用主題最多可有 10,000 個 Pub/Sub 訂閱項目。這項限制包括已連結的 Pub/Sub 訂閱項目，以及在「共用」功能外建立的 Pub/Sub 訂閱項目 (例如直接透過 Pub/Sub 建立)。

  • 當您建立商店資訊時，如果資料集含有不支援的資源，就無法選取為共用資料集。如要進一步瞭解分享功能支援的 BigQuery 物件，請參閱本文的「共用資料集」一節。

  • 您無法在已連結資料集內的個別資料表上設定 IAM 角色或IAM 政策。請改為在已連結的資料集層級套用這些設定。

  • 您無法在已連結資料集中的資料表上附加 IAM 標記。請改為在已連結的資料集層級套用這些設定。

  • 訂閱資源不會為 2023 年 7 月 25 日前建立的已連結資料集填補資料。只有在 2023 年 7 月 25 日之後建立的訂閱項目才能使用 API 方法。

  • 如果您是發布商，則適用下列 BigQuery 互通性限制：

    • 訂閱者必須具備讀取來源資料集的明確權限，才能查詢已連結資料集內的檢視畫面。如要授予檢視表存取權，發布商應建立授權檢視表，這是最佳做法。授權檢視畫面可讓訂閱者存取檢視資料，但不提供基礎來源資料的存取權。

    • 查詢計畫會顯示共用檢視畫面查詢和常規查詢，包括專案 ID 和授權檢視畫面涉及的其他資料集。請勿在共用檢視畫面或例行工作查詢中加入任何您認為敏感的加密金鑰。

    • 共用資料集會在 Data Catalog (已淘汰) 和 Dataplex Universal Catalog 中建立索引。共用資料集的更新內容 (例如新增資料表或檢視表) 會立即提供給訂閱者。不過，在某些情況下 (例如共用資料集中有超過一百個訂閱者或資料表)，更新可能需要最多 18 小時才能在這些服務中建立索引。由於索引作業會延遲，訂閱者無法立即在 Google Cloud 控制台搜尋這些更新的資源。

    • 共用主題會在 Data Catalog (已淘汰) 和 Dataplex 通用目錄中建立索引，但您無法針對資源類型進行篩選。

    • 如果您已在列出的資料表上設定資料列層級安全性或資料遮罩政策，則訂閱者必須是 Enterprise 或 Enterprise Plus 客戶，才能在已連結的資料集中執行查詢工作。如要瞭解各版本的差異，請參閱「BigQuery 版本簡介」。

  • 如果您是訂閱者，則適用下列 BigQuery 互通性限制：

    • 系統不支援參照已連結資料集中資料表的具體化檢視表。

    • 系統不支援擷取已連結資料集資料表的快照。

    • 含有連結資料集和超過 1 TB (實體儲存空間) 的 JOIN 陳述式的查詢可能會失敗。如要解決這個問題，請與支援團隊聯絡。

    • 您無法使用區域限定條件搭配 INFORMATION_SCHEMA 檢視區塊，查看已連結資料集的中繼資料。

    • 在已連結資料集中查詢處理常式時，您只能查詢使用者定義函式 (SQL 和 JavaScript UDF 皆可) 和資料表函式處理常式類型。查詢不支援的例行程序類型會導致錯誤訊息： Querying routine type type is not yet supported on linked dataset dataset.

  • 使用量指標適用下列限制：

    • 您無法取得 2023 年 7 月 20 日前訂閱的產品資訊使用量指標。

    • num_rows_processed 和 total_bytes_processed 欄位的外部資料表用量指標可能含有不正確的資料。

    • 消費用途的用量指標僅適用於使用 BigQuery 工作的用量。系統不支援使用下列資源的消費行為：

    • 觀看次數的用量指標僅會填入 2024 年 4 月 22 日後的查詢。

    • 系統不會在 BigQuery 中為已連結的 Pub/Sub 訂閱項目擷取用量指標 (您仍可直接在 Pub/Sub 中查看用量)。

  • 訂閱 Salesforce Data Cloud 資料時，適用下列限制：

    • 資料雲端資料會以檢視畫面形式共用。訂閱者無法存取檢視畫面參照的基礎資料表。

支援的地區

下列區域和多區域支援 BigQuery 共用功能。

區域

下表列出美洲地區可供共用的區域。
地區說明 地區名稱 詳細資料
俄亥俄州哥倫布 us-east5
達拉斯 us-south1 節能綠葉圖示 二氧化碳排放量低2
愛荷華州 us-central1 節能綠葉圖示 二氧化碳排放量低2
拉斯維加斯 us-west4
洛杉磯 us-west2
墨西哥 northamerica-south1
蒙特婁 northamerica-northeast1 節能綠葉圖示 二氧化碳排放量低2
北維吉尼亞州 us-east4
俄克拉荷馬 us-central2
奧勒岡州 us-west1 節能綠葉圖示 二氧化碳排放量低2
鹽湖城 us-west3
聖保羅 southamerica-east1 節能綠葉圖示 二氧化碳排放量低
聖地亞哥 southamerica-west1
南卡羅來納州 us-east1
多倫多 northamerica-northeast2
下表列出亞太地區可供分享的區域。
地區說明 地區名稱 詳細資料
德里 asia-south2
香港 asia-east2
雅加達 asia-southeast2
墨爾本 australia-southeast2
孟買 asia-south1
大阪 asia-northeast2
首爾 asia-northeast3
新加坡 asia-southeast1
雪梨 australia-southeast1
台灣 asia-east1
東京 asia-northeast1
下表列出歐洲地區的分享功能可用情形。
地區說明 地區名稱 詳細資料
比利時 europe-west1 節能綠葉圖示 二氧化碳排放量低2
柏林 europe-west10 節能綠葉圖示 二氧化碳排放量低2
芬蘭 europe-north1 節能綠葉圖示 低二氧化碳
法蘭克福 europe-west3 節能綠葉圖示 二氧化碳排放量低
倫敦 europe-west2 節能綠葉圖示 二氧化碳排放量低2
馬德里 europe-southwest1 節能綠葉圖示 低二氧化碳
米蘭 europe-west8
荷蘭 europe-west4 節能綠葉圖示 二氧化碳排放量低
巴黎 europe-west9 節能綠葉圖示 二氧化碳排放量低2
杜林 europe-west12
華沙 europe-central2
蘇黎世 europe-west6 節能綠葉圖示 二氧化碳排放量低
下表列出中東地區可使用共用功能的區域。
區域說明 區域名稱 詳細資料
達曼 me-central2
杜哈 me-central1
特拉維夫市 me-west1
下表列出非洲地區的分享功能可用情形。
區域說明 區域名稱 詳細資料
約翰尼斯堡 africa-south1

多區域

下表列出可使用分享功能的多個區域。
多地區說明 多地區名稱
歐盟成員國內的資料中心1 EU
美國資料中心 US

1 位於 EU 多地區的資料不會儲存在 europe-west2 (倫敦) 或 europe-west6 (蘇黎世) 資料中心。

Omni 區域

下表列出可共用的 Omni。
Omni 區域說明 Omni 區域名稱
AWS
AWS - 美國東部 (北維吉尼亞州) aws-us-east-1
AWS - 美國西部 (奧勒岡州) aws-us-west-2
AWS - 亞太地區 (首爾) aws-ap-northeast-2
AWS - 亞太地區 (雪梨) aws-ap-southeast-2
AWS - 歐洲 (愛爾蘭) aws-eu-west-1
AWS - 歐洲 (法蘭克福) aws-eu-central-1
Azure
Azure - 美國東部 2 azure-eastus2

用途範例

本節將舉例說明如何在 BigQuery 中使用共用功能。

假設您是零售商，且貴機構在名為「Forecasting」的 Google Cloud 專案中，有即時需求預測資料。您想將這項需求預測資料與供應鍊系統中的數百家供應商分享。以下說明如何透過 BigQuery 共用功能與供應商共用資料：

管理員

身為預測專案的擁有者，您必須先啟用 API，然後將 Analytics 中心管理員角色指派給管理專案中資料交換作業的使用者。具備 Analytics Hub 管理員角色的使用者稱為 Analytics Hub 管理員。

這類管理員可執行下列工作：

  • 建立、更新、刪除及分享貴機構預測專案中的資料交換。

  • 管理其他 Analytics Hub 管理員角色。

  • 將 Analytics Hub 發布者角色授予貴機構員工，即可管理發布者。如果您希望部分員工只能更新、刪除及分享產品資訊，而無法建立產品資訊，可以授予他們 Analytics 中心產品資訊管理員角色。

  • 將 Analytics 中樞訂閱者角色授予包含所有供應商的 Google 群組，即可管理訂閱者。如果您希望部分供應商僅能查看可用的廣告交易平台和廣告刊登，可以授予他們 Analytics Hub 檢視者角色。這些供應商無法訂閱產品資訊。

詳情請參閱「管理資料交換」。

發布商

發布商會在預測專案或其他專案中，為資料集建立下列清單：

  • 清單 A：需求預測資料集 1
  • 清單 B：需求預測資料集 2
  • 項目 C：需求預測資料集 3

資料供應商可以追蹤共用資料集的使用指標。用量指標包含下列詳細資料：

  • 針對共用資料集執行的工作。
  • 訂閱者專案和機構組織使用共用資料集的詳細資料。
  • 工作處理的資料列和位元組數。

詳情請參閱「管理商家資訊」。

訂閱人數

訂閱者可瀏覽資料交換中可存取的清單。他們也可以訂閱這些資訊清單，並透過建立連結資料集，將這些資料集新增至專案。供應商就能針對這些已連結的資料集執行查詢，並即時擷取結果。

詳情請參閱「查看及訂閱商店資訊」。

定價

管理資料交換或資訊清單不會產生額外費用。

對於 BigQuery 資料集，發布者需支付資料儲存費用，而訂閱者則需支付查詢費用，這筆費用會根據以量計價或以容量計價的定價模式，針對共用資料執行查詢。如要瞭解價格，請參閱 BigQuery 定價。

針對 Pub/Sub，主題發布者會因寫入共用主題的總位元組數 (發布處理量) 和網路輸出 (如適用) 而付費。訂閱者會因從已連結訂閱項目和網路輸出 (如適用) 讀取的位元組總數 (訂閱傳輸量) 而付費。詳情請參閱 Pub/Sub 定價。

配額

如要瞭解 BigQuery 共用配額，請參閱「配額與限制」。

法規遵循

分享功能是 BigQuery 的一部分，符合下列法規遵循計畫：

VPC Service Controls

您可以設定輸入和輸出規則，讓發布者和訂閱者存取設有 VPC Service Controls 範圍的專案資料。詳情請參閱「共用 VPC Service Controls 規則」。

後續步驟