wip: BigQueryにおけるスキャン量の削減方法についてのプラクティス

[takegue]

BigQuery の 分割テーブル について

BigQueryにおいてはスキャン量を削減する仕組みとして分割テーブルが存在する。

• 基礎: カラム選択による削減
• 日付シャーディングテーブル: TABLE_SUFFIX 疑似カラムによるスキャン量の削減. `'project.dataset.table*'で指定するやつ
• パーティションテーブル: _PARTITIONTIME 疑似カラム や パーティションカラム によるスキャン量の削減
• クラスタインデックスによる削減
• マテリアライズドビューによるクエリ書き換えによる削減
• 検索インデックスによる削減

パーティションのプルーニングに関する機能

• パーティションカラムに対するプルーニングの評価

• SELECT式におけるGROUP BY
  -疑似カラムに対する計算

• ViewやTVFにおいてもパーティションの機能

WITH 
BASE AS (
  SELECT 
    _PARTITIONTIME as __PARTITIONTIME
    , #... 
  FROM
    mytable
)
, AGG AS (
  SELECT 
    __PARTITIONTIME
    , # ... 
  FROM
    BASE
  GROUP BY
    __PARTITIONTIME, # ...
)

SELECT 
  *
FROM 
  AGG
WHERE
  __PARTITIONTIME = TIMESTAMP("2017-10-01") -- 擬似列を利用しスキャン量が抑えられる

• シャーディング用のワイルド―カードにおけるプルーニング
• クラスタリングインデックスにおけるプルーニング