輪読会ページ

Streaming Systems 輪読会 - 第11回 (2022/11/28 19:00〜)

発表者

• 中谷 翔 ( @laysakura で Twitter やら GitHub やら )
• 🚗の会社でデータベース・ストリーム処理・ETLあたりの研究開発
• 車載機とかIoT機器で動くストリーム処理系 SpringQL 作ってる
  • 一緒に作ってくれる人募集中

What / Where / When / How idiom 再掲

• 再掲

Looking Backward: Stream and Table Biases (p.214)

• ストリーミングSQLを実現するということは、
  • 元々 what を表現する能力のあるSQLに対し、
  • Where / When / How というBeam固有の（すなわち現代的なストリーム処理のパラダイム固有の）意味論をどうアドオンしていくかということ
• Chapter6で、ストリームとテーブルの関係性（一般ストリーム・テーブル相対論）を見た
  • 普通のSQLはテーブルへの操作
  • Beam ModelとSQLの関係性を見ていくに当たり、ストリームとテーブルの関係性に再訪する
• その過程で、Beam modelがストリームに寄っている（バイアスがかかっている）ことと、SQLがテーブルに寄っていることを明らかにする
  • そのことが、ストリーミングSQLの実現につながる

The Beam Model: A Stream-Biased Approach (p.214-217)

Chap.6でストリームとテーブルの関係性の話をしているときに、あるBeamコードがどのような論理実行計画・物理実行計画に落とし込まれるかを見た。

↓はそれを並べて対応関係を描いたもの。

左が論理、右が物理。

注目すべきなのは、「論理実行計画単位の入出力は全てストリーム」ということ。

つまり、テーブルは物理実行計画にしか出てこない。この意味でBeam Modelはstream-biased。