すべてのプロダクト ドキュメントを見る

Dataflow は、さまざまなデータ処理パターンの実行に対応したマネージド サービスです。このサイトのドキュメントでは、Dataflow を使用してバッチおよびストリーミングのデータ処理パイプラインをデプロイする方法とサービス機能の使用方法を説明します。

Apache Beam SDK は、バッチとストリーミングの両方のパイプラインの開発に対応したオープンソースのプログラミング モデルです。Apache Beam プログラムでパイプラインを作成し、Dataflow サービスで実行します。Apache Beam のドキュメントには、詳細なコンセプト情報と Apache Beam のプログラミング モデル、SDK、他のランナーのリファレンス情報が記載されています。

Apache Beam の基本コンセプトについては、Beam のツアーと Beam Playground をご覧ください。また、Dataflow Cookbook リポジトリには、起動可能な自己完結型のパイプラインと、Dataflow の最も一般的なユースケースが用意されています。

Apache、Apache Beam、Beam、Beam ロゴ、Beam のホタルのマスコットは、米国およびその他の国にお��る Apache Software Foundation の登録商標です。

ドキュメント リソース

クイックスタートやガイド、主なリファレンス、一般的な問題のヘルプをご覧いただけます。
Google Cloud Skills Boost のセルフペース トレーニング、ユースケース、リファレンス アーキテクチャ、コードサンプル、Google Cloud サービスの使用方法と接続方法の例をご覧ください。
ユースケース
ユースケース

HPC の高度な並列ワークロードを実行する

Dataflow を使用すると、高度に並列��されたワークロードを単一のパイプラインで実行できるため、効率が向上し、ワークフローの管理が容易になります。

ストリーミング

詳細  
ユースケース
ユースケース

Dataflow ML を使用して推論を実行する

Dataflow ML では、Dataflow を使用して完全な ML パイプラインをデプロイおよび管理できます。ML モデルを使用して、バッチ パイプラインとストリーミング パイプラインでローカルとリモートの推論を行います。データ処理ツールを使用して、モデルのトレーニング用データを準備し、モデルの結果を処理します。

ML ストリーミング

詳細  
ユースケース
ユースケース

e コマースのストリーミング パイプラインを作成する

ウェブストアから BigQuery と Bigtable にデータをストリーミングするエンドツーエンドの e コマース サンプル アプリケーションを構築します。このサンプル アプリケーションは、ストリーミング データ分析とリアルタイム AI を実装するための一般的なユースケースとベスト プラクティスを示しています。

ecommerce ストリーミング

詳細  

関連動画