このガイドでは、StreamSetsをSnowflakeに統合する手順を説明します。

前提条件

• StreamSetsのアカウント
• DockerのData Collector（前のガイドに記載の通り）
• Snowflakeのアカウント
• WHOISXMLAPI.COMのReal-Time Domain Registrationのサブスクリプション 

設計の概要

Snowflakeでデータベースを作成する

ステップ1： ウェアハウスをセットアップする

• ログイン後、サイドバーの「Admin」から「Warehouses」を選択し、以下の画像のように「Warehouse」ボタンをクリックしてください。

• 適切なウェアハウス名を選択し、「Create Warehouse」をクリックしてください。

ステップ2：データベースをセットアップする

• サイドバーの「Data」を選択し、「Databases」を選んでクリックします。

• 適切なデータベース名を選び、「Create」をクリックします。

ステップ3：スキーマを作成する

• データベースを選択し、「+Schema」をクリックします。

• 適切なスキーマ名を選択し、「Create」をクリックします。

ステップ4：ステージを作成する

• 前のステップで作成されたスキーマを選んで「Create」をクリックし、「Stage」を選択します。そして、「Snowflake Managed」をクリックします。

• 適切なステージ名を選び、「Create」をクリックします。

ステップ5：テーブルを作成する

• 上の手順で作成されたスキーマを選んで「Create」ボタンをクリックし、「Table」を選択します。そして、「Standard」をクリックします。

• 下図のようにSQLクエリを記述してテーブルを作成し、「Create Table」をクリックします。

Snowflakeのコネクションを作成する

ステップ6： コネクションをセットアップする

• StreamSets UIでサイドバーから「Setup」、「Connections」を選択します。下図のように、「+」ボタンをクリックしてコネクションを作成します。

• 新しいコネクションを仕様に従ってカスタマイズし、「Save & Next」をクリックして進みます。データコレクタとタイプを選択してください。

• あなたの認証情報に従って新しいコネクションを設定し、「Save」をクリックして進みます。必ずコネクションのテストを行なってください。

パイプラインを作成する

ステップ7：パイプラインをセットアップする

• StreamSets UIでサイドバーから「Build」、「Pipelines」を選択します。下図のように、「+」をクリックしてパイプラインを開始します。

• 新しいパイプラインを仕様に合わせてカスタマイズし、「Next」をクリックして進みます。

• パイプラインの設定を調整して指定のデータコレクタを選択し、「Save & Open in Canvas」をクリックします。

• 以下のようなユーザーインターフェース（UI）が表示されます。 

• 「Add Stage」をクリックし、次に「WebSocket」を検索します。そして、「WebSocket Client」を選択します。

WebSocketステージを選択し、必要に応じて設定します。

WebSocketを設定する 

• Resource URLを追加します。 
• Request Dataを追加します（APIキーが入ります）。
• Max Message Length (bytes)に入力します（最小値：522184）。 

データフォーマットの設定

• Data FormatでJSONを選択します。
• Max Object Length (chars)に9999999を入力します（必要に応じて変更できます）。

• UIで「Add Stage」を選んでステージを追加し、「Snowflake (destinations)」ステージを選択します。

Snowflakeを設定する 

• 前のステップで作成したコネクションを選択します。

• SnowflakeのConfigurationでWarehouse、Database、Schema、Tableを入力します。「Create New Columns」にチェックを入れると、自動的にテーブルにカラムが作成されます。

• StagingのConfigurationでStage Name、Stage Database、Stage Schemaに記入します。

• DataのConfigurationに設定を記入します。

最終ステップ

設定後、「Validate」をクリックしてパイプラインを検証し、エラーを修正します。パイプラインの最終状態は、下図のようになっているはずです。

パイプラインを実行する

UIで「Draft Run」、「Start Pipeline」を選択してパイプラインを実行します。

前述の手順を完了してパイプラインを起動すると、下図のようなUIが表示されます。

Snowflakeデータベース内で、WebSocketから取得したデータを含むテーブル上のデータを下図のようにプレビューできるはずです。

まとめ

本ガイドでは、Dockerを使用してStreamSets UIでパイプラインを設定および実行する手順を概説しました。WebSocket Clientの設定からSnowflakeステージの定義までの各ステップが、データ処理のパイプライン構築に貢献しています。検証ステップではパイプラインの整合性を担保し、実行に成功するとSnowflakeのUIにアウトプットが表示されます。このガイドで説明した手順を踏むことで、合理的なデータ処理パイプラインの作成、設定および実行、ならびにデータの効果的な統合と管理を実現できます。