現代のデータ分析における課題: 情報の分断による分析の遅延

現代の企業は、様々な形式で膨大なデータを保有しています。これらのデータは、異なるチームが様々なインターフェースを通じて加工、転送、集約、アクセスする必要があります。

このプロセスにより、全てのデータへのアクセスや元データへの追跡が困難になり、チーム間のタスク調整も複雑化します。結果として、分析サイクル全体が停滞してしまいます。

解決策: 統一されたユーザーインターフェース

この問題を解決するには、大規模なデータから小規模なデータまで、そしてデータの再構築から分析まで、あらゆる作業を一元的に扱える統合ユーザーインターフェースが不可欠です。

SQLの課題とCodatumの解決策

SQLは長年、データ操作のための主要なインターースとして機能してきました。しかし、プレビューや保存、共有、クエリの分割などの面で課題があり、統一されたインターフェースとしては十分ではありませんでした。

Codatumは、SQLを最新のユーザーインターフェースと先進的な概念にシームレスに統合することで、これらの課題を解決します。これにより、データ、プロセス、チームの分断を解消し、企業の分析サイクルを大幅に加速できると考えています。

Codatumが実現する解決方法

「深い」分析

多くのBIツールは使いやすさを重視し、ビジネスユーザーを対象にした簡単なタスク向けに設計されています。しかし、データ分析は本質的に複雑です。既存のツールでは、意味のある洞察を得るために必要な深い分析が難しく、データサイエンティストやエンジニアにとっては機能が制限されすぎています。

SQLの開発、管理、共有

SQLはデータ分析の中心ですが、特に複雑なクエリを扱う際には管理や共有が難しいです。

新鮮で正確なデータ

Jupyter Notebookは長い間、データ分析の定番でしたが、データレイクからデータマート、そしてPythonセッションへのデータ転送を含む従来のワークフローは、リアルタイム分析には時代遅れになりつつあります。これらのツールは、SQLにあまり焦点を当てておらず、効率的なデータ処理に必要な境界を曖昧にすることがよくあります。

モデリングと分析の迅速なサイクル

質の高いデータを収集し整理することは、複雑な分析にとって重要です。また、分析は直線的ではなく反復的であるべきです。Codatumは、同じプラットフォーム上でデータモデリングと分析のためのシームレスなSQL統合を実現し、分析サイクル中の不要な遅延を削減します。

分析の柔軟性を高める詳細なセキュリティ機能

データ分析においてセキュリティとプライバシーは重要であり、リスクを最小限に抑えつつデータの有用性を最大化するために厳格なアクセス制御が必要です。詳細な権限設定がなければ、分析の柔軟性は大幅に制限され、データ資産の価値が低下します。

重要なポイント

Codatumは、データの力を活用してチームを強化するように設計されています。データの断片化を排除し、チーム間のコラボレーションを促進することで、Codatumはデータ駆動型のアプローチでチームの潜在能力を最大化します。Codatumを使用することで得られる利点をお楽しみください！

参考文献

ブロックエディタをセルベースのエディタよりも選んだ理由について、こちらで詳しくお読みください。

なぜセルベースエディタではなくブロックエディタを選んだのか？

Codatumでは、データ分析は使用するツールに制限されることなく、柔軟で使いやすいものであるべきだと考えています。私たちの目標は、ユーザーがノートブックで行うように自由に思考や分析を構築できるようにすることです。ブロックエディターを使用することで、ユーザーは直感的にコンテンツを構築し、メモ帳で思考を整理するように自由にブロックを移動できます。さらに、ブロックエディターは統一されたキーボード操作（SQLの実行などの特殊なショートカットを含む）で継続的な作業を可能にします。基本的に同じテキスト形式で構築されているため、ユーザーは思考プロセスを中断することなく作業に集中できます。

2000年代以降、EvernoteやNotionのようなブロックエディターは急速に進化してきました。これらの現代的なインターフェースは、直感的な操作と柔軟性の比類のない組み合わせを提供し、ユーザーが思考を容易に管理できるようにしています。

セルベースのエディターにも、コードと出力の明確な区分けなどの利点がありますが、これらはやや古いアプローチを表しています。この方法は、より厳格な構造を強制することで、時として思考の流れを妨げる可能性があります。さらに、セルベースのエディターはリアルタイムコラボレーションが弱い傾向にあり、チームが効果的に協力して作業することを難しくします。

データ分析は一人で行うものではありません。それは協力して作業し、知識を共有することを含みます。Codatumでは、リアルタイムコラボレーションを優先しています。現代的なブロックエディターアプローチを採用することで、複数のユーザーが同時にドキュメントを編集でき、変更が即座に反映され、競合なくチームワークをスムーズかつ効率的に行うことができます。

Codatumでは、思考プロセスがスムーズで、リアルタイムコラボレーションがシームレスであることを確保するために、現代的なブロックエディターアプローチを選択しました。これにより、ユーザーは不必要な妨げなくデータ分析に集中でき、プロセスをできるだけスムーズかつ効率的にすることができます。

データに接続する

まず、Codatumをデータソースに接続する必要があります。現在、Google BigQueryをサポートしており、Codatumから直接大規模なデータセットにアクセスして分析できます。

Connectionを作成する方法

1. Connectionに移動: ページの左下にあるWorkspace設定に移動し、ConnectionにナビゲートしてNew connectionをクリックします。

2. 認証情報をアップロード: サービスアカウントのJSONキーファイルをアップロードし、Connection詳細を入力します。

3. Sync target: Google CloudプロジェクトIDを追加し、メタデータの同期用のデータセットを選択します。

データが接続されると、分析に取り掛かる準備が整います。

データを分析する

CodatumのNotebookは、SQL中心で理解しやすい分析を実現するために設計されています。SQLの柔軟性とマークダウンの明確さを組み合わせて、1つのツールでインサイトを構築し、共有できます。

データを分析する方法

1. Notebookを作成: 新しいNotebookを作成します。

2. SQL Blockを作成: ページの本文に/sqlと入力して新しいSQL Blockを作成し、表示されるメニューから選択します。SQL Blockの右上で正しいConnectionを選択してください。
3. SQLを記述して実行: SQL Blockを使用してクエリを記述し、実行します。Codatumの統合クエリエディタは、構文のハイライトや自動補完を提供し、ワークフローを効率化します。

4. クエリ結果を探索: SQL Blockの下に表示される結果を確認します。これらの結果を他のSQL Blockで参照して、各ブロックをシンプルで読みやすく保ちながら、より複雑なクエリを構築できます。

5. 分析を文書化: 同じドキュメント内でマークダウンを使用して、SQLクエリに注釈を付けたり、ロジックを説明したり、コンテキストを提供したりできます。これにより、チームメンバーやステークホルダーと分析を共有しやすくなります。

分析が完了したら、魅力的な可視化を作成する準備が整います。

チャートを追加する

データを可視化することで、パターンを発見し、意思決定を行うのに役立ちます。Codatumは、データをわかりやすく表現したチャートやダッシュボードを作成するための直感的なツールを提供します。

チャートを追加する方法

1. チャートを作成: クエリ結果をチャートに変換するには、クエリ結果の上部バーを使用します。好みのチャートタイプを選択し、必要に応じてカスタマイズします。

データの可視化が完了したら、次はそこから得られたインサイトを活用し、効果的に共有しましょう。

インサイトを共有する

Codatumで作成したNotebookは、閲覧者に応じてアクセスレベルを柔軟に設定できます：

• リアルタイムコラボレーションのために共有: Notebookをチームメンバーと共有し、積極的にコラボレーションします。

• 公開ドキュメントとして共有: 認証を必要とせず、静的で読み取り専用のドキュメントを共有する必要がある場合は、誰でもアクセスできるPublic linkを生成します。

共有オプションを調整することで、データとインサイトが適切な人々に適切な権限でアクセスできるようにできます。

チームメンバーを招待する

Codatumでチームメンバーをコラボレーションに招待するには、次の手順で行います：

1. Workspace設定に移動: Memberセクションに移動します。

2. メンバーを招待: "Invite member"をクリックし、リンクまたはメールで招待を送信します。

さらに、許可されたメールドメインを指定することで、Workspaceへの自動参加を設定できます。指定されたドメインに一致するメールアドレスを持つ人は、自動的にWorkspaceに参加できるようになります。

Codatumを使用してBigQueryに接続し、クエリの実行やデータの管理ができます。

設定方法

BigQuery側の作業

まず、BigQueryコンソールで以下の操作を行います:

• サービスアカウントとサービスアカウントキーを生成する

• 対象のプロジェクトに以下の役割または権限を付与する:

  • BigQuery Job User ロールまたは以下の権限:

    • bigquery.jobs.create

  • BigQuery Read Session User ロールまたは以下の権限:

    • bigquery.readsessions.create

    • bigquery.readsessions.getData

    • bigquery.readsessions.update

  • Codatum側の作業で必要になるので、対象のProject IDを控えておく

• 対象のデータセットに以下の役割または権限を付与する:

  • BigQuery Data Viewer ロールまたは以下の権限:

    • bigquery.tables.getData

    • bigquery.datasets.get

    • bigquery.tables.get

    • bigquery.tables.list

• (オプション) プロジェクトIDの入力を省略してデータセットテーブル情報を同期したい場合は、対象のプロジェクトに以下の権限を付与してください：

  • resourcemanager.projects.get

Codatum側の作業

最後に、Codatumで新しいConnectionを作成します。

1. ConnectionリストからNew connectionを選択

2. Display NameにConnection名を入力

3. アクセスレベルを選択

4. File uploadを使ってサービスアカウントキーをアップロード

5. Project IDを入力

   • 上記BigQuery側の作業で控えたProject IDを使用

6. Sync targetにデータセットを追加

INFORMATION_SCHEMAを使用して検索する

対象のプロジェクトにbigquery.admin権限を付与すると、同期していないデータセットのテーブルもINFORMATION_SCHEMAテーブルを使って検索できます。

テーブルメタデータを同期することで、テーブルとカラムに関する情報がCodatumに定期的に保存され、常に最新のデータレコードが確保されます。

主な機能

• テーブルメタデータの集約:

  • 以下を含むテーブル構造:

    • データセット名

    • スキーマ名

    • テーブル名

  • テーブルの説明

  • 行数

  • テーブルサイズ (バイト)

  • テーブルの作成日と更新日

  • カラム名、データ型、カラムの説明

• 自動同期ジョブの実行:

  • 間隔: 週次

• 手動同期:

  • 管理パネルから手動で同期をトリガー

• リアルタイムの同期ステータス追跡:

  • 以下のようなステータスでリアルタイムに同期状況を監視:

    • キュー中 (QUEUED)

    • 処理中 (PROCESSING)

    • 成功 (SUCCESS)

    • 警告 (WARNING)

    • 失敗 (FAILED)

権限

• 同期されたテーブルメタデータへのアクセスは、そのテーブルに関連付けられたConnectionに対する読み取り権限を持つユーザーに限定されます。

• 複数のConnectionが同じテーブルを参照している場合、それらは単一のテーブルメタデータエントリとして扱われます。いずれかのConnectionに読み取り権限が付与されていれば、そのテーブルメタデータにアクセスできます。

制限事項

• テーブル数: プランによって異なります。
• スキーマごとに同期可能なテーブル数: 最大1,000。

• テーブルごとに同期可能なカラム数: 最大1,000。

トラブルシューティング: データウェアハウス内のテーブルが見つからない場合

1. 同期ステータスを確認し、エラーがないことを確認します。

2. データベースとテーブルが同期対象に選択されていることを確認します。

3. Connectionの認証情報にテーブルを参照する権限があることを確認します。

4. 必要に応じて手動で同期を実行します。

Codatumとは？

Codatumは、SQLに特化したデータ前処理と分析のための強力なツールです。

データウェアハウス上でシームレスにタスクを実行でき、大規模データセットの迅速かつ正確な分析を可能にします。Codatumを使えば、データ分析がコラボレーティブで楽しく、安全になります。

Codatumと一緒に、データ分析の可能性を広げていきましょう！

Codatumで実現できること

Codatumは、以下の主要な利点を通じて、チームの分析能力を大幅に向上させます。

• 制限のない深い分析:

  • SQLベースのツールであるCodatumは、GUIベースのツールにしばしば見られる制限なしに、複雑で詳細な分析を可能にします。この柔軟性により、データからより深い洞察を引き出すことができます。

• キーボードファーストデザインによる効率的なワークフロー:

  • Codatumは、SQL Block、データテーブル、チャートをフローベースのエディタに統合しています。このキーボードファーストのアプローチにより、SQLクエリを迅速に記述し、結果を分析することができ、データ探索がより効率的で直感的になります。

• 安全で多様な共有:

  • 様々な共有オプションと詳細な権限設定により、Codatumは異なる要件に応じて安全に分析結果を共有できることを保証します。チームメンバーとコラボレーションしたり、ステークホルダーと結果を簡単に共有したりできます。

• リアルタイムで新鮮なデータ:

  • データウェアハウスに直接接続することで、Codatumは常に最新で信頼性の高いデータを提供します。このデータソースへの直接アクセスにより、分析の正確性と新鮮さが保証されます。

• 分析サイクルの加速:

  • Codatumを使用すると、データの前処理、モデリング、分析を1つの場所で行うことができます。この統合により、分析サイクルが加速し、反復的な調整と継続的な洞察が可能になります。

これらの利点を活用することで、Codatumはデータ分析プロセスを柔軟で効率的、かつコラボレーティブに変革します。

次のステップ

• • Codatumを初めて使用しますか？このガイドでWorkspaceを設定し、すぐに始めましょう。

• • Codatumの背後にあるアイデアに興味がありますか？コアコンセプトと解決する課題について深く掘り下げてみましょう。

現在、BigQueryのみ対応しています。他のデータウェアハウスで接続したいものがあれば、ぜひ support@codatum.dev までご連絡ください。

Codatumを使用して、Snowflakeのデータに接続、クエリ、管理ができます。

設定方法

1. キーペアとSnowflakeユーザーの準備

2. 必要な権限の付与

Snowflakeユーザーに割り当てられたロールに権限を付与する必要があります：

• ロールの準備

  • 新しいロールを作成するか、既存のロールを使用して、作成したユーザーに割り当てます。

• ウェアハウスの権限

  • 使用したいウェアハウスに対するUSAGE権限をそのロールに付与します。

• データベースの権限

  • 使用したいデータベースに対するUSAGE権限をそのロールに付与します。

• スキーマの権限

  • 使用したいスキーマに対するUSAGE権限をそのロールに付与します。

• テーブルの権限

  • 使用したいテーブルに対するSELECT権限をそのロールに付与します。

3. CodatumにSnowflake Connectionを登録する

最後に、CodatumでSnowflake Connectionを作成します

1. Connectionリストで、New connectionを選択し、Snowflakeを選択します。

2. Display nameとしてConnection名を入力します。

3. アクセスレベルを選択します。

4. 組織名を入力します
5. アカウント名を入力します

   • Snowflakeアカウントの名前です。
6. ユーザー名を入力します

   • ステップ1で準備したユーザー名を使用します。

7. ロール名を入力します

   • ステップ2で準備したロール名を使用します。

8. ウェアハウス名を入力します

   • ステップ2で準備したウェアハウス名を使用します。

9. データベース名を入力します

   • ステートメントが実行されるデフォルトのデータベースを指定します（「名前空間」のようなもの）。この設定は、クエリできるテーブルやスキーマを制限するものではありません。

10. 秘密鍵を入力します

    • ステップ1で準備した秘密鍵を使用します。

    • -----BEGIN PRIVATE KEY-----と-----END PRIVATE KEY-----の行を含む秘密鍵全体を貼り付けます。

11. Sync targetにデータセットを追加します

ネットワークとファイアウォールの制限

現在、Codatumは接続用の固定IPアドレスを提供していません。セキュリティ上の理由からSnowflakeでIPアドレスをホワイトリストに登録する必要がある場合は、可能なオプションについて話し合うためにCodatumサポートにお問い合わせください。

現在はBigQueryのみをサポートしています。他のデータソースに接続したい場合は、support@codatum.dev までご連絡ください。

Connectionは、データウェアハウスへのアクセスを管理するために使用されます。 ユーザーがアップロードした認証情報を含み、クエリの発行やテーブル情報の取得に使用されます。

主な機能

• クエリの実行:
• メタデータの集約:
• アクセス制御:

  • どのユーザーやグループがデータにアクセスでき、どのように使用できるか（閲覧のみ、実行可能など）を制限するアクセス制御を管理します。

設定方法

• 認証情報のアップロードを含む設定を作成し、構成します。各ウェアハウスのセットアップガイドを参照してください。
• 同期をトリガーして、テーブルのメタデータを取得し保存します。

カタログは、テーブルとクエリのメタデータを管理するように設計されており、データの整理と検索を容易にします。

主な機能

• アノテーション:

  • テーブルと列に説明やタグを追加して、コンテキストを提供し、理解を深めることができます。

• 検索性の向上:

  • アノテーションやタグを使用してキーワード検索を改善し、必要なデータをすばやく見つけやすくなります。

• Popularity:

  • Notebookで参照されているクエリの数に基づいてテーブルの人気度を追跡でき、最も頻繁に使用されているテーブルを特定できます。

• References:

  • テーブルを参照しているNotebookやジョブを特定でき、データの依存関係と使用状況を明確に把握できます。

Workspace全体で、Notebook、Table、Queryなど様々なリソースを検索できます。

主な機能

• 全文検索:

  • Notebook: Notebookの名前とSQL文を含む本文内を検索

  • TableとQuery: 名前、スキーマ情報、Catalogで付与された説明を検索

Codatumでは、Notebookでクエリを連鎖させてデータをプレビューすることで、アドホックなデータ分析を行うことができます。さらに、これらの結果を様々なチャートで表示したり、ParameterやExplorerなどの機能を使用することで、GUIベースのインターフェースを通じて簡単にデータを深く掘り下げることができます。

主要なツールと機能

• Notebook:

  • Notebookはリアルタイムの共同編集をサポートしており、複数のユーザーが同時に作業を行い、コメントを追加したり、他のユーザーにメンションしたりすることができます。

  • フローベースのブロックエディタ（Doc Page）とSQL Blockを使用して、アドホックなデータ抽出や複雑なデータ分析を行いながら、解釈的なテキスト結果を挿入できます。さらに、視覚的に魅力的なチャートを作成し、タイルベースのドキュメント（Grid Page）に整理して配置することで、分析結果を観察・共有できます。

• Chart:

  • Notebookを使用して抽出したデータ分析の結果を、様々なチャートを用いて明確かつ美しく表現できます。データとインサイトを最適に表現するために、異なるチャートタイプから選択できます。

  • これらのチャートは、Reportを通じて共有したり、ウェブサイトやブログに直接埋め込んで、より広く発信したりすることができます。

• Explorer:

  • NotebookやReportで、ドラッグ＆ドロップやスプレッドシートのようなUIを使用して、コーディングなしでデータの絞り込み、抽出、集計、修正を簡単に行えます。

  • Explorerは、複雑なデータ操作を簡素化するグラフィカルインターフェースを提供し、あらゆるスキルレベルのユーザーにとってアクセスしやすくなっています。

• Parameter:

  • NotebookでParameter Widgetを使用することで、NotebookやReportを動的でインタラクティブなものにできます。これにより、SQLに直接アクセスすることなくパラメーターを通じて埋め込みSQLを制御し、必要に応じてカスタマイズされた出力を得ることができます。

Notebookはリアルタイムの共同編集機能を備えており、複数のユーザーが同時に作業でき、コメントの追加や他のユーザーへの言及も可能です。

また、フロー形式の文書（Doc Page）とSQL Blockを使用して、アドホックなデータ抽出や複雑な分析が可能です。さらに、タイル形式の文書（Grid Page）では、魅力的なチャートを整理して配置できます。

主な機能

• リアルタイム共同編集:

  • リアルタイムで共同編集が可能で、コメントの追加やユーザーへのメンションもできます。

• 2種類のページタイプ:

  • • アドホックな分析を行い、分析プロセスを記録できます。

  • • チャートを効果的に配置できます。

• • SQLを直感的に作成できる強力なエディタです。

• • 分析の状態を自動および手動で保存・復元できます。

Grid Pageは、Doc Pageで作成したSQLの実行結果やチャートをグリッドレイアウトで自由に配置できるページです。

主な機能

• 直感的なGUIによる操作:

  • Chartコンポーネントを含む様々なコンポーネントを自由に配置、並び替え、サイズ変更、ドラッグ&ドロップできます。

• リアルタイム共同編集:

  • 他のユーザーによるグリッド上の変更がリアルタイムで反映されます。（ただし、Chartの設定などは明示的に保存するまで共有されません）

  • コメントの追加が可能です。

• Parameter:

  • Parameterを配置し、簡単に操作できます。

• Explorer:

  • Explorerを使ってデータの洞察を深められます。

配置可能なコンポーネントの種類

グリッドに配置できるコンポーネントは以下の通りです:

• 見出し

  • 3つのレベルがあり、タイトルやセクションの区切りに使用できます。

• テキスト

  • 文書化に使用できるリッチテキストです。

• SQL結果テーブル

  • Doc Pageで作成したSQLの実行結果を表示するテーブルです。

• Chart

  • Doc Pageで作成したあらゆるChartを配置できます。

コンポーネント設定の同期について

一部の設定はGrid PageとDoc Pageで同期されますが、他の設定は独立しています。

• Doc Pageと同期される設定:

  • Chartの設定（軸フィールド、チャートタイプなど）

• Doc Pageと同期されない設定:

  • コンポーネントの設定（ヘッダー表示、コンポーネントタイトルなど）

Doc PageはNotebookのページの一種で、データ分析の抽出、探索、可視化を行えます。素早いアドホック分析が可能で、作業過程も記録できます。キーボード操作を重視したユーザーインターフェースにより、スムーズな作業フローを実現します。

主な機能

• フロースタイルのブロックエディター:

  • 縦方向に流れるエディターで、中断のない滑らかな記述が可能。キーボードとマウスの切り替えを最小限に抑え、作業に集中できます。

• 多様なブロックタイプ:

  • SQL、チャート、画像、レイアウト、トグルなど、様々なブロックタイプを使ってページを構築できます。スラッシュコマンドで簡単にアクセスできます。

• コードとのシームレスな連携:

  • SQLとのスムーズな連携を実現します。

• キーボード操作重視のデザイン:

  • キーボード操作に最適化されており、開発者にとって使いやすいインターフェースです。

• 全文検索:

  • ドキュメント内の包括的な検索機能を提供します。

• パラメーター:

  • 埋め込みSQLやその他の動的要素を制御するためのパラメーター機能をサポートします。

• ロック:

  • 一時的に編集機能を制限できます。

ロック

ロックには3種類があります：

• ロック解除（デフォルト）:

  • すべての編集が可能です。

• コンテンツロック:

  • パラメーターの編集とクエリの実行ができます。

• ロック:

  • コメントの編集のみ可能です。

バージョンは自動または手動で保存・復元できます。データが破損した場合や以前の状態に戻す必要がある場合は、保存されたバージョンから復元できます。

主な機能

• 自動バージョン作成:

  • 変更があった際や一定期間経過後に自動的にバージョンを作成します。

  • 古いバージョンは自動的に削除され、スペースを節約できます。

• 手動での名前付きバージョン:

  • 手動でバージョンを作成し、名前を付けられます。

  • 手動で作成したバージョンは別々に管理され、自動バージョンによる上書きはされません。

• Notebookの復元:

  • バージョンから新しいNotebookを作成できます(既存のNotebookへの上書きはできません)。

• ユーザー固有のパラメーター:

  • Notebookでは、パラメーター値と関連する実行結果が複数のユーザー間で共有されます。しかし、バージョンでは、これらをユーザー個別に保持できます。

  • この機能はレポートでも実現できます。

パラメーター処理:

パラメーター値はURLパラメーターとして指定できます。共有URLを変更することで、デフォルトで挿入される値を変更できます。これにより、特定のパラメーターを使った過去のSQL実行結果を再現できます。

SQLリザルトキャッシュの処理:

SQL Blockキャッシュが有効な限り、SQL実行結果とチャートにアクセスできます。SQL Blockキャッシュがなくなった後でも、スナップショット内のSQL Blockを再実行すれば、実行結果とチャートが更新されます。

自動スナップショットの頻度

変更ごとにスナップショットを作成するのではなく、複数の変更がまとめられ、1つのスナップショットとして保存されます。編集を続けると、約1時間の変更がまとめて保存されます。

Notebook

パラメーターやチャートの変更は、ユーザーごとに独立していますか？

パラメーター、SQL、チャートの変更は、同じページを閲覧しているすべてのユーザーに即座に反映され表示されます。これらの変更はNotebook内の状態として保存されます。

ただし、SQL BlockやListアイテムのトグル状態など、ページの外観に関する設定はユーザー間で同期されません。

Run allを実行する際にキャッシュは使用されますか？

Run allを実行する際には、利用可能なキャッシュが使用されます。

データソースを更新した後など、キャッシュを使用したくない場合は、ページ右上からRun all without cacheを選択して、すべてのSQL Blockを実行してください。

Notebookに制限はありますか？

Notebook1つあたりの最大サイズは10MBです。

大量のコンテンツがある場合、特に読み込み時間や競合解決のパフォーマンスに影響を与える可能性があります。スムーズなパフォーマンスを維持するために、Notebookはコンパクトに保つことをお勧めします。Notebookが大きくなりすぎた場合は、ページを追加する代わりに新しいNotebookを作成することを検討してください。

大きなNotebookを管理するための推奨方法：

• Notebookをエクスポートし、新しいNotebookにページをインポートする Notebookが大きくなりすぎた場合、元のNotebookをエクスポートし、新しいNotebookを作成して、そこにいくつかのページをインポートできます。ページを移動する際は、依存関係が壊れないように参照されているSQL Blockを適切に管理してください。

• 古いNotebookをアーカイブする 大きなNotebookを編集する必要がなくなったが、内容を保持したい場合は、複製して、その複製を読み取り専用に設定してアーカイブ用にすることができます。その後、元のNotebookから不要なページを削除してサイズを縮小することができます。

Doc Page

Doc Pageの内容が長くなった場合、複数のページに分割するタイミングはどのように判断すればよいですか？

Doc Pageの内容が長くなると、分析の理解が難しくなります。

SQL Blockは他のページのSQL Blockを参照できるため、いつでもDoc Pageを分割して分析を続けることができます。

同様に、パラメーターも異なるページ間で作成・参照することができます。

ページ数が増えた場合、Notebookを分割するタイミングはどのように判断すればよいですか？

ページ数が増えると、特定の分析がどこで行われたかを見つけるのが難しくなります。

また、ページ内の要素数やページ数が増えると、Notebook全体のパフォーマンスが低下する可能性があります。

Notebook間でSQL文を共有したい場合は、Queryを使用して保存し、複数のNotebookから参照することができます。

ページ数が大幅に増えた場合は、再利用可能なSQL文のみをQueryとして保存し、新しいNotebookを作成してください。

SQL Block

SQL Block内で参照しているテーブルのカラム名が提案されません。

カラム名の提案や、メタデータ・スキーマの表示は、Table RefまたはSQL Block Refの実行結果に限定されています。

テーブルIDを文字列として使用する場合や、Saved Queriesを参照する場合は、提案やスキーマ表示が利用できませんのでご注意ください。

Codatumは、多様なデータに対応するために幅広い種類のチャートを提供しています。さらに、各チャートには数多くの設定があり、データに合わせてビジュアルをカスタマイズできます。

チャートの種類

• Big Number

  • プレフィックス、サフィックス、値のフォーマッター、条件付きスタイルなどのオプションを設定できます。

• XY Chart

  • 折れ線、棒、積み上げ棒、エリア、積み上げエリアチャートから選択できます。複合チャートも利用可能です。

• Radial Chart

  • 円グラフ、ドーナツチャート、レーダーチャートから選択できます。

• XYZ Chart

  • 散布図、バブルチャート、ヒートマップから選択できます。

• Hierarchy Chart

  • ツリー、ツリーマップ、サンバーストチャートから選択できます。

• Graph Chart

  • グラフチャートとサンキーダイアグラムから選択できます。

• Funnel Chart

  • 縦型と横型のファネルチャートから選択できます。

• Table Chart

  • 希望するフィールドを選択して表示し、フィルターを適用したり、集計形式でデータを表示したりできます。

• Pivot Table

  • 行/列でデータを集計し、ピボットテーブルとして表示します。

チャートの共通オプション

チャートには以下の共通オプションがあります：

• インメモリ処理の無効化（デフォルト：オフ）:

  • 実行結果が1000行以内の場合、インメモリ処理は新しいクエリを発行せずにデータ処理を行います。

• クエリ自動ディスパッチの有効化（デフォルト：オフ）:

  • データソースやチャート設定が変更された際に、自動的にデータ処理クエリを実行します。

様々な場面で、クエリ実行ごとにキャッシュを作成・活用し、不要なバックグラウンドジョブを防いでいます。

これにより、スキャンするデータ量を削減し、実行結果をより速く取得することができます。

ウェアハウス側のキャッシュ

NotebookとReportの小規模キャッシュ

1000行までのSQL結果は、NotebookまたはReport自体に保存されます。チャートなどのコンポーネントは、この1000行までの結果を利用できます（オプションで有効/無効を切り替えることも可能です）。

24時間以内に同じSQLが再度実行された場合、保存された表示用データが取得され、新しいジョブを実行せずに表示されます。

Explorerを使用すると、データを表示しながらグラフィカルユーザーインターフェースを通じて一般的なデータ変換を実行できます。ExplorerはNotebookやReportのSQL BlockやChartの実行結果に対して使用できます。

主な機能

• スプレッドシート風UIとドラッグ＆ドロップUI:

  • スプレッドシートと同様に、列ヘッダーからソート、フィルター、値の選択ができます。

  • ドラッグ＆ドロップでフィールドの選択、フィルターの適用、データのソートができます。

• 集計:

  • ドラッグ＆ドロップで簡単な集計（グループ化）を実行できます。

• フィールド統計:

  • 列ヘッダーから統計情報を確認できます。

• チャート推奨:

  • 操作結果のタイプと形式に基づいて推奨チャートを生成します。

Explorerが利用可能な場所

Explorerは元のデータと直接やり取りするため、特定のコンテキストでのみ利用可能です。

• Notebook (DocPage/GridPage)

• Report

  • クエリ実行オプションで「Exploreとパラメータ編集を許可」が選択されている場合

詳細については、以下のセクションを参照してください。

行数が1000以下の場合はブラウザのメモリを使用

Explorerの対象となるテーブルや実行結果の行数が1000以下の場合、デフォルトではData Warehouseにジョブを発行せず、ユーザーのブラウザ上で変換が実行されます。

Disable in-memory processチェックボックスをオンにすると、1000行を超える場合と同様に、Data Warehouseにジョブを発行してデータ変換を処理できます。

SQL BlockはNotebook内のブロックで、SQLの実行を可能にします。

SQL Block内では、クエリの編集と実行、結果の表示、統計情報の確認、チャートの作成ができます。

主な機能

• パワフルなサポートを備えたプロフェッショナルSQLエディター:

  • 関数や予約語の提案、オートコンプリート、シンタックスハイライト、フォーマッティングなどの機能を含みます。

• 即時結果プレビュー:

  • Ctrl + Returnを使用してクエリを実行し、リアルタイムで結果をプレビューできます。

• テーブル検索:

  • SQLブロック内で/コマンドを使用して、データセットとそのConnectionのテーブルを検索できます。カタログ内のメタデータやフィールド名での検索も可能です。

• コードスニペット:

  • 個人用のコードスニペットを作成したり、Workspace全体で共有したりできます。トリガーや補完後のカーソル位置などの設定をカスタマイズできます。

• 豊富なショートカットキー:

  • 様々なショートカットキーを利用でき、個人用にカスタマイズすることも可能です。

• SQL Chain

  • SQL Block内で他のSQL Blockを参照できます。これにより、複雑なSQLをより理解しやすく再利用可能なコンポーネントに分解して管理できます。

• フィールド統計:

  • 各フィールドのデータ型、NULL値の有無、ユニーク数、平均値、分位数、頻度、ヒストグラムなどの統計情報を簡単に取得できます。

使用方法

• SQL Blockの作成:

  • Doc Page内の空の段落にフォーカスを当てた状態で、スラッシュコマンド（/）を使用してSQL Blockを選択し、作成します。

• 参照の作成:

  • SQL Block内でスラッシュコマンドを使用して、他のSQL BlockやTableへの参照を作成できます。

  • ParameterやSaved queriesへの参照も作成できます。

SQL Assistantは、ユーザーの意図を理解し、必要なSQLを生成する機能です。

自然言語で実行したい分析や生成したいSQLを伝えることで、SQL Assistantはそれに応じてSQLを生成または修正します。

セットアップ方法

Workspace settings > Codatum AIに移動して有効にします。有効にした後、SQL Blockを選択し、その右上隅をクリックすることでSQL Assistantを使用できます。

主な機能と使用方法

• SQL生成:

  • SQL Blockを作成した後、Assistantが参照するテーブルを選択し、実行したい分析を指定します。

• SQL修正:

  • 修正したいSQL Blockを選択し、どのように修正するかをAssistantに指示します。

• SQL自動修正:

  • エラーのあるSQL Blockで「Auto fix」を選択すると、修正が必要なSQL文とエラーメッセージに基づいて、Assistantが修正を行います。

データプライバシー

これらのリクエストは、選択したLLMプラットフォームに送信されますが、トレーニング目的では使用されません。

主な機能に含まれるデータは以下の通りです：

• SQL Block内のSQL文

• 参照テーブルのスキーマとSQL実行結果のスキーマ（以下で指定）:

  • SQL Block内で参照されるテーブルとSQL Block

  • GUI上で明示的に参照されるテーブル

• ユーザーが入力したリクエストメッセージ

Shared Notebookを使用すると、特定のメンバーやグループと個別のNotebookを直接共有できます。これにより、必要なメンバーと個々のNotebookを迅速かつスムーズに共有することができます。

主な機能

• 即時共有:

  • 特定のユーザーやグループと個別のNotebookを簡単に共有でき、迅速なコラボレーションが可能です。

• リアルタイムコラボレーション:

  • チームメンバーとリアルタイムで共同作業を行い、シームレスに編集や更新ができます。

• アクセス制御:

  • 共有された各Notebookに対して、EditorとViewerの役割を選択でき、適切なアクセスレベルを確保できます。

• プライベート共有:

  • プライベートなNotebookを選択されたユーザーやグループと安全に共有できます。

• Sharedタブでの可視性:

  • 共有されたNotebookは「Shared」タブから簡単にアクセスでき、迅速かつ整理された形でアクセスできます。

設定方法

1. Notebookを選択

   • Workspaceを除くAccess Scopeにあるノートブックを選択します。

2. 権限を設定

   • ヘッダーのShareをクリックし、Permissionsタブを選択します。

   • Additional permissionsで、共有したいメンバーやグループを追加し、必要な役割（ViewerまたはEditor）を設定します。

参考： Notebookのアクセス制御

ConnectionのパーミッションはNotebookやTeamspaceのパーミッションよりも優先されます

• Viewerとして共有した場合でも、元のNotebookに対する書き込み権限を持つユーザー（Notebookが属するTeamspaceでEditor役割を持つユーザー）は、書き込み権限を保持します。

参考： アクセス制御の概要

Teamspaceは、特定のチーム（メンバーとグループ）内でNotebookとフォルダを共同編集できる機能です。

Teamspaceに権限を設定することで、Teamspace内のすべてのNotebookとフォルダにアクセス制限を適用でき、一貫したアクセス制御を確保できます。

主な機能

• 集中的なコラボレーション:

  • チームメンバーを専用のスペースに集め、共同編集とデータ分析を行えます。

• アクセス制御:

  • Teamspace内のユーザーやグループに特定の権限を割り当て、適切なアクセスレベルを確保します。

• フォルダとNotebookの管理:

  • Teamspace内にフォルダとNotebookを作成・整理し、構造化されたデータ管理を実現します。

設定方法

1. • Teamspaceに対するユーザーまたはグループの権限を割り当てます。

2. Teamspace内にフォルダやNotebookを作成します。

よくある質問

Teamspaceへのアクセス権限を持たないメンバーやグループに、Teamspace内のNotebookの閲覧権限を与えた場合、どうなりますか？

Teamspaceに割り当てられた権限を持たないユーザーやグループは、Sharedフォルダの下にNotebookが表示され、アクセスできるようになります。

NotebookをTeamspaceの内外に移動することは可能ですか？

はい、可能です。Notebookを移動する際、新しい場所（Workspace/Teamspace/Private）に応じてアクセス権限が更新されることに注意してください。

Codatumにおいて、Accountはプラットフォームにアクセスして利用できるユーザーを表します。Accountには以下の機能が利用可能です：

主な機能

• 複数のWorkspaceへのアクセス:

  • 1つのAccountで複数のWorkspaceに所属できます

  • 例えば、個人用WorkspaceとWorkspace両方に所属することが可能です

  • UIの左上にあるWorkspaceセレクターから、簡単にWorkspaceを切り替えることができます

• Workspace Roleとアクセス制御:

  • Groupを使用することで、複数のAccountを効率的に管理できます

Codatumのアカウント設定では、プロフィールのカスタマイズ、インターフェース設定の調整、認証オプションの管理、プラットフォームとの対話方法の設定が可能です。

主な機能

プロフィールのカスタマイズ:

• Full name: 他のユーザーに表示される名前

• Nickname: Notebookやその他の表示で省略される際に使用される短い名前

• Profile image: アバターとして使用される画像

インターフェース設定:

• Color theme: ライトモード、ダークモード、システム設定から選択可能

• Language: 以下の要素で言語設定が反映されます

  • 基本的なUI部分: 現在は主に英語、日本語の部分対応を予定

  • ツールチップや詳細説明: 現在は英語、日本語対応を予定

  • AIとの対話: 既に英語と日本語の両方に対応

  • Notebookなどのコンテンツ: ユーザーの選択する任意の言語で記述可能

認証方法:

• Googleログイン: Googleアカウントを使用したシングルサインオン

• メール + パスワード: メールとパスワードによる認証

• 多要素認証（MFA）: メール + パスワード認証での使用を強く推奨

  • 認証アプリのサポート（Google Authenticator、Microsoft Authenticator）

  • 登録された電話番号によるSMS認証

SQL Editorの設定:

• タブサイズ: インデントのスペース数を調整

• 大文字/小文字: SQL関数とキーワードの表示を大文字または小文字に設定

カスタマイズ可能なキーボードショートカット:

• Global:

  • プラットフォーム全体の検索

  • サイドバーの表示/非表示

  • AI Assistantを開く

• Doc Page:

  • テキストの検索と置換

  • テキストの書式設定（太字、ハイライトなど）

  • SQLエディターの操作（SQLの実行、フォーマット、コメント/コメント解除）

• Grid Page:

  • 元に戻す/やり直し操作

通知管理:

• 通知チャンネル: アプリ内通知とメール通知から選択可能

• 設定可能な通知イベント:

  • NotebookとReportへのコメント

  • 所有するConnectionを含むReportやPublic linkの公開

  • Connection同期ジョブの失敗時の通知

アクセス方法

プロフィールアイコン（左下）> "Account Settings"

Reportは、Notebookから派生した特殊な文書で、コンテンツの閲覧のみが必要なユーザーと共有するために設計されています。

データ分析のスナップショットを提供することで、Reportはデータの破損を防ぎます。また、Data Warehouseの元データへのアクセスを制御しながら、重要なインサイトを広く配布することができます。

主な機能

• 重要なページに焦点を当てる:

  • 特定のページを選択できます。

• 静的で閲覧専用:

  • Reportを使用することで、作成者は元データが変更される心配なく共有できます。閲覧者も内容を変更する能力なしに重要な情報にアクセスし、レビューできます。これにより、作成者と閲覧者の両方が、共有されたデータが intact で安全であることを確信できます。

• ゲストアクセス:

  • ゲストは特別な無料ロールで、Reportのみを閲覧できます。NotebookやConnectionへのアクセスは不要なため、より幅広いユーザーと共有できます。

• Connectionロールが不要:

  • 元データへのアクセスを許可せずに、集計された統計データやチャートを共有できます。

• クエリ結果の取得オプション:

  • 固定されたSQLを再実行して、Warehouseの最新データにアクセスできます。

  • SQL自体は固定されていますが、動的パラメーターを埋め込むことで、ユーザーは状況に応じて表示するデータを変更できます。

  • 作成時点のデータを埋め込み、必要なデータのスナップショットのみを表示します。

• 高パフォーマンス:

  • データは事前にフェッチされ、スナップショットとして保存されるため、表示速度が向上します。

セットアップ方法

• Notebookを開く

  • 共有したいNotebookを開きます。

  • ヘッダーの「Share」ボタンをクリックし、「+create report」を選択します。

• クエリ実行オプションを選択

  • Query execution settingsから1つのオプションを選択します：

    1. Embed Fixed Results

       • 固定されたSQL結果を閲覧者に表示します。

    2. Allow Fresh Execution

       • 同じSQLクエリでデータを更新します。

    3. Allow Explore and Parameter Editing

       • 埋め込まれたリソースを探索し、新しいパラメーター埋め込みSQLクエリでデータを更新します。

• ページを選択

  • 公開したいページを選択します。

• 公開

  • 「Publish」ボタンをクリックします。

  • （システムはバックグラウンドでNotebookを公開するために必要な権限があるかチェックします。確認後、Reportの作成が完了します。）

• Reportの権限を設定

  • Reportを開き、ゲストとReportを共有したい場合は、ゲストのメールアドレスを入力します。

注意事項

Reportに関連する操作、特に公開には、複雑な役割の組み合わせが必要です。詳細は以下のドキュメントを参照してください： Reportのアクセス制御

Public Linkを使用すると、公開リンクまたは埋め込みコードを作成してNotebookを広く共有できます。リンクを持っている人なら誰でも、ログインせずに共有コンテンツにアクセスできます。

主な機能

• パブリックアクセス:

  • リンクを持っている人なら誰でもコンテンツを閲覧できるため、アクセス制限なしで簡単に共有できます。

• 埋め込みコード:

  • 生成された埋め込みコードを使用して、Notebookをウェブサイトやブログに簡単に埋め込むことができます。

• SEOコントロール:

  • 公開リンクは「noindex」に設定されており、検索エンジンによるコンテンツのインデックス化を防ぎ、共有データのプライバシーと制御を確保します。

• カスタマイズ可能な有効期限:

  • 公開コンテンツに有効期限を設定し、指定した日数後に自動的に削除することで、セキュリティの追加層を提供します。

• 高パフォーマンス:

  • データは事前にフェッチされ、スナップショットとして保存されるため、表示速度が向上します。

設定方法

1. Notebookを開く

   • 共有したいNotebookを開きます。

2. 権限を設定する

   • ヘッダーの「Share」ボタンをクリックし、「Public Link & Embed」を選択します。

   • 公開リンクに含めたい特定のページを選択します。

3. 有効期限を設定する（オプション）

   • 有効期限を設定したい場合は、有効期限オプションを有効にし、公開コンテンツが削除されるまでの日数を設定します。

4. 公開する

   • 「Publish」ボタンをクリックして、公開リンクまたは埋め込みコードを生成します。

5. 配布する

   • リンクまたは埋め込みコードをコピーし、必要に応じて配布します。

Notebookのコンテンツは3つの方法で共有できます：

1. アクセススコープ：Notebook自体の共有

   • Workspace：Workspace全体との共有

各共有方法の違いの概要

• 編集可能：ユーザーがNotebookを編集できるかどうかを示します。

• クエリ実行：クエリの実行が可能かどうかを示します。

• Parameter：Parameterが有効かどうかを示し、Parameterが共有されるか、ユーザー固有かを指定します。
• 埋め込み可能：HTMLのiframeを使用して他のプラットフォームにコンテンツを埋め込めるかどうかを示します。

• ゲストアクセス：ゲストが共有コンテンツにアクセスできるかどうかを示します。

• ログイン必須：コンテンツにアクセスするためにログインが必要かどうかを示します。

• Connection Role必須：NotebookのSQL Blockで参照されているConnection Roleが必要かどうかを示します。

共有方法の選択ガイドライン

状況に応じて適切な共有方法を選択してください。例えば：

アクセススコープ（Workspace、Teamspace、Shared Notebook）：

• 共同編集を行う場合。

Report：

• データが変更されるのを防ぐ場合。

• 大規模なデータセットを扱う際にパフォーマンスを向上させたい場合。

• アドホック分析を行った後、特定のページにフォーカスして共有したい場合。

• 編集権限やConnection Roleを持たない外部のゲストと共有する場合。

• 最も重要なKPIのみを求める経営陣（例：CEO）や管理職とデータ分析結果を共有する場合。

• 元の機密データへのアクセスを制限しつつ、集計結果を広く共有したい場合（例：社内の人事レポート）。

• 全従業員向けに重要なデータを定期的に更新する場合。

  • 注：従業員が元のNotebookの編集ロールを持っていても、Reportのリストは表示数がNotebookに比べて限られているため、重要なものをフィルタリングしやすくなります。

• パラメーターの変更を別々に共同で行いたい場合。さらに、Notebook Versionの使用も検討してください。

Public Link：

• マーケティング目的でブログにチャートを埋め込んだり、Twitterで共有したりしたい場合は、Public Linkの使用を検討してください。

• Notionへのアクセス権を持つ人にのみ見えるようにデータを埋め込みたい場合は、Public Linkの使用を検討してください。さらに、ログインを強制したい場合はReportの使用も検討してください。

このページでは、チームメンバーをWorkspaceに招待するための異なる方法について説明します。

招待方法

• 個別招待:

  • 特定のメールアドレスに招待メールを送信

  • 受信者は招待を明示的に承認して参加

  • 受信者は招待されたメールアドレス以外でも登録可能

• 許可メールドメイン:

  • 許可されたドメインのメールアドレスを持つユーザーは自動的にWorkspaceに参加可能

  • ドメインごとにデフォルトのロールとグループを設定

  • 他のドメインのユーザーも手動で招待可能

  • 組織メンバーのオンボーディングを効率化

• 招待リンク:

  • 共有可能なサインアップリンクを作成

  • リンク経由でサインアップしたユーザーは自動的にWorkspaceに参加

  • 招待リンク経由で参加したユーザーにはEditorロールが割り当てられる

Groupは、複数のユーザーを一括管理し、リソースへのアクセス権限を効率的に割り当てることができる機能です。

主な機能

• 効率的なユーザー管理:

  • 複数のユーザーをグループ化

  • 部署、チーム、プロジェクトごとに整理

  • ユーザーは複数のグループに所属可能

• シンプルなアクセス制御:

  • グループレベルでの権限設定

  • 個別の権限設定を回避

  • 新規メンバーをグループに追加するだけで即座にアクセス可能

• 管理効率の向上:

  • 権限の一括変更が可能

  • 組織構造に合わせたグループ設定

  • メールドメインによるグループの自動割り当て

Codatumは、Workspaceへのアクセス管理とチーム編成のための柔軟なオプションを提供します。

• 招待: Workspaceにユーザーを招待するための様々な方法について学びます。

• Group: 権限管理を効率化するためのユーザーグループの作成と管理について説明します。

Workspaceロール

Codatumは、Workspace内でのユーザーの操作権限を制御するために、以下のようなロールタイプを提供しています：

• Owner: ユーザー管理や課金を含む、Workspaceの完全な管理権限を持ちます。

• Editor: Report、Notebook、Connectionなどのコンテンツの作成や編集が可能です。

• Viewer: コンテンツの閲覧は可能ですが、編集はできません。

• Guest: 明示的に共有された特定のリソース（Report）への限定的なアクセス権を持ちます。

主な機能

• 基本的な管理単位:

  • Workspaceごとにリソースを整理

  • Workspaceごとの課金

  • 複数のWorkspaceの管理

• リソース共有:

  • チームメンバーとリソースを共有

  • 権限設定による安全なアクセス

Workspace一般設定

• Workspace名: あなたのWorkspaceの名前

• 組織名: 契約と請求のための組織の正式名称

• 国: 請求と契約のための法的所在地

• チャートカラーパレット: チャートのカラーパレットを管理

セキュリティセクションでは、Workspaceのセキュリティを強化し、誰がどこからリソースにアクセスしているかを追跡するためのツールを提供します。

• 監査ログ: Workspace内のユーザーアクションとシステムイベントの詳細な記録を確認できます。

• IPアクセス制御 (プレビュー): 特定のIPアドレスまたは範囲からのWorkspaceへのアクセスを制限できます。

Public Links Monitoring

Workspace Ownerは、Workspaceからリソースを共有するために作成されたすべてのPublic linkの完全なリストを確認できます。リストには以下の情報が含まれます：

• 共有されたリソース

• Public linkの作成者

• リンクの作成日時

• 有効期限（設定されている場合）

この可視性により、共有されているすべてのコンテンツが承認され、適切であることを確認し、セキュリティを維持することができます。

Codatumには、シンプルながら強力なロールベースのアクセス制御システムがあります。

ユーザーは、WorkspaceやNotebookやConnectionなどの個々のリソースに対して、ViewerやEditorなどの役割を持つことができます。様々な操作の権限は、ユーザーが保持する役割の組み合わせに基づいて決定されます。

用語解説

• ユーザー

  • Workspaceのアカウントのこと。

• グループ

  • 一緒に管理されるユーザーの集まり。複数のリソースロールを割り当てることができます。

• リソース

  • Codatum内の様々なオブジェクトとその種類を表します。

  • 例: リソース: 特定のNotebook "nb1"、リソースタイプ: Notebook。

• 操作

  • 個々のリソースまたはWorkspace全体にリンクされた様々なアクション。

  • 例: ユーザーの招待、Notebookの編集など。

• ロール

  • Workspaceロール

    • Workspace内でユーザーに割り当てられるロール。すべてのユーザーに必要です。Workspace全体の操作に関する権限を決定します。

    • 例: Workspace.Owner → Workspace設定の管理やメンバー招待の権限を決定します。

  • リソースロール

    • 個々のリソースにリンクされたロール。グループまたは個々のユーザーに割り当てられます。

    • 例: notebook.Viewer(nb) → 特定のNotebook "nb"に対する閲覧操作の権限を決定します。

• 権限

  • リソースロールまたはWorkspaceロールと、ユーザーまたはグループの組み合わせで、リソースまたはWorkspaceに関連する特定の操作を実行する権限が付与されます。

アクセス制御ルールの基本

アクセス権は、ユーザーが保持するロールの組み合わせに基づいて決定され、定義された計算方法に従います。

• ロールには階層性があり、下位のロールにアクセス権があれば、上位のロールにもそのアクセス権があります。

• 通常、Workspaceロールとリソースロールの両方がアクセス権を付与する必要があります（ANDで計算されます）。

• ユーザーが同じリソースに対して複数のリソースロールを持っている場合（直接割り当てられているか、異なるグループを通じて割り当てられているかに関わらず）、いずれかのリソースロールがアクセスを許可していれば、権限が付与されます（ORで計算されます）。

以下の概念図では、これらの原則を示しています。

この図は、特定のリソースAにリンクされた操作のパターンを示しています。また、Workspaceにのみリンクされ、特定のリソースにはリンクされない操作のパターンもあります。このパターンはより単純で、以下のように示されます。

このパターンでは、アクセス権はWorkspaceロールのみによって決定されます。

これらの原則により、Codatum内で堅牢で柔軟なアクセス制御システムが実現されています。

IP アクセス制御を使用すると、IPアドレスに基づいてWorkspaceへのアクセスを制限できます。指定されたIPアドレスまたはIPアドレス範囲からアクセスするユーザーのみがWorkspaceにアクセスできるようになります。

設定方法

• Settings > Workspace Settings > Security に移動

• "Enable IP Access control" のチェックボックスをオンにする

• 入力フィールドに許可するIPアドレスを入力

• "Save" をクリックして制限を適用

サポートされる形式

• CIDR表記（例：192.168.1.0/24）

• 単一のIPアドレス（例：203.0.113.15）

• IPv4とIPv6の両方のアドレスをサポート

IP制限の適用範囲

IP アクセス制御は、以下のようにアクセスタイプごとに異なる影響を与えます：

• Workspaceリソース: Workspace内のすべてのリソース（https://app.codatum.com/workspace/{workspaceId}/...）はIP制限の対象となります：

  • Notebook

  • Queries

  • Connection

  • Workspace設定

  • その他

  • Report: 外部ゲストと共有されたReportもWorkspace内に存在するため、IP制限の対象となります。

• Public linkと埋め込み: インターネットユーザーと共有されたPublic linkはIP制限の対象外です。

• インテグレーション: インテグレーションで埋め込まれたコンテンツはIP制限の対象外です。

重要な注意事項

• 変更は保存後、即座に反映されます

• 複数のIPアドレスまたは範囲を保存できます

• 変更を保存するには、指定したIPアドレスの少なくとも1つからアクセスしている必要があります（誤って自分自身をロックアウトすることを防ぐため）

• 誤ったIP制限を設定してアクセスできなくなった場合は、Codatumサポートにお問い合わせください

Workspaceの役割

Workspace Roleには4つのレベルがあります：

Workspaceの操作とアクセス制御ルール

ここでは、Workspaceで実行できる具体的なアクションと、それらを実行するために必要な役割について詳しく説明します。

ここでは、リソースに関連する役割、操作、およびアクセス制御ルールについて説明します。アクセス制御に関連するリソースには、Group、Teamspace、Notebook、Connection、Reportの5種類があります。

Audit logsは、Workspace内で実行されたアクションの包括的な記録を提供します。誰が何をいつ行ったかを追跡でき、セキュリティ監視、コンプライアンス要件、トラブルシューティングに役立ちます。

主な機能

• 包括的なログ記録:

  • 重要なユーザーアクションとシステムイベント（APIベースの操作）を記録

  • Workspace全体の可視性を提供

• 一貫したフォーマット:

  • 各ログエントリには時間、ステータス、IPアドレス、ログ詳細が含まれます

  • ログ詳細: 以下の情報を含みます:

    • 操作（リソースの作成、更新、削除など）

    • アクションを実行したユーザー（APIキーを含む）

    • 影響を受けたリソース（Notebook、Connection、Workspaceなど）

    • アクションに関連するリソース固有のプロパティ

• プライバシー保護:

  • アカウントのメールアドレスは部分的にマスク化（ドメイン部分のみ表示）

• 現在のログ範囲:

  • ログは完全なコンテンツではなく、リソースのメタデータを記録

  • 例えば、NotebookのIDと名前は記録されますが、Notebookの内容は記録されません

  • クエリジョブIDは記録されますが、クエリ自体や結果は記録されません

  • 注：ログに含まれる具体的なデータは今後のアップデートで変更される可能性があります

• フィルタリング機能:

  • 部分的なテキスト一致でログをフィルタリング

  • 特定のアクティビティを見つけるために結果を絞り込み

• 保持期間:

  • Audit logsは1年間保持されます

Audit Logsへのアクセス

すべてのログはWorkspace Settings > Audit logsからアクセスできます。ただし、各リソースタイプに関連するAudit logsは以下の複数の場所からアクセス可能です：

• Workspace Settings:

  • General > Change logs

  • Users > Change logs

  • Groups > Edit > Change logs

  • Teamspaces > Edit > Change logs

  • API keys > Change logs

  • Connections > Access level and permissions > Edit > Change logs

• Report:

  • 各Report Page > Report settings > logs

• Notebook:

  • 各Notebook Page > Share > Public link > Change logs

Audit Logのカテゴリー

Audit logsの操作は、アクティビティの性質を理解しやすいように6つの主要なタイプに分類されています：

• Workspace Management: Workspace管理に関連する操作

• Access Control: 権限設定とロール割り当てに関連する操作

• Data Permission: データアクセス権限と設定に関する操作

• View Data: データの閲覧とクエリに関する操作

• Edit Content: コンテンツの変更（Notebook、手動で書かれたコンテンツ、ファイル）に関する操作

• View Content: 変更を伴わないコンテンツの閲覧に関する操作

Audit Log操作リスト

以下は、監査システムに記録される操作の一部リストです。このリストは完全ではなく、Codatumに新機能が追加されるにつれて変更される可能性があります：

重要な注意事項

• エクスポート機能は現在利用できません（必要な場合はサポートにお問い合わせください）

Notebookのアクセススコープ

Notebookのアクセス制御は、アクセススコープによって異なります。Notebookには4種類のアクセススコープがあります。

Notebookのロール

Notebookのアクセス制御は、アクセススコープに対応するロール（例：workspace.Viewer、teamspace.Editor）によって決まります。したがって、Notebookのロールは、共有されたNotebookにのみ存在します。

Notebookの操作とアクセス制御ルール

以下は、Notebookで実行できる操作と、各スコープで必要なロールです。

Teamspaceの役割

Owner役割はEditor/Viewer役割とは別であり、互いに排他的ではありません。役割が重複する場合、より高い権限を持つ役割が優先されます。

Teamspaceの操作とアクセス制御ルール

以下は、Teamspaceを管理するために実行できる操作と、それらを実行するために必要な役割です。

グループの役割

以下の役割は、ユーザーがグループに対して実行できる操作を決定します。

グループの操作とアクセス制御ルール

以下は、グループを管理するために実行できる操作と、それらを実行するために必要な役割です。

Connectionのアクセスレベル

Connectionのアクセス制御は、アクセスレベルによって異なります。Connectionには3種類のアクセスレベルがあります：

Connectionのロール

以下のロールは、ユーザーがConnectionで実行できる操作を決定します。

Connectionの操作とアクセス制御ルール

以下は、Connectionで実行できる操作と、各レベルで必要なロールです。

レポートの役割

レポートは読み取り専用のドキュメントであり、クエリを実行する能力はレポート自体の設定によって決定され、権限によるものではありません。そのため、Viewer（閲覧者）の役割のみが存在します。

レポートの操作とアクセス制御ルール

レポートの公開に関連する操作は、レポートの元となるNotebookのアクセススコープの影響を受けます。

*:connection.Userの役割は、これらの操作にはNotebook内のすべてのConnectionに対する各役割が必要であることを意味します。これは保護されたアクセスレベルとプライベートアクセスレベルに適用されます。Workspaceアクセスレベルの場合、特定のConnection役割は必要ありません。

null

NotebookでParameterを使用することで、NotebookとReportを動的かつインタラクティブにすることができます。これにより、SQLに直接アクセスすることなくParameterを通じて埋め込まれたSQLを制御し、必要に応じてカスタマイズされた出力を得ることができます。

主な機能

• NotebookとReportの動的化:

  • NotebookとReportをダイナミックかつインタラクティブにします。

• 様々な種類のParameter:

  • 多様なデータ型と関連する入力ウィジェットから選択できます。

• 2種類のスコープ:

  • Notebook全体で使用するParameterか、ページごとに使用するParameterかを選択できます。

• Parameterの上書き:

  • SQLを連鎖させる際にParameterを上書きすることで、きめ細かな制御が可能です。

使用方法

Parameterを作成すると、Notebook内のSQL Blockで/param/{param_name}という構文を使用して参照できます。

例えば、param1という名前の文字列Parameterを作成し、値としてval1を入力した場合、以下のSQL：

SELECT /param/param1

は以下のように変換されます：

SELECT 'val1'

Parameterの種類

1. Text input (STRING):

シンプルな文字列入力フィールドです。

• フォーマット:

  • SQLではシングルクォート(')で囲まれます。

  • 例：'val1'に変換されます

• 空の場合:

  • ''

2. Text multi input (STRING[])

複数の文字列を入力するフィールドです。

• フォーマット:

  • SQLではシングルクォート(')で囲まれます。

  • 例：'val1', 'val2'に変換されます

• 空の場合:

  • ''

3. Text select (STRING):

単一の文字列値を選択するドロップダウンです。

• ソースオプション:

  • 固定リストまたはテーブル値またはクエリ結果

• フォーマット:

  • SQLではシングルクォート(')で囲まれます。

• 空の場合:

  • ''

4. Text multi select (STRING[])

複数の文字列値を選択するドロップダウンです。

• ソースオプション:

  • 固定リストまたはテーブル値またはクエリ結果

• フォーマット:

  • SQLではシングルクォート(')で囲まれます。

  • 例：'val1', 'val2'に変換されます

• 空の場合:

  • ''

5. Number input (NUMBER):

シンプルな数値入力フィールドです。

• オプション:

  • min, max, steps (間隔)

• 空の場合:

  • 0

6. Number select (NUMBER):

単一の数値を選択するドロップダウンです。

• ソースオプション:

  • 固定リストまたはテーブル値またはクエリ結果

• 空の場合:

  • 0

7. Date input (DATE):

シンプルな日付入力フィールドです。カレンダーからの選択または日付の入力が可能です。

• オプション:

  • Unit:

    • Date, Week, Month, Year

  • Start day of week（カレンダーに表示される最初の曜日）:

    • Sun, Mon, Tue, Wed, Thu, Fri, Sat

  • Relative valid range（相対日付での有効範囲）:

    • Days before today：この制限より前の日付は選択不可になります。例えば、'90'と入力すると、90日前より前の日付が選択不可になります。

    • Days after today：この制限より後の日付は選択不可になります。例えば、'0'と入力すると翌日以降の日付が選択不可に、'-1'と入力すると今日以降の日付が選択不可になります。

  • Absolute valid range（絶対日付での有効範囲）:

    • Lower date：指定した日付より前の日付が選択不可になります。

    • Upper date:：指定した日付より後の日付が選択不可になります。

• フォーマット:

  • SQLではyyyy-MM-dd形式でクォート(')付きで展開されます。

  • 例：'2024-01-01'に変換されます

8. Date range ([DATE, DATE]) :

開始日と終了日をペアで指定します。

• オプション:

  • 日付入力（DATE）と同じ

• SQLでの参照構文:

  • 開始日：/param/param_name.StartDate

  • 終了日：/param/param_name.EndDate

9. Checkbox (BOOLEAN):

シンプルな真偽値のチェックボックスです。

• フォーマット:

  • SQLではTRUE/FALSEとして展開されます。

Parameterのエスケープ: セキュリティと動的な識別子の生成のサポート

Parameterのコンテキストに基づいてSQLインジェクション保護と値のエスケープを処理します。このメカニズムはセキュリティを提供するだけでなく、テーブル名などの動的な識別子の生成も可能にします。

1. 通常のコンテキストでの文字列Parameter

-- Parameter値が user's "data" の場合
WHERE name = /param/str_param         -> WHERE name = 'user\'s \"data\"'

-- Parameter値が O'Reilly's "Book" の場合
SELECT name = /param/company          -> SELECT name = 'O\'Reilly\'s \"Book\"'

• Parameterは自動的にシングルクオートで囲まれます。

• 値内のシングルクオートとダブルクオートの両方がバックスラッシュでエスケープされます。

2. 引用符付きコンテキストでの文字列Parameter

-- ダブルクオート内（"と'の両方をエスケープ）
-- Parameter値が user"s 'data' の場合
SELECT "/param/str_param" as alias    -> SELECT "user\"s \'data\'" as alias

-- シングルクオート内（"と'の両方をエスケープ）
-- Parameter値が user"s 'data' の場合
SELECT '/param/str_param' as alias    -> SELECT 'user\"s \'data\'' as alias

-- バッククォート内（`のみをエスケープ）
-- Parameter値が user"s 'data` の場合
SELECT `/param/str_param` as alias    -> SELECT `user"s 'data\`` as alias

• ダブルクオートまたはシングルクオート内:

  • ダブルクオートとシングルクオートの両方がバックスラッシュでエスケープされます

• バッククォート内:

  • バッククォートのみがバックスラッシュでエスケープされます

  • その他の引用符は変更されません

3. 日付Parameterの特別処理

-- 通常の日付Parameter
SELECT /param/date_param as normal         -> SELECT '2024-10-02' as normal

-- 引用符内の日付は同じエスケープルールに従います
SELECT '/param/date_param' as single_quote -> SELECT '2024-10-02' as single_quote
SELECT "/param/date_param" as double_quote -> SELECT "2024-10-02" as double_quote

-- 特殊ケース: BigQueryでのテーブル名生成
-- BigQuery接続を使用する場合
SELECT * FROM `table_/param/date_param`    -> SELECT * FROM `table_20241002`

• 通常のコンテキスト: 日付は'YYYY-MM-DD'形式でフォーマットされます

• BigQueryでテーブル名に使用する場合: 日付は'YYYYMMDD'形式（ハイフンなし）でフォーマットされます

• 引用符のエスケープルールは文字列Parameterと同様に適用されます

動的な識別子の生成

このようなコンテキストに合わせた処理が可能なことにより、安全な値の処理に加えてダイナミックな識別子生成（テーブル名、列名）も可能になります：

-- 安全な値の処理
WHERE status = /param/status             -> WHERE status = 'active'

-- ダイナミックなテーブル名
SELECT * FROM `table_/param/table_suffix` -> SELECT * FROM `table_sales_2024`

-- ダイナミックなフィールド選択
SELECT "column_/param/field_type"         -> SELECT "column_revenue"

Parameterを引用符内に配置することで、テーブル名や列名などのSQL識別子を安全に生成することができます。

選択Parameterのソースオプション

選択Parameterでは、選択可能な値を生成するために3種類のソースオプションをサポートしています：

1. Fixed List

固定の値から選択したい場合に使用します。

• 設定:

  • CSV Text:

    • CSV形式のテキストで選択肢を定義します。各項目は改行で区切ります。表示名を指定する場合は、同じ行にカンマ（,）で区切って記述します。

例：

value1,表示名1
value2,表示名2

2. Table Value

特定のテーブルのフィールドから選択可能な値を生成したい場合に使用します。

• 設定:

  • Source Table：値を取得するテーブルを選択します。

  • Value Field：選択肢の値として使用するフィールドを指定します。

  • Label Field：表示ラベルとして使用するフィールドを指定します。

3. Query Result

指定したSQLクエリの結果に基づいて選択肢を生成したい場合に使用します。

• 設定:

  • Connection:

    • クエリに使用するデータベース接続を選択します。

  • SQL:

    • 選択肢の値を返すSQLクエリを入力します。クエリが複数のカラムを返す場合、最初のカラムが選択肢の値として、2番目のカラム（存在する場合）が表示ラベルとして使用されます。

Parameterのスコープ

Parameterは2種類のスコープから作成できます：

• Notebook共通

  • Notebookのすべてのページで共有されるParameter

  • 値は各ページで保持されます

• ページ固有

  • 各ページに固有のParameter

Notebook共通Parameterは、例えば、Doc PageのSQLから作成されたチャートなど、Grid Page上のコンポーネントを同じParameterで制御したい場合に使用できます。

ページ固有Parameterは、例えば、特定のページ以外に影響を与えたくない場合に使用できます。

Parameterの上書き

SQLを連鎖させる際に、Parameterの依存関係を切断したい場合があります。例えば：

• ページをまたいでSQLを連鎖させる際に、各ページで固有のParameterを設定する。

• 同じベースSQLから派生した異なるSQLで異なるParameterを使用する。

SQL BlockでSQLを参照している箇所にカーソルを合わせると表示されるポップアップで、Parameterを上書きできます。

ユーザー間でのParameter値と実行結果の同期

NotebookのParameter値と実行結果はユーザー間で同期されます。ただし、Notebook VersionとReportを使用することで、Parameter値と実行結果の変更がユーザー間で同期されず、値を変更したユーザーにのみ変更が反映されるようになります。

Parameter入力に基づいて処理を分岐したり、繰り返したり、再利用したりしたい場合があります。このような場合、多くのSQLツールではJinjaのようなテンプレートエンジンを使用して動的なSQLクエリを生成します。

しかし、CodatumではSQLインジェクションなどのセキュリティ上の懸念が優先され、テンプレートエンジンは使用できません。構文解析を維持することで、Codatumは以下を保証します：

• コンテキストに基づく正確なエスケープ処理により、セキュリティリスクを軽減

• エラーの正確な位置を特定することで、デバッグが容易

• コンテキストに基づく提案により、使いやすさが向上

これらの利点により、構文解析はCodatumでの安全で使いやすい体験に不可欠です。

Parameterのエスケープ：セキュリティと動的識別子のサポート セクションも併せてお読みください：

これらのケースのほとんどは、標準的なSQL構文を活用することで対応できます。この記事では、Codatumで高度な制御構造を実装する方法を紹介します。

1. 条件付きデータアクセス（If/Else）

Parameterに基づいて、どのフィールドまたはデータをSELECTするかを制御します。

ユースケース

• 地域/国ごとに異なるビジネスロジックを適用する

• データ集計の粒度を動的に変更する

• ユーザーの権限レベルに基づいてデータアクセスを制限する

• 部門/チームごとに異なるデータビューを提供する

Codatumのアプローチ

CASE式またはUNIONをParameterと共に使用します：

-- 地域固有のビジネスロジックの例
SELECT
  order_id,
  CASE /param/region
    WHEN 'EU' THEN amount * 1.20  -- EU: 20% VAT
    ELSE amount
  END as final_price,
  CASE /param/region
    WHEN 'EU' THEN 'EU'
    ELSE 'Other'
  END as tax_region
FROM orders

-- 集計粒度の例
SELECT
  CASE /param/granularity
    WHEN 'daily' THEN DATE_TRUNC('day', timestamp)
    WHEN 'weekly' THEN DATE_TRUNC('week', timestamp)
    ELSE DATE_TRUNC('month', timestamp)
  END as period
FROM events

-- 権限ベースの制限の例
SELECT * FROM (
  SELECT sensitive_column as data FROM sensitive_data WHERE /param/is_admin = TRUE
  UNION ALL
  SELECT public_column as data FROM filtered_data WHERE /param/is_admin = FALSE
) t

テンプレートエンジンのアプローチ（Codatumでは使用不可）

参考までに、テンプレートエンジン（Jinja2）では以下のように実装されます：

-- 地域固有のビジネスロジックの例
{% if region == 'EU' %}
  SELECT 
    order_id,
    amount * 1.20 as price_with_vat,  -- EU: 20% VAT
    'EU' as tax_region
  FROM orders
{% else %}
  SELECT 
    order_id,
    amount as price_without_vat,
    'Other' as tax_region
  FROM orders
{% endif %}

-- 集計粒度の例
SELECT
  {% if granularity == 'daily' %}
    DATE_TRUNC('day', timestamp) as period
  {% elif granularity == 'weekly' %}
    DATE_TRUNC('week', timestamp) as period
  {% else %}
    DATE_TRUNC('month', timestamp) as period
  {% endif %}
FROM events

-- 権限ベースの制限の例
{% if user.is_admin %}
  SELECT * FROM sensitive_data
{% else %}
  SELECT public_columns FROM filtered_data
{% endif %}

2. オプションのフィルター条件（If/Else）

Parameterに基づいて、WHERE句に含める条件を制御します。

ユースケース

• ユーザーが検索条件を柔軟に組み合わせられるようにする

• レポートのフィルターを動的に変更する

• 特定の条件が提供された場合にのみフィルターを適用する

Codatumのアプローチ

空Parameterの処理を使用します：

SELECT * FROM orders
WHERE 1=1
  AND (order_date >= /param/start_date OR /param/start_date = '1970-01-01')
  AND (status = /param/status OR /param/status = '')

テンプレートエンジンのアプローチ（Codatumでは使用不可）

参考までに、テンプレートエンジン（Jinja2）では以下のように実装されます：

SELECT * FROM orders
WHERE 1=1
{% if start_date %}
  AND order_date >= {{start_date}}
{% endif %}
{% if status %}
  AND status = {{status}}
{% endif %}

3. マルチパラメータによる繰り返し（For Loop）

Multi Input/Select Parameterを使用して繰り返しパターンを適用します。

ユースケース

• 複数のメトリクスを同時に集計する

• ユーザーが選択したメトリクスのみを表示する

• 複数の列に類似の計算ロジックを適用する

Codatumのアプローチ

Text Multi Input ParameterとCASE式を使用します：

SELECT
  SUM(CASE WHEN 'revenue' IN (/param/selected_metrics) THEN revenue ELSE NULL END) as revenue_total,
  SUM(CASE WHEN 'cost' IN (/param/selected_metrics) THEN cost ELSE NULL END) as cost_total,
  SUM(CASE WHEN 'profit' IN (/param/selected_metrics) THEN profit ELSE NULL END) as profit_total
FROM sales

このアプローチはテンプレートエンジンよりもコードが多くなりますが、以下のような信頼性と保守性の向上が得られます：