Page History

Big Data Sets are special types of data sets that can be used to store a very large amount of data and build pre-calculated cubes. The main differences between standard data sets and big data sets are:

• Reports cannot be built directly on big data sets. Cubes have to be created first.
  Since BellaDati 2.9.17, Reports can be built directly on big data sets.
• In big data sets, it is not possible to browse all data. Only a random data sample is available. Filters, edit function, and delete function are not available in the data sample.
• Big data sets cannot be joined.
  
  

Creating Big Data Set

Big Data Set can be created by clicking on the link Create big data set in the Action menu on the Data Sets page, filling in the name of the big data set, and clicking on Create.

Big Data Set summary page

The landing page (summary page) is very similar to the standard data set summary page. There are a left navigation menu and the main area with basic information about the data set:

• description,
• date of last change,
• records count,
• cubes overview,
• import history.

Actions

• Update from XML - User can upload XML of structure with missing columns. Those columns will be updated and added.

Importing Data

Data can be imported to a big data set the same way as to standard data set. Users can either import data from a file or from a data source. However, the big data set is not using standard indicators and attributes, but instead, each column is defined as an object. These objects can have various data types:

• text,
• date,
• time,
• DateTime,
• GEO point,
• GEO JSON,
• long text,
• boolean,
• numeric.

After import, users can open the data sample page to see a randomly selected part of the data.

Managing Objects

Objects (columns) can be created automatically during the import, or they can be defined on the data model page. When adding a new object, users can specify its name, data type, indexation, and whether it can contain empty values or not. Please note that GEO point, GEO JSON, long text, boolean and numeric cannot be indexed.

Objects can also be edited and deleted by clicking on the row.

Cubes

Cube is a data table that contains aggregated data from the big data set. Users can define the aggregation and also limit the data by applying filters. Data from the cube can then be imported to a data set. Each big data set can have more than one cube, and each cube can have different settings.

Creating Cube

To create a cube, users need to follow these steps:

1. Click on Create cube
2. Fill-in the name and optionally the description.
3. Select which columns (attribute elements and data elements). Attribute elements define the aggregation of the cube. For example, if the user selects column Country, the data will be aggregated for each country (one row = one country). Users can also create formula indicators. In real-time, users can also see the preview of the cube on the right side of the screen. Please note that the preview is built on the data sample only, which means that it can be empty, although some data will be imported to the data set after the execution. It is possible to change the order of attributes and indicators by using the arrows located next to the names.
   Image RemovedIf you want to see result of whole content of Big Data Set, you can switch off "Use tablesample". This will load all data. This operation might be load intensive. It is possible to change the order of attributes and indicators by using the arrows located next to the names.
   Image Added
4. Optionally, Optionally, users can also apply filters to work with only part of the data.

   1. In the filters, users can reference first and last values from different data set by using the following functions:

      Code Block
      language js
      ${firstValue(DATA_SET_CODE,L_ATTRIBUTE)} ${lastValue(DATA_SET_CODE,L_ATTRIBUTE)} ${firstValue(DATA_SET_CODE,M_INDICATOR)} ${lastValue(DATA_SET_CODE,M_INDICATOR)}

      The function has to be added as a custom value to the filter.
      

   2. It is also possible to add a filter formula. This allows users to create more complex filter algorithms. It is also possible to use the function getLastSuccessfulCubeExecution() or getCurrentCubeExecution() to get the date and time of the last successful or current cube execution correspondently.

      Code Block
      language groovy
      def f = createFilter() andFilter(f, 'M_TIMESTAMP_INDICATOR', 'GT', timestamp(datetime(getLastSuccessfulCubeExecution().toString('yyyy-MM-dd HH:mm:ss.SSS')))) return f

      
      

5. Select destination data set and mapping. By using the search field, users have to select the destination data set. After execution, data will be imported from the cube to this data set. After choosing the data set, users have to specify the mapping. Each column of the cube has to be assigned to an attribute or indicator of the destination data set. Attribute elements can be mapped to attribute columns in the destination data set. Data elements can be mapped to indicator columns and also attribute columns.
   
   
6. Set up execution schedule. The execution can be run manually, on data change, or by schedule. When scheduling the execution, users can specify the following parameters:
   1. Process only new data - an option to automatically filter new data

   2. Batch size (default 1000) - the number of rows that will be executed in one batch. In special cases, it might be beneficial to increase or decrease the value. However, in most cases, we strongly suggest leaving it on default.

   3. Workers count (default 8) - the number of workers that should be used for parallel execution.

   4. Execution timeout [s] - sets the maximum duration of the execution.

   5. When - time of the first execution.

   6. Schedule - how often should be executed.

   7. Import Method - what should happen with data in the destination data set. See Data overwriting policy for more information.

      

Cubes summary

 On the Cubes page, users can see a table with all cubes associated with the big data set. For each cube, information about the schedule and last event are available. Users can also edit the cube by clicking anywhere on the row or on the name of the cube. Several actions are also available for each cube:

• History - see a list of previous executions and their result.
• Run - manually run the execution.
• Schedule - reschedule the execution. Previous settings will be overwritten.
• Delete - delete the cube.

Cube execution

As mentioned above, execution can be run manually, on data change, or by schedule.

• Manual execution - by clicking on Run in the Action column, users can start the execution manually. They can also select the import method, which can be different than the one used for scheduled execution.
• On data change - every time there is a change in the big data set, the execution will be started. If there is an already running cube execution, the new execution is placed in a queue and automatically triggered after the previous cube execution is completed.
• Scheduled execution - execution will be run periodically after a specified amount of time.

Users can also cancel the next scheduled execution by clicking on the date in the column Schedule and confirming the cancellation. Please note this will only cancel the execution and it won't delete it. After running the execution manually, the schedule will be restored. To delete the scheduled execution completely, users have to edit the cube and delete the Execution schedule.

Since the number of cubes could be large, there is a limit to the number of cubes that will be executed at the same time. By default, the number of concurrent cube executions is 5. To change it, open Configuration in Administration. The setting Import executor pool size defines this limit. 

Tables

Tables are used for accessing Big Data Set

data using API. Settings are same as in Cube settings. There is an additional option to set UID. This option will add a number of corresponding row and will disable aggregation. See documentation of how to obtain data using API here

Backup of Big Data Set

When using When using the XML backup of the big data set, the target data set and mapping in the cube are not stored. After restoring, they have to be set up again.

ビッグデータセットは、非常に大量のデータを保存し、事前に計算されたキューブを構築するために使用できる特別なタイプのデータセットです。標準データセットとビッグデータセットの主な違いは以下の通りです:

• レポートをビッグデータセットに直接作成することはできません。最初にキューブを作成する必要があります。
  
• ビッグデータセットでは、すべてのデータを閲覧することはできません。ランダムデータのサンプルのみが利用可能です。データサンプルでは、フィルター、編集機能、削除機能は使用できません。
• BellaDati 2.9.17以降、レポートはビッグデータセットに直接作成できます。
  
• ビッグデータセットでは、すべてのデータを閲覧することはできません。ランダムなデータサンプルのみが利用可能です。データサンプルでは、フィルター、編集機能、削除機能は使用できません。
• ビビッグデータセットは結合できません。
  
  

ビッグデータセットの作成

ビッグデータセットを作成するには、[データセット]ページの[アクション]メニューにある[ビッグデータセットの作成]リンクをクリックし、ビッグデータセットの名前を入力して[作成]をクリックします。

ビッグデータセット サマリーページ

ランディングページ（概要ページ）は、標準のデータセット概要ページに非常に似ています。左側のナビゲーションメニューと、データセットに関する基本情報を含むメインエリアがあります:

• 説明
• 最終更新日
• レコード数
• キューブの概要
• インポートの履歴

アクション

• XMLからの更新 - ユーザーは、カラムが欠落した構造のXMLをアップロードすることができます。これらのカラムは、更新され追加されます。

データのインポート

データは、標準のデータセットと同じ方法で大きなデータをインポートできます。ユーザーは、ファイルまたはデータソースからデータをインポートできます。ただし、ビッグデータセットは標準のインジケータと属性を使用していませんが、代わりに各列がオブジェクトとして定義されています。これらのオブジェクトには、様々なデータタイプがあります:

• テキスト
• 日付
• 時間
• 日付時間
• Geoポイント
• Geo JSON
• ロングテキスト
• ブール値
• 数値

インポート後、ユーザーはデータサンプルページを開いて、データのランダムに選択された部分を表示できます。

オブジェクトの管理

オブジェクト（列）は、インポート中に自動的に作成するか、オブジェクト (列) は、インポート中に自動的に作成するか、データモデルページで定義できます。ユーザーは、新しいオブジェクトを追加する際に、名前、データ型、インデックス付け、空の値を含めることができるかどうかを指定できます。 Geoポイント、Geo JSON、ロングテキスト、ブール値、数値はインデックスに登録できないことに注意してください。

行をクリックして、オブジェクトを編集および削除することもできます。

キューブ

キューブは、ビッグデータセットの集計データを含むデータテーブルです。ユーザーは、集計を定義し、フィルターを適用してデータを制限できます。その後、キューブのデータをデータセットにインポートできます。各ビッグデータセットは複数のキューブを持つことができ、各キューブは異なる設定を持つことができます。

キューブの作成

キューブを作成するには、ユーザーは以下の手順に従う必要があります:

1. [キューブの作成]をクリックします。
2. 名前と、説明(オプション)を入力します。
3. 列（属性要素とデータ要素）を選択します。属性要素は、キューブの集約を定義します。例えば、ユーザーが国列を選択すると、データは国ごとに集計されます（1行= 1国）。ユーザーは数式インジケータを作成することもできます。リアルタイムで、ユーザーは画面の右側にキューブのプレビューを表示することもできます。プレビューはデータサンプルのみに基づいて構築されます。つまり、空の場合もありますが、実行後に一部のデータがデータセットにインポートされることに注意してください。名前の横にある矢印を使用して、属性とインジケータの順序を変更できます。1国）。ユーザーは数式インジケータを作成することもできます。リアルタイムで、ユーザーは画面の右側にキューブのプレビューを表示することもできます。プレビューはデータサンプルのみに基づいて構築されます。つまり、空の場合もありますが、実行後に一部のデータがデータセットにインポートされることに注意してください。Big Data Setの全体のコンテンツの結果を見たい場合は、「Use tablesample」をオフにすることができます。これによりすべてのデータが読み込まれますが、これは負荷がかかる可能性があります。名前の横にある矢印を使用して、属性とインジケータの順序を変更できます。
   
4. オプションで、ユーザーはフィルターを適用してデータの一部のみを処理することもできます。

   1. フィルターでは、ユーザーは次の関数を使用して、異なるデータセットの最初と最後の値を参照できます:

      Code Block
      language js
      ${firstValue(DATA_SET_CODE,L_ATTRIBUTE)} ${lastValue(DATA_SET_CODE,L_ATTRIBUTE)} ${firstValue(DATA_SET_CODE,M_INDICATOR)} ${lastValue(DATA_SET_CODE,M_INDICATOR)}

      この関数は、カスタム値としてフィルターに追加する必要があります。
      

   2. フィルター式を追加することもできます。これにより、ユーザーはより複雑なフィルターアルゴリズムを作成できます。getLastSuccessfulCubeExecution()関数を使用して、最後に成功したキューブ実行の日付と時刻を取得することもできます。

      Code Block
      language groovy
      def f = createFilter() andFilter(f, 'M_TIMESTAMP_INDICATOR', 'GT', timestamp(datetime(getLastSuccessfulCubeExecution().toString('yyyy-MM-dd HH:mm:ss')))) return f

      
      

5. 宛先データセットとマッピングを選択します。ユーザーは検索フィールドを使用して、宛先データセットを選択する必要があります。実行後、データはキューブからこのデータセットにインポートされます。データセットを選択した後、ユーザーはマッピングを指定する必要があります。キューブの各列は、宛先データセットの属性またはインジケータに割り当てる必要があります。属性要素は、宛先データセットの属性列にマッピングできます。データ要素は、インジケータ列および属性列にマップできます。
   
   
6. 実行スケジュールを設定します。実行は手動で、データの変更時、またはスケジュールで実行できます。実行をスケジュールする際、ユーザーは以下のパラメーターを指定できます:

   1. 新しいデータのみを処理 - 新しいデータを自動的にフィルタリングするオプション。

   2. バッチサイズ (デフォルトは1,000) - 1つのバッチで実行される行数。特別な場合には、値を増減することが有益な場合があります。ただし、ほとんどの場合、デフォルトのままにしておくことを強くお勧めします。

   3. ワーカーカウント (デフォルトは8) - パラレル実行に使用するワーカーの数。

   4. 実行タイムアウト [s] - 実行の最大期間を設定します。

   5. いつ - 最初の実行時間。

   6. スケジュール - 実行頻度。

   7. インポート方法 - 宛先データセットのデータで何が起こるべきか。詳細については、データの上書きポリシーをご覧ください。

      Image RemovedImage Added

キューブのサマリー

ユーザーは[キューブ]ページで、ビッグデータセットに関連付けられたすべてのキューブを含むテーブルを表示できます。各キューブについて、スケジュールおよび最後のイベントに関する情報が利用可能です。ユーザーは、行またはキューブの名前をクリックすることでキューブを編集することもできます。キューブごとにいくつかのアクションも使用できます:

• 履歴 - 以前の実行とその結果のリストを参照します。
• 実行 - 手動で実行します。
• スケジュール - 実行を再スケジュールします。以前の設定は上書きされます。
• 削除 - キューブを削除します。

キューブの実行

前述のように、実行は手動で、データ変更時に、またはスケジュールによって実行できます。

• 手動実行 - [アクション]列の[実行]をクリックすると、ユーザーは手動で実行を開始できます。また、インポート方法を選択することもできます。インポート方法は、スケジュールによる実行に使用される方法とは異なる場合があります。
• データの変更時 - ビッグデータセットに変更があるたびに、実行が開始されます。既に実行中のキューブの実行がある場合、新しい実行はキューに入れられ、前のキューブの実行が完了した後に自動的にトリガーされます。
• スケジュールによる実行 - 指定された時間が経過した後、定期的に実行されます。

ユーザーは、[スケジュール]列の日付をクリックしてキャンセルを確認することにより、次にスケジュールされている実行をキャンセルすることもできます。これは実行をキャンセルするだけで、削除はしないことに注意してください。手動で実行した後、スケジュールが復元されます。スケジュールされた実行を完全に削除するには、ユーザーはキューブを編集し、実行スケジュールを削除する必要があります。

キューブの数が多くなる可能性があるため、同時に実行されるキューブの数には制限があります。デフォルトでは、キューブの同時実行数は5です。変更するには、[管理]から[構成]を開きます。Import executor pool size設定で、制限を定義します。

Image Added

テーブル

テーブルは、API を使用してビッグ・データ・セットのデータにアクセスするために使用されます。設定は、キューブの設定と同じです。 UID を設定するオプションが追加されています。このオプションにより、対応する行の数が追加され、集計が無効になります。 API を使用してデータを取得する方法については、こちらのドキュメントを参照してください。

ビッグデータセットのバックアップ

ビッグデータセットのXMLバックアップを使用する場合、ターゲットデータセットとキューブ内のマッピングは保存されません。復元後、再度構成する必要があります。