Page History

Big Data Sets are special types of data sets that can be used to store a very large amount of data and build pre-calculated cubes. The main differences between standard data sets and big data sets are:

• Reports cannot be built directly on big data sets. Cubes have to be created first.
  Since BellaDati 2.9.17, Reports can be built directly on big data sets.
• In big data sets, it is not possible to browse all data. Only a random data sample is available. Filters, edit function, and delete function are not available in the data sample.
• Big data sets cannot be joined.
  
  

Creating Big Data Set

Big Data Set can be created by clicking on the link Create big data set in the Action menu on the Data Sets page, filling in the name of the big data set, and clicking on Create.

Big Data Set summary page

The landing page (summary page) is very similar to the standard data set summary page. There are a left navigation menu and the main area with basic information about the data set:

• description,
• date of last change,
• records count,
• cubes overview,
• import history.

Importing Data

Data can be imported to a big data set the same way as to standard data set. Users can either import data from a file or from a data source. However, the big data set is not using standard indicators and attributes, but instead, each column is defined as an object. These objects can have various data types:

• text,
• date,
• time,
• DateTime,
• GEO point,
• GEO JSON,
• long text,
• boolean,
• numeric.

After import, users can open the data sample page to see a randomly selected part of the data.

Managing Objects

Objects (columns) can be created automatically during the import, or they can be defined on the data model page. When adding a new object, users can specify its name, data type, indexation, and whether it can contain empty values or not. Please note that GEO point, GEO JSON, long text, boolean and numeric cannot be indexed.

Objects can also be edited and deleted by clicking on the row.

Cubes

Cube is a data table that contains aggregated data from the big data set. Users can define the aggregation and also limit the data by applying filters. Data from the cube can then be imported to a data set. Each big data set can have more than one cube, and each cube can have different settings.

Creating Cube

To create a cube, users need to follow these steps:

1. Click on Create cube
2. Fill-in the name and optionally the description.
3. Select which columns (attribute elements and data elements). Attribute elements define the aggregation of the cube. For example, if the user selects column Country, the data will be aggregated for each country (one row = one country). Users can also create formula indicators. In real-time, users can also see the preview of the cube on the right side of the screen. Please note that the preview is built on the data sample only, which means that it can be empty, although some data will be imported to the data set after the execution. It is possible to change the order of attributes and indicators by using the arrows located next to the names.
   
4. Optionally, users can also apply filters to work with only part of the data.

   1. In the filters, users can reference first and last values from different data set by using the following functions:

      Code Block
      language js
      ${firstValue(DATA_SET_CODE,L_ATTRIBUTE)} ${lastValue(DATA_SET_CODE,L_ATTRIBUTE)} ${firstValue(DATA_SET_CODE,M_INDICATOR)} ${lastValue(DATA_SET_CODE,M_INDICATOR)}

      The function has to be added as a custom value to the filter.
      

   2. It is also possible to add a filter formula. This allows users to create more complex filter algorithms. It is also possible to use the function getLastSuccessfulCubeExecution() or getCurrentCubeExecution() to get the date and time of the last successful or current cube execution correspondently.

      Code Block
      language groovy
      def f = createFilter() andFilter(f, 'M_TIMESTAMP_INDICATOR', 'GT', timestamp(datetime(getLastSuccessfulCubeExecution().toString('yyyy-MM-dd HH:mm:ss.SSS')))) return f

      
      

5. Select destination data set and mapping. By using the search field, users have to select the destination data set. After execution, data will be imported from the cube to this data set. After choosing the data set, users have to specify the mapping. Each column of the cube has to be assigned to an attribute or indicator of the destination data set. Attribute elements can be mapped to attribute columns in the destination data set. Data elements can be mapped to indicator columns and also attribute columns.
   
   
6. Set up execution schedule. The execution can be run manually, on data change, or by schedule. When scheduling the execution, users can specify the following parameters:
   1. Process only new data - an option to automatically filter new data

   2. Batch size (default 1000) - the number of rows that will be executed in one batch. In special cases, it might be beneficial to increase or decrease the value. However, in most cases, we strongly suggest leaving it on default.

   3. Workers count (default 8) - the number of workers that should be used for parallel execution.

   4. Execution timeout [s] - sets the maximum duration of the execution.

   5. When - time of the first execution.

   6. Schedule - how often should be executed.

   7. Import Method - what should happen with data in the destination data set. See Data overwriting policy for more information.

      

Cubes summary

 On the Cubes page, users can see a table with all cubes associated with the big data set. For each cube, information about the schedule and last event are available. Users can also edit the cube by clicking anywhere on the row or on the name of the cube. Several actions are also available for each cube:

• History - see a list of previous executions and their result.
• Run - manually run the execution.
• Schedule - reschedule the execution. Previous settings will be overwritten.
• Delete - delete the cube.

Cube execution

As mentioned above, execution can be run manually, on data change, or by schedule.

• Manual execution - by clicking on Run in the Action column, users can start the execution manually. They can also select the import method, which can be different than the one used for scheduled execution.
• On data change - every time there is a change in the big data set, the execution will be started. If there is an already running cube execution, the new execution is placed in a queue and automatically triggered after the previous cube execution is completed.
• Scheduled execution - execution will be run periodically after a specified amount of time.

Users can also cancel the next scheduled execution by clicking on the date in the column Schedule and confirming the cancellation. Please note this will only cancel the execution and it won't delete it. After running the execution manually, the schedule will be restored. To delete the scheduled execution completely, users have to edit the cube and delete the Execution schedule.

Since the number of cubes could be large, there is a limit to the number of cubes that will be executed at the same time. By default, the number of concurrent cube executions is 5. To change it, open Configuration in Administration. The setting Import executor pool size defines this limit. 

Backup of Big Data Set

When using the XML backup of the big data set, the target data set and mapping in the cube are not stored. After restoring, they have to be set up again.

Big Data Sets sind eine spezielle Art von Datensätzen, die verwendet werden können, um sehr große Datenmengen zu speichern und vorbereitete Cubes zu bilden.
Die Hauptunterschiede zwischen Standarddatensätzen und großen Datensätzen sind:

• Reports können nicht direkt auf großen Datensätzen erstellt werden. Zuerst müssen Cubes erstellt werden.

• In großen Datensätzen ist es nicht möglich, alle Daten zu durchsuchen. Es stehen nur Stichproben zur Verfügung.
  Filter, Bearbeitungsfunktion und Löschfunktion sind in der Datenprobe nicht verfügbar.

• Große Datensätze können nicht zusammengeführt werden.

Erstellen eines großen Datensatzes

Ein großer Dataset kann erstellt werden, indem Sie auf den Link Großen Dataset erstellen im Menü Aktion auf der Seite Datensätze klicken, den Namen des großen Datasets eingeben und auf Erstellen klicken.

Zusammenfassungsseite für große Datensätze

Die Landing Page (Summary Page) ist der Standard-Datasetübersichtsseite sehr ähnlich. Es gibt ein linkes Navigationsmenü und den Hauptbereich mit grundlegenden Informationen über den Dataset:

• Beschreibung,

• Datum der letzten Änderung,

• Datensätze zählen,

• Cubes Übersicht,

• Importhistorie.

Daten importieren

Daten können wie bei einem StandardDataset in große Datenmengen importiert werden. Benutzer können entweder Daten aus einer Datei oder aus einer Datenquelle importieren. Der große Dataset verwendet jedoch keine Standardkennzeichen und -attribute, sondern jede Spalte ist als Objekt definiert. Diese Objekte können verschiedene Datentypen haben:

• Datum,

• Zeit,

• Datum/Uhrzeit,

• GEO-Punkt,

• GEO JSON,

• Langtext,

• boolean,

• numerisch.

Nach dem Import können Benutzer die Datenprobenseite öffnen, um einen zufällig ausgewählten Teil der Daten anzuzeigen.

Objekte verwalten

Objekte (Spalten) können beim Import automatisch angelegt oder auf der Datenmodellseite definiert werden. Beim Hinzufügen eines neuen Objekts können Benutzer dessen Namen, Datentyp, Indexierung und ob sie leere Werte enthalten dürfen oder nicht, angeben. Bitte beachten Sie, dass GEO point, GEO JSON, Langtext, boolesch und numerisch nicht indiziert werden können.

Sie können auch Objekte bearbeiten und löschen, indem Sie auf die Zeile klicken.

Cubes

Cube ist eine Datentabelle, die aggregierte Daten aus dem großen Dataset enthält. Benutzer können die Aggregation definieren und die Daten durch die Anwendung von Filtern einschränken. Daten aus dem Cube können dann in einen Dataset importiert werden. Jeder große Dataset kann mehr als einen Cube haben und jeder Cube kann unterschiedliche Einstellungen haben.

Cube erstellen

Um einen Cube zu erstellen, müssen Benutzer diesen Schritten folgen:

1. Klicken Sie auf Cube erstellen.
2. Geben Sie den Namen und optional die Beschreibung ein.
3. Wählen Sie welche Spalten (Attribut- und Datenelemente). Attribut-Elemente definieren die Aggregation des Cubes. Wenn der Benutzer beispielsweise die Spalte Land auswählt, werden die Daten für jedes Land zusammengefasst (eine Zeile = ein Land). Benutzer können auch Formelkennzeichen anlegen. In Echtzeit können die Benutzer auch die Vorschau des Cubes auf der rechten Seite des Bildschirms sehen. Bitte beachten Sie, dass die Vorschau nur auf dem Datensample basiert, d.h. sie kann leer sein, obwohl einige Daten nach der Ausführung in den Dataset importiert werden. Es ist möglich, die Reihenfolge der Attribute und Indikatoren zu ändern, indem Sie die Pfeile neben den Namen verwenden.
   
4. Optional können Benutzer auch Filter anwenden, um nur mit einem Teil der Daten zu arbeiten.
   

   1. In den Filtern können Benutzer mit Hilfe der folgenden Funktionen auf den ersten und letzten Wert aus verschiedenen Datensätzen verweisen:

      Code Block
      language js
      ${firstValue(DATA_SET_CODE,L_ATTRIBUTE)} ${lastValue(DATA_SET_CODE,L_ATTRIBUTE)} ${firstValue(DATA_SET_CODE,M_INDICATOR)} ${lastValue(DATA_SET_CODE,M_INDICATOR)}

      Die Funktion muss dem Filter als benutzerdefinierter Wert hinzugefügt werden.
      

   2. Es ist auch möglich, eine Filterformel hinzuzufügen. Dies ermöglicht es dem Benutzer, komplexere Filteralgorithmen zu erstellen. Es ist auch möglich, die Funktion getLastSuccessfulCubeExecution() zu verwenden, um das Datum und die Uhrzeit der letzten erfolgreichen Cube-Ausführung abzurufen.

      Code Block
      language groovy
      def f = createFilter() andFilter(f, 'M_TIMESTAMP_INDICATOR', 'GT', timestamp(datetime(getLastSuccessfulCubeExecution().toString('yyyy-MM-dd HH:mm:ss'))))

5. Wählen Sie den Zieldataset und die Zuordnung aus. Über das Suchfeld muss der Benutzer den Zieldataset auswählen. Nach der Ausführung werden die Daten aus dem Cube in diesen Dataset importiert. Nach der Auswahl des Datasets muss der Benutzer das Mapping angeben. Jede Spalte des Cubes muss einem Attribut oder Kennzeichen des Zieldatasets zugeordnet sein. Attribut-Elemente können auf Attributspalten im ZielDataset abgebildet werden. Datenelemente können sowohl auf Indikatorspalten als auch auf Attributspalten abgebildet werden.

   
   
6. Ausführungsplan einrichten. Die Ausführung kann manuell, bei Datenänderung oder nach Zeitplan erfolgen. Bei der Einplanung der Ausführung können die Benutzer folgende Parameter angeben:
   

   1. Batchgröße (Standard 1000) - die Anzahl der Zeilen, die in einem Batch ausgeführt werden. In besonderen Fällen kann es sinnvoll sein, den Wert zu erhöhen oder zu verringern. In den meisten Fällen empfehlen wir jedoch dringend, die Standardeinstellung beizubehalten.

   2. Workers count (default 8) - die Anzahl der Mitarbeiter, die für die parallele Ausführung verwendet werden sollen.

   3. Ausführungszeitüberschreitung [s] - legt die maximale Dauer der Ausführung fest.

   4. Wann - Zeitpunkt der ersten Ausführung

   5. Zeitplan - wie oft soll ausgeführt werden.

   6. Importmethode - was mit den Daten im Zieldataset geschehen soll. Weitere Informationen finden Sie unter Richtlinien zum Überschreiben von Daten.

      

Zusammenfassung der Cubes

 Auf der Seite Cubes sehen die Benutzer eine Tabelle mit allen Cubes, die dem großen Dataset zugeordnet sind. Für jeden Cube stehen Informationen über den Zeitplan und die letzte Veranstaltung zur Verfügung. Benutzer können den Würfel auch bearbeiten, indem sie irgendwo auf die Zeile oder den Namen des Würfels klicken. Für jeden Cube stehen auch mehrere Aktionen zur Verfügung:

• Historie - siehe eine Liste der früheren Ausführungen und deren Ergebnis.

• Ausführen - führt die Ausführung manuell aus.

• Zeitplan - plant die Ausführung neu ein. Vorherige Einstellungen werden überschrieben.

• Löschen - löscht den Würfel.

Cube-Ausführung

Wie bereits erwähnt, kann die Ausführung manuell, bei Datenänderung oder nach Zeitplan erfolgen.

• Manuelle Ausführung - durch Klicken auf Ausführen in der Spalte Aktion können Benutzer die Ausführung manuell starten. Sie können auch die Importmethode auswählen, die sich von der für die geplante Ausführung verwendeten unterscheiden kann.

• Bei Datenänderung - jedes Mal, wenn es eine Änderung im großen Dataset gibt, wird die Ausführung gestartet.

• Geplante Ausführung - die Ausführung wird periodisch nach einer bestimmten Zeitspanne ausgeführt.

Der Benutzer kann auch die nächste geplante Ausführung abbrechen, indem er auf das Datum in der Spalte Zeitplan klickt und die Abbestellung bestätigt. Bitte beachten Sie, dass dadurch nur die Ausführung abgebrochen und nicht gelöscht wird. Nachdem die Ausführung manuell ausgeführt wurde, wird der Zeitplan wiederhergestellt. Um die geplante Ausführung vollständig zu löschen, müssen Benutzer den Cube bearbeiten und den Ausführungsplan löschen.

Sicherung eines großen Datasets

Bei der Verwendung der XML-Sicherung von großen Datensätzen werden der Zieldataset und das Mapping im Cube nicht gespeichert. Nach der Wiederherstellung müssen sie neu eingerichtet werden.

ビッグデータセットは、非常に大量のデータを保存し、事前に計算されたキューブを構築するために使用できる特別なタイプのデータセットです。標準データセットとビッグデータセットの主な違いは以下の通りです:

• レポートをビッグデータセットに直接作成することはできません。最初にキューブを作成する必要があります。
  BellaDati 2.9.17以降、レポートはビッグデータセットに直接作成できます。
  
• ビッグデータセットでは、すべてのデータを閲覧することはできません。ランダムなデータサンプルのみが利用可能です。データサンプルでは、フィルター、編集機能、削除機能は使用できません。
• ビッグデータセットは結合できません。
  
  

ビッグデータセットの作成

ビッグデータセットを作成するには、[データセット]ページの[アクション]メニューにある[ビッグデータセットの作成]リンクをクリックし、ビッグデータセットの名前を入力して[作成]をクリックします。

ビッグデータセット サマリーページ

ランディングページ（概要ページ）は、標準のデータセット概要ページに非常に似ています。左側のナビゲーションメニューと、データセットに関する基本情報を含むメインエリアがあります:

• 説明
• 最終更新日
• レコード数
• キューブの概要
• インポートの履歴

データのインポート

データは、標準のデータセットと同じ方法で大きなデータをインポートできます。ユーザーは、ファイルまたはデータソースからデータをインポートできます。ただし、ビッグデータセットは標準のインジケータと属性を使用していませんが、代わりに各列がオブジェクトとして定義されています。これらのオブジェクトには、様々なデータタイプがあります:

• テキスト
• 日付
• 時間
• 日付時間
• Geoポイント
• Geo JSON
• ロングテキスト
• ブール値
• 数値

インポート後、ユーザーはデータサンプルページを開いて、データのランダムに選択された部分を表示できます。

オブジェクトの管理

オブジェクト (列) は、インポート中に自動的に作成するか、データモデルページで定義できます。ユーザーは、新しいオブジェクトを追加する際に、名前、データ型、インデックス付け、空の値を含めることができるかどうかを指定できます。 Geoポイント、Geo JSON、ロングテキスト、ブール値、数値はインデックスに登録できないことに注意してください。

行をクリックして、オブジェクトを編集および削除することもできます。

キューブ

キューブは、ビッグデータセットの集計データを含むデータテーブルです。ユーザーは、集計を定義し、フィルターを適用してデータを制限できます。その後、キューブのデータをデータセットにインポートできます。各ビッグデータセットは複数のキューブを持つことができ、各キューブは異なる設定を持つことができます。

キューブの作成

キューブを作成するには、ユーザーは以下の手順に従う必要があります:

1. [キューブの作成]をクリックします。
2. 名前と、説明(オプション)を入力します。
3. 列（属性要素とデータ要素）を選択します。属性要素は、キューブの集約を定義します。例えば、ユーザーが国列を選択すると、データは国ごとに集計されます（1行= 1国）。ユーザーは数式インジケータを作成することもできます。リアルタイムで、ユーザーは画面の右側にキューブのプレビューを表示することもできます。プレビューはデータサンプルのみに基づいて構築されます。つまり、空の場合もありますが、実行後に一部のデータがデータセットにインポートされることに注意してください。名前の横にある矢印を使用して、属性とインジケータの順序を変更できます。
   
4. オプションで、ユーザーはフィルターを適用してデータの一部のみを処理することもできます。

   1. フィルターでは、ユーザーは次の関数を使用して、異なるデータセットの最初と最後の値を参照できます:

      Code Block
      language js
      ${firstValue(DATA_SET_CODE,L_ATTRIBUTE)} ${lastValue(DATA_SET_CODE,L_ATTRIBUTE)} ${firstValue(DATA_SET_CODE,M_INDICATOR)} ${lastValue(DATA_SET_CODE,M_INDICATOR)}

      この関数は、カスタム値としてフィルターに追加する必要があります。
      

   2. フィルター式を追加することもできます。これにより、ユーザーはより複雑なフィルターアルゴリズムを作成できます。getLastSuccessfulCubeExecution()関数を使用して、最後に成功したキューブ実行の日付と時刻を取得することもできます。

      Code Block
      language groovy
      def f = createFilter() andFilter(f, 'M_TIMESTAMP_INDICATOR', 'GT', timestamp(datetime(getLastSuccessfulCubeExecution().toString('yyyy-MM-dd HH:mm:ss')))) return f

      
      

5. 宛先データセットとマッピングを選択します。ユーザーは検索フィールドを使用して、宛先データセットを選択する必要があります。実行後、データはキューブからこのデータセットにインポートされます。データセットを選択した後、ユーザーはマッピングを指定する必要があります。キューブの各列は、宛先データセットの属性またはインジケータに割り当てる必要があります。属性要素は、宛先データセットの属性列にマッピングできます。データ要素は、インジケータ列および属性列にマップできます。
   
   
6. 実行スケジュールを設定します。実行は手動で、データの変更時、またはスケジュールで実行できます。実行をスケジュールする際、ユーザーは以下のパラメーターを指定できます:

   1. 新しいデータのみを処理 - 新しいデータを自動的にフィルタリングするオプション。

   2. バッチサイズ (デフォルトは1,000) - 1つのバッチで実行される行数。特別な場合には、値を増減することが有益な場合があります。ただし、ほとんどの場合、デフォルトのままにしておくことを強くお勧めします。

   3. ワーカーカウント (デフォルトは8) - パラレル実行に使用するワーカーの数。

   4. 実行タイムアウト [s] - 実行の最大期間を設定します。

   5. いつ - 最初の実行時間。

   6. スケジュール - 実行頻度。

   7. インポート方法 - 宛先データセットのデータで何が起こるべきか。詳細については、データの上書きポリシーをご覧ください。

      

キューブのサマリー

ユーザーは[キューブ]ページで、ビッグデータセットに関連付けられたすべてのキューブを含むテーブルを表示できます。各キューブについて、スケジュールおよび最後のイベントに関する情報が利用可能です。ユーザーは、行またはキューブの名前をクリックすることでキューブを編集することもできます。キューブごとにいくつかのアクションも使用できます:

• 履歴 - 以前の実行とその結果のリストを参照します。
• 実行 - 手動で実行します。
• スケジュール - 実行を再スケジュールします。以前の設定は上書きされます。
• 削除 - キューブを削除します。

キューブの実行

前述のように、実行は手動で、データ変更時に、またはスケジュールによって実行できます。

• 手動実行 - [アクション]列の[実行]をクリックすると、ユーザーは手動で実行を開始できます。また、インポート方法を選択することもできます。インポート方法は、スケジュールによる実行に使用される方法とは異なる場合があります。
• データの変更時 - ビッグデータセットに変更があるたびに、実行が開始されます。既に実行中のキューブの実行がある場合、新しい実行はキューに入れられ、前のキューブの実行が完了した後に自動的にトリガーされます。
• スケジュールによる実行 - 指定された時間が経過した後、定期的に実行されます。

ユーザーは、[スケジュール]列の日付をクリックしてキャンセルを確認することにより、次にスケジュールされている実行をキャンセルすることもできます。これは実行をキャンセルするだけで、削除はしないことに注意してください。手動で実行した後、スケジュールが復元されます。スケジュールされた実行を完全に削除するには、ユーザーはキューブを編集し、実行スケジュールを削除する必要があります。

キューブの数が多くなる可能性があるため、同時に実行されるキューブの数には制限があります。デフォルトでは、キューブの同時実行数は5です。変更するには、[管理]から[構成]を開きます。Import executor pool size設定で、制限を定義します。

ビッグデータセットのバックアップ

ビッグデータセットのXMLバックアップを使用する場合、ターゲットデータセットとキューブ内のマッピングは保存されません。復元後、再度構成する必要があります。